CN106062780B - 3d剪影感测系统 - Google Patents

3d剪影感测系统 Download PDF

Info

Publication number
CN106062780B
CN106062780B CN201480073109.6A CN201480073109A CN106062780B CN 106062780 B CN106062780 B CN 106062780B CN 201480073109 A CN201480073109 A CN 201480073109A CN 106062780 B CN106062780 B CN 106062780B
Authority
CN
China
Prior art keywords
retroreflector
image
pair
images
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480073109.6A
Other languages
English (en)
Other versions
CN106062780A (zh
Inventor
D·基姆
S·伊扎迪
V·普拉德普
S·巴斯彻
T·A·拉格
K·D·波维尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106062780A publication Critical patent/CN106062780A/zh
Application granted granted Critical
Publication of CN106062780B publication Critical patent/CN106062780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

描述了一种3D剪影感测系统，其包括立体相机和光源。在实施例中，3D感测模块触发在光源照明场景的同时由立体相机对图像对的捕获。可以以预定义帧率捕获一系列图像对。每对图像之后被分析以跟踪场景中的后向反射器和对象两者，其中后向反射器可以相对于立体相机移动，对象处于后向反射器与立体相机之间并且因此部分地遮挡后向反射器。在处理图像对时，针对后向反射器和对象中的每个提取剪影，并且这些剪影被用于生成针对后向反射器和对象中的每个的3D轮廓。

Description

3D剪影感测系统
技术领域
本公开的实施例总体上涉及感测系统，并且更具体地，涉及3D感测系统。
背景技术
在过去的数十年中对自然用户界面(NUI)已经存在大量研究。NUI包括新的基于手势的界面，其使用触摸和/或无触摸交互或全身来使得可以与计算设备进行丰富的交互。尽管已经开发了许多不同的触摸传感器和3D输入设备，但是其中的每个通常都针对特定输入模态(例如，在表面上的触摸、3D手势或全身跟踪)而被优化并且具有不同的优点和缺陷。两个商用的示例是Leap MotionTM和
Figure GDA0003930090060000011
Leap MotionTM仅仅可以估计空中的手的指尖的位置，但是可以以高精度操作。
Figure GDA0003930090060000012
在感测任意场景的致密深度图和跟踪人类骨架中提供更大的灵活性，但是具有较低精度。
下面描述的实施例不限于解决已知3D感测系统的缺点中的任何或全部的实现方式。
发明内容
下文呈现本公开的简化概述以便向读者提供基本理解。该概述不是本公开的广泛概括并且其不识别关键/重要元件或描绘说明书的范围。其唯一目的是为了以简化形式呈现本文公开的一系列构思作为对稍后呈现的更详细的描述的前序。
描述了一种3D剪影(silhouette)感测系统，其包括立体相机和光源。在实施例中，3D感测模块触发在光源照明场景的同时由立体相机对图像对的捕获。可以以预定义帧率捕获一系列图像对。每对图像之后被分析以跟踪场景中的后向反射器和对象两者，其中后向反射器可以相对于立体相机移动，对象处于后向反射器与立体相机之间并且因此部分地遮挡后向反射器。在处理图像对时，针对后向反射器和对象中的每个提取剪影，并且这些剪影被用于生成针对后向反射器和对象中的每个的3D轮廓。
许多伴随的特征将变得更容易认识到，因为许多伴随的特征通过参考结合附图考虑的下面的详细描述变得更好理解。
附图说明
根据鉴于附图阅读的下面的详细描述将更好地理解本描述，其中：
图1示出了3D感测系统的示意图和贯穿示例后向反射器的横截面；
图2是3D感测系统的操作的示例方法的流程图；
图3示出了来自图1的系统的立体相机和光源布置的两个示例；
图4示出了所捕获的图像的示例；
图5示出了在其顶部上具有自定义UI界面的示例后向反射器的示意图和后向反射器的所捕获的图像的示例；
图6示出了所捕获的图像的另一示例和贯穿被成像场景的两个横截面；
图7是包括透明后向反射器的3D感测系统的示意图；
图8是分析所捕获的图像对的示例方法的流程图；
图9示出了示例的所提取的轮廓和经反转的图像；
图10是在执行任何分析之前处理所捕获的图像的示例方法的流程图；
图11图示了本文描述的方法的实施例可以被实现在其中的示例性基于计算的设备；
图12示出了贯穿示例透明后向反射器的横截面；以及
图13示出了贯穿两个示例的可见透明的、红外反射的后向反射器阵列的横截面。
类似的附图标记在附图中用于指代类似的部件。
具体实施方式
下面结合附图提供的详细描述旨在为当前示例的描述并且不旨在表示当前示例可以被构建或被利用的唯一形式。该描述阐述示例的功能和用于构建和操作示例的步骤的序列。然而，相同的或等价的功能和序列可以伴随有不同的示例。
如以上所描述的，现有3D感测系统通常被设计用于特定应用和NUI模态。这意味着例如被设计为检测空中交互的系统通常不能够检测在表面上的触摸并且类似地被设计为检测3D手势的系统通常不能够在触摸与悬停事件之间进行区分。尽管一些现有系统可以被扩展为适用于多个模态，但是这将要求巨大的处理能力，从而使其针对所有应用是不现实的，而是使其针对几个专用应用。
图1是3D感测系统100的示意图，3D感测系统100被布置为同时地跟踪后向反射器102(或后向反射表面)和部分地遮挡后向反射器的对象两者，该对象可以例如为用户的手或手指。这使得能够由用户进行在物理表面上和上方两种的交互。如下面更详细地描述的，在各种示例中，3D感测系统100还被配置为感测仅仅后向反射器的3D剪影和任何部分遮挡的对象并且不提供场景的或场景中的对象的真实深度图。
通过跟踪后向反射器102和遮挡后向反射器的对象(例如用户的手或手指)两者，系统100可以与具有任何形状和大小的后向反射器一起和/或与多于一个后向反射器一起使用。另外，后向反射器不需要被固定在相对于立体相机的一定位置中(正如在不跟踪后向反射器而是相反精确地确定其在校准阶段中的位置的系统中的情况)而是可以被移动。容纳可移动的后向反射器的这种能力使得能够基于后向反射器的位置/取向进行新的NUI输入模态，并且在一些示例中，还能够基于遮挡对象相对于可移动后向反射器的位置/取向进行新的NUI输入模态。
如图1所示，3D感测系统100包括立体相机104、光源106(在图1中被示出为围绕立体相机的环形光源)和3D感测模块(或引擎)108，3D感测模块(或引擎)108控制立体相机104和光源106两者的操作，并且同时地经由相机104跟踪后向反射器102和在后向反射器102与相机104之间的部分地遮挡后向反射器102的对象两者。系统100还包括一个或多个后向反射器102，并且被布置为使得在不存在任何遮挡对象的情况下，在一个或多个后向反射器102与相机104之间存在视线，并且正是该视线被部分地遮挡后向反射器的对象打断。后向反射器102中的至少一个后向反射器未被固定并且可以相对于相机104和/或其他后向反射器102被移动。
3D感测模块108的输出可以用于控制计算设备的操作，计算设备可以与3D感测模块分开(并且在各种示例中远离3D感测模块)，或者可替换地，3D感测模块可以集成到其控制的计算设备。
图1还示出了贯穿示例后向反射器102的横截面120。如在横截面120中所示，透射的光122被散射或被重定向但是(例如，来自光源106的)输入光124以最小的散射(如由箭头126所指示的)被反射回到源。
尽管系统100在图1中被示出为被取向为观察被放置在水平表面(台)上的后向反射器，但是将认识到这仅仅通过示例的方式被示出并且系统可以以不同的方式来取向。在另一示例中，后向反射器可以是磁性的或以其他方式被附到垂直表面(但是在垂直表面上可移动)，并且系统100可以被取向为观察该垂直表面。在另外的示例中，表面可以处于任何取向并且系统100可以被取向为观察后向反射器被放置在其上的表面。在另外的示例中，后向反射器不需要处于表面上，并且相反后向反射器可以为由用户在表面的上方或前方操纵的对象(例如，后向反射触笔或棒)。尽管在下面描述的许多示例中后向反射器被示出为平面对象，但是后向反射器可以具有任何形状。
可以参考图2中示出的流程图描述系统100的操作。3D感测模块108生成触发脉冲(框202)，该触发脉冲引起立体相机104在当光源106处于接通的同时捕获场景的一幅或多幅图像(框204)，即由光源提供的照明可以与图像捕获同步(或者可以一直处于接通)。在各种示例中，对非常强的照明施以脉冲非常短的时间段(例如1ms)以提高信噪比(即，对光源施以脉冲到比任何环境IR源明亮得多的水平)。一幅或多幅所捕获的图像之后被3D感测模块108分析(框206)。尽管下面的描述涉及处理单个图像对(例如同时捕获的左图像和右图像)，但是将认识到，在许多示例中，例如以预定义帧率(例如，60Hz)捕获一系列图像对。(在框206中)实时地逐帧地执行分析(并且对一个帧的处理与任何先前处理无关)，并且可以使用任何适当的分析技术(包括任何适当的深度提取算法)。
立体相机104、光源106和后向反射器102全部操作在相同的波长范围中，例如使用可见光或可替换地使用红外(IR)光。在各种示例中，立体相机104被布置为捕获IR光(例如在相机上可以存在IR带通滤波器)，光源106包括一个或多个IR发光二极管(LED)，并且后向反射器102被布置为反射IR光(但是在其他波长处可以是透明的)。在其他示例中，相机104、光源106和后向反射器102可以在可见光谱内进行操作。
立体相机104被布置为(在框204中)同时地捕获场景的两幅图像，左图像和右图像。存在这可以被实现的许多不同的方式，并且在各种示例中，立体相机104包括处于固定间距(例如，分开～6cm)的两个单色IR相机302，如图3中的第一示例31所示。在该示例中，相机302被定位在金属轨道304上。相机302中的每个相机捕获场景的单独的图像(即图像对的左图像和右图像)，并且图像是由两个相机302同时(或基本上同时)捕获的。光源包括围绕每个相机302的透镜附接的一圈8个散射IR LED 306。LED 306的该布置提供均匀照明并使场景内的阴影最小化。
图3中的第二示例32示出了使用单个RGB相机310的可替换布置，单个RGB相机310可以例如为智能电话或其他移动设备(例如平板电脑)中的相机。光学布置312用于使得相机310能够捕获如由箭头314、316所指示的两幅图像(左图像和右图像)，虽然这两幅图像由相机310存储为单幅RGB图像。光学布置312使用RGB组合棱镜318和平面镜320(或类似的光学元件)将两幅图像(例如，蓝色图像和红色图像)组合成由相机存储的单幅RGB图像。在该示例中，光源可以为移动设备中的内置LED闪光灯。
图4示出了所捕获的图像400(例如，由图3中的示例31中的两个相机302中的一个捕获的图像)的示例。如可以从图像400看到的，由光源提供的照明引起来自表面上的(例如，图1中的台上的)所有后向反射材料(在该示例场景中可以存在许多后向反射器)的明亮均匀响应。这使后向反射器清楚地可以被区分为明亮剪影402。在后向反射器与相机之间的并且因此部分地遮挡后向反射器的对象(例如图4中示出的手404和笔406)被示出为对比明亮后向反射器剪影402的黑色剪影。这提供在背景(剪影402)与前景(对象404、406)之间的强烈对比。因此可以看到，系统100内的光学布置使得能够快速检测后向反射器和部分地遮挡对象的对象两者的边缘。
在如图3中的第二示例32中所示的使用了RGB光学布置的情况下，所捕获的图像中的每幅将包括与在后向反射器与相机之间的对象相对应的对比不同颜色的明亮剪影的黑色剪影(例如，手对比第一图像中的红色背景的黑色剪影和相同的手对比背景图像中的蓝色背景的黑色剪影)。所存储的图像将因此包括具有手对比着色的(例如，洋红色)背景的两个稍微不同的(例如偏移的)阴影的这两幅图像的组合。
在下面的描述中对图3中示出的特定布置中的一个的任何引用仅仅通过示例的方式，并且方法同样适用而不考虑两个布置中的哪个被使用或者如关于图1的系统描述的任何布置是否被使用。
如以上所描述的，后向反射器102可以具有任何形状/大小，并且在各种示例中，后向反射器102可以由可以被缝制、喷绘或粘附到另一对象(例如计算机鼠标、一片卡片板等)或2D/3D打印的后向反射材料形成。后向反射器102中的至少一个未被固定在相对于立体相机104的固定位置中(例如其可以由用户移动)。未处于相对于立体相机104的固定位置中的后向反射器102可以被称为“后向反射微件(widget)”以将它们与具有相对于在使用之前仔细校准后向反射器的位置的系统中的相机的固定位置的后向反射背景区分开。
在各种示例中，后向反射器可以在其上具有对用户可见但是在由立体相机捕获的波长处透明的标签。例如，在立体相机捕获IR光的情况下，标签可以对IR光是透明的但是对人眼可见(例如，使用基于颜料的打印机墨水打印或者使用着色的白板记号笔来书写)。这些标签可以例如提供用户界面布局，例如键盘布局、自定义用户界面(UI)或DJ混合桌面。
图5示出了在其顶部上具有形式为采用在由立体相机使用的波长处透明但是对用户可见的材料(例如墨水)形成的网格线502的自定义UI界面的示例后向反射器500的示意图。当用户与UI交互时，立体相机捕获示出用户的手指在网格内的位置的图像(例如，剪影)，例如如示例图像510中所示。在示出的示例中，剪影可以对比后向反射器500的明亮剪影516看到两个指尖的黑色剪影512、514。这两个指尖部分地遮挡后向反射器500，因为这两个指尖被放置在后向反射器与立体相机之间(或者在存在两个相机的情况下，被放置在后向反射器与捕获图像的相机之间)。可以(基于在图2的框206中对捕获的图像的分析)确定，在该示例中，两个指尖已经被放置在自定义UI网格502的第二列和第四列的底部方块中。来自3D感测模块108的识别指尖的位置的输出可以基于特定指尖位置或各位置的组合来触发计算设备内的不同的动作或者操作。
在各种示例中，后向反射器可以由可塑性材料(例如可塑性片材料)形成，并且因为遮挡对象(例如，用户的手)和后向反射器本身两者都被3D感测模块108跟踪，3D感测模块可以在悬停和触摸事件之间进行区分。这被示出在图6中的示意图中。图6示出了被用户的手部分地遮挡的后向反射器的明亮剪影602的所捕获的图像600，因此用户的手看上去为黑色剪影604。如果仅仅前景对象(用户的手)被跟踪，则3D感测模块不可能在如第一横截面示意图61中示出的用户的手悬停与如第二横截面示意图62中示出的用户的手触摸后向反射器之间进行鉴别。每个横截面被示出在与横跨图像600的点线相对应的位置中并且因此示出可塑性后向反射微件610和用户的手指612中的两个手指。这在下面关于讨论分析的可能方法中进一步详细描述。可塑性后向反射微件610可以例如如以上所描述的在其上表面上具有透明标签(例如，图5中示出的网格502)。
在各种示例中，后向反射器102可以对可见光是透明的，使得用户可以将其看透。这可以例如提供(例如，如以上参考图5所描述的)创建用户界面布局的可替换手段。在这种示例中，用户界面布局可以被印刷(或以其他方式被形成)在透明的后向反射器702被附到其上的对象700的上表面701上，如图7所示。来自光源106的光由后向反射器702反射回到立体相机104；然而，用户可以看透后向反射器702并且观察支撑对象700的上表面701上的任何文本或其他标记。
在示例中，透明的后向反射器702可以通过使用指数匹配材料覆盖后向反射器(其可以例如包括微球体或角锥(corner cube)反射器的阵列)的表面拓扑来形成，其中指数匹配材料与针对可见光的指数相匹配但是不与光源106和立体相机104使用的一个或多个波长相匹配。在其他示例中，反射IR的后向反射器阵列可以通过提供如图12中的示例横截面1202所示的嵌入式的、波长选择性的、反射涂覆的后向反射表面1204(其反射IR但是透射可见波长、IR-R/可见-T)而被制作为可见透明的。嵌入式表面1204(或层)可以通过例如使用二向色涂层或梳妆(Rugate)涂层而被制作为波长选择性的。在该横截面1202内，相邻的层是指数匹配的(例如，n1＝n2)，并且整个光学叠加(stack)可以在一侧或两侧上具有抗反射(AR)涂层。在透明后向反射器的背面上，可以存在叠层衬底1208或无衬底的外模制填充层。示例的可适用后向反射表面包括(1)全角锥阵列(2)例如在
Figure GDA0003930090060000091
中使用的三边裁切阵列或者(3)例如在3MTM高效后向反射器中使用的其他改进效率的设计剖面(profile)。宽带的部分透明的涂层(例如金属涂层)还可以用于实现部分透明功能，但是将导致IR后向反射的光效率的部分损失。
图12中示出的嵌入式的、波长选择性的、反射涂覆的后向反射表面(IR反射/可见透射)1204还可以用于提供如以上参考图5所描述的自定义UI，并且在图13中示出了两个示例横截面1301、1302。在第一示例1301中，IR透明着色墨水1304被印刷在后向反射器的正表面上(或者在被添加到后向反射器的正面的薄膜层上)以允许部分地看透后向反射器片上的可见内容。相反，第二示例1302在背面上包括印刷显示内容层1306。该层1306可以例如通过直接印刷在背面上或者通过将标牌(placard)(其可以是可移动且可更换的以提供不同的UI布局)层叠到背面上来形成。在各种示例中，标牌可以包括不透明的、部分反射的或者部分透射的区域以及清晰的或散射的区域(例如，通过使用清晰的/散射的印刷衬底层和各种类型的墨水，各种类型的墨水可以为半透明的、不透明的或散射的)。
如以上所描述的，(在框206中)实时地逐帧地对所捕获的图像执行分析并且可以使用任何适当的分析技术(包括任何适当的深度提取算法)。在图8的流程图中示出分析所捕获的图像的示例方法，其可以在图2的框206中使用。
如图8所示，分析所捕获的图像的示例方法包括两轮801、802，并且针对由立体相机104捕获的每对图像(例如左图像和右图像)执行该方法。第一轮(或阶段)801计算针对背景图像的深度，背景图像被认为包括被明亮地照亮的图像的部分(即后向反射器)。第二轮(或阶段)802计算针对前景图像的深度，其中来自第一轮的剪影内的对象被分割。
在第一轮801中，提取图像对的每幅图像中的任何明亮剪影的轮廓(框804)。作为提取轮廓的部分，每幅图像可以被阈值化以去除低强度像素。每幅二进制图像的轮廓之后被追踪，其有效地计算与针对每个连通分量的轮廓点相对应的2D像素的集合(坐标是2D的，因为在该阶段不存在深度信息)。
通过示例的方式参考回到图6中示出的示出了单个明亮剪影602的图像600，从该特定图像(从框804)提取的轮廓将为如图9中的第一示意图901所示。针对每个明亮剪影，(在框804中)提取一对轮廓，一个轮廓来自右图像并且一个轮廓来自该对中的左图像。因为在任何场景中可能存在多于一个明亮剪影，因此该提取阶段的输出是轮廓的两个集合，轮廓的每个集合是从图像对中的左图像和右图像中的不同图像提取的。
之后在轮廓的两个集合之间执行立体匹配(框806)。可以使用任何适当的立体匹配算法。立体匹配(在框806中)生成针对每个明亮剪影的3D深度轮廓，其中3D深度轮廓包括描述3D空间中的一系列点(例如围绕剪影901的一系列点，其中每个点由其(x,y,z)坐标定义)的数据。已经(在框806中)执行了立体匹配，可以可选地在3D深度轮廓内执行插值以填充致密3D剪影(框808)。该插值可以在系统100与被设计为适用于致密深度图像的算法一起使用的情况下被使用。该插值(在框808中)可以被称为‘轮廓修补’并且在下面更详细地进行描述。
在第二轮802中，在轮廓边界内，即在如在第一轮801中的框804中提取的轮廓边界内，对图像对中的每幅图像进行反转(框810)。参考回到图4中示出的示出了白板记号笔406对比后向反射器的明亮(白色)剪影402的黑色剪影的图像，该反转(在框810中)将得到经修改的图像，在经修改的图像中白板记号笔是对比后向反射器的黑色背景剪影的明亮剪影。
在遮挡对象不完全在明亮剪影内的情况下，如同图6中的图像600中示出的示例中的用户的手(并且不像图4中示出的白板记号笔)，在执行反转时要求某种额外处理，并且将认识到这可以在所有情况下被执行(而无需首先确定遮挡对象是否完全在明亮剪影内)。
在执行(在框810中)反转之前，生成(来自框804的)背景轮廓的凸包(convexhull)。根据凸包生成针对每幅相机图像的二进制掩码(例如，其中掩码针对凸包内的像素具有值1，并且针对在凸包外的像素具有值0)。针对掩码中的每个有效像素(即其中掩码具有值1)，之后(在框810中)对二进制图像进行反转。
通过示例的方式参考回到图9中的第一示意图901中示出的所提取的轮廓(其对应于图6中的图像600)，该轮廓的凸包是矩形的，在轮廓的凸包内(在框810中)反转的结果是如图9中的第二示意图902中所示的经修改的图像。可以从图9看到，该经修改的图像将用户的手遮挡后向反射器的部分示出为对比黑色背景的明亮剪影。
来自(在框810中)反转阶段的输出是经修改的图像的对(经修改的左图像和经修改的右图像)，在经修改的图像的对中存在与在后向反射器上或上方交互的并且因此(如从相机看到的)部分地遮挡后向反射器的对象相对应的明亮剪影。该方法之后以与第一轮801类似的方式前进，其中轮廓是从该对中的每幅经修改的图像中提取的(框812)。图9中的第三示意图903示出了针对第二示意图902中示出的经修改的图像的对应轮廓。
已经(在框812中)生成了轮廓，使用任何适当的立体匹配算法对从经修改的图像中生成的轮廓的两个集合执行立体匹配(框814)。如以上参考框806所描述的，(在框814中)立体匹配生成针对每个明亮剪影的3D深度轮廓，其中3D深度轮廓包括描述3D空间中的一系列点(例如，围绕剪影903的一系列点，其中每个点由其(x,y,z)坐标定义)的数据。
参考回到以上关于在触摸与悬停之间进行区分的讨论(如图6所示)，由框806和814中的立体匹配生成的3D轮廓可以用于进行该区分。在一个示例中，与图9中的剪影901相对应的3D轮廓将示出在围绕指尖的位置处的可塑性后向反射器的下压，如图9中的箭头所指示的，并且这可以用于指示触摸事件。在另一示例中，可塑性后向反射器的表面平面基于后向反射器的3D轮廓来估计，并且在该平面和与用户的手的剪影903相对应的3D轮廓之间的任何交叉被认为是触摸事件。
除了单纯地在触摸与悬停之间进行区分，3D轮廓还可以用于给出压力的近似(例如，由指尖612在可塑性后向反射器610上施加的压力的量)。例如，压力可以基于在后向反射器的平面和与用户的手的剪影相对应的3D轮廓之间的交叉/交叠的量来近似。
在图8中示出的第一轮801之前，由立体相机捕获的图像可以被处理以将经改进的输入图像提供给图8中示出的方法。示例处理方法被示出在图10中的流程图中，并且正如图8中示出的方法，图10的方法在运行时和实时地被执行。
如图10所示，(来自图2的框204的)经同步的所捕获的图像被处理以去除任何失真给定的固有透镜参数(框1002)。图像之后被矫正(框1003)以确保(在框806和814中)立体匹配可以直接地横跨左图像和右图像的扫描线进行，并且最终它们被剪裁(框1004)以去除两幅图像的非交叠部分。
已经(在框806和814中)使用针对后向反射器和遮挡对象两者的立体匹配生成了3D轮廓，3D感测模块108(或单独的分类模块)可以使用机器学习算法来对得到的形状进行分类(框816)。可以使用任何适当的分类方法。
在各种示例中，因为3D感测系统跟踪后向反射器和遮挡后向反射器的对象两者，所以特定后向反射对象可以被分配以特定行为(例如，在被由3D感测系统提供的NUI控制的软件内)。例如，具有预定义尺寸的圆形后向反射器可以(在框816中)被表征为表盘(dial)，并且遮挡对象相对于表盘的位置可以被用作到操作系统或应用软件的输入。如果圆形后向反射器在其被定位在其上的表面上来回移动，则分类将由于对后向反射器和遮挡对象两者的跟踪而不受影响。类似地，作为伸长矩形的形状的后向反射器可以被分类为滑块输入，并且遮挡对象相对于滑块的位置可以被用作到操作系统或应用软件的输入。另外的示例包括但不限于3D指向棒和形式为曲面后向反射器的、形状为可以从表面中拾取的鼠标的3D多触摸鼠标，在3D指向棒中不同的功能可以通过利用食指的部分遮挡或棒被持有的方式而被触发，并且在3D多触摸鼠标中点击和多触摸手势可以通过分析遮挡来在3D鼠标上启用。
对分析的上述描述仅仅涉及对剪影的使用，然而在一些示例中单单剪影可能不能或不能够被使用，例如在分类算法要求完全致密深度图的情况下。然而，这不意味着上述方法不能够被使用，而是相反被称为“轮廓修补”的可选后处理步骤可以用于根据在图8的方法中生成的轮廓来生成3D深度图。在示例中，该轮廓修补可以被实现在图8中的框814与816之间。
为了填充(如在图8中的框814中生成的)可以被标示为
Figure GDA0003930090060000133
的经分割的轮廓的内部，插值问题被公式化表示为具有狄里克雷(Dirichlet)边界条件的拉普拉斯(Laplace)公式。因此，轮廓深度值定义已知的标量值边界函数
Figure GDA0003930090060000131
并且该方法包括关于下式在Ω上求解内部深度值f(x,y)：
Δf(x，y)(X，y)∈Ω-δΩ
否则
Figure GDA0003930090060000132
之后，并行雅可比(Jaccobi)/高斯-赛德尔(Gauss-Seidel)求解器在图形处理单元(GPU)上被使用以对拉普拉斯公式进行求解。为了加速收敛，使用(例如，如在Marroquim等人发表于SPBG(2007)第101-108页的文章“Efficient point-based rendering usingimagereconstruction”中描述的)具有双立方(bi-cubic)插值权重的分层推拉插值来初始化内部。在执行该方法时，
Figure GDA0003930090060000141
的像素值利用负号来标记，这允许该方法(除了推拉分层之外)适当地对系统进行求解。
对分析的上述描述涉及在运行时的操作。校准过程可以被离线(即在运行时之前)执行，其包括：1)用于计算每个IR相机透镜(焦距、主点、径向和切向失真)的几何参数的固有校准；2)用于计算在两个相机之间的、被表示为旋转矩阵和平移向量的几何关系的立体校准；3)用于校正相机图像平面以确保它们被扫描线对准以简化视差计算的立体矫正。
图11图示了示例性基于计算的设备1100的各种部件，示例性基于计算的设备1100可以被实现为任何形式的计算和/或电子设备，并且本文描述的方法的实施例可以被实现在其中。具体地，图1中的3D感测模块108可以被集成到基于计算的设备1100，并且被实现在(如下面所描述的)软件中或被实现在硬件逻辑部件中或者被实现在硬件逻辑部件和软件的组合中。例如但不是限制性的，可以被使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)。
基于计算的设备1100包括一个或多个处理器1102，其可以为微处理器、控制器或用于处理计算机可执行指令来控制设备的操作以便执行如以上所描述的3D剪影感测的任何其他适当类型的处理器。在一些示例中，例如在使用了片上系统体系结构的情况下，处理器1102可以包括一个或多个固定功能块(还被称为加速器)，其将3D剪影感测的方法的一部分实现在硬件(而非软件或固件)中。如以上所描述的，处理器中的一个可以为GPU，其被布置为执行轮廓修补。包括操作系统1104的平台软件或任何其他适当的平台软件可以被提供在基于计算的设备处以使得可以包括3D感测模块1108的应用软件1106能够在设备上运行。
如图11所示，3D感测模块1108可以包括同步模块1110，其生成触发脉冲以引起立体相机1112和光源1114同时地捕获图像对和照明场景。如以上所描述的，立体相机1112和/或光源1114可以被全部或部分地集成在如图1所示的基于计算的设备1100内(例如，其中基于计算的设备是移动设备并且图3中的第二示例32中示出的布置被使用)，或者可替换地，立体相机1112和光源可以在基于计算的设备1100的外部(例如，其中图3中的第一示例31中示出的布置被使用)。在3D感测模块1108至少部分地被实现在硬件中的情况下，同步模块1110可以为同步板。
3D感测模块1108还包括分析模块1116，其被布置为(例如，如图2的框206中的)分析所捕获的图像。将认识到，在一些示例中，分析模块1116可以在3D感测模块1108的外部。分析模块1116的输出可以被输入到单独的分类引擎(例如，被布置为执行图8中的框816的方法)或者分类可以在分析模块1116内被执行。来自分类的输出被提供为到操作系统1104和/或应用软件1106的输入，使得后向反射器和/或遮挡对象的运动将NUI提供给基于计算的设备。
计算机可执行指令可以使用可以由基于计算的设备1100访问的任何计算机可读介质来提供。计算机可读介质可以包括例如诸如存储器1118的计算机存储介质和通信介质。例如存储器1118的计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法或技术实现的易失性的和非易失性的、可移除的和不可移除的介质。计算机可读介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁性存储设备或可以用于存储用于由计算设备访问的信息的任何其他非传输介质。相反，通信介质可以体现计算机可读指令、数据结构、程序模块或经调制的数据信号中的其他数据(例如载波)或其他传输机制。如本文中所限定的，计算机存储介质不包括通信介质。因此，计算机存储介质不应当被解读为传播信号本身。传播信号可以被呈现在计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。尽管计算机存储介质(存储器1118)被示出在基于计算的设备1100内，但是将认识到，存储器可以被分布或被定位在远程并且经由网络或其他通信链路(例如使用通信接口1120)来访问。
基于计算的设备1100还可以包括输入/输出控制器1122，其被布置为将显示信息输出到显示设备1124，显示设备1124可以与基于计算的设备1100分离或集成到基于计算的设备1100。显示信息可以提供图形用户界面。在各种示例中，输入/输出控制器1122还可以被布置为接收并处理来自一个或多个设备的输入，一个或多个设备是例如用户输入设备1124(例如，鼠标、键盘、相机、麦克风或其他传感器)，其可以接收除了经由本文描述的3D感测系统接收到的用户输入之外的用户输入。本文描述的3D感测系统被布置为检测用户手势或其他用户动作并且可以提供NUI。用户输入设备1124还可以为NUI设备(例如，其可以检测声音)或者可以使用更传统的输入手段，例如按钮/按键按压。该用户输入可以用于控制运行在基于计算的设备1100或另一基于计算的设备上的操作系统1104和/或应用软件1106。在实施例中，显示设备1124还可以在其为触敏显示设备的情况下用作用户输入设备1126。输入/输出控制器1122还可以将数据输出到除了显示设备之外的设备，例如本地连接的打印设备(未示出在图11中)。
如以上所描述的，任何输入/输出控制器1122、显示设备1124和用户输入设备1126可以包括NUI技术，其使得用户能够以自然的方式与基于计算的设备交互，不受由诸如鼠标、键盘和远程控制等的输入设备施加的人为约束限制。另外，包括立体相机1112、光源1114和3D感测模块1108的3D感测系统用作如以上所描述的NUI设备。可以被提供的NUI技术的示例包括但不限于依靠声音和/或语音识别、触摸和/或触笔识别(触敏显示器)、在屏幕上和靠近屏幕两种的手势识别、空中手势、头和眼跟踪、声音和语音、视觉、触摸、手势和机器智能的那些技术。可以被使用的NUI技术的其他示例包括意图和目标理解系统、使用深度相机(例如立体相机系统、红外相机系统、RGB相机系统和这些相机系统的组合)的运动手势检测系统、使用加速度计/陀螺仪的运动手势检测、人脸识别、3D显示器、头、眼和注视跟踪、沉浸式增强现实和虚拟现实系统以及用于使用电场感测电极来感测脑活动的技术(EEG和相关方法)。如以上所描述的，本文描述的3D感测系统(其包括立体相机1112、光源1114和3D感测模块1108)被布置为同时跟踪后向反射器和遮挡后向反射器的对象两者并且因此可以实现通过在后向反射器上和在后向反射器上方的交互空间中两者的触摸和/或对象识别和/或手势识别的用户输入。
尽管当前示例在本文中被描述并被图示为被实现在如图11所示的基于计算的设备1100中，其中3D感测模块1108控制其被定位在其中的基于计算的设备，描述的系统被提供为示例而非限制。如本领域技术人员将认识到的，当前示例适合于应用于各种不同类型的系统中，并且在其他示例中，3D感测模块1108可以用于(经由通过NUI界面接收到的输入)控制第二基于计算的设备，其中3D感测模块的输出经由通信接口1120被传送给该第二基于计算的设备。
术语‘计算机’或‘基于计算的设备’在本文中用于指代具有处理能力使得其可以运行指令的任何设备。本领域技术人员将意识到这种处理能力被并入到许多不同的设备中，并且因此术语‘计算机’或‘基于计算的设备’均包括PC、服务器、移动电话(包括智能电话)、平板电脑、机顶盒、媒体播放器、游戏平台、个人数字助理和许多其他设备。
本文描述的方法可以由以有形存储介质上的机器可读形式的软件来执行，软件例如采用包括程序代码装置的计算机程序的形式，该程序代码装置被适配为当程序在计算机上运行时并且在计算机程序可以被实现在计算机可读介质上的情况下执行本文描述的方法中的任何的所有步骤。有形存储介质的示例包括计算机存储设备并且不包括传播信号，计算机存储设备包括计算机可读介质，例如盘、拇指驱动器、存储器等。传播信号可以被呈现在有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可以适合于运行在并行处理器或串行处理器上使得方法的步骤可以以任何适当的顺序或者同时地被执行。
本文认可软件可以是有价值的可单独交易的商品。本文旨在包含运行在“傻瓜(dumb)”或标准硬件上或控制“傻瓜(dumb)”或标准硬件的以执行期望的功能的软件。本文还旨在包含“描述”或限定硬件的配置的软件，例如如被用于设计硅芯片的或者用于配置通用可编程芯片以执行期望的功能的HDL(硬件描述语言)软件。
本领域技术人员将意识到用于存储程序指令的存储设备可以跨网络分布。例如，远程计算机可以存储被描述为软件的过程的示例。本地或终端计算机可以访问远程计算机并下载软件的部分或全部来运行程序。可替换地，本地计算机可以根据需要下载多个软件，或者在本地终端处运行一些软件指令并且在远程计算机(或计算机网络)处运行一些软件指令。本领域技术人员还将意识到通过利用对本领域技术人员已知的传统技术，软件指令的全部或部分可以由例如DSP或可编程逻辑阵列等的专用电路来执行。
如对于技术人员而言显而易见的，可以在不丧失寻求的效果的情况下扩展或更改本文给出的任何范围或设备值。
尽管已经以特定于结构特征和/或方法动作的语言描述了本主题，但是应理解在随附权利要求书中限定的主题不必限于以上描述的特定特征或动作。相反，以上描述的特定特征和动作被公开为实现权利要求的示例形式。
将理解，以上描述的益处和优点可以涉及一个实施例或者可以涉及几个实施例。实施例不限于解决所陈述的问题中的任何或全部的那些实施例或者具有所陈述的益处和优点中的任何或全部的那些实施例。还将理解，对‘an’项的引用指代那些项中的一个或多个项。
本文描述的方法的步骤可以以任何适当的顺序来执行，或者在适当的情况下可以同时地来执行。此外，单独的框可以在不脱离本文描述的主题的精神和范围的情况下从任何方法中删除。以上描述的任何示例的多个方面可以在不丧失寻求的效果的情况下与被描述的任何其他示例的多个方面进行组合以形成另外的示例。
术语‘包括’在本文中用于意指包括所识别的方法框或元件，但是这种框或元件不包括排他性列表，并且方法或装置可以包含额外的框或元件。
将理解，以上描述仅仅通过示例的方式给出并且可以由本领域技术人员进行各种修改。以上说明书、示例和数据提供对示例性实施例的结构和用途的完整描述。尽管以上以某种程度的特殊性或者参考一个或多个单独的实施例描述了各种实施例，但是本领域技术人员可以在不脱离本说明书的精神或范围的情况下对所公开的实施例进行许多更改。

Claims (19)

1.一种3D感测系统，包括：
立体相机，所述立体相机包括红外相机；
光源；以及
3D感测模块，被布置为在部分地遮挡后向反射器的对象被所述3D感测模块跟踪的时间期间，使用由所述立体相机捕获的图像对来跟踪所述后向反射器，以及至少部分基于所述后向反射器的下压来检测触摸事件或确定压力值；
所述3D感测模块还包括：同步模块，被布置为生成触发脉冲以触发所述立体相机对图像对的捕获和所述光源的同时照明；以及分析模块，被布置为分析捕获的所述图像以同时跟踪所述后向反射器和部分地遮挡所述后向反射器的所述对象两者，所述分析模块还被布置为通过以下来分析捕获的所述图像以生成所述后向反射器和所述对象中的每个的3D轮廓：从图像对中的每幅图像提取所述后向反射器的2D轮廓和所述对象的2D轮廓，以及执行来自所述图像对中的每幅图像的所述2D轮廓之间的立体匹配；以及
所述3D感测模块还被布置为从所述图像对中的每幅图像去除失真，矫正所述图像对中的每幅图像，以及标识每幅图像的部分以在所述分析中不考虑没有被包含在所述图像对中的另一图像中的场景的部分。
2.根据权利要求1所述的系统，其中所述后向反射器相对于所述立体相机可移动。
3.根据权利要求2所述的系统，其中所述后向反射器在光的可见波长处是透明的，并且在由所述立体相机捕获的波长范围处是后向反射的。
4.根据权利要求2所述的系统，其中所述后向反射器包括被形成在所述后向反射器的上表面上的用户界面布局，其中所述用户界面布局在所述后向反射器在其上后向反射的波长范围处是透明的。
5.根据权利要求1所述的系统，所述3D感测模块使用从以下中的任何一个或多个被选择的硬件逻辑来被至少部分实现：现场可编程门阵列、程序专用集成电路、程序专用标准产品、片上系统、复杂可编程逻辑器件。
6.根据权利要求1所述的系统，其中所述立体相机包括固定间距的红外(IR)相机对。
7.根据权利要求1所述的系统，其中所述光源包括围绕所述红外相机的透镜被布置的多个散射IR LED。
8.根据权利要求1所述的系统，还包括印刷显示内容标牌，被布置为被可移除地放置在所述后向反射器的背面上。
9.一种3D感测的方法，包括：
生成触发脉冲以使立体相机在场景被光源照明的时间期间捕获所述场景的图像对；
分析所述图像对以跟踪所述场景中的后向反射器和部分地遮挡所述后向反射器的对象两者，以及至少部分基于所述后向反射器的下压来检测触摸事件或确定压力值；
分析所述图像对还包括在第一轮中计算针对所述后向反射器的3D深度轮廓，以及在第二轮中计算针对所述对象的3D深度轮廓；
计算针对所述后向反射器的所述3D深度轮廓包括：提取针对在所述图像对中的每幅图像中的每个明亮剪影的2D轮廓，以及执行在从所述图像对中的第一图像提取的所述2D轮廓与从所述图像对中的第二图像提取的所述2D轮廓之间的立体匹配；以及
从所述图像对中的每幅图像去除失真，矫正所述图像对中的每幅图像，以及标识每幅图像的部分以在所述分析中不考虑没有被包含在所述图像对中的另一图像中的所述场景的部分。
10.根据权利要求9所述的方法，还包括重复所述方法来以预定义帧率捕获图像对，并且其中所述分析被实时地逐帧地执行。
11.根据权利要求9所述的方法，其中计算针对所述对象的3D深度轮廓包括：
针对所述图像对中的每幅图像：
生成所述图像中的提取的每个2D轮廓的凸包；
通过对所述图像内的位于凸包内的像素进行反转来生成经修改的图像；以及
提取针对所述经修改的图像中的每个明亮剪影的2D轮廓；以及
执行在从所述图像对中的第一经修改的图像提取的所述2D轮廓与从所述图像对中的第二经修改的图像提取的所述2D轮廓之间的立体匹配。
12.根据权利要求9所述的方法，其中分析所述图像对还包括：
通过对所述3D深度轮廓应用机器学习技术来对所述后向反射器和所述对象中的至少一个进行分类。
13.根据权利要求12所述的方法，还包括：
基于至少所述后向反射器的分类来生成针对软件程序的输入信号。
14.根据权利要求13所述的方法，其中所述输入信号基于至少所述后向反射器的分类和所述后向反射器和所述对象的相对位置被生成。
15.根据权利要求9所述的方法，其中分析所述图像对还包括：通过对所述3D深度轮廓应用机器学习技术来对所述后向反射器和所述对象中的至少一个进行分类，基于至少所述后向反射器的分类和所述后向反射器和所述对象的相对位置来生成针对软件程序的输入信号。
16.一种3D感测系统，包括：
立体相机；
光源；以及
3D感测模块，被布置为在部分地遮挡后向反射器的对象被所述3D感测模块跟踪的时间期间，使用由所述立体相机捕获的图像对来跟踪所述后向反射器，以及至少部分基于所述后向反射器的下压来检测触摸事件或确定压力值；
所述3D感测模块包括：同步模块，被布置为生成触发脉冲以触发所述立体相机对所述图像对的捕获和所述光源的同时照明；以及分析模块，被布置为分析捕获的所述图像以同时跟踪所述后向反射器和部分地遮挡所述后向反射器的所述对象两者，所述分析模块还被布置为通过以下来分析捕获的所述图像以生成所述后向反射器和所述对象中的每个的3D轮廓：从图像对中的每幅图像提取所述后向反射器的2D轮廓和所述对象的2D轮廓，以及执行来自所述图像对中的每幅图像的所述2D轮廓之间的立体匹配；以及
所述3D感测模块还被布置为从所述图像对中的每幅图像去除失真，矫正所述图像对中的每幅图像，以及标识每幅图像的部分以在所述分析中不考虑没有被包含在所述图像对中的另一图像中的场景的部分。
17.根据权利要求16所述的系统，还包括印刷显示内容标牌，被布置为被可移除地放置在所述后向反射器的背面上。
18.根据权利要求16所述的系统，其中所述后向反射器在光的可见波长处是透明的，并且在由所述立体相机捕获的波长范围处是后向反射的。
19.根据权利要求16所述的系统，其中所述后向反射器包括被形成在所述后向反射器的上表面上的用户界面布局，其中所述用户界面布局在所述后向反射器在其上后向反射的波长范围处是透明的。
CN201480073109.6A 2014-01-14 2014-12-30 3d剪影感测系统 Active CN106062780B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/154,571 US9720506B2 (en) 2014-01-14 2014-01-14 3D silhouette sensing system
US14/154,571 2014-01-14
PCT/US2014/072621 WO2015108696A1 (en) 2014-01-14 2014-12-30 3d silhouette sensing system

Publications (2)

Publication Number Publication Date
CN106062780A CN106062780A (zh) 2016-10-26
CN106062780B true CN106062780B (zh) 2023-01-20

Family

ID=52302415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480073109.6A Active CN106062780B (zh) 2014-01-14 2014-12-30 3d剪影感测系统

Country Status (5)

Country Link
US (2) US9720506B2 (zh)
EP (1) EP3095074B1 (zh)
KR (1) KR102322813B1 (zh)
CN (1) CN106062780B (zh)
WO (1) WO2015108696A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
EP3107070B1 (en) * 2014-02-14 2020-04-29 Sony Interactive Entertainment Inc. Information processing device and information processing method
TWI538476B (zh) * 2014-03-24 2016-06-11 立普思股份有限公司 立體攝影系統及其方法
CN106796462B (zh) * 2014-08-05 2020-09-04 惠普发展公司，有限责任合伙企业 确定输入对象的位置
US10168838B2 (en) * 2014-09-30 2019-01-01 Hewlett-Packard Development Company, L.P. Displaying an object indicator
US9823755B2 (en) * 2015-02-26 2017-11-21 Konica Minolta Laboratory U.S.A., Inc. Method and apparatus for interactive user interface with wearable device
JP6565428B2 (ja) * 2015-07-28 2019-08-28 ブラザー工業株式会社 三次元形状測定装置
JP6765057B2 (ja) * 2016-03-18 2020-10-07 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法およびプログラム
US20170293363A1 (en) * 2016-04-07 2017-10-12 Jeffrey Shawn McLaughlin System And Methods For Eye Gaze Triggered Control Of Appliance By Hand Gesture
EP3242190B1 (en) 2016-05-06 2019-11-06 Advanced Silicon SA System, method and computer program for detecting an object approaching and touching a capacitive touch device
US10963157B2 (en) * 2016-05-12 2021-03-30 Lsi Industries, Inc. Outdoor ordering system with interactive menu elements
US10593057B2 (en) * 2016-12-22 2020-03-17 Dermagenesis, Llc Touchless wound measurement, wound volume measurement, and other wound measurement
WO2018151760A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same
US10380806B2 (en) 2017-03-07 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for receiving and detecting dimensional aspects of a malleable target object
EP3688662A1 (en) 2017-09-27 2020-08-05 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
US10616545B2 (en) * 2017-11-09 2020-04-07 ThredUp Inc. Retroreflective garment photography
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction
WO2019205083A1 (zh) * 2018-04-27 2019-10-31 深圳市柔宇科技有限公司 一种3d影像拍摄方法、3d拍摄设备及存储介质
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
CN108920016B (zh) * 2018-08-15 2021-12-28 京东方科技集团股份有限公司 触控显示装置、触控显示客户端以及触控信息处理装置
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
US11516374B2 (en) * 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN111982005A (zh) * 2020-09-16 2020-11-24 北京强度环境研究所 一种三维变形场测量装置
EP4123258A1 (en) * 2021-07-22 2023-01-25 Siemens Corporation Planar object segmentation
CN114489328B (zh) * 2021-12-30 2024-04-05 重庆特斯联智慧科技股份有限公司 一种基于手势分布模板动作识别的机器人控制方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163336A (en) * 1994-12-13 2000-12-19 Richards; Angus Duncan Tracking system for stereoscopic display systems
US6618497B1 (en) * 1999-06-24 2003-09-09 Pentax Corporation Photogrammetric image processing apparatus and method
CN101546372A (zh) * 2008-03-26 2009-09-30 新巨企业股份有限公司 立体影像展开装置
GB2461804A (en) * 2008-07-14 2010-01-20 Bosch Gmbh Robert Calibration Device for Starting Line Detector of Hand Held Machine Tool
CN102272703A (zh) * 2008-11-05 2011-12-07 智能技术无限责任公司 具有多角度反射结构的交互输入系统
CN102870077A (zh) * 2010-03-08 2013-01-09 卢米奥有限公司 具有反射器的光学触摸屏
EP2568355A2 (en) * 2011-09-12 2013-03-13 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6545670B1 (en) * 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
JP2001209487A (ja) * 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
DE10100617A1 (de) * 2001-01-09 2002-07-18 Siemens Ag Steuerbare Anordnung mit Benutzerauthentisierung
WO2003021394A2 (en) * 2001-08-31 2003-03-13 Solidworks Corporation Simultaneous use of 2d and 3d modeling data
US20030063300A1 (en) * 2001-10-01 2003-04-03 Gilles Rubinstenn Calibrating image capturing
US20100194976A1 (en) * 2001-10-10 2010-08-05 Smith Peter H Computer based aids for independent living and health
US7158122B2 (en) * 2002-05-17 2007-01-02 3M Innovative Properties Company Calibration of force based touch panel systems
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
US7014325B2 (en) * 2003-01-30 2006-03-21 Hubbs Machine & Manufacturing Inc. Displacement process for hollow surveying retroreflector
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US8681098B2 (en) 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US8432372B2 (en) * 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
JP2011521316A (ja) * 2008-04-10 2011-07-21 ハンセン，カール，クリストファー 使用が容易な光無線遠隔制御装置
US20090319909A1 (en) * 2008-06-19 2009-12-24 Aten International Co., Ltd. Data Transfer Systems, Switches, and Method of Providing the Same
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
KR20120058594A (ko) * 2009-09-01 2012-06-07 스마트 테크놀러지스 유엘씨 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법
US9274654B2 (en) * 2009-10-27 2016-03-01 Perceptive Pixel, Inc. Projected capacitive touch sensing
US8682030B2 (en) * 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US8836672B2 (en) * 2011-02-09 2014-09-16 Dornerworks, Ltd. System and method for improving machine vision in the presence of ambient light
US20130103446A1 (en) * 2011-10-20 2013-04-25 Microsoft Corporation Information sharing democratization for co-located group meetings
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
WO2013170129A1 (en) * 2012-05-10 2013-11-14 President And Fellows Of Harvard College A system and method for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
US9213888B2 (en) * 2012-06-27 2015-12-15 Disney Enterprises, Inc. Electronic devices in local interactions between users
KR101438615B1 (ko) * 2012-12-18 2014-11-03 현대자동차 주식회사 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163336A (en) * 1994-12-13 2000-12-19 Richards; Angus Duncan Tracking system for stereoscopic display systems
US6618497B1 (en) * 1999-06-24 2003-09-09 Pentax Corporation Photogrammetric image processing apparatus and method
CN101546372A (zh) * 2008-03-26 2009-09-30 新巨企业股份有限公司 立体影像展开装置
GB2461804A (en) * 2008-07-14 2010-01-20 Bosch Gmbh Robert Calibration Device for Starting Line Detector of Hand Held Machine Tool
CN102272703A (zh) * 2008-11-05 2011-12-07 智能技术无限责任公司 具有多角度反射结构的交互输入系统
CN102870077A (zh) * 2010-03-08 2013-01-09 卢米奥有限公司 具有反射器的光学触摸屏
EP2568355A2 (en) * 2011-09-12 2013-03-13 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Distributed Display Approach Using PHMD with Infrared Camera;Ryugo KIJIMA等;《Proceedings of the IEEE Virtual Reality 2002 (VR"02)》;20021231;摘要、第1-4节 *
High Precision Multi-touch Sensing on Surfaces using Overhead Cameras;Ankur Agarwal 等;《Second Annual IEEE International Workshop on Horizontal Interactive Human-Computer System》;20071231;第197-200页 *
全向立体成像系统场景深度估计;王炜 等;《计算机工程与应用》;20091231;第45卷(第31期);第161-164，171页 *

Also Published As

Publication number Publication date
US20170285763A1 (en) 2017-10-05
CN106062780A (zh) 2016-10-26
KR102322813B1 (ko) 2021-11-08
EP3095074B1 (en) 2021-03-03
US20150199018A1 (en) 2015-07-16
KR20160108386A (ko) 2016-09-19
US10001845B2 (en) 2018-06-19
US9720506B2 (en) 2017-08-01
EP3095074A1 (en) 2016-11-23
WO2015108696A1 (en) 2015-07-23

Similar Documents

Publication Publication Date Title
CN106062780B (zh) 3d剪影感测系统
US12032746B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US11237625B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US20240257481A1 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
CA3058821C (en) Touchless input
US20100315413A1 (en) Surface Computer User Interaction
US20140208274A1 (en) Controlling a computing-based device using hand gestures
JP2017518566A (ja) モバイルプラットフォームにおける空中および表面マルチタッチ検出
US20230342024A1 (en) Systems and Methods of Interacting with a Virtual Grid in a Three-dimensional (3D) Sensory Space
Diaz et al. Multimodal sensing interface for haptic interaction
Cheng et al. Fingertip-based interactive projector–camera system
KR101567469B1 (ko) 증강 현실 기기를 위한 가상 입력 장치 제어 장치 및 방법
Candela et al. HumanTop: A multi-object tracking tabletop
Michel et al. Building a Multi-Touch Display Based on Computer Vision Techniques.
Kapoor et al. Marker-less detection of virtual objects using augmented reality
Pullan et al. High Resolution Touch Screen Module
Varshney et al. SmartTouch: A cost-effective infrared based imaging touch screen

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant