CN102385237A - 基于结构化光和立体视觉的深度相机 - Google Patents

基于结构化光和立体视觉的深度相机 Download PDF

Info

Publication number
CN102385237A
CN102385237A CN2011102854559A CN201110285455A CN102385237A CN 102385237 A CN102385237 A CN 102385237A CN 2011102854559 A CN2011102854559 A CN 2011102854559A CN 201110285455 A CN201110285455 A CN 201110285455A CN 102385237 A CN102385237 A CN 102385237A
Authority
CN
China
Prior art keywords
depth
sensor
frame
structured light
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102854559A
Other languages
English (en)
Other versions
CN102385237B (zh
Inventor
S·卡茨
A·阿德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102385237A publication Critical patent/CN102385237A/zh
Application granted granted Critical
Publication of CN102385237B publication Critical patent/CN102385237B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明公开了基于结构化光和立体视觉的深度相机。深度相机系统诸如在跟踪视野中的用户的运动的系统中使用结构化光照明器和多个传感器，诸如红外光检测器。一个传感器可针对较短程检测来优化，而另一传感器针对较长程检测来优化。这些传感器可具有距该照明器不同的基线距离、以及不同的空间分辨率、曝光时间和敏感性。在一个方法中，通过匹配到结构化光图案从每一传感器获取各深度值，并且各深度值被合并，以获取作为到应用程序的输入来提供的最终深度图。该合并可涉及不加权平均、加权平均、准确性测量和/或置信度测量。在另一方法中，使用各传感器的像素数据之间的立体匹配来获取包括在该合并中的各附加深度值。

Description

基于结构化光和立体视觉的深度相机
技术领域
本发明涉及图像处理技术，具体涉及深度数据的获取。
背景技术
实时深度相机能够确定与该相机的视野内的人类或其他对象相距的距离，并且基于该相机的帧速率来基本实时地更新该距离。这样的深度相机可以在运动捕捉系统中例如用于获取关于物理空间中的人体或其他主体的位置和移动的数据，并且可以将该数据用作到计算系统中的应用的输入。可以有许多应用，诸如用于军事、娱乐、体育和医学目的。通常，深度相机包括照明视野的照明器、以及感测来自视野的光以形成图像的图像传感器。然而，各种挑战由于诸如光照条件、表面纹理和色彩、以及遮挡可能性等变量而存在。
发明内容
提供了深度相机系统。该深度相机系统使用至少两个图像传感器以及结构化光图像处理和立体图像处理的结合来基本实时地获取场景的深度图。可为由传感器获得的像素数据的每一新的帧更新该深度图。此外，图像传感器可被安装在距照明器不同距离处，并可具有不同特征，以便允许获取更准确的深度图同时降低遮挡的可能性。
在一个实施例中，深度相机系统包括用结构化光图案来照明视野中的对象的照明器、至少第一和第二传感器、以及至少一个控制电路。该第一传感器感测从该对象反射的光以获取像素数据的第一帧，并且针对较短程成像来优化。这一优化可按照例如第一传感器与照明器之间的相对较短距离，或第一传感器的相对少的曝光时间、空间分辨率和/或对光的敏感性来实现。该深度相机系统进一步包括感测从该对象反射的光以获取像素数据的第二帧的第二传感器，其中，该第二传感器针对较长程成像来优化。这一优化可按照例如第二传感器与照明器之间的相对较长距离，或第二传感器的相对长的曝光时间、空间分辨率和/或对光的敏感性来实现。
该深度相机系统进一步包括至少一个控制电路，该控制电路可与传感器和照明器在公共外壳中、和/或在诸如计算环境等分开的组件中。该至少一个控制电路通过将像素数据的第一帧与结构化光的图案相比较来导出对象的第一结构化光深度图，通过将像素数据的第二帧与结构化光的图案相比较来导出对象的第二结构化光深度图，并且导出基于第一和第二结构化光深度图的合并的深度图。每一深度图可包括诸如在像素网格中的每一像素位置的深度值。
在另一方面，立体图像处理还被用于细化深度值。例如，当像素数据的第一和/或第二帧中的一个或多个像素没有被成功地匹配到结构化光的图案时，或当深度值指示需要较大基线以实现良好的准确性的大距离时，立体图像处理的使用可被触发。以此方式，仅按需向深度值提供进一步细化，以便避免不必要的处理步骤。
在某些情况下，由传感器获取的深度数据可基于该传感器的特征来分配权重，和/或基于深度值中的置信度来分配准确性度量。
最终深度图可被用作对例如运动捕捉系统中的应用的输入，其中，该对象是由该运动捕捉系统跟踪的人类，并且该应用响应于诸如通过对化身动画化、导航屏幕上菜单、或执行某一其他动作之类的人类的姿势或移动来改变该运动捕捉系统的显示。
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图说明
在附图中，相同编号的元件彼此对应。
图1描绘了运动捕捉系统的示例实施例。
图2描绘了图1的运动捕捉系统的示例框图。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一个示例框图。
图5A描绘了在结构化光系统中的照明帧和所捕捉的帧。
图5B描绘了在立体光系统中的两个所捕捉的帧。
图6A描绘了带有在照明器的公共侧的两个传感器的成像组件。
图6B描绘了带有在照明器的一侧的两个传感器、以及在该照明器的相对侧的一个传感器的成像组件。
图6C描绘了带有在照明器的公共侧的三个传感器的成像组件。
图6D描绘了带有在照明器的相对侧的两个传感器的成像组件，其示出这两个传感器如何感测对象的不同部分。
图7A描绘了用于获取视野的深度图的过程。
图7B描绘了图7A的步骤706的进一步细节，其中两个结构化光深度图被合并。
图7C描绘了图7A的步骤706的进一步细节，其中两个结构化光深度图和两个立体深度图被合并。
图7D描绘了图7A的步骤706的进一步细节，其中，使用立体匹配按需对各深度值进行细化。
图7E描绘了图7A的步骤706的另一方法的进一步细节，其中，使用立体匹配按需对合并的深度图的各深度值进行细化。
图8描绘了如在图7A的步骤708中阐述的用于使用控制输入来跟踪人类目标的示例方法。
图9描绘了如在图8的步骤808中阐述的人类目标的示例模型。
具体实施方式
提供了深度相机以供在跟踪视场中的一个或多个对象中使用。在示例实现中，该深度相机被用在运动跟踪系统中以跟踪人类用户。该深度相机包括两个或更多个传感器，该两个或更多个传感器被优化以解决诸如光照条件、表面纹理和色彩、以及遮挡可能性之类的变量。该优化可包括优化各传感器相对于彼此之间的放置和相对于照明器的放置，以及优化各传感器的空间分辨率、敏感性和曝光时间。该优化还可包括诸如通过将像素数据的帧匹配到结构化光的图案和/或通过将像素数据的一帧匹配到另一帧来优化如何获取深度图数据。
如此处描述的多个传感器的使用提供了胜于其他方法的优点。例如，除立体相机以外的实时深度相机往往提供可嵌入在2-D矩阵上的深度图。这样的相机有时被称为2.5D相机，因为它们通常使用单个成像设备来提取深度图，使得没有给出被遮挡对象的信息。立体深度相机往往获取对两个或更多个相机可见的相当稀疏的位置测量。同样，当对诸如白墙之类的平滑的无纹理(textureless)表面进行成像时，它们运作得不好。某些深度相机使用结构化光来测量/标识由作为成像系统设备的传感器与远离传感器的作为光投影设备的照明器之间的视差造成的失真。这一方法固有地产生具有由于对传感器可见但对照明器不可见的阴影位置而引起的丢失信息的深度图。另外，外部光有时可使结构化图案对相机不可见。
上述缺点可通过使用两个或更多个传感器和单个照明设备的星座图来克服，以便如同使用了三个深度相机那样有效地提取3D样本。该两个传感器可通过匹配到结构化光图案来提供深度图像，而第三相机通过应用立体技术对来自两个传感器的两个图像进行匹配来实现。通过应用数据融合，增强包括对相机间中断的稳健性等3D测量的稳健性是可能的。我们提供了使用两个传感器与单个投影仪来实现两个深度图，使用结构化光技术、将结构化光技术与立体技术结合、并且在融合过程中使用以上来实现具有减小的遮挡和增强的稳健性的3D图像。
图1描绘了运动捕捉系统10的示例实施例，其中，人8如在用户的家中与应用程序进行交互。运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可包括成像组件22，其具有诸如红外(IR)光发射器之类的照明器26、诸如红外照相机之类的图像传感器26、以及色彩(诸如红-绿-蓝(RGB))照相机28。一个或多个对象，诸如也被称为用户、个人或玩家之类的人8，站在深度相机的视野6内。线2和4表示视野6的边界。在此示例中，深度相机系统20以及计算环境12提供应用程序，其中，显示器196上的化身197追踪人8的移动。例如，当人抬起手臂时，化身可以抬起手臂。化身197站在3-D虚拟世界的公路198上。可以定义笛卡儿世界坐标系，其包括沿着深度相机系统20的焦距延伸(例如，水平地)的z轴、垂直地延伸的y轴、以及横向地并且水平地延伸的x轴。注意，因为显示器196在y轴方向垂直地延伸，且z轴从深度相机系统垂直于y轴和x轴并平行于用户8所站立的地面地伸出，附图的透视被修改为简化。
一般而言，运动捕捉系统10被用来识别、分析、和/或跟踪一个或多个人目标。计算环境12可包括计算机、游戏系统或控制台等等，以及执行应用程序的硬件组件和/或软件组件。
深度相机系统20可被用来在视觉上监视一个或多个诸如人8之类的人，以便可以捕捉、分析、以及跟踪由人执行的姿势和/或移动，以在应用程序内执行一个或多个控制或动作，如动画化化身或屏幕上人物或选择用户界面(UI)中的一个菜单项。深度相机系统20在下文中更详细讨论。
运动捕捉系统10可以连接到诸如显示器196之类的视听设备，例如，电视机、监视器、高清晰度电视机(HDTV)等等，或者甚至向用户提供视觉和音频输出的墙或其他表面上的投影。还可以经由单独的设备来提供音频输出。为驱动显示器，计算环境12可包括提供与应用程序相关联的视听信号的诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器。显示器196可连接到计算环境12。
可以使用深度相机系统20来跟踪人8，以使得用户的姿势和/或移动被捕捉并用于动画化化身或屏幕上人物，和/或被解释为对正在由计算机环境12执行的应用程序的输入控制。
人8的一些移动可被解释为可对应于除了控制化身之外的动作的控制。例如，在一个实施方式中，玩家可以使用移动来结束、暂停或保存游戏，选择级别，查看高分，与朋友进行交流等等。玩家可以使用移动来从主用户界面中选择游戏或其他应用程序，或以别的方式导航选项菜单。如此，可以有人8的全套运动可用，可使用它们，并以任何合适的方式分析它们，以与应用程序进行交互。
运动捕捉系统10还可以用于将目标移动解释成处于游戏或意味着娱乐和休闲的其他应用程序的领域之外的操作系统和/或应用程序控制。例如，操作系统和/或应用程序的实质上任何可控方面都可以由人8的移动来控制。
图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可以被配置为通过任何合适的技术捕捉带有深度信息(包括可以包括深度值的深度图像)的视频，这些技术包括例如飞行时间、结构化光、立体图像等等。深度相机系统20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。
深度相机系统20可包括成像组件22，该成像组件22捕捉物理空间中的场景的深度图像。深度图像或深度图可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素都可具有表示与成像组件22的线性距离的相关联的深度值，从而提供3-D深度图像。
成像组件22的各种配置是可能的。在一个方法中，成像组件22包括照明器26、第一图像传感器(S1)24、第二图像传感器(S2)29、以及可见色彩相机28。传感器S1和S2可被用于捕捉场景的深度图像。在一个方法中，照明器26是红外(IR)光发射器，并且第一和第二传感器是红外光传感器。通过照明器26和一个或多个传感器26的组合来形成3-D深度相机。
使用各种技术可由每一传感器获取深度图。例如，深度相机系统20可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示成诸如网格图案或条纹图案等已知图案的光)由照明器26投影到场景上。在撞击到场景中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如传感器24或29和/或色彩相机28来捕捉，然后可被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。
在一个可能的方法中，传感器24和29位于照明器26的相对侧，并且处于与该照明器的不同基线距离。例如，传感器24位于与照明器26的距离BL1处，并且传感器29位于与照明器26的距离BL2处。传感器与照明器之间的距离可按照传感器与照明器的中心点(诸如光轴)之间的距离来表示。使各传感器在照明器的相对侧的一个优点是视野中对象的遮挡区域可被减小或消除，因为各传感器从不同角度看到对象。同样，可通过将传感器放置在相对接近于照明器来优化该传感器以供查看视野内较近的对象，而可通过将另一传感器放置在相对远离照明器来优化该另一传感器以供查看视野内较远的对象。例如，在BL2＞BL1的情况下，传感器24可被认为是针对较短程成像来优化，而传感器29可被认为是针对较长程成像来优化的。在一个方法中，传感器24和29可以共线，使得它们被沿着穿过照明器的公共线放置。然而，关于传感器24和29的定位的其他配置是可能的。
例如，传感器可围绕要扫描的对象圆周地安排、或围绕全息图要被投影的位置圆周地安排。安排多个深度相机系统，各自具有围绕对象的一照明器和各传感器也是可能的。这可允许查看对象的不同侧，从而提供围绕该对象的旋转视图。通过使用更多深度相机，我们添加了该对象的更多可见区域。可以有两个深度相机，一个在对象的前方而一个在对象的后方，只要它们在其照明上彼此不盲就彼此对准。每一深度相机可感测从对象反射的其自身的结构化光图案。在另一示例中，两个深度相机被安排成彼此成90度。
深度相机系统20可包括与3-D深度照相机22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令可包括例如用于接收深度图像的指令；用于基于深度图像来生成体元网格的指令；用于移除体元网格中所包括的背景以隔离与人类目标相关联的一个或多个体元的指令；用于确定被隔离的人类目标的一个或多个肢端的位置或定位的指令；用于基于一个或多个肢端的位置或定位来调整模型的指令；或任何其他合适的指令，下面将对它们进行更详细的描述。
处理器32可访问存储器31以使用导出结构化光深度图的软件33、导出立体视觉深度图的软件34、以及执行深度图合并计算的软件35。处理器32可被认为是至少一个控制电路，该至少一个控制电路通过将像素数据的帧与由照明平面中的照明器发射的结构化光的图案相比较来导出对象的结构化光深度图。例如，使用软件33，该至少一个控制电路可通过将由传感器24获取的像素数据的第一帧与由照明器26发射的结构化光的图案相比较来导出对象的第一结构化光深度图，并且通过将由传感器29获取的像素数据的第二帧与该结构化光的图案相比较来导出对象的第二结构化光深度图。该至少一个控制电路可使用软件35来导出基于第一和第二结构化光深度图的合并的深度图。结构化光深度图在下文进一步讨论，例如参考图5A。
同样，该至少一个控制电路可使用软件34通过由传感器24获取的像素数据的第一帧到由传感器29获取的像素数据的第二帧的立体匹配来导出对象的至少第一立体深度图，并且通过像素数据的第二帧到像素数据的第一帧的立体匹配来导出对象的至少第二立体深度图。软件25可合并一个或多个结构化光深度图和/或立体深度图。立体深度图在下文进一步讨论，例如参考图5B。
该至少一个控制电路可由同样在深度相机系统外部的处理器来提供，诸如处理器192或任何其他处理器。该至少一个处理电路可访问来自存储器31的软件，该存储器31例如可以是有形计算机可读存储，该有形计算机可读存储其上包含有用于对至少一个处理器或控制器32进行编程以执行如此处描述的用于处理深度相机系统中的深度数据的方法的计算机可读软件。
存储器31可存储由处理器32执行的指令，以及存储诸如由传感器或色彩相机捕捉的像素数据36的帧之类的图像。例如，存储器31可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件31可以是经由总线21与图像捕捉组件22和处理器32通信的单独的组件。根据另一实施例，存储器组件31可被集成到处理器32和/或图像捕捉组件22中。
深度相机系统20可以经由诸如有线和/或无线连接等通信链路37与计算环境12进行通信。计算环境12可经由通信链路37向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。
另外，深度相机系统20可以通过通信链路37向计算环境12提供深度信息和由例如图像传感器24和29和/或色彩相机28捕捉到的图像，和/或可以由深度相机系统20所生成的骨架模型。然后，计算环境12可以使用模型、深度信息、以及捕捉到的图像来控制应用程序。例如，如图2所示，计算环境12可包括诸如姿势过滤器的集合之类的姿势库190，每一个过滤器都具有关于可以由骨架模型(随着用户移动)执行的姿势的信息。例如，可以为各种手势(如手的猛击或投掷)提供姿势过滤器。通过将检测到的运动与每一个过滤器进行比较，可以标识由人执行的指定的姿势或移动。还可以确定执行移动的程度。
可以将由深度相机系统20以骨架模型的形式捕捉的数据以及与它相关联的移动与姿势库190中的姿势过滤器进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个特定移动。那些移动可以与应用程序的各种控制相关联。
计算环境也可以包括处理器192，其用于执行存储在存储器194中的指令，以向显示设备196提供音频-视频输出信号，并实现如此处所描述的其他功能。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。可以使用计算环境来解释一个或多个姿势或其他移动，并作为响应，更新显示器上的视觉空间。上文所描述的诸如计算环境12等的计算环境可包括诸如游戏控制台等的多媒体控制台100。多媒体控制台100包括具有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。诸如闪存ROM之类的存储器106可存储当多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108，以便于处理器对各种类型的存储器112，比如RAM(随机存取存储器)的访问。
多媒体控制台100包括优选地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128以及前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供了媒体驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器。媒体驱动器144可以在多媒体控制台100的内部或外部。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括预留存储器(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。控制台100可以从图2的包括传感器24和29的深度相机系统20接收附加的输入。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一个示例框图。在运动捕捉系统中，可以使用计算环境来解释一个或多个姿势或其他移动，并作为响应，更新显示器上的视觉空间。计算环境220包括通常包括各种有形计算机可读存储介质的计算机241。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口231与GPU 229进行通信。作为示例而非限制，图4描绘了操作系统225、应用程序226、其他程序模块227，以及程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质，例如，读写不可移动、非易失性磁性介质的硬盘驱动器238，读写可移动、非易失性磁盘254的磁盘驱动器239，以及读写诸如CD ROM或其他光学介质之类的可移动、非易失性光盘253的光盘驱动器240。可以在该示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由例如接口234等不可移动存储器接口连接至系统总线221，而磁盘驱动器239和光盘驱动器240通常由例如接口235等可移动存储器接口连接至系统总线221。
上文所讨论的并且在图4中所描绘的驱动器以及其相关联的计算机存储介质为计算机241提供了计算机可读指令、数据结构、程序模块及其他数据的存储。例如，硬盘驱动器238被描绘为存储了操作系统258、应用程序257、其他程序模块256、以及程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)之类的输入设备向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由诸如并行端口、游戏端口或通用串行总线(USB)等其他接口和总线结构来进行连接。图2的深度相机系统20，包括传感器24和29，可以为控制台100定义附加的输入设备。监视器242或其他类型的显示器也通过接口，诸如视频接口232，连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可使用至诸如远程计算机246之类的一个或多个远程计算机的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，通常包括上文相对于计算机241所描述的许多或全部元件，但是图4中只描绘了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4描绘了驻留在存储器设备247上的远程应用程序248。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
计算环境可包括其上包含有计算机可读软件的有形计算机可读存储，计算机可读软件用于对至少一个处理器进行编程以执行如此处描述的用于处理深度相机系统中的图像数据的方法。有形计算机可读存储可包括，例如，组件31、194、222、234、235、230、253和254中的一个或多个。处理器可包括，例如，组件32、192、229和259中的一个或多个。
图5A描绘了在结构化光系统中的照明帧和所捕捉的帧。照明帧500表示照明器的图像平面，该照明器将结构化光发射到照明器的视野中的对象520上。照明帧500包括具有x2、y2和z2正交轴的轴系统。F2是照明器的焦点，以及O2是轴系统的原点，诸如位于照明帧500的中心处。所发射的结构化光可包括条纹、点或其他已知的照明图案。类似地，所捕捉的帧510表示诸如参考图2讨论的传感器24或29之类的传感器的图像平面。所捕捉的帧510包括具有x1、y1和z1正交轴的轴系统。F1是传感器的焦点，以及O1是轴系统的原点，诸如位于所捕捉的帧510的中心处。尽管不是必需的，但出于简明起见，在这一示例中，y1和y2是共线对齐的，并且z1和z2是平行的。同样，可使用两个或更多传感器，但出于简明起见，这里只描绘了一个传感器。
所投影的结构化光的光线是从照明器平面中的不同x2、y2位置发射的，诸如从照明帧500上的点P2所发射的示例光线502。光线502撞击对象520，例如，点P0处的人，并且在许多方向上反射。光线512是从P0行进至所捕捉的帧510上的点P1的示例反射光线。P1由传感器中的像素表示，使得它的x1、y1位置是已知的。根据几何原理，P2位于包括P1、F1和F2的平面上。这一平面与照明帧500相交的一部分是外极线(epi-polar)505。通过标识结构化光的哪一部分由P2投影，P2沿外极线505的位置可被标识。P2是P1的对应点。对象的深度约接近，外极线的长度就越长。
随后，P0沿z1轴的深度可通过三角测量来确定。这是深度图中分配给像素P1的深度值。对于照明帧500中的某些点，在所捕捉的帧510中可能没有对应像素，诸如由于遮挡或由于传感器的有限视野。对于所捕捉的帧510中对应点在照明帧500中被标识的每一像素，深度值可被获取。所捕捉的帧510的深度值集提供所捕捉的帧510的深度图。对于附加传感器及其相应的所捕捉的帧可实现相似的过程。此外，当视频数据的连续帧被获取后，可对每一帧实现该过程。
图5B描绘了在立体光系统中的两个所捕捉的帧。立体处理类似于图5A中描述的处理，因为两个帧中的对应点被标识。然而，在这一情况下，两个所捕捉的帧中的对应像素被标识，并且照明器被分开地提供。照明器550提供投影在照明器视野中的对象520上的光。这一光可例如由对象反射并由两个传感器感测。第一传感器获取像素数据的帧530，而第二传感器获取像素数据的帧540。示例光线532从对象上的点P0延伸到帧530中的像素P2，穿过相关联的传感器的焦点F2。类似地，示例光线542从对象上的点P0延伸到帧540中的像素P1，穿过相关联的传感器的焦点F1。从帧540的角度来看，立体匹配可涉及标识外极线545上对应于P1的点P2。类似地，从帧530的角度来看，立体匹配可涉及标识外极线548上对应于P2的点P1。由此，立体匹配可分开地执行，每次针对一对帧中的一个帧。在某些情况下，可执行从第一帧到第二帧在一个方向上的立体匹配，而不执行从第二帧到第一帧在其他方向上的立体匹配。
P0沿z1轴的深度可通过三角测量来确定。这是深度图中分配给像素P1的深度值。对于帧540中的某些点，在帧530中可能没有对应像素，诸如由于遮挡或由于传感器的有限视野。对于帧540中对应像素在帧530中被标识的每一像素，深度值可被获取。帧540的深度值集提供帧540的深度图。
类似地，P2沿z2轴的深度可通过三角测量来确定。这是深度图中分配给像素P2的深度值。对于帧530中的某些点，在帧540中可能没有对应像素，诸如由于遮挡或由于传感器的有限视野。对于帧530中对应像素在帧540中被标识的每一像素，深度值可被获取。帧530的深度值集提供帧530的深度图。
对于附加传感器及其相应的所捕捉的帧可实现相似的过程。此外，当视频数据的连续帧被获取后，可对每一帧实现该过程。
图6A描绘了带有在照明器的公共侧的两个传感器的成像组件600。照明器26是用结构化光图案来照明视野内的人类目标或其他对象的投影仪。光源可以是例如具有700nm-3,000nm波长的红外激光，包括具有0.75μm-1.4μm波长的近红外光、具有3μm-8μm波长的中等波长的红外光、以及具有8μm-15μm波长的长波长的红外光，该光源是最接近于由人类所发射的红外辐射的热成像区域。照明器可包括接收激光以及输出多个衍射的光束的衍射光学元件(DOE)。一般而言，DOE用于从单个准直光束提供多个较小的光束，如数千个较小的光束。每一个较小的光束都具有单个准直光束的功率的一小部分，并且较小的衍射光束可具有名义上相等的强度。
较小光束在所希望的预定图案中定义照明器的视野。DOE是光束复制器，因此所有输出光束将具有与输入光束相同的几何形状。例如，在运动跟踪系统中，可能希望以允许跟踪站在或坐在房间里的人类目标的方式来照亮房间。为跟踪整个人类目标，视野应该在足够宽的角度，在高度和宽度方面延伸，以便照亮人类的整个高度和宽度以及当与运动跟踪系统的应用程序进行交互时人类可以来回移动的区域。可以基于诸如人类的预期高度和宽度之类的因素来设置适当的视野，这些因素包括当手臂被抬高到头上或被抬到侧面时手臂的跨度，当与应用程序进行交互时人类可以移动的区域的大小，人类与照相机的预期的距离，以及照相机的焦距。
如先前讨论的，还可提供RGB相机28。还可在图6B和6C中提供RGB相机，但出于简明起见而未描绘。
在这一示例中，传感器24和29位于照明器26的公共侧。传感器24位于与照明器26的基线距离BL1处，并且传感器29位于与照明器26的基线距离BL2处。由于传感器29的较短基线，针对较短程成像来优化传感器29，而由于传感器24的较长基线，针对较长程成像来优化传感器24。此外，对于通常包括大小有限的外壳的成像系统600的固定大小，通过将两个传感器放置在照明器的一侧，可为距离照明器最远的传感器实现较长基线。另一方面，较短的基线改进了较短程成像，因为假设一给定焦距，传感器可聚焦于较近的对象，由此允许对较短距离的更准确的深度测量。较短基线导致较小差别以及最小遮挡。
较长基线改进了较长程成像的准确性，因为对应点的各光射线之间存在较大角度，这意味着图像像素可检测距离中的更小差异。例如，在图5A中，可以看到，如果帧500与510更远离，则光线502与512之间的角将更大。并且，在图5B中，可以看到，如果帧530与540更远离，则光线532与542之间的角将更大。当传感器更远离使得光射线之间的角更大时，用于确定深度的三角测量的过程更准确。
除了在成像组件600的外壳的约束下根据是较短程成像还是较长程成像被优化来为传感器设置最优基线以外，传感器的其他特征可被设置成优化较短程成像或较长程成像。例如，相机的空间分辨率可被优化。诸如电荷耦合器件(CCD)之类的传感器的空间分辨率是像素数量及其相对于所投影的图像的大小的函数，并且是对该传感器可检测出的细节有多精细的测量。与针对较长程成像来优化的传感器相比，对于针对较短程成像来优化的传感器，较低的空间分辨率是可接受的。较低的空间分辨率可通过使用帧中的相对较少的像素和/或相对较大的像素来实现，因为由于视野中所检测的对象的较短深度，像素大小相对于投影图像是相对较大的。这可导致成本节省以及降低的能耗。另一方面，与针对较短程成像来优化的传感器相比，对于针对较长程成像来优化的传感器，应使用较高的空间分辨率。较高的空间分辨率可通过使用帧中的相对较多的像素和/或相对较小的像素来实现，因为由于视野中所检测的对象的较长深度，像素大小相对于投影图像是相对较小的。较高的分辨率在深度测量中产生较高的准确性。
可被设置成优化较短程或较长程成像的传感器的另一特征是敏感性。敏感性指的是传感器对入射光作出反应的程度。敏感性的一个测量是量子效率，该量子效率是入射在传感器的光反应表面(诸如像素)上的光子的百分比，这将产生电子-空穴对。对于针对短程成像来优化的传感器，较低的敏感性是可接受的，因为由于将光子反射回传感器的对象的较近距离，相对更多光子将入射在每一像素上。较低的敏感性可通过例如导致成本节省的较低质量的传感器来实现。另一方面，与针对较短程成像来优化的传感器相比，对于针对较长程成像来优化的传感器，应使用较高的敏感性。较高的敏感性可通过较高质量的传感器来实现，以允许其中由于把光子反射回传感器的对象的更远距离而导致相对较少的光子将入射在每一像素上的检测。
可被设置成优化较短程或较长程成像的传感器的另一特征是曝光时间。曝光时间是在获取图像数据的帧的过程期间光被允许落在传感器的像素上的时间量，例如，相机快门打开的时间。在曝光时间期间，传感器的像素累积或集成电荷。曝光时间与敏感性有关，因为较长曝光时间可补偿较低的敏感性。然而，为准确地捕捉较短范围处的运动序列，较短的曝光时间是合乎需要的，因为成像的对象的给定移动在对象较接近时转换成较大的像素偏移。较短曝光时间可被用于针对较短程成像来优化的传感器，而较长曝光时间可被用于针对较长程成像来优化的传感器。通过使用适当的曝光时间，可避免较近对象的过度曝光/图像饱和以及较远对象的曝光不足。
图6B描绘了带有在照明器的一侧的两个传感器、以及在该照明器的相对侧的一个传感器的成像组件610。以此方式添加第三传感器可导致对象的成像有较少的遮挡、以及由于所获取的附加深度测量而导致的更准确的成像。诸如传感器612之类的一个传感器可被定位在接近于照明器，而其他两个传感器位于照明器的相对侧。在这一示例中，传感器24位于距照明器26的基线距离BL1处，传感器29位于距照明器26的基线距离BL2处，以及第三传感器612位于距照明器26的基线距离BL3处。
图6C描绘了带有在照明器的公共侧的三个传感器的成像组件620。以此方式添加第三传感器可导致由于所获取的附加深度测量而导致的更准确的成像。此外，每一传感器可针对不同深度范围来优化。例如，位于距照明器的较大基线距离BL3处的传感器24可针对较长程成像来优化。位于距照明器的中等基线距离BL2的传感器29可针对中程成像来优化。并且，位于距照明器的较短基线距离BL1的传感器612可针对较短程成像来优化。类似地，可为传感器24、传感器29和传感器612将空间分辨率、敏感性和/或曝光时间优化至较长程级别、中程级别，以及较短程级别。
图6D描绘了带有在照明器的相对侧的两个传感器的成像组件630，其示出这两个传感器如何感测对象的不同部分。传感器S1 24位于距照明器26的基线距离BL1处，并且针对较短程成像来优化。传感器S2 29位于距照明器26的基线距离BL2＞BL1处，并且针对较长程成像来优化。还描绘了RGB相机28。对象660出现在视野中。注意，因为从正面视图示出成像组件630并且从俯视图示出对象660，附图的透视被修改为简化。光线640和642是由照明器26投影的光的示例光线。光线632、634和636是由传感器S1 24感测的反射光的示例光线，而光线650和652是由传感器S2 29感测的反射光的示例光线。
对象包括由感测器S1 24和S2 29感测的五个表面。然而，由于遮挡，不是所有表面都被两个传感器感测到。例如，表面661仅由传感器S1 24感测，并且从传感器S2 29的角度来看是被遮挡的。表面662同样仅由传感器S1 24感测，并且从传感器S2 29的角度来看是被遮挡的。表面663由传感器S1和S2两者感测。表面664仅由传感器S2感测，并且从传感器S1的角度来看是被遮挡的。表面665仅由传感器S2感测，并且从传感器S1的角度来看是被遮挡的。表面666由传感器S1和S2两者感测。这指示第二传感器或其他附加传感器的添加如何可用于对原本会被遮挡的对象的部分进行成像。此外，对于使遮挡最小化，将传感器放置得实际尽可能远离照明器常常是期望的。
图7A描绘了用于获取视野的深度图的过程。步骤700包括用结构化光的图案来照明视野。可使用任何类型的结构化光，包括编码的结构化光。步骤702和704可至少部分地并发执行。步骤702包括检测第一传感器处所反射的红外光，以获取像素数据的第一帧。这一像素数据可指示例如在曝光时间期间由每一像素所累积的电荷量，作为从视野中入射在像素上的光量的指示。类似地，步骤704包括检测第二传感器处所反射的红外光，以获取像素数据的第二帧。步骤706包括处理来自两个帧的像素数据以导出合并的深度图。这可涉及不同的技术，诸如参考图7B-7E进一步讨论的。步骤708包括基于合并的深度图来提供对应用程序的控制输入。这一控制输入可用于各种目的，诸如更新化身在显示器上的位置、在用户界面(UI)中选择菜单项、或许多其他可能的动作。
图7B描绘了图7A的步骤706的进一步细节，其中两个结构化光深度图被合并。在该方法中，第一和第二结构化光深度图分别从第一和第二帧中被获取，并且两个深度图被合并。该过程可延伸至合并两个或更多中的任意数量个深度图。具体地，在步骤720，对于像素数据的第一帧中的每一像素(在图7A的步骤702中获取)，通过匹配结构化光的图案来尝试确定照明帧中的对应点。在某些情况下，由于遮挡或其他因素，可能无法为第一帧中的一个或多个像素成功地确定照明帧中的对应点。在步骤722，提供了第一结构化光深度图。这一深度图可标识第一帧中的每一像素以及对应的深度值。类似地，在步骤724，对于像素数据的第二帧中的每一像素(在图7A的步骤704中获取)，尝试确定照明帧中的对应点。在某些情况下，由于遮挡或其他因素，可能无法为第二帧中的一个或多个像素成功地确定照明帧中的对应点。在步骤726，提供了第二结构化光深度图。这一深度图可标识第二帧中的每一像素以及对应的深度值。步骤720和722可至少部分地与步骤724和726并发执行。在步骤728，结构化光深度图被合并，以导出图7A的步骤706的合并的深度图。
合并可基于不同方法，包括涉及不加权平均、加权平均、准确性测量和/或置信度测量的方法。在一个方法中，对于每一像素，在两个或更多深度图之间对深度值求平均。第一帧中第i像素的深度值d1与第二帧中第i像素的深度值d2的示例不加权平均为(d1+d2)/2。第一帧中第i像素的权重为w1的深度值d1与第二帧中第i像素的权重为w2的深度值d2的示例加权平均为(w1*d1+w2*d2)/[(w1+w2)]。合并深度值的一个方法基于传感器与照明器之间的基线距离来将权重分配给帧的深度值，使得在基线距离较大时被分配指示较高置信度的较高权重，而在基线距离较小时被分配指示较低置信度的较低权重。这么做是由于较大的基线距离产生较准确的深度值。例如，在图6D中，我们可将w1＝BL1/(BL1+BL2)的权重分配给来自传感器S1的深度值，将w2＝BL2/(BL1+BL2)的权重分配给来自传感器S2的深度值。为了说明，如果我们假设BL＝1且BL＝2距离单位，则w1＝1/3且w2＝2/3。可在每一像素或每一深度值的基础上应用权重。
以上示例可以使用基于图6D中的距离BL1+BL2从来自传感器S1的图像到来自传感器S2的图像的立体匹配所获取的深度值来扩充。在这一情况下，我们可将w1＝BL1/(BL1+BL2+BL1+BL2)分配给来自传感器S1的深度值，将w2＝BL2/(BL1+BL2+BL1+BL2)的权重分配给来自传感器S2的深度值，并且将w3＝(BL1+BL2)/(BL1+BL2+BL1+BL2)的权重分配给从自S1到S2的立体匹配所获取的深度值。为了说明，如果我们假设BL＝1且BL＝2距离单位，则w1＝1/6，w2＝2/6且w3＝3/6。在进一步扩充中，深度值是从来自图6D中的传感器S2的图像到来自传感器S1的图像的立体匹配中获取的。在这一情况下，我们可将w1＝BL1/(BL1+BL2+BL1+BL2+BL1+BL2)分配给来自传感器S1的深度值，将w2＝BL2/(BL1+BL2+BL1+BL2+BL1+BL2)的权重分配给来自传感器S2的深度值，将w3＝(BL1+BL2)/(BL1+BL2+BL1+BL2+BL1+BL2)的权重分配给从自S1到S2的立体匹配所获取的深度值，并且将w4＝(BL1+BL2)/(BL1+BL2+BL1+BL2+BL1+BL2)的权重分配给从自S2到S1的立体匹配所获取的深度值。为了说明，如果我们假设BL＝1且BL＝2距离单位，则w1＝1/9、w2＝2/9、w3＝3/9且w4＝3/9。这只是一种可能性。
权重还可基于置信度测量来提供，使得具有较高置信度测量的深度值被分配较高权重。在一个方法中，将初始置信度测量分配给每一像素，并且基于对象的深度将不会逐帧快速地变化的假设，为其中深度值在容忍度内是相同或接近相同的每一新帧增加置信度测量。例如，在每秒30帧的帧速率的情况下，所跟踪的人类将不会在各帧之间显著地移动。参见题为“Visual navigation andobstacle avoidance structured light system(可视导航和障碍避免结构化光系统)”，8-13-91授权的美国专利5,040,116，其通过引用结合于此，以供进一步详述。在另一方法中，置信度测量是对深度值中的噪声的测量。例如，假设实际上不太可能出现相邻像素之间的深度值的大变化，这样的深度值的大变换可以是较大噪声量的指示，导致较低置信度测量。参见题为“System andmethod of using range image data with machine vision tools(使用带有机器视觉工具的范围图像数据的系统和方法)”，6-15-04授权的美国专利6,751,338，其通过引用结合于此，以供进一步详述。用于分配置信度测量的其他方法也是可能的。
在一个方法中，定义了“主”相机坐标系统，并且我们将其他深度图像变换并重新采样至“主”坐标系统。一旦我们有了匹配图像，则我们可选择考虑一个或多个样本，其中我们可对其置信度进行加权。平均是一种方案，但不一定是最好的方案，因为它不能解决遮挡的情况，其中每一相机可能成功地观察空间中的不同位置。置信度测量可与深度图中的每一深度值相关联。另一方法是合并3D空间中的数据，其中不存在图像像素。在3-D中，可利用体积方法。
为确定像素是否已经与图案正确地匹配并由此具有正确的深度数据，我们通常在图像与已知的所投影的图案之间执行相关或归一化相关。这是沿着传感器与照明器之间的外极线来完成的。成功的匹配由可与高置信度测量相关联的、相关的相对强的局部最大值来指示。另一方面，相关的相对弱的局部最大值可与低置信度测量相关联。
权重还可基于准确性测量来提供，使得具有较高准确性测量的深度值被分配较高权重。例如，基于空间分辨率、各传感器与照明器之间以及各传感器之间的基线距离，我们可为每一深度样本分配准确性测量。用于确定准确性测量的各种技术是已知的。例如，参见加拿大不列颠哥伦比亚的里士满，Point GreyResearch(Point Grey研究所)于2004年4月19日，“Stereo Accuracy and ErrorModeling(立体准确性和误差建模)”，http://www.ptgrey.com/support/kb/data/kbStereoAccuracyShort.pdf。随后，我们可基于这些准确性来计算加权平均。例如，对于所测量的3D点，我们分配权重Wi＝exp(-准确性_i)，其中准确性_i为准确性测量，并且平均的3D点为P平均＝sum(Wi*Pi)/sum(Wi)。随后，使用这些权重，在3-D中接近的点样本可使用加权平均来合并。
为合并3D中的深度值数据，我们可使用(X，Y，Z)＝深度*光线+原点来将所有深度图像投影到3D空间，其中，光线为从像素至传感器的焦点的3D向量，原点是传感器的焦点在3D空间中的位置。在3D空间中，我们为每一深度数据点的计算法线方向。此外，对于每一数据点，我们从其他源查找一附近的数据点。在以下情况中：其他数据点足够接近并且这些点的法向向量之间的点积是正的，这意味着它们被相似地定向且不是对象的两侧，则我们将这些点合并成单个点。这一合并可例如通过计算这些点的3D位置的加权平均来执行。权重可由测量的置信度来定义，其中置信度测量基于相关分数。
图7C描绘了图7A的步骤706的进一步细节，其中两个结构化光深度图和两个立体深度图被合并。在这一方法中，第一和第二结构化光深度图分别从第一和第二帧中获取。另外，一个或多个立体深度图被获取。第一和第二结构化深度图和一个或多个立体深度图被合并。该过程可延伸至合并两个或更多中的任何数量个深度图。步骤740和742可至少部分地与步骤744和746、步骤748和750、以及步骤752和754并发执行。在步骤740，对于像素数据的第一帧中的每一像素，我们确定照明帧中的对应点，并且在步骤742，我们提供第一结构化光深度图。在步骤744，对于像素数据的第一帧中的每一像素，我们确定像素数据的第二帧中的对应像素，并且在步骤746，我们提供第一立体深度图。在步骤748，对于像素数据的第二帧中的每一像素，我们确定照明帧中的对应点，并且在步骤750，我们提供第二结构化光深度图。在步骤752，对于像素数据的第二帧中的每一像素，我们确定像素数据的第一帧中的对应像素，并且在步骤754，我们提供第二立体深度图。步骤756包括合并不同的深度图。
合并可基于不同方法，包括涉及不加权平均、加权平均、准确性测量和/或置信度测量的方法。
在这一方法中，两个立体深度图与两个结构化光深度图合并。在一个选项中，该合并在单个合并步骤中一起考虑所有的深度图。在另一可能的方法中，该合并发生在多个步骤中。例如，可合并结构化光深度图以获取第一个合并的深度图，可合并立体深度图以获取第二个合并的深度图，合并该第一个和第二个合并的深度图以获取最终合并的深度图。在其中合并发生在多个步骤中的另一选项中，第一结构化光深度图与第一立体深度图合并以获取第一个合并的深度图，第二结构化光深度图与第二立体深度图合并以获取第二个合并的深度图，以及合并该第一个和第二个合并的深度图以获取最终合并的深度图。其他方法也是可能的。
在另一方法中，只有一个立体深度图与两个结构化光深度图合并。该合并可在一个或多个步骤中发生。在多步骤方法中，第一结构化光深度图与立体深度图合并以获取第一个合并的深度图，以及第二结构化光深度图与立体深度图合并以获取最终合并的深度图。或者，合并两个结构化光深度图以获取第一个合并的深度图，以及第一个合并的深度图与立体深度图合并以获取最终合并的深度图。其他方法是可能的。
图7D描绘了图7A的步骤706的进一步细节，其中，使用立体匹配按需对各深度值进行细化。这一方法是自适应的，因为立体匹配被用于响应于检测到指示期望细化的条件来细化一个或多个深度值。立体匹配可仅针对帧中的像素子集来执行。在一个方法中，在像素不能匹配到结构化光图案时，对该像素的深度值细化是期望的，使得该深度值为空或默认值。像素可能由于遮挡、阴影、光照条件、表面纹理或其他原因而没有被匹配到结构光图案。在这一情况下，立体匹配可提供深度值(其中先前没有获取深度值)，或在某些情况下，由于传感器由比传感器与照明器之间的基线间隔更大的基线所间隔开，立体匹配可提供更准确的深度值。例如，参见图2、6B和6D。
在另一方法中，在像素的深度值超出阈值距离时，这指示对象上的对应点距离传感器相对远，则对该深度值的细化是期望的。在这一情况下，立体匹配可在各传感器之间的基线大于各传感器中的每一个与照明器之间的基线的情况下提供更准确的深度值。
细化可涉及提供深度值(其中之前没有提供过)，或例如基于涉及不加权平均、加权平均、准确性测量和/或置信度测量的不同方法来合并深度值。此外，在深度值被合并之前，细化可针对每一传感器的各帧分开地执行。
通过仅对于检测到指示期望细化的条件来针对像素执行立体匹配，避免了不必要的处理。对于没有检测到指示期望细化的条件，不对像素执行立体匹配。然而，当检测到一条件，该条件该指示细化对于帧的一个或多个像素是期望的时，对整个帧执行立体匹配也是可能的。在一个方法中，当对于帧中像素的最小数量部分的细化被指示时，发起对整个帧的立体匹配。
在步骤760，对于像素数据的第一帧中的每一像素，我们确定照明帧中的对应点，并且在步骤761，我们提供对应的第一结构化光深度图。判定步骤726确定对深度值的细化是否被指示。可评估对于像素数据的第一帧中每一像素的准则，并且在一个方法中，准则可指示对与该像素相关联的深度值的细化是否是期望的。在一个方法中，当相关联的深度值不可用或不可靠时，细化是期望的。不可靠性可基于例如准确性测量和/或置信度测量。如果置信度测量超出阈值置信度测量，则深度值可被认为是可靠的。或者，如果准确性测量超出阈值准确性测量，则深度值可被认为是可靠的。在另一方法中，为使深度值被认为是可靠的，置信度测量和准确性测量必须都超出相应的阈值水平。
在另一方法中，当相关联的深度值指示深度相对远时，诸如当深度超出阈值深度时，细化是期望的。如果期望细化，则步骤736执行像素数据的第一帧的一个或多个像素到像素数据的第二帧的一个或多个像素的立体匹配。这得到像素数据的第一帧的一个或多个附加深度值。
类似地，对于像素数据的第二帧，在步骤764，对于像素数据的第二帧中的每一像素，我们确定照明帧中的对应点，并且在步骤765，我们提供对应的第二结构化光深度图。判定步骤766确定对深度值的细化是否被指示。如果期望细化，则步骤767执行像素数据的第二帧的一个或多个像素到像素数据的第一帧的一个或多个像素的立体匹配。这得到像素数据的第二帧的一个或多个附加深度值。
步骤768合并像素数据的第一帧和第二帧的深度图，其中该合并包括从步骤763和/或767的立体匹配中获取的深度值。合并可基于不同方法，包括涉及不加权平均、加权平均、准确性测量和/或置信度测量的方法。
注意，对于细化被指示的给定像素，该合并可将来自第一结构化光深度图的深度值、来自第二结构化光深度图的深度值、以及来自立体匹配的一个或多个深度值进行合并。与丢弃来自结构化光深度图的深度值并使用来自立体匹配的深度值来替换它的方法相比，这一方法可提供更可靠的结果。
图7E描绘了图7A的步骤706的另一方法的进一步细节，其中，使用立体匹配按需对合并的深度图的各深度值进行细化。在这一方法中，对通过到结构化光图案的匹配所获取的深度图的合并发生在细化过程之前。步骤760、761、764和765与图7D中相同编号的步骤相同。步骤770合并结构化光深度图。该合并可基于不同方法，包括涉及不加权平均、加权平均、准确性测量和/或置信度测量的方法。步骤771类似于图7D的步骤762和766，并涉及确定对深度值的细化是否被指示。
可评估对于合并的深度图中每一像素的准则，并且在一个方法中，准则可指示对与像素相关联的深度值的细化是否是期望的。在一个方法中，当相关联的深度值不可用或不可靠时，细化是期望的。不可靠性可基于例如准确性测量和/或置信度测量。如果置信度测量超出阈值置信度测量，则深度值可被认为是可靠的。或者，如果准确性测量超出阈值准确性测量，则深度值可被认为是可靠的。在另一方法中，为使深度值被认为是可靠的，置信度测量和准确性测量必须都超出相应的阈值水平。在另一方法中，当相关联的深度值指示深度相对远时，诸如当深度超出阈值深度时，细化是期望的。如果期望细化，则可执行步骤772和/或步骤773。在某些情况下，通过将一个帧中的像素匹配到另一帧中的像素来在一个方向上执行立体匹配是足够的。在其他情况下，可在两个方向上执行立体匹配。步骤772执行像素数据的第一帧的一个或多个像素到像素数据的第二帧的一个或多个像素的立体匹配。这得到像素数据的第一帧的一个或多个附加深度值。步骤773执行像素数据的第二帧的一个或多个像素到像素数据的第一帧的一个或多个像素的立体匹配。这得到像素数据的第二帧的一个或多个附加深度值。
步骤774为已执行立体匹配的一个或多个所选择的像素对步骤770的合并的深度图进行细化。该细化可涉及基于不同方法来合并深度值，该不同方法包括涉及不加权平均、加权平均、准确性测量和/或置信度测量的方法。
如果在判定步骤771处不期望细化，则该过程在步骤775处结束。
图8描绘了如在图7A的步骤708中阐述的用于使用控制输入来跟踪人类目标的示例方法。如上所述，深度相机系统可被用于跟踪用户的移动，诸如姿势。该移动可在应用程序处作为控制输入来处理。例如，这可包括更新显示器上的化身的位置(其中如在图1中所描绘的，该化身表示用户)，选择用户界面(UI)中的一个菜单项，或者许多其他可能的动作。
示例方法可以使用例如深度相机系统20和/或计算环境12、100或420来实现，如参考图2-4所讨论的。可以扫描一个或多个人类目标，以生成诸如骨架模型、网格人模型之类的模型，或人的任何其他合适的表示。在骨架模型中，每一个身体部位都可以被表征为定义骨架模型的关节和骨头的数学矢量。身体部位在关节处可以相对于彼此移动。
然后，可以使用该模型来与由计算环境执行的应用程序进行交互。扫描以生成模型可以在应用程序被启动或运行时发生，或在如被扫描的人通过应用程序控制的其他时候发生。
人可以被扫描以生成骨架模型，该骨架模型可以被跟踪，以便用户的物理移动或运动可以充当调整和/或控制应用程序的参数的实时用户界面。例如，所跟踪的个人的移动可用于在电子角色扮演游戏中移动化身或其他屏幕上人物，在电子赛车游戏中控制屏幕上车辆，在虚拟环境中控制对象的构成或组织，或执行应用的任何其他合适的控制。
根据一个实施方式，在步骤800中，例如，从深度相机系统接收深度信息。深度相机系统可以捕捉或观察可包括一个或多个目标的视野。深度信息可包括具有多个观察到的像素的深度图像或图，其中，每一个观察到的像素都具有观察到的深度值，如所讨论的。
可以将深度图像降采样到较低的处理分辨率，以便可以更加轻松地利用较少的计算开销来使用和处理它。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成诸如骨架模型等模型(见图9)。
步骤802判断深度图像是否包括人类目标。这可包括对深度图像中的每一个目标或对象进行泛色填充，将每一个目标或对象与图案进行比较以判断深度图像是否包括人类目标。例如，可以将深度图像的选定区域或点中的像素的各种深度值进行比较，以确定可以定义目标或对象的边缘，如上文所描述的。可以基于所确定的边缘，对Z层的可能的Z值进行泛色填充。例如，与确定的边缘相关联的像素和该边缘内的区域的像素可以彼此相关联，以定义可以与图案相比较的捕捉区域中的目标或对象，下面将更详细地描述。
如果深度图像包括人类目标，则在判断步骤804，执行步骤806。如果判断步骤804为假，则在步骤800中接收附加的深度信息。
每一个目标或对象与其比较的图案可包括一个或多个数据结构，这些数据结构具有共同地定义人的典型身体的变量集合。可以将与例如视野内的人类目标和非人类目标的像素相关联的信息与变量进行比较，以标识人类目标。在一个实施例中，可以基于身体部位，对该集合中的每一个变量赋予权重。例如，图案中的诸如头和/或肩之类的各种身体部位可以具有与其相关联的权重值，这些权重值可以大于诸如腿之类的其他身体部位的权重值。根据一个实施方式，当将目标与变量进行比较以判断目标是否可能是人类以及哪些目标可能是人类时，可以使用权重值。例如，变量和目标之间具有较大的权重值的匹配与具有较小权重值的匹配相比可产生目标是人类的更大似然性。
步骤806包括扫描人类目标以寻找身体部位。可以扫描人类目标，以提供与人的一个或多个身体部位相关联的诸如长度、宽度等等之类的测量值，以提供该人的准确模型。在一示例实施例中，人类目标可以被隔离，并且可以创建人类目标的位掩模来扫描一个或多个身体部位。可以通过例如对人目标进行泛色填充来创建位掩模，以便人类目标可以与捕捉区域元素中的其他目标或对象分离。然后，可以对于一个或多个身体部位分析位掩模，以生成人类目标的模型，如骨架模型、网格人类模型等等。例如，根据一个实施例，可以使用由扫描的位掩模确定的测量值来定义骨架模型中的一个或多个关节。可以使用一个或多个关节来定义可以对应于人类的身体部位的一个或多个骨骼。
例如，人类目标的位掩模的顶部可以与头的顶部的位置相关联。在确定头的顶部之后，可以向下扫描位掩模，以便随后确定颈的位置、肩的位置等等。可以将例如位于被扫描的位置的位掩模的宽度与和例如颈、肩等等相关联的典型宽度的阈值进行比较。在一替换实施例中，可以使用与扫描的并与位掩模中的身体部位相关联的先前位置的距离来确定颈部、肩膀等的位置。可以基于例如其他身体部位的位置来计算诸如腿、脚等等之类的某些身体部位。在确定一个身体部位的值后，创建包括该身体部位的测量值的数据结构。数据结构可包括来自由深度相机系统在不同的时间点提供的多个深度图像的平均扫描结果。
步骤808包括生成人类目标的模型。在一个实施方式中，可以使用由扫描的位掩模确定的测量值来定义骨架模型中的一个或多个关节。一个或多个关节被用来定义对应于人类的身体部位的一个或多个骨头。
可以调整一个或多个关节，直到各关节在一个关节和人类的一个身体部位之间的典型距离范围之内，以生成更加准确的骨架模型。还可以基于例如与人类目标相关联的身高来进一步调整模型。
在步骤810中，通过每秒钟多次更新人的位置，来跟踪模型。随着用户在物理空间中移动，使用来自深度相机系统的信息来调整骨架模型，以使该骨架模型表示人。具体而言，可以向骨架模型的一个或多个受力面施加一个或多个力，以将骨架模型调整为更加紧密地对应于物理空间中的人类目标的姿态的姿态。
一般而言，可以使用用于跟踪人的移动的任何已知技术。
图9描绘了如在图8的步骤808中阐述的人类目标的示例模型。模型900在图1的-z方向上面向深度相机，以致于所示出的截面位于x-y平面。该模型包括许多参考点，如头的顶部902、头的底部或下巴913、右肩904、右肘906、右手腕908和右手910，如例如由指尖区域所表示的。右侧和左侧是从面向相机的用户的角度定义的。该模型还包括左肩914、左肘916、左手腕918和左手920。还描绘了腰部区域922，以及右臀924、右膝926、右脚928、左臀930、左膝932和左脚934。肩线912是肩904和914之间的线，通常是水平的。例如，还描绘了在点922和913之间延伸的上躯干中心线925。
因此，可以看到，提供了具有多个优点的深度相机系统。一个优点是减小的遮挡。由于较宽的基线被使用，一个传感器可以看到对于另一个传感器是遮挡的信息。与由单个传感器所产生的图相比，两个深度图的融合产生具有更可观察的对象的3D图像。另一优点是减小的阴影效果。结构化光方法在对传感器可见但对光源不“可见”的位置固有地产生阴影效果。通过在这些区中应用立体匹配，这一效果可被减小。另一优点是对外部光的稳健性。存在许多情形，其中外部光照可能中断结构化光相机，使得结构化光相机不能产生有效结果。在那些情况下，立体数据被获取作为附加的测量，因为外部光照可实际地帮助它测量距离。注意到外部光可来自正在看相同场景的相同相机。换言之，操作所建议的相机中正在看相同场景的两个或更多相机变成可能。这是由于以下事实：即使由一个相机所产生的光图案可中断其他相机正确地匹配图案，立体匹配仍然有可能成功。另一优点是，由于两个传感器具有较宽的基线的事实，使用所建议的配置来实现远距离处的更大的准确性是可能的。结构化光和立体测量准确性两者都严重地取决于各传感器/投影仪之间的距离。
前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。

Claims (15)

1.一种深度相机系统，包括：
照明器(26)，所述照明器(26)用结构化光的图案来照明视野(6)中的对象(8)；
第一传感器(24)，所述第一传感器(24)感测从所述对象反射的光，以获取像素数据的第一帧，所述第一传感器针对较短程成像来优化；
第二传感器(29)，所述第二传感器(29)感测从所述对象反射的光，以获取像素数据的第二帧，所述第二传感器针对较长程成像来优化；以及
至少一个控制电路(32、192)，所述至少一个控制电路(32、192)通过将所述像素数据的第一帧与所述结构化光的图案相比较来导出所述对象的第一结构化光深度图，通过将所述像素数据的第二帧与所述结构化光的图案相比较来导出所述对象的第二结构化光深度图，并且导出基于所述第一和第二结构化光深度图的合并的深度图。
2.如权利要求1所述的深度相机系统，其特征在于：
所述第一传感器与所述照明器之间的基线距离(BL1)小于所述第二传感器与所述照明器之间的基线距离(BL2)。
3.如权利要求2所述的深度相机系统，其特征在于：
所述第一传感器的曝光时间短于所述第二传感器的曝光时间。
4.如权利要求2所述的深度相机系统，其特征在于：
所述第一传感器的敏感性低于所述第二传感器的敏感性。
5.如权利要求2所述的深度相机系统，其特征在于：
所述第一传感器的空间分辨率小于所述第二传感器的分辨率。
6.如权利要求1所述的深度相机系统，其特征在于：
所述第二结构化光深度图包括深度值；以及
在导出所述合并的深度图时，对所述第二结构化光深度图中的深度值给予比所述第一结构化光深度图中的深度值更重的权重。
7.如权利要求1所述的深度相机系统，其特征在于：
所述至少一个控制电路基于所述对象的至少一个立体深度图来导出所述合并的深度图，其中所述至少一个控制电路通过至少以下各项中的至少一个来导出所述至少一个立体深度图：(i)所述像素数据的第一帧到所述像素数据的第二帧的立体匹配，以及(ii)所述像素数据的第二帧到所述像素数据的第一帧的立体匹配。
8.如权利要求7所述的深度相机系统，其特征在于：
所述第一和第二结构化光深度图以及所述至少一个立体深度图包括深度值；以及
所述至少一个控制电路将第一组权重分配给所述对象的第一结构化光深度图中的深度值，将第二组权重分配给所述对象的第二结构化光深度图中的深度值，将第三组权重分配给所述对象的第一立体深度图中的深度值，并且导出基于所述第一、第二和第三组权重的所述合并的深度图。
9.如权利要求8所述的深度相机系统，其特征在于：
所述第一组权重基于所述第一传感器与所述照明器之间的基线距离来分配；
所述第二组权重基于所述第二传感器与所述照明器之间的基线距离来分配；以及
所述第三组权重基于所述第一传感器与第二传感器之间的基线距离来分配。
10.一种用于处理深度相机系统中的图像数据的方法，包括：
用结构化光的图案来照明视野(6)中的对象(8)；
在第一传感器(24)处，感测从所述对象反射的光，以获取像素数据的第一帧(510)；
在第二传感器(29)处，感测从所述对象反射的光，以获取像素数据的第二帧；
通过将所述像素数据的第一帧与所述结构化光的图案相比较来导出所述对象的第一结构化光深度图，所述第一结构化光深度图包括所述像素数据的第一帧的像素的深度值；
通过将所述像素数据的第二帧与所述结构化光的图案相比较来导出所述对象的第二结构化光深度图，所述第二结构化光深度图包括所述像素数据的第二帧的像素的深度值；
确定是否期望对像素数据图的第一帧的一个或多个像素的深度值进行细化；以及
如果期望细化，则执行所述像素数据的第一帧的一个或多个像素到所述像素数据的第二帧的一个或多个像素的立体匹配。
11.如权利要求10所述的方法，其特征在于：
在将所述像素数据的第一帧与所述结构化光的图案相比较中，当所述像素数据的第一帧的一个或多个像素没有被成功地匹配到所述结构化光的图案时，期望所述细化。
12.如权利要求10所述的方法，其特征在于：
当所述深度值超出阈值距离时，期望所述细化。
13.如权利要求10所述的方法，其特征在于：
所述第一传感器与所述第二传感器之间的基线距离(BL1+BL2)大于所述第一传感器与所述照明器之间的基线距离(BL1)，并且大于所述第二传感器与所述照明器之间的基线距离(BL2)。
14.如权利要求10所述的方法，其特征在于：
所述立体匹配是针对期望细化的所述像素数据的第一帧的一个或多个像素来执行的，而不是针对不期望细化的所述像素数据的第一帧的一个或多个像素。
15.如权利要求10所述的方法，其特征在于：
如果期望所述细化，则基于所述立体匹配以及所述第一和第二结构化光深度图来提供合并的深度图。
CN201110285455.9A 2010-09-08 2011-09-07 基于结构化光和立体视觉的深度相机 Expired - Fee Related CN102385237B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/877,595 2010-09-08
US12/877,595 US20120056982A1 (en) 2010-09-08 2010-09-08 Depth camera based on structured light and stereo vision

Publications (2)

Publication Number Publication Date
CN102385237A true CN102385237A (zh) 2012-03-21
CN102385237B CN102385237B (zh) 2015-09-16

Family

ID=45770424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110285455.9A Expired - Fee Related CN102385237B (zh) 2010-09-08 2011-09-07 基于结构化光和立体视觉的深度相机

Country Status (7)

Country Link
US (1) US20120056982A1 (zh)
EP (1) EP2614405A4 (zh)
JP (1) JP5865910B2 (zh)
KR (1) KR20140019765A (zh)
CN (1) CN102385237B (zh)
CA (1) CA2809240A1 (zh)
WO (1) WO2012033578A1 (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533234A (zh) * 2012-07-05 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN103869593A (zh) * 2014-03-26 2014-06-18 深圳科奥智能设备有限公司 三维成像装置、系统及方法
CN104583904A (zh) * 2012-10-31 2015-04-29 奥迪股份公司 用于输入对机动车部件的控制命令的方法
CN104769388A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
CN105247859A (zh) * 2013-04-15 2016-01-13 微软技术许可有限责任公司 一个或多个卫星设备的主动立体显像
CN105389845A (zh) * 2015-10-19 2016-03-09 北京旷视科技有限公司 三维重建的图像获取方法和系统、三维重建方法和系统
CN105451011A (zh) * 2014-08-20 2016-03-30 联想(北京)有限公司 调节功率的方法和装置
CN106210698A (zh) * 2015-05-08 2016-12-07 光宝电子(广州)有限公司 深度相机的控制方法
CN106256124A (zh) * 2014-04-24 2016-12-21 英特尔公司 结构化立体
WO2016206004A1 (zh) * 2015-06-23 2016-12-29 华为技术有限公司 一种获取深度信息的拍照设备和方法
CN106464851A (zh) * 2014-06-30 2017-02-22 微软技术许可有限责任公司 使用多视点立体图和经校准的投射器的深度估计
CN106663334A (zh) * 2014-06-16 2017-05-10 索尼公司 使用网格雕塑利用深度相机的3d扫描
CN106959075A (zh) * 2017-02-10 2017-07-18 深圳奥比中光科技有限公司 利用深度相机进行精确测量的方法和系统
CN107113415A (zh) * 2015-01-20 2017-08-29 高通股份有限公司 用于多技术深度图获取和融合的方法和设备
CN107204012A (zh) * 2016-03-16 2017-09-26 美国亚德诺半导体公司 降低飞行时间深度成像的功耗
CN107742631A (zh) * 2017-10-26 2018-02-27 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
CN108027232A (zh) * 2015-07-09 2018-05-11 Inb视觉股份公司 用于检测物体的优选结构化表面的图像的设备和方法
WO2018099259A1 (zh) * 2016-12-01 2018-06-07 亿航智能设备（广州）有限公司 无人机障碍物检测方法及装置
CN108885778A (zh) * 2016-04-06 2018-11-23 索尼公司 图像处理设备和图像处理方法
US10150028B2 (en) 2012-06-04 2018-12-11 Sony Interactive Entertainment Inc. Managing controller pairing in a multiplayer game
CN109284653A (zh) * 2017-07-20 2019-01-29 微软技术许可有限责任公司 基于计算机视觉的细长物体检测
CN109314776A (zh) * 2017-05-17 2019-02-05 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质
CN109389674A (zh) * 2018-09-30 2019-02-26 Oppo广东移动通信有限公司 数据处理方法及装置、mec服务器及存储介质
CN109477710A (zh) * 2016-07-27 2019-03-15 微软技术许可有限责任公司 基于点的结构化光系统的反射率图估计
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
TWI666508B (zh) * 2018-02-14 2019-07-21 奇景光電股份有限公司 基於結構光之自動曝光控制器、自動曝光控制方法及其系統
CN110069006A (zh) * 2019-04-30 2019-07-30 中国人民解放军陆军装甲兵学院 一种全息体视图合成视差图像生成方法及系统
CN110352364A (zh) * 2017-03-01 2019-10-18 微软技术许可有限责任公司 用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器模块
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
CN110855961A (zh) * 2018-08-20 2020-02-28 奇景光电股份有限公司 深度感测装置及其操作方法
CN111213068A (zh) * 2017-09-01 2020-05-29 通快光子元件有限公司 利用低分辨率像素成像的飞行时间深度相机
WO2020192021A1 (en) * 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional tracking using hemispherical or spherical visible light-depth images
CN111735413A (zh) * 2015-06-08 2020-10-02 株式会社高迎科技 三维形状测量装置
TWI709323B (zh) * 2018-07-27 2020-11-01 大陸商Ｏｐｐｏ廣東移動通信有限公司 結構光投射器的控制系統及電子裝置
CN112041632A (zh) * 2018-03-29 2020-12-04 特威纳有限公司 3d对象检测系统
CN112033352A (zh) * 2020-09-01 2020-12-04 珠海市一微半导体有限公司 多摄像头测距的机器人及视觉测距方法
CN112119628A (zh) * 2018-03-20 2020-12-22 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
CN112129262A (zh) * 2020-09-01 2020-12-25 珠海市一微半导体有限公司 一种多摄像头组的视觉测距方法及视觉导航芯片
TWI719440B (zh) * 2018-04-02 2021-02-21 聯發科技股份有限公司 立體匹配方法及相應立體匹配裝置
CN112740666A (zh) * 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US11209528B2 (en) 2017-10-15 2021-12-28 Analog Devices, Inc. Time-of-flight depth image processing systems and methods

Families Citing this family (301)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
EP3876510A1 (en) 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US9507411B2 (en) 2009-09-22 2016-11-29 Facebook, Inc. Hand tracker for device with display
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
SG185500A1 (en) 2010-05-12 2012-12-28 Pelican Imaging Corp Architectures for imager arrays and array cameras
US8330822B2 (en) * 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US10776635B2 (en) * 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8718748B2 (en) * 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
CN102859319A (zh) * 2011-04-19 2013-01-02 三洋电机株式会社 信息获取装置以及物体检测装置
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20120287249A1 (en) * 2011-05-12 2012-11-15 Electronics And Telecommunications Research Institute Method for obtaining depth information and apparatus using the same
US20120293630A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated Method and apparatus for multi-camera motion capture enhancement using proximity sensors
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
JPWO2013015145A1 (ja) * 2011-07-22 2015-02-23 三洋電機株式会社 情報取得装置および物体検出装置
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
US8660362B2 (en) * 2011-11-21 2014-02-25 Microsoft Corporation Combined depth filtering and super resolution
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
KR101862199B1 (ko) * 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
JP2015517134A (ja) * 2012-03-05 2015-06-18 マイクロソフト コーポレーション 光フォールオフに基づく奥行き画像の生成
EP2842077A4 (en) 2012-04-26 2016-04-20 Univ Columbia SYSTEMS, METHODS AND MEDIA FOR INTERACTIVE REFOCUSING OF PICTURES
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US8462155B1 (en) * 2012-05-01 2013-06-11 Google Inc. Merging three-dimensional models based on confidence scores
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) * 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9367731B2 (en) 2012-05-23 2016-06-14 Intel Corporation Depth gradient based tracking
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014020604A1 (en) * 2012-07-31 2014-02-06 Inuitive Ltd. Multiple sensors processing system for natural user interface applications
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
KR101893788B1 (ko) 2012-08-27 2018-08-31 삼성전자주식회사 다시점 카메라간 정합 장치 및 방법
AU2013312127B2 (en) * 2012-09-10 2017-09-28 Aemass, Inc. Multi-dimensional data capture of an environment using plural devices
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9633263B2 (en) 2012-10-09 2017-04-25 International Business Machines Corporation Appearance modeling for object re-identification using weighted brightness transfer functions
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
KR101874482B1 (ko) 2012-10-16 2018-07-05 삼성전자주식회사 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법
US9064318B2 (en) 2012-10-25 2015-06-23 Adobe Systems Incorporated Image matting and alpha value techniques
US20140118240A1 (en) * 2012-11-01 2014-05-01 Motorola Mobility Llc Systems and Methods for Configuring the Display Resolution of an Electronic Device Based on Distance
US9811880B2 (en) * 2012-11-09 2017-11-07 The Boeing Company Backfilling points in a point cloud
US9304603B2 (en) * 2012-11-12 2016-04-05 Microsoft Technology Licensing, Llc Remote control using depth camera
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US9076205B2 (en) 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US9451304B2 (en) 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US9208547B2 (en) 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9323346B2 (en) 2012-12-31 2016-04-26 Futurewei Technologies, Inc. Accurate 3D finger tracking with a single camera
SG11201504814VA (en) * 2013-01-03 2015-07-30 Saurav Suman A method and system enabling control of different digital devices using gesture or motion control
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
EP2950714A4 (en) 2013-02-01 2017-08-16 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9142034B2 (en) 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US20140278455A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Providing Feedback Pertaining to Communication Style
US9159140B2 (en) 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9438888B2 (en) * 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP2014230179A (ja) 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US10497140B2 (en) * 2013-08-15 2019-12-03 Intel Corporation Hybrid depth sensing pipeline
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
US9769459B2 (en) * 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
EP3073894B1 (en) * 2013-11-27 2022-03-30 Children's National Medical Center Corrected 3d imaging
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
EP2887029B1 (de) 2013-12-20 2016-03-09 Multipond Wägetechnik GmbH Befüllungsvorrichtung und Verfahren zum Erfassen einer Befüllung
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
KR102106080B1 (ko) * 2014-01-29 2020-04-29 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
US11265534B2 (en) 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
CN103810685B (zh) * 2014-02-25 2016-05-25 清华大学深圳研究生院 一种深度图的超分辨率处理方法
KR102166691B1 (ko) * 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
JP6322028B2 (ja) * 2014-03-31 2018-05-09 アイホン株式会社 監視カメラシステム
US10349037B2 (en) 2014-04-03 2019-07-09 Ams Sensors Singapore Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
EP3132598A1 (en) * 2014-04-17 2017-02-22 Sony Corporation Depth assisted scene recognition for a camera
WO2015161208A1 (en) 2014-04-18 2015-10-22 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
US20150309663A1 (en) * 2014-04-28 2015-10-29 Qualcomm Incorporated Flexible air and surface multi-touch detection in mobile platform
KR101586010B1 (ko) * 2014-04-28 2016-01-15 (주)에프엑스기어 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법
CN103971405A (zh) * 2014-05-06 2014-08-06 重庆大学 一种激光散斑结构光及深度信息的三维重建方法
US9684370B2 (en) * 2014-05-07 2017-06-20 Microsoft Technology Licensing, Llc Reducing camera interference using image analysis
US20150334309A1 (en) * 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
KR102178978B1 (ko) * 2014-07-31 2020-11-13 한국전자통신연구원 스테레오 매칭 방법 및 이를 수행하는 장치
EP3175200A4 (en) * 2014-07-31 2018-04-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9507995B2 (en) 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
TWI591514B (zh) 2014-11-07 2017-07-11 鴻海精密工業股份有限公司 手勢創建系統及方法
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
WO2016095192A1 (en) * 2014-12-19 2016-06-23 SZ DJI Technology Co., Ltd. Optical-flow imaging system and method using ultrasonic depth sensing
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
US10185463B2 (en) * 2015-02-13 2019-01-22 Nokia Technologies Oy Method and apparatus for providing model-centered rotation in a three-dimensional user interface
US20160255334A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Generating an improved depth map using a multi-aperture imaging system
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) * 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
EP3274653B1 (en) * 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
US10178374B2 (en) * 2015-04-03 2019-01-08 Microsoft Technology Licensing, Llc Depth imaging of a surrounding environment
US10412373B2 (en) * 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10785393B2 (en) 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
CA2947969C (en) * 2015-05-29 2017-09-26 Adrian BULZACKI Systems, methods and devices for monitoring betting activities
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9638791B2 (en) * 2015-06-25 2017-05-02 Qualcomm Incorporated Methods and apparatus for performing exposure estimation using a time-of-flight sensor
US9646410B2 (en) * 2015-06-30 2017-05-09 Microsoft Technology Licensing, Llc Mixed three dimensional scene reconstruction from plural surface models
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US10163247B2 (en) 2015-07-14 2018-12-25 Microsoft Technology Licensing, Llc Context-adaptive allocation of render model resources
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US9665978B2 (en) 2015-07-20 2017-05-30 Microsoft Technology Licensing, Llc Consistent tessellation via topology-aware surface tracking
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10554956B2 (en) 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10021371B2 (en) 2015-11-24 2018-07-10 Dell Products, Lp Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
US10007994B2 (en) 2015-12-26 2018-06-26 Intel Corporation Stereodepth camera using VCSEL projector with controlled projection lens
WO2017126711A1 (ko) * 2016-01-19 2017-07-27 전자부품연구원 스테레오스코픽 카메라의 최적 깊이 인식을 위한 조명 제어 방법 및 시스템
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
US10254402B2 (en) * 2016-02-04 2019-04-09 Goodrich Corporation Stereo range with lidar correction
WO2017151669A1 (en) * 2016-02-29 2017-09-08 Aquifi, Inc. System and method for assisted 3d scanning
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
US10136120B2 (en) 2016-04-15 2018-11-20 Microsoft Technology Licensing, Llc Depth sensing using structured illumination
KR101842141B1 (ko) 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
KR102442594B1 (ko) 2016-06-23 2022-09-13 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
KR102529120B1 (ko) * 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10204448B2 (en) 2016-11-04 2019-02-12 Aquifi, Inc. System and method for portable active 3D scanning
US10643498B1 (en) 2016-11-30 2020-05-05 Ralityworks, Inc. Arthritis experiential training tool and method
US10469758B2 (en) 2016-12-06 2019-11-05 Microsoft Technology Licensing, Llc Structured light 3D sensors with variable focal length lenses and illuminators
US10554881B2 (en) 2016-12-06 2020-02-04 Microsoft Technology Licensing, Llc Passive and active stereo vision 3D sensors with variable focal length lenses
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
CN110234955B (zh) 2016-12-07 2022-03-29 魔眼公司 投影平行图案的距离传感器
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN108399633A (zh) * 2017-02-06 2018-08-14 罗伯团队家居有限公司 用于立体视觉的方法和装置
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) * 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10666927B2 (en) 2017-03-15 2020-05-26 Baker Hughes, A Ge Company, Llc Method and device for inspection of an asset
CN110431841B (zh) 2017-03-21 2021-08-17 奇跃公司 虚拟、增强和混合现实系统的深度感测技术
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10620316B2 (en) 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10282857B1 (en) 2017-06-27 2019-05-07 Amazon Technologies, Inc. Self-validating structured light depth sensor system
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10593712B2 (en) 2017-08-23 2020-03-17 Semiconductor Components Industries, Llc Image sensors with high dynamic range and infrared imaging toroidal pixels
US10613228B2 (en) 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
US20190089939A1 (en) * 2017-09-18 2019-03-21 Intel Corporation Depth sensor optimization based on detected distance
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
JP2020537237A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
EP3711021A4 (en) * 2017-11-13 2021-07-21 Carmel-Haifa University Economic Corporation Ltd. MOTION TRACKING WITH MULTIPLE 3D CAMERAS
CN108174180B (zh) * 2018-01-02 2019-07-30 京东方科技集团股份有限公司 一种显示装置、显示系统及三维显示方法
US10948596B2 (en) * 2018-01-24 2021-03-16 Sony Semiconductor Solutions Corporation Time-of-flight image sensor with distance determination
JP7067091B2 (ja) * 2018-02-02 2022-05-16 株式会社リコー 撮像装置および撮像装置の制御方法
US10614292B2 (en) 2018-02-06 2020-04-07 Kneron Inc. Low-power face identification method capable of controlling power adaptively
JP2021518535A (ja) 2018-03-20 2021-08-02 マジック アイ インコーポレイテッド 様々な密度の投影パターンを使用する距離測定
CN108564614B (zh) * 2018-04-03 2020-09-18 Oppo广东移动通信有限公司 深度获取方法和装置、计算机可读存储介质和计算机设备
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10663567B2 (en) 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
US10931902B2 (en) 2018-05-08 2021-02-23 Semiconductor Components Industries, Llc Image sensors with non-rectilinear image pixel arrays
US11040452B2 (en) 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
US11287262B2 (en) 2018-07-13 2022-03-29 Labrador Systems, Inc. Visual navigation for mobile devices operable in differing environmental lighting conditions
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US10877622B2 (en) * 2018-08-29 2020-12-29 Facebook Technologies, Llc Detection of structured light for depth sensing
US20200082160A1 (en) * 2018-09-12 2020-03-12 Kneron (Taiwan) Co., Ltd. Face recognition module with artificial intelligence models
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US10901092B1 (en) 2018-10-02 2021-01-26 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
WO2020080180A1 (ja) * 2018-10-15 2020-04-23 日本電気株式会社 情報処理装置、センシングシステム、方法、プログラム、及び記憶媒体
CN111091592B (zh) * 2018-10-24 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质
MX2021002808A (es) 2018-11-09 2021-08-11 Beijing Didi Infinity Technology & Dev Co Ltd Sistema y método para detectar conflictos dentro de un vehículo.
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11103748B1 (en) 2019-03-05 2021-08-31 Physmodo, Inc. System and method for human motion detection and tracking
US11331006B2 (en) 2019-03-05 2022-05-17 Physmodo, Inc. System and method for human motion detection and tracking
US10897672B2 (en) * 2019-03-18 2021-01-19 Facebook, Inc. Speaker beam-steering based on microphone array and depth camera assembly input
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11361458B2 (en) * 2019-04-19 2022-06-14 Mitutoyo Corporation Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method
JP2022532725A (ja) 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング
JP2020193946A (ja) * 2019-05-30 2020-12-03 本田技研工業株式会社 光学装置及び把持システム
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11238641B2 (en) 2019-09-27 2022-02-01 Intel Corporation Architecture for contextual memories in map representation for 3D reconstruction and navigation
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11107271B2 (en) * 2019-11-05 2021-08-31 The Boeing Company Three-dimensional point data based on stereo reconstruction using structured light
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11450018B1 (en) 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
JP2023508501A (ja) 2019-12-29 2023-03-02 マジック アイ インコーポレイテッド ３次元座標と２次元特徴点との関連付け
WO2021138677A1 (en) 2020-01-05 2021-07-08 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
US11508088B2 (en) 2020-02-04 2022-11-22 Mujin, Inc. Method and system for performing automatic camera calibration
EP4128748A1 (en) * 2020-03-23 2023-02-08 Ricoh Company, Ltd. Information processing apparatus and method of processing information
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
KR20220014495A (ko) * 2020-07-29 2022-02-07 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112070700B (zh) * 2020-09-07 2024-03-29 深圳市凌云视迅科技有限责任公司 一种去除深度图像中突起干扰噪声的方法与装置
CN117581264A (zh) * 2021-01-28 2024-02-20 前瞻机械私人有限公司 用于组合多个深度图的系统和方法
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN115049658B (zh) * 2022-08-15 2022-12-16 合肥的卢深视科技有限公司 Rgb-d相机质量检测方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018209A1 (en) * 2003-07-24 2005-01-27 Guylain Lemelin Optical 3D digitizer with enlarged non-ambiguity zone
CN101556696A (zh) * 2009-05-14 2009-10-14 浙江大学 基于阵列摄像机的深度图实时获取算法
CN101582165A (zh) * 2009-06-29 2009-11-18 浙江大学 基于灰度图像与空间深度数据的摄像机阵列标定算法
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3481631B2 (ja) * 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5818959A (en) * 1995-10-04 1998-10-06 Visual Interface, Inc. Method of producing a three-dimensional image from two-dimensional images
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP2001264033A (ja) * 2000-03-17 2001-09-26 Sony Corp 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体
JP2002013918A (ja) * 2000-06-29 2002-01-18 Fuji Xerox Co Ltd ３次元画像生成装置および３次元画像生成方法
JP2002152776A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP4405154B2 (ja) * 2001-04-04 2010-01-27 インストロ プレシジョン リミテッド イメージングシステムおよび物体の画像を取得する方法
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
AU2003253626A1 (en) * 2002-06-07 2003-12-22 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
JP2004265222A (ja) * 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
DE102007031157A1 (de) * 2006-12-15 2008-06-26 Sick Ag Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
JP5120926B2 (ja) * 2007-07-27 2013-01-16 有限会社テクノドリーム二十一 画像処理装置、画像処理方法およびプログラム
CA2731680C (en) * 2008-08-06 2016-12-13 Creaform Inc. System for adaptive three-dimensional scanning of surface characteristics
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018209A1 (en) * 2003-07-24 2005-01-27 Guylain Lemelin Optical 3D digitizer with enlarged non-ambiguity zone
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN101556696A (zh) * 2009-05-14 2009-10-14 浙江大学 基于阵列摄像机的深度图实时获取算法
CN101582165A (zh) * 2009-06-29 2009-11-18 浙江大学 基于灰度图像与空间深度数据的摄像机阵列标定算法

Cited By (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10315105B2 (en) 2012-06-04 2019-06-11 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
US11065532B2 (en) 2012-06-04 2021-07-20 Sony Interactive Entertainment Inc. Split-screen presentation based on user location and controller location
US10150028B2 (en) 2012-06-04 2018-12-11 Sony Interactive Entertainment Inc. Managing controller pairing in a multiplayer game
CN103533234B (zh) * 2012-07-05 2018-08-24 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN103533234A (zh) * 2012-07-05 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN104583904A (zh) * 2012-10-31 2015-04-29 奥迪股份公司 用于输入对机动车部件的控制命令的方法
US9612655B2 (en) 2012-10-31 2017-04-04 Audi Ag Method for inputting a control command for a component of a motor vehicle
CN104583904B (zh) * 2012-10-31 2018-06-26 奥迪股份公司 用于输入对机动车部件的控制命令的方法
CN104769388A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
CN104769388B (zh) * 2012-11-14 2018-11-27 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
CN104769387B (zh) * 2012-11-14 2017-10-10 高通股份有限公司 组合多个图像以补偿反射率和/或吸收的差别的结构光主动深度感测系统
CN104769387A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 组合多个图像以补偿反射率和/或吸收的差别的结构光主动深度感测系统
US10368053B2 (en) 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
CN105308650A (zh) * 2013-04-15 2016-02-03 微软技术许可有限责任公司 具有来自分开的图像的自适应支持权重的主动立体
CN105308650B (zh) * 2013-04-15 2020-09-25 微软技术许可有限责任公司 用于确定立体图像中的块的相似度的方法和系统
US9697424B2 (en) 2013-04-15 2017-07-04 Microsoft Technology Licensing, Llc Active stereo with satellite device or devices
CN105247859B (zh) * 2013-04-15 2019-11-29 微软技术许可有限责任公司 一个或多个卫星设备的主动立体显像
US10816331B2 (en) 2013-04-15 2020-10-27 Microsoft Technology Licensing, Llc Super-resolving depth map by moving pattern projector
US10929658B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Active stereo with adaptive support weights from a separate image
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
US10928189B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Intensity-modulated light pattern for active stereo
CN105247859A (zh) * 2013-04-15 2016-01-13 微软技术许可有限责任公司 一个或多个卫星设备的主动立体显像
CN103869593B (zh) * 2014-03-26 2017-01-25 深圳科奥智能设备有限公司 三维成像装置、系统及方法
CN103869593A (zh) * 2014-03-26 2014-06-18 深圳科奥智能设备有限公司 三维成像装置、系统及方法
CN106256124A (zh) * 2014-04-24 2016-12-21 英特尔公司 结构化立体
CN106256124B (zh) * 2014-04-24 2018-10-26 英特尔公司 结构化立体
CN106663334A (zh) * 2014-06-16 2017-05-10 索尼公司 使用网格雕塑利用深度相机的3d扫描
CN106663334B (zh) * 2014-06-16 2020-01-07 索尼公司 通过计算装置执行的方法、移动通信装置和存储介质
CN106464851B (zh) * 2014-06-30 2018-10-12 微软技术许可有限责任公司 使用多视点立体图和经校准的投射器的深度估计
CN106464851A (zh) * 2014-06-30 2017-02-22 微软技术许可有限责任公司 使用多视点立体图和经校准的投射器的深度估计
CN105451011B (zh) * 2014-08-20 2018-11-09 联想(北京)有限公司 调节功率的方法和装置
CN105451011A (zh) * 2014-08-20 2016-03-30 联想(北京)有限公司 调节功率的方法和装置
US10404969B2 (en) 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
CN107113415A (zh) * 2015-01-20 2017-08-29 高通股份有限公司 用于多技术深度图获取和融合的方法和设备
CN107113415B (zh) * 2015-01-20 2019-06-14 高通股份有限公司 用于多技术深度图获取和融合的方法和设备
CN106210698B (zh) * 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
CN106210698A (zh) * 2015-05-08 2016-12-07 光宝电子(广州)有限公司 深度相机的控制方法
CN111735413A (zh) * 2015-06-08 2020-10-02 株式会社高迎科技 三维形状测量装置
WO2016206004A1 (zh) * 2015-06-23 2016-12-29 华为技术有限公司 一种获取深度信息的拍照设备和方法
US10560686B2 (en) 2015-06-23 2020-02-11 Huawei Technologies Co., Ltd. Photographing device and method for obtaining depth information
CN108027232A (zh) * 2015-07-09 2018-05-11 Inb视觉股份公司 用于检测物体的优选结构化表面的图像的设备和方法
CN108027232B (zh) * 2015-07-09 2020-07-03 Inb视觉股份公司 用于检测物体的优选结构化表面的图像的设备和方法
CN105389845A (zh) * 2015-10-19 2016-03-09 北京旷视科技有限公司 三维重建的图像获取方法和系统、三维重建方法和系统
US10841491B2 (en) 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
CN107204012A (zh) * 2016-03-16 2017-09-26 美国亚德诺半导体公司 降低飞行时间深度成像的功耗
CN107204012B (zh) * 2016-03-16 2021-02-12 美国亚德诺半导体公司 降低飞行时间深度成像的功耗
CN108885778B (zh) * 2016-04-06 2023-04-07 索尼公司 图像处理设备和图像处理方法
CN108885778A (zh) * 2016-04-06 2018-11-23 索尼公司 图像处理设备和图像处理方法
CN109477710A (zh) * 2016-07-27 2019-03-15 微软技术许可有限责任公司 基于点的结构化光系统的反射率图估计
CN109477710B (zh) * 2016-07-27 2021-01-29 微软技术许可有限责任公司 基于点的结构化光系统的反射率图估计
WO2018099259A1 (zh) * 2016-12-01 2018-06-07 亿航智能设备（广州）有限公司 无人机障碍物检测方法及装置
CN106959075A (zh) * 2017-02-10 2017-07-18 深圳奥比中光科技有限公司 利用深度相机进行精确测量的方法和系统
CN106959075B (zh) * 2017-02-10 2019-12-13 深圳奥比中光科技有限公司 利用深度相机进行精确测量的方法和系统
CN110352364A (zh) * 2017-03-01 2019-10-18 微软技术许可有限责任公司 用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器模块
CN110352364B (zh) * 2017-03-01 2023-08-29 微软技术许可有限责任公司 多光谱照射和传感器模块
CN109314776A (zh) * 2017-05-17 2019-02-05 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质
CN109284653A (zh) * 2017-07-20 2019-01-29 微软技术许可有限责任公司 基于计算机视觉的细长物体检测
US11796640B2 (en) 2017-09-01 2023-10-24 Trumpf Photonic Components Gmbh Time-of-flight depth camera with low resolution pixel imaging
CN111213068B (zh) * 2017-09-01 2023-12-19 通快光电器件有限公司 利用低分辨率像素成像的飞行时间深度相机
CN111213068A (zh) * 2017-09-01 2020-05-29 通快光子元件有限公司 利用低分辨率像素成像的飞行时间深度相机
US11209528B2 (en) 2017-10-15 2021-12-28 Analog Devices, Inc. Time-of-flight depth image processing systems and methods
CN107742631A (zh) * 2017-10-26 2018-02-27 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
CN107742631B (zh) * 2017-10-26 2020-02-14 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
TWI666508B (zh) * 2018-02-14 2019-07-21 奇景光電股份有限公司 基於結構光之自動曝光控制器、自動曝光控制方法及其系統
CN112119628B (zh) * 2018-03-20 2022-06-03 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
CN112119628A (zh) * 2018-03-20 2020-12-22 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
US11538183B2 (en) 2018-03-29 2022-12-27 Twinner Gmbh 3D object sensing system
CN112041632A (zh) * 2018-03-29 2020-12-04 特威纳有限公司 3d对象检测系统
TWI719440B (zh) * 2018-04-02 2021-02-21 聯發科技股份有限公司 立體匹配方法及相應立體匹配裝置
US11857153B2 (en) 2018-07-19 2024-01-02 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
CN112740666A (zh) * 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US11115607B2 (en) 2018-07-27 2021-09-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Control system for structured light projector and electronic device
TWI709323B (zh) * 2018-07-27 2020-11-01 大陸商Ｏｐｐｏ廣東移動通信有限公司 結構光投射器的控制系統及電子裝置
CN110855961A (zh) * 2018-08-20 2020-02-28 奇景光电股份有限公司 深度感测装置及其操作方法
CN109389674A (zh) * 2018-09-30 2019-02-26 Oppo广东移动通信有限公司 数据处理方法及装置、mec服务器及存储介质
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
WO2020192021A1 (en) * 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional tracking using hemispherical or spherical visible light-depth images
CN110069006B (zh) * 2019-04-30 2020-12-25 中国人民解放军陆军装甲兵学院 一种全息体视图合成视差图像生成方法及系统
CN110069006A (zh) * 2019-04-30 2019-07-30 中国人民解放军陆军装甲兵学院 一种全息体视图合成视差图像生成方法及系统
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
CN112033352A (zh) * 2020-09-01 2020-12-04 珠海市一微半导体有限公司 多摄像头测距的机器人及视觉测距方法
CN112033352B (zh) * 2020-09-01 2023-11-07 珠海一微半导体股份有限公司 多摄像头测距的机器人及视觉测距方法
CN112129262A (zh) * 2020-09-01 2020-12-25 珠海市一微半导体有限公司 一种多摄像头组的视觉测距方法及视觉导航芯片

Also Published As

Publication number Publication date
KR20140019765A (ko) 2014-02-17
WO2012033578A1 (en) 2012-03-15
EP2614405A4 (en) 2017-01-11
US20120056982A1 (en) 2012-03-08
EP2614405A1 (en) 2013-07-17
JP2013544449A (ja) 2013-12-12
JP5865910B2 (ja) 2016-02-17
CA2809240A1 (en) 2013-03-15
CN102385237B (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
CN102385237B (zh) 基于结构化光和立体视觉的深度相机
CN102222347B (zh) 使用波阵面编码来创建深度图像
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102622774B (zh) 起居室电影创建
CN102520574B (zh) 飞行时间深度成像
CN102413414B (zh) 用于扩展现实的高精度3维音频的系统和方法
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102222329B (zh) 深度检测的光栅扫描
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102549619B (zh) 人类跟踪系统
US8602887B2 (en) Synthesis of information from multiple audiovisual sources
CN102414641B (zh) 改变显示环境内的视图视角
CN102129152B (zh) 具有集成vcsel阵列的深度投影仪系统
CN102681293B (zh) 具有折射光学元件的照明器
JP2022512600A (ja) 任意の場所における場所特有の仮想コンテンツのレンダリング
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
CN102244714B (zh) 深度照明和检测光学器件
CN102314595A (zh) 用于改善话音识别的rgb/深度相机
CN102411783A (zh) 在视频聊天应用中自动跟踪用户移动
CN102448564A (zh) 环境和/或目标分割
CN102163324A (zh) 深度图像的去混叠
CN102448562A (zh) 用于跟踪模型的系统和方法
CN105190703A (zh) 使用光度立体来进行3d环境建模
CN102331840A (zh) 基于回环运动的用户选择和导航
CN105164617A (zh) 自主nui设备的自发现

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150916

Termination date: 20190907