CN102204259B - 双模深度成像 - Google Patents

双模深度成像 Download PDF

Info

Publication number
CN102204259B
CN102204259B CN2008801248825A CN200880124882A CN102204259B CN 102204259 B CN102204259 B CN 102204259B CN 2008801248825 A CN2008801248825 A CN 2008801248825A CN 200880124882 A CN200880124882 A CN 200880124882A CN 102204259 B CN102204259 B CN 102204259B
Authority
CN
China
Prior art keywords
depth
threshold
imaging
distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008801248825A
Other languages
English (en)
Other versions
CN102204259A (zh
Inventor
G·叶海弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Microsoft Technology Licensing LLC
Original Assignee
3DV SYSTEMS (NL)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3DV SYSTEMS (NL) filed Critical 3DV SYSTEMS (NL)
Publication of CN102204259A publication Critical patent/CN102204259A/zh
Application granted granted Critical
Publication of CN102204259B publication Critical patent/CN102204259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种深度成像系统，包括：可在第一和第二模式下操作以提供场景的深度图像的装置；及处理器，该处理器适用于响应于至少一个预定义阈值来选择性地控制该装置在第一或第二模式下操作以提供深度图。

Description

双模深度成像
相关申请
依照35 U.S.C.120，本申请要求于2007年11月15日提交的美国专利申请11/984,250的权益，其内容通过引用结合于此。
背景技术
生成三维图像有两种最主要的方法。一种方法使用三角测量。另一种方法基于飞行时间测量。
三角测量是使用三角关系进行的基于给定的长度和角度的任何种类的距离运算。
具有两台平行照相机的三角测量或立体三角测量，可以基于例如照相机之间的距离、照相机的焦距、从被成像的物体到各照相机的视线(LOS)的空间角度和/或其他合适的参数等参数来执行。这种三角测量有时称为“被动三角测量”。这种三角测量可能需要附加手段来确定两个照相机接收到的图像中的哪些点与同一实际点相对应。
其他形式的三角测量可能需要至少一台照相机和创建关于物体的图案或另选地使用一条辐射逐角度地扫描物体的光源。对于每个扫描角度，该运算可以基于从被成像物体到照相机的LOS的空间角度。这种三角测量有时称为“主动三角测量”。
在基于飞行时间(TOF)原理的方法中，可以通过向场景中的所有物体发射辐射脉冲并传感从被检测物体反射的光来捕捉深度信息。可以通过切换辐射源的开和关来获得辐射脉冲。随后可以根据在每个脉冲时间段内照相机中的深度像素所传感到的辐射量来将场景中所有物体安排在各层中，该辐射量可被转换为距离信息，从而实时地提供深度信息来作为其中灰度级与相对距离相关的标准黑白视频。在这种方法中，可以例如通过使用普通的彩色成像传感器来提供彩色数据。
TOF深度传感器也可以基于对从被检测物体反射的辐射中的相移的检测。辐射脉冲可以被给予具有某一频率的信号形状，例如方波或正弦波。从物体反射的光到达传感器时具有相移。可以测量在传感器处接收到的辐射信号形状的相移，并且可从中计算出物体与传感器之间的距离。在该方法中，到相差360度相移的物体的距离可能不能区分出来。可以通过在辐射信号中采用多频率来克服这一缺点。
发明内容
根据本发明的一实施例，本文提供一种深度成像系统，包括：可在第一和第二模式下操作以提供场景的深度图像的装置；及处理器，该处理器适用于响应于至少一个预定义阈值来选择性地控制该装置在第一或第二模式下操作以提供深度图。
一种深度成像系统，包括：可在第一和第二模式下操作以提供场景的深度图像的装置；及处理器，该处理器适用于响应于至少一个预定义阈值来选择性地控制该装置在第一或第二模式下操作以提供深度图。
可任选地，第一模式是飞行时间模式。作为补充或替换，第二模式可任选地是三角测量模式。
在本发明的一些实施例中，该至少一个预定义阈值包括到场景中的物体的距离的距离阈值。可任选地，处理器被配置成在到物体的距离大于该距离阈值的情况下选择第一模式来提供深度图像。作为补充或替换，处理器可任选地被配置成在到物体的距离小于该距离阈值的情况下选择第二模式来提供深度图像。
在本发明的一些实施例中，该至少一个预定义阈值包括距离分辨率阈值。可任选地，处理器被配置成选择第二模式来提供拥有比该距离分辨率阈值更精确的距离分辨率的深度图像。作为补充或替换，处理器可任选地被配置成选择第一模式来提供拥有不如该距离分辨率阈值精确的距离分辨率的深度图像。
在本发明的一些实施例中，该深度成像系统包括用于手动设置该至少一个预定义阈值的用户界面。
附图说明
在本说明书的结论部分，特别指出并清楚地声明了本发明的主题。然而，阅读附图并参考以下详细描述可更好地理解本发明的组织和操作方法及其目标、特征和优点，附图中：
附图1是根据本发明的一些实施例的示出TOF深度传感的示意图；
附图2是根据本发明的一些实施例的示出TOF深度传感和三角测量深度传感的动态范围的示意图；
附图3是根据本发明的各实施例的示出用于在双模照相机的两种模式之间进行切换的方法的流程图；
附图4是根据本发明的各实施例的示出用于在双模照相机的两种模式之间进行切换的方法的流程图；
附图5A和5B是根据本发明的一些实施例的示出双模深度成像系统的示意图。
附图6是根据本发明的一些实施例的示出另一双模深度成像系统的示意图。
可以理解的是，为了简洁和清楚地说明，在附图中所示的各元件不一定按比例绘制。例如，为简明起见，相对于别的元件，一些元件的尺寸被拉大。此外，在认为适当的情况下，附图标记可在各附图中重复以指示相应或类似的元件。
具体实施方式
在以下详细描述中，阐明了众多具体细节以提供对本发明的透彻理解。然而，本领域技术人员可以理解，本发明可以在没有这些具体细节的情况下实践。在其他情况下，没有描述公知的方法、过程和组件以便不使本发明模糊。
当需要实时和连续成像时，通过三角测量的深度成像可能是不适合的。例如，在被动三角测量中，为了确保两个照相机中的空间角度的数据与物体上的同一点相关，可能会用到若干图像匹配的手段。图像匹配过程和三角测量计算可能会被显著延长。在主动三角测量中，可能需要逐角度地扫描物体，这可能使该过程耗时很长而且复杂。使用频繁辐射的频率的通过TOF测量的深度成像可能相对快速且连续。本发明可提供可以从三角测量深度成像和TOF深度成像两者的优点中都受益的双模深度成像。
参考附图1，这是根据本发明的一些实施例的示出TOF深度传感的示意图。光源(例如，以下参考附图5A、5B和6所描述的)可以在t0打开。可以通过在t开关关闭灯光来创建光墙10。光墙10可以朝例如物体A、物体B和物体C发射。例如，物体A可以比物体B和物体C更靠近光源。光可以从物体A和/或物体B和/或物体C朝光传感器反射(例如，以下参考附图5A、5B和6所描述的)。在t选通时刻，光传感器可被选通关闭以停止吸收从物体A和/或物体B和/或物体C反射的光。该选通关闭可以通过例如快门等来物理阻隔光来实现。或者，光传感器可以被预定义成在预定时间后停止吸收光。直至t选通时刻，光传感器可以吸收例如从物体A反射的一定量的反射光10A和/或从物体B反射的一定量的反射光10B。
因此，可以根据到t选通时刻时光传感器所吸收的反射光的量来推导出物体与光传感器之间的距离。由于不同的物体有不同的反射率，所以所吸收的辐射的量必需通过总反射辐射来归一化以计算真实的距离。
如10A所示，在t选通时刻之前，从物体A反射的光可全部被光传感器所吸收。光传感器和光源可以是同一照相机(未示出)的各单元。为了使得发射到物体A上的所有光在t选通时刻前全部被光传感器吸收，从照相机到物体A的最大距离应当大约等于c·(t选通-t开关)/2，其中c是光速。光传感器可以从离照相机的距离等于或小于c·(t选通-t开关)/2的所有物体吸收相同量的光，因此检测出的这些物体距照相机的距离是一样的。
由于物体B比物体A距离远，因此在t选通时刻前并不是物体B反射的所有光都可以被光传感器吸收。因此检测出物体B比物体A远。物体C的距离可以更远，使得所有反射光在t选通时刻之后到达光传感器，并且因此光传感器传感不到任何反射光。为了使光传感器在t选通时刻之前接收不到物体C反射的任何光，物体C到照相机的最短距离应大约等于c·t选通/2，其中c为光速。所有位于c·(t 选通 -t o )/2或更远距离的物体都不会被光传感器检测到。
因此，开关时间t开关确定了照相机的深度传感范围的宽度。由于每个光传感器通常都有某一比特深度，例如只能产生有限数量的灰度级，因此可例如通过由光墙宽度除以该光传感器的比特深度来确定深度分辨率。较窄的光墙可以提供较高的分辨率，且另一方面可以减少深度传感范围的宽度。
注意，尽管在以上描述中光源在to时刻打开并且在t开关时刻关闭，并且光传感器在to时刻选通打开且在t选通时刻选通关闭，但在一些TOF系统中，光传感器在比to时刻晚的“t-打开”时刻选通打开。对于这种TOF系统，为场景的具有通过t-打开和光墙宽度确定的离系统最短距离的一个片中的各物体来确定距离。
在TOF测量依靠相移的情况下，深度传感的范围受相移达到360度的距离的限制。到相差360度相移的物体的距离可能是不可区分的。
实际的深度分辨率限制可能是大约1厘米，对于对相对远的物体进行成像的用户来说这是很难分辨的，但是在对相对近的物体进行成像时，例如当距离基本上小于50厘米时，这就很明显了。
另外，如上所述，物体距照相机的最小距离受最小可能选通时间t选通的限制，例如(t选通-t开关)的最小值。这由光传感器和照相机的各组件的机械或者其他特性来确定。物体距照相机的最短距离可能是例如大约20厘米。
通过三角测量获得的深度成像分辨率可能会更高，主要受到成像器的像素分辨率的限制，并且可能小于1毫米或甚至几微米。最大三角测量深度传感范围由系统的几何特性确定，例如由照相机之间的距离确定。例如，照相机间几毫米的距离可能获得例如几十厘米的最大深度传感范围。
通过TOF测量的最大深度传感距离可以通过从物体返回的应当足够强以使照相机传感器传感到的辐射强度来确定，从而传递最小所需信噪比。最大距离基本上可达到例如大约60度视野中的几米。
现在参考附图2，它是根据本发明的一些实施例的示出TOF深度传感和三角测量深度传感的动态范围的示意图。三角测量动态范围的下限R0可以是例如大约1-2厘米且主要取决于照相机和/或光源的几何特性和位置。
三角测量动态范围的上限R2可以是例如几十厘米，如前所述。
TOF动态范围的下限R1可以是例如大约10-20厘米，如前所述。
上限R3可以是例如几米，如前所述。
本发明可以提供一种通过在合适的范围内使用使用三角测量方法和TOF方法中的每一种和/或将每一方法用于合适的目的来使得能够同时使用这些方法的方法。因此，根据本发明的双模照相机(例如在附图5A、5B或6中所示)使得能够将动态深度传感范围扩展至从小于1厘米到几米的范围。根据本发明的双模照相机可以根据例如被传感的物体距照相机的距离和/或所需分辨率来自动地在TOF深度传感和三角测量传感间实时地切换。例如，当物体到照相机的距离短于某一阈值(例如RTH)时，该双模照相机可以提供三角测量深度传感。RTH可以是R1和R2之间的值，例如几十厘米。
不同的功能可能需要宽深度传感测范围，该范围可例如从几厘米扩展到几米。一些系统可能需要例如从远处物体的成像快速转换到近处物体的成像，例如当物体从较远距离处接近照相机时。例如，在向用户提供个性化调整的系统、安全和/或安保系统、计算机/视频游戏及类似系统中，可能需要从远处物体的成像转换到近处物体的成像。例如，安全照相机可以传感某一距离处的人，例如通过TOF，并且当这个人靠近照相机时，该照相机可以切换到近范围类型的成像，例如通过三角测量。三角测量成像可以提供例如该人的脸部识别。
现在参考附图3，这是根据本发明的一些实施例的示出用于在双模照相机的两种模式之间进行切换的流程图。如在框120所示，可以检测被传感物体到照相机的距离来判定该距离是否小于第一阈值，例如以上参考附图2描述的RTH。如在框130所示，如果被传感物体到照相机的距离不小于第一阈值，则该照相机可以提供TOF深度传感。
根据本发明中的各实施例，只要提供了特定系统和/或功能的要求，例如相对应分辨率和/或距离的要求，则由于TOF成像的速度，TOF深度传感比三角测量优选。因此，当被成像物体到照相机的距离大于几十厘米时，该照相机可以使用TOF深度传感。
如在框140所示，如果被传感物体到照相机的距离小于第一阈值，则该照相机可以提供三角测量深度传感。
在TOF深度传感和三角测量深度传感之间进行的选择可以由用户来作出，该用户可在这些成像方法之间切换。例如，双模深度成像照相机可以提供手动切换按钮(在附图中没有示出)。在其他实施例中，用户可以通过用户界面给控制器一个命令来进行在这些方法之间进行切换。
根据本发明的其他实施例，在TOF深度传感和三角测量深度传感之间进行的选择可由处理器/控制器作出(如附图5A、5B或6所示)，该处理器/控制器可以根据被成像物体到照相机的距离的预定义阈值来选择深度传感方法，如以上参考附图3所描述的。
现参考附图4，这是根据本发明的一些实施例的示出用于在双模照相机的两种模式之间进行切换的流程图。如在框220所示，一些功能具有用于精确深度成像的高分辨率要求。因此，例如可以检查该功能是否需要超过第二阈值的深度分辨率。例如，一些系统可能需要精确成像来识别用户的脸部。对于例如可以向用户提供个性化调整的系统、安全和/或安保系统、计算机/视频游戏之类的系统而言，可能需要人脸识别。例如，计算机/视频游戏可能基于用户脸部的三维图像来创建角色。其他应用可能使用物体的精确三维成像来例如创建计算机化模型或背景布景。
当被成像物体到照相机的距离相对大时，用户难以分辨这两种方法之间的分辨率差别。如在框230所示，在这些情况下以及在功能不需要高于第二阈值的深度分辨率的其他情况下，照相机可以提供TOF深度传感。由于TOF成像的速度，所以TOF深度传感的优选的。
如在框240所示，当功能需要高于第二阈值的深度分辨率时，和/或当不需要实时成像时，照相机可以提供三角测量深度传感。根据一些实施例，在TOF深度传感和三角测量深度传感之间进行的选择可以由用户作出，该用户可以在这些成像方法之间切换。例如，组合深度成像照相机可以提供手动切换按钮(附图中未示出)。在其他实施例，用户可以通过用户界面给控制器一个命令来在方法之间进行切换。
根据本发明的其他实施例，在TOF深度传感和三角测量深度传感之间进行的选择可以由处理器/控制器作出(如附图5A、5B或6所示)，该处理器/控制器可以根据所需分辨率的预定义阈值来选择深度传感方法，如以上参考附图4所描述的。
注意，附图3中描述的方法可以与附图4中描述的方法进行组合。例如，控制器可以检查被传感物体到照相机的距离是否低于第一阈值，且随后检查该功能是否需要高于第二阈值的深度分辨率或反之亦然，并相应地选择深度传感方法。
现在参考附图5A和5B，这是根据本发明的一些实施例的双模深度成像系统300的示意图。系统300可以包括辐射传感器320和辐射源330，该辐射源可被用于例如物体310的如之前参考附图1所描述的TOF深度成像。另外，系统300可以包括可以传感例如物体310的颜色的彩色传感器340。
辐射源330可以产生如以上参考附图1所描述的辐射墙332。辐射墙332可以朝例如物体310发射。反射辐射334可以从物体310反射回辐射传感器320。如以上参考附图1描述的，在某一时刻辐射传感器320可以被选通关闭以停止吸收从物体310反射的辐射。该选通关闭可以通过例如快门(未示出)来物理地阻隔辐射来实现。或者，辐射传感器320可以被预定义成在预定时刻之后停止吸收辐射。辐射传感器320可以吸收例如辐射334的前一部分336，直到选通关闭时刻。
物体310正面上的基本上每个点的深度可以由该点所反射的在选通关闭时刻之前被辐射传感器320所吸收的辐射的量来推导出。
或者，该深度可以从由物体310反射的调制辐射的相移来推导出。
在本发明的一些实施例中，系统300可以提供三角测量深度成像。例如，彩色传感器340和辐射传感器320可以用于立体被动三角测量，其中例如处理器/控制器350可以提供图像匹配。例如，对物体310上的点311的深度成像的三角测量可以基于一列表的参数的组合，包括例如彩色传感器340和辐射传感器320之间的距离、从点311到辐射传感器320的视线(LOS)325的空间角度、从点311到颜色传感器340的LOS 345的空间角度、照相机的焦距和其他合适的参数。
彩色传感器340和辐射传感器320所提供的图像之间的对应可由处理器/控制器350提供。在一些实施例中，可辐射到物体310上的光图案可以方便图像匹配。处理器/控制器350可以基于物体310的距离和/或所需分辨率来在TOF深度成像和三角测量深度成像之间进行选择。例如以上参考附图3和4所描述的。
在其他实施例中，深度成像系统可以被用于其他种类的三角测量。现在参考附图6，这是根据本发明的一些实施例的双模深度成像系统400的示意图。系统400可以包括辐射传感器420、辐射源430、彩色传感器440和处理器/控制器450，这些元件可与以上参考附图5A和5B描述的对应元件类似地操作。另外，系统400可以包括例如可以使用一条辐射465逐角度地扫描物体410的扫描仪460。对于每一个扫描角度，三角测量计算可以基于从被成像的物体到照相机的LOS的空间角度来进行。
尽管本文示出并描述了本发明的一些特征，但对本领域技术人员而言，很多修改、置换、改变和等效方案现在都是显而易见的。因此，可以理解，所附权利要求书旨在覆盖落入本发明的真正精神内的所有这种的修改和改变。

Claims (8)

1.一种深度成像系统，包括：
可在第一和第二模式下操作以提供场景的深度图像的装置；以及
处理器，所述处理器适用于确定从所述系统到所述场景中的物体的距离是否低于第一阈值，其中所述第一阈值是基于与所述第一模式和所述第二模式相关联的动态深度传感范围来得出的；确定应用是否要求高于第二阈值的深度分辨率；以及自动地根据所述第一阈值、所述深度分辨率以及所述第二阈值实时地在所述第一模式和所述第二模式之间切换。
2.如权利要求1所述的深度成像系统，其特征在于，所述第一模式是飞行时间模式。
3.如权利要求1或权利要求2所述的深度成像系统，其特征在于，所述第二模式是三角测量模式。
4.如权利要求1所述的深度成像系统，其特征在于，所述处理器被配置成在到所述物体的距离大于所述第一阈值的情况下选择所述第一模式来提供深度图像。
5.如权利要求1所述的深度成像系统，其特征在于，所述处理器被配置成在到所述物体的距离小于所述第一阈值的情况下选择所述第二模式来提供深度图像。
6.如权利要求1所述的深度成像系统，其特征在于，所述处理器被配置成选择所述第二模式来提供具有比所述第二阈值更精确的深度分辨率的深度图像。
7.如权利要求1或权利要求6所述的成像系统，其特征在于，所述处理器被配置成选择所述第一模式来提供具有不如所述第二阈值精确的深度分辨率深度图像。
8.如权利要求1所述的深度成像系统，其特征在于，包括用于手动地设置所述第一阈值和所述第二阈值中的至少一个的用户界面。
CN2008801248825A 2007-11-15 2008-11-16 双模深度成像 Active CN102204259B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/984,250 2007-11-15
US11/984,250 US7852461B2 (en) 2007-11-15 2007-11-15 Dual mode depth imaging
PCT/IL2008/001506 WO2009063472A1 (en) 2007-11-15 2008-11-16 Dual mode depth imaging

Publications (2)

Publication Number Publication Date
CN102204259A CN102204259A (zh) 2011-09-28
CN102204259B true CN102204259B (zh) 2013-10-16

Family

ID=40539858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801248825A Active CN102204259B (zh) 2007-11-15 2008-11-16 双模深度成像

Country Status (4)

Country Link
US (1) US7852461B2 (zh)
CN (1) CN102204259B (zh)
CA (1) CA2714629C (zh)
WO (1) WO2009063472A1 (zh)

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
CN103004180A (zh) 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US9823339B2 (en) * 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) * 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
CN103765864B (zh) 2011-05-11 2017-07-04 派力肯影像公司 用于传送和接收阵列照相机图像数据的系统和方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
JP2015510705A (ja) * 2011-12-12 2015-04-09 アセルサン・エレクトロニク・サナイ・ヴェ・ティジャレット・アノニム・シルケティＡｓｅｌｓａｎ Ｅｌｅｋｔｒｏｎｉｋ Ｓａｎａｙｉ ｖｅＴｉｃａｒｅｔ Ａｎｏｎｉｍ Ｓｉｒｋｅｔｉ 解像度向上のためのシステム及び方法
IL217361A0 (en) * 2012-01-04 2012-03-29 Rafael Advanced Defense Sys Device & method providing combined video camera and range finder functionality
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CA2881131A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9354051B2 (en) * 2012-09-13 2016-05-31 Laser Technology, Inc. System and method for a rangefinding instrument incorporating pulse and continuous wave signal generating and processing techniques for increased distance measurement accuracy
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9036243B2 (en) * 2012-09-24 2015-05-19 Alces Technology, Inc. Digital drive signals for analog MEMS ribbon arrays
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
US20140111617A1 (en) * 2012-10-23 2014-04-24 Lsi Corporation Optical source driver circuit for depth imager
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
TWI591584B (zh) 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
WO2014145856A1 (en) * 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US10063844B2 (en) 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP6467776B2 (ja) * 2014-03-13 2019-02-13 株式会社リコー 測距システム、情報処理装置、情報処理方法及びプログラム
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN107077743B (zh) 2014-09-29 2021-03-23 快图有限公司 用于阵列相机的动态校准的系统和方法
US9897690B2 (en) 2014-10-27 2018-02-20 Laser Technology, Inc. Technique for a pulse/phase based laser rangefinder utilizing a single photodiode in conjunction with separate pulse and phase receiver circuits
KR102312273B1 (ko) * 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
CN112665556B (zh) 2015-04-01 2023-09-05 瓦亚视觉传感有限公司 使用被动和主动测量生成场景的三维地图
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9747519B2 (en) 2015-04-24 2017-08-29 Microsoft Technology Licensing, Llc Classifying ambiguous image data
US9683834B2 (en) 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
KR102114969B1 (ko) * 2015-06-08 2020-06-08 삼성전자주식회사 광학 장치 및 깊이 정보 생성 방법
US10048357B2 (en) 2015-06-15 2018-08-14 Microsoft Technology Licensing, Llc Time-of-flight (TOF) system calibration
DK3195076T3 (da) 2015-06-26 2021-03-22 Sz Dji Technology Co Ltd System og fremgangsmåde til valg af en driftstilstand for en mobil platform
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10942261B2 (en) * 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
US9958267B2 (en) * 2015-12-21 2018-05-01 Industrial Technology Research Institute Apparatus and method for dual mode depth measurement
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
CN106651941A (zh) * 2016-09-19 2017-05-10 深圳奥比中光科技有限公司 一种深度信息的采集方法以及深度测量系统
CN106651940B (zh) * 2016-11-24 2020-09-18 深圳奥比中光科技有限公司 一种用于3d交互的专用处理器
CN106683133B (zh) * 2016-12-09 2020-04-17 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN106780589A (zh) * 2016-12-09 2017-05-31 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN106875435B (zh) * 2016-12-14 2021-04-30 奥比中光科技集团股份有限公司 获取深度图像的方法及系统
US10527728B2 (en) * 2017-01-27 2020-01-07 Samsung Electronics Co., Ltd Apparatus and method for range measurement
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
FR3063374B1 (fr) 2017-02-27 2019-06-07 Stmicroelectronics Sa Procede et dispositif de determination d'une carte de profondeurs d'une scene
CA3055572C (en) * 2017-03-21 2023-09-19 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
CN107087150B (zh) * 2017-04-26 2019-05-21 成都通甲优博科技有限责任公司 一种基于双目立体和光度立体的三维摄像方法、系统及装置
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US10877238B2 (en) 2018-07-17 2020-12-29 STMicroelectronics (Beijing) R&D Co. Ltd Bokeh control utilizing time-of-flight sensor to estimate distances to an object
WO2020033376A1 (en) * 2018-08-07 2020-02-13 Butterfly Network, Inc. Methods and apparatuses for ultrasound imaging of lungs
CN109470166B (zh) * 2018-11-09 2020-12-08 业成科技（成都）有限公司 结构光深度感测器及感测方法
KR102552923B1 (ko) 2018-12-03 2023-07-10 삼성전자 주식회사 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
CN109922331B (zh) * 2019-01-15 2021-12-07 浙江舜宇光学有限公司 一种图像处理方法及装置
CN110035269A (zh) * 2019-04-12 2019-07-19 信利光电股份有限公司 一种双模深度相机
US11673533B2 (en) * 2019-06-19 2023-06-13 Ford Global Technologies, Llc Vehicle sensor enhancements
EP3821267A4 (en) 2019-09-17 2022-04-13 Boston Polarimetrics, Inc. SURFACE MODELING SYSTEMS AND METHODS USING POLARIZATION MARKERS
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
EP4081933A4 (en) 2020-01-29 2024-03-20 Intrinsic Innovation Llc SYSTEMS AND METHODS FOR CHARACTERIZING OBJECT POSE DETECTION AND MEASUREMENT SYSTEMS
EP4085424A4 (en) 2020-01-30 2024-03-27 Intrinsic Innovation Llc SYSTEMS AND METHODS OF DATA SYNTHESIS FOR TRAINING STATISTICAL MODELS ON DIFFERENT IMAGING MODALITIES INCLUDING POLARIZED IMAGES
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11567179B2 (en) 2020-07-21 2023-01-31 Leddartech Inc. Beam-steering device particularly for LIDAR systems
WO2022016277A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
EP4185892A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering devices and methods for lidar applications
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
EP4184113A1 (de) * 2021-11-23 2023-05-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und verfahren zur inspektion zumindest einer geometrie oder einer oberfläche eines objekts
CN117607837B (zh) * 2024-01-09 2024-04-16 苏州识光芯科技术有限公司 传感器阵列、距离测量设备及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137566A (en) * 1999-02-24 2000-10-24 Eoo, Inc. Method and apparatus for signal processing in a laser radar receiver
CN1710935A (zh) * 2004-06-17 2005-12-21 株式会社日立制作所 摄像装置
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
CN101026776A (zh) * 2006-02-24 2007-08-29 罗技欧洲公司 在图像捕捉装置中使用3d传感器的方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030035100A1 (en) * 2001-08-02 2003-02-20 Jerry Dimsdale Automated lens calibration
US8537204B2 (en) * 2004-07-08 2013-09-17 Gyoung Il Cho 3D television broadcasting system
WO2007124664A1 (fr) * 2006-04-29 2007-11-08 Shanghai Jietu Software Co., Ltd. Appareil et procédé permettant d'obtenir une représentation panoramique contenant des informations de position et procédé de création, d'annotation et d'affichage d'un service de cartographie électrique panoramique
US7808617B2 (en) * 2007-09-17 2010-10-05 Quality Vision International, Inc. Dual resolution, dual range sensor system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137566A (en) * 1999-02-24 2000-10-24 Eoo, Inc. Method and apparatus for signal processing in a laser radar receiver
CN1710935A (zh) * 2004-06-17 2005-12-21 株式会社日立制作所 摄像装置
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
CN101026776A (zh) * 2006-02-24 2007-08-29 罗技欧洲公司 在图像捕捉装置中使用3d传感器的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fusion of Stereo-Camera and PMD-Camera Data for Real-Time Suited Precise 3D Environment Reconstruction;Klaus-Dieter Kuhnert,et al;《2006 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20061015;第4780-4785页 *
Klaus-Dieter Kuhnert,et al.Fusion of Stereo-Camera and PMD-Camera Data for Real-Time Suited Precise 3D Environment Reconstruction.《2006 IEEE/RSJ International Conference on Intelligent Robots and Systems》.2006,

Also Published As

Publication number Publication date
CA2714629C (en) 2016-05-24
CN102204259A (zh) 2011-09-28
US7852461B2 (en) 2010-12-14
WO2009063472A1 (en) 2009-05-22
CA2714629A1 (en) 2009-05-22
US20090128833A1 (en) 2009-05-21

Similar Documents

Publication Publication Date Title
CN102204259B (zh) 双模深度成像
EP2378310B1 (en) Time of flight camera unit and optical surveillance system
US7809171B2 (en) Facial feature evaluation based on eye location
CN103415780B (zh) 用于确定测量仪的位置和定向的方法和系统
US10643349B2 (en) Method of calibrating a camera and a laser scanner
CN110178156A (zh) 包括可调节焦距成像传感器的距离传感器
CN103852067A (zh) 调整飞行时间(tof)测量系统的操作参数的方法
JP2020531849A5 (zh)
CN104024797B (zh) 用于确定对象的3d坐标的方法和装置
CN108271408A (zh) 使用被动和主动测量生成场景的三维地图
Prasad et al. First steps in enhancing 3D vision technique using 2D/3D sensors
US20100038520A1 (en) Method and apparatus for detecting presence and range of a target object using a multimode detector
JP4691701B2 (ja) 人数検出装置及び方法
KR20140123079A (ko) 3차원 줌 이미저
CN207835674U (zh) 电子装置和电子设备
CN102257353A (zh) 用于对强反射或透明对象进行三维光学测量的设备和方法
CN108572369A (zh) 一种微镜扫描探测装置及探测方法
CN114966714A (zh) 视窗遮挡检测方法及装置
KR102487848B1 (ko) 측정 대상 내의 불순물을 검출하기 위한 THz 측정 장치 및 THz 측정 방법
CN102401901B (zh) 测距系统及测距方法
CN109716080A (zh) 用于无接触地测定二维温度信息的方法以及红外测量系统
EP3663801B1 (en) Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
Langmann Wide area 2D/3D imaging: development, analysis and applications
EP4019891A1 (en) Three-dimensional scanner with event camera
JP5850225B2 (ja) マーカ検出方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20191022

Address after: Washington State

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Washington State

Patentee before: Microsoft Corp.

Effective date of registration: 20191022

Address after: Washington State

Patentee after: Microsoft Corp.

Address before: Amsterdam, The Netherlands

Patentee before: MICROSOFT INTERNATIONAL HOLDINGS B.V.

TR01 Transfer of patent right