CN104769388B - 结构光主动深度感测系统中对光源功率的动态调整 - Google Patents

结构光主动深度感测系统中对光源功率的动态调整 Download PDF

Info

Publication number
CN104769388B
CN104769388B CN201380057488.5A CN201380057488A CN104769388B CN 104769388 B CN104769388 B CN 104769388B CN 201380057488 A CN201380057488 A CN 201380057488A CN 104769388 B CN104769388 B CN 104769388B
Authority
CN
China
Prior art keywords
light source
image
parameter sets
scene
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380057488.5A
Other languages
English (en)
Other versions
CN104769388A (zh
Inventor
胡迪特·马蒂内·包萨
卡林·米特科夫·阿塔纳索夫
塞尔久·拉杜·戈马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201811299616.8A priority Critical patent/CN109612404B/zh
Publication of CN104769388A publication Critical patent/CN104769388A/zh
Application granted granted Critical
Publication of CN104769388B publication Critical patent/CN104769388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供一种方法和装置，所述方法和装置在使用结构光执行主动深度感测时补偿场景/对象中的对象的不同反射率/吸收系数。接收器传感器捕获上面投影有代码掩码的场景的图像。从所述所捕获图像来断定一或多个参数。根据所述一或多个参数来动态地调整投影光源的光源功率以改进在随后所捕获图像中对所述代码掩码的解码。可随后基于所述所捕获图像、基于所述代码掩码来断定所述场景的深度信息。在一个实例中，所述光源功率被固定于特定照度，而所述接收器传感器的曝光时间则被调整。在另一个实例中，所述接收器传感器的曝光时间被维持/保持于固定值，而所述光源功率则被调整。

Description

结构光主动深度感测系统中对光源功率的动态调整
相关申请案的交叉引用
本申请案根据35 U.S.C.§ 119(e)权益主张2012年11月14日申请的美国临时专利申请案第61/726,387号的优先权并主张2012年年12月21日申请的美国非临时申请案第13/723,891号的优先权，这些专利申请案的内容明确地通过引用结合在此。
技术领域
各种特征是有关于主动深度感测，且更具体来说是有关于用于在执行使用结构光的主动深度感测系统时补偿场景中的对象的不同反射率/吸收系数的技术。
背景技术
在主动感测中，在被常称作“结构光”的过程中使用已知图案(例如，代码掩码)来照明场景或对象。投影于场景或对象上的图案的结构编码所述场景或对象的深度信息。一旦在接收到的图像中找到所述图案，便可重构3维场景或对象。可使用已知的所投影图案与经解码图案之间的关系来导出关于所捕获场景的深度信息。
接收器/相机传感器可从入射光捕获场景的图像，所述入射光是来自于光源到所述场景(例如，个人、对象、场所等)上的反射。入射光的强度可取决于：(a)场景中的表面的反射系数性质；(b)产生所投影图案的光的功率；和/或(c)环境光。如果相机传感器上的入射光太强，那么其使传感器饱和。如果入射光太弱，那么相机传感器不捕获场景的反射率的变化。即使在场景内，取决于图像中正被捕获的表面的类型，仍可以同时发生两种情境(例如，所捕获光太强和太弱)。如果系统中不包含对入射光强度的调整，那么对于广泛范围的情境(不同环境光、光源的不同预设功率、不同表面类型)来说不可能捕获所投影图案(例如，代码掩码)的照度的变化。
因此，需要一种解决方案以在执行使用结构光系统的场景深度感测时补偿入射光强度的变化。
发明内容
下文呈现本发明的一或多个方面的简化概述，以便提供对此些方面的基本理解。此概述并非本发明的所有所涵盖特征的广泛综述，且既不希望识别本发明的所有方面的关键或至关重要要素，也不希望划定本发明的任何或所有方面的范围。其唯一目的是以简化形式呈现本发明的一或多个方面的一些概念以作为稍后呈现的更详细描述的序言。
提供一种装置，所述装置适于在使用结构光的主动深度感测系统中补偿表面反射率差别。所述装置可包含接收器传感器和处理电路。所述接收器传感器可用来捕获上面投影有代码掩码的场景的图像。所述处理电路可适于：(a)从所述所捕获图像来断定一或多个参数；(b)根据所述一或多个参数来动态地调整投影光源的光源功率以改进在随后所捕获图像中对所述代码掩码的解码；和/或(c)在所述所捕获图像中基于所述代码掩码来断定所述场景的深度信息。
在一个示范性实施方案中，所述光源功率被固定于特定照度，而所述接收器传感器的曝光时间则被调整。在另一示范性实施方案中，所述接收器传感器的曝光时间被维持于固定值，而所述光源功率则被调整。
所述一或多个参数可基于所述代码掩码而与所述所捕获图像内的区域相关。
在一个实例中，所述投影光源可包含多个光元件，并且动态地调整所述投影光源的所述光源功率包含基于所述相对应的一或多个参数来个别地控制所述光元件中的每一者的所述光源功率。所述接收器传感器可进一步适于捕获上面投影有所述代码掩码的所述场景的新图像，其中所述新图像归因于对经个别调整的所述多个光元件进行的所述操作而被逐个区域地光压缩。
所述接收器传感器可包含多个经个别控制的传感器快门，并且所述处理电路可进一步适于基于所述相对应的一或多个参数来个别地控制所述多个传感器快门以调整由所述接收器传感器捕获的所述光。所述传感器快门可经控制以减少或者增加穿过其的所述光从而补偿给定区域中如由所述一或多个参数指示的太多光或太少光。
所述接收器传感器可进一步适于捕获上面投影有所述代码掩码的所述场景的新图像，其中所述新图像归因于对经个别调整的所述多个传感器快门进行的所述操作而被逐个区域地光压缩。
还提供一种方法，所述方法用于补偿使用结构光的主动深度感测系统中的表面反射率差别。举例来说，接收器传感器可捕获上面投影有代码掩码的场景的图像。处理电路可随后从所述所捕获图像来断定一或多个参数。可随后根据所述一或多个参数来动态地调整投影光源的光源功率以改进在随后所捕获图像中对所述代码掩码的解码。可在所述所捕获图像中基于所述代码掩码来断定所述场景的深度信息。
附图说明
将在下面的具体实施方式中以及在附图中描述本发明的这些和其它样本方面。
图1说明用于主动感测的系统，其中3维(3D)场景是从2维(2D)图像或信息构建的。
图2说明主动感测，其中使用已知图案来照明场景或对象并获得从2维图像和/或信息产生3维信息所用的深度信息。
图3说明可如何感测对象或场景的深度。
图4说明示范性代码掩码400，其使用三个灰度级(例如，黑色、白色和灰色)。
图5说明用于在使用结构光的主动深度感测系统中调整由接收器传感器接收的光能的至少两种方法。
图6说明用于在使用结构光的主动深度感测系统中调整由接收器传感器接收的光能的至少两种方法。
图7说明用于在使用结构光的主动深度感测系统中调整由接收器传感器接收的光能的另一种方法。
图8说明使用结构光的示范性深度感测系统，其动态地调整正被捕获的场景中的对象的表面的不同反射率/吸收系数。
图9说明可如何在形状调制载体内表示二进制码字。
图10说明使用载体层和代码层的代码微结构的进一步细节。
具体实施方式
在以下描述中，给出特定细节以提供对实施例的透彻理解。然而，本领域普通技术人员将理解，可在没有这些特定细节的情况下实践所述实施例。举例来说，可以框图绘示电路以便避免以不必要的细节混淆所述实施例。在其它情况下，可不详细绘示熟知电路、结构和技术以便不混淆所述实施例。
词语“示范性”在本文中用以意谓“充当实例、例子或说明”。本文中描述为“示范性”的任何实施方案或实施例未必解释为比其它实施例优选或有利。同样，术语“实施例”并不要求所有实施例均包含所论述特征、优势或操作模式。
概述
提供用于在执行使用结构光的主动深度感测时补偿场景中的对象的不同反射率/吸收系数的技术。提供各种特征，所述特征动态地适应并补偿正被捕获的场景中的对象的反射率/吸收的变化。
第一特征提供接收器传感器，所述接收器传感器捕获上面投影有代码掩码的场景的图像。从所述所捕获图像来断定一或多个参数。随后根据所述一或多个参数来动态地调整投影光源的光源功率以改进在随后所捕获图像中对代码掩码的解码。可随后基于所捕获图像、基于代码掩码来断定场景的深度信息。在一个实例中，光源功率被固定于特定照度，而接收器传感器的曝光时间则被调整。在另一个实例中，接收器传感器的曝光时间被维持/保持于固定值，而光源功率则被调整。
第二特征提供接收器传感器，所述接收器传感器在两个或两个以上(不同)曝光时间捕获上面投影有代码掩码的场景的多个图像。通过从每一图像提取代码掩码的可解码部分来组合所述多个图像中的所述两者或两者以上以产生组合图像。可随后基于组合图像且使用代码掩码来断定场景的深度信息。
第三特征实现使用两个接收器传感器且每一者在不同曝光时间来捕获场景或对象。第一接收器传感器在第一曝光时间捕获上面投影有代码掩码的场景的第一图像。第二接收器传感器在第二曝光时间捕获上面投影有代码掩码的场景的第二图像。随后通过从每一图像提取代码掩码的可解码部分来组合第一图像和第二图像以产生组合图像。可随后基于组合图像且使用代码掩码来断定场景的深度信息。
主动深度感测
图1说明用于主动感测的系统，其中3维(3D)场景是从2维(2D)图像或信息构建的。一或多个特征用于在执行使用结构光的主动深度感测系统时补偿场景中的对象的不同反射率/吸收系数。编码器/形状调制器100可用来产生代码掩码，随后由发射器装置102经由发射信道104来投影所述代码掩码。可将代码掩码投影到目标(例如，场景或对象)上且由接收器传感器105来捕获反射光以作为图像(例如，代码掩码图像)。这个接收到的图像可经解码106并用于呈现、产生和/或提供目标的3维版本110a到110e。主动感测依赖于能够从正被投影于目标上的代码掩码来认出所有空间代码(即，码字)。可将本文中描述的各种特征和方面实施为本文中说明的系统和装置的一部分。
图2说明主动感测，其中使用已知图案来照明场景或对象并获得从2维图像和/或信息产生3维信息所用的深度信息。此处，发射器202使光场投影穿过代码掩码204(例如，具有代码的图像)从而将码字投影于对象或场景206上。接收器208(例如，相机传感器)捕获所投影代码掩码210和其中的码字。此实例说明如何将代码掩码204的区段/部分/窗口212投影(作为区段/部分/窗口214)到对象或场景206的表面(例如，所投影区段/部分/窗口216)上。所投影区段/部分/窗口216可随后由接收器208捕获为所捕获片段218。区段/部分/窗口212可用作可唯一地识别的码字。因此，通过以此方式用唯一码字覆盖场景或对象206，可识别/标记场景或对象206的区段/部分，且可使用此信息进行深度感测。
从接收器208(相机传感器)所捕获的图像，可识别场景或对象206上的多个片段。每一片段218可在接收器208处唯一地识别，且其相对于其它片段的位置可从经译码掩码204的已知图案断定。从每一片段/部分/窗口识别代码可涉及图案分段(例如，以解决失真)和所感知片段/部分/窗口到相对应的代码的解码。另外，三角测量可应用于每一所捕获片段/部分/窗口以断定定向和/或深度。多个此些片段/部分/窗口可经组合以将所捕获图像图案拼接在一起。以此方式，可产生场景、目标或对象206的深度图207。
图3说明可如何感测对象或场景的深度。此处，发射器302是在与接收器304相同的基线参考平面上。所述发射器经由孔口或透镜将代码掩码310投影到场景或对象上。此处，出于说明的目的，将所投影片段/部分/窗口312(表示码字)绘示为所发射的代码掩码310的一部分。这个代码片段/部分/窗口312可在第一距离或第二距离处投影于场景或对象306上。接收器304经由接收器孔口来捕获所投影代码掩码310。可了解，当场景或对象306位于更近处时(例如，距发射器第一距离)，所投影片段312出现在距其初始位置距离d1处。同时，当场景或对象308位于更远处(例如，距发射器第二距离)时，所投影片段/部分/窗口312出现在距其初始位置距离d2处(其中d2＜d1)。也就是说，对象距发射器/接收器越远(例如，发射器302到场景或对象308)，在接收器处接收到的所投影片段/部分/窗口距其原始位置越近(例如，传出的投影与传入的投影更加平行)。相反，对象距发射器/接收器越近(例如，发射器302到场景或对象306)，在接收器处接收到的所投影片段/部分/窗口距其原始位置越远。因此，接收到的码字位置与所发射的码字位置之间的差别给出了场景或对象的深度。在一个实例中，此类深度(例如，相对深度)可提供每一像素或成群像素的子组(例如，两个或两个以上像素的区域)的深度。
已构想各种类型的调制和译码方案来产生代码掩码。这些调制和译码方案包含时间译码、空间译码和直接编码(direct codification)。
图4说明示范性代码掩码400，其使用三个灰度级(例如，黑色、白色和灰色)。在此实例中，黑色用于保护间隔，且白色/灰色用于代码/参考条带。
用接收器传感器208(例如，相机)所获得的图像是由入射光形成的，所述入射光是来自于光源到场景上的反射。入射光的强度可取决于：(a)场景中的表面的反射系数性质；(b)产生所投影图案的光的功率；和/或(c)环境光。如果相机传感器上的入射光太强，那么其使传感器饱和。如果入射光太弱，那么接收器208(例如，相机传感器)不捕获场景的反射率的变化。即使在场景内，取决于图像中正被捕获的表面的类型，仍可以同时发生两种情境(例如，所捕获的光太强和太弱)。如果系统中不包含对入射光强度的调整，那么对于广泛范围的情境(不同环境光、光源的不同预设功率、不同表面类型)来说难以捕获所投影图案(例如，代码掩码)的照度的变化。
提供各种解决方案，其中可基于(a)相机传感器曝光时间和/或(b)投影光源功率来调整接收到的光能。从一或多个所捕获图像来测量一或多个参数(例如，像素饱和度、不可解码像素、像素照度平均值、方差和/或熵等)，所述一或多个所捕获图像是在预设的曝光时间或一系列曝光时间(例如，快门时间)和/或以投影光源功率(例如，照度强度)获得的。随后基于所述一或多个参数来调整曝光时间和/或投影光源功率以捕获场景的额外图像。
第一示范性解决方案-接收的光能调整
根据第一示范性解决方案，根据从所获取图像测量的某些参数来控制由接收器/相机传感器接收的光能。
图5说明用于在使用结构光的主动深度感测系统中调整由接收器传感器接收的光能的至少两种方法。这些方法可实施于例如图2和/或8的主动感测系统的一或多个组件中。
根据第一种方法(方法A)，调整接收器传感器(相机)的曝光时间以补偿用于主动深度感测的图像中的曝光过度和/或曝光不足。在此方法中，接收器传感器的曝光时间被调整，而光源功率则保持固定。
获得接收器传感器的预定义曝光时间502a。投影光源随后将代码掩码的至少一部分投影到有待于捕获的场景(例如，目标)上504a。接收器传感器随后在所述预定义曝光时间捕获上面投影有代码掩码的场景的图像506a。
可随后从所捕获图像来断定一或多个参数508。举例来说，所述参数可包含：(a)与统计相关的信息，即像素照度平均值、方差、熵；(b)接收器传感器处的饱和像素的数目；和/或(c)其中所投影代码掩码不能够被解码的像素的数目。
可随后根据所述一或多个参数来增加或减少传感器接收器的曝光时间510a。也就是说，如果所述一或多个参数指示接收器传感器像素过度饱和，那么减少光源功率。否则，如果所述一或多个参数指示接收器传感器像素的曝光不足，那么增加光源功率。
投影光源再次或持续将代码掩码的至少一部分投影(例如，以其原始光源功率)到有待于捕获的场景上512a。接收器传感器现在在已调整的曝光时间捕获上面投影有代码掩码的场景的新图像514a。可随后从新图像中的代码掩码来断定场景的深度信息516。
根据第二种方法(方法B)，调整(代码掩码的)投影仪的光源功率以补偿用于主动深度感测的图像中的照明不足和/或照明过度。在此方法中，接收器传感器的曝光时间保持固定，而光源功率则被调整。
获得光源的预定义光源功率502b。投影光源随后将代码掩码的至少一部分投影到有待于捕获的场景上504b。接收器传感器随后捕获上面投影有代码掩码的场景的图像506b。
可随后从所捕获图像来断定一或多个参数508。举例来说，所述参数可包含：(a)与统计相关的信息，即平均值、方差、熵；(b)接收器传感器处的饱和像素的数目；和/或(c)其中所投影代码掩码不能够被解码的像素的数目。
可随后根据所述一或多个参数来调整(例如，增加或减小)光源功率510b。也就是说，如果所述一或多个参数指示接收器传感器像素过度饱和，那么减小光源功率。否则，如果所述一或多个参数指示接收器传感器像素曝光不足，那么增加光源功率。
投影光源可将代码掩码的至少一部分投影到有待于捕获的场景上512b。接收器传感器随后捕获上面投影有代码掩码的场景的新图像514b。可随后从新图像中的代码掩码来断定场景的深度信息516。
根据各种实施方案，可单独地或组合地调整接收器传感器曝光时间和/或光源功率。举例来说，如果接收器传感器的饱和像素的数目高于某一阈值，那么减少接收器传感器的曝光时间或减小光源的功率。在另一个实例中，如果在所捕获图像中的代码掩码中测量到的黑色代码的数目高于某一阈值，那么增加接收器传感器的曝光时间和/或增加光源的功率。
根据替代性方法，可经由一个以上图像(例如，同时被多个接收器传感器所获取，或由同一接收器传感器在若干种情况下获取)来获得所述一或多个参数。在一个实例中，可在多个不同接收器传感器(例如，相机)上使用不同曝光时间。
根据另一种替代性方法，可跨越所捕获图像来跟踪‘饱和区域’或‘黑色区域’，并且可仅仅使用这些区域来进行对所述一或多个参数的测量。这个变化可提供一些计算上的优点，因为其减少了从中获得参数的区域。
在一些实施方案中，接收器装置可耦合到接收器传感器和投影光源以执行图5中所说明的方法。在此些实施方案中，接收器装置可从所捕获图像来断定所述一或多个参数。随后，其可致使动态地调整投影光源的光源功率以改进在随后所捕获图像中对代码掩码的解码。
第二示范性解决方案-接收器动态范围调整
根据第二示范性解决方案，基于从在不同曝光时间获取并经组合的图像所测量的某些参数来控制由接收器/相机传感器接收的光能。
图6说明用于在使用结构光的主动深度感测系统中调整由接收器传感器接收的光能的至少两种方法。这些方法可实施于例如图2和/或8的主动感测系统的一或多个组件中。这些方法类似于图5中说明的方法，但多个图像最初是在不同曝光时间和/或以不同光源功率捕获的。可根据高动态范围(HDR)算法而组合来自所述多个图像中的两者或两者以上的部分。所述组合图像可提取多个图像中的两者或两者以上的所述部分，且可从所述部分感知所投影代码掩码中的码字(例如，可从所述部分认出代码掩码中的图案)。
根据第三种方法(方法C)，调整一或多个接收器传感器(相机)的曝光时间以补偿用于主动深度感测的图像中的曝光过度和/或曝光不足。在此方法中，接收器传感器的曝光时间被调整，而光源功率则保持固定。
获得接收器传感器的多个预定义曝光时间602a。投影光源随后将代码掩码的至少一部分投影到有待于捕获的场景上604a。接收器传感器随后在所述预定义曝光时间捕获上面投影有代码掩码的场景的多个图像(例如，针对每一预定义曝光时间捕获一个图像)606a。
可随后针对所捕获图像中的每一者来断定一或多个参数608。举例来说，所述参数可包含：(a)与统计相关的信息，即平均值、方差、熵；(b)接收器传感器处的饱和像素的数目；和/或(c)其中所投影代码掩码不能够被解码的像素的数目。
可基于所述一或多个参数来动态地改变用于获取高动态范围(HDR)算法中所涉及的一组图像的接收器传感器设置。举例来说，任选地，可根据所测量的参数来调整用于每一图像获取的接收传感器中的一或多者的曝光时间612a。可随后通过从每一图像提取代码掩码的可解码部分来组合(例如，根据HDR算法)所捕获图像中的两者或两者以上614。可从所述组合图像中的代码掩码来断定场景的深度信息616。
在包含具有不同反射率/吸收系数的对象表面的场景中，在不同曝光时间取得的图像的组合可用来恰当地捕获这些对象，但这是在接收器传感器的不同曝光时间进行的。举例来说，在第一曝光时间的情况下取得的第一图像可恰当地捕获投影于场景的一些对象上的代码掩码但未能恰当地捕获投影于同一场景的其它目标上的代码掩码。由所述接收器传感器(或不同接收器传感器)在第二曝光时间取得的第二图像可恰当地捕获投影于同一场景的所述其它对象上的代码掩码。因此，通过组合在不同曝光时间取得的两个或两个以上图像的部分，可获得组合图像，所述组合图像是由从所述两个或两个以上图像取得的代码掩码的可解码部分所组成。
根据第四种方法(方法D)，调整对一或多个接收器传感器(相机)的光源功率控制以补偿用于主动深度感测的图像中的曝光过度和/或曝光不足。这种方法大部分与方法C相同，但在步骤612b中，根据所述一或多个参数来调整光源功率(而非曝光时间)。
第三示范性解决方案-选择性光源功率调整
根据第三示范性解决方案，跨越不同区域来局部地/选择性地控制光源功率以适于场景中之表面的各不相同的反射率/吸收系数。也就是说，光源可包含多个光元件，可独立地控制这些光元件使得可取决于场景中的表面的反射率/吸收而以不同方式来照明场景的不同区域。因此，场景的每一区域中的光强度可根据场景的每一此类区域中对象的表面的反射率/吸收系数加以调整。
图7说明用于在使用结构光的主动深度感测系统中由接收器传感器接收的光能的另一种方法。这种方法可实施于例如图2和/或8的主动感测系统的一或多个组件中。第一实例(方法E)假设投影光源是由多个光元件(例如，以矩阵配置来布置的发光二极管，等)所组成，可个别地控制所述光元件的强度。第二实例(方法F)假设可个别地控制多个接收器传感器快门以调整每一相对应的接收器传感器所接收的光的量。
获得投影光源的均一(预定义)光源功率702。根据第一示例性方法(方法E)，投影光源包括多个光元件且使用均一光源功率将代码掩码的至少一部分投影到有待于捕获的场景上704a。根据第二种方法(方法F)，投影光源使用均一光源功率将代码掩码的至少一部分投影到有待于捕获的场景上704b。接收器传感器随后捕获上面投影有代码掩码的场景的图像706。
可随后针对所捕获图像内的多个区域中的每一者来断定一或多个参数708。此些区域可与由单个光元件或光元件的子组所覆盖的区相对应。此些光元件可提供高度并行化光束，例如使得在光元件之间存在最小程度的交叉跨越。所获得的参数可包含：(a)与统计相关的信息，即平均值、方差、熵；(b)接收器传感器处的饱和像素的数目；和/或(c)其中所投影代码掩码不能够被解码的像素的数目。
根据第一实例(方法E)，可随后基于相对应的一或多个参数来个别地调整/控制(例如，增加或减少)每一元件的光源功率710a。也就是说，如果所述一或多个参数指示与第一区域相对应的接收器传感器像素过度饱和，那么减少相对应的光元件的光源功率。同样地，如果所述一或多个参数指示第二区域的接收器传感器像素曝光不足，那么增加相对应的光元件的光源功率。在个别地调整/控制每一光元件功率之后，可再次由投影光源来投影代码掩码712a。
根据替代性第二实例(方法F)，可使用处于均一光源功率的投影光源将代码掩码的至少一部分投影到场景的多个不同区域以有待于被捕获710b。
可基于相对应的一或多个参数来个别地控制多个接收器传感器快门以调整由接收器传感器捕获的光712b。此可允许针对所述多个区域中的每一者来改变由接收器传感器捕获的光的量。
接收器传感器可随后捕获上面投影有代码掩码的场景的新图像714。可随后从新图像中的代码掩码来断定场景的深度信息716。
对于具有极为不同反射系数的材料是同一场景的一部分的情况来说，这些方法适应入射光的强度的变化。在方法E中，由于个别地控制投影光源的每一光元件的强度/功率，所以可同时以不同光强度来照明场景的个别区域。这在使投影光(和功率消耗)适应场景的特定需求的过程中提供了较好粒度。可在不需要组合若干个图像的情况下达成HDR；因此，较高帧速率是可能的。类似地，在方法F中，可通过个别地控制多个接收器快门来调整由接收器传感器接收的光的量，而非调整投影光功率/强度。此允许减少在一些区域中接收的光的量和/或增加在其它区域中接收的光的量。
示范性深度感测系统
图8说明使用结构光的示范性深度感测系统800，其动态地调整正被捕获的场景中的对象的表面的不同反射率/吸收系数。代码掩码投影装置808可用来将代码掩码投影(例如，使用光源)到所关注的场景802上。接收器传感器806(例如，相机)捕获来自于光源到场景802上的反射的入射光以获得图像，所述图像包含如由场景802反射的代码掩码的至少一部分。主动深度感测装置804可耦合到光投影装置(光源)808和/或接收器传感器806且可经配置以动态地调整接收器传感器806的曝光时间和/或投影装置808的光源功率。主动深度感测装置804可包含处理电路805和/或存储装置809。处理电路805可包含或实施参数计算模块/电路810、曝光时间调整模块/电路812、光功率调整模块/电路814和/或深度计算模块/电路816。这些模块/电路可适于执行图5、6和/或7中描述和/或说明的一或多个功能。存储装置809可用来例如存储接收器传感器806和/或代码掩码投影装置808的一或多个调整参数。
参数计算模块/电路810可包含输入接口，所述参数计算模块/电路可经由所述输入接口从接收器传感器806接收一或多个所捕获图像(例如，上面投影有代码掩码的场景或对象的图像)。参数计算模块/电路810还可包含一或多个图像处理电路，所述图像处理电路针对接收到的一或多个所捕获图像中的每一者来断定绝对或相对像素饱和度、不可解码像素、像素照度平均值、方差和/或熵等。可针对整个图像和/或针对每一图像的区域(例如，段、像素)来计算这些一或多个参数。这些一或多个参数可充当到曝光时间调整模块/电路812和/或光功率调整模块/电路814的输入。
曝光时间调整模块/电路812可使用所述一或多个参数来断定是否应调整接收器传感器806的曝光时间以及应如何调整曝光时间。举例来说，如果所述一或多个参数指示大于阈值百分比的某百分比的像素为过度饱和(即，太多照明)，那么曝光时间调整模块/电路812减少接收器传感器806的快门时间。相反，如果所述一或多个参数指示大于阈值百分比的某百分比的像素为曝光不足(即，太少照明)，那么曝光时间调整模块/电路812增加接收器传感器806的快门时间。类似地，可使用不可解码像素、像素照度平均值、方差和/或熵等的其它阈值来断定是否应调整接收器传感器和/或应如何调整接收器传感器。曝光时间调整模块/电路812可包含准许其将此些调整传达给接收器传感器806的输出接口。
光功率调整模块/电路814可使用所述一或多个参数来断定是否应调整代码掩码投影装置808的照明功率以及应如何调整照明功率。举例来说，如果所述一或多个参数指示大于阈值百分比的某百分比的像素为过度饱和(即，太多照明)，那么光功率调整模块/电路814减少投影装置808的光源(照明)功率。相反，如果所述一或多个参数指示大于阈值百分比的某百分比的像素为曝光不足(即，太少照明)，那么光功率调整模块/电路814增加投影装置808的光源(照明)功率。类似地，可使用不可解码像素、像素照度平均值、方差和/或熵等的其它阈值来断定是否应调整接收器传感器和/或应如何调整接收器传感器。光功率调整模块/电路814可包含准许其将此些调整传达给接收器传感器806的输出接口。
深度计算模块/电路816可在来自接收器传感器806的一或多个所捕获图像(例如，上面投影有代码掩码的场景或对象的图像)中使用投影于场景或对象上的代码掩码以断定深度。深度计算模块/电路816可执行例如如图2和3中说明的一或多个计算，以断定图像的像素的不同区域或群组的深度。可随后存储图像的此深度信息连同所述图像。
根据另一替代特征，可使用第一接收器装置来控制光功率且且可使用独立的第二接收器装置来捕获从中获得深度图的图像。举例来说，第一接收器装置可为以增加/较高的帧速率运行的较低分辨率传感器(相对于第二接收器装置)。
在一些实施方案中，代码掩码投影装置808可在人类看不见的光谱(例如，红外线)中投影代码掩码。举例来说，可使用第一接收器来捕获投影于场景或对象上的代码掩码，而可使用第二接收器来捕获无代码掩码的场景或对象的图像。
在一些实施方案中，可将深度感测系统800视为反馈系统，其中在投影代码掩码后，即刻由接收器传感器806捕获代码掩码(或其部分)的反射以作为图像，所述反射可调整投影装置808的投影光源功率。因此，代码掩码的初次投影可充当对调整深度感测系统800的反馈使得可正确地断定所投影并反射的代码掩码中的码字。如果由接收器传感器806初次捕获的图像具有指示饱和(例如，对于接收器传感器来说光功率太强)的参数，那么光功率调整模块/电路814可减少投影装置808的投影光源功率。类似地，如果由接收器传感器806初次捕获的图像具有指示曝光不足(例如，对于接收器传感器来说光功率太弱)的参数，那么光功率调整模块/电路814可增加投影装置808的投影光源功率。这个过程可重复多次直到达成可接受的投影光功率从而导致所捕获图像的参数在某范围或阈值内为止。在一个实例中，反馈过程可迭代，其使用递增步长(例如，固定或可变的调整步长)来增加/减少投影装置808的投影光功率。在另一个实例中，针对初次(前一)所捕获图像而获得的参数可用来计算或估计随后被用来调整投影装置808的特定功率调整。
在替代性实施方案中，此反馈系统可用来调整接收器传感器806的曝光时间。也就是说，接收器传感器806可在从初次所捕获图像断定曝光不足的情况下通过增加快门时间或在从初次所捕获图像断定曝光过度(饱和)的情况下通过减少快门时间来调整其自身的快门曝光时间，而非调整投影光功率。这可为迭代过程，其中可以递增方式将快门曝光时间调整固定/可变步长，或基于从所捕获图像的参数断定的估计值来调整快门曝光时间。
断定所捕获图像的参数
在图5、6和/或7中，为了调整接收器传感器和/或投影光源，处理所捕获图像以断定代码掩码(和其中的码字)是否可跨越所捕获图像而解码。图4中说明代码掩码的实例。图9和10进一步说明如何在代码掩码内定义码字。
图9说明可如何在形状调制载体904内表示二进制码字902。调制载体904可包含代码/参考条带906(例如，作用条带)和保护间隔908。可由作用条带宽度w1和保护间隔w2来定义载体层902。可通过发射器上的功率需求来确定作用条带宽度w1。可通过发射器/接收器点扩散函数(PSF)来确定保护间隔w2。此处，三态灰度系统用于表示保护、“0”和“1”，其中“0”与“1”等级比率可为50％。
图10说明使用载体层和代码层的代码微结构1002的进一步细节。在这个实例中，代码掩码的大小可为n1x n2，其中n1＝7(垂直)，n2＝585(水平)，使得总共4095个唯一码字是可能的。通过使用这些码字的子组，较小码本是可能的。较小码本可为合乎需要的，因为其减小断定是否发现码字匹配所必须执行的比较的数目。也就是说，可将所接收/所捕获代码掩码与用于断定其中的每一码字的码本相比较。此类比较可涉及匹配码本中每一码字所定义的所接收/所捕获代码掩码的区域以断定匹配(例如，或最接近匹配)。因此，减小码本的大小(例如，使用少数码字)减小发现码字匹配所需的比较的数目，且减少发现所接收/所捕获代码掩码的码字匹配的处理资源和/或时间。
用于码字的代码掩码窗口的大小(例如，k1 x k2窗口)可取决于所寻找的最小可检测对象。举例来说，代码掩码窗口可为k1 x k2＝3 x 4符号窗口。因此，窗口大小是由最小可检测对象大小(例如，可检测对象或特征)和发生此类对象检测所处的距离来定义的。另外，深度分辨率可等于载体间距。保护间隔为未知扩散的对策。所选参数可提供分辨率与检测之间的平衡。
由于投影于场景上以产生特定图像的代码掩码是已知的，所以这可用于获得均方误差、汉明距离和/或可用来指示如何调整曝光时间和/或光源功率的其它度量值/参数。
在一些实施方案中，对码字的谨慎选择还可用来执行对图像中的所捕获码字的误差校正。
诸图中说明的组件、步骤、特征和/或功能中的一或多者可重新布置和/或组合成单个组件、步骤、特征或功能或体现在若干组件、步骤或功能中。在不脱离本文中揭示的新颖特征的情况下，还可添加额外元件、组件、步骤和/或功能。诸图中说明的设备、装置和/或组件可经配置以执行诸图中描述的方法、特征或步骤中的一或多者。本文中描述的新颖算法还可有效地实施于软件中和/或嵌入在硬件中。
而且，应注意，实施例可描述为描绘为流程图、流程框图、结构图或框图的过程。尽管流程图可将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可重新布置操作的次序。当过程的操作完成时，所述过程终止。过程可与方法、函数、规程、子例程、子程序等相对应。当过程与函数相对应时，其终止与所述函数返回到调用函数或主函数相对应。
此外，存储媒体可表示用于存储数据的一或多个装置，包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置和/或其它机器可读媒体、处理器可读媒体，和/或用于存储信息的计算机可读媒体。术语“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”可包含(但不限于)例如便携式或固定存储装置的非暂时性媒体、光学存储装置和能够存储、含有或携载指令和/或数据的各种其它媒体。因此，本文中描述的各种方法可完全或部分地通过可存储在“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”中且由一或多个处理器、机器和/或装置执行的指令和/或数据来实施。
此外，可通过硬件、软件、固件、中间件、微码或其任何组合来实施数个实施例。当以软件、固件、中间件或微码实施时，用于执行必要任务的程序代码或代码片段可存储在例如存储媒体或其它存储器的机器可读媒体中。处理器可执行必要任务。代码片段可表示规程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任一组合。代码片段可通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码片段或硬件电路。信息、自变量、参数、数据等可经由包含存储器共享、消息传递、权标传递、网络传输等的任何适当手段来传递、转发或传输。
可通过通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文中所描述的功能的任何组合来实施或执行结合本文中所揭示的实例而描述的各种说明性逻辑块、模块、电路、元件和/或组件。通用处理器可为微处理器，但在替代例中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算组件的组合，例如DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。
结合本文中揭示的实例而描述的方法或算法可以处理单元、编程指令或其它方向的形式直接体现在硬件、可由处理器执行的软件模块或两者的组合中，且可含于单个装置中或跨越多个装置而分布。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或本领域中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息，且将信息写入到存储媒体。在替代例中，存储媒体可与处理器成一体式。
所属领域的技术人员将进一步了解，可将结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路和算法步骤实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。
本文中描述的本发明的各种特征可实施于不同系统中而不脱离本发明。应注意，前述实施例仅为实例，且不应解释为限制本发明。实施例的描述既定为说明性的，且不限制权利要求书的范围。因而，本教示可容易地应用于其它类型的设备，且许多替代例、修改及变化对于所属领域的技术人员来说将为显而易见的。

Claims (28)

1.一种适于在使用结构光的主动深度感测系统中补偿表面反射率差别的装置，其包括：
接收器传感器，其经配置以捕获上面投影有代码掩码的场景的图像，所捕获的图像包括多个区域；以及
处理电路，其适于：
从所捕获图像来断定一个或多个参数，所述一个或多个参数包括对应于所述多个区域中的第一区域的第一参数集合以及对应于所述多个区域中的第二区域的第二参数集合；以及
根据所述第一参数集合来动态地调整投影光源的第一光元件的第一光源功率，所述第一光元件对应于所述第一区域；以及
根据所述第二参数集合来动态地调整所述投影光源的第二光元件的第二光源功率，所述第二光元件对应于所述第二区域。
2.根据权利要求1所述的装置，其中所述处理电路进一步适于：
基于第二所捕获图像解码所述代码掩码，且其中基于经调整第一光源功率和经调整第二光源功率来捕获所述第二所捕获图像。
3.根据权利要求1所述的装置，其中所述处理电路进一步适于：
将所述第一光源功率维持于特定照度，而所述接收器传感器的曝光时间则被调整。
4.根据权利要求1所述的装置，其中所述处理电路进一步适于：
将所述接收器传感器的曝光时间维持于固定值，而所述第一光源功率则被调整。
5.根据权利要求1所述的装置，其中所述一个或多个参数包括多个参数集合，且其中所述多个参数集合中的每个参数集合对应于所捕获的图像内的所述多个区域中的区域。
6.根据权利要求1所述的装置，其中所述投影光源包含多个光元件，且其中所述处理电路适于基于所述一个或多个参数中的对应参数集合来个别地控制所述光元件中的每一个的光源功率。
7.根据权利要求6所述的装置，其中所述接收器传感器进一步适于：
捕获上面投影有所述代码掩码的所述场景的第二图像，其中所述第二图像被逐个区域地光补偿。
8.根据权利要求1所述的装置，其中所述接收器传感器包含多个经个别控制的传感器快门，其中每个快门对应于所述多个区域中的区域，并且其中所述处理电路进一步适于基于所述一个或多个参数中的对应参数集合来个别地控制所述多个经个别控制的传感器快门以调整由所述接收器传感器捕获的光。
9.根据权利要求8所述的装置，其中所述多个经个别控制的传感器快门经控制以减少或者增加穿过所述多个经个别控制的传感器快门的光从而补偿给定区域中如由所述一个或多个参数指示的太多光或太少光。
10.根据权利要求8所述的装置，其中所述接收器传感器进一步适于：
捕获上面投影有所述代码掩码的所述场景的第二图像，其中所述第二图像被逐个区域地光压缩。
11.一种用于在使用结构光的主动深度感测系统中补偿表面反射率差别的方法，其包括：
在接收器传感器处捕获上面投影有代码掩码的场景的图像，所捕获的图像包括多个区域；
在处理电路处从所捕获图像来断定一个或多个参数，所述一个或多个参数包括对应于所述多个区域中的第一区域的第一参数集合以及对应于所述多个区域中的第二区域的第二参数集合；以及
根据所述第一参数集合来动态地调整投影光源的第一光元件的第一光源功率，所述第一光元件对应于所述第一区域；以及
根据所述第二参数集合来动态地调整所述投影光源的第二光元件的第二光源功率，所述第二光元件对应于所述第二区域。
12.根据权利要求11所述的方法，其进一步包括：
将所述第一光源功率维持于特定照度，而所述接收器传感器的曝光时间则被调整。
13.根据权利要求11所述的方法，其进一步包括：
将所述接收器传感器的曝光时间维持于固定值，而所述第一光源功率则被调整。
14.根据权利要求11所述的方法，其中所述一个或多个参数包括多个参数集合，且其中所述多个参数集合中的每个参数集合对应于所捕获的图像内的所述多个区域中的区域。
15.根据权利要求11所述的方法，其中所述投影光源包含多个光元件，且进一步包括基于所述一个或多个参数中的对应参数集合来个别地控制所述多个光元件中的每一个的所述光源功率。
16.根据权利要求15所述的方法，其进一步包括：
捕获上面投影有所述代码掩码的所述场景的第二图像，其中所述第二图像被逐个区域地光补偿。
17.根据权利要求11所述的方法，其进一步包括：
基于所述一个或多个参数中的对应参数集合来个别地控制多个传感器快门以调整由所述接收器传感器捕获的光；
控制所述多个传感器快门以改变穿过所述多个经个别控制的传感器快门的光的量从而补偿给定区域中如由所述一个或多个参数指示的特定量的光；以及
在控制所述多个传感器快门之后，捕获上面投影有所述代码掩码的所述场景的第二图像，其中所述第二图像被逐个区域地光补偿。
18.一种适于在使用结构光的主动深度感测系统中补偿表面反射率差别的装置，其包括：
用于捕获上面投影有代码掩码的场景的图像的装置，所捕获的图像包括多个区域；
用于从所述所捕获图像来断定一个或多个参数的装置，所述一个或多个参数包括对应于所述多个区域中的第一区域的第一参数集合以及对应于所述多个区域中的第二区域的第二参数集合；
用于根据所述第一参数集合来动态地调整投影光源的第一光元件的第一光源功率以及根据所述第二参数集合来动态地调整所述投影光源的第二光元件的第二光源功率的装置，所述第一光元件对应于所述第一区域且所述第二光元件对应于所述第二区域。
19.根据权利要求18所述的装置，其进一步包括：
用于将用于捕获的装置的曝光时间维持于固定值，而所述第一光源功率则被调整的装置。
20.根据权利要求18所述的装置，其中所述一个或多个参数包括多个参数集合，且其中基于所投影的代码掩码，所述多个参数集合中的每个参数集合对应于所捕获的图像内的所述多个区域中的区域。
21.根据权利要求18所述的装置，其中所述投影光源包含多个光元件，并且其中用于动态地调整所述投影光源的所述第一光元件的所述第一光源功率的所述装置包含用于基于所述一个或多个参数中的对应参数集合来个别地控制所述多个光元件中的每一者的光源功率的装置。
22.根据权利要求21所述的装置，其进一步包括：
用于捕获上面投影有所述代码掩码的所述场景的第二图像的装置，其中所述第二图像被逐个区域地光补偿。
23.根据权利要求18所述的装置，进一步包括：
用于基于所述一个或多个参数中的对应参数集合来个别地控制所述多个传感器快门以调整由所述用于捕获的装置捕获的光的装置。
24.一种具有一个或多个指令的非暂时性处理器可读存储媒体，所述一个或多个指令在使用结构光的主动深度感测系统中补偿表面反射率差别且在由一个或多个处理器执行时使所述一个或多个处理器：
在接收器传感器处捕获上面投影有代码掩码的场景的图像，所捕获的图像包括多个区域；
从所述所捕获图像来断定一个或多个参数，所述一个或多个参数包括对应于所述多个区域中的第一区域的第一参数集合以及对应于所述多个区域中的第二区域的第二参数集合；
根据所述第一参数集合来动态地调整投影光源的第一光元件的第一光源功率，所述第一光元件对应于所述第一区域；以及
根据所述第二参数集合来动态地调整所述投影光源的第二光元件的第二光源功率，所述第二光元件对应于所述第二区域。
25.根据权利要求24所述的非暂时性处理器可读存储媒体，其中所述一个或多个指令，所述一个或多个指令在由一个或多个处理器执行时进一步使所述一个或多个处理器：
将所述第一光源功率维持于特定照度，而所述接收器传感器的曝光时间则被调整。
26.根据权利要求24所述的非暂时性处理器可读存储媒体，其中所述一个或多个指令在由一个或多个处理器执行时进一步使所述一个或多个处理器：
将所述接收器传感器的曝光时间维持于固定值，而所述第一光源功率则被调整。
27.根据权利要求24所述的非暂时性处理器可读存储媒体，其中所述一个或多个指令在由一个或多个处理器执行时使所述一个或多个处理器：
捕获上面投影有所述代码掩码的所述场景的第二图像，其中所述第二图像被逐个区域地光补偿。
28.根据权利要求24所述的非暂时性处理器可读存储媒体，其中所述一个或多个指令在由一个或多个处理器执行时进一步使所述一个或多个处理器：
基于所述一个或多个参数中的对应参数集合来个别地控制多个传感器快门中的一个或多个传感器快门以调整由所述接收器传感器捕获的光。
CN201380057488.5A 2012-11-14 2013-10-17 结构光主动深度感测系统中对光源功率的动态调整 Active CN104769388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811299616.8A CN109612404B (zh) 2012-11-14 2013-10-17 结构光主动深度感测系统中对光源功率的动态调整

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261726387P 2012-11-14 2012-11-14
US61/726,387 2012-11-14
US13/723,891 US11509880B2 (en) 2012-11-14 2012-12-21 Dynamic adjustment of light source power in structured light active depth sensing systems
US13/723,891 2012-12-21
PCT/US2013/065386 WO2014078005A1 (en) 2012-11-14 2013-10-17 Dynamic adjustment of light source power in structured light active depth sensing systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811299616.8A Division CN109612404B (zh) 2012-11-14 2013-10-17 结构光主动深度感测系统中对光源功率的动态调整

Publications (2)

Publication Number Publication Date
CN104769388A CN104769388A (zh) 2015-07-08
CN104769388B true CN104769388B (zh) 2018-11-27

Family

ID=50681316

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380057488.5A Active CN104769388B (zh) 2012-11-14 2013-10-17 结构光主动深度感测系统中对光源功率的动态调整
CN201811299616.8A Active CN109612404B (zh) 2012-11-14 2013-10-17 结构光主动深度感测系统中对光源功率的动态调整
CN201380057460.1A Active CN104769387B (zh) 2012-11-14 2013-10-21 组合多个图像以补偿反射率和/或吸收的差别的结构光主动深度感测系统

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201811299616.8A Active CN109612404B (zh) 2012-11-14 2013-10-17 结构光主动深度感测系统中对光源功率的动态调整
CN201380057460.1A Active CN104769387B (zh) 2012-11-14 2013-10-21 组合多个图像以补偿反射率和/或吸收的差别的结构光主动深度感测系统

Country Status (8)

Country Link
US (2) US10368053B2 (zh)
EP (2) EP2920545B1 (zh)
JP (1) JP6193390B2 (zh)
KR (1) KR102111821B1 (zh)
CN (3) CN104769388B (zh)
ES (1) ES2617831T3 (zh)
HU (1) HUE033203T2 (zh)
WO (2) WO2014078005A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368053B2 (en) 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US9350921B2 (en) * 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
US10089739B2 (en) * 2013-06-28 2018-10-02 Texas Instruments Incorporated Structured light depth imaging under various lighting conditions
US9817489B2 (en) * 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
CN105338255B (zh) * 2014-06-24 2019-04-26 联想(北京)有限公司 一种深度恢复调整方法及电子设备
US9507995B2 (en) 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
CN104243843B (zh) 2014-09-30 2017-11-03 北京智谷睿拓技术服务有限公司 拍摄光照补偿方法、补偿装置及用户设备
JP2016075658A (ja) * 2014-10-03 2016-05-12 株式会社リコー 情報処理システムおよび情報処理方法
EP3002550B1 (en) * 2014-10-03 2017-08-30 Ricoh Company, Ltd. Information processing system and information processing method for distance measurement
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) * 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US10024965B2 (en) 2015-04-01 2018-07-17 Vayavision, Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
WO2016183395A1 (en) 2015-05-13 2016-11-17 Oculus Vr, Llc Augmenting a depth map representation with a reflectivity map representation
CN104952074B (zh) * 2015-06-16 2017-09-12 宁波盈芯信息科技有限公司 一种深度感知计算的存储控制方法及装置
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10768283B2 (en) 2015-11-11 2020-09-08 Ams Sensors Singapore Pte. Ltd. Enhanced distance data acquisition
US20170153107A1 (en) * 2015-11-30 2017-06-01 Heptagon Micro Optics Pte. Ltd. Optoelectronic device including event-driven photo-array and method for operating the same
US9800795B2 (en) * 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
US9996933B2 (en) * 2015-12-22 2018-06-12 Qualcomm Incorporated Methods and apparatus for outlier detection and correction of structured light depth maps
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
KR102550469B1 (ko) 2016-05-20 2023-07-04 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102529120B1 (ko) 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
JP6611691B2 (ja) * 2016-10-06 2019-11-27 株式会社日立製作所 鉄道車両の外形形状測定方法及び装置
US10771768B2 (en) * 2016-12-15 2020-09-08 Qualcomm Incorporated Systems and methods for improved depth sensing
DE102017000908A1 (de) 2017-02-01 2018-09-13 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme
US10302764B2 (en) 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
US10009554B1 (en) * 2017-02-24 2018-06-26 Lighthouse Ai, Inc. Method and system for using light emission by a depth-sensing camera to capture video images under low-light conditions
US10643358B2 (en) * 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
US10620316B2 (en) 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
JP7113283B2 (ja) * 2017-05-26 2022-08-05 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
US10666929B2 (en) 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture
US10044922B1 (en) 2017-07-06 2018-08-07 Arraiy, Inc. Hardware system for inverse graphics capture
WO2019012534A1 (en) * 2017-07-12 2019-01-17 Guardian Optical Technologies Ltd. EXTRACTION OF VISUAL DATA, DEPTH AND MICRO-VIBRATIONS USING A UNIFIED IMAGING DEVICE
CN107564050B (zh) * 2017-08-09 2020-01-10 Oppo广东移动通信有限公司 基于结构光的控制方法、装置和终端设备
WO2019080934A1 (zh) 2017-10-27 2019-05-02 Oppo广东移动通信有限公司 图像处理方法、装置和电子装置
CN107800963B (zh) * 2017-10-27 2019-08-30 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质
CN108553027A (zh) * 2018-01-04 2018-09-21 深圳悉罗机器人有限公司 移动机器人
US10991112B2 (en) * 2018-01-24 2021-04-27 Qualcomm Incorporated Multiple scale processing for received structured light
DE102018102159A1 (de) * 2018-01-31 2019-08-01 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme
JP6770254B2 (ja) 2018-02-07 2020-10-14 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
CN110310963A (zh) * 2018-03-27 2019-10-08 恒景科技股份有限公司 调整光源功率的系统
CN108471525B (zh) * 2018-03-27 2020-07-17 百度在线网络技术（北京）有限公司 用于投影仪的控制方法和装置以及实现该方法的投影仪
KR20190114332A (ko) * 2018-03-29 2019-10-10 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
WO2019194550A1 (ko) * 2018-04-02 2019-10-10 엘지전자 주식회사 구속 방지 필터를 구비하는 로봇 청소기
KR102549434B1 (ko) * 2018-04-02 2023-06-28 엘지전자 주식회사 깊이 센서 제어 시스템
GB2572831A (en) * 2018-04-04 2019-10-16 Cambridge Mechatronics Ltd Apparatus and methods for 3D sensing
US10999524B1 (en) * 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
US11040452B2 (en) 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
CN110857855B (zh) * 2018-08-22 2022-09-02 杭州海康机器人技术有限公司 一种图像数据获取方法、装置及系统
US10812731B2 (en) * 2018-08-22 2020-10-20 Qualcomm Incorporated Adjustable receiver exposure times for active depth sensing systems
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
US10915783B1 (en) * 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
JP7135846B2 (ja) * 2018-12-27 2022-09-13 株式会社デンソー 物体検出装置および物体検出方法
CN110324602A (zh) * 2019-06-17 2019-10-11 Oppo广东移动通信有限公司 一种三维图像的生成方法及装置、终端、存储介质
WO2020257969A1 (zh) * 2019-06-24 2020-12-30 深圳市汇顶科技股份有限公司 结构光投射装置、结构光投射方法及三维测量系统
CN112241976A (zh) * 2019-07-19 2021-01-19 杭州海康威视数字技术股份有限公司 一种训练模型的方法及装置
US10939047B2 (en) * 2019-07-22 2021-03-02 Himax Technologies Limited Method and apparatus for auto-exposure control in a depth sensing system
EP3835721A1 (en) * 2019-12-13 2021-06-16 Mitutoyo Corporation A method for measuring a height map of a test surface
CN111174702B (zh) * 2020-01-22 2022-03-15 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法
CA3125716C (en) 2020-07-21 2024-04-09 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
EP4185888A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering device particularly for lidar systems
EP4185924A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering device particularly for lidar systems
EP4002833B1 (en) * 2020-11-17 2023-02-15 Axis AB Method and electronic device for increased dynamic range of an image
TWI757015B (zh) 2020-12-29 2022-03-01 財團法人工業技術研究院 取像方法
CN113340235B (zh) * 2021-04-27 2022-08-12 成都飞机工业（集团）有限责任公司 基于动态投影的投影系统及相位移动图案生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101865671A (zh) * 2010-06-03 2010-10-20 合肥思泰光电科技有限公司 一种投影三维测量方法
CN201748900U (zh) * 2010-07-08 2011-02-16 上海雷尼威尔测量技术有限公司 环境光自适应位移测量装置
CN102221344A (zh) * 2010-04-13 2011-10-19 Ckd株式会社 三维测定装置和基板检查装置
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467413A (en) * 1993-05-20 1995-11-14 Radius Inc. Method and apparatus for vector quantization for real-time playback on low cost personal computers
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
FR2748484B1 (fr) * 1996-05-13 1998-07-24 Atochem Elf Sa Polymerisation en presence d'un radical libre stable et d'un initiateur de radicaux libres
ATE237793T1 (de) 1996-07-29 2003-05-15 Elpatronic Ag Verfahren und vorrichtung zur kantenverfolgung und kantenprüfung
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
CA2373284A1 (en) 1999-05-14 2000-11-23 3D Metrics, Incorporated Color structured light 3d-imaging system
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6825936B2 (en) 2000-08-23 2004-11-30 Lmi Technologies, Inc. High speed camera based sensors
US7106377B2 (en) * 2001-07-25 2006-09-12 Hewlett-Packard Development Company, L.P. Image capturing device capable of single pixel exposure duration control
JP3819275B2 (ja) 2001-10-17 2006-09-06 ローランドディー．ジー．株式会社 ３次元測定装置における露光制御装置
SE523681C2 (sv) 2002-04-05 2004-05-11 Integrated Vision Prod System och sensor för avbildning av egenskaper hos ett objekt
WO2004090581A2 (en) 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
US8118732B2 (en) * 2003-04-01 2012-02-21 Boston Scientific Scimed, Inc. Force feedback control system for video endoscope
WO2004109229A2 (en) 2003-06-11 2004-12-16 Solvision 3d and 2d measurement system and method with increased sensitivity and dynamic range
JP4059173B2 (ja) * 2003-06-27 2008-03-12 株式会社デンソーウェーブ 光学的情報読取装置および光学的情報の読取方法
DE10333493A1 (de) 2003-07-22 2005-02-10 FRIEMEL, Jörg Streifenprojektor für ein dreidimensionales Objektvermessungssystem
CN1267766C (zh) 2003-12-26 2006-08-02 四川大学 用频闪结构照明实现高速运动物体三维面形测量的方法
JP4746841B2 (ja) 2004-01-23 2011-08-10 ルネサスエレクトロニクス株式会社 半導体集積回路装置の製造方法
US7182465B2 (en) 2004-02-25 2007-02-27 The University Of North Carolina Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces
US20050206874A1 (en) 2004-03-19 2005-09-22 Dougherty Robert P Apparatus and method for determining the range of remote point light sources
JP2005293075A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd ３次元形状検出装置、３次元形状検出方法、３次元形状検出プログラム
CA2561575C (en) 2004-03-31 2013-05-21 Forskningscenter Riso Generation of a desired three-dimensional electromagnetic field
US7605852B2 (en) 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
KR100752545B1 (ko) 2005-11-24 2007-08-29 에이티아이 주식회사 2개 영상을 이용한 물체 표면 형상 및 반사율 정보 획득 시스템
JP2007271530A (ja) 2006-03-31 2007-10-18 Brother Ind Ltd ３次元形状検出装置及び３次元形状検出方法
WO2007125081A1 (en) 2006-04-27 2007-11-08 Metris N.V. Optical scanning probe
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US7227117B1 (en) 2006-05-30 2007-06-05 Symbol Technologies, Inc. High speed auto-exposure control
US8284194B2 (en) * 2006-09-21 2012-10-09 Thomson Licensing Method and system for three-dimensional model acquisition
DE102006048234A1 (de) 2006-10-11 2008-04-17 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
WO2008062407A2 (en) 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
KR100914961B1 (ko) 2008-01-23 2009-09-02 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
US8162222B2 (en) * 2008-01-25 2012-04-24 Intermec Ip Corp. System and method for identifying erasures in a 2D symbol
US8059280B2 (en) 2008-01-31 2011-11-15 Cyberoptics Corporation Method for three-dimensional imaging using multi-phase structured light
CN101520319B (zh) 2008-02-27 2012-02-22 邹小平 复合式三维激光测量系统及测量方法
US8422030B2 (en) 2008-03-05 2013-04-16 General Electric Company Fringe projection system with intensity modulating by columns of a plurality of grating elements
WO2010048960A1 (en) 2008-10-28 2010-05-06 3Shape A/S Scanner with feedback control
JP5370056B2 (ja) * 2008-11-04 2013-12-18 オムロン株式会社 画像処理装置
WO2010077900A1 (en) 2008-12-16 2010-07-08 Faro Technologies, Inc. Structured light imaging system and method
JP5218316B2 (ja) 2009-07-23 2013-06-26 株式会社デンソーウェーブ 光学的情報読取装置
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
CN102667400B (zh) 2009-10-19 2014-11-05 新日铁住金株式会社 板材的平坦度测量方法以及使用该方法的钢板的制造方法
CN101694376B (zh) 2009-10-23 2011-01-05 北京航空航天大学 一种光学条纹正弦性评测方法
EP2573509B1 (en) 2010-05-18 2022-01-19 Nippon Steel Corporation Apparatus and method for measuring flatness of sheet material and steel sheet production method utilizing said method
KR20130072213A (ko) 2010-05-19 2013-07-01 가부시키가이샤 니콘 형상 측정 장치 및 형상 측정 방법
US8994843B2 (en) 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
KR101494066B1 (ko) 2010-10-05 2015-02-16 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 공간 광 패턴에 기초한 깊이 데이터의 생성
US20120087573A1 (en) * 2010-10-11 2012-04-12 Vinay Sharma Eliminating Clutter in Video Using Depth Information
US8811767B2 (en) 2011-03-15 2014-08-19 Mitsubishi Electric Research Laboratories, Inc. Structured light for 3D shape reconstruction subject to global illumination
JP5962056B2 (ja) 2012-02-27 2016-08-03 富士ゼロックス株式会社 画像判定装置及び画像形成装置
US10368053B2 (en) 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221344A (zh) * 2010-04-13 2011-10-19 Ckd株式会社 三维测定装置和基板检查装置
CN101865671A (zh) * 2010-06-03 2010-10-20 合肥思泰光电科技有限公司 一种投影三维测量方法
CN201748900U (zh) * 2010-07-08 2011-02-16 上海雷尼威尔测量技术有限公司 环境光自适应位移测量装置
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机

Also Published As

Publication number Publication date
WO2014078005A1 (en) 2014-05-22
US20140132722A1 (en) 2014-05-15
US11509880B2 (en) 2022-11-22
CN109612404B (zh) 2021-02-26
JP2016505133A (ja) 2016-02-18
HUE033203T2 (en) 2017-11-28
KR102111821B1 (ko) 2020-05-15
EP2920545A1 (en) 2015-09-23
JP6193390B2 (ja) 2017-09-06
CN109612404A (zh) 2019-04-12
EP2920545B1 (en) 2020-12-09
CN104769387B (zh) 2017-10-10
ES2617831T3 (es) 2017-06-19
US20140132721A1 (en) 2014-05-15
EP2920546B1 (en) 2016-11-30
EP2920546A1 (en) 2015-09-23
WO2014078015A1 (en) 2014-05-22
CN104769388A (zh) 2015-07-08
CN104769387A (zh) 2015-07-08
US10368053B2 (en) 2019-07-30
KR20150082262A (ko) 2015-07-15

Similar Documents

Publication Publication Date Title
CN104769388B (zh) 结构光主动深度感测系统中对光源功率的动态调整
JP7296138B2 (ja) 深度イメージングを最適化するための方法およびシステム
US9912884B2 (en) Methods and apparatus for superpixel modulation
US7092563B2 (en) Three-dimensional information acquisition apparatus and three-dimensional information acquisition method
CN109246354B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR102168257B1 (ko) 구조형 광에 대한 코드 도메인 파워 제어
CN106716876B (zh) 高动态范围编码光检测
JP6346427B2 (ja) 画像処理装置、画像処理方法
JP2021507440A (ja) 対象物の３次元画像を生成するための方法およびシステム
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
US10771717B2 (en) Use of IR pre-flash for RGB camera's automatic algorithms
CN112188175B (zh) 拍摄设备及图像处理方法
WO2017089826A1 (en) Systems and methods for forming three-dimensional models of objects
CN108629329B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2018054413A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
CN107622433A (zh) 眼镜推荐方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant