CN108419440A - 用于结构光的码域功率控制 - Google Patents

用于结构光的码域功率控制 Download PDF

Info

Publication number
CN108419440A
CN108419440A CN201680047324.8A CN201680047324A CN108419440A CN 108419440 A CN108419440 A CN 108419440A CN 201680047324 A CN201680047324 A CN 201680047324A CN 108419440 A CN108419440 A CN 108419440A
Authority
CN
China
Prior art keywords
code word
code
expected
symbol
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680047324.8A
Other languages
English (en)
Other versions
CN108419440B (zh
Inventor
詹姆斯·威尔逊·纳什
卡林·米特科夫·阿塔纳索夫
阿尔布雷希特·约翰尼斯·林德纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108419440A publication Critical patent/CN108419440A/zh
Application granted granted Critical
Publication of CN108419440B publication Critical patent/CN108419440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明揭示用于控制结构光激光系统的系统和方法。一个方面是一种结构光系统。所述系统包含存储器装置，其经配置成存储深度图。所述系统进一步包含图像投影装置，其包含经配置成投影码字的激光系统。所述系统进一步包含接收器装置，其包含传感器，所述接收器装置经配置成感测从对象反射的所述经投影码字。所述系统进一步包含处理电路，其经配置成检索所述深度图的一部分并计算来自所述深度图的预期码字。所述系统进一步包含反馈系统，其经配置成基于所述所感测码字及所述预期码字控制所述激光系统的所述输出功率。

Description

用于结构光的码域功率控制
技术领域
各种特征涉及主动深度感测，更具体地说涉及使用码域统计控制结构光码字发射器的输出功率。
背景技术
成像装置是结构光主动感测系统，其包含发射器和接收器，所述发射器和接收器经配置成发射并接收对应于空间代码(或“码字”)的图案以产生指示场景中的一或多个对象与成像装置的距离的深度图。场景中的对象与发射器和接收器的越远，从所述对象反射的所接收码字与其原始位置(相较于所发射码字)就越接近，因为传出码字的传播路径与经反射传入码字的传播路径较平行。相反地，对象与发射器和接收器越接近，所接收码字与其在所发射码字中的原始位置就越远。因此，所接收码字的位置与对应的所发射码字的位置之间的差异可以用于确定对象在场景中的深度。结构光主动感测系统可以使用这些所确定深度产生场景的深度图，所述深度图可以是场景的三维表示。许多应用程序可能受益于确定场景的深度图，包含图像质量增强和计算机视觉技术。
每一码字可以由对应于码元的密集度值的行和列表示。举例来说，二进制空间代码可以使用对应于阴暗和明亮密集度值的零(0)和一(1)来表示二进制图案。其它空间代码可以使用对应于多于两个码元的多于两个不同密集度值。也可以使用其它空间表示。
深度图的产生取决于码字的检测。为了检测由码元阵列组成的码字，解码滤波器可识别码字和码元的空间界线，并基于码元的密集度值将其分类为(例如)“0”或“1”。解码滤波器可使用对应于用于界定可能的码字集合的调和基底函数集合的匹配滤波器来对传入基底函数进行分类。因此，深度图准确度取决于准确地接收码元、码字和/或基底函数。
如果用于投影图案的光源(例如，激光器)的功率电平过低，那么对应于较亮码元的光点可能过暗而不能与较暗码元区分。如果光源的功率电平过高，那么对应于较亮码元的光点可能变得饱和并渗移到邻近光点中(与邻近光点混合)。当发生这种情况时，可能难以准确地对码元、码字和基底函数进行分类。最佳功率电平范围可至少部分取决于对象深度和表面反射性。最佳功率电平可以在场景内和场景之间变化。
控制光源功率的现存方法和系统可能未考虑局部变化，并且可能未经优化以最大化码元、码字或基底函数准确度。因此，需要用以控制结构光系统的光源功率以供更准确深度图产生的方法和系统。
发明内容
本发明的样本方面的概述如下。为了方便起见，本发明的一或多个方面在本文中可以被简单地参考为“一些方面”。
本文中所揭示的方法和设备或装置各自具有若干方面，所述方面中的任何单一者均不独自负责其所需属性。在不限制(例如)如由以下权利要求书所表示的本发明的范围的情况下，现将简要地论述其较显著的特征。在考虑此论述后且具体地说在阅读标题为“实施方式”的部分后，将理解所描述的特征如何提供优势，包含使用导致较少解码误差的码域统计控制结构光码字发射器的输出功率的有效方式。
一个创新是一种结构光系统。所述结构光系统可包含存储器装置，其经配置成存储深度图。所述结构光系统还可包含图像投影装置，其包含经配置成投影码字的激光系统。结构光系统还可包含接收器装置，其包含传感器，所述接收器装置经配置成感测从对象反射的投影码字。所述结构光系统还可包含处理电路，其经配置成检索存储于存储器装置中的深度图的至少一部分并根据深度图计算预期码字。所述结构光系统还可包含反馈系统，其经配置成基于所感测码字和预期码字控制激光系统的输出功率。
对于一些实施方案，处理电路进一步经配置成基于所感测码字更新深度图。对于一些实施方案，存储器装置进一步经配置成存储经更新深度图。
对于一些实施方案，反馈系统经配置成确定比较所感测码字与预期码字的码域统计。对于一些实施方案，反馈系统至少部分地基于所确定的码域统计控制激光系统的输出。对于一些实施方案，码域统计量化码元分类准确度。对于一些实施方案，码域统计为密集度均值差的平方除以密集度方差总和。
对于一些实施方案，处理电路进一步经配置成根据深度图和/或先前所接收码字计算预期所接收码元。对于一些实施方案，处理电路进一步经配置成向对应预期所接收码元指配每一所接收密集度值。对于一些实施方案，处理电路进一步经配置成计算每一码元的平均密集度值。对于一些实施方案，处理电路进一步经配置成计算每一码元的方差密集度值。对于一些实施方案，处理电路进一步经配置成将码域统计计算为密集度均值差的平方除以密集度方差总和。
对于一些实施方案，码域统计量化码字检测准确度。对于一些实施方案，码域统计为匹配预期码字的所接收码字的百分比。
对于一些实施方案，处理电路进一步经配置成比较所接收码字与预期码字。对于一些实施方案，处理电路进一步经配置成计算正确地接收的码字的百分比。对于一些实施方案，正确地接收的码字对应于预期码字。
对于一些实施方案，码域统计量化基底函数准确度。对于一些实施方案，码域统计为匹配预期基底函数的所接收基底函数的百分比。
对于一些实施方案，处理电路经配置成根据深度图和/或先前所接收码字计算预期基底函数。对于一些实施方案，处理电路经配置成比较所接收基底函数与预期基底函数。对于一些实施方案，处理电路进一步经配置成计算正确地接收的基底函数之百分比。对于一些实施方案，正确接收的基底函数对应于预期基底函数。
对于一些实施方案，反馈系统反复地控制激光系统的输出功率以收敛于码域统计的最大值。
另一创新是一种控制结构光系统的激光功率的方法。所述方法可包含用存储器装置存储深度图。所述方法可包含用激光系统投影码字。所述方法可包含用接收器传感器感测从对象反射的经投影码字。所述方法可包含从所述存储器装置检索深度图的一部分。所述方法可包含根据深度图计算预期码字。所述方法可包含基于所感测码字和预期码字控制激光系统的输出功率。
在各种实施例中，所述方法还可包含基于所感测码字更新深度图。在各种实施例中，所述方法还可包含用存储器装置存储经更新深度图。
在各种实施例中，所述方法还可包含确定比较所感测码字与预期码字的码域统计。在各种实施例中，所述方法还可包含至少部分地基于所确定的码域统计控制激光系统的输出功率。
在各种实施例中，所述方法还可包含根据深度图和/或先前所接收码字计算预期所接收码元。在各种实施例中，所述方法还可包含向对应预期所接收码元指配每一所接收密集度值。在各种实施例中，所述方法还可包含计算每一码元的平均密集度值。在各种实施例中，所述方法还可包含计算每一码元的方差密集度值。在各种实施例中，所述方法还可包含将码域统计计算为密集度均值差的平方除以密集度方差总和。
在各种实施例中，所述方法还可包含比较所接收码字与预期码字。在各种实施例中，所述方法还可包含计算正确接收的码字的百分比，其中正确接收的码字对应于预期码字。
在各种实施例中，所述方法还可包含根据深度图和/或先前所接收码字计算预期基底函数。在各种实施例中，所述方法还可包含比较所接收基底函数与预期基底函数。在各种实施例中，所述方法还可包含计算正确接收的基底函数的百分比，其中正确接收的基底函数对应于预期基底函数。
在各种实施例中，所述方法还可包含反复地控制激光系统的输出功率以收敛于码域统计的最大值。
另一创新是一种结构光系统。所述结构光系统可包含用于存储深度图的装置。所述结构光系统可包含用于投影码字的装置。所述结构光系统可包含用于感测从对象反射的经投影码字的装置。所述结构光系统可包含用于从用于存储深度图的装置检索深度图的一部分的装置。所述结构光系统可包含用于根据深度图计算预期码字的装置。所述结构光系统可包含用于基于所感测码字与预期码字之间的比较控制投影装置的输出功率的装置。
在各种实施例中，存储装置可包含存储器装置。在各种实施例中，投影装置可包含激光系统。在各种实施例中，感测装置包含接收器传感器。在各种实施例中，检索装置包含处理电路。在各种实施例中，计算装置包含处理电路。在各种实施例中，控制装置包含反馈系统。
在各种实施例中，所述结构光系统进一步包含用于确定比较所感测码字与预期码字的码域统计的装置。在各种实施例中，所述结构光系统进一步包含用于至少部分地基于所确定的码域统计控制激光系统的输出功率的装置。
另一创新是一种非暂时性计算机可读媒体，其存储指令，所述指令在执行时引起处理器执行方法。所述方法可包含用存储器装置存储深度图。所述方法可包含用激光系统投影码字。所述方法可包含用接收器传感器感测从对象反射的经投影码字。所述方法可包含从所述存储器装置检索深度图的一部分。所述方法可包含根据深度图计算预期码字。所述方法可包含基于所感测码字和预期码字控制激光系统的输出功率。
附图说明
各种特征、方面和优点将根据本文中的描述和附图变得显而易见，在所述图式中，相同参考符号通常将识别图式中所说明的对应的方面或组件。如所属领域的一般技术人员将理解，除非另外陈述，否则在用于实施例的所描述或所说明方面在对于所述实施例的实施方案或功能并非不可行的情况下，所述方面可包含在一或多个其它所描述或所说明的实施例中。
图1是说明主动感测系统的实例的示意图，其中已知图案用于照明场景和获得深度信息，使用所述深度信息来根据二维(2D)图像和/或信息产生三维(3D)信息。
图2是说明用于主动感测的系统的另一实例的图式，其中根据2D图像或信息建构3D场景。
图3是说明可如何感测对象或场景的深度的示意图。
图4是说明可经配置成产生复合代码掩码和/或投影这些复合代码掩码的发射器装置的实例的框图。
图5是说明可经配置成从复合代码掩码获得深度信息的接收器装置的实例的框图。
图6是经配置成执行本文中所揭示的一或多个误差校正方法的设备的一个实施例的框图。
图7是说明代码掩码的实例的图片，所述代码掩码具有对应于明亮光点和阴暗光点的码元的阵列。
图8是说明用于产生深度图的场景的图像的图片，所述深度图与由激光器通过代码掩码(例如图7的代码掩码)投影的码字叠加。
图9说明图8的场景的深度图的实例。
图10说明在最佳功率电平下照明的码字的实例。所述码字包含“0”或“1”码元的4×4阵列，对应于编码在图7的代码掩码中的码元，所述码元在“0”码元与“1”之间具有明确界定的界线和清晰密集度值分离度。
图11展示如图10中所描述的在最佳激光功率下编码在图7的代码掩码中的“0”和“1”码元的密集度值的适当分离的概率分布函数的实例。
图12说明图10的但在低于图10的功率电平下照明以使得明亮光点不如图10中明亮的码字的实例。
图13展示如参考图12所描述的在低于最佳的功率电平下编码在图7的代码掩码中的“0”和“1”码元的以码元计的密集度值的重叠概率分布函数的实例。
图14说明图10的但在高于图10的功率电平下照明以使得明亮光点饱和、彼此渗移并使得一些阴暗光点看起来明亮的码字的实例。
图15展示如图14中所描述的在高于最佳的激光功率下编码在图7的代码掩码中的“0”和“1”码元的以码元计的密集度值的重叠概率分布函数的实例。
图16说明随功率电平而变的两个码元之间的对比度或分离度的图表的实例。
图17说明在一实例实施例中以三个不同功率设定获取的结构光图像。
图18说明反馈控制系统的实例，所述反馈控制系统可以用于控制结构光系统中的激光器来投影码字，所述码字在由结构光系统中的接收器感测时既不会过暗而不能感测和区分，也不会过亮而不饱和。
图19说明用于基于现存深度图信息和码字的所感测反射图像使用码域统计调整结构光发射器的功率的过程1900的实例。
图20说明用于使用根据从对象反射的所接收码字而确定的信息控制结构光发射器的功率的过程2000的实例，所述过程包含码域统计的计算。
图21说明用于计算过程2000的码域统计的过程2100的实例，其中码域统计是通过密集度均值差的平方除以密集度方差总和测量的码元之间的对比度。
图22说明用于计算过程2000的码域统计的过程2200的实例，其中码域统计是匹配预期码字的所接收码字的百分比。
图23说明用于计算过程2000的码域统计的过程2300的实例，其中码域统计是匹配预期基底函数的所接收基底函数的百分比。
具体实施方式
以下详细描述是针对某些特定实施例。然而，所揭示的方法和系统可以按众多的不同方式实施。应当显而易见的是本文中的方面可以按多种多样的形式实施，并且本文所揭示的任何特定结构、功能或这两者仅为代表性的。本文中所揭示的方面可以独立于任何其它方面而实施。这些方面中的两个或多于两个可以按不同方式组合。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，通过使用除了在本文中所阐述的方面中的一或多个之外或不同于在本文中所阐述的方面中的一或多个的其它结构、功能性或结构和功能性，可以实施所述设备或可以实践所述方法。
另外，本文中所描述的系统和方法可以在各种不同成像系统及计算装置和系统上实施。其可以使用通用或专用系统。
结构光系统通过解码码字的所接收图案并将其与所发射图案进行比较来产生深度图。如果所接收的码元和码字具有明确界定的空间界线和针对不同码元值的适当分离的密集度水平，那么可以准确地解码所接收的图案并产生准确深度图。如果码元界线未经明确界定，和/或密集度水平未适当分离，那么检测准确度下降且深度图准确度受损害。
结构光系统通过穿过掩码在可控功率电平下发光来发射码字的图案。在一些实施例中，光源是激光器(尽管其也可以是另一类型的光源)，且掩码是衍射光学元件。当光源的功率电平过低时，码元可能过暗而无法准确地接收和正确地解码。在光源的较高功率电平下，所发射的码元更可能被解码，因为其界线经明确划定并且在增加功率的情况下通过密集度适当分离。举例来说，“0”码元看起来呈深色，且“1”码元看起来呈浅色，并且深色码元和浅色码元之间存在大密集度间隙。如果光源的功率电平过高，那么码元可能看起来超出码元的预期界线渗移到保护带中并甚至到邻近码元中。因此，当光源的功率电平过高时，码元界线可能不清楚，因为码元可能彼此混合，并且所接收的码元可能看起来明显不同于经投影的码元，从而降低检测准确度。在任何特定场景中，不同距离处和/或具有不同表面特征的对象针对准确解码可能需要不同激光功率水平。
所揭示技术包含用以控制光源功率电平以使得可准确地解码所接收的图像的系统和方法。码域统计用于通过例如量化不同码元值之间的对比度或分离度、量化码字检测准确度或量化基底函数检测准确度来表征可解码所接收图像的有效程度。这些措施直接表征解码准确度，并且使得能够通过将码域统计反馈(例如，通过负反馈回路或使用自适应性算法)回到激光控制器来控制到最佳激光功率电平的收敛。因此，所得深度图可具有较少解码误差并且因此更准确。
图1说明主动感测系统100的实例，所述主动感测系统根据二维图像产生三维信息，例如深度图107。所述主动感测系统100包含发射器102和接收器108。发射器102通过代码掩码投射光以形成经投影图像104。经投影图像104的部分112包含投影到场景106上的独特码字120。场景106中的对象的表面由空间图案116照明，所述空间图案形成由接收器108感测的反射图像的部分。接收器108感测所反射图像110的部分118(片段)(包含独特码字120)，并将独特码字120的相对位置与代码掩码中的其它独特码字进行比较以如下文关于图3所描述确定场景106中的对象的表面的深度信息(用于产生深度图107)。接收器108基于关于场景中的对象的表面的深度估计值形成深度图107，所述表面从所反射图像110的其它片段反射其它可识别的码字。每一经捕获片段118可在接收器108处和根据经译码掩码的已知图案确认的其相对于其它片段的位置唯一地识别。接收器108可使用图案分段技术来解决失真、使用解码技术来识别代码并使用三角测量来确认定向和/或深度。
图2说明用于主动感测以产生深度图并显示场景的三维表示的系统的另一实例。编码器/形状调制器201可产生随后由发射器装置202在发射信道204上投影的代码掩码。代码掩码可投影到目标(例如，场景)上，并且反射光由接收器传感器205捕获作为经投影代码掩码图像。接收器传感器205(例如，图1中的接收器108)捕获目标的所反射图像(分段/解码器206将所述图像片段)并进行解码以确定用于产生深度图208的深度信息。深度图208随后可以用于呈现、产生和/或提供目标(例如，目标210a-e中的一者)的3D图像版本。
主动感测依赖于能够从由发射器装置202投影在场景上的代码掩码辨识(在接收器传感器205和/或分段/解码器206处)出空间代码(例如，码字)。如果场景过于接近发射器和接收器，那么场景的表面可成角度或弯曲，基线参考平面可能倾斜，且代码可能在未知仿射变换(例如，旋转、偏斜、压缩、延长等等)下被修改。本文所描述的一或多个方面或特征可在图1和2的示范性环境内实施。
图3说明可如何感测场景中的一或多个对象的深度的实例。图3展示包含发射器302和接收器304的装置300。装置使用从作为码字投影310的发射器302发出的结构光照明两个对象306和308。码字投影310从对象306和/或308反射且由传感器平面307上的接收器304接收作为所反射码字311。
如图3中所说明，发射器302与接收器304在同一参考面(例如，镜头平面305)上。发射器302通过孔径313将码字投影310投影到对象306和308上。
码字投影310照明作为投影片段312'的对象306，且照明作为投影片段312”的对象308。当投影片段312'和312”通过接收器孔径315由接收器304接收时，所反射码字311可展示在第一距离d1处从对象308产生的反射和在第二距离d2处从对象306产生的反射。
如图3所展示，由于对象306较接近发射器302定位(例如，与发射器装置相距第一距离)，因此投影片段312'出现在与其初始位置相距距离d2处。相比之下，由于对象308定位在更远处(例如，与发射器302相距第二距离)，因此投影片段312”出现在与其初始位置相距距离d1处(其中d1<d2)。即，对象距发射器/接收器越远，所接收投影片段/部分/窗口在接收器304处距其原始位置越近(例如，传出投影与传入投影较平行)。相反地，对象与发射器/接收器越接近，所接收投影片段/部分/窗口在接收器304处距其原始位置越远。因此，所接收的与所发射的码字位置之间的差可用作对象的深度的指示符。在一个实例中，所述深度(例如，相对深度)可提供对象在图像中通过每一像素或分组像素(例如，两个或多于两个像素的区域)描绘的深度值。
各种类型的调制和译码方案可以用于产生码字投影或代码掩码。这些调制和译码方案包含(例如)时间译码、空间译码和直接译码(direct codification)。
在时间译码中，图案随时间推移连续地投影到测量表面上。这种技术具有高准确度和分辨率，但较不适合于动态场景。
在空间译码中，信息基于形状和图案编码在局部邻域中。伪随机代码可基于De-Bruijn，或M阵列定义有效码字的码本(例如，m元密集度或色彩调制)。图案分段例如在形状和图案失真的情况下可能不容易实现。
在直接译码中，编码水平和垂直像素坐标两者。可以通过单调相位或密集度波形进行调制。然而，这个方案可利用大于用于其它方法的码本的码本。在大部分方法中，所接收码字(所感测码字)可与可能码字的所界定集合(例如，在码本中)相关。因此，使用较小码字集合(例如，较小码本)与较大码本相比可提供较好性能。并且，由于较大码本导致码字之间的较小距离，使用较大码本的实施方案可经历额外错误。
结构光图案可通过代码掩码通过照射光投影到场景上。通过代码掩码投影的光可含有一或多个经棋盘形布置的代码掩码图元。每一代码掩码图元可含有空间代码的阵列。码本或数据结构可包含代码的集合。空间代码、代码掩码和代码掩码图元可使用基底函数产生。可选择基底函数的周期性来满足对于埃尔米特对称性的聚合图案(用于消除重影图像与简化制造)、最小占空比(为确保每码字最小功率)、完美的窗口特性(用于最佳轮廓分辨率与高分辨率的代码填充)和随机移位(用于对象界线的改进检测)的需求。接收器可以在解调、解码和校正所接收图案中的误差时利用打算符合约束的码本和/或设计的属性。
空间代码的大小与对应分辨率在代码掩码上对应于空间代码的物理空间范围。大小可对应于表示每一码字的矩阵中的行与列的数目。码字越小，可检测的对象越小。例如，为检测和判定衬衫上的按钮与衬衫织品之间的深度差，码字应不大于按钮的大小。在一些实施例中，每一空间代码可占据四行和四列。在一些实施例中，代码可占据更多或更少的行和列(行×列)，占据(例如)3×3、4×4、4×5、5×5、6×4或10×10行和列。
空间代码的空间表示对应于每一码字元素如何在代码掩码上经图案化及随后经投影到场景上。例如，每一码字元素可使用一或多个斑点、一或多个线段、一或多个格栅、某一其它形状或其某一组合表示。
空间代码的“占空比”对应于码字中经确证位或部分(例如，“1”)的数目与未确证位或部分(例如，“0”)的数目的比。当包含码字的经译码光图案投影到场景上时，具有“1”值的每一位或部分可能具有能量(例如，“光能”)，而具有“0”值的每一位可能没有能量。为了更容易地检测码字，码字应具有充足能量。
代码的“轮廓分辨率”或“完美窗口”特性指示当由例如一位旋转的量移位码字时，所得数据表示另一个码字。
图4是说明可经配置成产生复合代码掩码和/或投影这些复合代码掩码的发射器装置的实例的框图。发射器装置402可包含耦合到存储器/存储装置406(存储器装置)的处理电路404、图像投影装置408和/或有形媒体409。在一些方面，发射器装置402可对应于上文关于图3所论述的发射器302。
在第一实例中，发射器装置402可经耦合以包含有形媒体409。有形媒体可界定、包含和/或存储复合代码掩码414。有形媒体可为衍射光学元件(DOE)，其编码代码掩码，使得当来自激光器或其它光源的光通过DOE以例如近红外频率投影时，码字图案图像从发射器经投影。复合代码掩码可包含与载体层组合的代码层。代码层可包含由多个码元定义的可唯一地识别的经空间译码的码字。载体层可独立地确认且不同于代码层。载体层可包含对于投影时的失真稳固的多个参考对象。可在投影之前通过合成点扩散函数来预成形所述代码层与载体层中的至少一个。
在第二实例中，处理电路(或处理器)404可包含代码层产生器/选择器416、载体层产生器/选择器418、复合代码掩码产生器/选择器420和/或预成形电路422。代码层产生器/选择器416可选择预存储的代码层410且/或可产生此类代码层。载体层产生器/选择器418可选择预存储的载体层412且/或可产生这类载体层。复合代码掩码产生器/选择器可选择预存储的复合代码掩码414和/或可将代码层410和载体层412进行组合来产生复合代码掩码414。视情况，处理电路404可包含预成形复合代码掩码414、代码层410和/或载体层412来补偿信道中预期的失真的预成形电路422，复合代码掩码通过所述信道投影。
在一些实施方案中,多个不同代码层和/或载体层可能可用，其中每一这类载体层或代码层可经配置用于不同条件(例如，用于处于不同距离的对象，或发射器装置与接收器装置之间的不同配置)。举例来说，对于第一距离或范围内的对象，可使用与处于第二距离或范围处的对象不同的代码层与载体层的组合，其中所述第二距离大于所述第一距离。在另一实例中，可取决于发射器装置与接收器装置的相对定向而使用代码与载体层的不同组合。
图像投影装置408可用于将经产生/选择的复合代码掩码投影到所关注对象上。举例来说，到其它光源的激光可用以将复合代码掩码投影到所关注的对象上(例如，通过投影信道)。在一个实例中，复合代码掩码414可在红外线光谱中进行投影，因此其可能是裸眼不可见的。替代地，红外线光谱范围中的接收器传感器可用于捕获这类经投影复合代码掩码。
图5是说明经配置成接收从对象反射的复合代码掩码且根据复合代码掩码确定深度信息的接收器装置502的实例的框图。接收器装置502可包含耦合到存储器/存储装置的处理电路504和接收器传感器508(例如，图像捕获装置508)。在一些方面，图5中所说明的接收器装置502可对应于上文关于图3所论述的接收器304。在一些实施例中，接收器传感器508是图像捕获装置，例如相机。
接收器传感器508可经配置成获得经投影在对象的表面上的复合代码掩码的至少一部分。举例来说，接收器传感器可捕获经投影在目标对象的表面上的复合代码掩码414的至少一部分的图像。复合代码掩码414可由以下界定：(a)由多个码元界定的可唯一识别的经空间译码码字的代码层，和(b)载体层，其可独立地确认且不同于所述代码层且包含对于投影时的失真稳固的多个参考对象。所述代码层与载体层中的至少一个可在投影之前通过合成点扩散函数经预成形。在一个实例中，接收器传感器508可在红外线光谱中捕获(感测)复合代码掩码。
仍参考图5，在一些实施例中，代码层可包括n1×n2个二进制码元，其中n1和n2是大于二的整数。在复合代码掩码中，每一码元可以是不同于参考对象的两个灰度阴影中的一个中的线段。代码层的码元可在至少一个维度上交错。所述载体层参考对象可包括用其间的保护间隔同等地隔开的多个参考条带。参考条带与保护间隔可以具有不同宽度。每一参考条带相对于保护间隔宽度的宽度可通过发射器装置和/或接收器装置的预期光学扩展而确定。
处理电路504可包含参考条带检测器电路/模块512、失真调整电路/模块514、码字识别器电路/模块516、深度检测电路/模块518和/或深度图产生电路/模块520。
参考条带检测器电路/模块512可经配置成检测复合代码掩码的部分内的参考条带。失真调整电路/模块514可经配置成基于相对于参考条带的实际定向的参考条带的预期定向而调整复合代码掩码的部分的失真。码字识别器电路/模块516可经配置成从复合代码掩码的部分内界定的窗口中获取码字。深度检测电路/模块518可经配置成基于以下获得对应于窗口的目标对象的表面部分的深度信息：(a)复合代码掩码的单个投影，和(b)窗口相对于已知参考代码掩码的位移。
深度图产生电路/模块520可经配置成基于检测为未失真复合代码掩码的部分内的不同重叠窗口的多个码字而汇编对象的深度图。
图6是说明经配置成执行本文中所揭示的一或多个误差校正方法的设备的实施例的框图。设备600包含光发射器602、光接收元件604、处理器606和存储器608。光发射器602、光接收元件604、处理器606和存储器608通过总线610可操作地连接。在一些方面中，光接收元件604可对应于上文关于图5所论述的接收器装置502。在一些方面，光发射器602可对应于上文关于图4所论述的发射器装置402。
存储器608可存储配置处理器606来执行本文中论述的方法的一或多个函数的指令。举例来说，存储于存储器中的指令可配置处理器606来控制光发射器602发射将结构光编码为码字的光以便照明目标对象。存储于存储器608中的指令可进一步使得处理器606控制光接收元件604来接收从目标对象反射的光且产生反射光中编码的数据。存储于存储器中的指令可进一步配置处理器来根据下文论述的方法1500校正由光接收元件产生的数据中的误差。
图7是代码掩码700的实例的图片，所述代码掩码具有对应于明亮光点和阴暗光点的码元的阵列。明亮光点对应于“1”码元。其成行和列对准，并通过黑色保护间隔和保护带分离，所述黑色保护间隔和保护带向经投影代码赋予结构并使确定个别码元和码字的空间界线成为可能。码字占据包含码元的行和列的矩形空间区域。举例来说，码字可包含在四个行和四个列中的十六个码元。具有明亮光点的“1”码元可见，但具有阴暗光点的“0”码元混合到保护间隔和保护带中。
图8是用于产生深度图的场景的图像的图片800，所述深度图与由激光器通过代码掩码(例如图7的代码掩码)投影的码字叠加。图8的图像包含前景中的雪花、之后的在增加的深度处的雪花右方的摊开的手、侧面的雕塑头像、竖起大拇指的握紧的手和后方最远处在竖起大拇指的握紧的手左方的摊开的手。由于码字可以在频谱的不可见部分中接收，图8的叠加码字投影以假色印刷，从而使得其在图8中可见。
图9说明使用上文所描述的结构光技术确定的图8的场景的深度图900的实例。在图9中分别指示具有最小和最大深度的点。在一些实施例中，深度图900持续地以视频速率(例如，每秒30帧)更新。从先前所接收的帧产生的现存深度图提供每一新图像帧的预期深度的集合。图像中每一位置处的深度对应于每一位置处的预期深度，并且可以用于确定所述位置处的预期码字、码元和基底函数。
图10说明在最佳功率电平下投影的码字的实例。所述码字包含码元的4×4阵列1000，对应于编码在图7的代码掩码中的码元。图10中的码元在“0”和“1”码元之间具有明确界定的界线和清晰密集度值分离度。码元1010以及描绘为具有黑色边界且无阴影的圆形的其它三个码元对应于阴暗“0”码元斑点。码元1020以及各自描绘为具有暗色影线的圆形的其它11个码元对应于明亮的“1”码元斑点。在图10的实例中，功率电平是最佳的。图10中的每一码元具有无饱和度或超过边缘的渗移的清晰界线。阴暗斑点1010与明亮斑点1020之间存在清晰密集度分离度，如在图11中进一步说明。
图11分别展示如图10中所描述的在最佳激光功率下编码在图7的代码掩码中的“0”和“1”码元的密集度值的适当分离的概率分布函数1110和1120的实例。图11的横轴和纵轴分别对应于密集度水平和概率水平。阴暗“0”码元的概率分布函数1110近似具有平均密集度水平μ0下的峰值和标准偏差σ0的高斯分布。对应方差为类似地，明亮“1”码元的概率分布函数1120近似具有均值μ1和标准偏差σ1的高斯分布。在这个实例中，μ1>μ0且σ1>σ0。所述两个概率分布函数1110和1120适当分离但重叠。
决策界线1130左方的所接收密集度水平更可能是“0”码元而不是“1”码元。概率在决策界线1130处相等，两个概率分布函数1110和1120以相等概率值跨过所述决策界线。决策界线1130右方的所接收密集度水平更可能是“1”码元而不是“0”码元。因此，决策界线1130左方的具有密集度值的“0”码元将被正确地分类，而在决策界线右方的对应于右尾区1150的那些“0”码元将被错误分类为“1”码元。
类似地，决策界线1130右方的具有密集度值的“1”码元将被正确地分类，而决策界线左方的对应于左尾区1140的那些“1”码元将被错误分类为“0”码元。因此，较小分离度对应于较少码元分类误差。
在图11的实例中，左尾区1140和右尾区1150较小，因为概率分布函数1110和1120的均值的差在通过其方差的总和正规化时相对较大。这种关系可通过码域统计经量化，所述码域统计测量对比度或聚类间至聚类内变化，如下文等式(1)中所界定。码元密集度水平之间的较好分离度对应于Λ的较高值。
图12说明图10的但以较低功率电平照明使得明亮光点不如图10中明亮(如由码元1220中的较浅影线所展示)的码字的实例。图12中的码元在“0”和“1”码元之间具有明确界定的界线但存在较不清晰密集度值分离度。码元1210以及描绘为具有黑色边界且无阴影的圆形的其它三个码元对应于阴暗“0”码元斑点。码元1220以及各自描绘为具有浅影线的圆形的其它11个码元对应于明亮的“1”码元斑点。在图10的实例中，功率电平低于最佳，明亮的“1”码元1220不如明亮“1”码元1020明亮，导致阴暗斑点与明亮斑点之间的密集度分离度较小。
图13展示如图12中所描述的在低于最佳的功率电平下编码在图7的代码掩码中的“0”和“1”码元的以码元计的密集度值的重叠概率分布函数的实例。当与图10比较时，阴暗“0”码元和明亮“1”码元分别的概率分布函数1310和1320更加重叠，因为明亮的光点不如较低激光功率电平情况下明亮。决策界线1330处于比决策界线1130低的密集度值。概率分布函数1310的右尾区1350的面积明显大于右尾区1150。类似地，左尾区1340的面积明显大于左尾区1140。在概率分布函数1310和1320之间的重叠度更大的情况下，在比对于概率分布函数1110和1120明显的最佳激光功率水平更低的水平下，相比对于最佳功率，对比度统计Λ对于低于最佳的功率更低。
图14说明图10的但在较高功率电平下照明以使得明亮光点饱和、彼此渗移并使得一些阴暗光点看起来明亮的码字的实例。图12中的码元不再具有对应于所发射的界线的明确界定界线，因为饱和明亮“1”位1420渗移到保护带、保护间隔中并且可能甚至与邻近“0”码元1410重叠。这可能导致“0”码元值的平均密集度值提高、阴暗“0”码元值的方差提高，从而导致明亮斑点和阴暗斑点之间的较小密集度分离度。
图15展示如图14中所描述的在高于最佳的激光功率下编码在图7的代码掩码中的“0”和“1”码元的以码元计的密集度值的重叠概率分布函数的实例。当与图10比较时，阴暗“0”码元和明亮“1”码元分别的概率分布函数1510和1520更加重叠，因为阴暗光点由于邻近明亮光点的渗移或混合以及阴暗光点的密集度值的方差提高而看起来较亮，如概率分布函数1510中所展示。决策界线1530处于比决策界线1130高的密集度值。概率分布函数1510的右尾区1550的面积明显大于右尾区1150。类似地，左尾区1540的面积明显大于左尾区1140。在概率分布函数1510和1520之间的重叠度更大的情况下，在比对于概率分布函数1110和1120明显的最佳激光功率水平更高的水平下，相比对于最佳功率，对比度统计Λ对于高于最佳的功率更低。
图16说明随光源的功率电平而变的两个码元之间的对比度(或分离度)的图表1600的实例。横轴对应于光源功率电平。纵轴对应于经计算对比度统计Λ。所述“对比度与功率”曲线1610在最佳功率电平1620下具有最大对比度统计值1630。所述“对比度与功率”曲线1610随着功率降低到不足以照明明亮斑点以使得其可见的点而具有最佳功率电平1620左方的陡峭尾区且随着功率增大至饱和而具有最佳功率电平1620右方的长尾区。
图17说明以光源的三个不同功率电平设定获取的结构光图像的实例。在图17中，原始图像在第一行中，由代码对比度统计产生的对应图像在第二行中，且对应深度图在第三行中。第一排的原始图像包含使用在最佳范围内的标称功率电平下的光源产生的图像1705、使用在超出最佳范围的170％功率电平下的光源产生的图像1710和使用在超出最佳范围更多的200％功率电平下的光源产生的图像1715。图17中的第二行包含代码对比度统计图像，具体来说对应于原始图像1705的图像1720、对应于原始图像1710的图像1725和对应于原始图像1730的图像1730。图17中的第三行包含分别由原始结构光图像1705、1710和1715所产生的深度图1735、1740和1745。图17因此说明随着光源的功率从100％和最佳增大到最佳的170％和最佳的200％，深度图提供越来越不准确的信息。举例来说，所圈出的雪花深度在深度图1735中经明确界定，但在深度图1740中界定较不明确，并且在深度图1745中界定更加不明确。
图18说明反馈控制系统1800，其可以用于控制结构光系统中的激光器1820来投影码字，所述码字在由结构光系统中的接收器传感器508感测时既不会过暗而不能感测和区分，也不会过亮而不饱和。反馈控制系统1800(反馈系统)包含耦合到(光源)激光器1820的控制器1810、复合代码掩码414、接收器传感器508、处理电路504、存储器/存储装置506(存储器装置)和加法器1830。这些元件彼此耦合以形成如图18中所说明的负反馈回路以反复地控制激光器1820(激光系统)的输出。在一些实施例中，控制器1810、激光器1820和复合代码掩码414可为发射器装置402(图4)的元件。控制器1810和激光器1820容纳在图像投影装置408(图4)内。在一些实施例中，接收器传感器508、处理电路504和存储器/存储装置506可为接收器装置502(图5)的元件。加法器1830可以并入发射器装置402或接收器装置502(图5)内。如上所述，发射器装置402和接收器装置502可以容纳在单个装置内。另外，控制器1810可以包含加法器1830；和/或控制器1810和处理电路404可以组合在单个元件内。处理电路504、加法器1830、控制器1810和激光器1820彼此耦合且彼此电子通信。接收器传感器508、处理电路504和存储器/存储装置彼此耦合且彼此电子通信。
图像投影装置408(图4)包含由控制器1810控制的激光器1820。激光器1820在例如近红外频率下发光，所述光对于人眼不可见但可以由接收器传感器508感测。激光器1820的输出电平可由控制器1810调整。复合代码掩码414、接收器传感器508、处理电路504和存储器/存储装置506如上文关于图4和5所描述。
图19说明使用码域统计、使用现存深度图信息(例如，场景的先前确定的深度图或先前确定的码字)和从场景接收(反射)的码字的所感测图像调整结构光发射器的功率的过程1900的实例。
在框1905处，过程1900初始化激光功率电平。这可以例如由图像投影装置408(图4)、控制器1810(图18)或光发射器602(图6)执行。激光器的初始设定可以例如基于先前存储在存储器中且随后在框1905处从存储器检索并用于设置对应于激光器的输出功率的激光功率电平的先前最佳激光功率电平来设置。存储的激光功率电平可能是例如预定“工厂设定”值或其先前可能在激光器的先前使用期间已确定并存储在存储器中。
在框1910处，过程1900产生深度图且将其存储在存储器中。这可以例如由图5和图18的处理电路504或图6的处理器606执行。过程1900可使用如关于图3所描述的结构光方法，其中码字位移用于产生深度信息。过程1900可以根据单个结构光框架或多个结构光框架产生深度图信息。深度图信息可以存储在图5和图18的存储器/存储装置506中或图6的存储器608中。
圆形流程图元件1915是深度图更新循环的起始点。对于每一更新循环，过程1900如框1920到1955和反馈路径1960中所描述收敛于最佳激光功率电平。一旦收敛，过程1900就在框1965中更新深度图并将其存储在存储器中。一旦经更新，过程1900通过路径1970返回到圆形流程图元件1915以进行另一深度图更新循环。在一些实施例中，激光器收敛和深度图更新循环可能以视频速率(例如每秒30个或多于30个循环)发生。
在框1920处，过程1900从存储器检索场景(或场景的某一区域或部分)的深度图信息。这可以由图5和图18的处理电路504或图6的处理器606执行。深度图信息可以从图5和图18的存储器/存储装置506或图6的存储器608检索。
在框1925处，过程1900通过计算预期码元、计算预期基底函数和/或计算预期码字基于所检索深度图信息产生所述区域的预期码元、码字和/或基底函数。这可以由图5和图18的处理电路504或图6的处理器606执行。深度图1735是随位置而变的深度的图形表示。
图像中的每一行和列具有对应于“预期”深度或距场景中的对象的表面的距离的深度值。如关于图3所描述，区域内的独特码字的码字位移与深度存在一一对应关系。在每一码字位置处，过程1900计算对应于所检索深度图中的深度的码字位移。过程1900随后在代码掩码内平移码字位移以确定每一码字位置处的预期码字。通过在区域内重复这个操作，过程1900确定随位置而变的预期码字的阵列。
每一码字包括已知码元阵列。通过使每一码字与其码元相关联，过程1900确定每一码元位置处的码元的对应集合。
此外，代码掩码的每一部分处的码字直接映射到用于产生代码掩码的调和基底函数。通过使每一位置处居中的码字与用于在对应(移位)代码掩码位置处产生代码掩码的基底函数相关联，过程1900确定每一基底函数位置处的基底函数的对应集合。
预期码字、预期码元和预期基底函数对应于过程1900在激光功率处于最佳电平并且深度图准确时进行解码的码字、码元和基底函数。因此，这些值可以用于帮助收敛于最佳激光功率电平。
在框1930中，过程1900通过代码掩码投射激光以将码字投影到场景上。所述代码掩码具有相同码字、相关联码元且由相同调和基底函数形成为上文关于框1925所描述的代码掩码。这可以例如由图像投影装置408(图4)、激光器1820(图18)或光发射器602(图6)执行。所述码字以一定时间间隔持续地经投影。经投影码字可投影到场景或场景中的对象上。
在框1935处，过程1900感测码字的反射图像。这可以由图5和图18的接收器传感器508或与光源集成的传感器(例如与图6的光发射器602集成的光接收元件604)执行。所接收的码字可以在场景或场景中的对象的图像中接收。
在框1940处，过程1900基于所感测图像确定所述区域的所感测码元的密集度水平、码字和/或基底函数。这可以由图5和图18的处理电路504或图6的处理器606执行。过程1900执行上文关于图5所描述的功能以使用处理电路504及模块512、514、516和518划定及检测码字。一旦过程1900确定所接收的码字，其就使每一码字与对应于每一码字的码元的已知(例如，所存储、预先存在的)集合相关联以产生所接收码字的集合。在使用调和基底函数产生代码掩码和码字的实施例中，过程1900可以通过将传入密集度值应用到匹配滤波器(每调和基底函数一个匹配滤波器)和确定哪一个匹配过滤器具有最高输出来确定所接收基底函数。具有最高输出的匹配过滤器对应于所述为止处的最可能的基底函数。
在框1950处，过程1900基于预期和所感测码元、码字和/或基底函数产生至少一个码域统计。这可以由图5和图18的处理电路504或图6的处理器606执行。码字统计的第一实例使用上文等式(1)中所界定的对比度统计Λ来表征码元分离度以量化可以检测到所接收码字的良好程度。第二码字统计通过计算匹配其对应预期码字的所接收码字的百分比来表征码字检测准确度。第三码字统计通过计算匹配其对应预期基底函数的所接收基底函数的百分比来表征基底函数准确度。用以计算对比度、码字检测准确度和基底函数检测准确度统计的某些过程的实例分别如下文关于图21、22和23所描述。
在框1950处，过程1900响应于至少一个码域统计调整激光功率。这可以由图5和图18的处理电路504或图6的处理器606执行。参考图18，码域统计可以通过加法器1830与参考值组合以确定误差值，所述误差值由控制器1810用于确定激光功率电平应被增大还是降低。控制器1810随后将控制信号发射到激光器1820，由此调整激光功率以改进码域统计。这个反馈控制系统1800可以持续地操作并且在一些实施例中在视频帧速率下收敛于最佳功率电平。图18将激光器1820控制描述为负反馈回路。在一些实施例中，激光器1820可以使用自适应性算法或使用非线性搜索技术来控制。
在框1955中，过程1900确定激光功率电平是否已收敛。这可以由图18的控制器1810、图5和图18的处理电路504或图6的处理器606执行。过程1900可以确定激光功率电平在功率调整小于临限值时收敛。如果激光功率电平尚未收敛，那么过程1900沿着反馈路径1960进行到框1930。
如果激光功率电平已收敛，那么过程1900进行到框1965。在框1965处，过程1900更新深度图且将其存储在存储器中。这可以由图5和图18的处理电路504或图6的处理器606执行。经更新深度图或经更新深度图信息可以存储在图5和图18的存储器/存储装置506中或图6的存储器608中。过程1900沿着路径1970进行到圆形流程图元件1915以开始新的深度图更新循环。
图20说明用于使用根据从对象反射的所接收码字而确定的信息控制结构光发射器的功率的过程2000的实例。
在框2005处，过程2000将码字的图案投影到一或多个对象上。这可以例如由图像投影装置408(图4)、激光器1820(图18)或光发射器602(图6)执行。所述码字以一定时间间隔持续地经投影。经投影码字可投影到场景或场景中的对象上。
在框2010处，过程2000接收码字。这可以由图5和图18的接收器传感器508或与光源集成的传感器(例如与图6的光发射器602集成的光接收元件604)执行。所接收的码字可以在场景或场景中的对象的图像中接收。
在框2015处，过程2000根据所接收的码字中的一或多个计算码域统计。这可以由图5和图18的处理电路504或图6的处理器606执行。码域统计量化码元分类准确度、码字解码准确度和/或基底函数解码准确度。
在第一实例中，码元分类准确度可能与码元之间的对比度相关。对比度可以如上文关于图11所描述经定量，其中针对每一码元的所接收密集度值估计均值和标准差(和/或对应方差)，并且将等式(1)用于确定码域统计Λ。图21在下文说明用于确定码域统计的过程2100。所确定的码域统计量化码元分类准确度。
在第二实例中，码域统计可以通过基于现存深度图或先前所接收码字计算匹配预期码字的经解码码字的百分比来量化码字检测准确度。图22在下文说明用于确定表征码字检测准确度的码域统计的过程2200。
在第三实例中，码域统计可以通过计算正确接收的基底函数的百分比来量化基底函数译码准确度。图23在下文说明用于确定码域统计的过程2300。所确定的码域统计量化基底函数准确度。
在框2020处，过程2000基于码域统计调整光源的功率，并且可以通过路径2025循环返回以进一步在光源的经调整功率设定下投影码字。过程2000可以在各种实施方案中调整光源的功率。一个实例是如关于图18所描述的闭环负反馈实施方案，其中通过加法器1830将由处理电路504确定的码域统计与参考值进行比较以产生差异或错误信号，所述差异或错误信号供控制器1810用于确定调整激光器1820的功率电平的控制信号。在第二实例中自适应性算法用于收敛于最佳激光功率电平。在第三实例中非线性搜索技术用于识别最大化一或多个码域统计的最佳激光器1820功率电平。
图21说明用于计算过程2000的码域统计的过程2100的实例，其中码域统计是通过密集度均值差的平方除以密集度方差总和测量的码元之间的对比度。
在框2105处，过程2100根据深度图和/或先前所接收码字计算对应预期码元。“预期”所接收码元对应于最可能的(最大似然)码元。这可以由图5和图18的处理电路504或图6的处理器606执行。深度图和/或先前所接收码字存储在存储器或存储装置中。这可以由图5和图18的存储器/存储装置506或图6的存储器608执行。
在框2110处，过程2100将每一所接收密集度值指配给其预期码元。这可以由图5和图18的处理电路504或图6的处理器606执行。这使得可以基于深度图和/或先前所接收码字识别预期“0”码元的位置的所接收密集度值以及预期“1”码元的位置的密集度值。所接收的密集度值可以通过码元标记在数据结构中或并入到相应的码元直方图中。
在框2115处，过程2100计算每一码元的均值和方差密集度值。这可以由图5和图18的处理电路504或图6的处理器606执行。如上文关于图11所讨论，每一码元的密集度值的概率分布函数如果被认为是正态分布，那么其表征为密集度值的均值和方差(或对应标准偏差)。
在框2120处，过程2100基于每一码元的均值和方差密集度值计算对比度统计。这可以由图5和图18的处理电路504或图6的处理器606执行。举例来说，对比度统计Λ为密集度均值距离的平方除以密集度方差总和，如等式1中所界定。较高对比度统计对应于更大码元分离度、较少重叠和较高码元检测准确度。
图22说明用于计算过程2000的码域统计的过程2200的实例，其中码域统计是匹配预期码字的所接收码字的百分比。过程2200的框2205、2210、2215和2220可各自由图5和图18的处理电路504或图6的处理器606执行。
在框2205处，过程2200根据深度图和/或先前所接收码字计算预期码字。深度图和/或先前所接收码字存储在例如图5和图18的存储器/存储装置506中或图6的存储器608中。
在框2210处，过程2200比较误差校正后的每一所接收码字与其预期码字。在无额外信息的情况下，假设预期码字正确。
在框2215处，过程2200计算正确接收的码字的百分比。所述百分比为匹配预期码字的所接收码字的比率。较高百分比对应于更大码字检测准确度。
图23说明用于计算过程2000的码域统计的过程2300的实例，其中码域统计是匹配预期基底函数的所接收基底函数的百分比。过程2300的框2305、2310和2315可各自在下文加以描述，可各自由图5和图18的处理电路504或图6的处理器606执行。
在框2305处，过程2300根据深度图和/或先前所接收码字如上文关于图3所界定计算预期基底函数。深度图和/或先前所接收码字存储在例如图5和图18的存储器/存储装置506中或图6的存储器608中。
在框2310处，过程2300将每一所接收基底函数与其预期基底函数进行比较。在无额外信息的情况下，假设预期基底函数正确。
在框2315处，过程2300计算正确接收的基底函数的百分比。所述百分比为匹配预期基底函数的所接收基底函数的比率。较高百分比对应于更大基底函数检测准确度。较高基底函数检测准确度对应于更大码字检测准确度。
应理解，对本文中使用例如“第一”、“第二”等等名称的元件的任何参考通常不限制那些元件的数量或次序。实际上，这些名称可在本文中用作区分两个或多于两个元件或元件的实例的适宜方法。因此，对第一及第二元件的参考不意味着此处可采用仅两个元件或第一元件必须以某一方式在第二元件之前。并且，除非另外说明，否则一组元件可包括一或多个元件。另外，用于说明书或权利要求书的形式“以下中的至少一个：A、B或C”的术语意味着“A或B或C或这些元件的任一组合”。
如本文中所使用，术语“确定”涵盖多种多样的动作。举例来说，“确定”可以包含演算、计算、处理、导出、研究、查找(例如，在例如查找表的表、数据库或另一数据结构中查找)、确认等等。并且，“确定”可以包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及类似者。并且，“确定”可以包含解析、选择、挑选、建立等。
如本文所使用，涉及条目列表中的“至少一者”的短语是指那些条目的任何组合，包含单个成员。作为实例，“以下中的至少一者：a、b或c”意在涵盖：a、b、c、a-b、a-c、b-c及a-b-c。
上文所描述的方法的各种操作可以由能够执行所述操作的任何合适装置(例如各种硬件和/或软件组件、电路和/或模块)执行。通常，图式中所说明的任何操作可以由能够执行所述操作的对应功能装置执行。
可以使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置(PLD)、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述的功能的任何组合来实施或执行结合本发明所描述的各种说明性逻辑块、模块和电路。通用处理器可以是微处理器，但在替代例中，处理器可以是任何市售处理器、控制器、微控制器或状态机。处理器也可以实施为计算装置的组合，例如DSP和微处理器的组合、多个微处理器、与DSP核心结合的一或多个微处理器，或任何其它这类配置。
在一或多个方面中，所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果在软件中实施，则可将功能作为一或多个指令或代码存储在计算机可读媒体上或通过计算机可读媒体发射。计算机可读媒体包含计算机存储媒体与通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。借助于实例而非限制，这类计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携带或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。因此，在一些方面中，计算机可读媒体可包括非暂时性计算机可读媒体(例如，有形媒体)。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非指定了步骤或动作的特定次序，否则在不脱离权利要求书的范围的情况下，可以修改特定步骤和/或动作的次序和/或用途。
另外，应了解，用于执行本文中所描述的方法和技术的模块和/或其它合适装置可以在适用时由用户终端和/或基站下载和/或以其它方式获得。举例来说，可将这个装置耦合到服务器以促进传送用于执行本文中所描述的方法的装置。或者，本文中所描述的各种方法可以通过存储装置(例如，RAM、ROM、例如压缩光盘(CD)或软盘的物理存储媒体等)来提供，使得用户终端和/或基站可在将存储装置耦合或提供到所述装置后获得各种方法。此外，可以利用用于将本文中所描述的方法和技术提供到装置的任何其它合适的技术。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可以在上文所描述的方法和设备的布置、操作和细节方面作出各种修改、改变和变化。

Claims (30)

1.一种结构光系统，其包括：
存储器装置，其经配置成存储深度图；
图像投影装置，其包含经配置成投影码字的激光系统；
接收器装置，其包含传感器，所述接收器装置经配置成感测从对象反射的所述经投影码字；
处理电路，其经配置成检索存储于所述存储器中的所述深度图的至少一部分并根据所述深度图计算预期码字；以及
反馈系统，其经配置成基于所述所感测码字及所述预期码字控制所述激光系统的输出功率。
2.根据权利要求1所述的结构光系统，其中所述处理电路进一步经配置成基于所述所感测码字更新所述深度图，且其中所述存储器装置进一步经配置成存储所述经更新深度图。
3.根据权利要求2所述的结构光系统，其中所述反馈系统经配置成确定比较所述所感测码字与所述预期码字的码域统计，且其中所述反馈系统至少部分地基于所述确定的码域统计来控制所述激光系统的所述输出功率。
4.根据权利要求3所述的结构光系统，其中所述码域统计量化码元分类准确度。
5.根据权利要求4所述的结构光系统，其中所述码域统计为密集度均值差的平方除以密集度方差总和。
6.根据权利要求5所述的结构光系统，其中所述处理电路进一步经配置成根据所述深度图和/或先前所接收码字计算预期码元；所述处理电路进一步经配置成向所述对应预期码元指配每一所接收密集度值，所述处理电路进一步经配置成计算每一码元的平均密集度值，所述处理电路进一步经配置成计算每一码元的方差密集度值，且所述处理电路进一步经配置成将所述码域统计计算为所述密集度均值差与所述密集度方差总和的所述平方。
7.根据权利要求3所述的结构光系统，其中所述码域统计量化码字检测准确度。
8.根据权利要求7所述的结构光系统，其中所述码域统计为匹配预期码字的所接收码字的百分比。
9.根据权利要求8所述的结构光系统，其中所述处理电路进一步经配置成比较所接收码字与预期码字，所述处理电路进一步经配置成计算正确接收的码字的所述百分比，其中正确接收的码字对应于预期码字。
10.根据权利要求3所述的结构光系统，其中所述码域统计量化基底函数准确度。
11.根据权利要求10所述的结构光系统，其中所述码域统计为匹配预期基底函数的所接收基底函数的百分比。
12.根据权利要求11所述的结构光系统，其中所述处理电路进一步经配置成根据所述深度图和/或先前所接收码字计算预期基底函数；所述处理电路进一步经配置成比较所接收基底函数与预期基底函数，且所述处理电路进一步经配置成计算正确接收的基底函数的所述百分比，其中正确接收的基底函数对应于预期基底函数。
13.根据权利要求3所述的结构光系统，其中所述反馈系统经配置成反复地控制所述激光系统的输出功率以收敛于所述码域统计的最大值。
14.一种控制结构光系统的激光功率的方法，其包括：
用存储器装置存储深度图；
用激光系统投影码字；
用接收器传感器感测从对象反射的所述经投影码字；
从所述存储器装置检索所述深度图的一部分；
根据所述深度图计算预期码字；以及
基于所述所感测码字及所述预期码字控制所述激光系统的输出功率。
15.根据权利要求14所述的方法，其进一步包括：
基于所述所感测码字更新所述深度图；以及
用所述存储器装置存储所述经更新深度图。
16.根据权利要求14所述的方法，其进一步包括：
确定比较所述所感测码字与所述预期码字的码域统计；以及
至少部分地基于所述所确定的码域统计控制所述激光系统的输出功率。
17.根据权利要求16所述的方法，其中所述码域统计量化码元分类准确度。
18.根据权利要求17所述的方法，其中所述码域统计为密集度均值差的平方除以密集度方差总和。
19.根据权利要求18所述的方法，其进一步包括：
根据所述深度图和/或先前所接收码字计算预期码元；
向所述对应预期码元指配每一所接收密集度值；
计算每一码元的平均密集度值；
计算每一码元的方差密集度值；以及
将所述码域统计计算为所述密集度均值差的所述平方除以所述密集度方差的所述总和。
20.根据权利要求16所述的方法，其中所述码域统计量化码字检测准确度。
21.根据权利要求20所述的方法，其中所述码域统计为匹配预期码字的所接收码字的百分比。
22.根据权利要求21所述的方法，其进一步包括：
比较所接收码字与预期码字；以及
计算正确接收的码字的所述百分比，其中正确接收的码字对应于预期码字。
23.根据权利要求16所述的方法，其中所述码域统计量化基底函数准确度。
24.根据权利要求23所述的方法，其中所述码域统计为匹配预期基底函数的所接收基底函数的百分比。
25.根据权利要求24所述的方法，其进一步包括：
根据所述深度图和/或先前所接收码字计算预期基底函数；
比较所接收基底函数与预期基底函数，及
计算正确接收的基底函数的所述百分比，其中正确接收的基底函数对应于预期基底函数。
26.根据权利要求16所述的方法，其进一步包括反复地控制所述激光系统的输出功率以收敛于所述码域统计的最大值。
27.一种结构光系统，其包括：
用于存储深度图的装置；
用于投影码字的装置；
用于感测从对象反射的所述经投影码字的装置；
用于从所述用于存储深度图的装置检索所述深度图的一部分的装置；
用于根据所述深度图计算预期码字的装置；以及
用于基于所述所感测码字与所述预期码字之间的比较控制所述投影装置的输出功率的装置。
28.根据权利要求27所述的结构光系统，其中所述存储装置包括存储器装置，其中所述投影装置包括激光系统，其中所述感测装置包括接收器传感器，其中所述检索装置包括处理电路，其中所述计算装置包含所述处理电路，且其中所述控制装置包括反馈系统。
29.根据权利要求27所述的结构光系统，其进一步包括：
用于确定比较所述所感测码字与所述预期码字的码域统计的装置；以及
用于至少部分地基于所述所确定的码域统计控制所述激光系统的输出功率的装置。
30.一种非暂时性计算机可读媒体，其存储指令，所述指令在执行时引起处理器执行控制结构光系统的激光系统的输出功率的方法，所述方法包括：
用存储器装置存储深度图；
用所述激光系统投影码字；
用接收器传感器感测从对象反射的所述经投影码字；
从所述存储器装置检索所述深度图的一部分；
根据所述深度图计算预期码字；以及
基于所述所感测码字及所述预期码字控制所述激光系统的输出功率。
CN201680047324.8A 2015-08-31 2016-08-16 用于结构光的码域功率控制 Active CN108419440B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562212507P 2015-08-31 2015-08-31
US62/212,507 2015-08-31
US15/060,028 US9846943B2 (en) 2015-08-31 2016-03-03 Code domain power control for structured light
US15/060,028 2016-03-03
PCT/US2016/047179 WO2017040028A1 (en) 2015-08-31 2016-08-16 Code domain power control for structured light

Publications (2)

Publication Number Publication Date
CN108419440A true CN108419440A (zh) 2018-08-17
CN108419440B CN108419440B (zh) 2020-05-26

Family

ID=58095794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680047324.8A Active CN108419440B (zh) 2015-08-31 2016-08-16 用于结构光的码域功率控制

Country Status (10)

Country Link
US (2) US9846943B2 (zh)
EP (1) EP3344949B1 (zh)
JP (2) JP6847922B2 (zh)
KR (1) KR102168257B1 (zh)
CN (1) CN108419440B (zh)
BR (1) BR112018003954B1 (zh)
CA (1) CA2992598A1 (zh)
ES (1) ES2775512T3 (zh)
HU (1) HUE046551T2 (zh)
WO (1) WO2017040028A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109405749A (zh) * 2018-11-19 2019-03-01 清华大学深圳研究生院 一种激光成像测距方法及系统
CN111174702A (zh) * 2020-01-22 2020-05-19 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9846943B2 (en) * 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10192311B2 (en) * 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
JP6779426B1 (ja) 2020-04-15 2020-11-04 三菱電機株式会社 パラメータ調整装置、学習装置、測定システム、パラメータ調整方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1796933A (zh) * 2004-12-28 2006-07-05 陈胜勇 基于领域唯一性的高效结构光的实现方法及其装置
US20080130016A1 (en) * 2006-10-11 2008-06-05 Markus Steinbichler Method and an apparatus for the determination of the 3D coordinates of an object
CN101608906A (zh) * 2009-07-21 2009-12-23 西安交通大学 一种空间编码的光学三维轮廓测量方法
US20140028800A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection
US20140132721A1 (en) * 2012-11-14 2014-05-15 Qualcomm Incorporated Structured Light Active Depth Sensing Systems Combining Multiple Images to Compensate for Differences in Reflectivity and/or Absorption
CN104285127A (zh) * 2012-05-24 2015-01-14 高通股份有限公司 用于主动深度感测的仿射不变空间掩码的接收

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4653104A (en) 1984-09-24 1987-03-24 Westinghouse Electric Corp. Optical three-dimensional digital data acquisition system
US5226084A (en) 1990-12-05 1993-07-06 Digital Voice Systems, Inc. Methods for speech quantization and error correction
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
JPH1145782A (ja) * 1997-07-28 1999-02-16 Matsushita Electric Works Ltd 調光監視制御システム
CA2306515A1 (en) 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
FI109633B (fi) 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
WO2004001332A1 (en) 2002-06-19 2003-12-31 Canesta, Inc. System and method for determining 3-d coordinates of a surface using a coded array
JP3660328B2 (ja) * 2002-06-21 2005-06-15 ファナック株式会社 レーザ加工機
DE10232690A1 (de) 2002-07-18 2004-02-12 Siemens Ag Verfahren und Vorrichtung zur dreidimensionalen Erfassung von Objekten sowie Verwendung der Vorrichtung und des Verfahrens
US7146036B2 (en) 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US7231578B2 (en) 2004-04-02 2007-06-12 Hitachi Global Storage Technologies Netherlands B.V. Techniques for detecting and correcting errors using multiple interleave erasure pointers
US7916932B2 (en) 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
JP2007271530A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd ３次元形状検出装置及び３次元形状検出方法
JP4856605B2 (ja) 2006-08-31 2012-01-18 パナソニック株式会社 符号化方法、符号化装置、及び送信装置
EP2084491A2 (en) 2006-11-21 2009-08-05 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US7950581B2 (en) 2006-12-01 2011-05-31 Intermec Ip Corp. System and method of acquiring a machine-readable symbol
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US20090322859A1 (en) 2008-03-20 2009-12-31 Shelton Damion M Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System
TWI420401B (zh) 2008-06-11 2013-12-21 Vatics Inc 一種回授式物件偵測演算法
JP4715944B2 (ja) 2009-04-03 2011-07-06 オムロン株式会社 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US9030469B2 (en) 2009-11-18 2015-05-12 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
JP2013515612A (ja) * 2009-12-23 2013-05-09 イムラ アメリカ インコーポレイテッド 光学素子構造体と集束ビームとを用いたレーザ利用パターン形成
WO2011139734A2 (en) 2010-04-27 2011-11-10 Sanjay Nichani Method for moving object detection using an image sensor and structured light
US8933927B2 (en) 2010-09-02 2015-01-13 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
DE112011102991B4 (de) * 2010-09-08 2016-09-22 Canon Kabushiki Kaisha Verfahren und Vorrichtung zur 3D-Vermessung durch Erfassung eines vorbestimmten Musters
US9013634B2 (en) 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
EP2618584B1 (en) 2010-09-17 2016-08-10 Panasonic Intellectual Property Management Co., Ltd. Stereoscopic video creation device and stereoscopic video creation method
US20120086803A1 (en) 2010-10-11 2012-04-12 Malzbender Thomas G Method and system for distance estimation using projected symbol sequences
US8429495B2 (en) 2010-10-19 2013-04-23 Mosaid Technologies Incorporated Error detection and correction codes for channels and memories with incomplete error characteristics
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
JP2012141252A (ja) 2011-01-06 2012-07-26 Nikon Corp 三次元形状測定装置
WO2012125706A2 (en) * 2011-03-15 2012-09-20 Board Of Trustees Of Michigan State University Real-time 3d shape measurement system
US20120242795A1 (en) 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination
US8724854B2 (en) 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9536312B2 (en) 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
BR112014003165A2 (pt) 2011-08-09 2017-03-01 Samsung Electronics Co Ltd método para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, aparelho para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, método para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, e aparelho para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
US8270465B1 (en) 2011-11-15 2012-09-18 Xw Llc Timing and time information extraction from a phase modulated signal in a radio controlled clock receiver
JP5918984B2 (ja) 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
WO2013162252A1 (ko) 2012-04-23 2013-10-31 삼성전자 주식회사 슬라이스 헤더를 이용하는 3차원 비디오 부호화 방법 및 그 장치, 3차원 비디오 복호화 방법 및 그 장치
KR101913321B1 (ko) 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN102831582B (zh) 2012-07-27 2015-08-12 湖南大学 一种微软体感装置深度图像增强方法
WO2014020823A1 (ja) 2012-07-30 2014-02-06 独立行政法人産業技術総合研究所 画像処理システムおよび画像処理方法
WO2014044908A1 (en) 2012-09-21 2014-03-27 Nokia Corporation Method and apparatus for video coding
JP6061616B2 (ja) 2012-10-29 2017-01-18 キヤノン株式会社 測定装置及びその制御方法、プログラム
US9071756B2 (en) 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
KR101995340B1 (ko) 2013-01-02 2019-07-02 엘지이노텍 주식회사 적외선 광원 제어방법
KR20140099098A (ko) 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
JP5794240B2 (ja) 2013-02-05 2015-10-14 ソニー株式会社 誤り検出訂正装置、誤り検出訂正方法、情報処理装置、および、プログラム
US10140765B2 (en) 2013-02-25 2018-11-27 Google Llc Staged camera traversal for three dimensional environment
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US9270386B2 (en) 2013-06-24 2016-02-23 Intel Corporation Error detecting and correcting structured light patterns
JP6248533B2 (ja) 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9262696B2 (en) 2013-10-30 2016-02-16 Intel Corporation Image capture feedback
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
CN103796004B (zh) 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US9589359B2 (en) 2014-04-24 2017-03-07 Intel Corporation Structured stereo
US20150381972A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
US20160050372A1 (en) 2014-08-15 2016-02-18 Qualcomm Incorporated Systems and methods for depth enhanced and content aware video stabilization
US9507995B2 (en) 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
US9638801B2 (en) 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9500475B2 (en) 2015-01-08 2016-11-22 GM Global Technology Operations LLC Method and apparatus for inspecting an object employing machine vision
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1796933A (zh) * 2004-12-28 2006-07-05 陈胜勇 基于领域唯一性的高效结构光的实现方法及其装置
US20080130016A1 (en) * 2006-10-11 2008-06-05 Markus Steinbichler Method and an apparatus for the determination of the 3D coordinates of an object
CN101608906A (zh) * 2009-07-21 2009-12-23 西安交通大学 一种空间编码的光学三维轮廓测量方法
CN104285127A (zh) * 2012-05-24 2015-01-14 高通股份有限公司 用于主动深度感测的仿射不变空间掩码的接收
US20140028800A1 (en) * 2012-07-30 2014-01-30 Canon Kabushiki Kaisha Multispectral Binary Coded Projection
US20140132721A1 (en) * 2012-11-14 2014-05-15 Qualcomm Incorporated Structured Light Active Depth Sensing Systems Combining Multiple Images to Compensate for Differences in Reflectivity and/or Absorption

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109405749A (zh) * 2018-11-19 2019-03-01 清华大学深圳研究生院 一种激光成像测距方法及系统
CN109405749B (zh) * 2018-11-19 2024-03-26 清华大学深圳研究生院 一种激光成像测距方法及系统
CN111174702A (zh) * 2020-01-22 2020-05-19 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法
CN111174702B (zh) * 2020-01-22 2022-03-15 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法

Also Published As

Publication number Publication date
EP3344949A1 (en) 2018-07-11
EP3344949B1 (en) 2019-11-27
JP2021051082A (ja) 2021-04-01
JP2018525636A (ja) 2018-09-06
ES2775512T3 (es) 2020-07-27
BR112018003954B1 (pt) 2022-09-13
WO2017040028A1 (en) 2017-03-09
US10223801B2 (en) 2019-03-05
BR112018003954A2 (pt) 2018-09-25
US20180068456A1 (en) 2018-03-08
CN108419440B (zh) 2020-05-26
US9846943B2 (en) 2017-12-19
CA2992598A1 (en) 2017-03-09
HUE046551T2 (hu) 2020-03-30
KR102168257B1 (ko) 2020-10-21
KR20180044415A (ko) 2018-05-02
JP6847922B2 (ja) 2021-03-24
US20170061634A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
CN108419440A (zh) 用于结构光的码域功率控制
CN107851310B (zh) 节省存储器的经译码光错误校正
KR101950658B1 (ko) 구조형 광 깊이 맵들의 아웃라이어 검출 및 정정을 위한 방법들 및 장치들
CN107250721B (zh) 用于结构光中的误差校正的系统及方法
EP3555855B1 (en) Systems and methods for improved depth sensing
US20180020195A1 (en) Object reconstruction in disparity maps using displaced shadow outlines
CN111062228A (zh) 一种led阵列信号检测方法及装置
US12035040B2 (en) Collation device and non-transitory computer readable medium storing program
US20230118236A1 (en) Collation device and non-transitory computer readable medium storing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant