CN117128890A - 深度数据测量头、测量装置和测量方法 - Google Patents
深度数据测量头、测量装置和测量方法 Download PDFInfo
- Publication number
- CN117128890A CN117128890A CN202210543183.6A CN202210543183A CN117128890A CN 117128890 A CN117128890 A CN 117128890A CN 202210543183 A CN202210543183 A CN 202210543183A CN 117128890 A CN117128890 A CN 117128890A
- Authority
- CN
- China
- Prior art keywords
- period
- projection
- pixels
- scanning
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 86
- 230000010363 phase shift Effects 0.000 claims abstract description 75
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 11
- 238000000691 measurement method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241001643392 Cyclea Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
公开了一种深度数据测量头、测量装置和测量方法。所述测量头包括:投影装置,用于向成像区域投射线型光;包括在成像表面均匀分布的N组像素的图像传感器,每组像素以彼此间隔2π/N相位的曝光开关周期te进行曝光。所述投影装置在扫描周期内完成一次图案扫描,所述扫描周期中包括多个循环子周期,在每个循环子周期中,投射周期tp包括N个宽2π/N且光强基于成像图案被编码的波形投射区。由此,在扫描周期内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案之间存在2π/N的相移。本发明可以实现单次线型光扫描的多幅图像的获取,从而大幅提升深度图的合成速度,并且适于对运动中目标对象进行拍摄。
Description
技术领域
本发明涉及三维成像领域,具体地说,涉及一种深度数据测量头、测量装置和测量方法。
背景技术
深度摄像头是一种采集目标物体深度信息的采集设备,这类摄像头广泛应用于三维扫描、三维建模等领域,例如,现在越来越多的智能手机上配备了用于进行人脸识别的深度摄像装置。在现有技术中,可以使用条纹光编码来实现高精度成像。但条纹光编码需要拍摄多幅不同条纹图像进行单幅深度图像合成,因此由此得到的深度图像帧率较低,无法达到实时高精度动态成像的要求。
为此,需要一种改进的深度数据测量方案。
发明内容
本公开要解决的一个技术问题是提供一种改进的深度数据测量方案,能够利用设置有相移曝光的不同组像素的图像传感器对投射的在不同子周期中具有相继相移的线型光进行成像,使得在线型光的单次扫描中,图像传感器的不同组像素能够各自获取不同的相移条纹图像,从而实现单次线型光扫描的多幅条纹图像的获取。由此,可以大幅提升深度图的合成速度,并且适于对运动中目标对象进行拍摄。
根据本公开的第一个方面,提供了一种深度成像测量头,包括:投影装置,用于向成像区域投射沿第一方向移动的线型光,其中所述线型光的长度方向是与所述第一方向垂直的第二方向;图像传感器,所述图像传感器包括在成像表面均匀分布的N组像素,每组像素以彼此间隔2π/N相位的曝光开关周期te进行曝光,其中,N是大于1的整数,其中,所述投影装置在扫描周期内完成一次图案扫描,所述扫描周期/>中包括多个循环子周期/>在每个循环子周期/>中,所述线型光以投射周期tp进行亮暗变化,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括N个宽2π/N的波形投射区,对每个波形投射区的投射光强进行编码,使得在所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成彼此之间存在2π/N相移的一组N步相移图案。
可选地,所述图像传感器包括多个像素单元,每个像素单元包括各自属于N组像素中的一个像素。
可选地,所述线型光的投射投射周期tp与所述第一组像素的曝光开关周期te同步。
可选地,在每个亚周期Ti中,所述线型光的各个投射周期tp内投射波形相同,并且是2π/N相位亮区,6π/N相位暗区的矩形波,其中,所述N个条纹图案是亮区和暗区重复的条纹图案。
可选地,线型光扫描对应于每列像素上的停留时间tc不小于扫描周期除以列数C,所述停留时间tc是所述投射周期tp的10倍以上。
可选地,在每个亚周期Ti中,所述线型光以投射周期tp投射m次,并且每个亚周期Ti的持续时间大于所述停留时间tc。
可选地,所述图像传感器中的每个像素包括对应的电荷存储单元,在所述扫描周期内完成一次图案扫描时,从N组像素各自对应的N组电荷存储单元中获取一组N步相移图案,所述一组N步相移图案用于生成所述成像区域的一张深度图。
可选地,所述投影装置在第一扫描周期内完成一次图案扫描,以使得所述图像传感器的N组像素各自成像一个不同的条纹图案,N个条纹图案构成一组格雷码图案;所述投影装置在第二扫描周期/>内完成一次图案扫描,以使得所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成所述一组N步相移图案,其中,基于所述一组格雷码图案,从所述一组N步相移图案生成所述成像区域的一张深度图。
可选地,所述投影装置包括:发光装置,用于产生线型光;以及反射装置,用于反射线型光,以以预定频率向拍摄区域投射在所述条纹方向的垂直方向上移动的线型光,所述线型光的长度方向是所述投射条纹的长度方向,所述反射装置包括如下之一:以所述预定频率往复振动的机械振镜;以预定频率往复运动的微镜器件;以及以预定频率单向旋转的机械转镜。
可选地,所述图像传感器包括相对位置固定的第一图像传感器和第二图像传感器,其中,所述第一图像传感器和第二图像传感器各自包括所述N组像素,并且彼此同步进行曝光。
可选地,所述投影装置在α个扫描周期内完成α次图案扫描,每个所述扫描周期中包括多个循环子周期/>在每个循环子周期/>中,包括N个亚周期T1-TN,在每个亚周期Ti中,所述线型光以投射周期tp进行亮暗变化投射,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括亮区,其中,在亚周期T1-TN中,所述亮区在所述投射周期tp中所处的位置以2π/αN相位的间隔进行变化,使得在每次所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且在α个扫描周期/>内完成α次图案扫描时,αN个条纹图案构成彼此之间存在2π/αN相移的一组αN步相移图案,其中,α是大于等于2的整数。
可选地,所述投影装置在扫描周期内完成一次图案扫描,所述扫描周期/>中包括多个循环子周期/>在每个循环子周期/>中,包括N个亚周期T1-TN,在每个亚周期Ti中,所述线型光以投射周期tp进行亮暗变化,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括亮区,其中,在亚周期T1-TN中,所述亮区在所述投射周期tp中所处的位置以2π/N相位的间隔进行变化,使得在所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成彼此之间存在2π/N相移的一组N步相移图案。可选地,N=2n,n是大于等于1的整数。。
根据本公开的第二个方面,提供了一种深度数据测量装置,包括:根据第一方面所述的深度数据测量头,以及与所述深度数据测量头相连接的处理器,用于在所述扫描周期内完成一次图案扫描时,从获取的所述N个条纹图案中求取所述成像区域的一张深度图。
根据本公开的第三个方面,提供了一种深度数据测量方法,包括:向成像区域投射沿第一方向移动的线型光,其中,所述线型光的长度方向是与所述第一方向垂直的第二方向,投射的线型光在扫描周期内完成一次图案扫描,所述扫描周期/>中包括多个循环子周期/>在每个循环子周期/>中,所述线型光以投射周期tp进行亮暗变化,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括N个宽2π/N的波形投射区,对每个波形投射区的投射光强进行编码,N是大于1的整数;使用包括在成像表面均匀分布的N组像素的图像传感器对所述成像区域进行拍摄以获得在所述线型光扫描投射下的N个图像帧,其中,每组像素以彼此间隔2π/N相位的曝光开关周期te进行曝光;以及基于所述图像帧求取所述成像区域内被测对象的深度数据,其中,每个波形投射区的投射光强被编码以使得在所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成彼此之间存在2π/N相移的一组N步相移图案。
由此,本发明的深度成像测量头能够实现线型光单次扫描下的N步相移图的同时获取,由此提升成像速度。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1示出了利用条纹编码的结构光进行深度成像的原理。
图2示出了投射条纹编码结构光的另一个例子。
图3示出了根据本发明一个实施例的深度数据测量头的组成示意图。
图4A-B示出了图3所示投影装置的放大操作例。
图5示出了本发明使用的投影装置的一个简化透视原理图。
图6示出了本发明中使用的图像传感器的像素组成的一个例子。
图7示出了同一个图像传感器的不同组像素之间曝光周期相对关系的一个例子。
图8示出了一个循环子周期中不同组像素的成像示意图。
图9示出了进行正弦波四步相移图案成像时投射光波形与像素组1-4曝光周期之间相对关系的一个例子。
图10示出了完成一次扫描周期从像素组1-4中分别得到的图案1-4的一个例子。
图11示出了格雷码结合四步相移进行深度图成像的例子。
图12示出了一个循环子周期中不同组像素的成像示意图。
图13A-D示出了亚周期T1-T4的投射光波形与像素组1-4曝光周期之间的相对关系。
图14示出了完成一次扫描周期从像素组1-4中分别得到的图案1-4的一个例子。
图15示出了根据本发明一个实施例的深度数据测量装置的示意图。
图16示出了根据本发明一个实施例的深度数据测量方法的示意性流程图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
根据结构光测量原理可知,能否精确地确定扫描角α是整个测量系统的关键,点和线型结构光可以通过转镜等机械装置计算和确定扫描角,而图像编码及解码的意义就在于确定编码结构光即面结构光系统的扫描角。图1示出了利用条纹编码的结构光进行深度成像的原理。为了方便理解,图中以两灰度级三位二进制时间编码简要说明条纹结构光的编码原理。投射装置可以向拍摄区域中的被测对象依次投射如图所示的三幅图案,三幅图案中分别用亮暗两灰度将投射空间分为8个区域。每个区域对应各自的投射角,其中可以假设亮区域对应编码“1”,暗区域对应编码“0”。将投射空间中景物上一点在三幅编码图案中的编码值按投射次序组合,得到该点的区域编码值,由此确定该点所在区域进而解码获得该点的扫描角。
为了提升匹配精度,可以增加时间编码中投射图案的数量。图2示出了投射条纹编码结构光的另一个例子。具体地,图中示出了两灰度级的五位二进制时间编码。在例如双目成像的应用场景下,这意味着例如左右每幅图像帧中的每个像素都包含5个或0或1的区域编码值,由此能够以更高精度(例如,像素级)实现左右图像匹配。在投射装置的投射速率不变的情况下,相比于图1的三幅编码图案,图2的例子相当于以更高的时域代价实现了更高精度的图像匹配。
图3示出了利用线型光投射条纹图像以获取深度数据的原理图。如图3所示,深度数据测量头300包括投影装置310以及两个图像传感器320_1和320_2。在单目实现中,深度数据测量头300也可以使用一个图像传感器进行拍摄。
投影装置310用于向拍摄区域扫描投射具有条纹编码的结构光。例如,在相继的3个图像帧投射周期内,投影装置310可以接连投射如图1所示的三个图案,这三个图案的成像结果可用于深度数据的生成。可以分别称为第一和第二图像传感器的320_1和320_2则具有预定相对位置关系,用于对拍摄区域进行拍摄以分别获得在结构光照射下的第一和第二二维图像帧。例如,在投影装置310投射如图1所示的三个图案的情况下,第一和第二图像传感器320_1和320_2可以在三个同步的图像帧成像周期内分别对投射有这三个图案的拍摄区域(例如,图3中的成像平面及其前后一定范围内的区域)进行成像。
如图3所示,投射装置310可以在z方向上(即,朝向拍摄区域)投射在x方向上延伸的线型光。投射的线型光可以在y方向上持续移动,以覆盖整个成像区域。图3下部针对拍摄区域的透视图对线型光的扫描给出了更易理解的图示。
在本公开中,将光线出射测量头的方向约定为z方向,拍摄平面的竖直方向为x方向,水平方向为y方向。于是,投射装置所投射的条纹结构光,可以是在x方向延伸的线型光在y方向上移动的结果。虽然在其他实施例中,也可以针对水平y方向上延伸的线型光在x方向上移动得到的条纹结构光进行同步和成像处理,但在本公开中仍优选使用竖直条纹光进行说明。
图4A-B示出了图3所示投影装置的放大操作例。具体地,如图3所示的,在投影装置310中,激光发生器(如图4A-B中详细示出的激光发生器411)发出的激光经投射机构(如图4A-B中详细示出的投射机构412)扫描投射至拍摄区域(图3中的灰色区域),用以对拍摄区域中的待测对象(例如,图3中的人)进行主动结构光投射。一对图像传感器320_1和320_2对拍摄区域进行成像,由此获取进行深度数据计算所需的图像帧。如图3所示,投射装置310发出的虚线用于表示其投射范围,而图像传感器320_1和320_2发出的虚线用于表示其各自的成像范围。拍摄区域通常位于这三者各自投射和成像范围的重叠区域。
在实际应用中,激光发生器用于生成线型和/或红外激光,并且所述激光发生器进行高速切换以扫描投射与条纹编码相对应的明暗相间的结构光。高速切换可以包括激光发生器的高速开关以及高速编码切换。
在一个实施例中,激光发生器可以发出强度相同的激光,并且投射的条纹图案通过对激光发生器的开启和关断来实现。在此情况下,由于激光发生器只以不同的周期占空比投射一种强度的光,图像传感器的每个像素对被投射的光进行积分以判定照射光的“有无”,因此配备的图像传感器可以是黑白图像传感器。
在另一个实施例中,激光发生器本身可以发出光强变化的激光,例如,根据施加的功率使得出射光强在一个大的周期内呈正弦变换的激光。上述正弦变换的激光可以与条纹投射相结合,由此,扫描投射出明暗相间且明条纹之间的亮度也有所不同的图案。在此情况下,图像传感器需要具备对不同光强进行区别成像的能力,因此可以是多阶的灰度图像传感器。显见的是,灰度投射和成像可以比黑白投射和成像提供更为精确的像素间匹配,从而提升深度数据测量的准确性。
在一个实施例中,激光发生器411可以是线型激光发生器,生成在x方向上延伸的线型光(图4A-B中垂直于纸面的方向)。该线型光随后由可沿着x方向上的轴摆动的反射机构412投射至成像平面。反射机构412的摆动附图如图4B所示,投射机构412(例如,反射镜)能够在α角度的范围内进行扫描,由此实现在成像平面的AB范围内进行往复的线型光扫描。
应该理解的是,为了实现条纹图案的投射,在线型光在y方向上持续移动的过程中,线型光本身需要进行明暗变化(或是在简单的实现中,亮灭变化)。例如,在需要扫描图1的第一幅图案时,在投射机构412扫描经过前α/2角度时,激光发生器411保持关闭,等到扫描至后α/2角度时,激光发生器411变为开启,由此实现左侧暗,右侧亮的图案。而在需要扫描图1的第二幅图案时,在投射机构412扫描经过0~α/4角度时,激光发生器411保持关闭,等到扫描至α/2~α/2角度时,激光发生器411变为开启,扫描经过α/2~3α/4角度时,激光发生器411再次关闭,扫描至3α/4~α角度时,激光发生器411变为开启。由此实现暗-亮-暗-亮的图案。类似地,可以以基于转动角度的更为频繁的变化来实现图1的第三幅图案以及图2所示的条纹更细的图案。
在一个实施例中,上述反射机构412可以是微镜器件(也可称为数字微镜器件,DMD),并且可被实现为一种MEMS(微机电系统)。图5示出了本发明使用的投影装置的一个简化透视原理图。如图5所示,激光器产生的点激光可经由透镜得到线型光(对应于图4的线型激光发生器411),上述线型光再经由MEMS形式的微镜器件反射,反射的线型光再经由光窗投射至外部空间。微镜器件有着极高的性能,例如,市售的DMD能够以2k的频率进行高度平稳的往复振动,从而为高性能深度成像奠定基础。
为了获取一帧高精度的深度图,图3所示的深度数据测量头需要依次投射多幅不同的条纹图案。换句话说,在利用拍摄的条纹图案来合成深度图的现有方案中,是通过时域的代价来换取精度。进一步地,由于在相继的N个成像周期中拍摄的不同条纹图案用于一幅深度图的合成,因此现有的深度数据测量方法只适用于拍摄在这N个成像周期的过程被拍摄对象保持不动的场合,而这大大限制了利用主动投射条纹图像进行深度数据求取的技术的应用范围。
有鉴于此,本发明提出一种新的深度数据测量方案,该方案利用设置有能够相移曝光的不同组像素的图像传感器,通过对投射线型光明暗变化的巧妙设置,使得在线型光的单次扫描中,图像传感器的不同组像素能够各自获取不同的相移条纹图像,从而实现单次线型光扫描的多幅条纹图像的获取。由此,可以大幅提升深度图的合成速度,并且适于对运动中目标对象进行拍摄。
在一个实施例中,本发明可以实现为一种深度成像测量头,包括:投影装置和图像传感器。其中投影装置可以用于向成像区域投射沿第一方向(例如,图3中的y方向)移动的线型光,其中所述线型光的长度方向是与所述第一方向垂直的第二方向(例如,图3中的x方向)。在一个实施例中,该投影装置可以具有图5所示的实现结构,包括线型光发生装置以及用于对线型光进行反射投射且能够在一定角度内进行投射方向变化的投射机构。
图像传感器,所述图像传感器包括在成像表面均匀分布的多组像素,每组像素以彼此间隔2π/N相位的曝光开关周期te进行曝光,其中,N是大于1的整数。
在此,为了方便理解,取N=4作为例子对图像传感器的结构和曝光进行说明。图6示出了本发明中使用的图像传感器的像素组成的一个例子。同样为了方便说明,图6中示出了16x24像素的例子。应该理解的是,实际使用的图像传感器可以具有更多的像素,例如600x800像素。图6所示的图像传感器包括4(N=4)组在整个成像表面均匀分布的像素,分别由图示方块中的符合1、2、3、4表示。在此,四种像素在整个成像表面“均匀分布”是指在线型光以y方向进行扫描投射时,当前被照射区域内,每种像素都有相同(或近似相同)个数的像素被照亮。在一个优选实施例中,这4组像素如图6所示,为一个像素为单位彼此间隔分布。即,可以认为图6所示的图像传感器包括多个“像素单元”(如图中加粗的黑框所示,在图4的例子中,可以包括8x12个构造相同的像素单元),每个像素单元包括各自属于4组像素中的一个像素。
在其他实施例中,每组像素也可以以两个像素(例如,在x方向上相邻排列的两个像素)为一个单位彼此间隔分布。
图7示出了同一个图像传感器的不同组像素之间曝光周期相对关系的一个例子。在图7的例子中,4组像素具有相同的曝光开关周期te,并且都以50%的占空比进行开关,换句话说,图像传感器的所有像素都具有相同的曝光开关波形。但不同之处在于,相继的不同组像素波形之间具有相同的π/2的相位差。在一个实现中,曝光开关周期te例如取典型值20ns。这意味着图像传感器中每一个像素都以10ns开启接受曝光,10ns关闭的间隔进行操作,但第2组像素的开启时刻相较于第1组晚5ns,第3组像素的开启时刻相较于第2组晚5ns,第4组像素的开启时刻相较于第3组晚5ns(也可看作是相较于第1组像素提前5ns)。
在使用的图像传感器能够如图6和图7所示进行分组相移曝光时,可以对投影装置的线型光投射进行巧妙设置,来实现单次扫描的多图像获取。
具体地,投影装置可以在一个扫描周期(例如,记作扫描周期)内完成一次图案扫描。在扫描周期/>内,假设线型光匀速扫过成像区域,并且以多个循环子周期/>进行重复。如下将对每个循环子周期/>中一个光投射实施例进行详细描述。
在每个循环子周期中,所述线型光以投射周期tp进行亮暗变化,所述投射周期tp的时长与所述曝光开关周期te的时长相同。投射周期tp包括N个宽2π/N的波形投射区,对每个波形投射区的投射光强进行编码,使得在所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成彼此之间存在2π/N相移的一组N步相移图案。
在一个实施例中,每个波形投射区对应投射的是宽2π/N的矩形波或0(0也可被看作是光强为0的矩形波),并且基于一组N步相移图案对应于一个循环子周期的光强分布,确定每个波形投射区的光强。
在一个实施例中,一组N步相移图案是正弦波四步相移图案,并且基于N组像素对应于波形投射区的曝光求取每个投射周期tp中每个波形投射区的光强取值,其中,所述光强取值不小于零。
为了方便说明,在此假设N=4,并且假设线激光扫描投射周期tp的时间内每1/4周期的激光强度分别为Q1/Q2/Q3/Q4。因此在一个循环子周期内,四像素的积分亮度分别如下:
P1=Σ(Q1+Q2)
P2=Σ(Q2+Q3)
P3=Σ(Q3+Q4)
P4=Σ(Q1+Q4) (1)
由此,可以根据需要的4步相移成像所对应的图案类型来确定Q1~Q4各自的取值。
图8示出了一个循环子周期中不同组像素的成像示意图。在图8所示的例子中,期望得到的相移图案是相位差为π/2的正弦光波形。此时,四组像素P1~P4的取值可以为:
P1=Q/2*sint+Q/2
P2=-Q/2*cost+Q/2
P3=-Q/2*sint+Q/2
P4=Q/2*cost+Q/2 (2)
在此,Q可以看作是图8所示相移条纹最亮处的积分亮度,t的取值可以对应于一个循环子周期中不同的角度位置,在线型光以匀速扫描时t的取值可以对应于图像传感器中不同位置的像素。
通过式(2)可以反求出Q1~Q4关于t的亮度值。由于在式(2)中,未知数Q1~Q4有N=4个,而式(2)的秩为N-1=3,因此Q1~Q4实际上可以有无数个解,如下给出了一种求解值:
Q1=A/2*sint+A/2
Q2=0
Q3=-A/2*cost+A/2
Q4=A/2(cost-sint) (3)
其中,O*A=Q,O为例如每个像素在线型光扫过时接收的曝光周期数(例如,下例中每一个像素列都能够在线型光扫过的2us中完成100次曝光开启,这时可以看作O=100)。
然而,由于光强不能为负,因此Q1~Q4各自的取值需要保持为非负。式(3)在t=0~π/4的范围内成立,而在线型光扫描至t=π/4~π/2的范围时,则可以基于式(2)给出另一种求解值:
Q1=A/2*cost+A/2
Q2=A/2(sint-cost)
Q3=-A/2*sint+A/2
Q4=0 (4)
图9示出了进行正弦波四步相移图案成像时投射光波形取值与像素组1-4曝光周期之间相对关系的一个例子。
如图所示并结合图8和式(1)可知,在t=0时,P1~P4各自的取值可以分别对应于Q/2、0,Q/2和Q。
假设扫描周期为3.84ms,在图像传感器包括1920列且线型光投射周期tp为20ns,由于每个像素被线型光扫过的时间,即停留时间tc可以等于扫描周期/>除以列数C,即,3.84ms/1920=2us,或者在考虑到线型光具有一定宽度的情况下,停留时间tc不小于2us,因此每一个像素列都能够在线型光扫过的2us中完成100次曝光开启。此时,O=100。
在一个实施例中,可以使得线型光在当前循环子周期开始时,保持前100个投射周期tp具有对应于t=0时Q1=A/2,Q2=Q3=0,Q4=A/2的波形(在此A=Q/O=Q/100)。在一个优选实施例中,则可以基于t的微小变化,在每个投射周期tp中都对Q1~Q4各自的取值进行例如式(2)求解值的微调。
如前所述,重复循环子周期达预定次数,例如,M次,并由此完成一次扫描周期图10示出了完成一次扫描周期/>从像素组1-4中分别得到的图案1-4。例如,在图10的例子中,M可以等于16,即,重复16次循环子周期/>由此得到相位差为π/2的四步相移图。显然,图10示出了正弦波4步相移图案的例子。在使用上例中1920列的图像传感器获取图10所示的具有32个正弦波条纹重复的四步相移图时,每个正弦波条纹覆盖60个像素列(1920/32=60),即30个像素单元列。换句话说,在线型光扫描一个循环子周期/>需要完成60*100=6000次投射。在每个投射周期tp中都对Q1~Q4各自的取值进行例如式(3)求解值的微调的实施例中,每一次投射周期tp相比于前一次投射周期tp,t都存在Δt=2π/6000=π/3000的微小增量,并由此带来取值的不同。
回到图9,随着线型光从t=0对应的位置扫描至t=π/6对应的位置的过程中,可以基于例如式(3)求解Q1~Q4各自的取值。在t=π/6时,可以认为线型光扫描至当前循环的60个像素列中的第5个像素列,并且基于式(3)求解出t=π/6时对应于Q1=3A/4,Q2=0,Q3=0.183A,Q4=0.067A。
随着线型光从t=π/6对应的位置扫描至t=π/3对应的位置的过程中,可以继续求解Q1~Q4各自的取值。由于在t=π/4时,cost=sint,并且其后的π/4~3π/4的过程中cost<sint,因此会求出Q4<0的式(3)不再适用,此时可以基于式(4)求解出t=π/3时对应于Q1=3A/4,Q2=0.183A,Q3=0.067A,Q4=0。并且在t=π/3时,可以认为线型光扫描至当前循环的60个像素列中的第10个像素列。
随着线型光从t=π/3对应的位置扫描至t=π/2对应的位置的过程中,可以继续基于式(4)求解Q1~Q4各自的取值。在t=π/2时,可以认为线型光扫描至当前循环的60个像素列中的第15个像素列,并且基于式(4)求解出t=π/2时对应于Q1=A/2,Q2=A/2,Q3=0,Q4=0。应该注意到,由于像素1-4进行4步相移成像,因此在每一个投射周期tp,都存在Q1+Q2+Q3+Q4=A,并且由于像素1-4为彼此间隔2π/N相位同样以投射周期tp进行曝光且开启时间占10%,因此在每一个投射周期tp像素1-4总共能获取2A*tp/4的积分亮度。
如上结合图9描述了正弦波N步相移图的一个2π循环周期中前π/2的Q1~Q4的取值例,以像素1-4各自的成像例。本领域技术人员可以基于式(2)以及图9的例子,继续求取出一个2π循环周期中后3π/2的Q1~Q4的取值例。
另外,应该理解的是虽然图8和图9中为了方便对条纹图像和波形的变化进行说明而示出了亚周期T1-T4(亚周期T1-T4各自对应于一个2π循环子周期中的0~π/2部分、π/2~π部分、π~3π/2部分和3π/2~2π部分),但在实现如上正弦波4步相移图案时,仅需根据如上式(2)来求取一个循环子周期/>内投射激光亮度值的变化,不需要额外进行亚周期T1-T4的划分。
在一个实施例中,可以利用其他条纹光和N步相移成像进行结合来求取更为精确的深度图像。图11示出了格雷码结合四步相移进行深度图成像的例子。在实际应用中,可以通过在每一张4步相移图案里包括更多的循环子周期来提升深度图的成像精度。然而,由于4步相移图案的周期重复,因此存在无法识别跨周期深度跳变的问题。此时,则可以利用格雷码来对拍摄空间内的拍摄对象进行初步成像,并在随后进行4步相移成像。具体地,投影装置可以在第一扫描周期/>内完成一次图案扫描(例如,通过图示的亮暗图求解每个线型光投射周期的相应波形,以使得所述图像传感器的N组像素各自成像一个不同的条纹图案,N个条纹图案构成一组格雷码图案。所述投影装置在第二扫描周期/>内完成一次图案扫描,以使得所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成所述一组N步相移图案,其中,基于所述一组格雷码图案,从所述一组N步相移图案生成所述成像区域的一张深度图。
另外,在引入多个扫描周期时,不仅可以进行其他条纹图案加N步相移图案的实现,还可以是αN步相移图案的实现。在此,α是大于等于2的整数。具体地,投影装置在α个扫描周期/>内完成α次图案扫描,每个所述扫描周期/>中包括多个循环子周期/>在每个循环子周期/>中,包括N个亚周期T1-TN,在每个亚周期Ti中,所述线型光以投射周期tp进行亮暗变化投射,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括亮区,其中,在亚周期T1-TN中,所述亮区在所述投射周期tp中所处的位置以2π/αN相位的间隔进行变化,使得在每次所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且在α个扫描周期/>内完成α次图案扫描时,αN个条纹图案构成彼此之间存在2π/αN相移的一组αN步相移图案,其中,α是大于等于2的整数。
为了方便理解,以α=2,N=4为例进行说明。即,利用包括4组彼此间隔2π/N相位的曝光开关周期te进行曝光的像素的图像传感器,以及两次扫描,来实现八步相移图案的获取。
为了利用4组像素图像传感器实现八步相移图案的获取,投影装置需要进行两次扫描。在第一次扫描中,即在第一个扫描周期中,包括多个循环子周期/>在每个循环子周期/>中,包括4个亚周期T1-T4,所述亮区在所述投射周期tp中所处的位置以π/4相位的间隔进行变化,使得在所述第一个扫描周期/>内完成一次图案扫描时,获取八步相移图案中的前4幅图案。在第二次扫描中,即在第二个扫描周期/>中,同样包括多个循环子周期/>在每个循环子周期/>中,同样包括N个亚周期T1-T4,所述亮区在所述投射周期tp中所处的位置以π/4相位的间隔进行变化(但亮区所处相位与第一次扫描时不同),使得在所述第二个扫描周期/>内完成一次图案扫描时,获取八步相移图案中的后4幅图案。由此可以通过两次扫描获取八步相移图案,由此实现更高的深度成像精度。
另外,虽然如上为了方便说明给出了N=4的例子,但在其他实施例中,N也可以取其他值。具体地,N=2n,n是大于等于1的整数。由此,可以实现例如更高精度的利用8组像素图像传感器的8步相移、利用16组像素图像传感器的16步相移等。
在所述图像传感器中的每个像素可以包括对应的电荷存储单元,在所述扫描周期内完成一次图案扫描时,从N组像素各自对应的N组电荷存储单元中获取一组N步相移图案,所述一组N步相移图案用于生成所述成像区域的一张深度图。
图12示出了一个循环子周期中不同组像素的成像示意图。在图12所示的例子中,期望得到的相移图案是相位差为π/2的明暗条纹波形。此时,四组像素P1~P4的取值可以为:
P1=Q,当t=0~π;=0,当t=π~2π
P2=0,当t=0~π/2;=Q,当t=π/2~3π/2;=0,当t=3π/2~2π
P3=0,当t=0~π;=Q,当t=π~2π
P4=Q,当t=0~π/2;=0,当t=π/2~3π/2;=Q,当t=3π/2~2π (5)
于是,基于式(1)和式(5)求解Q1~Q4,得到的一个优化解如下:
Q1=A,当t=0~π/2;=0,当t=π/2~2π
Q2=0,当t=0~π/2;=A,当t=π/2~π;=0,当t=π~2π
Q3=0,当t=0~π;=A,当t=π~3π/2;=0,当t=3π/2~2π
Q4=0,当t=0~3π/2;=A,当t=3π/2~2π (6)
其中,O*A=Q,O为例如每个像素在线型光扫过时接收的曝光周期数。
在基于式(6)的优化解中,可以将每个循环子周期中划分为4个亚周期T1-T4,亚周期T1-T4各自对应于一个2π循环子周期/>中的0~π/2部分、π/2~π部分、π~3π/2部分和3π/2~2π部分,并且所述亮区在所述投射周期tp中所处的位置以2π/4相位的间隔进行变化。
在N=4的例子中,每个循环子周期中,包括4个亚周期T1-T4。图13A-D示出了亚周期T1-T4的投射光波形与像素组1-4曝光周期之间的相对关系。
如图13A-D所示,投射的激光以与曝光开关周期te时长相同的投射周期tp进行激光投射,并且可以认为每个激光投射周期tp都一直保持与第一组像素的曝光开关周期te同步(虽然激光投射周期tp在不同的亚周期中会在不同的相位处开启),并且以占空比25%(即,亮区为2π/N)进行开关,即,波形为占空比25%的矩形波。在4个亚周期T1-T4中,投射激光在每个投射周期tp内的投射开启时刻分别与第1-4组像素的曝光开启时刻相对齐。
具体地,首先如图13A所示,在亚周期T1中,投射激光在每个投射周期tp的前π/2相位内保持开启,此时,由于第一组像素和第四组像素也开启,因此能够在每个投射周期tp的前π/2相位内对被反射的投射光进行曝光,使得相应的像素内能够存在电荷累计,如图中的灰色矩形所示。在完成预定的m1个周期的投射后,亚周期T1结束,进入投射激光在每个投射周期tp的π/2~π相位内保持开启的亚周期T2。
如图13B所示,在亚周期T2中,投射激光在每个投射周期tp的π/2~π相位内保持开启,此时,由于第一组像素和第二组像素也开启,因此能够在每个投射周期tp的π/2~π相位内对被反射的投射光进行曝光,使得相应的像素内能够存在电荷累计,如图中的灰色矩形所示。在完成预定的m2个周期的投射后,亚周期T2结束,进入投射激光在每个投射周期tp的π~3π/2相位内保持开启的亚周期T3。
如图13C所示,在亚周期T3中,投射激光在每个投射周期tp的π~3π/2相位内保持开启,此时,由于第二组像素和第三组像素也开启,因此能够在每个投射周期tp的π~3π/2相位内对被反射的投射光进行曝光,使得相应的像素内能够存在电荷累计,如图中的灰色矩形所示。在完成预定的m3个周期的投射后,亚周期T3结束,进入投射激光在每个投射周期tp的3π/2~2π相位内保持开启的亚周期T4。
如图13D所示,在亚周期T4中,投射激光在每个投射周期tp的3π/2~2π相位内保持开启,此时,由于第三组像素和第四组像素也开启,因此能够在每个投射周期tp的3π/2~2π相位内对被反射的投射光进行曝光,使得相应的像素内能够存在电荷累计,如图中的灰色矩形所示。在完成预定的m4个周期的投射后,亚周期T4结束。此时,完成了一个循环子周期的投射,并进入下一个循环子周期/>的亚周期T1。
在一个简单的实现中,可以使得每个亚周期的投射周期数相同,即,m1=m2=m3=m4,即,T1-T4的时长相同,此时,如果线型光以匀速扫过成像平面,则能够得到如图12所示的相移图。结合如图13A-D所示,在亚周期T1,投射激光的点亮区间落入第一组像素和第四组像素的曝光区间,因此第一组像素和第四组像素对应于亮纹;在亚周期T2,投射激光的点亮区间落入第一组像素和第二组像素的曝光区间,因此第一组像素和第二组像素对应于亮纹;在亚周期T3,投射激光的点亮区间落入第二组像素和第三组像素的曝光区间,因此第二组像素和第三组像素对应于亮纹;在亚周期T4,投射激光的点亮区间落入第三组像素和第四组像素的曝光区间,因此第三组像素和第四组像素对应于亮纹。重复如上循环子周期达预定次数,例如,M次,并由此完成一次扫描周期/>图14示出了完成一次扫描周期/>从像素组1-4中分别得到的图案1-4。例如,在图14的例子中,M可以等于16,即,重复16次循环子周期/>由此得到相位差为π/2的明暗条纹的四步相移图。
由此,在进行明暗条纹的N步相移图的求取时,在每个循环子周期中,包括N个亚周期T1-TN,在每个亚周期Ti中,所述线型光以投射周期tp进行亮暗变化,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括亮区,其中,在亚周期T1-TN中,所述亮区在所述投射周期tp中所处的位置以2π/N相位的间隔进行变化,由此可以使得在所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素中各自成像一个不同的条纹图案,并且N个条纹图案之间存在2π/N的相移。由此,通过线型光的一次例如从左到右的扫描(对应于一个扫描周期/>),可以直接从图像传感器的N组像素中获取一组N步相移图案。
线型光扫描对应于每列像素上的停留时间tc不小于扫描周期除以列数C。为了保证充分曝光,所述停留时间tc是所述投射周期tp的10倍以上,优选地,所述停留时间tc是所述投射周期tp的50倍以上。例如,假设扫描周期/>为3.84ms(即,帧率为1000/3.84≈260帧/s),在图像传感器包括1920列(在具有图6所示像素单元的情况下,具有960列的像素单元)像素的情况下,每个像素被线型光扫过的时间,即停留时间tc可以等于扫描周期/>除以列数C,即,3.84ms/1920=2us,或者在考虑到线型光具有一定宽度的情况下,停留时间tc不小于2us。在线型光投射周期tp为20ns且占空比为25%的情况下,每一个像素列都能够在线型光扫过的2us中完成100次曝光开启,并且与当前投射周期tp的亮区位置对应的那两组像素能够实现时长为5nsx 100=0.5us的曝光。另外,由于线型光扫描经过一列像素的时间相比于像素的曝光周期足够长(例如上例的100倍),因此对应当前被照射的像素列而言,可以近似认为线型光本身在这2us中为位置没有移动的光源。
而在每个像素列的停留时间tc不小于2us时,如果像素单元具有例如图6所示的2x2排列的4像素结构,则每个像素单元被线型光扫过的时间不小于4us。为了实现四步相移,需要每个亚周期Ti的持续时长不小于线型光扫过一个像素单元列的时间。在使用上例中1920列的图像传感器获取图10所示的具有32个条纹(16个亮纹16个暗纹)四步相移图时,每个条纹覆盖60个像素列(1920/32=60),即30个像素单元列。如图9所示,由于每个亚周期Ti对应于半个条纹,因此覆盖30个像素列,即15个像素单元列,持续时间为2usx 30=60us。因此在此例中,m1=m2=m3=m4=m=60us/20ns=3000。由于线型光投射周期tp与各个像素组的曝光开关周期te时长相同,因此在线型光扫描通过半个条纹的距离时,对应的各组像素也已开关3000次。
如上结合图12~图14给出了投射的所述线型光是投射周期tp且具有2π/N相位亮区的矩形波的例子。在该例中,投射的线型光始终是投射周期tp、占空比为100/N%(在N=4的上例中,占空比为25%,对应于2π/N相位的亮区)且每个不同的投射周期tp内亮区的投射光强有优选相同的矩形波。在每个亚周期Ti中,所述线型光的各个投射周期tp内投射波形相同,并且是2π/N相位亮区,6π/N相位暗区的矩形波(例如,每个投射周期tp中,激光器在tp/N的时间内开启,(N-1)*tp/N的时间内关闭)。在相继的亚周期之间,线型光的投射周期以及亮区暗区比例不变,仅仅是亮区位置发生变化。并且在组成一个扫描周期的多个循环子周期/>内重复。由此,得到的一组N步相移图案是图14所示亮区和暗区区分明显且重复多次的条纹图案。
以上基于100/N%占空比且亮度不变的矩形波来获取图14所示明暗条纹的实施例,可以看作是本发明基于线型光投射周期tp内,每2π/N相位单独可调并由此结合相位差为2π/N且曝光周期同样等于tp的图像传感器生成一组N步相移图案的成像方案的一个特例。
本发明的投射和成像方案可以用于单目方案(即,配备一个图像传感器的方案),也可以用于双目方案(即,配备相对位置固定的两个图像传感器进行同步成像的方案)。所述图像传感器包括相对位置固定的第一图像传感器和第二图像传感器时,所述第一图像传感器和第二图像传感器可以各自包括所述N组像素,并且彼此同步进行曝光。换句话说,在双目方案中,在所述扫描周期内完成一次图案扫描时,第一图像传感器可以获取N张条纹图像,第二图像传感器可以获取N张条纹图像,并且可以利用这2N张条纹图像来进行一次深度数据的求取。
进一步地,为了实现扫描投射,本发明的投影装置包括:发光装置,用于产生线型光;以及反射装置,用于反射线型光,以预定频率向拍摄区域投射在所述条纹方向的垂直方向上移动的线型光,所述线型光的长度方向是所述投射条纹的长度方向,所述反射装置包括如下之一:以所述预定频率往复振动的机械振镜;以预定频率往复运动的微镜器件;以及以预定频率单向旋转的机械转镜。在此,投射的线型光可以是呈高阶高斯或平顶高斯分布的线型光,由此在线型光的宽度方向上提供高度一致的亮度分布。
本发明还公开了一种使用上述测量头的测量装置。具体地,一种深度数据测量装置可以包括如上所述的深度数据测量头,以及与深度数据测量头相连接的处理器,用于在所述扫描周期内完成一次图案扫描时,从获取的所述N个条纹图案中求取所述成像区域的一张深度图。在双目方案中,所述处理器则可以根据第一和第二图像传感器的预定相对位置及其对所述结构光成像得到的N个第一二维图像帧和N个第二二维图像帧,确定拍摄区域中拍摄对象的深度数据。在不同的实施例中,测量头可以具有相对独立的封装,也可以与处理器一并封装在测量装置中。
图15示出了根据本发明一个实施例的深度数据测量装置的示意图。如图所示,测量装置1500可以包括如上所述的测量头和处理器1530。测量头则包括投影装置1510以及两个图像传感器1520。
处理器1530与测量头相连接,例如与投影装置1510和两个图像传感器1520的每一个相连接,用于根据第一和第二图像传感器1520_1和1520_2的预定相对位置及其对所述结构光成像得到的N个第一二维图像帧和N个第二二维图像帧,确定所述拍摄区域中拍摄对象的深度数据。
图16示出了根据本发明一个实施例的深度数据测量方法的示意性流程图。该方法可由本发明的深度数据测量头和测量装置实施。
在步骤S1610,向成像区域投射沿第一方向移动的线型光,其中,所述线型光的长度方向是与所述第一方向垂直的第二方向,投射的线型光在扫描周期内完成一次图案扫描,所述扫描周期/>中包括多个循环子周期/>在每个循环子周期/>中,所述线型光以投射周期tp进行亮暗变化,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括N个宽2π/N的波形投射区,对每个波形投射区的投射光强进行编码,N是大于1的整数。
在步骤S1620,使用包括在成像表面均匀分布的N组像素的图像传感器对所述成像区域进行拍摄以获得在所述线型光扫描投射下的N个图像帧,其中,每组像素以彼此间隔2π/N相位的曝光开关周期te进行曝光。
在步骤S1630,基于所述图像帧求取所述成像区域内被测对象的深度数据。
每个波形投射区的投射光强被编码以使得在所述扫描周期内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成彼此之间存在2π/N相移的一组N步相移图案。
上文中已经参考附图详细描述了根据本发明的深度数据测量头、测量装置和测量方法。本发明的深度数据测量方案利用设置有能够相移曝光的不同组像素的图像传感器对投射的相移线型光进行成像,使得在线型光的单次扫描中,图像传感器的不同组像素能够各自获取不同的相移条纹图像,从而实现单次线型光扫描的多幅条纹图像的获取。由此,可以大幅提升深度图的合成速度,并且适于对运动中目标对象进行拍摄。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (16)
1.一种深度成像测量头,包括:
投影装置,用于向成像区域投射沿第一方向移动的线型光,其中所述线型光的长度方向是与所述第一方向垂直的第二方向;
图像传感器,所述图像传感器包括在成像表面均匀分布的N组像素,每组像素以彼此间隔2π/N相位的曝光开关周期te进行曝光,其中,N是大于1的整数,
其中,所述投影装置在扫描周期内完成一次图案扫描,所述扫描周期/>中包括多个循环子周期/>在每个循环子周期/>中,所述线型光以投射周期tp进行亮暗变化,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括N个宽2π/N的波形投射区,对每个波形投射区的投射光强进行编码,使得在所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成彼此之间存在2π/N相移的一组N步相移图案。
2.如权利要求1所述的深度成像测量头,其中,所述图像传感器包括多个像素单元,每个像素单元包括各自属于N组像素中的一个像素。
3.如权利要求1所述的深度成像测量头,其中,所述线型光的投射投射周期tp与所述第一组像素的曝光开关周期te同步。
4.如权利要求1所述的深度成像测量头,其中,N=2n,n是大于等于1的整数。
5.如权利要求1所述的深度成像测量头,其中,每个波形投射区对应投射的是宽2π/N的矩形波或0,并且基于一组N步相移图案对应于一个循环子周期的光强分布,确定每个波形投射区的光强。
6.如权利要求5所述的深度成像测量头,其中,所述一组N步相移图案是正弦波四步相移图案,并且基于N组像素对应于波形投射区的曝光求取每个投射周期tp中每个波形投射区的光强取值,其中,所述光强取值不小于零。
7.如权利要求1所述的深度成像测量头,其中,线型光扫描对应于每列像素上的停留时间tc不小于扫描周期除以列数C,所述停留时间tc是所述投射周期tp的10倍以上。
8.如权利要求6所述的深度成像测量头,其中,在每个亚周期Ti中,所述线型光以投射周期tp投射m次,并且每个亚周期Ti的持续时间大于所述停留时间tc。
9.如权利要求1所述的深度成像测量头,其中,所述图像传感器中的每个像素包括对应的电荷存储单元,在所述扫描周期内完成一次图案扫描时,从N组像素各自对应的N组电荷存储单元中获取所述一组N步相移图案,所述一组N步相移图案用于生成所述成像区域的一张深度图。
10.如权利要求1所述的测量头,其中,所述投影装置在第一扫描周期内完成一次图案扫描,以使得所述图像传感器的N组像素各自成像一个不同的条纹图案,N个条纹图案构成一组格雷码图案;
所述投影装置在第二扫描周期内完成一次图案扫描,以使得所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成所述一组N步相移图案,
其中,基于所述一组格雷码图案,从所述一组N步相移图案生成所述成像区域的一张深度图。
11.如权利要求1所述的测量头,其中,所述投影装置包括:
发光装置,用于产生线型光;以及
反射装置,用于反射线型光,以以预定频率向拍摄区域投射在所述条纹方向的垂直方向上移动的线型光,所述线型光的长度方向是所述投射条纹的长度方向,所述反射装置包括如下之一:
以所述预定频率往复振动的机械振镜;
以预定频率往复运动的微镜器件;以及
以预定频率单向旋转的机械转镜。
12.如权利要求1所述的测量头,其中,所述图像传感器包括相对位置固定的第一图像传感器和第二图像传感器,其中,所述第一图像传感器和第二图像传感器各自包括所述N组像素,并且彼此同步进行曝光。
13.如权利要求1所述的测量头,其中,所述投影装置在α个扫描周期内完成α次图案扫描,每个所述扫描周期/>中包括多个循环子周期/>在每个循环子周期/>中,包括N个亚周期T1-TN,在每个亚周期Ti中,所述线型光以投射周期tp进行亮暗变化投射,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括亮区,其中,在亚周期T1-TN中,所述亮区在所述投射周期tp中所处的位置以2π/αN相位的间隔进行变化,使得在每次所述扫描周期/>内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且在α个扫描周期/>内完成α次图案扫描时,αN个条纹图案构成彼此之间存在2π/αN相移的一组αN步相移图案,其中,α是大于等于2的整数。
14.如权利要求1所述的测量头,其中,在每个循环子周期中,包括N个亚周期T1-TN,在每个亚周期Ti中,所述线型光以投射周期tp进行亮暗变化投射,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括亮区,其中,在亚周期T1-TN中,所述亮区在所述投射周期tp中所处的位置以2π/N相位的间隔进行变化,使得在所述扫描周期内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成彼此之间存在2π/N相移的一组明暗条纹的N步相移图案。
15.一种深度数据测量装置,包括:
如权利要求1-14中任一项所述的深度数据测量头,以及
与所述深度数据测量头相连接的处理器,用于在所述扫描周期内完成一次图案扫描时,从获取的所述N个条纹图案中求取所述成像区域的一张深度图。
16.一种深度数据测量方法,包括:
向成像区域投射沿第一方向移动的线型光,其中,所述线型光的长度方向是与所述第一方向垂直的第二方向,投射的线型光在扫描周期内完成一次图案扫描,所述扫描周期中包括多个循环子周期/>在每个循环子周期/>中,所述线型光以投射周期tp进行亮暗变化,所述投射周期tp的时长与所述曝光开关周期te的时长相同,并且所述投射周期tp包括N个宽2π/N的波形投射区,对每个波形投射区的投射光强进行编码,N是大于1的整数;
使用包括在成像表面均匀分布的N组像素的图像传感器对所述成像区域进行拍摄以获得在所述线型光扫描投射下的N个图像帧,其中,每组像素以彼此间隔2π/N相位的曝光开关周期te进行曝光;以及
基于所述图像帧求取所述成像区域内被测对象的深度数据,
其中,每个波形投射区的投射光强被编码以使得在所述扫描周期内完成一次图案扫描时,所述图像传感器的N组像素各自成像一个不同的条纹图案,并且N个条纹图案构成彼此之间存在2π/N相移的一组N步相移图案。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210543183.6A CN117128890A (zh) | 2022-05-18 | 2022-05-18 | 深度数据测量头、测量装置和测量方法 |
PCT/CN2023/100797 WO2023222139A1 (zh) | 2022-05-18 | 2023-06-16 | 深度数据测量头、测量装置和测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210543183.6A CN117128890A (zh) | 2022-05-18 | 2022-05-18 | 深度数据测量头、测量装置和测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117128890A true CN117128890A (zh) | 2023-11-28 |
Family
ID=88853199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210543183.6A Pending CN117128890A (zh) | 2022-05-18 | 2022-05-18 | 深度数据测量头、测量装置和测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117128890A (zh) |
-
2022
- 2022-05-18 CN CN202210543183.6A patent/CN117128890A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11105617B2 (en) | Hybrid light measurement method for measuring three-dimensional profile | |
CN107923737B (zh) | 用于超像素调制和环境光抑制的方法和设备 | |
US20230392920A1 (en) | Multiple channel locating | |
CN111829449B (zh) | 深度数据测量头、测量装置和测量方法 | |
US20140085426A1 (en) | Structured light systems with static spatial light modulators | |
CN105806259B (zh) | 一种基于二值光栅离焦投影的三维测量方法 | |
CN103453852B (zh) | 三维扫描系统中的快速相位展开方法 | |
JP7371443B2 (ja) | 三次元計測装置 | |
CN111692987A (zh) | 深度数据测量头、测量装置和测量方法 | |
CN108955571A (zh) | 双频外差与相移编码相结合的三维测量方法 | |
JP2002257528A (ja) | 位相シフト法による三次元形状測定装置 | |
JP7224708B2 (ja) | 深度データ測定ヘッド、測定装置及び測定方法 | |
CN109884101A (zh) | 样品成像系统、样品成像方法、计算机存储介质及计算机装置 | |
CN117128890A (zh) | 深度数据测量头、测量装置和测量方法 | |
JP6920974B2 (ja) | 距離計測装置および距離計測方法 | |
CN117128891A (zh) | 深度数据测量头、测量装置和测量方法 | |
CN117128885A (zh) | 深度数据测量设备和方法 | |
CN117989997A (zh) | 深度数据测量头、测量装置和测量方法 | |
CN115655153B (zh) | 光源调制方法及其mems扫描3d成像系统与成像方法 | |
WO2023222139A1 (zh) | 深度数据测量头、测量装置和测量方法 | |
CN112019773A (zh) | 图像传感器、深度数据测量头、测量装置和方法 | |
CN114459381A (zh) | 一种编码结构光投影方法及其系统 | |
CN209927097U (zh) | 深度数据测量头 | |
RU2812008C1 (ru) | Способ и устройство для измерения трёхмерных координат поверхности объекта | |
EP1417453A1 (en) | Device and method for 3d imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |