CN201707438U - 基于led阵列共透镜tof深度测量的三维成像系统 - Google Patents

Abstract

本实用新型公开了一种基于LED阵列共透镜TOF深度测量的三维成像系统，采用二维LED阵列作为照明光源，每次仅有一颗LED为点亮状态，LED发射的调制光经投影透镜投射到目标的表面，光电接收器接收目标表面的散射光，测量从光源到目标之间的往返飞行时间，并由其得出点亮状态的LED深度像素值，完成单个LED深度像素值测量；再时分扫描整个二维LED阵列，重复单个LED深度像素值的测量过程，获得全部LED深度像素值并组合生成目标的深度图像；同时目标表面的散射光经二维成像透镜后由二维图像传感器获得目标二维图像；投影透镜和二维成像透镜为同一透镜；以二维图像和深度图像融合生成目标三维图像。本实用新型深度图像获取速度快，深度测量分辨率高。

Description

基于LED阵列共透镜TOF深度测量的三维成像系统

技术领域

本实用新型涉及测距成像和三维成像技术领域，特别涉及一种基于LED阵列共透镜TOF深度测量的三维成像系统。

背景技术

现有的以CCD/CMOS照相和数字图像处理为基础的二维2D成像技术已经取得了长足的发展，并且获得了广泛的应用。然而对于三维的真实世界，使用传统二维成像技术获得的二维图像并不足以充分表达所有信息，因此限制了它在许多领域中的应用。为了解决上述的问题，三维成像(3D Imaging)技术应运而生。三维成像是指将客观世界的三维图像通过某种特殊的方法记录下来，然后通过处理、压缩、传输、显示等过程并最终在人的大脑中再现客观的真实图像。由于与通常意义上的二维成像相比，三维成像包含了第三维的距离或深度信息，能够更加充分地描述真实三维场景中物体的位置和运动信息，因此具有许多突出的优点，在机器视觉、实物仿形、工业检测、生物医学、反向工程、虚拟现实等领域具有广泛的应用前景。

基于光学测距的三维成像技术由于具有分辨高、无需接触等优点，逐渐成为国内外的研究热点。目前研究的大部分光学三维成像系统都是基于三角法(Triangulation)或飞行时间(Time-of-Flight：TOF)原理来测量距离的。基于三角法测距的三维成像系统，包括被动三角法(如立体视觉法)和主动三角法(如投影结构光法)，它们都需要处理“阴影”效应或投影条纹“模糊”问题，因此严格限制了它们的应用范围。例如立体视觉法一般只能用于对比度较高的三维场景中目标的识别和分析，因为该方法在确定第三维的距离信息时，需要对不同视觉方向获取的两幅或多幅图像进行特征点的匹配，因此，需要进行复杂的信号处理和大量耗时的数据计算；此外实际应用中目标往往缺乏特征的结构信息或者目标上各点的反射率没有明显差异，这时匹配计算会变得十分困难甚至产生错误，深度测量精度将会受到严重影响。

与三角法测距相比，基于飞行时间TOF的测距方法由于发射单元和接收单元在同一直线上，因此不会产生不完整的数据，不存在“阴影”效应，这使得基于飞行时间TOF的测距方法具有更加广泛的应用范围。但是，传统的基于飞行时间TOF的光学三维成像系统，例如激光成像雷达，实际上只能测量一点的距离(一维测距)。为了获得三维的信息，需要使用精密、笨重且价格昂贵的机械扫描装置将激光束在其它两个方向上对被测场景进行机械扫描，因此深度图像获取速度慢，实时性差；由于机械扫描装置本身存在老化和磨损现象，利用该方法获得的深度图像与二维图像之间对准精度差。此外，该系统在抗振、体积、重量和成本等方面也很难获得突破性的提高。

实用新型内容

本实用新型的目的是针对现有三维成像方法和系统存在深度图像获取速度慢、深度图像与二维图像之间对准精度差等不足，提出一种基于LED阵列共透镜TOF深度测量的三维成像系统，用于实现快速、高精度的三维成像，满足现有诸多领域对高性能三维成像的迫切需求。

本实用新型解决其技术问题所采取的技术方案是：

本实用新型基于LED阵列共透镜TOF深度测量的三维成像系统的特点是：

设置光电调制扫描电路对N×M的LED阵列的输出光功率进行调制和时分扫描，在任意时刻，整个LED阵列中仅有一颗LED被点亮；LED发射的调制光到达分束镜后，分成透射光和反射光，所述透射光经透镜投影在目标的表面，以光电接收器PD1接收目标表面产生的散射光；所述反射光直接由光电接收器PD2接收；

设置TOF深度测量电路，以所述TOF深度测量电路分别处理光电接收器PD1和光电接收器PD2输出的光电信号，依次计算每一个LED深度像素值，所述LED的深度像素值在PC中组合生成目标的深度图像；同时目标表面的散射光经透镜、再经分束镜反射后被二维CCD/CMOS图像传感器接收，并经二维图像信号处理电路获得与所述深度图像实时对准的目标的二维图像；

所述深度图像与二维图像在PC中融合生成目标的三维图像。

本实用新型系统的特点也在于在所述TOF深度测量电路中包括有一个反馈式自动增益控制AGC电路，所述反馈式AGC电路采用平方幅度检测电路对输入信号进行幅度检测，其输出信号经第二固定增益放大电路后，被送入电感电阻LR低通滤波器以滤除产生的高次谐波，其输出的直流电平被用于控制可变增益放大电路的增益；输入信号在经可变增益放大电路和第一固定增益放大电路放大后，获得反馈式AGC电路的输出信号。

与已有技术相比，本实用新型有益效果体现在：

1、本实用新型采用快速电子扫描的二维LED阵列作为照明光源，成像不需要任何的机械移动和旋转部件；

2、本实用新型通过采用高精度、快速的平方幅度检测电路和响应时间短的LR低通滤波器构建了增益控制精度高且响应快速的反馈式AGC电路，并将其用于快速TOF深度测量，成像系统的深度图像获取速度快，且深度测量分辨率高；

3、本实用新型中二维图像与深度图像共用同一透镜成像，能够克服使用不同镜头成像带来的固有像差问题，可实现深度图像与二维图像之间的实时高精度对准；

4、通过对LED管芯密集封装可获得高密度的二维LED阵列，因此，本实用新型成像系统的深度图像像素数量大，空间分辨率高；

5、本实用新型中成像系统通过小电容的交流耦合滤除接收光电信号中由环境光作用产生的直流分量，因此成像系统具有很强的抗环境光干扰能力。

6、本实用新型成像系统结构简单、体积小、成本低。

附图说明

图1为本实用新型的结构原理示意图。

图2为反馈式AGC电路结构方框图。

图3为深度图像获取的一个具体实施方案。

具体实施方式

本实施例中基于LED阵列共透镜TOF深度测量的三维成像方法按如下步骤进行：

1、采用光功率调制的二维LED阵列作为照明光源，每次仅有二维LED阵列中的一颗LED为点亮状态，LED发射的调制光经投影透镜投射到目标1的表面，用光电接收器6接收目标1表面的散射光，测量从光源到目标1之间的往返飞行时间TOF，依据往返飞行时间TOF计算得出点亮状态的LED的深度像素值，完成单个LED深度像素值的测量；

2、时分扫描整个二维LED阵列，重复单个LED深度像素值的测量过程，获得全部LED深度像素值并组合生成目标1的深度图像；同时，目标1表面的散射光经二维成像透镜后由二维CCD/CMOS图像传感器9接收，获得目标1的二维图像；设置投影透镜和二维成像透镜为同一透镜2，使深度图像和二维图像实时对准；

3、将二维图像和深度图像融合生成目标1的三维图像。

具体实施中，设置分束镜3，LED光源发射的调制光经分束镜3透射到达投影透镜；目标1表面的散射光经二维成像透镜后，再经分束镜3反射到达所述二维CCD/CMOS图像传感器9。

本实施例中基于LED阵列共透镜TOF深度测量的三维成像系统的具体实施为：

参见图1，设置光电调制扫描电路5对N×M的LED阵列4的输出光功率进行调制和时分扫描，在任意时刻，整个LED阵列4中仅有一颗LED被点亮；LED发射的调制光到达分束镜3后，分成透射光和反射光，透射光经透镜2投影在目标1的表面，以PD1光电接收器6接收目标1表面产生的散射光；反射光直接由PD2光电接收器7接收；设置TOF深度测量电路8，以TOF深度测量电路8分别处理PD1光电接收器6和PD2光电接收器7输出的光电信号，依次计算每一个LED深度像素值，LED的深度像素值在PC 11中组合生成目标1的深度图像；同时，目标1表面的散射光经透镜2再经分束镜3反射后被二维CCD/CMOS图像传感器9接收，并经二维图像信号处理电路10获得与深度图像实时对准的目标1的二维图像；深度图像与二维图像在PC中融合生成目标1的三维图像。

本实施例中，在TOF深度测量电路8中包括有一个反馈式自动增益控制AGC电路，反馈式自动增益控制AGC电路采用平方幅度检测电路15对输入信号进行幅度检测，其输出信号经第一固定增益放大电路16后，被送入电感电阻LR低通滤波器14以滤除产生的高次谐波，其输出的直流电平被用于控制可变增益放大电路12的增益。输入信号在经可变增益放大电路12和第二固定增益放大电路13放大后，最终获得反馈式AGC电路22的输出信号。

TOF测距是应用光速c不变和测量光的飞行时间t来获得被测距离的。LED阵列中每一个LED像素的深度值可以采用光电相移式TOF测距方法来获取，即使用频率为f_m的连续正弦波对阵列中LED的输出光功率进行调制，将直接测量光的往返飞行时间t转化为间接测量与t对应的调制电信号的相位移动ΔΦ来获得被测距离d：

$d=\frac{1}{2}\mathrm{ct}=\frac{1}{2}c\·\frac{1}{f_m}\·\frac{\mathrm{\Δ\Φ}}{2\mathrm{\π}}=\frac{c}{4\mathrm{\π}{f}_m}\·\mathrm{\Δ\Φ}---\left(1\right)$

由于光的飞行速度很快，采用这种方法可以避免直接测量光极其短暂的飞行时间所带来的困难，同时又能够获得很高的测距分辨率。

图3为深度图像获取的一个具体实施方案，也是TOF深度测量电路8的一个实施例。首先使用频率为f_m的调制源17产生的连续正弦波经驱动器18后对N×M LED阵列4中LED的输出光功率进行调制，并将输出的调制光经透镜2投影到目标1上，接着使用光电接收器PD1接收目标1表面的散射光信号，在将其转化为相应的电信号后，通过小电容的交流耦合作用滤除该信号中主要由环境光作用产生的并且影响深度测量分辨率的直流分量，然后使用低噪声放大器19对该信号中的交流成分进行放大，并与f_o本振21进行差频处理以获得低中频信号f_I；然后采用快速反馈式AGC电路22对其进行自动增益控制并送入带通滤波器23进行滤波处理，最后在相移检测模块24中采用“四点”相位算法对获得的高信噪比的中频信号f_I进行相位检测。

成像系统中另外一路PD2接收处理通道被用作参考通道，用来直接接收未经透镜投影的LED光信号，该参考通道的信号处理流程与上一路完全相同，其目的是为了减小电路的温漂对相移测量引入的误差。具体实施中，如果电路的温漂对相移测量引入的误差不大，也可以在系统中去除光电接收器PD2及其相应的接收处理通道，直接使用调制源17产生的正弦调制信号作为相位测量的参考信号。

此外，两路PD接收通道均采用全差分方式处理得到的微弱光电信号，目的是为了抑制共模干扰信号，改善成像系统的信噪比，提高最终的深度测量分辨率。

在分别测得两路中频信号的相位后，在相移检测模块24中将两者作差即可得到相应于光飞行时间的相移ΔΦ。最后将获得的相移ΔΦ带入公式(1)，通过处理单元电路就可得到最终的被测距离d，并将相应的结果发往PC 11。在获得单个LED深度像素的距离后，通过对二维LED阵列进行时分扫描，最终实现整个深度图像的获取。

时分扫描控制流程：

在成像系统工作时，相隔一定的时间间隔依次点亮阵列中的每一颗LED，直到遍历整个LED阵列。在任意时刻，整个阵列中仅有一颗LED处于点亮状态，而其他的LED都是熄灭的，并且每颗LED被点亮的时长也是固定的，该固定时长是根据成像系统深度图像像素的多少和实际应用的需求来确定的。例如N＝M＝10，即对于深度像素为10×10的LED阵列，如果实际应用需要10帧/秒的动态测量速度，那么阵列中每颗LED点亮的固定时长为1ms；在这1ms时间内，成像系统需要完成一个LED深度像素的快速TOF距离测量和结果的发送工作，在此之后成像系统熄灭该颗LED，点亮下一个相邻的LED灯，进入下一个1ms周期的深度像素测量和结果发送；以此类推，直到遍历整个LED阵列完成整个一帧深度图像的测量并进入下一帧的循环测量。

在TOF深度测量电路8中采用反馈式AGC电路22对混频后的中频信号进行处理，可以防止光电接收器PD1接收的光电信号由于自身幅度大小的不同而引入相移或距离测量误差。由于需要在很短的时间内对该中频信号进行自动增益控制，该AGC电路要求具有极短的响应时间。例如对于深度像素为10×10的LED阵列，如果实际应用需要10帧/秒的动态测量速度，那么每个LED深度像素的测量时间t_S＝1ms，为了保证高的深度测量分辨率，AGC电路的响应时间t_R应该远远小于t_S，例如可取t_R＝t_S/10＝0.1ms。而传统的反馈式AGC电路往往需要较长的响应时间(一般大于秒级)，例如使用二极管检波，RC滤波的AGC电路，不符合此处的应用要求；尽管现有前馈式AGC电路具有很短的响应时间，但是由于它的增益控制精度较差而不能用于这里高精度的相移或距离检测场合。

图2为增益控制精度高且响应快速的反馈式AGC电路方框图，其中输入中频信号的幅度和频率约为0.5～20mV_p-p和10KHz～1MHz。对输入信号进行幅度检测的平方幅度检测电路15可选用响应时间很短的双平衡模拟乘法器，而可变增益放大电路12可以采用差分电流模式增益控制电路，第一固定增益放大电路13和第二固定增益放大电路16为普通的差分放大器。经第二固定增益放大电路16输出的信号被送入LR低通滤波器14以滤除产生的高次谐波，这是利用了电感的感抗随着输入信号频率升高而增大的特性，因此该滤波器除了具有很好的低通滤波效果外，还具有很短的响应时间，可明显优于0.1ms。LR低通滤波器14的输出直流电平被用于控制可变增益放大电路12的增益。输入信号在经可变增益放大电路12和第一固定增益放大电路13放大后，最终可获得反馈式AGC电路22的输出信号。

二维CCD/CMOS图像传感器9可以选用成熟的二维图像传感器MI360，二维图像信号处理电路10可以使用现有的专用图像处理芯片ZC0301，通过两者结合来共同完成实时高像素的二维图像的获取。

通过应用分束镜3对N×M LED阵列4投影光的透射作用和对被测三维目标1表面散射光的反射作用，将透镜2不仅用作LED阵列深度测量的投影透镜，同时也用于收集目标1表面的散射光，作为目标1的二维成像透镜，实现深度图像和二维图像共用同一透镜2成像，从而克服使用不同镜头成像所带来的固有像差问题，实现二维图像和深度图像之间的实时高精度对准，详细的光路结构如图1所示。

图1给出了深度图像和二维图像共用同一透镜2成像的一种光路结构，具体实施中，至少还可以有另一种光路结构：保持图1中分束镜3的摆放位置和角度不变，将图1中N×M LED阵列4和二维CCD/CMOS图像传感器9的位置进行互换，使得LED光源发射的调制光经分束镜3反射到达透镜2；目标1表面的散射光经透镜2后，再经分束镜3透射到达二维CCD/CMOS图像传感器9。

为了符合共用透镜成像的要求，分束镜3在安装后需要给N×M LED阵列4和二维CCD/CMOS图像传感器9提供同样的视场，并且N×M LED阵列4的面积大小必须和二维CCD/CMOS图像传感器9的面积大小相同。可以利用现有成熟的微电子工艺，对小体积的LED管芯进行密集封装，以形成高像素小面积的LED阵列芯片，这不仅是减小LED阵列面积的有效方法，同时也是增加LED深度图像像素数量，提高成像系统空间分辨率的有效途径。经密集封装的小面积LED阵列还可以保证在进行深度测量时阵列中所有被调制发射的LED管芯具有相同的温度环境，可减小温度效应对深度测量分辨率的影响，同时还能够减小投影成像透镜2的直径，缩小整个光学成像系统的体积。此外，如果在对LED管芯进行密集封装的同时集成入一些简单的LED阵列行列选通和驱动电路，可进一步提高系统的集成度并构建更加小巧紧凑的三维成像系统。

在PC中，基于成熟的图像处理算法，将获得的二维图像和深度图像数据“融合”在一起，即可得到最终所需的高性能实时三维图像。另外，如果实际成像系统中获得的深度图像像素数量少于二维图像的像素数量，可以首先对深度图像进行插值处理后再进行二者的数据融合处理。

Claims (2)

1.一种基于LED阵列共透镜TOF深度测量的三维成像系统，其特征在于：

设置光电调制扫描电路(5)对N×M的LED阵列(4)的输出光功率进行调制和时分扫描，在任意时刻，整个LED阵列(4)中仅有一颗LED被点亮；LED发射的调制光到达分束镜(3)后，分成透射光和反射光，所述透射光经透镜(2)投影在目标(1)的表面，以光电接收器PD1(6)接收目标(1)表面产生的散射光；所述反射光直接由光电接收器PD2(7)接收；

设置TOF深度测量电路(8)，以所述TOF深度测量电路(8)分别处理光电接收器PD1(6)和光电接收器PD2(7)输出的光电信号，依次计算每一个LED深度像素值，所述LED的深度像素值在PC(11)中组合生成目标(1)的深度图像；同时目标(1)表面的散射光经透镜(2)、再经分束镜(3)反射后被二维CCD/CMOS图像传感器(9)接收，并经二维图像信号处理电路(10)获得与所述深度图像实时对准的目标(1)的二维图像；

所述深度图像与二维图像在PC(11)中融合生成目标(1)的三维图像。

2.根据权利要求1所述的基于LED阵列共透镜TOF深度测量的三维成像系统，其特征是在所述TOF深度测量电路(8)中包括有一个反馈式自动增益控制AGC电路(22)，所述反馈式AGC电路(22)采用平方幅度检测电路(15)对输入信号进行幅度检测，其输出信号经第二固定增益放大电路(16)后，被送入电感电阻LR低通滤波器(14)以滤除产生的高次谐波，其输出的直流电平被用于控制可变增益放大电路(12)的增益；输入信号在经可变增益放大电路(12)和第一固定增益放大电路(13)放大后，获得反馈式AGC电路(22)的输出信号。

Images