CN104677308B

CN104677308B - 一种高频二值条纹的三维扫描方法

Info

Publication number: CN104677308B
Application number: CN201510048542.0A
Authority: CN
Inventors: 宋展; 程志全
Original assignee: Individual
Current assignee: Wang Juan
Priority date: 2015-01-30
Filing date: 2015-01-30
Publication date: 2017-08-29
Anticipated expiration: 2035-01-30
Also published as: CN104677308A

Abstract

本发明涉及一种高频二值条纹的三维扫描方法。该方法首先采用结构光3D扫描，获取投影仪及相机的内外部参数，进行全局对比度估测；然后，基于二值位移条纹边缘的亚像素定位及进行高频二值条纹局部编码，最后，局部周期混淆的消除和三维重建。在编码方面，采用了二值条纹的黑白边缘作为编码特征，具有显著的鲁棒性优势；在解码方面，采用了虚拟反相位图像生成方法，减少了总体投射的编码图案数目；通过虚拟反相位位移图像的生成，结合正弦拟合求交策略，实现编码特征点的亚像素高精度定位；采用常用的投影设备，降低成本，更易于实施；在现有的DLP投影设备中，输出二值条纹可以达到更高的投射频率，从而更易于实现高速度的三维扫描过程。

Description

一种高频二值条纹的三维扫描方法

技术领域

本发明涉及计算机视觉与光学三维测量相关领域，特别涉及一种高频二值条纹的三维扫描方法。

背景技术

三维扫描技术发展迅速，目前已应用到了工业检测、设计、动漫及电影特效制作、3D展示、虚拟手术、反求工程等诸多领域和行业。

从现有的三维扫描技术手段来看，以激光三维扫描和投影结构光三维扫描技术为主，激光三维扫描系统通过投射激光线或者点阵，用摄像头捕捉投射的激光特征，通过三角测量恢复三维深度信息，但这种逐点和逐线的扫描方式主要缺点就是速度慢；在基于投影仪的结构光三维扫描系统中，其通过结构光编码技术，实现整个面的一次性测量，具有速度快和精度高的明显优势，因而基于投影的结构光三维扫描技术已成为目前的主流技术手段。

根据专利文献检索，与本发明相关的有专利包括：201010513284.6、201010160681.X、200820089810.9和200910217739.7。201010513284.6是一种三维扫描装置及三维扫描方法，硬件为一字线激光发射模块，速度远低于本专利采用的投影仪。201010160681.X是文物旋转结构光三维数字化建模方法，它使用了双面相机，本发明则采用了单目相机，硬件数目更少。200820089810.9是基于彩色结构光的文物三维重建装置，它使用了红、绿和蓝三基色组成的结构光，本专利则使用了黑白两种颜色的结构光，即使与200910217739.7（一种基于结构光的三维物体表面重建方法）的灰色格雷编码相比，编码算法也更直接。

简而言之，本发明采用了高频二值条纹的结构光图像编码，该编码的特征是高频二值条纹的边缘结构信息，而不是灰度相位信息，扫描过程具有高鲁棒性，并提高了三维扫描的速度。更重要的是，本发明的扫描结果具有高精确度。

发明内容

本发明提出一种高频二值条纹的三维扫描方法，能够鲁棒地完成三维对象的快速扫描。该方法采用高频二值条纹的边缘特征，将编码特征的定位精度提高到了亚像素级别，从而扫描结果具有高精确度。

图1为本发明的实施系统工作示意图，其基本组成部分包括：投影设备、相机、控制模块、数据处理单元，所述控制单元与投影设备及相机相连，相机与数据处理单元连接；

所述投影设备，可以采用DLP,LCOS,LCD等常用投射设备作为结构光系统输出模块；

所述相机，用于投影图案的同步拍摄；

所述控制模块，可以是FPGA或者DSP等控制模块，其承担的主要功能是：将预先存储的二值图案通过视频接口（可以是HDMI,VGA或其他视频接口）输出至投影设备，输出每一帧画面的同时，向相机发送触发信号，由相机同步拍摄投影设备所投射的每一帧图像；

所述数据处理单元，获取来自相机的拍摄图像，通过三维重建软件进行结构光图像的解码和物体三维信息的恢复。

本发明技术方案的详细阐述

首先，采用结构光3D扫描，获取投影仪及相机的内外部参数，进行全局对比度估测，标定的过程与现有的格雷码及正弦结构光系统类似，属于业内常用技术手段，不做详述；

然后，基于高频二值位移条纹边缘特征进行编码，

最后，局部周期混淆的消除和三维重建。

具体包括以下内容：

（1）全局对比度估测

首先投射全白I _w和全黑I _B图案，在相机获取的图像中，通过2张图像差分计算图像整体对比度，得到对比度图像I _C，针对图像I _C并设置2个阈值T1和T2，例如T1=10，则表示全黑和全白图像中，如果某个图像点的灰度变化<10，这有两种可能，其一可能是阴影存在区域，其二可能是表面反射过强造成的高反光区域，则在后续重建中对该区域不予处理，以免引入过多噪声数据；如T2则针对全白图像进行判读，如T2=250，则表示白色图像中如果某图像点亮度超过250，则可能存在高反光，后续解码过程中该区域出现错误的几率很大，因此在后续解码和重建中也不予处理。通过2个阈值的设定，可生成一个二值的模板图像I _T，其中I _T中为1的区域表示曝光和对比度较为良好的区域，为0则表示对比度较低或者存在过曝光的区域，使用该二值模板图像可显著提高后续的图像解码效率，并大大降低解码的错误率；

（2）高频二值条纹局部编码

采用周期为P的二值条纹（假设P=8，则表示一对黑白条纹其条纹宽度均为4个像素，如果投影机分辨率为1024，则投射条纹图像中包含128个黑白周期条纹），将该条纹图像位移P/2次（如P=8，则移动4次，每次位移1个像素），则投影机中每个像素都会经历一次从黑色到白色或者从白色到黑色的状态变化，因此我们需要投影机投射四张图案I _S1-4。在实际扫描过程中，考虑到物体本身具有的颜色纹理等特性，直接去精确的检测黑白条纹的边缘特征是非常困难的，因此我们采用了反相二值位移条纹的方法，在原有四次位移的基础上再位移4次，每次1个像素，这样我们需要投影机再投射4张图案I _S5-8，这样总计需要8张条纹位移图案，为了减少所需的位移条纹图像数量，提高扫描速度，我们采用了虚拟反相图的方法，所谓虚拟反向图即通过I _S1-4，I _w，I _B的计算，得到I _S5-8，通过简单的分析我们可以发现 I _S5=I _w- I _S1 +I _B，同理其他3张虚拟反相图也可以计算出来，这样，我们不需要投射额外的四张图案即可得到8张条纹位移图像。理想情况下，I _S1和I _S5两张图像相减的话，图像中只存在3个数值，-255，0，255，其中0就是两个条纹变化的边缘，再细分的话，如图2所示，有两种边缘情况，即红色部分所示，由-255跳变为255，和蓝色部分，由255跳变为-255，则我们赋予红色边缘的图像点位置编码值0，赋予蓝色边缘的图像点位编码值4。同理，I _S中图像两两相减后，我们可以赋予图像中每个边缘点位置一个编码值，即从0-7的编码值，此时不难发现图像中将存在128个这样的从0-7的局部编码区域。

（3）二值位移条纹边缘的亚像素定位方法

图3所示的是理想情况下的条纹边缘定位及编码的方法，在实际情况中，受到镜头光学特性及物体表面反射或者纹理的影响，我们是很难在图像中得到这样的矩形波形的，其边缘往往呈现渐变及模糊形态，为了获取高精度的亚像素边缘定位数据，本发明提出了一种基于数据拟合的边缘定位方法，该方法主要分两个步骤：1）首先将两幅待处理图像如I _S1和I _S5与黑色图像I _B做差，以减少物体本身颜色和纹理的影响，这样使得I _S1和I _S5图像中白色条纹和黑色条纹内部的亮度分布更为均匀（因为减除了背景亮度的影响），使得边缘清晰度和图像整体对比度有所提升；2）考虑到投影镜头和相机镜头本身就会导致条纹边缘模糊，且模糊后的条纹基本符合正弦分布的特性，我们使用正弦函数对一个周期内的条纹进行拟合处理，以I _S1和I _S5为例，其存在半个周期的理论位移，因此拟合后的2个正弦函数同样存在半个周期的位移，则两条正弦曲线的交点则可定义为如图3所示的红色和蓝色边缘点，且可以达到亚像素的定位精度。通过上述算法的实施，即可以减少物体表面颜色问题对投射条纹图像的影响，更可以将编码边缘特征的精度提升到亚像素级别，显著提高了整个解码的鲁棒性和三维重建的精度。

（4）局部周期混淆的消除

通过上述步骤，假设投影仪水平分辨率为1024，即2的10次方，则我们可以得到128个周期为8的局部编码图像，且编码特征为亚像素精度的条纹边缘编码特征。此时，我们引入格雷码方法，如图1所示，顺序投射出n=8的格雷码图案I _G1-8，其最细黑色条纹宽度为8（假设我们所使用的位移条纹周期为8，即位移黑色条纹宽度为4，因此不需要再投射更细的格雷码图案），此时可将整个图像的分成128个独立编码区域，各区域的编码值依次为0，8，16….1016，然后将（3）中得到的128个局部编码值0-7填充到格雷码编码值中，则可以得到0-1023个唯一编码值，此时即完成了整个解码过程，使得每一个图像边缘特征点具有唯一的行编码值，在实际实施中，考虑到物体表面颜色及纹理因素的影响，为了提高此解码过程的鲁棒性，我们同样采用了反相投射的方法，即还需要再投射8张格雷码图案，显然将显著增加总体的编码图案数量，参照（2）中的虚拟反相位图方法，我们同样可以计算出另外8张反相格雷码图像I’ _G1-8，由两张对应的反相格雷码图案做差，I _GD =I _G3 – I’ _G3，对I _GD取绝对值，并设置阈值T_D，T_D为255，I _GD中大部分点应该是接近255的，如果其值小于T_D则表示该点的亮度变化微弱，可能存在阴影和过曝光影响，其格雷码解码错误的概率也将增大，在后续处理中将不予编码，由此可显著提高最终全局解码的鲁棒性，减少后续三维重建的噪声，同时又不需要额外投射反相格雷码图案。

（5）三维重建

通过上述步骤，我们可以在图像中得到边缘特征的亚像素图像坐标，且各编码特征点具有唯一的行编码值，此时引入标定阶段得到的几何参数，通过外极线约束条件，此方法为业内常用手段，在此不做详述，则可以唯一确定每个投影仪像素和图像中边缘点的一一对应关系，通过立体视觉中的三角测距方法，则可以得到图像中边缘编码点的三维坐标值，至此完成整个三维重建过程。

本发明的关键点

1、所使用的编码特征是高频二值条纹的边缘结构信息，而不是灰度相位信息，其鲁棒性更高；

2、通过全白和全黑图像的投射，对图像整体的对比度做出估测，通过2个阈值的设置，有效减少了图像中阴影和过曝因素的影响，提高了整体解码效率和效果；

3、所提出的虚拟反相位图像生成方法，使得投影仪不需要投射额外的反相位位移条纹和格雷码条纹图案，即可生成精确的反相位图像，从而提高了扫描的速度；

4、所提出的二值条纹边缘特征精确定位方法，首先通过位移二值条纹图像与黑色图像的差分运算，提高了二值条纹图像的对比度，进而通过符合光学调制特性的正弦拟合策略，对高频条纹进行拟合后，通过正弦曲线求交点的方法，将编码特征的定位精度提高到了亚像素级别。

与现有最好的现有技术相比，本发明的优点

1、在编码方面，采用了二值条纹的黑白边缘作为编码特征，即在解码阶段我们只需要判断图像中二值条纹的黑白变化位置即可，而不必像传统的正弦相位移方法需要知道精确的图像亮度值，对于具有复杂纹理颜色或反射特性的物体表面，该方法具有显著的鲁棒性优势；

2、在解码方面，采用了虚拟反相位图像生成方法，即实现了反相位投射的高鲁棒性优点，又减少了总体投射的编码图案数目；

3、通过虚拟反相位位移图像的生成，结合正弦拟合求交策略，可实现编码特征点的亚像素高精度定位；

所采用的二值编码可采用常用的投影设备，而不需要精确的正弦光栅，有效降低了成本，更易于实施；

4、在现有的DLP投影设备中，输出二值条纹可以达到更高的投射频率，从而更易于实现高速度的三维扫描过程。

附图说明

图1是本发明的实施系统示意图；

图2 是本发明的方法工作流程图

图3 是本发明中二值位移条纹边缘局部编码的示意图。

具体实施方式

图1为本发明的具体实施示意图，主要实施组成包括

投影设备：可以采用DLP,LCOS,LCD等常用投射设备作为结构光系统输出模块；

相机：用于投影图案的同步拍摄；

控制模块：可以是FPGA或者DSP等控制模块，其承担的主要功能是：将预先存储的二值图案通过视频接口（可以是HDMI,VGA或其他视频接口）输出至投影仪模块，输出每一帧画面的同时，向相机发送触发信号，由相机同步拍摄投影仪所投射的每一帧图像；

数据处理单元，获取来自相机的拍摄图像，通过三维重建软件进行结构光图像的解码和物体三维信息的恢复。

图2说明了本发明的具体实施过成，具体包括：

投射白色及黑色图案，用于全局对比度估测

投射二值位移条纹图案，生成反相位位移图像，并在图像中进行二值位移条纹的边缘定位及局部编码赋值

投射二值格雷码图案，并生成反相位格雷码图像，消除二值条纹编码的局部周期混淆

完成全局解码，并对具有唯一编码值的边缘点进行三维重建实施过程的触摸输入实例流程。

图3说明了本发明如何对局部边缘特征进行局部解码的方法。

上述为本发明的具体实例，描述较为具体和详细，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均属于侵犯本发明的保护范围的行为，其可能存在的变更设计比如：

该方法可以使用包括DLP在内的各类投影设备实现，同样也可以以二值物理光栅的方式实现投射，投影设备亦可输出除可见光之外的红外光、紫外光等图像；

图3中的控制卡的同步功能亦可由PC来控制相机-投影仪同步来实现；

发明中仅以条纹周期为8举例说明了其编码和解码原理，同样条纹周期也可以是16，32等，不过其位移次数将显著增加；

发明中仅以投影仪水平分辨率为1024即2的10次方为例，对于其他分辨率的投影设备亦可实施，如对于高清投影设备所具有的1920分辨率，即可采用2056（2的11次方）的编码策略，只是其最大编码值由1023增加到2043，并不影响整个编码及解码的原理及效果；

发明仅以正弦拟合求交为例说明了条纹图像边缘特征点的定位方法，同样也可以采用其他拟合函数进行处理，如二次，三次曲线拟合求交等。

Claims

1.一种高频二值条纹的三维扫描方法，其特征在于，

首先，采用结构光3D扫描，获取投影仪及相机的内外部参数，进行全局对比度估测；

然后，基于二值位移条纹边缘的亚像素定位及进行高频二值条纹局部编码，

最后，局部周期混淆的消除和三维重建，该步骤具体包括：

(1)投射白色及黑色图案，用于全局对比度估测；

(2)投射二值位移条纹图案，生成反相位位移图像，并在图像中进行二值位移条纹的边缘定位及高频二值条纹局部编码；

(3)投射二值格雷码图案，并生成反相位格雷码图像，消除二值条纹编码的局部周期混淆；

(4)完成全局解码，并对具有唯一编码值的边缘点进行三维重建。

2.根据权利要求1所述的一种高频二值条纹的三维扫描方法，其特征在于，所述全局对比度估测，具体过程为：

首先投射全白I_w和全黑I_B图案，在相机获取的图像中，通过2张图像差分计算图像整体对比度，得到对比度图像I_C，

针对图像I_C并设置2个阈值T1和T2，通过2个阈值的设定，生成一个二值的模板图像I_T，其中I_T中为1的区域表示曝光和对比度较为良好的区域，为0则表示对比度较低或者存在过曝光的区域。

3.根据权利要求1所述的一种高频二值条纹的三维扫描方法，其特征在于，所述高频二值条纹局部编码，具体过程为：

采用周期为P的二值条纹，将该条纹图像位移P/2次，则投影机中每个像素都会经历一次从黑色到白色或者从白色到黑色的状态变化，需要投影机投射四张图案I_S1-4，

在实际扫描过程中，采用反相二值位移条纹的方法，在原有四次位移的基础上再位移4次，每次1个像素，需要投影机再投射4张图案I_S5-8，总计需要8张条纹位移图案，

为减少所需的位移条纹图像数量，提高扫描速度，采用虚拟反相图的方法，

所谓虚拟反相图即通过I_S1-4，I_w，I_B的计算，得到I_S5-8，通过分析，发现I_S5＝I_w-I_S1+I_B，同理其他3张虚拟反相图也计算出来，这样，不需要投射额外的四张图案即可得到8张条纹位移图案；其中：I_w为全白图案，I_B为全黑图案，I_S为投影图案；

同理，I_S中图像两两相减后，赋予图像中每个边缘点位置一个编码值，即从0-7的编码值，此时，图像中将存在128个这样的从0-7的局部编码区域。

4.根据权利要求1所述的一种高频二值条纹的三维扫描方法，其特征在于，所述基于二值位移条纹边缘的亚像素定位，具体过程为：

分两个步骤：1)首先将两幅待处理图像：I_S1和I_S5与黑色图像I_B做差，以减少物体本身颜色和纹理的影响，使得I_S1和I_S5图像中白色条纹和黑色条纹内部的亮度分布更为均匀，使得边缘清晰度和图像整体对比度有所提升；其中：I_S1为第1张投影图案，I_S5为第5张投影图案；

2)使用正弦函数对一个周期内的条纹进行拟合处理，以I_S1和I_S5为例，其存在半个周期的理论位移，因此拟合后的2个正弦函数同样存在半个周期的位移。

5.根据权利要求1所述的一种高频二值条纹的三维扫描方法，其特征在于，所述局部周期混淆的消除，具体过程为：

得到128个周期为8的局部编码图像，且编码特征为亚像素精度的条纹边缘编码特征，此时，引入格雷码方法，顺序投射出n＝8的格雷码图案I_G1-8，其最细黑色条纹宽度为8，此时将整个图像分成128个独立编码区域，各区域的编码值依次为0，8，16….1016，

然后将得到的128个局部编码值0-7填充到格雷码编码值中，则得到0-1023个唯一编码值，即完成整个解码过程，使得每一个图像边缘特征点具有唯一的行编码值，

为了提高解码过程的鲁棒性，采用反相投射的方法，即需要再投射8张格雷码图案，参照虚拟反相图法，计算出另外8张反相格雷码图像I’_G1-8，由两张对应的反相格雷码图案做差，I_GD＝I_G3–I’_G3，对I_GD取绝对值，并设置阈值T_D，T_D为255，如果I_GD值小于T_D则表示该点的亮度变化微弱，存在阴影和过曝光影响，其格雷码解码错误的概率也增大，在后续处理中将不予编码，由此提高最终全局解码的鲁棒性，减少后续三维重建的噪声，同时不需要额外投射反相格雷码图案。

6.根据权利要求1所述的一种高频二值条纹的三维扫描方法，其特征在于，所述三维重建，具体过程为：

在图像中得到边缘特征的亚像素图像坐标，且各编码特征点具有唯一的行编码值，引入标定阶段得到的几何参数，通过外极线约束条件，则唯一确定每个投影仪像素和图像中边缘点的一一对应关系，通过立体视觉中的三角测距方法，得到图像中边缘编码点的三维坐标值，至此完成整个三维重建过程。