CN106595528A - 一种基于数字散斑的远心显微双目立体视觉测量方法 - Google Patents

Abstract

本发明公开了一种基于数字散斑的远心显微双目立体视觉测量方法，包括以下步骤：1)搭建远心显微双目立体视觉测量平台2)对测量平台进行标定，确定左、右远心相机的内外参数及相对位置关系；3)通过投影仪在微小物体表面投射数字散斑图案；4)利用左、右远心相机同时拍摄表面覆盖有散斑图案的待测微小物体，采集左散斑图像和右散斑图像；5)对左散斑图像和右散斑图像进行图像匹配，获取左散斑图像和右散斑图像中对应点的匹配关系，根据左、右远心相机的内外参数、相对位置关系获得微小物体的三维点云数据；6)根据三维点云数据重建微小物体的三维形貌，获取待测微小物体三维尺寸信息。本发明具有测量速度快，测量精度高等优点。

Description

一种基于数字散斑的远心显微双目立体视觉测量方法

技术领域

本发明属于立体视觉测量领域，更具体地，涉及一种基于数字散斑的远心显微双目立体视觉测量方法。

背景技术

双目立体视觉技术作为一种非接触的测量方法，被广泛应用于物体尺寸的三维测量中。目前该技术主要分为两类：传统的被动式双目立体视觉测量和基于结构光的主动式双目立体视觉测量。被动式双目立体视觉测量技术是根据同一个三维空间点在不同空间位置的两个摄像机拍摄的图像中的视差，以及摄像机之间位置的空间几何关系来获取该点的三维坐标值，进而得出物体尺寸的三维测量值。主动式双目立体视觉测量技术通过光学方法主动在物体表面创造特征或将物体表面形貌信息调制到光束中，由相机进行捕获，然后通过立体匹配或解调算法来获取物体表面的三维信息。

目前，双目立体视觉技术，无论是被动式测量还是主动式测量，其测量对象主要是宏观物体，而针对微观物体的双目立体视觉测量，则研究较少。主要原因在于：测量对象小，测量精度要求相对较高，需要借助显微镜头进行放大；同时为解决显微镜头视场、景深与分辨能力之间存在的相互矛盾的关系，需要采用远心显微镜头；被动式方法获得的显微图像抗干扰能力差，容易受光照及外界测量环境的影响，从而造成全局密集匹配困难，测量精度低；而主动式方法中，条纹投影，条纹间隔较大，投影在物体表面上的条纹数量少，测量误差较大，干涉法则光路复杂，对外界环境要求较高，网格法需要在被测物体表面制造精细标准的网格，标志点法需要在被测物体表面贴上一些标志点，都不适合微小对象高精度的检测。

同时，基于数字散斑的图像相关方法作为一种主动式方法，目前主要用于被测物体表面变形应变分析和测量，且多用于宏观物体的检测。在微观领域，基于体视显微镜的显微数字散斑三维测量，存在光路固定、纵向测量范围较小、测量精度较低等问题；而与扫描电子显微镜(SEM)、原子力显微镜(AFM)配合的显微数字散斑三维测量，则需要进行多个角度的测量，测量设备昂贵，测量过程繁琐，可测量范围较小。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于数字散斑的远心显微双目立体视觉测量方法，其将数字散斑技术与远心显微双目立体视觉测量相结合，减少了光照及周围测量环境对显微图像的影响，提升了显微测量的鲁棒性及测量精度，具有测量速度快，测量过程简单，测量设备费用较低，测量精度高等优点。

为实现上述目的，本发明提出了一种基于数字散斑的远心显微双目立体视觉测量方法，其可测量微小物体的三维尺寸并得到高精度测量结果，具体包括以下步骤：

(1)搭建远心显微双目立体视觉测量平台，该平台包括均由远心物镜和CCD图像传感器组成的左、右远心相机以及用于投影数字散斑的投影仪；

(2)对所述远心显微双目立体视觉测量平台进行标定，利用所述左、右远心相机同时拍摄网格式平面标定板，获取两个标定板图像，提取所述两个标定板图像中的特征点，根据特征点在像素坐标系和世界坐标系中的对应关系，确定左、右远心相机的内外参数及左、右远心相机的相对位置关系；

(3)通过所述投影仪在待测微小物体表面投射计算机产生的随机数字散斑图案，调整投影仪与待测微小物体的相对位置，保证待测微小物体表面覆盖有清晰、对比度良好的散斑图案；

(4)利用远心显微双目立体视觉测量平台的左、右远心相机同时拍摄经步骤(3)后表面覆盖有散斑图案的待测微小物体，采集待测微小物体在两个不同方位上的图像，分别记为左散斑图像和右散斑图像；

(5)对步骤(4)中左、右远心相机同一时刻采集的左散斑图像和右散斑图像进行图像匹配，获取左散斑图像和右散斑图像中对应点的匹配关系，然后根据步骤(2)中得到的左、右远心相机的内外参数和左、右远心相机的相对位置关系，计算得到待测微小物体的三维点云数据；

(6)根据步骤(5)中得到的待测微小物体的三维点云数据重建出待测微小物体的三维形貌，获取待测微小物体的三维尺寸信息。

作为进一步优选的，所述世界坐标系原点取为平面标定板网格的左上角点，世界坐标系的XY平面与标定板的平面重合，世界坐标系的Z轴垂直于标定板的平面；所述像素坐标系为二维坐标系，位于CCD图像传感器传感芯片上，原点取为传感芯片的左上角点，x轴与传感芯片的长边重合，y轴与传感芯片的短边重合；相机的内参数包括远心物镜放大倍率、畸变系数，外参数包括左、右远心相机相对于世界坐标系的旋转矩阵和平移矢量，左、右远心相机的相对位置关系由左、右远心相机的外参数确定。

作为进一步优选的，所述步骤(5)具体包括如下步骤：

(5.1)选取左散斑图像中一个像素点P_l(x_l0,y_l0)，以点P_l为中心选取边长为2n+1的方形子集，其中n为正整数；令子集中像素点坐标为(x_li,y_li)，得到左散斑图像中子集匹配模板其中，I(x_li,y_li)为像素点坐标(x_li,y_li)处的灰度值，I_lm为左散斑图像子集中像素点灰度均值，

(5.2)在左散斑图像像素点P_l对应的右散斑图像中外极线l_r上选取一个像素点P_r(x_r0,y_r0)，以点P_r为中心选取与左散斑图像中子集边长相同的方形子集；令子集中像素点坐标为(x_ri,y_ri)，得到右散斑图像中子集匹配模板其中，I(x_ri,y_ri)为像素点坐标(x_ri,y_ri)处的灰度值，I_rm为右散斑图像子集中像素点灰度均值，

(5.3)对右散斑图像子集匹配模板G_i进行修正，获得修正后的右散斑图像子集匹配模板G_i'＝aG_i+b，其中，

(5.4)定义模板匹配优化目标函数当目标函数φ²取最小值时，确定右散斑图像中的点P_r为左散斑图像中点P_l匹配对应点；

(5.5)改变左散斑图像中像素点P_l的位置，重复执行上述步骤(5.1)至(5.4)，得出左散斑图像与右散斑图像中所有的匹配对应点；

(5.6)根据步骤(2)中得到的左右远心相机的内外参数和左右远心相机的相对位置关系，以及步骤(5.5)获取的所有匹配对应点，计算得到待测微小物体的三维点云数据。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：本发明将数字散斑技术应用到远心显微双目立体视觉测量当中，减少了光照及周围测量环境对显微图像的影响，提升了显微测量的鲁棒性，提高了显微双目立体视觉测量精度，扩展了显微双目立体视觉应用范围，便于显微图像的全局密集立体匹配，从而重建出较为完整的微小物体三维形貌，具有测量速度快，测量过程简单，测量设备费用较低等优点。

附图说明

图1是本发明基于数字散斑的远心显微双目立体视觉测量流程图；

图2是本发明基于数字散斑的远心显微双目立体视觉测量平台的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明公开了一种基于数字散斑的远心显微双目立体视觉测量方法，在搭建远心显微双目立体视觉测量平台并对其进行标定的基础上，引入数字散斑技术，通过左右远心相机采集表面覆盖有散斑图案的微小物体图像，并对其进行图像匹配，获取微小物体的三维点云数据，从而实现了微小物体三维尺寸的高精度快速测量。

具体的，如图1所示，该基于数字散斑的远心显微双目立体视觉测量方法包括如下步骤：

(1)搭建远心显微双目立体视觉测量平台。

如图2所示，该远心显微双目立体视觉测量平台包括左镜头1(具体为远心物镜)、右镜头2(具体为远心物镜)、左CCD图像传感器3、右CCD图像传感器4、投影仪5、计算机6、三维位移平台7。其中，左镜头1和左CCD图像传感器3组成左远心相机，该左远心相机与计算机6相连，右镜头2和右CCD图像传感器4组成右远心相机，该右远心相机与计算机6相连，左远心相机和右远心相机从不同角度同时获取待测微小物体8的图像；投影仪5连接至计算机6，在待测微小物体8表面投影由计算机6产生的随机数字散斑。通过调整三维位移平台7、左、右远心相机方位、投影仪5位置，获取表面覆盖有数字散斑图案的待测微小物体8的高清晰度、高对比度图像。

具体的，调整好左、右远心相机方位、投影仪位置后，进行图像获取并测量，在测量过程中，左、右远心相机位置保持固定，关于待测微小物体8对称放置，夹角在50°左右，并使待测微小物体8放置于左、右远心相机共同的视野范围内。

(2)对远心显微双目立体视觉测量平台进行标定。

利用左、右远心相机同时拍摄放置于三维位移平台7上的网格式平面标定板，分别获取左、右标定板图像，提取左、右标定板图像中的特征点，根据特征点在像素坐标系和世界坐标系中的对应关系，确定左、右远心相机的内外参数和左、右远心相机的相对位置关系。本发明中对于远心相机的标定，以确定相机内外参数和相机之间的相对位置，采用的均为现有技术，在此不赘述，只进行简单描述。本文中采用的标定方法主要是由远心相机投影成像模型结合Tsai两步标定方法，计算得出远心相机的内外参数和两相机的相对位置关系。

其中，世界坐标系原点取为平面标定板网格的左上角点，世界坐标系的XY平面与标定板的平面重合，世界坐标系的Z轴垂直于标定板的平面；像素坐标系为二维坐标系，位于CCD图像传感器传感芯片上，原点取为传感芯片的左上角点，x轴与传感芯片的长边重合，y轴与传感芯片的短边重合；相机的内参数包括远心物镜放大倍率、畸变系数，外参数包括左、右远心相机相对于世界坐标系的旋转矩阵和平移矢量，对于远心相机，平移矢量只有[t_x,t_y]参量，没有t_z参量；左、右远心相机的相对位置关系由左、右远心相机的外参数确定，具体的，对左右远心相机的投影成像矩阵进行求逆，将世界坐标系坐标反表示出来，然后根据世界坐标系坐标在左右远心相机投影成像模型中具有相同性，可得出由左右远心相机内外参数表示出来的一个等式，从而确定左右远心相机的相对位置关系。

(3)通过投影仪在待测微小物体表面投射计算机产生的随机数字散斑图案，在确保待测微小物体能清晰成像的基础上，调整投影仪与待测微小物体的相对位置，保证微小物体表面覆盖有清晰、对比度良好的散斑图案，散斑图案在左、右远心相机采集图像过程中，保持不变。

(4)利用远心显微双目立体视觉测量平台的左、右远心相机同时拍摄经步骤(3)后表面覆盖有清晰数字散斑图案的待测微小物体，采集并储存待测微小物体在两个不同方位上的图像，分别记为左散斑图像、右散斑图像。

(5)利用数字图像相关等算法对步骤(4)中左、右远心相机同一时刻采集的左散斑图像和右散斑图像进行图像匹配，获取左散斑图像和右散斑图像中对应点的匹配关系，然后根据步骤(2)中得到的左、右远心相机的内外参数和左、右远心相机的相对位置关系，通过远心双目立体视觉算法计算得到待测微小物体的三维点云数据。

具体的，按如下方法获得待测微小物体的三维点云数据：

(5.1)选取左散斑图像中一个像素点P_l(x_l0,y_l0)，以P_l点为中心，选取用于图像处理的方形子集，子集的边长取为2n+1，n为正整数，根据数字图像处理实际情况取值；子集中像素点坐标为(x_li,y_li)，i表示子集中某一个像素点，是正整数，取值区间为[1，2n]；定义左散斑图像中子集匹配模板为归一化灰度差其中，I(x_li,y_li)为左散斑图像中像素点坐标(x_li,y_li)处的灰度值，I_lm为左散斑图像子集中像素点灰度均值，

(5.2)结合远心外极线约束条件，在左散斑图像像素点P_l对应的右散斑图像中外极线l_r上选取像素点P_r(x_r0,y_r0)，以P_r点为中心，选取与左散斑图像中子集边长相同的子集，子集中像素点坐标为(x_ri,y_ri)，得到右散斑图像中子集匹配模板I(x_ri,y_ri)为右散斑图像中像素点坐标(x_ri,y_ri)处的灰度值，I_rm为右散斑图像子集中像素点灰度均值，

(5.3)考虑到远心显微双目立体视觉测量平台中左、右远心相机与投影仪之间的位置关系并非严格对称，左远心相机与右远心相机接受的光照度不完全相同，左散斑图像与右散斑图像的灰度分布存在偏差，定义右散斑图像子集匹配模板G_i'＝aG_i+b，G_i由步骤(5.2)得出，a、b的迭代最优化估计值为其中，

(5.4)定义模板匹配优化目标函数其中，G_i'、F_i由步骤(5.1)、(5.3)给出，通过迭代算法计算目标函数φ²最小值，确定此时的右散斑图像中P_r点为左散斑图像中P_l点匹配对应点；通过结合远心外极线约束条件，在左散斑图像中像素点对应的右散斑图像中外极线上搜索右匹配像素点，减少匹配点搜索时间，提高计算效率。

(5.5)改变左散斑图像中像素点P_l的位置，重复执行上述步骤(5.1)至(5.4)，得出左散斑图像与右散斑图像中所有的匹配对应点；

(5.6)根据步骤(2)中得到的左、右远心相机的内外参数和左右远心相机的相对位置关系，以及步骤(5.5)获取的所有匹配对应点，通过远心双目立体视觉算法计算得到微小物体的三维点云数据。

该步骤的求解过程为现有知识，在此不再赘述，只进行简要说明，具体地，根据步骤(5.5)获取的所有匹配对应点在左、右远心相机像素坐标系中的像素坐标值，以及左、右远心相机的投影成像模型(具体包括左、右远心相机的内外参数和左右远心相机的相对位置关系)，结合矩阵求逆运算，计算得到世界坐标系中相应匹配对应点的世界坐标值，即是待测微小物体表面上相应点的三维坐标，所有匹配对应点的世界坐标值集合即是微小物体的三维点云数据。

(6)根据步骤(5)中得到的待测微小物体的三维点云数据重建出待测微小物体的三维形貌，获取待测微小物体的三维尺寸信息。

总体而言，本发明通过将数字散斑技术应用到远心显微双目立体视觉测量当中，使待测微小物体显微图像的双目密集匹配成为可能，减少了环境光源的影响，扩展了远心显微双目立体视觉测量应用范围，实现了微小物体的三维形貌的精确重建和三维尺寸的高精度快速测量。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于数字散斑的远心显微双目立体视觉测量方法，其特征在于，包括以下步骤：

(1)搭建远心显微双目立体视觉测量平台，该平台包括均由远心物镜和CCD图像传感器组成的左、右远心相机以及用于投影数字散斑的投影仪；

(2)对所述远心显微双目立体视觉测量平台进行标定，利用所述左、右远心相机同时拍摄网格式平面标定板，获取两个标定板图像，提取所述两个标定板图像中的特征点，根据特征点在像素坐标系和世界坐标系中的对应关系，确定左、右远心相机的内外参数及左、右远心相机的相对位置关系；

(3)通过所述投影仪在待测微小物体表面投射计算机产生的随机数字散斑图案，调整投影仪与待测微小物体的相对位置，保证待测微小物体表面覆盖有清晰的散斑图案；

(4)利用远心显微双目立体视觉测量平台的左、右远心相机同时拍摄经步骤(3)后表面覆盖有散斑图案的待测微小物体，采集待测微小物体在两个不同方位上的图像，分别记为左散斑图像和右散斑图像；

(5)对步骤(4)中左、右远心相机同一时刻采集的左散斑图像和右散斑图像进行图像匹配，获取左散斑图像和右散斑图像中对应点的匹配关系，然后根据步骤(2)中得到的左、右远心相机的内外参数和左、右远心相机的相对位置关系，计算得到待测微小物体的三维点云数据；

(6)根据步骤(5)中得到的待测微小物体的三维点云数据重建出待测微小物体的三维形貌，获取待测微小物体的三维尺寸信息。

2.如权利要求1所述的基于数字散斑的远心显微双目立体视觉测量方法，其特征在于，所述世界坐标系原点取为平面标定板网格的左上角点，世界坐标系的XY平面与标定板的平面重合，世界坐标系的Z轴垂直于标定板的平面；所述像素坐标系为二维坐标系，位于CCD图像传感器传感芯片上，原点取为传感芯片的左上角点，x轴与传感芯片的长边重合，y轴与传感芯片的短边重合；相机的内参数包括远心物镜放大倍率、畸变系数，外参数包括左、右远心相机相对于世界坐标系的旋转矩阵和平移矢量，左、右远心相机的相对位置关系由左、右远心相机的外参数确定。

3.如权利要求1或2所述的基于数字散斑的远心显微双目立体视觉测量方法，其特征在于，所述步骤(5)具体包括如下步骤：

(5.1)选取左散斑图像中一个像素点P_l(x_l0,y_l0)，以点P_l为中心选取边长为2n+1的方形子集，其中n为正整数；令子集中像素点坐标为(x_li,y_li)，得到左散斑图像中子集匹配模板其中，I(x_li,y_li)为像素点坐标(x_li,y_li)处的灰度值，I_lm为左散斑图像子集中像素点灰度均值，i表示子集中某一个像素点，取值为[1，2n]；

(5.2)在左散斑图像像素点P_l对应的右散斑图像中外极线l_r上选取一个像素点P_r(x_r0,y_r0)，以点P_r为中心选取与左散斑图像中子集边长相同的方形子集；令子集中像素点坐标为(x_ri,y_ri)，得到右散斑图像中子集匹配模板其中，I(x_ri,y_ri)为像素点坐标(x_ri,y_ri)处的灰度值，I_rm为右散斑图像子集中像素点灰度均值，

(5.3)对右散斑图像子集匹配模板G_i进行修正，获得修正后的右散斑图像子集匹配模板G_i'＝aG_i+b，其中，

(5.4)定义模板匹配优化目标函数当目标函数φ²取最小值时，确定右散斑图像中的点P_r为左散斑图像中点P_l匹配对应点；

(5.5)改变左散斑图像中像素点P_l的位置，重复执行上述步骤(5.1)至(5.4)，得出左散斑图像与右散斑图像中所有的匹配对应点；

(5.6)根据步骤(2)中得到的左右远心相机的内外参数和左右远心相机的相对位置关系，以及步骤(5.5)获取的所有匹配对应点，计算得到待测微小物体的三维点云数据。