CN104075659A - 一种基于rgb结构光源的三维成像识别方法 - Google Patents

Abstract

本发明公开了一种基于RGB结构光源的三维成像识别方法，适用于在线检测及离线检测方式，获得由RGB结构光源照射的二维条纹图；对二维条纹图进行预处理，所述预处理包括滤除噪声，增强边缘信息；采用彩色图像分割及四元数边缘检测算法，对预处理后的图像进行边缘检测，得到结构光形变的特征拐点及待测物体的轮廓信息；利用特征拐点及待测物体的轮廓信息计算得到待测物体的三维高度，进一步重现该待测物体的三维图像。

Description

一种基于RGB结构光源的三维成像识别方法

技术领域

本发明涉及图像识别和缺陷检测领域，具体涉及一种基于RGB结构光源的三维成像识别方法。

背景技术

目前工业应用中的检测大都是采用二维检测，采用的光源大多为点激光或者线激光光源。三维检测现在也开始进入初步应用阶段，在光源上大都采用高精度投影仪投射黑白光栅或者彩色光栅实现，大多数相关系统在三维彩色图像的重构，以及图像的边缘检测，特征匹配算法上，大都是按RGB三种颜色单独处理，对图像颜色信息之间的关联进行人为剥离，影响了检测的可靠性，而且，基本上所有的算法都是采用解相位的PMP方法来获得被测物体最终的三维高度，其精度很难提高。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于RGB结构光源的三维成像识别方法。

本发明采用如下技术方案：

一种基于RGB结构光源的三维成像识别方法，适用于在线检测及离线检测方式，包括，

获得由RGB结构光源照射的待测物体的二维条纹图；

对二维条纹图进行预处理，所述预处理包括滤除噪声，增强边缘信息；

采用彩色图像分割及四元数边缘检测算法，对预处理后的图像进行边缘检测，得到结构光形变的特征拐点及待测物体的轮廓信息；

利用特征拐点及待测物体的轮廓信息计算得到待测物体的三维高度，进一步重现该待测物体的三维图像。

所述彩色图像分割具体为：根据0等高线参考平面的条纹参考图像模板与放入待测物体后采集到的条纹图的差别将待测物体的图像与背景基本分离，然后对分离后的图像进行阈值二值化处理，再通过组合运算得到待测物体的基本轮廓线，并用角点求解算法求出基本轮廓线的所有角点，并根据所获得角点对图像进行相应的区域分割；

所述四元数边缘检测算法，具体为：通过相邻像素四元数旋转匹配算法得到二维条纹图特征拐点附近的边缘，并与基本轮廓线的角点进行比较确定结构光形变的特征拐点坐标，并通过特征拐点左右两边的高度特征条纹的中心坐标的比较，得到相应特征拐点高度条纹偏移的像素个数。

所述利用特征拐点及待测物体的轮廓信息计算得到待测物体的三维高度，进一步重现该待测物体的三维图像，具体包括如下步骤：

三维高度计算，通过高度计算公式计算得到待测物体的三维高度值，其中,L为摄像机镜头到参考平面的垂直距离，d为摄像机镜头中心点到结构光中心点的距离，为高度条纹偏移的距离，所述是通过边缘检测算法计算得到的高度条纹偏移像素个数转换成的高度值；

三维高度校正，将得到的三维高度值重新代入高度计算公式中，逆向得到高度条纹偏移像素值，再将由逆向求得的高度条纹偏移像素值减去之前用四元数边缘检测算法测量得到的高度条纹偏移像素值最后将差值ΔC代入到如下公式

$h=\frac{L_p}{d_p}(C1-\mathrm{\ΔC})$

进行高度修正计算，得到准确的三维高度值，式中，L_p、d_p分别表示L和d的像素个数，C1是高度像素计数；

尺寸还原：由特征拐点求出待测物体高度对应的条纹形变系数，再由对应的角点坐标信息，还原出三维物体的原来尺寸；

三维成像：根据待测物体的三维高度，原来尺寸、基本轮廓的所有角点信息重现待测物体的三维图像。

采用四元数卷积对待测条纹图像进行色彩敏感和双边滤波。

本发明的有益效果：

本发明采用方法，适用于实时在线检，而且可以在进行三维检测的同时，无需增加任何额外操作，就直接在所采集的图像上做二维检测，并同时保证二维、三维检测的精度要求。

附图说明

图1是本发明的工作流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种基于RGB结构光源的三维成像识别方法，适用于在线及离线检测方式，具体包括如下步骤：

S1摄像机标定直接利用matlab相机标定工具箱预先标定好，采集由RGB结构光源照射的待测物体的二维条纹图；

S2对二维条纹图进行预处理，所述预处理包括滤除噪声，增强边缘信息，具体为：先建立图像的彩色四元数矢量模型，对于彩色图像拍摄模块获得的二维彩色图像的每个像素用实部为0的纯四元数Ri+Gj+Bk表示，在之后的处理过程中，把彩色图像RGB三分量作为一个整体进行统一处理。

对所获得的二维彩色图像在四元数意义内进行滤波。利用四元数的卷积原理，

$\mathrm{con}(x,y)=f(x,y)*g(x,y)={\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}f(x-\mathrm{\τ},y-\mathrm{\η})g(\mathrm{\τ},\mathrm{\η})\mathrm{d\τd\η}$

其中，f(x,y)和g(x,y)都是四元数值的函数，*表示卷积。具体做运算时，对每对像素求点积的结果取相反数再求均值作为卷积结果像素的实部；每对像素求叉积后的均值分别作为结果像素的三个虚部i、j、k中。所以，可以定义特定颜色的四元数模板，利用四元数卷积，对彩色图像进行色彩敏感和双边滤波，既保留相关颜色的垂直分量，又使边缘更加清晰。

S3采用彩色图像分割及四元数边缘检测算法，对预处理后的图像进行边缘检测，得到结构光形变的特征拐点及待测物体的轮廓信息；

S3.1所述彩色图像分割，具体为根据根据0等高线参考平面的条纹参考图像模板与放入待测物体后采集到的条纹图的差别将待测物体的图像与背景基本分离，然后对分离后的图像进行阈值二值化处理，再通过开运算、闭运算、膨胀、腐蚀、图像差值等组合运算得到待测物体的基本轮廓线，并用角点求解算法求出基本轮廓线的所有角点，并根据所获得角点对图像进行相应的区域分割；

得到基本轮廓线的所有角点，再把这些角点，根据实际需要，尽量的将区域细分，避开不包含待检测点的区域，以减少运算量，提高运算速度。

S3.2所述四元数边缘检测算法，具体为：通过相邻像素四元数旋转匹配算法得到二维条纹图特征拐点附近的边缘，并与基本轮廓线的角点进行比较确定结构光形变的特征拐点坐标，并通过特征拐点左右两边的高度特征条纹的中心坐标的比较，得到相应特征拐点高度条纹偏移的像素个数。

相邻像素四元数旋转匹配算法，利用三维转动在四元数意义内的方便描述，

其中，α、β为矢量，用纯四元数表示，e_n为转轴方向的单位矢量，表示α转动角度变成了β。当转轴方向与α方向垂直时用(1)式，当转轴方向不与α垂直时用(2)式计算。

此处e_n选择单位灰度线作为方向向量，当两像素点的颜色相同或大致相同时，求其中一个像素点的颜色矢量绕固定轴旋转180度之后与另一像素的和，其值将与灰度线重合或近似重合。因此，利用颜色矢量的四元数旋转算法，就可以计算出不同方向的边缘信息，对彩色图像进行边缘检测。定出条纹边缘后，求出条纹的拐点，并与图像的轮廓线角点进行比较，得到高度计算的特征拐点坐标，计算得出高度条纹偏移的像素个数。

边缘检测算法主要是要获得要求检测的、包含元器件高度特征参数的点的精确坐标定位，以及关于这个特征点的高度特征条纹的坐标信息(包括水平左右两边，即参考平面的高度条纹和放入物体后的高度条纹)，从而获得放入待测物体后，高度条纹偏移的像素个数，为高度计算提供数据支持。

S4利用特征拐点及待测物体的轮廓信息计算得到待测物体的三维高度，进一步重现该待测物体的三维图像，具体包括如下步骤：

S4.1三维高度计算，通过高度计算公式计算得到待测物体的三维高度值。

$h=\frac{L}{d}\stackrel{\‾}{\mathrm{AC}}$

其中，L为摄像头到参考平面的垂直距离，d为摄像机镜头中心点到结构光中心点的距离，以及高度条纹偏移的距离将上述参数全部转换成像素个数进行计算，所述是通过边缘检测算法计算得到的像素偏移个数转换成的高度值即由于系统的硬件参数是预先设置好的，所以一毫米在图像中0等高线处占多少个像素是可以预先测量出来的，由此计算得到待测物体的三维高度值，此时误差大约为0.5个像素的等效长度，此误差仍可进一步修正。

S4.2三维高度校正，具体为将计算得到的三维高度值重新代入到高度计算公式中，逆向求出此高度近似对应的条纹偏移像素值，再将由逆向求得的高度条纹偏移像素值减去之前用四元数边缘检测算法测量得到的高度条纹偏移像素值最后将差值ΔC代入到如下公式进行高度修正计算，得到准确的三维高度值，式中，L_p、d_p分别表示L和d的像素个数，下标“p”就是pixel,没有加下标的都是实际高度值，单位为mm，C1是二维条纹图像的高度像素计数；

$h=\frac{L_p}{d_p}(C1-\mathrm{\ΔC})$

进行高度修正计算，就可以求出高度的准确数值。举例，当L＝200mm，d＝50mm，采用48万像素的摄像机进行图像采集，就可准备分辨0.1mm的高度，且误差基本为零。如果采用100万甚至200万像素以上的摄像头，那么测量精度将大大提高。

这个误差修正，主要是修正条纹变化与最小设计分辨高度(如0.1mm)存在的系统设计误差，具体表现为：在工作台的某个测量位置，结构光条纹遇到0.1mm的高度时，条纹会发生明显偏移；但在某些位置，条纹却基本保持不变，没有明显的偏移，此时在判断边界的时候就会产生判断误差。补偿误差的方法，可以通过这个坐标点当前由数据计算得到的高度值，代入高度公式，逆向求得此时的条纹偏移距离与测量得到的进行比较，如果一致，则证明读取的测量数据没有误差，否则就必须进行误差修正

S4.3待测物体的尺寸还原，由特征点求出待测物体高度对应的条纹形变系数，再由对应的角点坐标信息，准确还原出三维物体的原来尺寸；

S4.4三维成像，由计算得到的高度信息、尺寸信息和基本轮廓的所有角点信息，通过三维绘图程序，准确重构待测物体的三维图像。

本发明的轮廓信息是通过角点运算得到的，本方法是面向规则的IC芯片，其几何外观基本都是规则的矩形，所以通过角点重新获得芯片的粗略轮廓线，其次通过四元数边缘检测算法精确定位芯片轮廓线。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于RGB结构光源的三维成像识别方法，适用于在线检测及离线检测方式，其特征在于，包括，

获得由RGB结构光源照射的待测物体的二维条纹图；

对二维条纹图进行预处理，所述预处理包括滤除噪声，增强边缘信息；

采用彩色图像分割及四元数边缘检测算法，对预处理后的图像进行边缘检测，得到结构光形变的特征拐点及待测物体的轮廓信息；

利用特征拐点及待测物体的轮廓信息计算得到待测物体的三维高度，进一步重现该待测物体的三维图像。

2.根据权利要求1所述的识别方法，其特征在于，所述彩色图像分割具体为：根据0等高线参考平面的条纹参考图像模板与放入待测物体后采集到的条纹图的差别将待测物体的图像与背景基本分离，然后对分离后的图像进行阈值二值化处理，再通过组合运算得到待测物体的基本轮廓线，并用角点求解算法求出基本轮廓线的所有角点，并根据所获得角点对图像进行相应的区域分割；

所述四元数边缘检测算法，具体为：通过相邻像素四元数旋转匹配算法得到二维条纹图特征拐点附近的边缘，并与基本轮廓线的角点进行比较确定结构光形变的特征拐点坐标，并通过特征拐点左右两边的高度特征条纹的中心坐标的比较，得到相应特征拐点高度条纹偏移的像素个数。

3.根据权利要求1所述的识别方法，其特征在于，所述利用特征拐点及待测物体的轮廓信息计算得到待测物体的三维高度，进一步重现该待测物体的三维图像，具体包括如下步骤：

三维高度计算，通过高度计算公式计算得到待测物体的三维高度值，其中,L为摄像机镜头到参考平面的垂直距离，d为摄像机镜头中心点到结构光中心点的距离，为高度条纹偏移的距离，所述是通过边缘检测算法计算得到的高度条纹偏移像素个数转换成的高度值；

三维高度校正，将得到的三维高度值重新代入高度计算公式中，逆向得到高度条纹偏移像素值，再将由逆向求得的高度条纹偏移像素值减去之前用四元数边缘检测算法测量得到的高度条纹偏移像素值最后将差值ΔC代入到如下公式

$h=\frac{L_p}{d_p}(C1-\mathrm{\ΔC})$

进行高度修正计算，得到准确的三维高度值，式中，L_p、d_p分别表示L和d的像素个数，C1是二维条纹图高度像素计数；

尺寸还原：由特征拐点求出待测物体高度对应的条纹形变系数，再由对应的角点坐标信息，还原出三维物体的原来尺寸；

三维成像：根据待测物体的三维高度，原来尺寸、基本轮廓的所有角点信息重现待测物体的三维图像。

4.根据权利要求1所述的识别方法，其特征在于，采用四元数卷积对待测条纹图像进行色彩敏感和双边滤波。