CN108550160A - 基于光强模板的非均匀光条特征区域提取方法 - Google Patents

Abstract

本发明基于光强模板的非均匀光条特征区域提取方法属于图像处理和计算机视觉领域，涉及一种基于光强模板的非均匀光条特征区域提取方法。该方法以扫描光条为运动检测目标，利用光强模板将图像中光条进行有效地均匀化，利用运动信息将测量目标与测量背景分离，然后对序列光条进行隔帧采样，得到图像序列模板，再以图像序列的均衡模板为参考，根据图像的交集运算获得亮度均衡的特征图像，最后利用基于光强模板对光条图像进行区域提取，实现完整光条信息的保留。该方法解决了在光条灰度非均匀情况下，大阈值无法有效提取光条两端灰度值较小区域以及小阈值在中间过曝区域过多提取噪声区域的难题，有效实现非均匀光条区域信息的准确提取。

Description

基于光强模板的非均匀光条特征区域提取方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及一种基于光强模板的非均匀光条特征区域提取方法。

背景技术

随着工业化生产以及航空航天事业的发展，精确测量成为零部件精密加工以及质量检测中不可缺少的一部分。鉴于测量现场的复杂性以及被测对象的多样性，对测量技术和方法的准确性、快速性、鲁棒性及稳定性提出了很高的要求。基于结构光视觉测量的方式以其快速性、鲁棒性及非接触等优点在工业生产以及计算机视觉领域得到了广泛的应用。结构光视觉测量系统信息获取的第一步是从光条图像中提取光条特征区域，因此，光条特征区域准确提取是影响整个测量系统精度的关键因素之一。由于零件表面几何特征、系统噪声、环境光照以及激光投射角度等影响因素，造成了光条图像出现亮度和宽度不均匀的问题，光条图像所引起的亮度梯度，将导致无法有效地对该序列灰度图像进行阈值处理，难以完整且准确地提取光条特征信息，使得精确提取光条特征区域存在一定的难度。传统的激光光条图像处理是首先对图像进行预处理，然后对所获得的预处理图像采用阈值法进行图像分割，进而对图像进行边界提取；将预处理图像和所提取的光条边界信息进行区域融合，保留边界内的原图像作为特征光条的有效区域，进行下一步的光条提取。然而，由于单光条亮度分布不均，序列光条亮度也存在较大差异，在序列光条处理中，难以通过所定义的阈值对图像进行有效的分割，导致无法有效完整地提取光条图像的特征区域。

华中科技大学李和平等人于2004年在《光学精密工程》第12卷的第1期发表了《基于遗传算法的结构光条纹中心检测方法》，提出了一种激光条纹中心检测算法，利用人机交互、遗传算法、图像处理、方向模板等方法分割激光条纹并提取激光中心线，该方法具有一定的抗噪、断线修补能力，但必须需要人力参与。印度高技术中心班加罗尔图像技术实验室的Kokku等于2005年在《PROCEEDINGS OF SPIE》发表了《Improving 3D surfacemeasurement accuracy on metallic surfaces》，提出了模板法，利用有效条纹和噪声组合的图像模板来识别区分有效信息和噪声，但是这种模板适应范围比较窄，只适合特定的或己有经验的表面形貌，难以处理不可预知的或者较复杂的表面形貌。深圳大学吴庆阳等人于2007年在《四川大学学报》第39卷的第4期发表了《一种新的线结构光光带中心提取算法》，提出一种将可变方向模板与灰度重心法相结合的方法,首先计算出图像的阈值，对图像进行二值化、细化等处理，得到线结构光图像的骨架，再利用可变方向模板判断骨架上每点的法线方向，最后由灰度重心法得到光条中心坐标，但其算法较为复杂,执行速度有限。大连理工大学刘巍等人发明了“一种基于分层处理的亚像素中心提取办法”，专利号为CN105335988A，采用分层处理，通过在不同分辨率图像中提取光条的特征信息，实现特征光条的高精度亚像素中心提取，该方法虽然测量精度高、运算速度快，但不适用于非均匀光条特征区域的提取。以上方法均不适用于对非均匀光条特征进行提取，因此对非均匀光条特征区域提取方法的研究变得十分重要。

发明内容

本发明为克服现有技术和方法缺陷，发明了一种基于光强模板的非均匀系列光条特征区域提取方法，通过top-hat算法建立序列光条的光强模板，为非均匀亮度变化的光条图像提供标准亮度模板，进而保证序列光条间的亮度均匀度。改进了激光光条图像传统处理方法难以通过所定义的阈值对非均匀光条进行有效分割，从而导致无法有效完整地提取光条图像特征区域的缺陷，为光条特征区域的保留提供有效方法，实现非均匀光条的高鲁棒性提取。

本发明采用的技术方案是一种基于光强模板的非均匀光条特征区域提取方法，其特征是，该方法以扫描光条为运动检测目标，利用光强模板将图像中光条进行有效地均匀化，利用运动信息将测量目标与测量背景分离，然后对序列光条进行隔帧采样，得到图像序列模板，再以图像序列的均衡模板为参考，根据图像的交集运算获得亮度均衡的特征图像，最后利用基于光强模板对光条图像进行区域提取，实现完整光条信息的保留，非均匀光条特征区域提取方法的具体步骤如下：

第一步：序列图像的预处理

提取方法采用的双目视觉测量系统中，激光发生器2安装在支架中心上部，左、右相机3、4分别对称安装在支架上部的左右，激光发生器2，左、右相机3、4，图像处理工作站6分别与NI控制器5连接，被测工件1安装在左、右相机3、4前方视觉范围内；

首先获取激光光条图像，针对投射光条的亮度与环境背景光亮度相似的单帧图像，采用动态目标追踪测量的图像处理，利用运动信息将测量目标与测量背景分离，以扫描光条为运动检测目标，实现光条图像的检测，用背景差分法通过被测目标图像f_k与背景图像B_k做差分，差分图像Df_k为：

Df_k(u,v)＝|f_k(u,v)-BA_k(u,v)| (1)

其中，Df_k(u,v)为差分图像在图像点(u,v)的灰度值，f_k(u,v)为目标图像在图像点(u,v)的灰度值，BA_k(u,v)为背景图像在图像点(u,v)的灰度值；

第二步：序列模板图的建立

根据序列光条亮度特征，所采集激光光条图像在以镜面反射为主的反射区域时，光条亮度从暗逐渐增强，直到到达镜面反射角附近亮度达到最大，随后光条亮度逐渐变暗；而在以漫反射为主的反射区域，光条亮度持续减弱，因此，对于双目相机光条模板的设定需要覆盖尽量多光条亮度变化范围，对序列光条进行隔点采样，采样图像的并集为图像序列模板，其定义为：

MDf(u,v)＝Df₁(u,v)∪Df_1+τ(u,v)∪Df_1+2τ(u,v)…Df_1+nτ(u,v)∪Df_m(u,v) (2)

其中，MDf(u,v)为序列模板在图像点(u,v)的灰度值，τ为序列光条采样间隔，m为序列光条图像数量，且图像序列号需满足1+nt<m，光条图像通过差分处理，将背景消除，从而光条为具有一定亮度的亮前景，而背景为暗背景，选用白top-hat算法作为高通滤波器，可有效去除图像亮度梯度，构建序列图像光强模板，表达式为：

其中，B为结构元素，其像素宽度应大于光条的最大宽度，选用大正方形作为结构元素；

第三步：序列图像的光条亮度均衡化

由于光条序列亮度随着光条的扫描移动及零件表面形面变化，亮度变化随机，以图像序列的均衡模板为亮度参考，进而根据图像的交集运算获得亮度均衡的特征图像，定义为：

其中，UDf_k为亮度均衡的光条特征图像，Df_k为光条序列差分图像，B为结构元素；

第四步：光条特征区域的提取

针对亮度均衡的特征图像，采用灰度阈值分割对图像进行二值化处理，阈值为T，特征图像的二值化图像RUDf_k为：

对光条特征区域的二值化图像，采用去除小面积区域方法滤除杂点，然后采用边界轮廓跟踪法提取光条特征边界，边界矩阵定义为Boun_k，保留边界区域内的光条差分图像作为光条的特征区域，为光条中心提取提供预处理图像。

本发明的有益效果是该方法提出的基于光强模板的非均匀光条提取方法，解决了在光条灰度非均匀情况下，大阈值无法有效提取光条两端灰度值较小区域以及小阈值在中间过曝区域过多提取噪声区域的难题，实现了完整光条信息的保留，且在过曝区域没有引入其他杂点，可有效实现非均匀光条区域信息的准确提取。

附图说明

图1是提取方法采用的双目视觉测量系统，其中，1-被测工件，2-激光发生器，3-左相机，4-右相机，5-NI控制器，6-图像处理工作站

图2是基于光强模板的非均匀光条特征区域提取流程图

具体实施方式：

下面结合附图和技术方案详细说明本发明的具体实施。

图1是提取方法采用的双目视觉测量系统，在本实施例中，被测物体为t800复合材料板，将波长460nm蓝紫线激光投射到复材板上，采用配置广角镜头的双目摄像机拍摄光条图像。摄像机型号为view works VC-12MC-M/C 65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF 16-35mm f/2.8L IIUSM，参数如下所示，镜头焦距：f＝16-35mm，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为25mm，物距为750mm，视场约为850mm×450mm。非均匀光条特征区域提取处理的整个流程如图2所示。

第一步：序列图像的预处理

通过图1所示的双目视觉测量系统，获取非均匀光条图像。在双目视觉测量系统中，激光发生器2安装在支架中心上部，左、右相机3、4分别对称安装在支架上部的左右，激光发生器2，左、右相机3、4，图像处理工作站6分别与NI控制器5连接，被测工件1安装在左、右相机3、4前方视觉范围内。

然后利用运动信息将测量目标与测量背景分离，以扫描光条为运动检测目标，使用背景图像差分的背景差分法对运动目标进行检测，通过公式(1)，将被测目标图像与背景图像做差分，得到差分图像Df_k。

第二步：序列模板图的建立

根据镜面反射为主以及漫反射为主的反射区域序列光条亮度特征，设定双目相机光条模板覆盖尽量多光条亮度变化范围，再者对序列光条进行隔采样，通过公式(2)得到图像序列模板，即采样图像的并集。然后，对光条图像进行差分处理，将背景消除，从而使光条为具有一定亮度的亮前景而背景为暗背景。最后，用白top-hat算法作为高通滤波器有效去除图像亮度梯度，通过公式(3)构建序列图像光强模板UMDF。

第三步：序列图像的光条亮度均衡化

鉴于光条序列亮度随光条的扫描移动及零件表面形面变化而亮度随机变化，因此通过以图像序列的均衡模板为亮度参考，根据图像的交集运算公式(4)获得亮度均衡的特征图像UDf_k，即获取以序列图像光强模板为亮度参量的均衡化特征图像和光条序列差分图像Df_k及均衡化模板图像做交集运算后的均衡后光条图像。

第四步：光条特征区域的提取

针对亮度均衡的特征图像，采用灰度阈值分割对图像进行二值化处理，设置阈值为T＝0.1，通过公式(5)获取特征图像的二值化图像RUDf_k。再对光条特征区域的二值化图像，采用去除小面积区域方法滤除杂点，然后采用边界轮廓跟踪法提取光条特征边界，保留边界区域内的光条差分图像作为光条的特征区域，为光条中心提取提供预处理图像。

该方法解决了在光条灰度非均匀情况下，大阈值无法有效提取光条两端灰度值较小区域以及小阈值在中间过曝区域过多提取噪声区域的难题，实现了完整光条信息的保留，且在过曝区域没有引入其他杂点，可有效实现非均匀光条区域信息的准确提取。

Claims (1)

1.一种基于光强模板的非均匀光条特征区域提取方法，其特征是，该方法以扫描光条为运动检测目标，利用光强模板将图像中光条进行有效地均匀化，利用运动信息将测量目标与测量背景分离，然后对序列光条进行隔帧采样，得到图像序列模板，再以图像序列的均衡模板为参考，根据图像的交集运算获得亮度均衡的特征图像，最后利用基于光强模板对光条图像进行区域提取，实现完整光条信息的保留；非均匀光条特征区域提取方法的具体步骤如下：

第一步：序列图像的预处理

提取方法采用的双目视觉测量系统中，激光发生器(2)安装在支架中心上部，左、右相机(3、4)分别对称安装在支架上部的左右，激光发生器(2)，左、右相机(3、4)，图像处理工作站(6)分别与NI控制器(5)连接，被测工件(1)安装在左、右相机(3、4)前方视觉范围内；

首先获取激光光条图像，针对投射光条的亮度与环境背景光亮度相似的单帧图像，采用动态目标追踪测量的图像处理，利用运动信息将测量目标与测量背景分离，以扫描光条为运动检测目标，实现光条图像的检测，用背景差分法通过被测目标图像f_k与背景图像B_k做差分，差分图像Df_k为：

Df_k(u,v)＝|f_k(u,v)-BA_k(u,v)| (1)

其中，Df_k(u,v)为差分图像在图像点(u,v)的灰度值，f_k(u,v)为目标图像在图像点(u,v)的灰度值，BA_k(u,v)为背景图像在图像点(u,v)的灰度值；

第二步：序列模板图的建立

根据序列光条亮度特征，所采集激光光条图像在以镜面反射为主的反射区域时，光条亮度从暗逐渐增强，直到到达镜面反射角附近亮度达到最大，随后光条亮度逐渐变暗；而在以漫反射为主的反射区域，光条亮度持续减弱，因此，对于双目相机光条模板的设定需要覆盖尽量多光条亮度变化范围，对序列光条进行隔点采样，采样图像的并集为图像序列模板，其定义为：

MDf(u,v)＝Df₁(u,v)∪Df_1+τ(u,v)∪Df_1+2τ(u,v)…Df_1+nτ(u,v)∪Df_m(u,v) (2)

其中，MDf(u,v)为序列模板在图像点(u,v)的灰度值，τ为序列光条采样间隔，m为序列光条图像数量，且图像序列号需满足1+nt<m，光条图像通过差分处理，将背景消除，从而光条为具有一定亮度的亮前景，而背景为暗背景，选用白top-hat算法作为高通滤波器，可有效去除图像亮度梯度，构建序列图像光强模板，表达式为：

其中，B为结构元素，其像素宽度应大于光条的最大宽度，选用大正方形作为结构元素；

第三步：序列图像的光条亮度均衡化

由于光条序列亮度随着光条的扫描移动及零件表面形面变化，亮度变化随机，以图像序列的均衡模板为亮度参考，进而根据图像的交集运算获得亮度均衡的特征图像，定义为：

其中，UDf_k为亮度均衡的光条特征图像，Df_k为光条序列差分图像，B为结构元素；

第四步：光条特征区域的提取

针对亮度均衡的特征图像，采用灰度阈值分割对图像进行二值化处理，阈值为T，特征图像的二值化图像RUDf_k为：

对光条特征区域的二值化图像，采用去除小面积区域方法滤除杂点，然后采用边界轮廓跟踪法提取光条特征边界，边界矩阵定义为Boun_k，保留边界区域内的光条差分图像作为光条的特征区域，为光条中心提取提供预处理图像。