CN104992446B - 非线性光照自适应的图像拼接方法及其实现系统 - Google Patents

Abstract

本发明公开了一种非线性光照自适应的图像拼接方法，该方法为：对摄像机进行标定，通过摄像机对圆柱轴承进行图像采集，对采集得到的圆柱轴承图像展开成平面图像；对所述展开后的平面图像进行中值滤波，对滤波后获得的轴承侧表面图像进行非线性光照自适应的图像拼接，形成一幅完整的而又没有赘余的平面图像。本发明考虑到采集对象光照不均匀的因素，在图像拼接时引入了光照不均补偿因子，这一因子的引入有利于提高图像拼接的质量，还原图像的原始面貌，操作简单，易于理解，运算速度快。

Description

非线性光照自适应的图像拼接方法及其实现系统

技术领域

本发明属于检测技术领域，具体涉及一种非线性光照自适应的图像拼接方法及其实现系统。

背景技术

随着数字时代的到来图像拼接的应用范围和应用前景越来越广泛。目前，图像拼接技术多用于虚拟现实领域、医学图像处理、遥感领域、海底探测、军事等领域中，很少学者或技术人员将其应用于零件检测之中。其次，在对图像进行拼接时，通常都没有考虑到距离光源不同位置处图像上的点所接收的光照强度是不一样的，这样采集得到的图像就会受到光照不均的影响，弱化了图像上微小的细节。

陈海林，熊芝等将图像拼接技术应用于大尺寸工件之中(参见陈海林，熊芝等.大尺寸工件视觉测量中的图像拼接方法[J].计算机测量与控制.2015.23(2).532-535.)，极大地提高了工件尺寸测量的精度，同时也提高了其检测的效率。但是在进行大尺寸图像拼接时，采用的也是背景平面光源，但是他们没有考虑到大尺寸工件具有一定的尺寸，其上的点到光源的距离不都是一样的，采集得到图像上的光照就会不均匀，这就会给图像拼接时带来一定的影响。

对精密零件的检测是现代化工业生产的一个重要环节，现代所用的检测装置大体上都包括传送装置、光电位置检测装置、自动控制装置、机械抓取装置、照明装置、图像采集装置和图像检测装置。而传统的检测方法都是人工检测法。然而，人工检测耗时、耗力、效率低下且容易发生误匹配。近年来基于数字图像处理的检测广泛应用于零件检测之中。但是对于像轴承这样的圆柱体零件对其表面缺陷检测时，通常一幅图像是不能表现其全部信息的，要进行对此采集多次检测，这就会使检测效率降低，检测成本增加。要想提高检测效率，就必须要对采集得到的图像进行拼接操作。对高精密微小轴承来说要求其检测精度是非常高，这就对光源的设计，图像的采集以及图像拼接的质量有很高的要求。而对轴承进行图像采集时，轴承侧表面距离光源位置不同采集得到的图像就会有光照不均的现象，这对图像的拼接以及后期的缺陷提取都是有很大的影响。

发明内容

有鉴于此，本发明的主要目的在于提供一种非线性光照自适应的图像拼接方法及其实现系统。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种非线性光照自适应的图像拼接方法，该方法为：对摄像机进行标定，通过摄像机对圆柱轴承进行图像采集，对采集得到的圆柱轴承图像展开成平面图像；对所述展开后的平面图像进行中值滤波，对滤波后获得的轴承侧表面图像进行非线性光照自适应的图像拼接，形成一幅完整的而又没有赘余的平面图像。

上述方案中，所述对摄像机进行标定，具体为：根据单摄像机标定方法确定出摄像机内部参数矩阵M，其中，内部参数矩阵的形式为：其中d_x、d_y为图像平面上单位距离的像素数；(u₀,v₀)为摄像机光轴与图像平面交点坐标即主点坐标；s为径向畸变因子；将标定出来的参数存放到计算机中。

上述方案中，所述通过摄像机对圆柱轴承进行图像采集，对采集得到的圆柱轴承图像展开成平面图像，具体为：利用数学映射关系将圆柱图像展开为平面图像，所述数学映射关系为：其中(x，y)为待展开圆柱图像上任意一点坐标，(x，，y，)为展开后平面图像上的对应点的坐标，r为圆柱图像的半径，W为展开后图像的宽度，其中L为展开前图像的宽度，θ为采集所得图像对应的圆心角。

上述方案中，所述对滤波后获得的轴承侧表面图像进行非线性光照自适应的图像拼接，形成一幅完整的而又没有赘余的平面图像，具体通过以下步骤实现：

1)对待拼接的两幅图像进行图像配准操作：

a.根据比值匹配法在搜索图中具有重叠区域的部分中找出两个特征列，求出它们的对应灰度比值作为模版；

b.在待配准图像中从左到右间隔相同的两列上计算它们的灰度比值；

c.分别与搜索图中的灰度比值模版进行比较，求出它们之间灰度差最小的值所对应的列就是最佳配准列；

2)对融合后的图像进行非线性光照自适应处理:

a.以光源所在平面为Y轴，以垂直光源通过待采集轴承的中心为X轴建立第一直角坐标系；

b.对轴承侧表面图像采集的同时，在第一直角坐标系中，通过调节光照计与光源的位置记录下光照度计在距离光源不同位置时的光照强度；

c.以距离为横坐标X'单位为mm，光照强度为纵坐标Y'单位为lux建立第二角坐标系，用最小二乘法拟合出一个二次曲线Y'＝f(X')；

d.计算出每一个像素所对应的实际尺寸：其中h为采集图像的实际高度，单位为mm；M表示图像的行像素数；

e.计算出轴承侧表面在距光源不同距离下时的光照强度；

f.以图像第一行所处位置处的辐照度为基准记为f(x₁)，后一行的辐照度记为f(x_i)，有将其作为图像融合时系数；

3)对非线性光照自适应处理后的图像进行拼接操作:

只属于图像A和图像B部分的像素点通过利用非线性光照自适法进行处理；属于图像A和图像B重叠区域的像素点利用非线性光照自适应融合算法进行融合操作，用公式表示如下：

其中Y₁(x)和Y₂(x)为权系数函数，且满足Y₁(x)+Y₂(x)＝1，I₁(x,y)，I₂(x,y)和I(x,y)分别表示图像A，图像B和融合后的图像在点(x,y)处的像素值，R₁表示仅属于图像A中的像素点区域，R₂表示图像A和图像B中重叠部分的像素点区域，R₃表示仅属于图像B中的像素点区域。

本发明实施例还提供了一种实现所述非线性光照自适应的图像拼接方法的轴承在线自动检测系统，该系统包括传送带、第一气缸、第二气缸、导轨、第一工位、第二工位、第一机械手、第二机械手、摄像头、计算机，所述传送带的两侧分别设置第一气缸、第二气缸，所述第一气缸的对立面设置导轨的一端，所述导轨的另一端与第一工位连接，所述第一工位的下方设置第一机械手，所述第一工位、第一机械手的右侧分别设置第二机械手、第二工位，所述第二工位的右侧设置摄像头，所述摄像头与计算机连接；所述第二机械手的右侧设置有废料箱；所述第一气缸、第二气缸、第一工位的一侧均设置有光电传感器。

上述方案中，所述第二工位包括L型支架、以及由下到上依次设置在L型支架上的固定平台、旋转平台、面光源，所述L型支架的垂直杆上设置有用于上下移动并且为轴承测量光度、亮度的光照度计，所述L型支架的水平杆上的一侧设置摄像头。

上述方案中，所述面光源上方设置有用于放置轴承用的载物平台。

与现有技术相比，本发明的有益效果：

光源照明系统的设计对整个图像采集和检测系统是至关重要的。在采集图像时希望图像上各点光照都是均匀的，这样采集得到的图像才会更加真实。但是通常在进行图像采集时，由于待测物体具有一定的尺寸，若只是采用同一光源照明很难达到照明均匀的效果。若是采用多光源照明也要考虑到不同光源之间的照明位置，光照强度的相互影响等因素，这就给整个系统增加了设计难度和成本。在采用背景平面光源设计的照明系统对图像进行采集获得的大尺寸零件图像时，考虑到大尺寸工件具有一定的尺寸，其上的点到光源的距离不都是一样的，采集得到图像上的光照就会不均匀，这就会给图像拼接时带来一定的影响。本发明正是考虑到这一影响，而又为了减少系统设计的难度和成本需要避免再设计其它的辅助光源照明系统来弥补图像采集时光照不均的影响。本发明考虑到采集对象光照不均匀的因素，在图像拼接时引入了光照不均补偿因子，这一因子的引入有利于提高图像拼接的质量，还原图像的原始面貌。操作简单，易于理解，运算速度快。

附图说明

图1为本发明实施例提供一种非线性光照自适应的图像拼接方法的流程图；

图2为本发明的图像配准法示意图；

图3为本发明的线性加权融合法示意图；

图4为采用本发明获得的拼接图像；

图5为本发明实施例提供的轴承在线自动检测系统；

图6为本发明实施例提供的轴承在线自动检测系统的第二工位的局部放大图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明实施例提供一种非线性光照自适应的图像拼接方法，如图1所示，该方法通过以下步骤实现：

步骤101：对摄像机进行标定。

具体的，根据单摄像机标定方法确定出摄像机内部参数矩阵M，其中，内部参数矩阵的形式为：其中d_x、d_y为图像平面上单位距离的像素数；(u₀,v₀)为摄像机光轴与图像平面交点坐标即主点坐标；s为径向畸变因子；将标定出来的参数存放到计算机中。

步骤102：通过摄像机对圆柱轴承进行图像采集，对采集得到的圆柱轴承图像展开成平面图像。

具体的，首先，搭建好圆柱轴承侧表面图像采集实验平台，调节好相机的视场角使每次采集得到的图像为四分之一圆，通过控制旋转平台带动轴承转动使每次采集得到的图像有的重叠余量以便于后期的图像拼接操作。

其次，利用数学映射关系将圆柱图像展开为平面图像，所述数学映射关系为：

其中(x，y)为待展开圆柱图像上任意一点坐标，(x，，y，)为展开后平面图像上的对应点的坐标，r为圆柱图像的半径，W为展开后图像的宽度，其中L为展开前图像的宽度，θ为采集所得图像对应的圆心角。

步骤103:对所述展开后的平面图像进行中值滤波。

具体的，1)选择均值滤波模版为3×3模版；

2)将待测图像中某点(i,j)为中心的邻域内所有像素点进行排序，以其排序后的中间值作为(i,j)点的灰度值，奇数时为中间像素值，偶数时将排序后两个中间点像素值的平均值作为该点的灰度值。

3)利用算法进行滤波，其中g(m,n)为中心像素值，f(m-k,n-l)为窗口A的像素灰度值；

4)利用上述算法可得到滤波后的图像。

步骤104：对滤波后获得的轴承侧表面图像进行非线性光照自适应的图像拼接，形成一幅完整的而又没有赘余的平面图像。

具体的，1)对待拼接的两幅图像进行图像配准操作：

a.根据比值匹配法在搜索图中具有重叠区域的部分中找出两个特征列，求出它们的对应灰度比值作为模版；

b.在待配准图像中从左到右间隔相同的两列上计算它们的灰度比值；

c.分别与搜索图中的灰度比值模版进行比较，求出它们之间灰度差最小的值所对应的列就是最佳配准列；

如图2所示，图像配准法的具体实施步骤如下所述：

(1)在搜索图A中与待搜索图B具有重叠区域中选出一个特征列c；

(2)在c列的左侧相距e列处找出另外一列记作c+e列；

(3)分别计算出这两列对应行像素的M个灰度比值存入数组S中作为配准模版；

(4)在待搜索图B中从左到右从第一列开始分别选取与之间距相等的e列计算出它们的比值，将其比值分别存放在数组T中作为待配准列；

(5)通过计算配准模版数组S中的灰度值和待配准数组T中的灰度值之间的差值，在待搜索图B中选取差值最小的列作为两幅图像之间的重叠配准列。用公式表示如下：其中D(j)表示两图像之间比值的灰度差。

如图3所示，2)根据线性加权融合法对融合后的图像进行非线性光照自适应处理:

a.以光源所在平面为Y轴，以垂直光源通过待采集轴承的中心为X轴建立第一直角坐标系；

b.对轴承侧表面图像采集的同时，在第一直角坐标系中，通过调节光照计与光源的位置记录下光照度计在距离光源不同位置时的光照强度；

c.以距离为横坐标X'单位为mm，光照强度为纵坐标Y'单位为lux建立第二角坐标系，用最小二乘法拟合出一个二次曲线Y'＝f(X')；

d.计算出每一个像素所对应的实际尺寸：其中h为采集图像的实际高度，单位为mm；M表示图像的行像素数；

e.计算出轴承侧表面在距光源不同距离下时的光照强度；

f.以图像第一行所处位置处的辐照度为基准记为f(x₁)，后一行的辐照度记为f(x_i)，有将其作为图像融合时系数；

3)对非线性光照自适应处理后的图像进行拼接操作:

只属于图像A和图像B部分的像素点通过利用非线性光照自适法进行处理；属于图像A和图像B重叠区域的像素点利用非线性光照自适应融合算法进行融合操作，用公式表示如下：

其中Y₁(x)和Y₂(x)为权系数函数，且满足Y₁(x)+Y₂(x)＝1，I₁(x,y)，I₂(x,y)和I(x,y)分别表示图像A，图像B和融合后的图像在点(x,y)处的像素值，R₁表示仅属于图像A中的像素点区域，R₂表示图像A和图像B中重叠部分的像素点区域，R₃表示仅属于图像B中的像素点区域。

参见图4，从图中可见，拼接得到的图像表面光亮度均匀，没有出现上下亮度反差较大的情况，利用本发明的方法可以较好的补偿图像拼接时光照不均的影响。

本发明实施例还提供用于所述非线性光照自适应的图像拼接方法的轴承在线自动检测系统，如图5、6所示，该系统包括传送带11、第一气缸1、第二气缸2、导轨12、第一工位4、第二工位7、第一机械手5、第二机械手6、摄像头8、计算机10，所述传送带11的两侧分别设置第一气缸1、第二气缸2，所述第一气缸1的对立面设置导轨12的一端，所述导轨12的另一端与第一工位4连接，所述第一工位4的下方设置第一机械手5，所述第一工位4、第一机械手5的右侧分别设置第二机械手6、第二工位7，所述第二工位的右侧设置摄像头8，所述摄像头8与计算机10连接；所述第二机械手6的右侧设置有废料箱9；所述第一气缸1、第二气缸2、第一工位4的一侧均设置有光电传感器3。

如图6所示，所述第二工位7包括L型支架705、以及由下到上依次设置在L型支架705上的固定平台701、旋转平台702、面光源703，所述L型支架705的垂直杆上设置有用于上下移动并且为轴承测量光度、亮度的光照度计704，所述L型支架705的水平杆上的一侧设置摄像头8。

所述面光源703上方设置有用于放置轴承用的载物平台。

本发明的具体实施步骤如下：

1)当待测轴承在传送带11上运动时，光电传感器3检测到轴承，控制系统会发出指令驱动第一气缸1动作，将轴承推送到第一工位4处；

2)第一工位4处的光电传感器3检测到轴承到位后，控制系统会发出指令驱动第一机械手5动作，将第一工位4处的轴承抓取到第二工位7处；

3)轴承在第二工位7处完成图像采集和处理操作，判断待检测轴承是否合格，若不合格，第二机械手6将其抓取到废料箱9中；反之，将其抓取放回传送带11，进行下一流程的操作。

通常一幅图像是不能够体现轴承侧表面的全部信息，所以对轴承侧表面进行图像采集时要根据CCD摄像机的视场角分多次进行图像采集。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (1)

1.一种非线性光照自适应的图像拼接方法，其特征在于，该方法为：对摄像机进行标定，通过摄像机对圆柱轴承进行图像采集，对采集得到的圆柱轴承图像展开成平面图像；对所述展开后的平面图像进行中值滤波，对滤波后获得的轴承侧表面图像进行非线性光照自适应的图像拼接，形成一幅完整的而又没有赘余的平面图像；

所述对摄像机进行标定，具体为：根据单摄像机标定方法确定出摄像机内部参数矩阵M，其中，内部参数矩阵的形式为：其中d_x、d_y为图像平面上单位距离的像素数；(u₀,v₀)为摄像机光轴与图像平面交点坐标即主点坐标；s为径向畸变因子；将标定出来的参数存放到计算机中；

所述通过摄像机对圆柱轴承进行图像采集，对采集得到的圆柱轴承图像展开成平面图像，具体为：利用数学映射关系将圆柱图像展开为平面图像，所述数学映射关系为：其中(x，y)为待展开圆柱图像上任意一点坐标，(x’，y’)为展开后平面图像上的对应点的坐标，r为圆柱图像的半径，W为展开后图像的宽度，其中L为展开前图像的宽度，θ为采集所得图像对应的圆心角；

所述对滤波后获得的轴承侧表面图像进行非线性光照自适应的图像拼接，形成一幅完整的而又没有赘余的平面图像，具体通过以下步骤实现：

1)对待拼接的两幅图像进行图像配准操作：

a.根据比值匹配法在搜索图中具有重叠区域的部分中找出两个特征列，求出它们的对应灰度比值作为模版；

b.在待配准图像中从左到右间隔相同的两列上计算它们的灰度比值；

c.分别与搜索图中的灰度比值模版进行比较，求出它们之间灰度差最小的 值所对应的列就是最佳配准列；

2)对融合后的图像进行非线性光照自适应处理:

a.以光源所在平面为Y轴，以垂直光源通过待采集轴承的中心为X轴建立第一直角坐标系；

b.对轴承侧表面图像采集的同时，在第一直角坐标系中，通过调节光照计与光源的位置记录下光照度计在距离光源不同位置时的光照强度；

c.以距离为横坐标X'单位为mm，光照强度为纵坐标Y'单位为lux建立第二角坐标系，用最小二乘法拟合出一个二次曲线Y'＝f(X')；

d.计算出每一个像素所对应的实际尺寸：其中h为采集图像的实际高度，单位为mm；M表示图像的行像素数；

e.计算出轴承侧表面在距光源不同距离下时的光照强度；

f.以图像第一行所处位置处的辐照度为基准记为f(x₁)，后一行的辐照度记为f(x_i)，有将其作为图像融合时系数；

3)对非线性光照自适应处理后的图像进行拼接操作:

只属于图像A和图像B部分的像素点通过利用非线性光照自适法进行处理；属于图像A和图像B重叠区域的像素点利用非线性光照自适应融合算法进行融合操作，用公式表示如下：

其中Y₁(x)和Y₂(x)为权系数函数，且满足Y₁(x)+Y₂(x)＝1，I₁(x,y)，I₂(x,y)和I(x,y)分别表示图像A，图像B和融合后的图像在点(x,y)处的像素值，R₁表示仅属于图像A中的像素点区域，R₂表示图像A和图像B中重叠部分的像素点区域，R₃表示仅属于图像B中的像素点区域。