CN103714524A

CN103714524A - 一种冷轧带钢表面图像自动融合方法

Info

Publication number: CN103714524A
Application number: CN201310720251.2A
Authority: CN
Inventors: 宋宝宇; 王军生; 王靖震; 杨东晓; 王晓惠; 高冰; 王奎越; 柴明亮; 费静; 李连成
Original assignee: Angang Steel Co Ltd
Current assignee: Angang Steel Co Ltd
Priority date: 2013-12-20
Filing date: 2013-12-20
Publication date: 2014-04-09
Anticipated expiration: 2033-12-20
Also published as: CN103714524B

Abstract

本发明提供一种冷轧带钢表面图像自动融合方法，分为图像拼接横移数组的确定和在线图像融合两个阶段：图像拼接横移数组的确定方法为：通过图像采集、提取背景图片和嵌入图片、图像剪切、图像增强、计算拼接横移量及生成图像拼接横移数组，最终生成拼接横移数组

，n为单面相机个数。实际系统运行时在线图像融合方法为：通过图像采集、提取背景图片和嵌入图片、图像拼接、图像融合，直到所有相机图像被拼接融合。本发明针对线扫描相机设计，工作可靠，算法简单，易于实现，处理效果好，运行速度快；可较简单的实现突出图像特征的目的，较好的保留原图图像特征，适用于工业生产运行环境和计算机及单片机等各种计算设备。

Description

一种冷轧带钢表面图像自动融合方法

技术领域

本发明属于轧钢自动控制领域，特别涉及一种用于冷轧带钢表面图像自动融合的方法。

背景技术

随着机器视觉技术的发展及工业流水线速度、精度的提高，线扫描成像系统越来越多地被工业检测系统开发工程师所重视。由于线扫描相机具有分辨率高，响应速度快的特点，可以实现高精度、高速度测量，所以利用线扫描相机进行带钢的表面质量检测也得到了广泛应用。随着汽车、家电等产品制造商对钢板表面质量要求的提高，在运行效率、设备能力、经济条件多重考虑下，采用多台线扫描相机同步图像采集的方式已经被广泛认可。在先拼接融合的实现既有利于带钢表面完整的质量信息的采集，又有利于实时图像的监控和回放。但与此同时对于高速运转的工业流水线，快速高效的图像拼接融合，也成为了提高系统运行效果的一大瓶颈。

目前，针对线扫描图像融合的方法主要是通过对多幅同步图像重合部位进行辨识，确定图像重合量进行融合。确定重合面的方法主要有灰度相关法及特征相关法。灰度相关法适用于图像重合部位图像上灰度相对近似，图像上有明显的灰度梯度。而特征相关法适用于图像背景灰度相对有变化，前景特征明确的图像环境。对于冷轧带钢表面图像的融合，由于图像上没有明显的灰度梯度，不适合使用灰度相关法。采用特征相关法同样需要先增强前景图像特征，再采用快速的特征匹配及融合算法，才能适用于带钢生产的工业环境，但迄今为止，现有技术尚未见有较为合适的方法。

发明内容

一种冷轧带钢表面图像自动融合方法，分为图像拼接横移数组的确定和在线图像融合两个阶段，且图像拼接横移数组的确定是在实际开展图像融合前完成。

图像拼接横移数组的确定方法及步骤为：

（1）图像采集：通过线扫描相机采集实时带钢同步图像，要求图像尺寸相同，按相机摆放顺序组成上下表面图像队列f_U(x,y)_i(i=1…n_U)和f_D(x,y)_i(i=1…n_D)；其中n_U和n_D分别为上下表面相机个数。

（2）提取背景图片和嵌入图片：对于上下表面采取同样的方式提取背景图片和嵌入图片，

背景图片为f(x,y)_j

嵌入图片为f(x,y)_j+1

其中j从1开始，且j＜单面相机个数。

（3）图像剪切：由于相机位置相对固定，为了提高分析速度，分析前初步估计背景图片和嵌入图片的重叠区域位置，各自向非重叠区扩展一定尺寸，将剩余非重叠区剪切掉。

（4）图像增强：首先对背景图片和嵌入图片进行中值滤波；然后对背景图片和嵌入图片上每一纵列使用直方图均衡化方法形成待分析的背景图片和嵌入图片。

（5）计算拼接横移量：首先采用SURF算法分别计算背景图片和嵌入图片的特征点及其8×8维的描述单元；再进行特征点匹配，其中描述单元的匹配采用最短距离法，同时要求匹配上的特征点描述单元最短匹配距离要小于1/2的次短匹配距离；然后根据匹配上的特征点计算两图像的拼接横移量H_i，即两图像的重叠尺寸。

（6）生成图像拼接横移数组：重复步骤（2）-（5），最终生成拼接横移数组H_i(i=1……n-1)，n为单面相机个数。

实际系统运行时在线图像融合方法及步骤如下：

（1）图像采集：方法如确定图像拼接横移数组方法步骤（1），不同的是，此时对每台相机采集连续图像，持续形成上下表面图像队列。

背景图片为

BG {(x, y)}_{j} \{\begin{matrix} j = 1, BG {(x, y)}_{l} = f {(x, y)}_{l} \\ j > 1, BG {(x, y)}_{j} = MI {(x, y)}_{j - 1} \end{matrix}

嵌入图片为f(x,y)_j+1

其中j从1开始，且j＜单面相机个数，MI(x,y)_j为拼接融合后过程图像。

（3）图像拼接：首先提取对应相机的图像拼接横移量H_i并创建初始过程图像MI(x,y)_j，x_max=x_max(背景图像)+x_max(嵌入图像)-H_i，y_max等同背景图片和嵌入图片；然后进行图像拼接，此时拼接后过程图像MI(x,y)_j为：

（4）图像融合：按如下方法生成融合图像RH(x,y)_j；

其中，f_BG-OV(x,y)_j为背景图像上与嵌入图像重叠的部分，f_EM-OV(x,y)_j为嵌入图像上与背景图像重叠的部分，AVG_BG-OV与SDV_BG-OV分别为背景图像重叠部分的灰度平均值和标准差，AVG_EM-OV与SDV_EM-OV分别为嵌入图像重叠部分的灰度平均值和标准差，AVG_OV(x,y)为背景图像和嵌入图像重叠的部分综合灰度平均值；

然后计算融合后过程图像，方法如下：

（5）重复步骤（2）-（4），直到所有相机图像被拼接融合。

在图像拼接横移数组的确定方法步骤（5）中，根据匹配上的特征点计算两图像的拼接横移量H_i的方法是：首先计算每一对匹配上的特征点的水平横移距离H_ij，即每一对特征点水平重叠时，两幅图像的重叠尺寸；然后按不同的水平横移距离分别计算特征点偏移常数PYC(H_ij)，

其中，x_背景为背景图像上特征点的水平坐标，x_嵌入为嵌入图像上特征点经过H_ij水平横移后的水平坐标。最终拼接横移量H_i计算方法为：

H_i=H_ij(对应PYC值最小)。

本发明的有益效果为：

1、适用于工业生产运行环境，工作可靠，算法简单，易于实现。

2、针对线扫描相机设计，处理效果好，运行速度快。

3、该方法适用于计算机及单片机等各种计算设备。

4、较简单的实现突出图像特征的目的。

5、图像融合后较好的保留原图图像特征。

附图说明

图1是冷轧带钢表面图像自动融合系统构成图；

图2是图像拼接横移数组确定方法流程图；

图3在线图像融合方法流程图。

图中：运动带钢1、图像采集设备2、照明装置3。

具体实施方式

下面结合附图对本发明具体实施方式作进一步说明。

本方法的系统设备构成如图1所示。系统通过图像采集设备2对运动带钢1进行实时采集，通过照明装置3进行照明。图像采集设备2为多个线扫描相机组成的相机组。照明装置3可以是普光灯、LED集成灯、激光扫描等多种光源。照明装置3投射到带钢表面形成光带，图像采集点被完全包裹在光带中。系统通过图像采集单元采集在线图像，通讯方式可以是数字式或模拟式。系统通过图像处理单元对图像进行拼接融合等操作，图像处理单元可以是独立单元（如单片机设备等）或集成单元（如计算机中的程序模块）。处理后的图像可以直接显示在人机交互设备上或进行存储及进一步的分析。

本方法具体实施分为两个阶段，一是图像拼接横移数组的确定，二是在线图像融合。

图像拼接横移数组的确定是在实际开展图像融合前完成，具体实施流程如图2所示，包括以下几个步骤：

1、通过线扫描相机采集实时带钢同步图像，要求图像尺寸相同，横向尺寸根据相机的能力而定，纵向为了便于处理和分析，可以取256或512等2的n次幂，但不能过大或过小。接着按相机摆放顺序组成上下表面图像队列f_U(x,y)_i(i=1…n_U)和f_D(x,y)_i(i=1…n_D)。其中n_U和n_D分别为上下表面相机个数。此时对每台相机只采集一幅图像。

2、从图像队列中提取背景图片和嵌入图片。对于上下表面采取同样的方式提取背景图片和嵌入图片。背景图像为f(x,y)_j，嵌入图像为f(x,y)_j+1，其中j从1开始，每次循环依次增加，且j<单面相机个数。

3、图像剪切。由于相机位置相对固定，为了提高分析速度，分析前初步估计背景图片和嵌入图片的重叠区域位置，各自向非重叠区扩展一定尺寸，将剩余非重叠区剪切掉。一般相机重叠区域会小于10%，多数在2%-3%左右，所以可从背景图片和嵌入图片各自边缘取包含重叠部分的10%作为拼接区域，其余90%，剪切掉。

4、图像增强。首先对背景图片和嵌入图片进行模板尺寸为3×3的中值滤波。然后对背景图片和嵌入图片上每一纵列使用直方图均衡化方法形成待分析的背景图片和嵌入图片。这样做不仅对图像进行了增强同时解决了图像光照不均匀问题。

5、计算拼接横移量H_i。首先采用SURF算法分别计算背景图片和嵌入图片的特征点及其8×8维的描述单元。然后进行特征点匹配，其中描述单元的匹配采用最短距离法，同时要求匹配上的特征点描述单元最短匹配距离要小于1/2的次短匹配距离。然后根据匹配上的特征点计算两图像的拼接横移量H_i，即两图像的重叠尺寸。

其中计算拼接横移量H_i的方法是：首先计算每一对匹配上的特征点的水平横移距离H_ij，H_ij为将每一对特征点水平重叠时，两幅图像的重叠尺寸。

然后按不同的水平横移距离分别计算特征点偏移常数PYC(H_ij)。

H_i=H_ij(对应PYC值最小)

6、生成图像拼接横移数组。重复步骤（2）-（5），最终生成拼接横移数组H_i(i=1……n-1)，n为单面相机个数。

以上过程可以多进行几次，始终以对应PYC值最小为对比条件。

实际系统运行时在线图像融合具体实施流程如图3所示，包括以下几个步骤：

1、图像采集。方法如确定图像拼接横移数组方法步骤（1），不同的是，此时对每台相机采集连续图像，持续形成上下表面图像队列。

2、提取背景图片和嵌入图片。对于上下表面采取同样的方式提取背景图片和嵌入图片。

背景图片为

BG {(x, y)}_{j} \{\begin{matrix} j = 1, BG {(x, y)}_{l} = f {(x, y)}_{l} \\ j > 1, BG {(x, y)}_{j} = MI {(x, y)}_{j - 1} \end{matrix}

嵌入图片为f(x,y)_j+1

其中，j从1开始，且j<单面相机个数，MI(x,y)_j为拼接融合后过程图像。

3、图像拼接。首先提取对应相机的图像拼接横移量H_i并创建初始过程图像MI(x,y)_j，x_max=x_max(背景图像)+x_max(嵌入图像)-H_i，y_max等同背景图片和嵌入图片。然后进行图像拼接，此时拼接后过程图像MI(x,y)_j为

4、图像融合。按如下方法生成融合图像RH(x,y)_j。

灰度偏移量

(x, y) = \{\begin{matrix} | f_{BG - OV} {(x, y)}_{j} - {AVG}_{BG - OV} | \\ | f_{EM - OV} {(x, y)}_{j} - {AVG}_{EM - OV} | \end{matrix}

然后计算融合后过程图像，方法如下：

5、重复步骤2-4，直到所有相机图像被拼接融合。

Claims

1.一种冷轧带钢表面图像自动融合方法，其特征在于，分为图像拼接横移数组的确定和在线图像融合两个阶段，图像拼接横移数组的确定方法及步骤为：

（1）图像采集：通过线扫描相机采集实时带钢同步图像，要求图像尺寸相同，按相机摆放顺序组成上下表面图像队列f_U(x,y)_i(i=1…n_U)和f_D(x,y)_i(i=1…n_D)；其中n_U和n_D分别为上下表面相机个数；

背景图片为f(x,y)_j

嵌入图片为f(x,y)_j+1

其中j从1开始，且j＜单面相机个数；

（3）图像剪切：分析前初步估计背景图片和嵌入图片的重叠区域位置，各自向非重叠区扩展一定尺寸，将剩余非重叠区剪切掉；

（4）图像增强：首先对背景图片和嵌入图片进行中值滤波；然后对背景图片和嵌入图片上每一纵列使用直方图均衡化方法形成待分析的背景图片和嵌入图片；

（5）计算拼接横移量：首先采用SURF算法分别计算背景图片和嵌入图片的特征点及其8×8维的描述单元；再进行特征点匹配，其中描述单元的匹配采用最短距离法，同时要求匹配上的特征点描述单元最短匹配距离要小于1/2的次短匹配距离；然后根据匹配上的特征点计算两图像的拼接横移量H_i，即两图像的重叠尺寸；

（6）生成图像拼接横移数组：重复步骤（2）-（5），最终生成拼接横移数组H_i(i=1……n-1)，n为单面相机个数；

实际系统运行时在线图像融合方法及步骤如下：

（1）图像采集：方法如确定图像拼接横移数组方法步骤（1），不同的是，此时对每台相机采集连续图像，持续形成上下表面图像队列；

背景图片为

BG {(x, y)}_{j} \{\begin{matrix} j = 1, BG {(x, y)}_{l} = f {(x, y)}_{l} \\ j > 1, BG {(x, y)}_{j} = MI {(x, y)}_{j - 1} \end{matrix}

嵌入图片为f(x,y)_j+1

其中j从1开始，且j＜单面相机个数，MI(x,y)_j为拼接融合后过程图像；

（4）图像融合：按如下方法生成融合图像RH(x,y)_j；

灰度偏移量

然后计算融合后过程图像，方法如下：

（5）重复步骤（2）-（4），直到所有相机图像被拼接融合。

2.根据权利要求1所述的冷轧带钢表面图像自动融合方法，其特征在于，在图像拼接横移数组的确定方法步骤（5）中，根据匹配上的特征点计算两图像的拼接横移量H_i的方法是：首先计算每一对匹配上的特征点的水平横移距离H_ij，即每一对特征点水平重叠时，两幅图像的重叠尺寸；然后按不同的水平横移距离分别计算特征点偏移常数PYC(H_ij)，

其中，x_背景为背景图像上特征点的水平坐标，x_嵌入为嵌入图像上特征点经过H_ij水平横移后的水平坐标；最终拼接横移量H_i计算方法为：

H_i=H_ij(对应PYC值最小)。