CN104198752B - 基于机器视觉的高温钢坯运动状态的多率检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的高温钢坯运动状态的多率检测方法，包括如下步骤：首先，构建由多个线程并行工作的图像采集系统，每个线程控制一个相机采集相应工段的图像并计算，各个工段通过标定设置各自的采样频率以及图像的单位像素对应的物理尺寸；接着，各工段按各自设定的采样频率，采集图像、提取特征信息，并进行运动状态的计算。本发明基于机器视觉技术，不与被测物体接触，解决了传统的机械接触式装置难以测量高温物体的问题。

Description

基于机器视觉的高温钢坯运动状态的多率检测方法

技术领域

本发明涉及测量控制技术领域，尤其涉及一种基于机器视觉的高温钢坯运动状态的多率检测方法。

背景技术

在钢铁行业，目前国内外普遍推崇高集约化的热连轧一体化自动生产模式，连铸机出来的高温钢坯，经过在线加热设备的补温与均热，直接进入连轧机组。高温钢坯在传输过程中，如果发生卡钢现象，会引起比较严重的后果(如钢坯的融化等)，因此有必要进行运动状态是否静止的检测与报警处理；另外，为了实现加热与轧制的精确控制，也有必要进行运动速度的检测与控制。

由于运动钢坯的温度比较高，传统的机械接触式测量方法不能满足要求，目前普遍采用专人监视，进行手动调速与应急处理，不仅劳动强度高，而且响应速度与控制精度不高。

在目前的热连轧自动生产中，已有通过图像采集来检测钢坯表面质量的技术，例如公开号为CN103033520A的专利文献公开了一种热连铸钢坯表面质量检测方法，通过热连铸钢坯表面质量检测系统，经图像采集、图像数据传输、图像数据处理、钢坯表面缺陷报警四个步骤实现对热连铸钢坯表面质量检测。

但是，对于运动过程中的钢坯，如何利用机器视觉自动采集图像并进行运动状态的检测，尚无有效可行的方法。

发明内容

为了解决热连轧一体化自动生产过程中存在的上述问题，本发明利用机器视觉检测高温钢坯的运动状态。

一种基于机器视觉的高温钢坯运动状态的多率检测方法，包括如下步骤：

步骤1，各个工段通过标定设置图像的采样频率以及图像的单位像素对应的物理尺寸；

步骤2，各工段按各自的采样频率采集并保存图像；

步骤3，对于每个工段，根据前后两帧图像之间的相似度匹配来判断该工段钢坯所处的状态：处于运动状态，进入步骤4；否则，运动速度计为0，等待直至下一次图像采集时再重新进行判断；

步骤4，等待直至达到运动速度的计算周期，在达到计算周期时，提取所采集图像的特征点，利用该工段前后相邻两帧图像的特征点之间的位移以及所设定的单位像素对应的物理尺寸计算钢坯的运动速度。

本发明中各个工段的图像采集是并行进行的，各工段的图像采样频率可以相同也可以不同，各个工段的图像采集根据定时器设定的频率定时采集。而在进行运动状态的判断及计算时可以根据需要进行并行或串行处理，其中各个工段的运动速度计算也是定时进行的，其频率与图像采集的频率有关。本发明的多率检测方法，主要体现在：针对不同工段相机设置不同的采样频率，保证相邻两帧图像具有较好的匹配度，提高了测量精度与可靠性；因为运动速度的计算量远大于静止状态判断的计算量，针对同一工段相机设置不同的静止态判断频率与运动速度计算频率，可降低整个检测系统的负荷。

步骤1中，第i个工段图像的采样频率设置方法为，设定初始采样频率为最大采样频率F_i，按初始采样频率采集至少二帧图像，利用前一帧图像和当前帧图像的特征点进行匹配，根据如下的采样频率公式设定采样频率f_i：

其中，ceil为向上取整函数，n_i为第i个工段所采集的当前帧图像相对于前一帧图像水平方向移动的像素数，w_i为第i个工段所采集图像的水平像素宽度，为期望的当前帧图像与前一帧图像的重叠率。

的取值范围为[0,1]，为了使后续采集的图像具有较好的匹配度，优选的，重叠率满足

可选的，第i个工段中，单位像素对应的物理尺寸M_i的设置满足如下公式：

其中h_i为拍摄图像中钢坯的垂直像素高度，H_i为钢坯的实际垂直物理尺寸。

在步骤3中，判断是否处于运动状态的方法为，对前一检测周期与当前检测周期所采集的图像进行二值化，并比较二值化所得的两帧二值化效果图上氧化皮区域的相似度，相似度大于预设阈值，则钢坯处于静止状态。

这里判断像素点的匹配原则为，若在一帧图像上某像素点为氧化皮，另一帧图像上该像素点仍为氧化皮，则判断这两个像素点是匹配的。由于两幅图像上像素点一般不可能完全匹配，因此通过设定阈值，相似度大于一定阈值(例如0.8)，则认为钢坯没有移动。

相似度的计算方法有若干种，可选的，相似度θ的计算公式为：

其中，π为相邻两帧图像上氧化皮区域相匹配的像素点数，c₁为前一帧图像的二值化效果图上氧化皮区域的总像素点数，c₂为当前帧的二值化效果图上氧化皮区域的总像素点数。

因为所拍的钢坯图像的灰度直方图呈现双峰形态，用大津法求得的阈值可以很好的将钢坯本身和钢坯上的氧化皮区分开，得到前后两帧的钢坯二值化效果图，因此，优选的，对图像采用大津法进行二值化。

在步骤4中，运动速度的计算方法如下：

步骤4-1，对于前后两帧图像，提取两帧图像的特征点；

步骤4-2，构造特征点描述子，并根据两帧图像特征点描述子的欧氏距离，将一帧图像中的特征点与另一帧图像中的特征点进行匹配形成特征点对，选择欧氏距离较近的若干特征点对；

步骤4-3，根据所选特征点对之间的平均位移，计算钢坯的运动速度，对于第i个工段，钢坯运动速度v_i的计算公式如下：

v_i＝s_iM_if_i

其中s_i为第i个工段所选特征点的平均位移，M_i为第i个工段相机单位像素对应的物理尺寸，f_i为第i个工段的采样频率。

前后两帧图像提取的特征点数可能不一样，特征点少的图像设为t1，另一帧图像为t2，对t1图像上每个特征点，计算它的描述子与t2图像上所有特征点的描述子的欧氏距离，并保存距离最短的两个距离，当最短距离小于次短距离的设定值时认为匹配成功，设定值例如为0.6。以相匹配的特征点的欧氏距离为参数，对这些匹配好的特征点进行一个升序排序，取前五对特征点作为精确匹配特征点。

在步骤4-1中，对于各帧图像，提取特征点的具体方法为：

步骤1a，利用n×m个高斯模板与图像进行卷积，建立具有m层、每层具有n幅图像的图像金字塔，其中n表示n个平滑尺度，m表示m个模板尺寸。

步骤1b，将图像中满足选择条件的像素点作为特征点，所述选择条件为，像素点的Hessian矩阵特征值在邻域中为极值，且该Hessian矩阵特征值与邻域中其他各像素点的Hessian矩阵特征值之间的差值均大于或等于预设阈值，其中邻域为同一层各图像的像素点。

其中极值为极大值或极小值，满足极值条件的像素点很多，因此设定一个预设阈值，将Hessian矩阵特征值比其他像素点高出超过预设阈值的像素点作为特征点，从而得到合适数目的像素点作为特征点。

步骤4-2中，为各个特征点构造特征点描述子的具体方法为：

首先，确定该特征点的主方向；

接着，从该特征点的邻域内选择正方形区域，该正方形的边长方向分别为表示主方向的x方向以及与主方向垂直的y方向；

最后，将该正方形区域分为k×k个子区域，每个子区域得到4个向量，将所得k×k×4维向量作为特征点描述子，其中每个子区域的四个向量为，该子区域所有像素点分别在x方向及y方向的haar小波特征值之和以及在x方向和y方向上的haar小波特征值绝对值之和。

其中特征点的主方向确定方法为，统计特征点邻域内的Harr小波特征，即以特征点为中心，设定半径r，角度为α，计算半径为r的邻域内，统计角度为α扇形内所有点在水平和垂直方向的Harr小波响应，并给这些响应赋予一定的高斯权重系数，靠近特征点的响应权重大，远离特征点的权重小，设置权重是特征点的扇形内的某点与特征点距离的倒数，将扇形范围内的响应相加生成一个矢量，遍历整个邻域，选择矢量长度最长的方向为特征点的主方向。

本发明的有益技术效果为：(1)本发明基于机器视觉技术，不与被测物体接触，解决了传统的机械接触式装置难以测量高温物体的问题；(2)本发明的多率检测方法，主要体现在：针对不同工段相机设置不同的采样频率，保证相邻两帧图像具有较好的匹配度，提高了测量精度与可靠性；针对同一工段相机设置不同的静止态判断频率与运动速度计算频率，在保证卡钢现象快速检测的同时，可降低整个检测系统的计算量，实现工控机的小型化、微型化。

附图说明

图1为本发明一个实施例的方法流程图；

图2为本发明当前实施例的结构图；

图3a为本发明图2中所示加热炉入口工段的钢坯图像；

图3b为本发明图2中所示加热炉出口工段的钢坯图像。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明一种基于视觉的高温钢坯运动状态的多率检测方法进行详细说明。

如图1所示，一种基于视觉的高温钢坯运动状态的多率检测方法，包括以下步骤：

步骤1，各个工段通过标定设置图像的采样频率以及图像的单位像素对应的物理尺寸。

在当前实施例中构建由两个线程并行工作的图像采集系统，每个线程控制一个相机采集相应工段的图像并计算，各个工段通过标定设置相应的采样频率f_i以及单位像素对应的物理尺寸M_i。

如图2所示，由两台相机构成的图像采集系统包括嵌入式工控机1，摄相机2和3，将相机对准下方的钢坯4和5(上面有氧化皮)并固定，相机2负责采集加热炉入口工段的钢坯4的图像，相机3负责采集加热炉出口工段的钢坯5的图像，利用网线(RJ45接口)把相机和工控机连接起来，调节相机的曝光时间和曝光增益，使钢坯图像不失真，两台相机的初始相机采样频率设置为相机最大采样频率，利用相机采集的第一帧和第二帧图像搜索特征点并匹配。本实施方式中，两台相机的最大采样频率F_i＝100帧/s，相机拍摄的第二帧相对于第一帧图像的水平方向移动的像素数n_i通过特征点搜索与匹配获得，两个相机拍摄图像的水平像素宽度w_i＝658。由以上信息可以得出，钢坯在1/F_i秒内移动了n_i/w_i帧，第二帧图像和第一帧图像的重叠率1-n_i/w_i，则相机采样频率f_i可设置为

其中ceil为向上取整函数，期望的第二帧图像与第一帧图像的重叠率以保证后续采集的图像具有较好的匹配度与钢坯运动速度的适应性。相机单位像素对应的物理尺寸M_i设置为

其中h_i与H_i分别为拍摄图像中钢坯的垂直像素高度与钢坯的实际垂直物理尺寸。

步骤2，各工段按各自的采样频率采集并保存图像。

每个工段以设定好的采样频率进行图像采集，对于工段i，其采样频率为f_i(当前实施例中为10帧/s)，则定时器设定的时间间隔为T_i1＝1/f_i，该工段相机每隔T_i1时间进行图像采集。

步骤3，对于每个工段，根据前后两帧图像之间的相似度匹配来判断该工段钢坯所处的状态：处于运动状态，进入步骤4；否则，运动速度计为0，等待直至下一次图像采集时再重新进行判断。

在每个工段，每次采集图像之后，都对该工段钢坯所处的状态进行判断，第一次采集图像时默认钢坯的速度为0。以入口工段为例，对步骤3进行详细解释。对入口工段保存的相邻两帧图像进行特征提取，求得钢坯的当前特征信息，并进行钢坯是否处于静止状态的判断。如果处于静止状态，设置v_i＝0，跳过运动速度计算；具体过程如下：

对前后两帧图像利用大津法进行二值化，因为所拍的钢坯图像的灰度直方图呈现双峰形态，用大津法求得的阈值可以很好的将钢坯本身和钢坯上的氧化皮区分开，得到前后两帧的钢坯二值化效果图，比较二值化效果图上氧化皮的区域，相似度大于0.8则判断钢坯处于静止状态。区域相似度定义为

其中θ为区域的相似度，π为相邻两帧图像上氧化皮相匹配的像素点数，c₁与c₂分别为前后两帧图像上氧化皮的总像素点数。这里判断像素点的匹配原则为，若在一幅图像上某像素点为氧化皮，另一幅图像上该像素点仍为氧化皮，则判断这两个像素点是匹配的。

判断钢坯处于运动状态以后，进入步骤4，等待直至达到运动速度的计算周期，在达到计算周期时，提取所采集图像的特征点，利用该工段前后相邻两帧图像的特征点之间的位移以及所设定的单位像素对应的物理尺寸计算钢坯的运动速度。

在进行运动速度计算时，由两个并行线程分别对各个工段进行运动速度的计算。因为运动速度的计算量远大于静止状态判断的计算量，为了降低整个检测系统的负荷，将运动速度的计算设定计算周期T_i2＝m_i/f_i(当前实施例中T_i2＝5/f_i)，定时器达到T_i2时，进行运动速度的计算。获得运动速度的具体过程如下：

a)建立图像的尺度空间，即用不同的高斯滤波(不同的平滑尺度σ，不同的模板尺寸)来对图像进行模糊。本实施例中，平滑尺度为3个(n＝3)，模板尺寸也为3个(m＝3)，对应地，建立的图像金字塔分为三层，每层分别有三幅图像。第一层的三幅图像是由原图与三个高斯模板进行卷积，模板大小都为3*3、σ分别为0.6,1.2,1.8；第二层的三幅图像由原图与三个高斯模板进行卷积，模板大小都为5*5、σ分别为0.6,1.2,1.8；第三层的三幅图像由原图与三个高斯模板进行卷积，模板大小都为7*7、σ分别为0.6,1.2,1.8。

b)利用周围邻域确定特征点。在每一层金字塔图像中，以第二幅图像的某像素点为例，判断其Hessian矩阵特征值在第二幅图像的3*3邻域(8个像素点)、第一幅图像中该像素点的3*3邻域(9个像素点)、第三幅图像中该像素点的3*3邻域(9个像素点)是否为极值，极值包括极大值和极小值，若在三层金字塔中都满足则判断它为特征点。满足这个条件的特征点很多，因此设定一个阈值200，只有第二幅图像中某像素点的Hessian矩阵特征值比周围图像邻域共26个点的Hessian矩阵特征值都要相差200(比各个点的Hessian矩阵特征值大或小200)，才标记为特征点，这样每幅图像的特征点数大约都在20-30左右。

前后两帧图像均通过步骤a)和b)提取各自的特征点。接着通过c)以及d)来匹配特征点。

c)构造特征点描述子。首先确定特征点的主方向，统计特征点邻域内的Harr小波特征，即以特征点为中心，计算半径为12个像素点的邻域内，统计60度扇形内所有点在水平和垂直方向的Harr小波响应，并给这些响应赋予一定的高斯权重系数，靠近特征点的响应权重大，远离特征点的权重小，设置权重是特征点60度扇形内的某点与特征点距离的倒数，将60度范围内的响应相加生成一个矢量，遍历整个邻域，选择矢量长度最长的方向为特征点的主方向。

在特征点邻域内选择一个正方形区域，本实施方式中框的边长为20个像素点，该区域的x(水平)方向为上述求得的主方向，y(垂直)方向为主方向的垂直向量，然后把该正方形区域分为16个子区域，每个子区域统计25个像素点的水平和垂直方向的haar小波特征，最终得到x方向haar小波特征值之和Σd_x，x方向haar小波特征绝对值之和Σ|d_x|，y方向haar小波特征值之和Σd_y，y方向haar小波特征绝对值之和Σ|d_y|。这样每个小区域就有4个值，每个特征点的描述子就是一个16*4＝64维的向量。

d)特征点的匹配。前后两帧图像提取的特征点数可能不一样，特征点少的图像设为t1，另一幅图像为t2，对t1图像上每个特征点，计算它的描述子与t2图像上所有特征点的描述子的欧氏距离，并保存距离最短的两个距离，当最短距离小于次短距离的0.6时认为匹配成功。以相匹配的特征点的欧氏距离为参数，对这些匹配好的特征点进行一个升序排序，取前五对特征点作为精确匹配特征点。

匹配特征点之后，通过步骤e)计算运动速度。

e)根据五对特征点之间的平均位移，获得钢坯的运动速度为

v_i＝s_iM_if_i

其中v_i为第i个工段的钢坯运动速度，s_i为第i个工段相邻两帧图像上钢坯移动的像素数，M_i为标定的第i个工段相机单位像素对应的物理尺寸，f_i为第i个工段的相机采样频率。

本发明基于机器视觉技术，不与被测物体接触，解决了传统的机械接触式装置难以测量高温物体的问题。本发明的多率检测方法，主要体现在：针对不同工段相机设置不同的采样频率，保证相邻两帧图像具有较好的匹配度，提高了测量精度与可靠性。实际应用中，在满足高温钢坯运动状态检测系统响应时间要求的情况下，可尽量降低采样频率，从而实现工控机的小型化、微型化，或者与其它测控装置的共享。

Claims (7)

1.一种基于机器视觉的高温钢坯运动状态的多率检测方法，其特征在于，包括如下步骤：

步骤1，通过设置各个工段图像的采样频率以及图像的单位像素对应的物理尺寸；

步骤2，各工段按各自的采样频率采集并保存图像；

步骤3，对于每个工段，根据前后两帧图像之间的相似度匹配来判断该工段钢坯所处的状态：处于运动状态，进入步骤4；否则，运动速度计为0，等待直至下一次图像采集时再重新进行判断；

其中，步骤3具体为，对前一帧图像与当前帧图像进行二值化，并比较所得的两帧二值化效果图上氧化皮区域的相似度，相似度大于预设阈值，则钢坯处于静止状态；

步骤4，等待直至达到运动速度的计算周期，在达到计算周期时，提取所采集图像的特征点，利用该工段前后相邻两帧图像的特征点之间的位移以及所设定的单位像素对应的物理尺寸计算钢坯的运动速度；

在步骤4中，运动速度的计算方法如下：

步骤4-1，对于前后两帧图像，提取两帧图像的特征点；

在步骤4-1中，对于各帧图像，提取特征点的具体方法为：

步骤1a，利用n×m个高斯模板与图像进行卷积，建立具有m层、每层具有n幅图像的图像金字塔，其中n表示n个平滑尺度，m表示m个模板尺寸；

步骤1b，将图像中满足选择条件的像素点作为特征点，所述选择条件为，像素点的Hessian矩阵特征值在邻域中为极值，且该Hessian矩阵特征值与邻域中其他各像素点的Hessian矩阵特征值之间的差值均大于或等于预设阈值，其中邻域为同一层各图像的像素点；

步骤4-2，构造特征点描述子，并根据两帧图像特征点描述子的欧氏距离，将一帧图像中的特征点与另一帧图像中的特征点进行匹配形成特征点对，选择欧氏距离较近的若干特征点对；

步骤4-3，根据所选特征点对之间的平均位移，计算钢坯的运动速度，对于第i个工段，钢坯运动速度v_i的计算公式如下：

v_i＝s_iM_if_i

其中s_i为第i个工段所选特征点的平均位移，M_i为第i个工段相机单位像素对应的物理尺寸，f_i为第i个工段的采样频率。

2.如权利要求1所述基于机器视觉的高温钢坯运动状态的多率检测方法，其特征在于，步骤1中，第i个工段图像的采样频率设置方法为，初始按最大采样频率F_i采集至少二帧图像，利用前一帧图像和当前帧图像的特征点进行匹配，根据如下的采样频率公式设定采样频率f_i：

其中，ceil为向上取整函数，n_i为第i个工段所采集的当前帧图像相对于前一帧图像水平方向移动的像素数，w_i为第i个工段所采集图像的水平像素宽度，为期望的当前帧图像与前一帧图像的重叠率。

3.如权利要求2所述基于机器视觉的高温钢坯运动状态的多率检测方法，其特征在于，重叠率满足

4.如权利要求1所述基于机器视觉的高温钢坯运动状态的多率检测方法，其特征在于，第i个工段中，单位像素对应的物理尺寸M_i的设置满足如下公式：

<mrow> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>H</mi> <mi>i</mi> </msub> <msub> <mi>h</mi> <mi>i</mi> </msub> </mfrac> </mrow>

其中h_i为拍摄图像中钢坯的垂直像素高度，H_i为钢坯的实际垂直物理尺寸。

5.如权利要求1所述基于机器视觉的高温钢坯运动状态的多率检测方法，其特征在于，相似度θ的计算公式为：

<mrow> <mi>&amp;theta;</mi> <mo>=</mo> <mfrac> <mi>&amp;pi;</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>c</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>;</mo> </mrow>

其中，π为相邻两帧图像上氧化皮区域相匹配的像素点数，c₁为前一帧图像的二值化效果图上氧化皮区域的总像素点数，c₂为当前帧的二值化效果图上氧化皮区域的总像素点数。

6.如权利要求1所述基于机器视觉的高温钢坯运动状态的多率检测方法，其特征在于，对图像采用大津法进行二值化。

7.如权利要求1所述基于机器视觉的高温钢坯运动状态的多率检测方法，其特征在于，步骤4-2中，为各个特征点构造特征点描述子的具体方法为：

首先，确定该特征点的主方向；

接着，从该特征点的邻域内选择正方形区域，该正方形的边长方向分别为表示主方向的x方向以及与主方向垂直的y方向；

最后，将该正方形区域分为k×k个子区域，每个子区域得到4个向量，将所得k×k×4维向量作为特征点描述子，其中每个子区域的四个向量为，该子区域所有像素点分别在x方向及y方向的haar小波特征值之和以及在x方向和y方向上的haar小波特征值绝对值之和。