CN105335973A - 运用于带钢加工生产线的视觉处理方法 - Google Patents

Abstract

本发明提供了一种运用于带钢加工生产线的视觉处理方法，其针对搬运堆垛过程的带钢粗略定位，提取带钢上标志物轮廓信息并转化为极坐标下的表示形式，制定匹配规则完成匹配和定位。针对落料加工过程中，带钢待切割前的精确定位，建立带旋转的图像金字塔，并充分利用已知模板的形状信息，计算区域内满足条件点的梯度幅值与方向信息，逐层搜索各金字塔图层特征点，最终返回精确位置平移以及旋转坐标信息；针对匹配过程中遇到的由于相机视野有限带来的目标图像残缺问题，自定义残缺轮廓的类曲率特征，实现了残缺目标的匹配和定位。针对带钢切割后分离效果的检测，对图像进行自适应阈值区域分割，完成了分离检测。

Description

运用于带钢加工生产线的视觉处理方法

技术领域

本发明涉及计算机视觉领域，具体地，涉及一种运用于带钢加工生产线的视觉处理方法。

背景技术

目前国内大多数钢板切割过程的钢板定位主要靠以下方式进行：人工目测(精度需求不高时)、电火花碰边、辅助工装固定、标尺测量等方式，这些方式存在精度不高、拆装工作量大、自动化程度低、时效性不高的问题。

目前基于形状的图像匹配领域有了很多研究，主要分为两个大类。

一是基于边缘的形状描述匹配：将形状用周长、主轴、形状数、傅立叶描述、小波描述、尺度空间等一定的特征重新数学化表达，定义相关的匹配函数完成匹配。目前在基于形状的图像匹配中，傅里叶描述方法较为出色且易于实现，但轮廓上较尖锐的变化被映射到全部系数中而无法侦测到，且只能实现定性匹配，而不利于完成模板的精确定位。

二是基于区域的形状描述匹配：利用图像的区域面积、重心、形变参数、偏心率、各种类型的不变矩等来完成匹配。简单的区域形状描述符实现简单，有很明确的物理意义，但有时候在区分不同形状的时候能力较弱。将图像灰度转化为数学空间的各种不变矩也是常用的方法，它能很好的识别形状特征，但一些高阶矩阵的运算量太大而不足以满足时效性要求，而且对噪声很敏感。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种运用于带钢加工生产线的视觉处理方法。

根据本发明提供的一种运用于带钢加工生产线的视觉处理方法，其特征在于，包括如下任一个或任多个步骤：

搬运堆垛定位步骤，记为步骤S1，具体地：根据在带钢加工生产的搬运堆垛过程中获取的目标图像，对带钢进行定位，其中，在带钢加工生产的搬运堆垛过程中获取的目标图像记为第一目标图像；

落料加工定位步骤，记为步骤S2，具体地：根据在带钢加工生产的落料加工过程中获取的目标图像，对带钢进行定位，其中，在带钢加工生产的落料加工过程中获取的目标图像记为第二目标图像；

匹配定位步骤，记为步骤S3，具体地：针对目标图像为残缺图像的情况，进行残缺图像的匹配与定位。

优选地，所述步骤S1包括如下步骤：

步骤S1.1、提取带钢原始图像上目标图形的轮廓特征；

步骤S1.2、进行目标图形的轮廓特征量的极坐标变换，包括如下步骤：

步骤S1.2.1、利用目标图形的轮廓边缘上每一个像素点的直角坐标(x,y)，得到轮廓几何中心点的直角坐标(x₀,y₀)；

步骤S1.2.2、将像素点直角坐标(x,y)转换为极坐标(r,θ)，其中，r为极径，θ为极角；

步骤S1.3、将基于轮廓点极坐标信息的模板与第一目标图像进行匹配，包括步骤：

步骤S1.3.1、分别寻找对应极径r为最大值时，模板轮廓上的轮廓点P、第一目标图像中目标轮廓上的轮廓点Pd，计算尺度比例L，其中，尺度比例L的计算方式为：假设模板轮廓上的轮廓点P对应的最大极径值为R1，目标轮廓上的轮廓点Pd对应的最大极径值为R2,则L＝R2/R1；

步骤S1.3.2、用尺度比例L对目标轮廓极坐标信息进行归一化操作，从极径r最大时对应的轮廓点开始，以对应模板轮廓与目标轮廓各自尺寸的步长逆时针遍历取点，得到各组对应点，然后计算各组对应点极径差值的和值，将该和值除以步数作为平均误差；

步骤S1.3.3、若平均误差小于设置阈值，则认为模板轮廓与目标轮廓匹配，进入步骤S1.3.4继续执行，否则，则认为不匹配，将当前的模板轮廓替换为不同的模板轮廓，进入步骤S1.3.1继续执行；

步骤S1.3.4、将目标轮廓的轮廓中心点与模板轮廓的轮廓中心点之间的差值作为偏移量，利用各自对应极径区域极值点的极角差值平均值作为旋转角度，利用各自对应极径区域极值点的比值平均值作为尺度变化量。

优选地，所述步骤S2包括如下步骤：

步骤S2.1、利用高斯内核卷积带钢原始图像获得高斯金字塔；

步骤S2.2、利用Sobel算子卷积高斯金字塔各层图像获得每层的梯度幅值图，将梯度方向保存成灰度图，并计算灰度图中每一个像素点的归一化方向向量；

步骤S2.3、基于形状梯度信息的模板与第二目标图像的匹配，包括步骤：

步骤S2.3.1、在对应于最小分辨率的高斯金字塔顶层图层，将模板子图在第二目标图像中不断平移直至遍历第二目标图像，根据如下公式计算匹配分数S1：

$S1=\frac{{\mathrm{\Σ}}_{k=1}^n{\mathrm{\Σ}}_{h=1}^m{T}_{h,k}\·D_{h,k}}{m\·n}$

其中，m、n分别为第二目标图像的长、宽，T_h,k为模板子图中像素点的归一化方向向量，D_h,k为第二目标图像中对应像素点的归一化方向向量；下标h,k表示像素点在当前模板子图内的相对位置；

将第二目标图像以角度ψ为步长，以第二目标图像的几何中心为旋转中心不断旋转第二目标图像，利用二次线性插值生成新的图像矩阵，每次旋转过后都计算一次当前S1取最大值时模板子图在第二目标图像中的平移量(S_x,S_y)，旋转第二目标图像直至360度，返回S1最大时对应的旋转角度ψ_M，记录当前平移量(S_xM,S_yM)；S_x、S_xM表示沿图像宽度方向的平移量，S_y、S_yM表示沿图像高度方向的平移量；

步骤S2.3.2、对于下一层高斯金字塔图层，以小于角度ψ的步长在ψ_M邻域内旋转第二目标图像，获得新的图像矩阵，每次旋转结束后，在(S_xM,S_yM)为中心的模板子图邻域平移模板子图，利用自适应阈值分割当前层梯度幅值图像提取边缘点，具体根据如下公式计算匹配分数S2：

$S2=\frac{{\mathrm{\Σ}}_{(x,y)}T\·D}{N}$

其中，(x,y)为边缘点坐标，T为模板子图中的归一化方向向量，D为第二目标图像中对应点的归一化方向向量，N表示第二目标图像中模板子图大小的区域中像素点梯度幅值大于设定阈值的点的数目

计算并返回S2最大时对应的旋转角度和平移量，更新ψ_M和(S_xM,S_yM)，进入高斯金字塔下一层；

其中，不断重复执行步骤S2.3.2直至高斯金字塔底层，返回最终旋转角度和平移量完成匹配。

优选地，所述步骤S3包括如下步骤：

步骤S3.1、获取目标图像中图形的轮廓；

步骤S3.2、针对目标图像为残缺图像缺失信息而只能获得部分信息的情况，将模板轮廓与目标残缺轮廓的类曲率特征保存在一维数组中，寻找目标残缺轮廓的类曲率数组在模板轮廓类曲率数组中最相似的段落，完成残缺图像匹配；

步骤S3.3、计算模板轮廓中心点，建立模板轮廓上像素点与由模板轮廓所有轮廓点的坐标加权平均获得的中心点之间的对应关系，以该对应关系计算出目标残缺轮廓虚拟中心点，完成残缺图像定位。

优选地，所述步骤S1还包括如下步骤：

步骤S1.2.3、处理轮廓中心点在轮廓外部情况，具体地：

步骤S1.2.3通过以下步骤完成：

-在没有对应极径的极角范围，r取值为0；

-在没有对应极径的极角范围之外的其他角度范围，如果存在多个r值，则进行区别保存。

优选地，步骤S2.1中所述的高斯内核为：

$\frac{1}{16}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right].$

优选地，步骤S2.2中所述归一化方向向量通过以下步骤获得：

a.利用Sobel算子对灰度图进行滤波，分别获得灰度图的高度方向Y的梯度Dy、宽度方向X的梯度Dx；

b.根据如下公式建立归一化方向向量：

$EdgeAmp=\sqrt{{\mathrm{Dx}}^2+{\mathrm{Dy}}^2}$

EdgeDir＝atan^-1(Dy/Dx)

e＝(COS(EdgeDir),SIN(EdgeDir))

其中，EdgeAmp为像素点的梯度方向，EdgeDir为像素点的梯度幅值，e为像素点的单位方向向量。

优选地，步骤S3.2中轮廓的类曲率特征通过以下步骤完成：

a.目标残缺轮廓视为连续轮廓，预处理目标残缺轮廓，截除首尾部分轮廓点；

b.从目标残缺轮廓上某一点开始逆时针遍历轮廓，取3个点，根据如下公式计算类曲率K作为类曲率特征：

$\begin{array}{c}{x}_i-x_{i,o}\\ =-\frac{{(x_{i+1}-x_i)}^2(y_i-y_{i-1})+{(x_i-x_{i-1})}^2(y_{i+1}-y_i)+(y_{i+1}-y_i)(y_{i+1}-y_{i-1})(y_i-y_{i-1})}{2(x_{i+1}-x_i)(y_i-y_{i-1})-2(x_i-x_{i-1})(y_{i+1}-y_i)}\end{array}$

$\begin{array}{c}{y}_i-y_{i,o}\\ =\frac{(x_{i+1}-x_i){(y_i-y_{i-1})}^2+(x_i-x_{i-1}){(y_{i+1}-y_i)}^2+(x_{i+1}-x_i)(x_{i+1}-x_{i-1})(x_i-x_{i-1})}{2(x_{i+1}-x_i)(y_i-y_{i-1})-2(x_i-x_{i-1})(y_{i+1}-y_i)}\end{array}$

$K=\frac{1}{\sqrt{{(x_i-x_{i,o})}^2+{(y_i-y_{i,o})}^2}}$

其中，(x_i-1,y_i-1)、(x_i,y_i)、(x_i+1,y_i+1)分别为目标残缺轮廓的首端点、中间点、末端点的坐标，(x_i,o,y_i,o)为首端点与中间点的中垂线相交于中间点与末端点的中垂线的交点坐标。

优选地，还包括如下步骤：

分离检测步骤，记为步骤S4，具体为：在带钢切割后采集第三目标图像，进行分离检测。

优选地，所述步骤SS4包括如下步骤：

步骤S4.1、利用自适应阈值分割分离图像钢板和切割后产生的空洞部分，将空洞部分作为感兴趣区域；

步骤S4.2、根据如下公式计算匹配指标M的值，判断与设定的阈值是否一致，若一致则判定切割完成，否则判定为未完成；

$M=\frac{L^2}{4\mathrm{\π}A}$

其中，M为匹配指标，L为感兴趣区域周长，A为感兴趣区域面积。

与现有技术相比，本发明具有如下的有益效果：

1、本发明能适应带钢加工生产线高亮、多粉尘的工业环境，能够解决实际生产中由于相机视野有限导致的目标图像残缺问题，完成完整的带钢加工生产任务，定位误差限定在2个像素以内，并且能满足实时性要求。

2、带钢加工生产中需要运用的视觉处理的部分主要为以下几个：一、带钢搬运到传送带上的搬运堆垛过程中的粗略定位；二、带钢搬运到传送带上后，仍在x和y方向存在一定的误差和旋转角度误差，在切割前，需要对钢板进行精确定位；三、带钢在切割完成后的分离检测过程，对此，本发明提出了具体视觉处理方法，能够应对噪声，局部形变，光照变化等鲁邦性问题，定位效果良好。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为搬运堆垛定位步骤(即带钢粗略定位)的流程示意图。

图2为落料加工定位步骤(即带钢精确定位)的流程示意图。

图3为匹配定位步骤(即残缺图像匹配定位)的流程示意图。

图4为分离检测步骤的流程示意图。

图5为完整图像的举例示意图。

图6为残缺图像的举例示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种运用于带钢加工生产线的视觉处理方法，包括如下任一个或任多个步骤：

第一次定位步骤，记为步骤S1，具体地：在带钢加工生产的搬运堆垛过程中获取第一目标图像，对带钢进行第一次定位，记为粗定位；

第二次定位步骤，记为步骤S2，具体地：在带钢加工生产的落料加工过程中获取第二目标图像，对带钢进行第二次定位，记为细定位；

匹配定位步骤，记为步骤S3，具体地：针对第一目标图像和/或第二目标图像为残缺图像的情况，进行残缺图像的匹配与定位；由于相机拍摄视野有限，拍摄到的图片中待切割形状不能完整获取，例如，如图5所示图为完整图像，图6所示为残缺图像。

所述步骤S1包括如下步骤：

步骤S1.1、通过canny算子提取带钢原始图像上目标图形的轮廓特征；

步骤S1.2、进行目标图形的轮廓特征量的极坐标变换，包括如下步骤：

步骤S1.2.1、利用目标图形的轮廓边缘上每一个像素点的直角坐标(x,y)，得到轮廓几何中心点的直角坐标(x₀,y₀)；

步骤S1.2.2、将像素点直角坐标(x,y)转换为极坐标(r,θ)，其中，r为极径，θ为极角；公式如下：

$r=\sqrt{{(x-x_0)}^2+{(y-y_0)}^2}$

$\mathrm{\&theta;}=\left\{\begin{array}{c}\frac{\mathrm{\&pi;}}{2},x-x_0=0,y-y_0\&GreaterEqual;0\\ {\tan }^{-1}\frac{y-y_0}{x-x_0},x-x_0>0,y-y_0\&GreaterEqual;0\\ {\tan }^{-1}\frac{y-y_0}{x-x_0}+\mathrm{\&pi;},x-x_0<0\\ {\tan }^{-1}\frac{y-y_0}{x-x_0}+2\mathrm{\&pi;},x-x_0>0,y-y_0<0\\ \frac{3\mathrm{\&pi;}}{2},x-x_0=0,y-y_0<0\end{array}\right.$

步骤S1.3、进行基于轮廓点极坐标信息的模板与第一目标图像的匹配，其中：模板的获取有两种可能情况，一是直接采用目标切割图形的标准CAD图作为模板，二是用相机拍摄切割好的标准带钢图像，截取相机拍摄图像中完整包括了目标切割图形的矩形区域作为模板图片；第一目标图像即是待匹配图像，也就是实际运作过程中相机拍摄的图像，目标图形即第一目标图像中待切割部分图形。所述进行基于轮廓点极坐标信息的模板与第一目标图像的匹配，包括步骤：

步骤S1.3.1、分别寻找对应极径r为最大值时，模板轮廓上的轮廓点P、目标轮廓上的轮廓点Pd，计算尺度比例L，其中，尺度比例L的计算方式为：假设模板轮廓上的轮廓点P对应的最大极径值为R1，目标轮廓上的轮廓点Pd对应的最大极径值为R2,则L＝R2/R1；其中，目标轮廓的获取方法为：第一目标图像通过提取轮廓算子获得了轮廓，去除其中由于杂质或者带钢上水雾导致的部分干扰轮廓后获得的图形轮廓边缘作为目标轮廓，即待匹配轮廓；

步骤S1.3.2、用尺度比例L对目标轮廓极坐标信息进行归一化操作，从极径r最大时对应的轮廓点开始，以对应模板轮廓与目标轮廓各自尺寸的步长逆时针遍历取点，得到各组对应点，然后计算各组对应点极径差值的和值，将该和值除以步数作为平均误差；其中，如果相机在拍摄图像时在竖直方向上有平移，则拍摄到的图像相对大小不同，图像中待切割图形的相对大小也会发生变化，所获得的轮廓点数多少也发生了变化，这里的尺寸即为这种相对大小，具体计算中可采用轮廓点的数目作为尺寸大小的判定指标；

步骤S1.3.3、若平均误差小于设置阈值，则认为模板轮廓与目标轮廓匹配，进入步骤S1.3.4继续执行，否则，则认为不匹配，将当前的模板轮廓替换为不同的模板轮廓，进入步骤S1.3.1继续执行；

步骤S1.3.4、将目标轮廓的轮廓中心点与模板轮廓的轮廓中心点之间的差值作为偏移量，利用各自对应极径区域极值点的极角差值平均值作为旋转角度，利用各自对应极径区域极值点的比值平均值作为尺度变化量；其中，将轮廓点坐标表示为极径和极角时，有时候轮廓中心点会处于整个轮廓外部，在某一个极角范围不存在对应的极径值，所以把极角存在对应极径值的极角范围叫做极径区域；所述比值为目标轮廓某上某一点的极径值除以模板轮廓上某一点的极径值获得。

所述步骤S2包括如下步骤：

步骤S2.1、利用高斯内核卷积带钢原始图像获得高斯金字塔；

步骤S2.2、利用Sobel算子卷积高斯金字塔各层图像获得每层的梯度幅值图，将梯度方向保存成灰度图，并计算灰度图中每一个像素点的归一化方向向量；

步骤S2.3、进行基于形状梯度信息的模板与第二目标图像的匹配，其中：基于形状梯度信息的模板的获取有两种可能情况，一是直接采用目标切割图形的标准CAD图作为模板，二是用相机拍摄切割好的标准带钢图像，截取相机拍摄图像中完整包括了目标切割图形的矩形区域作为模板图片，其中，所述进行基于形状梯度信息的模板与第二目标图像的匹配，包括步骤：

步骤S2.3.1、在对应于最小分辨率的高斯金字塔顶层图层，利用归一化交叉相关的基于灰度值的匹配方法，将模板子图在第二目标图像中不断平移直至遍历第二目标图像，根据如下公式计算匹配分数S1：

$S1=\frac{{\mathrm{\&Sigma;}}_{k=1}^n{\mathrm{\&Sigma;}}_{h=1}^m{T}_{h,k}\&CenterDot;D_{h,k}}{m\&CenterDot;n}$

其中，m、n分别为第二目标图像的长、宽，T_h,k为模板子图中像素点的归一化方向向量，D_h,k为第二目标图像中对应像素点的归一化方向向量；下标h,k表示像素点在当前模板子图内的相对位置；其中，模板子图指的是：在目标图像中选取模板大小的图形区域，称为模板子图；

将第二目标图像以一定的角度ψ为步长，以第二目标图像的几何中心为旋转中心不断旋转第二目标图像，利用二次线性插值生成新的图像矩阵，每次旋转过后都计算一次当前S1取最大值时模板子图在第二目标图像中的平移量(S_x,S_y)，旋转第二目标图像直至360度，返回S1最大时对应的旋转角度ψ_M，记录当前平移量(S_xM,S_yM)；S_x、S_xM表示沿图像宽度方向的平移量，S_y、S_yM表示沿图像高度方向的平移量；

步骤S2.3.2、对于下一层高斯金字塔图层，以小于角度ψ的步长在ψ_M邻域内旋转第二目标图像，获得新的图像矩阵，每次旋转结束后，在(S_xM,S_yM)为中心的模板子图邻域平移模板子图，利用自适应阈值分割当前层梯度幅值图像提取边缘点，具体根据如下公式计算匹配分数S2：

$S2=\frac{{\mathrm{\&Sigma;}}_{(x,y)}T\&CenterDot;D}{N}$

其中，(x,y)为边缘点坐标，T为模板子图中的归一化方向向量，D为第二目标图像中对应点的归一化方向向量，N表示第二目标图像中模板子图大小的区域中像素点梯度幅值大于设定阈值的点的数目

计算并返回S2最大时对应的旋转角度和平移量，更新ψ_M和(S_xM,S_yM)，进入高斯金字塔下一层；

其中，不断重复执行步骤S2.3.2直至高斯金字塔底层(分辨率最大)，返回最终旋转角度和平移量完成匹配。

所述步骤S3包括如下步骤：

步骤S3.1、通过canny边缘检测算法获取第一目标图像和/或第二目标图像中图形的轮廓；其中，整个带钢加工生产线分为3个加工部分：搬运堆垛过程、落料加工过程、分离检测过程；各个加工部分分别有不同精度的相机采集目标图像，各相机拍摄到的图像都称为各自部分的目标图像，其中，搬运堆垛过程中相机采集到的目标图像记为第一图标图像，落料加工过程中相机采集到的目标图像记为第二图标图像，分离检测过程中相机采集到的目标图像记为第三图标图像；

步骤S3.2、针对目标图像为残缺图像缺失信息而只能获得部分信息的情况，将模板轮廓与目标残缺轮廓的类曲率特征保存在一维数组中，寻找目标残缺轮廓的类曲率数组在模板轮廓类曲率数组中最相似的段落，完成残缺图像匹配；

步骤S3.3、计算模板轮廓中心点，建立模板轮廓上像素点与由模板轮廓所有轮廓点的坐标加权平均获得的中心点之间的对应关系，以该对应关系计算出目标残缺轮廓虚拟中心点，完成残缺图像定位。

5.根据权利要求2所述的运用于带钢加工生产线的视觉处理方法，其特征在于，所述步骤S1还包括如下步骤：

步骤S1.2.3、处理轮廓中心点在轮廓外部情况，具体地：

步骤S1.2.3通过以下步骤完成：

-在没有对应极径的极角范围，r取值为0；

-在没有对应极径的极角范围之外的其他角度范围，如果存在多个r值，则进行区别保存。

步骤S2.1中所述的高斯内核为：

$\frac{1}{16}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right].$

高斯内核与当前层图像卷积完成后，删除偶数行列，获得上一层图像。

所述步骤S2.2中所述归一化方向向量通过以下步骤获得：

a.利用Sobel算子对灰度图进行滤波，分别获得灰度图的高度方向Y的梯度Dy、宽度方向X的梯度Dx；

b.根据如下公式建立归一化方向向量：

$EdgeAmp=\sqrt{{\mathrm{Dx}}^2+{\mathrm{Dy}}^2}$

EdgeDir＝atan^-1(Dy/Dx)

e＝(COS(EdgeDir),SIN(EdgeDir))

其中，EdgeAmp为像素点的梯度方向，EdgeDir为像素点的梯度幅值，e为像素点的单位方向向量。

9.根据权利要求4所述的运用于带钢加工生产线的视觉处理方法，其特征在于，步骤S3.2中轮廓的类曲率特征通过以下步骤完成：

a.带钢加工过程中获得的残缺轮廓是由于相机视野有限导致的，目标残缺轮廓可视为连续轮廓，预处理目标残缺轮廓，截除首尾部分轮廓点以减小误差；

b.从目标残缺轮廓上某一点开始逆时针遍历轮廓，以适应轮廓点总数目的间隔取3个点，根据如下公式计算类曲率K作为类曲率特征：

$\begin{array}{c}{x}_i-x_{i,o}\\ =-\frac{{(x_{i+1}-x_i)}^2(y_i-y_{i-1})+{(x_i-x_{i-1})}^2(y_{i+1}-y_i)+(y_{i+1}-y_i)(y_{i+1}-y_{i-1})(y_i-y_{i-1})}{2(x_{i+1}-x_i)(y_i-y_{i-1})-2(x_i-x_{i-1})(y_{i+1}-y_i)}\\ y_i-y_{i,o}\\ =\frac{(x_{i+1}-x_i){(y_i-y_{i-1})}^2+(x_i-x_{i-1}){(y_{i+1}-y_i)}^2+(x_{i+1}-x_i)(x_{i+1}-x_{i-1})(x_i-x_{i-1})}{2(x_{i+1}-x_i)(y_i-y_{i-1})-2(x_i-x_{i-1})(y_{i+1}-y_i)}\end{array}$

$K=\frac{1}{\sqrt{{(x_i-x_{i,o})}^2+{(y_i-y_{i,o})}^2}}$

其中，(x_i-1,y_i-1)、(x_i,y_i)、(x_i+1,y_i+1)分别为目标残缺轮廓的首端点、中间点、末端点的坐标，(x_i,o,y_i,o)为首端点与中间点的中垂线相交于中间点与末端点的中垂线的交点坐标。

所述运用于带钢加工生产线的视觉处理方法，还包括如下步骤：

分离检测步骤，记为步骤S4，具体为：在带钢切割后采集第三目标图像，进行分离检测；

所述步骤SS4包括如下步骤：

步骤S4.1、利用自适应阈值分割分离图像钢板和切割后产生的空洞部分，将空洞部分作为感兴趣区域；

步骤S4.2、根据如下公式计算匹配指标M的值，判断与设定的阈值是否一致，若一致则判定切割完成，否则判定为未完成；

$M=\frac{L^2}{4\mathrm{\&pi;}A}$

其中，M为匹配指标，L为感兴趣区域周长，A为感兴趣区域面积。

在优选例中，所述步骤S3.2包括如下步骤：

a.设定初始比较位置为模板轮廓类曲率数组第一个下标；

b.计算目标残缺轮廓的类曲率数组与模板轮廓类曲率数组对应长度段的欧式距离之和，移动初始比较位置至下一个下标，直至初始比较位置遍历整个模板轮廓类曲率数组，将欧式距离之和最小时对应的下标作为最佳匹配起始点，欧式距离除以预处理后的目标残缺轮廓点数目作为匹配分数，该值越小，认为匹配程度越高；

c.当匹配分数小于设定阈值时，认为目标残缺轮廓属于模板轮廓，完成匹配。

在优选例中，所述步骤S3.3包括如下步骤：

a.计算模板轮廓中心点O1；

b.从模板轮廓上某一点开始逆时针遍历轮廓，以一定的间隔获取模板轮廓上3个点A1、B1、C1和目标残缺轮廓上3个点A2、B2、C2，分别计算点A1、B1、C1到模板轮廓中心的距离D1，D2、D3；

c.分别以A2、B2为圆心，D1，D2为半径画圆，保留两交点中的合理交点O2，计算O2到以C2为圆心,D3为半径的圆的距离，若该距离小于设定阈值，则将点O2作为计算目标残缺轮廓虚拟中心点的可用点，计算并保存向量O2-A2与向量01-A1的夹角，为计算旋转角做准备；

d.A1取模板轮廓上下一个点，重复整个过程直至A1遍历模板轮廓上所有点，计算步骤c中所有可用点的平均值，作为目标残缺轮廓虚拟中心点，计算步骤c中所有向量夹角的平均值，作为目标残缺轮廓相对于模板轮廓的旋转角度，完成定位。

所述切割是否完成，包含以下任一种情况：

情况a.正常切割；

情况b.切断部分钢板掉落时某一边缘与带钢仍有连结，切断钢板区域大部分掉落，第三目标图像中呈现小部分与钢板背景色相同区域，即空洞区域小部分凹陷；

情况c.切断部分钢板掉落时多边缘与带钢仍有连结，第三目标图像中呈现大部分与钢板背景色相同区域，即空洞区域大部分凹陷，成弯月形状态；

情况d.钢板未被切断，仅切出几条缝隙，空洞区域为多条细长型区域；

情况e.钢板完全掉落，但检测过程中拍摄第三目标图像时，空洞区域存在同带钢灰度相近的色块干扰(传送带底部有已掉落钢板或者其他杂物反光导致)，这种情况会被误检为未切割完成，需要加入进一步的判定；具体地，传送带底部钢板或者其他杂物反光部分与完整切割边缘存在一条细长的暗色区域，直接采用canny算子检测整个区域将不会把该暗色区域作为边缘，而通过以下方法检测此区域是否存在，即可判定切割是否完成，步骤如下：

步骤I.确定完整切割情况的空洞边缘；

步骤II.对于待检测图像，将检测区域缩小到空洞边缘位置比边缘略大的区域，同样采用canny算子检测边缘，若检测到细长暗色区域，则切割是正常的；若不能检测到细长暗色区域，则认为切割没有完成，切断部分仍与带钢相连。

下面对本发明的一个优选的具体实施方式进行说明。

原始图像分辨率为6576*4384(对于第一部分带钢的粗略定位过程，相机精度不需要很高，但此实例仍采用高分辨率的图片来检测算法的精度)；

将原始图像中创建模板的形状部分以(1571,1683)为旋转中心顺时针旋转5度后，平移(200,100)个像素作为目标图像。

搬运堆垛过程中带钢的粗略定位过程：

通过canny算子提取带钢上目标图形的轮廓特征，低阈值10，高阈值25，轮廓点数为3740；

$Dx=\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right],Dy=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$

其中Dx为X方向卷积邻域，Dy为Y方向卷积邻域；

利用轮廓边缘上每一个像素点的坐标(x,y)，计算轮廓中心点(x₀,y₀)；

模板轮廓中心点为：(1570.840，1683.259)；

目标轮廓中心点为：(1771.067，1783.394)；

根据公式：

$r=\sqrt{{(x-x_0)}^2+{(y-y_0)}^2}$

$\mathrm{\&theta;}=\left\{\begin{array}{c}\frac{\mathrm{\&pi;}}{2},x-x_0=0,y-y_0\&GreaterEqual;0\\ {\tan }^{-1}\frac{y-y_0}{x-x_0},x-x_0>0,y-y_0\&GreaterEqual;0\\ {\tan }^{-1}\frac{y-y_0}{x-x_0}+\mathrm{\&pi;},x-x_0<0\\ {\tan }^{-1}\frac{y-y_0}{x-x_0}+2\mathrm{\&pi;},x-x_0>0,y-y_0<0\\ \frac{3\mathrm{\&pi;}}{2},x-x_0=0,y-y_0<0\end{array}\right.$

其中r为极径，θ为极角；

将xy平面的像素点坐标转换到极坐标平面；

所用实例不存在r取值为0的极角范围，也不存在极角对应多个r值的情况；

模板轮廓r最大值为675.766，对应轮廓点坐标为(1377,1032)；

目标轮廓r最大值为676.549，对应轮廓点坐标为(1637,1120)；

尺度比例L＝1.00115，可视为1，小数点部分视为误差，因此不进行归一化操作；

从r最大时对应轮廓点开始，以对应模板轮廓与目标轮廓各自尺寸的步长逆时针遍历取点，计算对应点极径差值的和，除以步数作为平均误差；

平均误差阈值设定为2，本例平均误差为0.594，认为模板轮廓与目标轮廓匹配；

目标轮廓的轮廓中心点与模板轮廓中心点差值为(200.277,100.135)，取整(200,100)作为偏移量，旋转角度平均值为-5.19522度，即目标轮廓相对于模板轮廓顺时针旋转了5.19522度，判定不存在尺度变化。

落料加工过程中的带钢精确定位过程；

利用高斯内核卷积原始图像获得图像高斯金字塔：

$\frac{1}{16}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$

高斯内核与当前层图像卷积完成后，删除偶数行列，可获得上一层图像；

实际构建7层金字塔图像，金字塔顶层图像分辨率为102*68

利用Sobel算子卷积高斯金字塔各层图像获得每层的梯度幅值图，以一定规则将梯度方向保存成灰度图，并计算每一个像素点的归一化方向向量；

利用Sobel算子对图像进行滤波即可分别获得图像的Y，X方向梯度Dy，Dx；

$Dy=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

$Dx=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$

根据公式：

$EdgeAmp=\sqrt{{\mathrm{Dx}}^2+{\mathrm{Dy}}^2}$

EdgeDir＝atan^-1(Dy/Dx)

e＝(COS(EdgeDir),SIN(EdgeDir))

其中EdgeAmp为像素点的梯度方向，EdgeDir为像素点的梯度幅值，e为像素点的单位方向向量；

可建立归一化方向向量。

模板子图在金字塔底层的分辨率大小为1272*1272的矩形区域，在金子塔顶层分辨率大小为20*20

将模板子图在目标图像中不断平移，根据公式

$S1=\frac{{\mathrm{\&Sigma;}}_{k=1}^n{\mathrm{\&Sigma;}}_{h=1}^{m}Th,k\&CenterDot;Dh,k}{m\&CenterDot;n}$

其中m,n分别为模板子图的长和宽，T_h,k为模板子图中点的归一化方向向量，D_h,k为目标图像中对应点的归一化方向向量，S1为匹配分数；

将目标图像以一定的角度Ψ＝1度为步长，以图像中心为旋转中心不断逆时针旋转目标图像，利用二次线性插值生成新的图像矩阵，每次旋转过后都计算一次当前S1取最大值时模板子图在目标图像中的平移量(Sx,Sy)，旋转目标图像直至360度，返回S1最大时的旋转角度ψ_M＝5度，当前平移量(Sx_M,Sy_M)；

对于下一层高斯金字塔图层，以10分之1于上一层图像的旋转步长在ψ_M正负5个步长范围内内旋转目标图像，获得新的图像矩阵，每次旋转结束后，在(Sx_M,Sy_M)为中心的模板子图上下左右各大于模板子图当前层5个像素的区域平移模板子图，利用自适应阈值分割当前层梯度幅值图像提取边缘点，取得阈值为46，根据公式

$S2=\frac{{\mathrm{\&Sigma;}}_{(x,y)}T\&CenterDot;D}{N}$

其中(x,y)为边缘点坐标，T为模板子图中的归一化方向向量，D为目标图像中对应点的归一化方向向量；

计算并返回S2最大时对应的旋转角度和平移量，更新ψM和(Sx_M,Sy_M)，进入高斯金字塔下一层；

不断重复步骤进入下一层直至高斯金字塔底层(分别率最大)

最终匹配分数S2为0.984111

返回最终旋转角度为顺时针旋转了5.032131度

模板子图从目标图像左上角平移至目标位置平移量为(1135,1147)；

残缺图像的匹配与定位；

人为将原始图像右半部分截断，将构建的新区域作为目标图像区域。

通过canny边缘检测算法获取目标图像中图形的轮廓；

针对残缺图像缺失信息而只能获得部分信息的情况，设计基于类曲率特征量的匹配方法，进行必要的轮廓细化处理，以便计算轮廓的类曲率特征；

带钢加工过程中获得的残缺轮廓是由于相机视野有限导致的，目标残缺轮廓可视为连续轮廓，预处理目标残缺轮廓，截除首尾部分轮廓点以减小误差，本例去除首尾各20个轮廓点；

从轮廓上某一点开始逆时针遍历轮廓，以轮廓总数的100分之1为间隔取3个点，根据公式

$\begin{array}{c}{x}_i-x_{i,o}\\ =-\frac{{(x_{i+1}-x_i)}^2(y_i-y_{i-1})+{(x_i-x_{i-1})}^2(y_{i+1}-y_i)+(y_{i+1}-y_i)(y_{i+1}-y_{i-1})(y_i-y_{i-1})}{2(x_{i+1}-x_i)(y_i-y_{i-1})-2(x_i-x_{i-1})(y_{i+1}-y_i)}\\ y_i-y_{i,o}\\ =\frac{(x_{i+1}-x_i){(y_i-y_{i-1})}^2+(x_i-x_{i-1}){(y_{i+1}-y_i)}^2+(x_{i+1}-x_i)(x_{i+1}-x_{i-1})(x_i-x_{i-1})}{2(x_{i+1}-x_i)(y_i-y_{i-1})-2(x_i-x_{i-1})(y_{i+1}-y_i)}\end{array}$

$K=\frac{1}{\sqrt{{(x_i-x_{i,o})}^2+{(y_i-y_{i,o})}^2}}$

其中(x_i-1,y_i-1),(x_i,y_i),(x_i+1,y_i+1)分别为首端点，中间点和末端点的坐标，(x_i,o,y_i,o)为首端点与中间点的中垂线和中间点与末端点的中垂线的交点坐标；

可计算类曲率K；

计算模板轮廓与目标残缺轮廓的类曲率特征，保存在一维数组cur[]中，寻找残缺轮廓的类曲率数组在模板轮廓类曲率数组中最相似的段落；

设定初始比较位置为模板轮廓类曲率数组第一个下标；

计算目标残缺轮廓的类曲率数组与模板轮廓类曲率数组对应长度段的欧式距离之和；

移动初始比较位置至下一个下标；

重复过程直至初始比较位置遍历整个模板轮廓类曲率数组，将欧式距离之和最小时对应的下标作为最佳匹配起始点，欧式距离除以预处理后的目标残缺轮廓点数目作为匹配分数，该值越小，认为匹配程度越高；

最终匹配分数为6.16892x10^-5,小于设定阈值3x10^-4，认为目标残缺轮廓属于模板轮廓，

该时刻匹配起始点为模板轮廓类曲率数组下标1341，记录该点，为下一步定位工作做准备；

计算模板轮廓中心点，建立模板轮廓上像素点与中心点对应关系，以相同的对应关系计算出残缺轮廓虚拟中心点；

模板轮廓中心点O1＝(1570.840，1683.259)；

从模板轮廓上某一点开始逆时针遍历轮廓，以150个像素点为间隔获取模板轮廓上3个点A1、B1、C1和目标残缺轮廓上3个点A2、B2、C2，分别计算点A1、B1、C1到模板轮廓中心的距离D1，D2、D3；

分别以A2、B2为圆心，D1，D2为半径画圆，保留两交点中的合理交点O2，计算O2到以C2为圆心,D3为半径的圆的距离，若该距离小于设定阈值，则将点O2作为计算目标残缺轮廓虚拟中心点的可用点，计算并保存向量O2-A2与向量01-A1的夹角，为计算旋转角做准备；

A1取模板轮廓上下一个点，重复整个过程直至A1遍历模板轮廓上所有点，计算所有可用点的平均值，作为目标残缺轮廓虚拟中心点，计算所有向量夹角的平均值，作为目标残缺轮廓相对于模板轮廓的旋转角度

最终轮廓虚拟中心点为(1771.299，1783.24)

模板轮廓旋转角度为-4.85117.即顺时针旋转4.85117度

带钢切割后的分离检测；

利用自适应阈值分割分离图像钢板和切割后产生的空洞部分，将空洞部分作为感兴趣区域；

根据公式

$M=\frac{L^2}{4\mathrm{\&pi;}A}$

其中M为匹配指标，L为感兴趣区域周长，A为感兴趣区域面积；

计算各种可能的不同切割情况下的指标M的值，与完美切割情况下的指标M的值比较，判定切割是否完成。

1.正常切割情况下指标M的值为：1.60555

对于任意平移，旋转，尺度变化情况下的切割过程，认为M值在1.5至1.7范围内或者M的值为1.60555时为正常切割。

2.切断部分钢板掉落时某一边缘与带钢仍有连结，切断钢板区域大部分掉落，图片中呈现小部分与钢板背景色相同区域，即空洞区域小部分凹陷；

该情况下指标M的值为2.8868；

3.切断部分钢板掉落时多边缘与带钢仍有连结，图片中呈现大部分与钢板背景色相同区域，即空洞区域大部分凹陷，成弯月形状态；

该情况下指标M的值为8.08486；

4.钢板未被切断，仅切出几条缝隙，空洞区域为多条细长型区域；

该情况下指标M的值为227.002

5.钢板完全掉落，但检测过程中拍摄照片时，空洞区域存在同带钢灰度相近的色块干扰(传送带底部有已掉落钢板或者其他杂物反光导致)，这种情况会被误检为未切割完成，需要加入进一步的判定；

传送带底部钢板或者其他杂物反光部分与完美切割边缘存在一条细长的暗色区域，直接采用canny算子检测整个区域将不会把该暗色区域作为边缘，而通过以下方法检测此区域是否存在，即可判定切割是否完成；

确定完整切割情况的空洞边缘；

对于待检测图像，将检测区域缩小到空洞边缘位置比边缘略大的区域，同样采用canny算子检测边缘，低阈值10，高阈值25，此时可检测到细长暗色区域，则切割是正常的。若不能检测到细长暗色区域，则认为切割不完成，切断部分仍与带钢相连。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种运用于带钢加工生产线的视觉处理方法，其特征在于，包括如下任一个或任多个步骤：

搬运堆垛定位步骤，记为步骤S1，具体地：根据在带钢加工生产的搬运堆垛过程中获取的目标图像，对带钢进行定位，其中，在带钢加工生产的搬运堆垛过程中获取的目标图像记为第一目标图像；

落料加工定位步骤，记为步骤S2，具体地：根据在带钢加工生产的落料加工过程中获取的目标图像，对带钢进行定位，其中，在带钢加工生产的落料加工过程中获取的目标图像记为第二目标图像；

匹配定位步骤，记为步骤S3，具体地：针对目标图像为残缺图像的情况，进行残缺图像的匹配与定位。

2.根据权利要求1所述的运用于带钢加工生产线的视觉处理方法，其特征在于，所述步骤S1包括如下步骤：

步骤S1.1、提取带钢原始图像上目标图形的轮廓特征；

步骤S1.2、进行目标图形的轮廓特征量的极坐标变换，包括如下步骤：

步骤S1.2.1、利用目标图形的轮廓边缘上每一个像素点的直角坐标(x,y)，得到轮廓几何中心点的直角坐标(x₀,y₀)；

步骤S1.2.2、将像素点直角坐标(x,y)转换为极坐标(r,θ)，其中，r为极径，θ为极角；

步骤S1.3、将基于轮廓点极坐标信息的模板与第一目标图像进行匹配，包括步骤：

步骤S1.3.1、分别寻找对应极径r为最大值时，模板轮廓上的轮廓点P、第一目标图像中目标轮廓上的轮廓点Pd，计算尺度比例L，其中，尺度比例L的计算方式为：假设模板轮廓上的轮廓点P对应的最大极径值为R1，目标轮廓上的轮廓点Pd对应的最大极径值为R2,则L＝R2/R1；

步骤S1.3.2、用尺度比例L对目标轮廓极坐标信息进行归一化操作，从极径r最大时对应的轮廓点开始，以对应模板轮廓与目标轮廓各自尺寸的步长逆时针遍历取点，得到各组对应点，然后计算各组对应点极径差值的和值，将该和值除以步数作为平均误差；

步骤S1.3.3、若平均误差小于设置阈值，则认为模板轮廓与目标轮廓匹配，进入步骤S1.3.4继续执行，否则，则认为不匹配，将当前的模板轮廓替换为不同的模板轮廓，进入步骤S1.3.1继续执行；

步骤S1.3.4、将目标轮廓的轮廓中心点与模板轮廓的轮廓中心点之间的差值作为偏移量，利用各自对应极径区域极值点的极角差值平均值作为旋转角度，利用各自对应极径区域极值点的比值平均值作为尺度变化量。

3.根据权利要求1所述的运用于带钢加工生产线的视觉处理方法，其特征在于，所述步骤S2包括如下步骤：

步骤S2.1、利用高斯内核卷积带钢原始图像获得高斯金字塔；

步骤S2.2、利用Sobel算子卷积高斯金字塔各层图像获得每层的梯度幅值图，将梯度方向保存成灰度图，并计算灰度图中每一个像素点的归一化方向向量；

步骤S2.3、基于形状梯度信息的模板与第二目标图像的匹配，包括步骤：

步骤S2.3.1、在对应于最小分辨率的高斯金字塔顶层图层，将基于形状梯度信息的模板子图在第二目标图像中不断平移直至遍历第二目标图像，根据如下公式计算匹配分数S1：

$S1=\frac{{\mathrm{\&Sigma;}}_{k=1}^n{\mathrm{\&Sigma;}}_{h=1}^m{T}_{h,k}\&CenterDot;D_{h,k}}{m\&CenterDot;n}$

其中，m、n分别为第二目标图像的长、宽，T_h,k为模板子图中像素点的归一化方向向量，D_h,k为第二目标图像中对应像素点的归一化方向向量；下标h,k表示像素点在当前模板子图内的相对位置；

将第二目标图像以角度ψ为步长，以第二目标图像的几何中心为旋转中心不断旋转第二目标图像，利用二次线性插值生成新的图像矩阵，每次旋转过后都计算一次当前S1取最大值时模板子图在第二目标图像中的平移量(S_x,S_y)，旋转第二目标图像直至360度，返回S1最大时对应的旋转角度ψ_M，记录当前平移量(S_xM,S_yM)；S_x、S_xM表示沿图像宽度方向的平移量，S_y、S_yM表示沿图像高度方向的平移量；

步骤S2.3.2、对于下一层高斯金字塔图层，以小于角度ψ的步长在ψ_M邻域内旋转第二目标图像，获得新的图像矩阵，每次旋转结束后，在(S_xM,S_yM)为中心的模板子图邻域平移模板子图，利用自适应阈值分割当前层梯度幅值图像提取边缘点，具体根据如下公式计算匹配分数S2：

$S2=\frac{{\mathrm{\&Sigma;}}_{(x,y)}T\&CenterDot;D}{N}$

其中，(x,y)为边缘点坐标，T为模板子图中的归一化方向向量，D为第二目标图像中对应点的归一化方向向量，N表示第二目标图像中模板子图大小的区域中像素点梯度幅值大于设定阈值的点的数目

计算并返回S2最大时对应的旋转角度和平移量，更新ψ_M和(S_xM,S_yM)，进入高斯金字塔下一层；

其中，不断重复执行步骤S2.3.2直至高斯金字塔底层，返回最终旋转角度和平移量完成匹配。

4.根据权利要求1所述的运用于带钢加工生产线的视觉处理方法，其特征在于，所述步骤S3包括如下步骤：

步骤S3.1、获取目标图像中图形的轮廓；

步骤S3.2、针对目标图像为残缺图像缺失信息而只能获得部分信息的情况，将模板轮廓与目标残缺轮廓的类曲率特征保存在一维数组中，寻找目标残缺轮廓的类曲率数组在模板轮廓类曲率数组中最相似的段落，完成残缺图像匹配；

步骤S3.3、计算模板轮廓中心点，建立模板轮廓上像素点与由模板轮廓所有轮廓点的坐标加权平均获得的中心点之间的对应关系，以该对应关系计算出目标残缺轮廓虚拟中心点，完成残缺图像定位。

5.根据权利要求2所述的运用于带钢加工生产线的视觉处理方法，其特征在于，所述步骤S1还包括如下步骤：

步骤S1.2.3、处理轮廓中心点在轮廓外部情况，具体地：

步骤S1.2.3通过以下步骤完成：

-在没有对应极径的极角范围，r取值为0；

-在没有对应极径的极角范围之外的其他角度范围，如果存在多个r值，则进行区别保存。

6.根据权利要求3所述的运用于带钢加工生产线的视觉处理方法，其特征在于，步骤S2.1中所述的高斯内核为：

$\frac{1}{16}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right].$

7.根据权利要求3所述的运用于带钢加工生产线的视觉处理方法，其特征在于，步骤S2.2中所述归一化方向向量通过以下步骤获得：

a.利用Sobel算子对灰度图进行滤波，分别获得灰度图的高度方向Y的梯度Dy、宽度方向X的梯度Dx；

b.根据如下公式建立归一化方向向量：

$EdgeAmp=\sqrt{{\mathrm{Dx}}^2+{\mathrm{Dy}}^2}$

EdgeDir＝atan^-1(Dy/Dx)

e＝(COS(EdgeDir),SIN(EdgeDir))

其中，EdgeAmp为像素点的梯度方向，EdgeDir为像素点的梯度幅值，e为像素点的单位方向向量。

8.根据权利要求4所述的运用于带钢加工生产线的视觉处理方法，其特征在于，步骤S3.2中轮廓的类曲率特征通过以下步骤完成：

a.目标残缺轮廓视为连续轮廓，预处理目标残缺轮廓，截除首尾部分轮廓点；

b.从目标残缺轮廓上某一点开始逆时针遍历轮廓，取3个点，根据如下公式计算类曲率K作为类曲率特征：

$\begin{array}{c}{x}_i-x_{i,o}\\ =-\frac{{(x_{i+1}-x_i)}^2(y_i-y_{i-1})+{(x_i-x_{i-1})}^2(y_{i+1}-y_i)+(y_{i+1}-y_i)(y_{i+1}-y_{i-1})(y_i-y_{i-1})}{2(x_{i+1}-x_i)(y_i-y_{i-1})-2(x_i-x_{i-1})(y_{i+1}-y_i)}\end{array}$

$\begin{array}{c}{y}_i-y_{i,o}\\ =\frac{(x_{i+1}-x_i)(y_i-y_{i-1})+(x_i-x_{i-1}){(y_{i+1}-y_i)}^2+(y_{i+1}-y_i)(y_{i+1}-y_{i-1})(y_i-y_{i-1})}{2(x_{i+1}-x_i)(y_i-y_{i-1})-2(x_i-x_{i-1})(y_{i+1}-y_i)}\end{array}$

$K=\frac{1}{\sqrt{{(x_i-x_{i,o})}^2+{(y_i-y_{i,o})}^2}}$

其中，(x_i-1,y_i-1)、(x_i,y_i)、(x_i+1,y_i+1)分别为目标残缺轮廓的首端点、中间点、末端点的坐标，(x_i,o,y_i,o)为首端点与中间点的中垂线相交于中间点与末端点的中垂线的交点坐标。

9.根据权利要求1所述的运用于带钢加工生产线的视觉处理方法，其特征在于，还包括如下步骤：

分离检测步骤，记为步骤S4，具体为：在带钢切割后采集第三目标图像，进行分离检测。

10.根据权利要求1所述的运用于带钢加工生产线的视觉处理方法，其特征在于，所述步骤SS4包括如下步骤：

步骤S4.1、利用自适应阈值分割分离图像钢板和切割后产生的空洞部分，将空洞部分作为感兴趣区域；

步骤S4.2、根据如下公式计算匹配指标M的值，判断与设定的阈值是否一致，若一致则判定切割完成，否则判定为未完成；

$M=\frac{L^2}{4\mathrm{\&pi;}A}$

其中，M为匹配指标，L为感兴趣区域周长，A为感兴趣区域面积。