CN104156726B - 一种基于几何形状特征的工件识别方法及装置 - Google Patents

Abstract

本发明涉及一种基于几何形状特征的工件识别方法及装置，其包括以下步骤：1)摄取传送带上的工件的二维图像，设传送带上的工件的二维图像与传送带图像二者做差分运算，得到包含工件及其阴影在内的前景区域；2)采用阴影检测方法将包含工件及其阴影在内的前景区域中的阴影去除，以获得工件的准确区域轮廓；3)针对工件的准确区域轮廓提取其几何特征，以得到工件区域轮廓的特征向量，该特征向量包括Hu矩和Fourier算子；4)采用支持向量机SVM对工件区域轮廓的特征向量进行训练和分类。采用上述步骤本发明可以广泛应用于工厂流水生产线上工件抓取与搬运、环缝焊接机械手、工业喷漆以及设备组装等领域。

Description

一种基于几何形状特征的工件识别方法及装置

技术领域

本发明涉及一种工件识别方法及装置，特别是关于一种基于几何形状特征的工件识别方法及装置。

背景技术

利用计算机视觉技术，工业机器人可以高效准确地完成设备装配、工件检测识别及加工等工作，从而可以减少人工干预，提升产品质量，提高工业生产效率。工件检测与识别在现代工业生产过程中起着非常重要的作用，其目的是将不同类别的工件(包括螺钉，螺丝以及各种工业毛坯等)进行辨识，获取工件的姿态、位置等信息，以指导机器人进行分拣、搬运、装配、加工等处理。

工业生产中，可以采用激光、磁学、超声等设备进行工件扫描，进而实现工件的分类识别，但这些设备对工业生产环境要求苛刻，数据采集和处理速度较慢，且设备成本较高。而计算机视觉技术用相机进行工件图像采集，用图像处理技术实现工件自动检测与识别，这不需要特定的工作设备，系统成本低，且能够很好地与现有器械装配装置和机器人伺服系统进行结合，因此在工业机器人中得到广泛应用。

目前，已有的工件识别分类方法如下：

2012年，在公开号为CN202825440U的专利“自动化生产线上的工件识别装置”中，该专利公开了一种利用气动控制设备和多传感器探头实现工件识别的装置，其基本思路是：将工件由滚筒式输送装置传送至某位置后，气缸动作，带动移动板向工件方向移动，使移动轴前端的碰撞头与工件接触，移动轴后端的感应头与第一接近开关相互感应，多个感应头发出多个信号，控制系统通过多传感器探头获得的信号可以识别工件。

该技术方案的缺点如下：(1)该方案使用气动装置和传感器相互配合实现工件识别，设备过于复杂，需要配备多个传感器和探头；(2)利用传感技术进行工件识别有应用局限性，当工件区域轮廓差异较小的情况下效果不佳。

Liu M Y，Tuzel O，Veeraraghavan A，et al.于The International Journal ofRobotics Research，2012，31(8):951-973.发表的“Fast object localization and poseestimation in heavy clutter for robotic bin picking.”中提出一种适用于bin-picking场景的工件识别设备及方法，其基本思路是：利用多角度曝光摄像头拍摄到的图像，计算出工件边缘的深度信息，然后利用快速形状匹配算法，实现工件识别和姿态判定。

该技术方案的缺点如下：该技术方案适用于bin-picking场景，利用图像匹配技术实现工件识别，计算量较大，并且在工作状态下仅能识别单一类工件，应用场景较局限。

黄红艳，杨煌普于《上海交通大学学报》2001，35(8):1144-1147发表的“基于高阶神经网络的机械零件形状识别”中，提出一种经典的机械零件识别方法，其基本思路是：利用工件图像获得工件的形状信息，包括工件各边的长度、角度、圆心角和与邻边夹角这4个特征，并采用高阶神经网络，实现工件的平移、尺度和旋转不变性识别。

该技术方案的缺点如下：该方案是在能够十分准确获取到工件区域轮廓的情况下实现工件识别，但本方案并未提及如何在复杂的实际工业应用场景下获取工件区域轮廓，所以其工业实用性较差。

综上所述，已有的工件识别分类方法存在如下技术问题：(1)借助3D摄像头等复杂设备实现工件识别，致使成本较高，数据获取和处理过程复杂，计算量较大。(2)基于二维图像的工件识别技术方案对工作环境要求苛刻，譬如其对应用场景限制较多，需要工件和传送带有非常强的对比度，比如纯黑色工件，白色传送带，以使获得图像中工件边缘较易提取；对拍摄光线要求苛刻，要求拍摄得到的图片边缘非常清晰等。难以满足工业实际应用场景要求。(3)利用特殊设备的技术方案，主要针对某些特定工件进行识别，因而适用工作场景单一，应用领域受限。

发明内容

针对上述问题，本发明的目的是提供一种能够让工业机器人能够智能且准确地进行工件识别分类的基于几何形状特征的工件识别方法及装置。

为实现上述目的，本发明采取以下技术方案：一种基于几何形状特征的工件识别方法，其包括以下步骤：1)摄取传送带上的工件的二维图像，设传送带上的工件的二维图像为包含工件的当前帧图像，传送带图像为不包含工件的背景帧图像，并将二者做差分运算，再通过设定阈值将差分得到的图像二值化，得到包含工件及其阴影在内的前景区域；2)采用阴影检测方法将包含工件及其阴影在内的前景区域中的阴影去除，以获得工件的准确区域轮廓；3)针对工件的准确区域轮廓提取其几何特征，以得到工件区域轮廓的特征向量，该特征向量包括Hu矩和Fourier算子；4)采用支持向量机SVM对工件区域轮廓的特征向量进行训练和分类。

所述步骤1)包括以下步骤：①通过常规的工业摄像头采集传送带上的工件的二维图像Im，并将处于RGB颜色空间内工件的二维图像Im转换到灰度空间，得到灰度图像Im_gray，具体转换过程如下：

g＝0.299×R+0.587×G+0.114×B

其中，R表示工件的二维图像Im中每个像素的红颜色分量，G表示工件的二维图像Im中每个像素的绿颜色分量，B表示工件的二维图像Im中每个像素的蓝颜色分量，g表示经过转换后的该像素灰度值；②在工件识别应用场景中，将不包含工件在内的传送带图像设为背景图像，采用中值建模得到不包含工件的背景帧图像Im_back，其过程如下：将N张不同时刻的RGB颜色空间内中背景图像对应转换成为灰度空间内各自对应的灰度图像，再根据各背景图像的灰度图像进行中值建模，以得到不包含工件的背景帧图像Im_back，其过程如下：

其中，p_orgi(x,y)是第i张背景图像中任意一点坐标(x,y)处像素的灰度值，且i＝1,2,...,N，p_mean(x,y)是中值建模得到的不包含工件的背景帧图像Im_back在对应的坐标(x,y)处像素的灰度值；针对每一坐标(x,y)处像素进行处理得到不包含工件的背景帧图像Im_back；③将当前含有工件的图像帧Im_fore与不包含工件的背景帧图像Im_back做差分运算，以得到差分灰度图像Im_sub：

Im_sub(x,y)＝|Im_fore(x,y)-Im_back(x,y)|

针对差分灰度图像Im_sub每一点(x,y)进行二值化处理，并设定图像二值化阈值T₁，根据应用场景二值化过程所需的范围来设定，一般在15-60之间，将二者进行比较得到二值图像Im_sub1(x,y)，该二值图像Im_sub1(x,y)中，值为1的区域是工件及其阴影区域，值为0的区域是背景区域；

在二值图像Im_sub1(x,y)中，值为1的区域即为包含工件及其阴影在内的前景区域fore_region：

fore_region＝{(x,y)|Im_sub1(x,y)＝1}。

所述步骤2)包括以下步骤：①采用阴影检测方法将包含工件及其阴影在内的前景区域fore_region内的所有像素，由RGB颜色空间转换到归一化RGB颜色空间中，其过程如下：

其中，r_norm、g_norm和b_norm对应为包含工件及其阴影在内的前景区域fore_region的每一个像素在归一化RGB颜色空间的红色分量、绿色分量和蓝色分量；R1、G1、B1是包含工件及其阴影在内的前景区域fore_region内每个像素对应的红颜色分量、绿颜色分量、蓝颜色分量；在归一化RGB颜色空间内，将归一化颜色空间内每一颜色空间分量的当前帧像素和背景帧中对应当前帧的位置处的像素进行差分运算：

其中，Δr_norm、Δg_norm和Δb_norm对应表示归一化RGB颜色空间下差分图像的r值、g值和b值；r_norm_fore、g_norm_fore和b_norm_fore对应表示归一化RGB颜色空间下前景图像的r值、g值和b值；r_norm_back、g_norm_back和b_norm_back对应表示归一化RGB颜色空间下背景图像的r值、g值和b值；②将归一化RGB颜色空间下差分图像的r值、g值和b值与阈值T₂进行比较，以便得到粗判阴影区shadow_candidate，其过程如下：根据Δr_norm、Δg_norm和Δb_norm与阴影粗判决阈值T₂的大小关系进行阴影粗判决阈值判定，其过程如下：若Δr_norm，Δg_norm，Δb_norm三者中任意一个都比阴影粗判决阈值T₂小，则将比阴影粗判决阈值T₂小的像素判定为阴影像素shadow，阴影像素shadow的集合为粗判阴影区shadow_candidate；否则，将比阴影粗判决阈值T₂大的像素判定为非阴影像素nonshadow，采用下式进行阴影属性判断其过程如下：

其中，T2是阴影粗判决阴影粗判决阈值，通常为实验得到的经验值，一般选取0.12～0.18之间；③对粗判阴影区shadow_candidate内的像素进行纹理信息提取并分析，以判断区别阴影区和非阴影区；采用梯度信息表征纹理信息，且采用Prewitt算子描述粗判阴影区shadow_candidate内的像素的梯度信息；将梯度算子模板中心对应于粗判阴影区shadow_candidate内每个像素上，分别计算每个像素所对应的水平方向梯度和竖直方向梯度，即：

▽_x＝(p(m-1,n+1)-p(m-1,n-1))+(p(m,n+1)-p(m,n-1))

+(p(m+1,n+1)-p(m+1,n-1))

▽_y＝(p(m-1,n-1)-p(m+1,n-1))+(p(m-1,n)-p(m+1,n))

+(p(m-1,n+1)-p(m+1,n+1))

其中，▽_x表示粗判阴影区shadow_candidate内的每一个像素在水平方向上的梯度，▽_y表示粗判阴影区shadow_candidate内的每一个像素竖直方向上的梯度，▽_p表示粗判阴影区shadow_candidate内的每一个像素处的梯度幅值，θ_p表示粗判阴影区shadow_candidate内的每一个像素的梯度方向角；计算前景帧和背景帧对应位置像素的帧间梯度方向差Δθ_p，以便做梯度方向判别纹理相似性的基础，即

④根据前景帧和背景帧对应位置像素的帧间梯度方向差Δθ_p与帧间梯度方向差的阈值T_a进行比较，以便进行帧间梯度阈值分割；为了排除背景差分过程中引入的噪声干扰，采用3×3像素块的梯度方向相关性的均值g进行阴影判决，以便将阴影部分像素干扰去除，得到工件的准确轮廓；梯度方向相关性的均值g的公式如下：

其中，N＝9，H(·)的定义类似于阶跃函数，其表达式为

其中，T_a为帧间梯度方向差的阈值，设定为π/10；如果对应位置像素的帧间梯度方向差Δθ_p小于该阈值，说明3×3像素块属于背景，H(·)为1并累加；当梯度方向相关性的均值g大于设定块判定阈值T_g，设定为0.56时，说明该像素块与背景帧中对应位置像素块纹理信息相近，因此将该像素块判定为阴影区像素，否则判定为工件区域像素。

所述步骤3)包括以下步骤：①提取工件区域轮廓的Hu矩：对于数字工件的准确区域轮廓的图像数据而言，原点矩m_pq和中心矩μ_pq表述为：

其中， 和分别表示工件的准确区域轮廓的图像质心的横坐标和纵坐标，M和N分别为工件的准确区域轮廓的图像的长和宽；I(x,y)为工件的准确区域轮廓的图像中的像素；归一化的中心矩η_pq表示为：

Hu矩利用二阶中心矩和三阶中心矩的组合表达式，其7维Hu矩表达式如下：

φ₁＝η₂₀+η₀₂

φ₂＝(η₂₀-η₀₂)²+(2η₁₁)²

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

φ₆＝(η₂₀-η₁₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₁₂+η₀₃)²]-(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₁₂+η₀₃)]

由于7个矩特征的取值覆盖范围较大，因此采用先取绝对值再取对数的方式进行计算：

φ′_x＝lg|φ_x|

至此，得到工件区域轮廓的7维Hu矩特征向量φ′_x；②提取工件区域轮廓的Fourier描述子：对于一条封闭曲线，选取起始点S，则沿曲线边界的动点p(k)的坐标用复数表示为x(k)+jy(k)，则p(k)是一个以该曲线周长为周期的函数，展开成傅里叶级数形式；设由N点构成的工件区域轮廓边界点序列为：

{x(n),y(n):n＝0,1,…,N-1}

将其表示为上述复数形式为：

p(n)＝x(n)+jy(n),n＝0,1,…,N-1

其中，p(n)为由像素点坐标构成的复数；对上进行一维序列的离散Fourier变换，则有：

其中，P(k)为对p(n)进行Fourier变换得到的值；Fourier描述子系数中，除P(0)外，其他系数的幅值||P(k)||均具有旋转不变性和平移不变性，并且与曲线起点无关；为了获得具有尺度不变性的Fourier描述子系数，对其进行归一化处理，即把每一个幅值||P(k)||除以||P(1)||，即Fourier描述子F(k)：

至此，得到工件区域轮廓的N-1维Fourier描述子特征向量F_x'；由上述两个特征向量构成N+6维输入特征向量：

所述步骤4)包括以下步骤：假设给定大小为L的训练样本集{x_i,y_i}，i＝1,2,...,L，每个训练样本包含d维的输入向量(x_i∈R^d)和一个工件类别标号y_i(y_i∈{-1,1})；识别工件类别的具体步骤如下：①对于输入的工件样本的特征向量x_i，i＝1,2,...,L，及其对应的期望输出y_i∈{-1,1}；②在约束条件和α_i≥0(i＝1,...L)下求解：的最大值，得到③计算：其中x_s为一个特定的支持向量；④对于待分类向量x，选择高斯径向基函数K(x_i,x)为核函数，计算为+1或-1，且K(x_i,x)＝exp(-||x-x_i||²/σ²)，决定待分类工件属于哪一类；若f(x)值为+1，说明待识别工件属于当前类别；若f(x)值为-1，说明待识别工件不属于当前类别。

一种实现基于几何形状特征的工件识别装置，其特征在于：它包括工件图像背景差分单元、工件阴影去除单元、工件区域轮廓特征提取单元和支持向量机训练分类单元；其中，所述工件图像背景差分单元的输入端输入利用工业摄像头摄取传送带上的工件的二维图像，经过工件图像背景差分单元进行图像差分运算，得到包含工件及其阴影在内的前景区域，并传送给所述工件阴影去除单元；所述工件阴影去除单元获得的包含工件及其阴影在内的前景区域的工件阴影去除，以得到工件的准确区域轮廓，并传送给所述工件区域轮廓特征提取单元；所述工件区域轮廓特征提取单元将获得的工件的准确区域轮廓进行提取工件区域轮廓的几何特征，以得到工件区域轮廓的特征向量，并将其传送给所述支持向量机训练分类单元；所述支持向量机训练分类单元根据获得的工件区域轮廓的特征向量进行训练和分类。

本发明由于采取以上技术方案，其具有以下优点：1、本发明所采用的背景差分的方法获取工件区域轮廓，可以解决光照不足或工件颜色与传送带颜色相近影响工件边缘提取与检测的问题；并且结合Hu矩和Fourier算子对工件几何特征进行描述，Hu矩能够较好地描述工件的区域分布特性，Fourier算子可以较好描述工件的轮廓信息，将两个特征描述算子结合起来构成特征向量，可以获得较高的工件识别率；另外，通过应用帧间梯度方向差提取工件图像的纹理特征，从而可以较好的描述帧间纹理信息的相似性；同时利用支持向量机SVM进行工件训练与分类识别，可以获得较高的工件识别率；从而使得本发明自动对工件进行识别分类，且精度高、速度快。2、本发明只是采用普通工业摄像头摄取传送带上的工件图像，实现小型立体工件识别，最大程度上控制了工业设备的成本，在获得较高识别率的同时，降低了计算量和设备成本。3、本发明针对背景图像并无特别要求，且针对拍摄图像的光线也无特殊要求，本发明只是针对拍摄的图像做处理，因此可以满足工业实际应用场景要求。鉴于以上理由，本发明可以广泛应用于工厂流水生产线上工件抓取与搬运、环缝焊接机械手、工业喷漆以及设备组装等领域。

附图说明

图1是本发明装置示意图

图2a是本发明方法采用的Prewitt梯度算子水平方向梯度算子示意图

图2b是本发明方法采用的Prewitt梯度算子垂直方向梯度算子示意图

图3是本发明采用8种工件进行的实验示意图

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明装置包括工件图像背景差分单元1、工件阴影去除单元2、工件区域轮廓特征提取单元3和支持向量机训练分类单元4。

其中，工件图像背景差分单元1的输入端输入利用工业摄像头摄取传送带上的工件的二维图像，经过工件图像背景差分单元1进行图像差分运算，得到包含工件及其阴影在内的前景区域，并传送给工件阴影去除单元2；工件阴影去除单元2获得的包含工件及其阴影在内的前景区域的工件阴影去除，以得到工件的准确区域轮廓，并传送给工件区域轮廓特征提取单元3；工件区域轮廓特征提取单元3将获得的工件的准确区域轮廓进行提取工件区域轮廓的几何特征，以得到工件区域轮廓的特征向量，并将其传送给支持向量机训练分类单元4；支持向量机训练分类单元4根据获得的工件区域轮廓的特征向量进行训练和分类。

本发明方法包括以下步骤：

1)摄取传送带上的工件的二维图像，设传送带上的工件的二维图像为包含工件的当前帧图像Im_fore，传送带图像为不包含工件的背景帧图像Im_back，并将二者做差分运算，再通过设定阈值将差分得到的图像二值化，得到包含工件及其阴影在内的前景区域fore_region，以解决由于光照不足或工件颜色与传送带相近而影响工件边缘提取与检测，其包括以下步骤：

①通过常规的工业摄像头采集传送带上的工件的二维图像Im，并将处于RGB颜色空间内工件的二维图像Im转换到灰度空间，得到包含工件的当前帧图像Im_fore(也称为灰度图像Im_gray)。由于后续处理中需要用到图像差分，而图像差分通常会选择将RGB图转化为灰度图像来进行，原因是在RGB三个颜色分量分别做差分，运算量大，灰度图像做差分仅需要对一个分量做差分，运算简洁。具体转换过程如下：

g＝0.299×R+0.587×G+0.114×B (1)

其中，R表示工件的二维图像Im中每个像素的红颜色分量，G表示工件的二维图像Im中每个像素的绿颜色分量，B表示工件的二维图像Im中每个像素的蓝颜色分量，g表示经过转换后的该像素灰度值。针对RGB颜色空间中传送带上的工件的二维图像的每一个像素通过公式(1)转换成对应的像素灰度，则得到包含工件的当前帧图像Im_fore。

②在工件识别应用场景中，将不包含工件在内的传送带图像设为背景图像，由于不同时刻的背景图像差别很小，因此采用中值建模，以得到不包含工件的背景帧图像Im_back，其过程如下：

将N张不同时刻的RGB颜色空间内中背景图像对应转换成为灰度空间内各自对应的灰度图像，再根据各背景图像的灰度图像进行中值建模，以得到不包含工件的背景帧图像Im_back，其过程如下：

其中，p_org_i(x,y)是第i张背景图像中任意一点坐标(x,y)处像素的灰度值，且i＝1,2,...,N，p_mean(x,y)是中值建模得到的不包含工件的背景帧图像Im_back在对应的坐标(x,y)处像素的灰度值。针对每一坐标(x,y)处像素进行公式(2)处理得到不包含工件的背景帧图像Im_back。

③将当前含有工件的图像帧Im_fore与不包含工件的背景帧图像Im_back做差分运算，即每一坐标(x,y)均进行差分运算，以得到差分灰度图像Im_sub：

Im_sub(x,y)＝|Im_fore(x,y)-Im_back(x,y)| (3)

针对差分灰度图像Im_sub每一点(x,y)进行二值化处理，并设定图像二值化阈值T₁，根据应用场景二值化过程所需的范围来设定，一般在15-60之间，将二者进行比较得到二值图像Im_sub1(x,y)，该二值图像Im_sub1(x,y)中，值为1的区域是工件及其阴影区域，值为0的区域是背景区域。

其中，T₁＝20。

在二值图像Im_sub1(x,y)中，值为1的区域即为包含工件及其阴影在内的前景区域fore_region，即

fore_region＝{(x,y)|Im_sub1(x,y)＝1} (5)

需要说明的是，所得的包含工件及其阴影在内的前景区域fore_region在灰度空间和RGB颜色空间中区域是一样的。

2)采用阴影检测方法将包含工件及其阴影在内的前景区域fore_region中的阴影去除，以避免阴影对工件区域轮廓提取的干扰，获得工件的准确区域轮廓，其包括以下步骤：

需要说明的是，因为阴影去除都是基于RGB颜色空间进行的，因此步骤2)是在GRB颜色空间中对包含工件及其阴影在内的前景区域fore_region进行阴影去除。

①采用阴影检测方法将包含工件及其阴影在内的前景区域fore_region内的所有像素，由RGB颜色空间转换到归一化RGB颜色空间中，其过程如下：

其中，r_norm、g_norm和b_norm对应为包含工件及其阴影在内的前景区域fore_region的每一个像素在归一化RGB颜色空间的红色分量、绿色分量和蓝色分量。R1、G1、B1是包含工件及其阴影在内的前景区域fore_region内每个像素对应的红颜色分量、绿颜色分量、蓝颜色分量。

在归一化RGB颜色空间内，将归一化颜色空间内每一颜色空间分量的当前帧像素和背景帧中对应当前帧的位置处的像素进行差分运算：

其中，Δr_norm、Δg_norm和Δb_norm对应表示归一化RGB颜色空间下差分图像的r值、g值和b值；r_norm_fore、g_norm_fore和b_norm_fore对应表示归一化RGB颜色空间下前景图像的r值、g值和b值；r_norm_back、g_norm_back和b_norm_back对应表示归一化RGB颜色空间下背景图像的r值、g值和b值。

②将归一化RGB颜色空间下差分图像的r值、g值和b值与阈值T₂进行比较，以便得到粗判阴影区shadow_candidate，其过程如下：

根据Δr_norm、Δg_norm和Δb_norm与阴影粗判决阈值T₂的大小关系进行阴影粗判决阈值判定，以便将当前含有工件的图像帧Im_fore进行区域分割，进而将工件阴影区域去除。区域分割具体做法如下：若Δr_norm，Δg_norm，Δb_norm三者中任意一个都比阴影粗判决阈值T₂小，则将比阴影粗判决阈值T₂小的像素判定为阴影像素shadow，阴影像素shadow的集合为粗判阴影区shadow_candidate；否则，将比阴影粗判决阈值T₂大的像素判定为非阴影像素nonshadow，采用下式进行阴影属性判断其过程如下：

其中，T2是阴影粗判决阴影粗判决阈值，通常为实验得到的经验值，一般选取0.12～0.18之间。

③对粗判阴影区shadow_candidate内的像素进行纹理信息提取并分析，以判断区别阴影区和非阴影区。梯度信息是纹理信息的一种，本发明选用其代表纹理信息，其过程如下：

采用Prewitt算子(Prewitt operator)描述粗判阴影区shadow_candidate内的像素的梯度信息。

如图2所示，Prewitt算子原理如下：将图2中梯度算子模板中心对应于粗判阴影区shadow_candidate内每个像素上，分别计算每个像素所对应的水平方向梯度和竖直方向梯度，即：

其中，▽_x表示粗判阴影区shadow_candidate内的每一个像素在水平方向上的梯度，▽_y表示粗判阴影区shadow_candidate内的每一个像素竖直方向上的梯度，▽_p表示粗判阴影区shadow_candidate内的每一个像素处的梯度幅值，θ_p表示粗判阴影区shadow_candidate内的每一个像素的梯度方向角。

计算前景帧和背景帧对应位置像素的帧间梯度方向差Δθ_p，以便做梯度方向判别纹理相似性的基础，即

④根据前景帧和背景帧对应位置像素的帧间梯度方向差Δθ_p与帧间梯度方向差的阈值T_a进行比较，以便进行帧间梯度阈值分割；

同时，为了排除背景差分过程中引入的噪声干扰，采用3×3像素块的梯度方向相关性的均值g进行阴影判决，以便将阴影部分像素干扰去除，得到工件的准确轮廓。梯度方向相关性的均值g的公式如下：

其中，N＝9，H(·)的定义类似于阶跃函数，其表达式为

其中，T_a为帧间梯度方向差的阈值，设定为π/10，。如果对应位置像素的帧间梯度方向差Δθ_p小于该阈值，说明3×3像素块属于背景，H(·)为1并累加。当梯度方向相关性的均值g大于设定块判定阈值Tg，设定为0.56时，说明该像素块与背景帧中对应位置像素块纹理信息相近，因此将该像素块判定为阴影区像素，否则判定为工件区域像素。

3)针对工件的准确区域轮廓提取其几何特征，以得到工件区域轮廓的特征向量；工件区域轮廓的特征向量包括能够较好地描述工件的区域分布特性的Hu矩(Hu moment)和可以较好描述工件的轮廓信息的Fourier算子(傅里叶描述子)，其获得工件区域轮廓的特征向量的过程如下：

①提取工件区域轮廓的Hu矩

胡名桂在1962年提出二维数据的Hu不变矩理论，简称Hu矩，该理论应用矩的非线性组合得到若干维矩向量，这些矩向量满足平移、旋转和尺度不变性特征，被广泛应用于二维几何形状识别领域。

对于数字工件的准确区域轮廓的图像数据而言，原点矩m_pq和中心矩μ_pq可以表述为：

其中， 和分别表示工件的准确区域轮廓的图像质心的横坐标和纵坐标，M和N分别为工件的准确区域轮廓的图像的长和宽。I(x,y)为工件的准确区域轮廓的图像中的像素。

归一化的中心矩η_pq表示为：

Hu矩利用二阶中心矩和三阶中心矩的组合表达式，提出了7维Hu矩，其表达式如下：

φ₁＝η₂₀+η₀₂

φ₂＝(η₂₀-η₀₂)²+(2η₁₁)²

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)² (19)

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

φ₆＝(η₂₀-η₁₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₁₂+η₀₃)²]-(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₁₂+η₀₃)]

由于7个矩特征的取值覆盖范围较大，而且可能有负值出现，所以实际中对其采用先取绝对值再取对数的方式进行计算：

φ′_x＝lg|φ_x| (20)

至此，可以得到工件区域轮廓的7维Hu矩特征向量φ′_x。

②提取工件区域轮廓的Fourier描述子

傅里叶描述子(Fourier descriptors)是一种常用的几何形状描述算子，其原理与离散傅里叶变换类似，对于一条封闭曲线，选取起始点S，则沿曲线边界的动点p(k)的坐标用复数表示为x(k)+jy(k)，则p(k)是一个以该曲线周长为周期的函数，可以展开成傅里叶级数形式。

设由N点构成的工件区域轮廓边界点序列为：

{x(n),y(n):n＝0,1,…,N-1} (21)

将其表示为上述复数形式为：

p(n)＝x(n)+jy(n),n＝0,1,…,N-1 (22)

其中，p(n)为由像素点坐标构成的复数。

对式(22)进行一维序列的离散Fourier变换，则有：

其中，P(k)为对p(n)进行Fourier变换得到的值。

Fourier描述子系数中，除P(0)外，其他系数的幅值||P(k)||均具有旋转不变性和平移不变性，并且与曲线起点无关。为了获得具有尺度不变性的Fourier描述子系数，对其进行归一化处理，即把每一个幅值||P(k)||除以||P(1)||，即Fourier描述子F(k)：

Fourier描述子能够很好地描述物体轮廓的形状信息，根据应用场景取到足够阶数的情况下，物体的形状信息可以得到完全提取及恢复。根据Fourier系数有能量向低频集中的特性，可以选取较低阶次的若干个系数作为形状描述算子。Fourier描述子易于实现，通过快速Fourier变换可以使其计算更加简洁，而且对噪声具有较强的鲁棒性，因此其在几何形状描述领域有广泛的应用。至此，可以得到工件区域轮廓的N-1维Fourier描述子特征向量F′_x。

由上述两个特征向量构成N+6维输入特征向量：

4)采用支持向量机SVM根据工件区域轮廓的特征向量进行训练和分类，以实现工件的分类识别，其包括以下步骤：

支持向量机(Support Vector Machine，SVM)是在统计学习理论的VC(Vapnik-Chervonenkis Dimension，均分以为VC维)维理论和结构风险最小原理基础上的模式分类方法，其在解决小样本、非线性和高维模式识别问题中表现出特有的优势。该理论由贝尔实验室Vapnik领导的研究小组在1995年提出。目前该理论发展较成熟，是一种常用的分类器，尤其是其适合小样本训练这一特性大大扩展了其应用范围。

假设给定大小为L的训练样本集{x_i,y_i}，i＝1,2,...,L，每个训练样本包含d维的输入向量(x_i∈R^d)和一个工件类别标号y_i(y_i∈{-1,1})。

识别工件类别的具体步骤如下：

①对于输入的工件样本的特征向量x_i，i＝1,2,...,L，及其对应的期望输出y_i∈{-1,1}；

②在约束条件和α_i≥0(i＝1,...L)下求解

的最大值，得到

③计算：其中x_s为一个特定的支持向量；

④对于待分类向量x，选择高斯径向基函数K(x_i,x)为核函数，计算为+1或-1，且K(x_i,x)＝exp(-||x-x_i||²/σ²)，决定待分类工件属于哪一类。若f(x)值为+1，说明待识别工件属于当前类别；若f(x)值为-1，说明待识别工件不属于当前类别。

通过以下实验数据进一步说明本发明方法的有效性：

如图3所示，针对8类工件进行工件几何特征提取和分类识别。实验过程中，输入工件图像的分辨率为1600×1200，相关参数的值设置如下：T₁＝20，T₂＝0.15，T_a设定为π/10，即0.31415，T_g设定为0.56。

测试中对三种训练识别方案进行比较，三种方案分别为：仅选取7维Hu矩作为特征向量、仅选取15维Fourier算子作为特征向量、选取前5维Hu矩和前10维Fourier算子构成15维特征向量。

对每一类工件拍摄不同姿态下的20张图像作为SVM分类器训练样本图像，再拍摄含有各类工件的图片进行工件分类测试，每一类工件在所有测试图像中出现频次之和为50次，将每一类工件在50次识别过程中被正确分类的次数作为工件识别分类准确率的计算依据。

如表1所示，不同方案识别率统计结果。由表1可见，结合Hu矩和Fourier算子的工件识别方法能够获得较高的识别率。

表1工件识别率统计

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于几何形状特征的工件识别方法，其包括以下步骤：

1)摄取传送带上的工件的二维图像，设传送带上的工件的二维图像为包含工件的当前帧图像，传送带图像为不包含工件的背景帧图像，并将二者做差分运算，再通过设定阈值将差分得到的图像二值化，得到包含工件及其阴影在内的前景区域，其步骤包括：

①通过常规的工业摄像头采集传送带上的工件的二维图像Im，并将处于RGB颜色空间内工件的二维图像Im转换到灰度空间，得到灰度图像Im_gray，具体转换过程如下：

g＝0.299×R+0.587×G+0.114×B

其中，R表示工件的二维图像Im中每个像素的红颜色分量，G表示工件的二维图像Im中每个像素的绿颜色分量，B表示工件的二维图像Im中每个像素的蓝颜色分量，g表示经过转换后的该像素灰度值；

②在工件识别应用场景中，将不包含工件在内的传送带图像设为背景图像，采用中值建模得到不包含工件的背景帧图像Im_back，其过程如下：

将N张不同时刻的RGB颜色空间内中背景图像对应转换成为灰度空间内各自对应的灰度图像，再根据各背景图像的灰度图像进行中值建模，以得到不包含工件的背景帧图像Im_back，其过程如下：

$p\_mean(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}p\_{\mathrm{org}}_i(x,y)$

其中，p_org_i(x,y)是第i张背景图像中任意一点坐标(x,y)处像素的灰度值，且i＝1,2,...,N，p_mean(x,y)是中值建模得到的不包含工件的背景帧图像Im_back在对应的坐标(x,y)处像素的灰度值；针对每一坐标(x,y)处像素进行处理得到不包含工件的背景帧图像Im_back；

③将当前含有工件的图像帧Im_fore与不包含工件的背景帧图像Im_back做差分运算，以得到差分灰度图像Im_sub：

Im_sub(x,y)＝|Im_fore(x,y)-Im_back(x,y)|

针对差分灰度图像Im_sub每一点(x,y)进行二值化处理，并设定图像二值化阈值T₁，根据应用场景二值化过程所需的范围来设定，一般在15-60之间，将二者进行比较得到二值图像Im_sub1(x,y)，该二值图像Im_sub1(x,y)中，值为1的区域是工件及其阴影区域，值为0的区域是背景区域；

在二值图像Im_sub1(x,y)中，值为1的区域即为包含工件及其阴影在内的前景区域fore_region：

fore_region＝{(x,y)|Im_sub1(x,y)＝1}；

2)采用阴影检测方法将包含工件及其阴影在内的前景区域中的阴影去除，以获得工件的准确区域轮廓，其步骤包括：

①采用阴影检测方法将包含工件及其阴影在内的前景区域fore_region内的所有像素，由RGB颜色空间转换到归一化RGB颜色空间中，其过程如下：

$\left\{\begin{array}{c}r\_norm=\frac{R1}{R1+G1+B1}\\ g\_norm=\frac{G1}{R1+G1+B1}\\ b\_norm=\frac{B1}{R1+G1+B1}\end{array}\right.$

其中，r_norm、g_norm和b_norm对应为包含工件及其阴影在内的前景区域fore_region的每一个像素在归一化RGB颜色空间的红色分量、绿色分量和蓝色分量；R1、G1、B1是包含工件及其阴影在内的前景区域fore_region内每个像素对应的红颜色分量、绿颜色分量、蓝颜色分量；

在归一化RGB颜色空间内，将归一化颜色空间内每一颜色空间分量的当前帧像素和背景帧中对应当前帧的位置处的像素进行差分运算：

$\left\{\begin{array}{c}\mathrm{\Δ}r\_norm=|r\_norm\_fore-r\_norm\_back|\\ \mathrm{\Δ}g\_norm=|g\_norm\_fore-g\_norm\_back|\\ \mathrm{\Δ}b\_norm=|b\_norm\_fore-b\_norm\_back|\end{array}\right.$

其中，Δr_norm、Δg_norm和Δb_norm对应表示归一化RGB颜色空间下差分图像的r值、g值和b值；r_norm_fore、g_norm_fore和b_norm_fore对应表示归一化RGB颜色空间下前景图像的r值、g值和b值；r_norm_back、g_norm_back和b_norm_back对应表示归一化RGB颜色空间下背景图像的r值、g值和b值；

②将归一化RGB颜色空间下差分图像的r值、g值和b值与阈值T₂进行比较，以便得到粗判阴影区shadow_candidate，其过程如下：

根据Δr_norm、Δg_norm和Δb_norm与阴影粗判决阈值T₂的大小关系进行阴影粗判决阈值判定，其过程如下：若Δr_norm，Δg_norm，Δb_norm三者中任意一个都比阴影粗判决阈值T₂小，则将比阴影粗判决阈值T₂小的像素判定为阴影像素shadow，阴影像素shadow的集合为粗判阴影区shadow_candidate；否则，将比阴影粗判决阈值T₂大的像素判定为非阴影像素nonshadow，采用下式进行阴影属性判断其过程如下：

其中，T2是阴影粗判决阴影粗判决阈值，通常为实验得到的经验值，一般选取0.12～0.18之间；

③对粗判阴影区shadow_candidate内的像素进行纹理信息提取并分析，以判断区别阴影区和非阴影区；采用梯度信息表征纹理信息，且采用Prewitt算子描述粗判阴影区shadow_candidate内的像素的梯度信息；

将梯度算子模板中心对应于粗判阴影区shadow_candidate内每个像素上，分别计算每个像素所对应的水平方向梯度和竖直方向梯度，即：

$\begin{array}{c}{\▿}_x=\left(p\left(m-1,n+1\right)-p\left(m-1,n-1\right)\right)+\left(p\left(m,n+1\right)-p\left(m,n-1\right)\right)\\ +\left(p\left(m+1,n+1\right)-p\left(m+1,n-1\right)\right)\end{array}$

$\begin{array}{c}{\▿}_y=\left(p\right(m-1,n-1)-p(m+1,n-1\left)\right)+\left(p\right(m-1,n)-p(m+1,n\left)\right)\\ +\left(p\left(m-1,n+1\right)-p\left(m+1,n+1\right)\right)\end{array}$

$\left|{\▿}_p\right|=\sqrt{{\▿}_x^2+{\▿}_y^2}$

${\mathrm{\θ}}_p=\arctan \frac{{\▿}_y}{{\▿}_x}$

其中，表示粗判阴影区shadow_candidate内的每一个像素在水平方向上的梯度，表示粗判阴影区shadow_candidate内的每一个像素竖直方向上的梯度，表示粗判阴影区shadow_candidate内的每一个像素处的梯度幅值，θ_p表示粗判阴影区shadow_candidate内的每一个像素的梯度方向角；

计算前景帧和背景帧对应位置像素的帧间梯度方向差Δθ_p，以便做梯度方向判别纹理相似性的基础，即

${\mathrm{\Δ\θ}}_p=\arccos \[\frac{{\▿}_x^F\·{\▿}_x^B+{\▿}_y^F\·{\▿}_y^B}{{\left\{\left({\left({\▿}_x^F\right)}^2+{\left({\▿}_y^F\right)}^2\right).\left({\left({\▿}_x^B\right)}^2+{\left({\▿}_y^B\right)}^2\right)\right\}}^{\frac{1}{2}}}\]$

④根据前景帧和背景帧对应位置像素的帧间梯度方向差Δθ_p与帧间梯度方向差的阈值T_a进行比较，以便进行帧间梯度阈值分割；

为了排除背景差分过程中引入的噪声干扰，采用3×3像素块的梯度方向相关性的均值g进行阴影判决，以便将阴影部分像素干扰去除，得到工件的准确轮廓；梯度方向相关性的均值g的公式如下：

$g=\frac{1}{N}\underset{p=1}{\overset{N}{\Σ}}H(T_g-{\mathrm{\Δ\θ}}_p)$

其中，N＝9，H(·)的定义类似于阶跃函数，其表达式为

其中，T_a为帧间梯度方向差的阈值，设定为π/10；如果对应位置像素的帧间梯度方向差Δθ_p小于该阈值，说明3×3像素块属于背景，H(·)为1并累加；当梯度方向相关性的均值g大于设定块判定阈值T_g，设定为0.56时，说明该像素块与背景帧中对应位置像素块纹理信息相近，因此将该像素块判定为阴影区像素，否则判定为工件区域像素；

3)针对工件的准确区域轮廓提取其几何特征，以得到工件区域轮廓的特征向量，该特征向量包括Hu矩和Fourier算子；

4)采用支持向量机SVM对工件区域轮廓的特征向量进行训练和分类。

2.如权利要求1所述的一种基于几何形状特征的工件识别方法，其特征在于：所述步骤3)包括以下步骤：

①提取工件区域轮廓的Hu矩

对于数字工件的准确区域轮廓的图像数据而言，原点矩m_pq和中心矩μ_pq表述为：

$m_{pq}=\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}{x}^p{y}^{q}I(x,y),p,q=0,1,2,...$

${\mathrm{\μ}}_{pq}=\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}I(x,y),p,q=0,1,2,...$

其中， 和分别表示工件的准确区域轮廓的图像质心的横坐标和纵坐标，M和N分别为工件的准确区域轮廓的图像的长和宽；I(x,y)为工件的准确区域轮廓的图像中的像素；

归一化的中心矩η_pq表示为：

${\mathrm{\η}}_{pq}=\frac{{\mathrm{\μ}}_{pq}}{{\mathrm{\μ}}_{00}^r},r=\frac{p+q}{2}+1$

Hu矩利用二阶中心矩和三阶中心矩的组合表达式，其7维Hu矩表达式如下：

φ₁＝η₂₀+η₀₂

φ₂＝(η₂₀-η₀₂)²+(2η₁₁)²

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₁₂+η₀₃)²]-(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₁₂+η₀₃)]

由于7个矩特征的取值覆盖范围较大，因此采用先取绝对值再取对数的方式进行计算：

φ_x′＝lg|φ_x|

至此，得到工件区域轮廓的7维Hu矩特征向量φ_x'；

②提取工件区域轮廓的Fourier描述子

对于一条封闭曲线，选取起始点S，则沿曲线边界的动点p(k)的坐标用复数表示为x(k)+jy(k)，则p(k)是一个以该曲线周长为周期的函数，展开成傅里叶级数形式；

设由N点构成的工件区域轮廓边界点序列为：

{x(n),y(n):n＝0,1,···,N-1}

将其表示为上述复数形式为：

p(n)＝x(n)+jy(n),n＝0,1,···,N-1

其中，p(n)为由像素点坐标构成的复数；

对上进行一维序列的离散Fourier变换，则有：

$P\left(k\right)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}p\left(n\right)\exp (-\frac{j2\mathrm{\π}kn}{N}),0\≤k\≤N-1$

其中，P(k)为对p(n)进行Fourier变换得到的值；

Fourier描述子系数中，除P(0)外，其他系数的幅值||P(k)||均具有旋转不变性和平移不变性，并且与曲线起点无关；为了获得具有尺度不变性的Fourier描述子系数，对其进行归一化处理，即把每一个幅值||P(k)||除以||P(1)||，即Fourier描述子F(k)：

$F\left(k\right)=\frac{\left|\right|P\left(k\right)|}{\left|\right|P\left(1\right)\left|\right|},k=1,2,...,N-1$

至此，得到工件区域轮廓的N-1维Fourier描述子特征向量F′_x；

由上述两个特征向量构成N+6维输入特征向量：

3.如权利要求2所述的一种基于几何形状特征的工件识别方法，其特征在于：所述步骤4)包括以下步骤：

假设给定大小为L的训练样本集{x_i,y_i}，i＝1,2,...,L，每个训练样本包含d维的输入向量(x_i∈R^d)和一个工件类别标号y_i(y_i∈{-1,1})；

识别工件类别的具体步骤如下：

①对于输入的工件样本的特征向量x_i，i＝1,2,...,L，及其对应的期望输出y_i∈{-1,1}；

②在约束条件和α_i≥0(i＝1,...L)下求解

的最大值，得到

③计算：其中x_s为一个特定的支持向量；

④对于待分类向量x，选择高斯径向基函数K(x_i,x)为核函数，计算为+1或-1，且K(x_i,x)＝exp(-||x-x_i||²/σ²)，决定待分类工件属于哪一类；若f(x)值为+1，说明待识别工件属于当前类别；若f(x)值为-1，说明待识别工件不属于当前类别。