CN102354363B - 高反光柱面金属上的二维条码图像识别方法 - Google Patents

Abstract

本发明公开了一种高反光柱面金属上的二维条码图像识别方法，经过初定位二维条码区域，校正柱面光照不均，精确定位条码四边缘，判断输出数据是否满足校验函数，采集多幅图像并融合，仿射变换校正图像，划分网格，迭代提取信息等步骤得到二维条码模块信息矩阵。本发明能对任意角度旋转倾斜，轻度或中度几何畸变，轻度或中度光照不均，对比度不强，轻度或中度磨损的金属上的二维条码都有较高的识别率。

Description

高反光柱面金属上的二维条码图像识别方法

技术领域

本发明涉及对高反光柱面金属上的DataMatrix二维条码进行信息提取的方法，属于自动识别技术领域。

背景技术

直接零件标识DPM(Direct Part Marking)技术是一种可直接在产品的表面形成包括文字、符号或图案等形式的永久标识技术，利用DPM技术在产品表面形成的一维条码或二维条码符号，是实现产品可追溯性标识的重要技术手段，在条码符号的选择上，考虑到产品表面面积有限、提高符号识读率等因素，目前多选用二维DataMatrix条码作为产品的二维条码永久标识，这是因为DataMatrix条码编码容量大、密度高、纠错能力强。

目前二维条码识读方法上都采用CCD摄像头采集含有二维条码的图像，再对图像进行一系列处理，去除背景定位条码区域，然后提取条码数据信息。现有的二维条码识读系统只能处理平面状态下完整的、形变不严重及光照比较理想情况下的二维条码图像。而DPM所标识的零件或刀具很少具有平面表面，大都为圆柱形的，并且所标识的表面多为光滑的金属材质，所以摄像头所采集的图像通常含有较强的反光、光照不均及对比度低等现象，同时条码形状会有一定程度的扭曲。对于曲率比较大的圆柱形表面甚至会有反光区域覆盖码区，导致条码信息损失。针对金属柱面上标识的二维条码这些特有的繁杂情况，现有条码识别技术无法处理，譬如日本Cognex corp出产的手持式Dataman 7500和封闭式读码器MATRIX2000，都无法识读标刻在光滑的圆柱形金属材质上的二维DataMatrix条码，从而限制了二维条码技术在DPM中的应用。申请号为“201110100489.6”，发明名称为“一种金属柱面直接标刻二维条码识读装置及识读方法”的专利，从硬件方面设计了如何消除柱面高光，但软件方面并未实现。

发明内容

为了克服现有技术仅从硬件层面上消除柱面高光的不足，本发明提供一种高反光柱面金属上的二维条码图像识别方法，有效地实现了二维条码的读取。

本发明解决其技术问题所采用的技术方案包括以下步骤：

第一步，初定位二维条码区域：

1.定位二维条码的横向位置：

从图像横向中间w/2处，向左遍历求取竖向梯度：

${\mathrm{grad}}_i=\underset{j=0}{\overset{h}{\mathrm{\Σ}}}\left(\right|{\mathrm{pix}}_{i,j}-{\mathrm{pix}}_{i+1,j}|+|{\mathrm{pix}}_{i,j}+{\mathrm{pix}}_{i-1,j}\left|\right)/2,i\∈(0,w/2)$

其中，grad_i代表图像A中i列的梯度值，设在i＝xleft处，取得最大梯度值，w为图像宽度，pix_i，j代表现图像中i列j行像素点的像素值；用同样的方法从图像横向中间w/2处，向右遍历求取竖向梯度，设在i＝xrigt处，取得最大梯度值。

2.通过投影法确定二维条码的纵向位置：

求取图像A竖向区域投影值：

${\mathrm{proj}}_j=\underset{i=\mathrm{xleft}}{\overset{\mathrm{xrigt}}{\mathrm{\Σ}}}|{\mathrm{pix}}_{i,j}-{\mathrm{pix}}_{x+1,j}|,i\∈(0,h)$

得到一组投影值

求取这组投影值的平均值

遍历

每个值，若

则使proj_j＝0；再次遍历

记下每一个连续并不含有0的连通区域，设最长的一个连通域起始点和结束点为yup和ydown。

通过以上操作，可初定位条码所在区域，本发明认定横向xrigt＝xrigt-5，xlef＝xleft+5，纵向yup＝yup+5、ydown＝ydown-5确定的区域为二维条码区域。

第二步，校正柱面光照不均：

本发明利用6次多项式插值公式模拟横向像素的渐变曲线，并利用等距节点的牛顿插值法计算横向渐变曲线的插值公式，步骤如下：

1.建立横向节点值数组

遍历投影值

计算 ${\mathrm{xvalu}}_i=\underset{j=0}{\overset{h}{\mathrm{\Σ}}}{p}_{i,j}/n,$ 其中， $p_{i,j}=\left\{\begin{array}{cc}{\mathrm{pix}}_{i,j}& {\mathrm{proj}}_j=0\\ 0& \mathrm{else}\end{array}\right.,$ n表示

中proj_j＝0的数目。

2.节点间距h＝(xrigt-xleft)/6，插值节点数组为

3.设横向像素的渐变曲线函数f(x)在插值节点处函数值数组利用牛顿插值法求出6次多项式插值公式，设为N₆(x)，其中x＝xleft+th，t＝0，1，...，6。

4.以

的平均值 $\stackrel{\‾}{\mathrm{xvalu}}=\underset{i=\mathrm{xleft}}{\overset{\mathrm{xrigt}}{\mathrm{\Σ}}}{\mathrm{xvalu}}_i/(\mathrm{xrigt}-\mathrm{xleft})$ 作为基准值，求取逆向校正数组 $\{{v\left(x_i\right)|v\left(x_i\right)=N_6(\mathrm{xleft}+\frac{x_i-\mathrm{xleft}}{h}h)-\stackrel{\‾}{\mathrm{xvalu}}\}}_{i=\mathrm{xleft}}^{\mathrm{xrigt}}.$

5.根据逆向校正数组校正二维条码区域：

{pix|pix_i，j＝pix_i，j-v(x_i)，xleft≤i≤xrigt  ydown≤j≤yup}

校正完二维条码区域后，通过(xrigt，ydown)，(xrigt，yup)，(xleft，ydown)，(xleft，yup)四个顶点为基准裁切原图像，再对裁切完后的图像四周加上20像素长度的0值像素，得到图像A₁。并将图像宽度和高度重新赋值，w＝xrigt-xleft+20，h＝yup-ydown+20。

第三步，精确定位条码四边缘：

1.求取码区主方向：

1)首先对图像A₁做灰值形态学边缘梯度运算：

为灰值膨胀运算，Θ为灰值腐蚀运算，g为半径为2个像素的圆形结构元素，得到梯度图像A₂，再对A₂做大津阈值分割得到二值图像A₃。

2)建立一个二维条码边缘方向数组 $\{{\mathrm{value}\left(d_i\right)|d_i\∈(-\frac{\mathrm{\π}}{2}+\frac{\mathrm{i\π}}{16},-\frac{\mathrm{\π}}{2}+\frac{(i+1)\mathrm{\π}}{16})\}}_{i=0}^{15},$ 每个d_i代表着一个11.25°的区间。

3)扫描A₃，若pix_i，j＝255，求取此点在A₂中的sobel梯度方向dre_i，j＝arctan(dy_i，j/dx_i，j)，其中：

dy_i，j＝(pix_i-1，j+1+2pix_i，j+1+pix_i+1，j+1)-(pix_i-1，j-1+2pix_i，j-1+pix_i+1，j-1)

dx_i，j＝(pix_i+1，j+1+2pix_i+1，j+pix_i+1，j-1)-(pix_i-1，j+1+2pix_i-1，j+pix_i-1，j-1)

若dre_i，j∈d_i，则value(d_i)加1，直至扫描完A₃中全部像素点。

4)遍历计算区间加权值：

valued＝0.3×value(d_i-1)+0.4×value(d_i)+0.3×value(d_i+1)

其中，d_i-1表示d_i逆时针方向的上一个取值，d_i+1表示d_i顺时针方向下一个取值，d₀到d₁₅是一个圆形循环区间。设在区间d_i处加权值最大，记d_i中点值d_first，和d_i相隔8个的区间的中点值记为d_sec，二维条码的两个大致主方向求取为d_first和d_sec。

2.去除噪声并粗定位：

1)以d_first为方向的两条直线和以d_sec为方向的

线分

个顶点开始遍历A₃，遍历的间距为2个像素，将这四条直线记为遍历直线，用字母l_line表示。

2)记录在遍历直线l_line上像素值为255的像素点坐标，用集合{(i，j)|(i，j)∈l_line && pix_i，j＝255}表示，判断集合中每个像素点的八邻域像素点的像素值，将八邻域中像素值等于255的像素点都计入集合中。

3)判断遍历直线l_line所对应集合，若集合中元素个数大于阈值Th₁，且集合中坐标点的的方差大于阈值Th₂时，确定为条码区域，停止此次遍历并记下停止位置，其中， ${\mathrm{Th}}_1=\sqrt{h^2+w^2}/3,$ ${\mathrm{Th}}_2=\frac{\sqrt{\underset{i=0}{\overset{\sqrt{h^2+w^2}}{\mathrm{\Σ}}}{(i-\frac{\sqrt{h^2+w^2}}{2})}^2}}{2\sqrt{h^2+w^2}}.$

4)判断从四个顶点开始的遍历有没有全部结束，若没有则选择没有遍历过的顶点转到步骤2)开始遍历，若全部结束则转向步骤5)。

5)将四个停止位置处的遍历直线所围成的区域记为粗定位二维条码区域，并将粗定位二维条码区域之外的区域全部赋值为0，这样就去除了大部分污染。

3.精确定位条码边缘：

1)分别从上向下，从下向上，从左向右，从右向左扫描A₃，得到一组像素值都为255边缘点，将这些点的集合记作E，并将图像A₃中非边缘点都置为0。

2)对集合E中的所有点作霍夫变换，得到ρ-θ坐标系下的霍夫变换域，其中ρ是极半径，取值范围

θ是极角，取值范围[d_first-10，d_first+10]和[d_sec-10，d_sec+10]。

3)利用模板遍历霍夫变换域，模板是一个5*5正方形区域。设中心点对应的霍夫点为(θ_i，ρ_i)，则正方形区域中点(θ_i-1，ρ_i)，(θ_i+1，ρ_i)，(θ_i，ρ_i-1)，(θ_i，ρ_i+1)对应的权值p₀＝0.6，点(θ_i+1，ρ_i+1)，(θ_i+1，ρ_i-1)，(θ_i-1，ρ_i+1)，(θ_i-1，ρ_i-1)对应的权值p₁＝0.4，点(θ_i-2，ρ_i)，(θ_i+2，ρ_i)，(θ_i，ρ_i+2)，(θ_i，ρ_i-2)对应的权值p₂＝0.2。正方形模板最中间是遍历目标点的坐标，其他对应的是目标点周围点的坐标，模板横向是θ轴方向，纵向是ρ轴方向。遍历霍夫变换域中(θ_i，θ_i)，根据模板计算公式求取模板值T_(θ，θ)：

$T_{({\mathrm{\θ}}_i,{\mathrm{\ρ}}_i)}=m_{({\mathrm{\θ}}_i,{\mathrm{\ρ}}_i)}+p_0(m_{({\mathrm{\θ}}_i-1,{\mathrm{\ρ}}_i)}+m_{({\mathrm{\θ}}_i+1,{\mathrm{\ρ}}_i)}+m_{({\mathrm{\θ}}_i,p_i-1)}+m_{({\mathrm{\θ}}_i,{\mathrm{\ρ}}_i+1)})+$

$p_1(m_{({\mathrm{\θ}}_i+1,{\mathrm{\ρ}}_i+1)}+m_{({\mathrm{\θ}}_i+1,{\mathrm{\ρ}}_i-1)}+m_{({\mathrm{\θ}}_i-1,{\mathrm{\ρ}}_i+1)}+m_{({\mathrm{\θ}}_i-1,{\mathrm{\ρ}}_i-1)})+$

$p_2(m_{({\mathrm{\θ}}_i-2,{\mathrm{\ρ}}_i)}+m_{({\mathrm{\θ}}_i+2,{\mathrm{\ρ}}_i)}+m_{({\mathrm{\θ}}_i,{\mathrm{\ρ}}_i-2)}+m_{({\mathrm{\θ}}_i,{\mathrm{\ρ}}_i+2)})$

其中是点(θ，ρ)对应的值，在模板遍历霍夫域的过程中，如果模板中的点(θ₁，ρ₁)：ρ₁超出ρ轴的范围

舍去此模板点；如果θ₁超出θ轴的范围

则将此点代换为

或

得到新的点，并将此新的点的值代入模板计算公式求取模板值。

4)用模板遍历完霍夫域后，假设点(θ_j，ρ_j)对应的

最大，则(θ_j，ρ_j)对应的图像坐标系中的直线ρ_j＝xcosθ_j+ysinθ_j为最长直线。

5)求取

模板上的所有的点在图像A₃中对应的直线，并检测图像坐标系中在这些直线上并像素值等于255的点，称这些点为拟合点，记录这些点并根据这些点做最小二乘拟合，拟合直线即为DM码的一条边缘直线。

6)在霍夫域中清空上一步检测出的边缘直线的(ρ₀，θ₀)及其领域，判断本次检测直线是否为第四条直线，若否再转到步骤2)检测下一条边缘直线；若为第四条直线转到步骤7)。

7)求取四条边缘直线相互垂直的两两直线交点，共得四个交点。拟合点最多的边缘直线默认为二维条码的一条实边拟合直线，与其在同一个θ极角区间的拟合点最多的边缘直线为第二条实边拟合直线，两条实边拟合直线的交点为二维条码左上顶点，记为(x₀，y₀)，另外两条边缘直线则默认为二维条码的虚边拟合直线，其交点为二维条码右下顶点，记为(x₃，y₃)，其余的两交点记为(x₁，y₁)、(x₂，y₂)。

8)求取(x₀，y₀)和(x₃，y₃)连线的实际角度与理想状态3π/4之间的角度差：

θ＝atan[y₀-y₃，x₀-x₃]-3π/4。

将另外两交点按角度θ逆时针旋转，求取旋转后x值：x₁′＝cosθ*x₁+sinθ*y₁，x₂′＝cosθ*x₂+sinθ*y₂，旋转后x值大的认为是右上顶点，x值小的则认为是右下顶点，将(x₁，y₁)、(x₂，y₂)中旋转后x值大的点赋值给(x₁，y₁)，x值小的点赋值给(x₂，y₂)。

9)二维条码的四个顶点精确坐标即为：(x₀，y₀)、(x₁，y₁)、(x₂，y₂)和(x₃，y₃)，分别代表本次待识别二维条码的左上、右上、左下和右下四个顶点。

第四步，判断输出数据是否满足校验函数：

1.判断四个顶点的坐标有无超出横向(15，w-15)范围与竖向(15，h-15)范围，若至少有一个超过，则认为定位没有成功，输出否定值；若都没有超过则转向步骤2。

2.求取(x₀，y₀)与(x₁，y₁)之间的线段长度l₀、(x₁，y₁)与(x₂，y₂)之间的线段长度l₁、(x₂，y₂)与(x₃，y₃)之间的线段长度l₂以及(x₀，y₀)与(x₃，y₃)之间的线段长度l₃，得到一组线段长度数组

计算比值{l_m/l_n(m≠n)&&m，n∈[0，3]}，如果比值都在0.8～1.2之间。则默认上述方法已精确确定二维条码边缘，输出确定值；若否则判定二维条码边缘未能精确确定，输出否定值

3.若效验结果最终为确定值，转到第六步继续执行；若为否定值，转向第五步，采集多幅图像并融合识别。

第五步，采集多幅图像并融合：

1.调节黑色金属挡板使夹缝变小，直到相机抓取的图像没有高反光带覆盖条码区域为止，此时夹缝之间的条码区域只是整个二维条码区域的一部分。

2.调节相机拍摄时间为0～4秒，相机抓取图像帧数为0～10幅。

3.设抓取的帧数为f幅，旋转时间为t秒，旋转柱状金属每隔设f/t秒抓取一幅图像，得到一组图像序列

4.利用步骤一的方法初定位图像序列

中每个图像的二维条码区域，得到一组二维条码区域图像序列

由于对应同一夹缝宽度，所以图像宽度是一样的，

代表图像序列的图像大小，其中w和h_p代表图像MvArea_p的宽度和高度。

5.对于MvArea_p，求取图像中每个像素点的横向和纵向的一阶导数g_x和g_y，以及两者的乘积g_xg_y，然后计算原图像上对应的每个像素点的兴趣值I＝det(M)-k*tr²(M)，其中， $M=G\left(\stackrel{\‾}{s}\right)\⊗\left[\begin{array}{cc}{g_x}^2& g_x{g}_y\\ g_x{g}_y& {g_y}^2\end{array}\right],$ k为权值系数，取0.04，

为高斯模板，det为矩阵行列式，tr为矩阵的迹。

6.将图像MvArea_p上的兴趣值最大值记为I_max，以0.05*I_max作为阈值，判断每个像素点的兴趣值是否为其20*20像素邻域内的最大值，若为最大值且兴趣值大于0.05*I_max，则将此像素点记为MvArea_p图像的Harris特征点。遍历图像MvArea_p可得到特征点集Har_p。

7.重复步骤5和6，循环图像序列

可得特征点集序列为对于i＞0，图像MvArea_p和MvArea_p-1之间只有平移变化，并且通过初定位得到的MvArea_p和MvArea_p-1之间竖直位移很小，所以建立位移矩阵：

$R={\left[\begin{array}{ccc}(x_0,y_0)& \·\·\·& (x_0,y_m)\\ \·\·\·& \·\·\·& \·\·\·\\ (x_n,y_0)& \·\·\·& (x_n,y_m)\end{array}\right]}_{n\×m}={\left[\begin{array}{ccc}(0,-1/20h_{p-1})& \·\·\·& (\mathrm{0,1}/20h_{p-1})\\ \·\·\·& \·\·\·& \·\·\·\\ (w-1,-1/20h_{p-1})& \·\·\·& (w-1,1/20h_{p-1})\end{array}\right]}_{w\×(1/10+1)h_{p-1}}$

8.遍历位移矩阵R，设此次遍历的位移元素为(x，y)，设I_i是Har_i中的特征点，坐标设为(x_i，y_i)。

在Har_i-1中寻找距离(x_i+x，y_i+y)最近的特征点I_j，坐标设为(x_j，y_j)，分别取I_i和I_j的4×4邻域A和B，求取这两个邻域的互相关系数：

$C_{I_i}=\frac{\underset{u=1}{\overset{4}{\mathrm{\Σ}}}\underset{v=1}{\overset{4}{\mathrm{\Σ}}}(A_{\mathrm{uv}}-\stackrel{\‾}{A})\·(B_{\mathrm{uv}}-\stackrel{\‾}{B})}{16\·\mathrm{\σ}\left(A\right)\·\mathrm{\σ}\left(B\right)}$

其中

和

分别为邻域A和邻域B的像素平均值，σ(A)和σ(B)为标准差，A_uv与B_uv分别代表I_i与I_j的4×4邻域每个像素点的像素值。，可以看出

从-1(两区域完全不同)到1(两区域完全相同)变化。

求取

的高斯加权距离其中r_ij＝‖(x_j，y_j)-(x_i+x，y_i+y)‖为特征点I_j与(x_i+x，y_i+y)之间的欧氏距离，σ为控制这两点之间相互作用的参数，本发明取σ＝h_i-1/8。

9.计算MvArea_i和MvArea_i-1在位移(x，y)下的特征点平均配准度 ${\mathrm{Reg}}_{(x,y)}=\underset{I_i\∈{\mathrm{Har}}_i}{\mathrm{\Σ}}{G}_{I_i}/\mathrm{size}\left({\mathrm{Har}}_i\right),(x,y)\∈R,$ 设在位移(x_m，y_n)∈R处Re g_(x，y)取得最大值，则认为图像MvArea_i经过位移(x_m，y_n)与MvArea_i-1达到最佳配准融合；然后判断x_m＞w/3，若成立则配准融合成功，若不成立则认为MvArea_i与MvArea_i-1重合度过高，没有必要再融合；然后删除MvArea_i并将其后的图像序号依次减1，譬如MvArea_j＝MvArea_j-1(j＞i)，然后重复步骤5～9。

10.若将图像序列全部融合完毕，则得到一幅新的融合后的图像A₁。A₁的宽度为融合后图像的实际宽度，重新赋值给w，高度本步完毕后转向第三步继续顺序执行。

第六步，仿射变换校正图像：

对于原始真图像f(x，y)到变换后图像g(x′，y′)的空间变换，设变换后对应的四个顶点坐标为：(x₀′，y₀′)、(x₁′，y₁′)、(x₂′，y₂′)和(x₃′，y₃′)，设并设变换方程为：

$\left\{\begin{array}{c}x=r(x^{\′},y^{\′})\\ y=s(x^{\′},y^{\′})\end{array}\right.$

先在x方向上进行线性插值，即l₁上进行线性插值：

$r\left(R_1\right)\≈\frac{{x_1}^{\′}-x^{\′}}{{x_1}^{\′}-{x_0}^{\′}}{x}_0+\frac{x^{\′}-{x_0}^{\′}}{{x_1}^{\′}-{x_0}^{\′}}{x}_1$ where  R₁＝(x′，y₀′)

再在l₂上进行线性插值：

$r\left(R_2\right)\≈\frac{{x_1}^{\′}-x^{\′}}{{x_1}^{\′}-{x_0}^{\′}}{x}_3+\frac{x^{\′}-{x_0}^{\′}}{{x_1}^{\′}-{x_0}^{\′}}{x}_2$ where  R₂＝(x′，y₁′)

然后在y方向上进行线性插值：

$r\left(P\right)\≈\frac{{y_0}^{\′}-y^{\′}}{{y_0}^{\′}-{y_1}^{\′}}r\left(R_2\right)+\frac{y^{\′}-{y_1}^{\′}}{{y_0}^{\′}-{y_1}^{\′}}r\left(R_1\right)$ where  R₂＝(x′，y′)

由上述三个公式可由一维推向二维，假设输出图像为高为m，宽为n的矩形，则

$x=r(x^{\′},y^{\′})=\frac{x_3}{\mathrm{mn}}(n-x^{\′})(m-y^{\′})+\frac{x_2}{\mathrm{mn}}{x}^{\′}(m-y^{\′})+\frac{x_0}{\mathrm{mn}}(n-x^{\′})y^{\′}+\frac{x_1}{\mathrm{mn}}{x}^{\′}{y}^{\′}---\left(1\right)$

同理对y进行双线性插值得：

$y=s(x^{\′},y^{\′})=\frac{y_0}{\mathrm{mn}}(n-x^{\′})(m-y^{\′})+\frac{y_1}{\mathrm{mn}}{x}^{\′}(m-y^{\′})+\frac{y_3}{\mathrm{mn}}(n-x^{\′})y^{\′}+\frac{y_2}{\mathrm{mn}}{x}^{\′}{y}^{\′}---\left(2\right)$

将输出图像宽确定为w＝m＝200，输出图像高确定为h＝n＝200，建立一个空白图像A₄，将图像A₁四个顶点(x₀，y₀)、(x₁，y₁)、(x₂，y₂)和(x₃，y₃)与空白图像A₄的四个顶点对应起来，利用公式(1)和(2)可求取图像A₄在图像A₁中的对应点，对于非整数对应点用双线性插值法插值，最终求得经过几何畸变校正后的图像A₄。

对图像A₄进行图像均衡，得到均衡过的图像A₅。

第七步，划分网格：

1.粗划分网格：

本发明认为打在金属柱面上的二维条码为8×8，10×10，12×12，14×14，16×16，18×18，20×20，22×22，24×24这9种划分方式，简记为集合

粗划分网格如下：

1)以水平直线竖直方向遍历图像A₅，遍历的间隔为一个像素，遍历的范围为图像A₅的高度200像素。记录每个竖直遍历j处水平直线上像素点pix_ij的竖直方向梯度和：

${h\mathrm{grad}}_j=\stackrel{200}{\underset{i=0}{\mathrm{\Σ}}}|{\mathrm{pix}}_{i(j-1)}-{\mathrm{pix}}_{i(j+1)}|(j\∈\left(\mathrm{0,200}\right))$

得到一组竖直方向梯度投影数列

同理以竖直直线水平方向遍历图像A₅得到一组水平方向梯度投影数列

2)选取p×p∈C划分方式预划分得到一组竖直分割点数列

$H_i=\left\{h_q\right|h_q=q*\frac{200}{i}(q=\mathrm{1,2},...i-1)\}.$

3)对于h_q∈H_i，在 ${\mathrm{harea}}_q=\{h_q-\frac{200}{4i},h_q+\frac{200}{4i}\}$ 小区间里，求取最大加权值 $\max \{0.3*({h\mathrm{grad}}_{h_p-1}+{h\mathrm{grad}}_{h_p+1})+0.4*h\mathrm{gra}{d}_{h_p}(h_q\∈{h\arg \mathrm{ea}}_q)\},$ 然后将最大加权值处的h_p重新赋值给h_q。对每个分割点都做此操作，得到一组微调后新的分割点集合H_i。

4)对于h_q∈H_i，求取在 ${\mathrm{harea}}_q=\{h_q-\frac{200}{4i},h_q+\frac{200}{4i}\}$ 区间里竖直方向梯度值投影的峰度：

${\mathrm{hg}}_q=\frac{N^2(N+1)u_4}{(N-1)(N-2)(N-3)s^4}-3\frac{{(N-1)}^2}{(N-2)(N-3)}(q=\mathrm{1,2},...,i-1)$

其中， $N=\frac{200}{2i},$ $s=\sqrt{\frac{1}{N-1}\underset{i\∈{\mathrm{harea}}_q}{\mathrm{\Σ}}{({h\mathrm{grad}}_i-\frac{1}{N}\underset{j\∈{\mathrm{harea}}_q}{\mathrm{\Σ}}h\mathrm{gr}{\mathrm{ad}}_j)}^2}$ 为标准差， $u_4=\frac{1}{N}\underset{i\∈{\mathrm{harea}}_q}{\mathrm{\Σ}}{({h\mathrm{grad}}_i-\frac{1}{N}\underset{j\∈{\mathrm{harea}}_q}{\mathrm{\Σ}}{h\mathrm{grad}}_j)}^4$ 为4阶中心矩。然后求取i×i划分下竖直方向梯度值投影峰度的平均值

遍历划分方式集合C，得到竖直方向梯度值投影峰度的平均值数列和竖直分割点数列集合{H_i}_i×i∈C。

5)然后选取p×p∈C划分方式预划分水平方向梯度投影数列与步骤2)～步骤4)的算法原理一样，亦可得到一组水平方向梯度值投影峰度的平均值数列记为

并得到一组水平分割点数列集合记为{L_i}_i×i∈C。

6)求取峰度最大值 $\max {\{\stackrel{\‾}{{\mathrm{hg}}_i}+\stackrel{\‾}{{\lg }_i}/2\}}_{i\×i\∈C},$ 假设 $\stackrel{\‾}{{\mathrm{hg}}_p}+\stackrel{\‾}{{\lg }_p}/2=\max \{{\stackrel{\‾}{{\mathrm{hg}}_i}+\stackrel{\‾}{{\lg }_i}/2\}}_{i\×i\∈C},$ 则p×p即为二维条码的划分方式，H_p和L_p即为二维条码网格粗划分纵向和横向分割点数列，最后可以得到二维条码网格粗划分坐标矩阵：

$G={[0,H_p,h]}^T\×[0,L_p,w]={\left[\begin{array}{cccccc}\left(\mathrm{0,0}\right)& (0,l_1)& (0,l_2)& \·\·\·& (0,l_{p-1})& (0,w)\\ (h_1,0)& (h_1,l_1)& (h_1,l_2)& \·\·\·& (h_1,l_{p-1})& (h_1,w)\\ (h_2,0)& (h_2,l_1)& (h_2,l_2)& \·\·\·& (h_2,l_{p-1})& (h_2,w)\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ (h_{p-1},0)& (h_{p-1},l_1)& (h_{p-1},l_2)& \·\·\·& (h_{p-1},l_{p-1})& (h_{p-1},w)\\ (h,0)& (h,l_1)& (h,l_2)& \·\·\·& (h,l_{p-1})& (h,w)\end{array}\right]}_{(p+1)\×(p+1)}$

(h_i∈H_p，l_i∈L_p，i＝1，2，...，p-1)

其中第0行与第0列是扩展的行列，任取元素(h_i，l_j)∈G(i＞0，j＞0)代表第i行j列网格的右上坐标，w和h代表图像宽度和高度且都等于200。

2.微调细化分网格

1)取第i行第j列网格元素(h_j，l_i)∈G(i＞0，j＞0)，网格宽度wg＝l_i-l_i-1，网格高度hg＝h_j-h_j-1，在竖向harea＝{h_j-hg/4，h_j+hg/4}范围内，求取网格(h_j，l_i)在harea范围内的上边缘梯度wup_y，假设在my处取得最大值： ${\mathrm{wup}}_{\mathrm{my}}=\max \left\{{\mathrm{wup}}_y\right|{\mathrm{wup}}_y=\underset{x=l_{i-1}}{\overset{l_i}{\mathrm{\Σ}}}|{\mathrm{pix}}_{x,y+1}-{\mathrm{pix}}_{x,y-1}|y\∈\mathrm{harea}\}.$ 同理，在横向warea＝{l_i-wg/4，l_i+wg/4}范围内，求取网格(h_j，l_i)的右边缘梯度，假设在mx处取得最大值： ${\mathrm{hrigt}}_{\mathrm{mx}}=\max \left\{{\mathrm{hrigt}}_x\right|{\mathrm{hrigt}}_x=\underset{y=h_{j-1}}{\overset{h_j}{\mathrm{\Σ}}}|{\mathrm{pix}}_{x+1,y}-{\mathrm{pix}}_{x-1,y}|x\∈\mathrm{warea}\}.$

2)建立空白二维条码网格边缘梯度矩阵GE和二维条码网格划分位移矩阵GM：

$\mathrm{GE}={\left[\begin{array}{ccccc}(0,0)& \left(\mathrm{0,0}\right)& \·\·\·& \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)\\ \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)& \·\·\·& \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)& \·\·\·& \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)\\ \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)& \·\·\·& \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)\end{array}\right]}_{p\×p}$ $\mathrm{GM}={\left[\begin{array}{ccccc}\left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)& \·\·\·& \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)\\ \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)& \·\·\·& \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)& \·\·\·& \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)\\ \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)& \·\·\·& \left(\mathrm{0,0}\right)& \left(\mathrm{0,0}\right)\end{array}\right]}_{(p+1)\×(p+1)}$

根据上一步求出的第i行第j列网格的上边缘和右边缘梯度值wup_my与hrigt_mx，将(wup_my，hrigt_mx)赋值GE的第i行第j列元素。第i行与第j列网格的上边缘和右边缘位移为my-h_j和mx-l_i，将(my-h_j，mx-l_i)赋值GM的第i行与第j列元素。遍历G循环执行1，则得到满秩的GE和GM。最后二维条码网格细划分坐标矩阵为：G＝G-GM。

至此二维条码网格划分已完毕，划分的精度精确到每个模块，用矩阵G代表划分的每个模块的坐标，矩阵GE代表划分的每个模块的上和右边缘梯度。

第八步，迭代提取信息：

1.先根据模块坐标矩阵G求出每个模块的平均灰度值，设第i行第j列网格元素(h_j，l_i)∈G(i＞0，j＞0)，则其灰度平均值为：

循环求取G中所有元素，则可以得到二维条码模块灰度平均值矩阵：

$V={\left[\begin{array}{cccc}{v}_{11}& v_{12}& \·\·\·& v_{1p}\\ v_{21}& v_{22}& \·\·\·& v_{2p}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ v_{p1}& v_{p2}& \·\·\·& v_{\mathrm{pp}}\end{array}\right]}_{P\×P}$

对于虚边模块X＝[v_p，1，v_p，2，...，v_p，p，v_p-1，p，...，v_2，p，v_1，p]_2p-1，建立增广X矩阵 $\stackrel{\‾}{X}={[x_1,x_2,\·\·\·,x_{2p+3}]}_{2p+3}=[v_{p,1},v_{p,2},X,v_{2,p},v_{1,p}{]}_{2p+3},$ 其中，若i(2＜i＜2p+2)为奇数，则x_i代表白模块，反之代表黑模块。若其中有白模块x_i的灰度平均值小于其两侧黑模块的灰度平均值的较大值x_i＜max{x_i-1，x_i+1}，则重新赋值x_i＝(x_i-2+x_i+2)/2，即将距离白模块x_i最近的两个白模块的平均值赋值给x_i；若其中有黑模块x_i的灰度平均值大于其两侧白模块的灰度平均值的较小值x_i＞min{x_i-1，x_i+1}，则重新赋值x_i＝(x_i-2+x_i+2)/2，即将距离黑模块x_i最近的两个黑模块的平均值赋值给x_i。循环执行，直到全部白模块比与其相邻的黑模块平均灰度值要大，且全部黑模块比与其相邻的白模块平均灰度值要小为止。

2.建立并初始化二维条码模块信息矩阵：

$F={\left[\begin{array}{cccc}{f}_{11}& f_{12}& \·\·\·& f_{1p}\\ f_{21}& f_{22}& \·\·\·& f_{2p}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ f_{p1}& f_{p2}& \·\·\·& f_{\mathrm{pp}}\end{array}\right]}_{P\×P}={\left[\begin{array}{cccc}1& 1& \·\·\·& 1\\ 1& f_{22}& \·\·\·& 0\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ 1& 0& \·\·\·& 0\end{array}\right]}_{P\×P}$

其中，边缘模块为定位模块，信息已知，所以将边缘模块赋予初始值，1代表白模块，0代表黑模块，其余的都设为未知信息模块。初始化迭代邻域n＝1。

3.判断(1代表白模块，0代表黑模块，其余的都设为未知信息模块)F中的未知信息模块是否全部识别出来，如是转向步骤7，否则转向步骤4。

4.判断是否

，f_a，b的n邻域为：

${\mathrm{fare}}_n={\left[\begin{array}{ccc}{f}_{a-n,b+n}& \·\·\·& f_{a+n,+n}\\ \·\·\·& f_{i,j}& \·\·\·\\ f_{a-n,b-n}& \·\·\·& f_{a+n,b-n}\end{array}\right]}_{n\×n}$

且fare_n中信息已知白模块个数不为0且信息已知黑模块个数也不为0。若存在满足此条件的f_i，j，转向步骤5，否则将n＝n+1转向步骤3。

5.本步是模块灰度平均值判断，根据矩阵V求出fare_n中所有信息已知白模块的平均值为

所有信息已知黑模块的平均值为

若

则f_a，b＝1；若

则f_i，j＝0；若

则f_a，b＝1；若

则f_a，b＝0。若以上顺序判断都满足，则转向步骤3，否则转向步骤6。

6.本步是选择边缘梯度信息判断。假设条件1：若f_a-1，b、f_a+1，b、f_a，b-1与f_a，b+1中白模块个数不为0或黑模块个数不为0，根据梯度矩阵GE设f_i，j与其中所有白模块平均梯度值为

或与其中所有黑模块平均梯度值为假设条件2：若为信息已知模块，且f_p-1，q、f_p+1，q、f_p，q-1与f_p，q+1中白模块个数不为0且黑模块个数也不为0，根据梯度矩阵GE求取f_p，q与其中所有和它信息值相同模块的平均梯度值

和其中所有和它信息值不同模块的平均梯度值

然后求取满足假设条件2的所有f_p，q∈fare_n的

平均值

平均值

若假设1和假设2都成立：假如假设条件1中的白模块数不为0，若

则f_a，b＝1，反之f_a，b＝0；假如假设条件1中的黑模块数不为0，若

则f_a，b＝0，反之f_a，b＝1；若假设条件1或假设条件2不成立，则回归到模块灰度平均值判断，若则f_a，b＝1，否则f_a，b＝0。转向步骤3。

7.将全部信息识别出，得到二维条码模块信息矩阵F。

本发明的有益效果是：本发明能对任意角度旋转倾斜，轻度或中度几何畸变，轻度或中度光照不均，对比度不强，轻度或中度磨损的金属上的二维条码都有较高的识别率。识别出来的小模块的正确率一般都在80％以上，质量比较好的图像能达到95％及更高。识别时间在268毫秒左右。

本发明的能解决金属柱面上直接标刻的DataMatrix二维条码图像由于柱面光滑及大曲率所造成表面反光严重、光照不均、码区形变严重、信息损失及对比度低等问题，读取正确率一般可以达到95％以上。对于640*512输入图像，“单幅识别”程序运行时间在200～300毫秒之间，“融合识别”程序运行时间在500～600毫秒之间。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1是高反光柱面金属上二维条码图像识别方案总过程；

图2是识读工装整体结构；

图3是去噪示意图；

图4是遍历霍夫变换域模板；

图5是仿射变换示意图；

图6是遍历求取梯度波形图示意图；

图7是梯度值波形图；

图8是实例一所处理图像；

图9是实例一处理总过程；

图10是实例二所处理图像；

图11是实例二融合过程。

具体实施方式

本专利对处于高反光，大曲率柱面金属背景下的二维条码图像提出一套独特的处理方法。借助于特定的二维条码识读工装及简便光源，采集柱面金属上包含二维条码的图像。对于金属柱面背景下所特有的光照不均及高反光，本专利通过采集条码区域上下方的光滑区域像素，采用数学函数模型拟合光照，逆向校正图像光照分布；对于大曲率柱面及反光带遮盖条码区域所造成的信息损失情况，采用缩小条码采集区域并旋转采集多幅图像进行融合，拼接成信息无损和微形变的二维条码。对于二维条码边界定位，本专利通过先判断图像整体边缘方向，然后根据整体边缘方向而缩小了霍夫变换区域，大大减小程序运行时间并有一定的抗噪性能，然后根据改进的强鲁棒性霍夫变换和最小二乘法精确确定边缘；在二维条码网格划分上，由于柱面形变及光的衍射等因素，造成二维条码各模块大小并不一致，本专利通过一次粗划分，一次微调，准确定位二维条码的每一个模块；对于二维条码每个模块的数据识别，本专利采用邻域灰度值对比与边缘梯度对比双参数进行迭代识别，对于光照不均和对比度较低的二维条码图像有着较高的鲁棒性。

实例一：单幅识别

如图8所示，本实例选取直径为Φ12的柱面金属，在识读工装下用MV1300拍摄其上的二维条码图像。识读工装示意图如图2所示。本实例选取快门速度7ms，增益调节58，图像大小为640*512pix，采集速度为高速，反光带没有覆盖二维条码信息。为实现上述目的，本发明的技术方案总过程如图1所示。

1.在识读工装下，拍摄的二维条码图像如图8所示。首先根据二维条码区域有两条白边作为定位边，确定横向方向上二维条码的位置：xlef＝182，xrigt＝429。然后根据条码边缘的复杂性，通过投影法确定纵向二维条码所在区域，利用第一步算法得到ydown＝109，yup＝320，初定位区域如图9(b)中黑色线内的区域所示。

2.由于图像竖向像素属于柱面的同一弧度，在两侧平行的条状白光源下，对于柱面产生的光照不均在竖向是均匀的。横向则是由两侧向中间渐变变小的曲线。经过大量实验，发现由6次多项式插值的函数能够很好的模拟横向像素的渐变曲线。利用第二步中的校正柱面光照不均算法，拟合出6次多项式方程为y＝2E-10x⁶-1E-07x⁵+3E-05x⁴-0.0048x³+0.3697x²-14.225x+253.91，拟合误差为R²＝0.9851。逆向校正并裁切后的图像如图9中(c)所示，裁切后的新图像h＝227，w＝240。

3.由于定位二维条码边界时最重要的是边缘信息，本专利首先对裁切后的图像做灰值形态学边缘梯度运算，以半径为2个像素的圆形结构元素对边缘梯度进行形态学开运算去除细小污染。然后利用第三步中的算法建立原图像灰值边缘方向数组，并得到两条主方向分别为d_first＝1.52020688和d_sec＝-0.028376115，由于图像中以d_first和d_sec为方向的四条直线(为d_first方向的有两条直线，为d_sec方向的两条直线)从四个顶点开始遍历，去除二维条码区域外噪声并粗定位到二维条码区域，去噪示意图如图3所示。最后得到去噪粗定位后的图像，如图9(d)所示。在粗定位后，下面的就要通过加邻域模板的霍夫变换精确确定二维条码边缘及其四个顶点，先是分别从上向下，从下向上，从左向右，从右向左扫描图9(d)得到一组边缘点，效果如图9(e)所示。以极半径ρ取值范围

极角θ取值范围 $[d_{\mathrm{first}}*\frac{180}{\mathrm{\π}}-10,d_{\mathrm{first}}*\frac{180}{\mathrm{\π}}+10]$ 和 $[d_{\sec }*\frac{180}{\mathrm{\π}}-10,d_{\sec }*\frac{180}{\mathrm{\π}}+10]$ 对“边缘点”图像做霍夫变换得到一个霍夫变换域，然后利用5.3中的模板遍历霍夫变换域法和最小二乘拟合法精确定位二维条码的四条边缘，如图9中(f)所示。并得到二维条码的四个顶点，左上顶点(42，199)，左下顶点(38，29)，右上顶点(211，195)和右下顶点(207，27)。

4.将四个顶点代入第四步中的校验函数，满足条件，继续向下执行。

5.新建一幅200*200的空白图像，将3中求取的左上、左下、右上和右下顶点分别对应空白图像的左上、左下、右上和右下顶点，利用第六步中的仿射变换算法，求得校正后无畸变正方形二维条码图像，如图9中(g)所示。由于仿射变换采用了双线性插值法，所以变换后图像质量会有所下降，整体对比度降低。本专利在对原图像仿射变换后再进行图像均衡，增加对比度。效果如图9中(h)所示。

6.根据第7步中的梯度投影算法求取出二维条码的横向和纵向梯度投影，如图9中(i)所示。然后分别求取8×8～24×24这9种划分方式在“梯度投影波形”中的峰度值，以最大值为基准归一化，得到峰度值如下表格所示：

行数方式	8×8	10×10	12×12	14×14	16×16	18×18	20×20	22×22	24×24
										峰度值	0.48	0.56	0.50	1	0.43	0.39	0.49	0.41	0.43

可知14×14是二维条码的最佳划分方式，并将其粗划分效果如图9中(j)所示。在二维条码网格粗划分后，由于柱面弧度、光的衍射等因素，造成图像中二维条码的每个模块大小并不一定等大，本专利又对粗划分完的二维条码网格进行微调，而得到精确定位二维条码模块的网格矩阵，然后再根据网格之间的梯度微调，得到更加精确的定位每个模块的大小，效果如图9中(k)所示。

7.本发明提出一种新的基于邻域灰度对比和边缘梯度对比的迭代提取二维条码模块信息的方法，这是一种非基于二值化图像而是基于灰度图像的方法，所以是一种信息无损算法，并能有效的应对光照不均。本算法原理是：每个二维条码模块的识别结果是通过与它最近邻域的已识别的二维条码模块对比得出的。首先利用5.8算法求取精确定位的每个模块的平均灰度值，建立二维条码模块灰度平均值矩阵，效果如图9中(1)所示。然后利用相邻模块灰度平均值及边缘梯度双参数对比，迭代求出每个未知模块的信息值，最终读取效果如图9中(h)所示所示。

通过本算法提取的信息效果如下表格所示：

错误个数	错误坐标	正确率	计算时间
				0	无	100％	268毫秒

实例二：融合识别

如图10所示，本实例选取直径为Φ6的柱面金属，并拍摄其上的二维条码图像。由于柱面半径较小，曲率过大，无论如何调节相机参数都无法消除反光带覆盖掉部分二维条码信息，所以应采取融合识别。本实例选取快门速度7us，增益调节58，图像大小为640*512pix，采集速度为高速。

1.调节黑色金属挡板使夹缝适当变小，同时观察右侧视频显示框中所显示的图像，直至将高反光区域去掉为止。然后本实例选取2秒读取4幅图像，读取的图像如图11中(a)所示。

2.如5.5中算法所示，将这四幅图像首先进行初定位，并根据初定为结果切割处二维条码区域，效果如图11中(b)所示。利用5.5中所述算法，然后对每幅图像进行角点提取，提取结果如图11中(c)所示。

3.建立位移矩阵，计算每相邻两幅图像的角点区域互相关系数，根据最大互相关系数位移点融合相邻两幅图像，四幅图像的融合结果如图11中(d)所示。

4.后续算法和实例一类似，这里就不累述。

Claims (1)

1.高反光柱面金属上的二维条码图像识别方法，其特征在于包括下述步骤： 

第一步，初定位二维条码区域： 

1.定位二维条码的横向位置： 

从图像横向中间w/2处，向左遍历求取竖向梯度： 

其中，grad_i代表图像A中i列的梯度值，设在i＝xleft处，取得最大梯度值，w为图像宽度，pix_i,j代表现图像中i列j行像素点的像素值；用同样的方法从图像横向中间w/2处，向右遍历求取竖向梯度，设在i＝xrigt处，取得最大梯度值； 

2.通过投影法确定二维条码的纵向位置： 

求取图像A竖向区域投影值： 

得到一组投影值

求取这组投影值的平均值

遍历

每个值，若则使proj_j＝0；再次遍历

记下每一个连续并不含有0的连通区域，设最长的一个连通域起始点和结束点为yup和ydown； 

通过以上操作，可初定位条码所在区域，本发明认定横向xrigt＝xrigt-5，xlef＝xleft+5，纵向yup＝yup+5、ydown＝ydown-5确定的区域为二维条码区域； 

第二步，校正柱面光照不均： 

本发明利用6次多项式插值公式模拟横向像素的渐变曲线，并利用等距节点的牛顿插值法计算横向渐变曲线的插值公式，步骤如下： 

1.建立横向节点值数组

遍历投影值计算

其中，

n表示

中proj_j＝0的数目； 

2.节点间距h＝(xrigt-xleft)/6，插值节点数组为

3.设横向像素的渐变曲线函数f(x)在插值节点处函数值数组

利用牛顿插值法求出6次多项式插值公式，设为N₆(x)，其中x＝xleft+t×h,t＝0,1,...,6； 

4.以

的平均值

作为基准值，求取逆向校正数组

5.根据逆向校正数组校正二维条码区域： 

{pix|pix_i,j＝pix_i,j-v(x_i),xleft≤i≤xrigt ydown≤j≤yup} 

校正完二维条码区域后，通过（xrigt，ydown），（xrigt，yup），（xleft，ydown），（xleft，yup）四个顶点为基准裁切原图像，再对裁切完后的图像四周加上20像素长度的0值像素，得到图像A₁；并将图像宽度和高度重新赋值，w＝xrigt-xleft+20，h＝yup-ydown+20； 

第三步，精确定位条码四边缘： 

1.求取码区主方向： 

1）首先对图像A₁做灰值形态学边缘梯度运算：

为灰值膨胀运算，Θ为灰值腐蚀运算，g为半径为2个像素的圆形结构元素，得到梯度图像A₂，再对A₂做大津阈值分割得到二值图像A₃； 

2）建立一个二维条码边缘方向数组每个d_i代表着一个11.25°的区间； 

3）扫描A₃，若 pix_i，j＝255,求取此点在A₂中的sobel梯度方向dre_i,j＝arctan(dy_i,j/dx_i,j)，其中： 

dy_i,j＝(pix_i-1,j+1+2pix_i,j+1+pix_i+1,j+1)-(pix_i-1,j-1+2pix_i,j-1+pix_i+1,j-1) 

dx_i,j＝(pix_i+1,j+1+2pix_i+1,j+pix_i+1,j-1)-(pix_i-1,j+1+2pix_i-1,j+pix_i-1,j-1) 

若dre_i,j∈d_i，则value(d_i)加1，直至扫描完A₃中全部像素点； 

4）遍历

计算区间加权值： 

valued＝0.3×value(d_i-1)+0.4×value(d_i)+0.3×value(d_i+1) 

其中，d_i-1表示d_i逆时针方向的上一个取值，d_i+1表示d_i顺时针方向下一个取值，d₀到d₁₅是一个圆形循环区间；设在区间d_i处加权值最大，记d_i中点值d_first，和d_i相隔8个的区间的中点值记为d_sec，二维条码的两个大致主方向求取为d_first和d_sec； 

2.去除噪声并粗定位： 

1）以d_first为方向的两条直线和以d_sec为方向的两条直线分别从四个顶点开始遍历A₃，遍历的间距为2个像素，将这四条直线记为遍历直线，用字母l_line表示； 

2）记录在遍历直线l_line上像素值为255的像素点坐标，用集合{(i,j)|(i,j)∈l_line&&pix_i,j＝255}表示，判断集合中每个像素点的八邻域像素点的像素值，将八邻域中像素值等于255的像素点都计入集合中； 

3）判断遍历直线l_line所对应集合，若集合中元素个数大于阈值Th₁，且集合中坐标点的方差大于阈值Th₂时，确定为条码区域，停止此次遍历并记下停止位置，其中，

4）判断从四个顶点开始的遍历有没有全部结束，若没有则选择没有遍历过的顶点转到步骤2）开始遍历，若全部结束则转向步骤5）； 

5）将四个停止位置处的遍历直线所围成的区域记为粗定位二维条码区域，并将粗定位二维条码区域之外的区域全部赋值为0； 

3.精确定位条码边缘： 

1)分别从上向下，从下向上，从左向右，从右向左扫描A₃，得到一组像素值都为255边缘点，将这些点的集合记作E，并将图像A₃中非边缘点都置为0； 

2)对集合E中的所有点作霍夫变换，得到ρ-θ坐标系下的霍夫变换域，其中ρ是极半径，取值范围

θ是极角，取值范围[d_first-10,d_first+10]和[d_sec-10,d_sec+10]； 

3)利用模板遍历霍夫变换域，模板是一个5*5正方形区域；设中心点对应的霍夫点为(θ_i,ρ_i)，则正方形区域中点(θ_i-1,ρ_i)，(θ_i+1,ρ_i)，(θ_i,ρ_i-1)，(θ_i,ρ_i+1)对应的权值p₀＝0.6，点(θ_i+1,ρ_i+1)，(θ_i+1,ρ_i-1)，(θ_i-1,ρ_i+1)，(θ_i-1,ρ_i-1)对应的权值p₁＝0.4，点(θ_i-2,ρ_i)，(θ_i+2,ρ_i)，(θ_i,ρ_i+2)，(θ_i,ρ_i-2)对应的权值p₂＝0.2；正方形模板最中间是遍历目标点的坐标，其他对应的是目标点周围点的坐标，模板横向是θ轴方向，纵向是ρ轴方向；遍历霍夫变换域中(θ_i,ρ_i)，根据模板计算公式求取模板值T_(θ,ρ)： 

其中

是点(θ,ρ)对应的值，在模板遍历霍夫域的过程中，如果模板中的点(θ₁,ρ₁)：ρ1超出ρ轴的范围

舍去此模板点；如果θ₁超出θ轴的范围

则将此点代换为

或

得到新的点，并将此新的点的值代入模板计算公式求取模板值； 

4)用模板遍历完霍夫域后，假设点(θ_j,ρ_j)对应的最大，则(θ_j,ρ_j)对应的图像坐标系中的直线ρ_j＝xcosθ_j+ysinθ_j为最长直线； 

5)求取

模板上的所有的点在图像A₃中对应的直线，并检测图像坐标系中在这些直线上并像素值等于255的点，称这些点为拟合点，记录这些点并根据这些点做最小二乘拟合，拟合直线即为DM码的一条边缘直线； 

6)在霍夫域中清空上一步检测出的边缘直线的(ρ₀,θ₀)及其领域，判断本次检测直线是否为第四条直线，若否再转到步骤2）检测下一条边缘直线；若为第四条直线转到步骤7）； 

7)求取四条边缘直线相互垂直的两两直线交点，共得四个交点；拟合点最多的边缘直线默认为二维条码的一条实边拟合直线，与其在同一个θ极角区间的拟合点最多的边缘直线为第二条实边拟合直线，两条实边拟合直线的交点为二维条码左上顶点，记为(x₀,y₀)，另外两条边缘直线则默认为二维条码的虚边拟合直线，其交点为二维条码右下顶点，记为(x₃,y₃)，其余的两交点记为(x₁,y₁)、(x₂,y₂)； 

8)求取(x₀,y₀)和(x₃,y₃)连线的实际角度与理想状态3π/4之间的角度差： 

θ＝atan[y₀-y₃,x₀-x₃]-3π/4 

将另外两交点按角度θ逆时针旋转，求取旋转后x值：x₁'＝cosθ*x₁+sinθ*y₁，x₂'＝cosθ*x₂+sinθ*y₂，旋转后x值大的认为是右上顶点，x值小的则认为是右下顶点，将(x₁,y₁)、(x₂,y₂)中旋转后x值大的点赋值给(x₁,y₁)，x值小的点赋值给(x₂,y₂)； 

9)二维条码的四个顶点精确坐标即为：(x₀,y₀)、(x₁,y₁)、(x₂,y₂)和(x₃,y₃)，分别代表本次待识别二维条码的左上、右上、左下和右下四个顶点； 

第四步，判断输出数据是否满足校验函数： 

1.判断四个顶点的坐标有无超出横向(15,w-15)范围与竖向(15,h-15)范围，若至少有一个超过，则认为定位没有成功，输出否定值；若都没有超过则转向步骤2； 

2.求取(x₀,y₀)与(x₁,y₁)之间的线段长度l₀、(x₁,y₁)与(x₂,y₂)之间的线段长度l₁、(x₂,y₂)与(x₃,y₃)之间的线段长度l₂以及(x₀,y₀)与(x₃,y₃)之间的线段长度l₃，得到一组线段长度数组

计算比值{l_m/l_n(m≠n)&&m,n∈[0,3]}，如果比值都在0.8～1.2之间，则默认上述方法已精确确定二维条码边缘，输出确定值；若否则判定二维条码边缘未能精确确定，输出否定值； 

3.若效验结果最终为确定值，转到第六步继续执行；若为否定值，转向第五步，采集多幅图像并融合识别； 

第五步，采集多幅图像并融合： 

1.调节黑色金属挡板使夹缝变小，直到相机抓取的图像没有高反光带覆盖条码区域为止，此时夹缝之间的条码区域只是整个二维条码区域的一部分； 

2.调节相机拍摄时间为0～4秒，相机抓取图像帧数为0～10幅； 

3.设抓取的帧数为f幅，旋转时间为t秒，旋转柱状金属每隔设f/t秒抓取一幅图像，得到一组图像序列

4.利用步骤一的方法初定位图像序列

中每个图像的二维条码区域，得到一组二维条码区域图像序列

以

代表图像序列的图像大小，其中w和h_p代表图像MvArea_p的宽度和高度； 

5.对于MvArea_p，求取图像中每个像素点的横向和纵向的一阶导数g_x和g_y，以及两者的乘积g_xg_y，然后计算原图像上对应的每个像素点的兴趣值I＝det(M)-k*tr²(M)，其中，k为权值系数，取0.04，为高斯模板，det为矩阵行列式，tr为矩阵的迹； 

6.将图像MvArea_p上的兴趣值最大值记为I_max，以0.05*I_max作为阈值，判断每个像素点的兴趣值是否为其20*20像素邻域内的最大值，若为最大值且兴趣值大于0.05*I_max，则将此像素点记为MvArea_p图像的Harris特征点；遍历图像MvArea_p得到特征点集Har_p； 

7.重复步骤5和6，循环图像序列

可得特征点集序列为

建立位移矩阵： 

8.遍历位移矩阵R，设此次遍历的位移元素为(x,y)，设I_i是Har_i中的特征点，坐标设为(x_i,y_i)； 

在Har_i-1中寻找距离(x_i+x,y_i+y)最近的特征点I_j，坐标设为(x_j,y_j)，分别取I_i和I_j的4×4邻域A和B，求取这两个邻域的互相关系数： 

其中

和

分别为邻域A和邻域B的像素平均值，σ(A)和σ(B)为标准差，A_uv与B_uv分别代表I_i与I_j的4×4邻域每个像素点的像素值； 

求取CI_i的高斯加权距离

其中r_ij＝||(x_j,y_j)-(x_i+x,y_i+y)||为特征点I_j与(x_i+x,y_i+y)之间的欧氏距离，σ为控制这两点之间相互作用的参数，本发明取σ＝h_i-1/8； 

9.计算MvArea_i和MvArea_i-1在位移(x,y)下的特征点平均配准度 

(x,y)∈R，设在位移(x_m,y_n)∈R处Reg_(x,y)取得最大值，则认为图像MvArea_i经过位移(x_m,y_n)与MvArea_i-1达到最佳配准融合；然后判断x_m＞w/3，若成立则配准融合成功，若不成立则认为MvArea_i与MvArea_i-1重合度过高，没有必要再融合；然后删除MvArea_i并将其后的图像序号依次减1，譬如MvArea_j＝MvArea_j-1(j＞i)，然后重复步骤5～9； 

10.若将图像序列全部融合完毕，则得到一幅新的融合后的图像A₁；A₁的宽度为融合后图像的实际宽度，重新赋值给w，高度

本步完毕后转向第三步继续顺序执行； 

第六步，仿射变换校正图像： 

对于原始真图像f(x,y)到变换后图像g(x',y')的空间变换，设变换后对应的四个顶点坐标为：(x₀',y₀')、(x₁',y₁')、(x₂',y₂')和(x₃',y₃')，设并设变换方程为： 

先在x方向上进行线性插值，即l₁上进行线性插值： 

再在l₂上进行线性插值： 

然后在y方向上进行线性插值： 

由上述三个公式可由一维推向二维，假设输出图像为高为m，宽为n的矩形，则 

同理对y进行双线性插值得： 

将输出图像宽确定为w＝m＝200，输出图像高确定为h＝n＝200，建立一个空白图像A₄，将图像A₁四个顶点(x₀,y₀)、(x₁,y₁)、(x₂,y₂)和(x₃,y₃)与空白图像A₄的四个顶点对应起来，利用公式（1）和（2）求取图像A₄在图像A₁中的对应点，对于非整数对应点用双线性插值法插值，最终求得经过几何畸变校正后的图像A₄； 

对图像A₄进行图像均衡，得到均衡过的图像A₅； 

第七步，划分网格： 

1.粗划分网格： 

打在金属柱面上的二维条码为8×8,10×10,12×12,14×14,16×16,18×18,20×20,22×22,24×24这9种划分方式，简记为集合

粗划分网格如下： 

1）以水平直线竖直方向遍历图像A₅，遍历的间隔为一个像素，遍历的范围为图像A₅的高度200像素；记录每个竖直遍历j处水平直线上像素点pix_ij的竖直方向 梯度和： 

得到一组竖直方向梯度投影数列

同理以竖直直线水平方向遍历图像A₅得到一组水平方向梯度投影数列

2）选取p×p∈C划分方式预划分得到一组竖直分割点数列 

3）对于h_q∈H_i，在

小区间里，求取最大加权值 

然后将最大加权值处的h_p重新赋值给h_q；对每个分割点都做此操作，得到一组微调后新的分割点集合H_i； 

4）对于h_q∈H_i，求取在

区间里竖直方向梯度值投影的峰度： 

其中，

为标准差， 

为4阶中心矩；然后求取i×i划分下竖直方向梯度值投影峰度的平均值

遍历划分方式集合C，得到竖直方向梯度值投影峰度的平均值数列

和竖直分割点数列集合{H_i}_i×i∈C； 

5）选取p×p∈C划分方式预划分水平方向梯度投影数列

与步骤2）～步骤4）的算法原理一样，得到一组水平方向梯度值投影峰度的平均值数列记为 并得到一组水平分割点数列集合记为{L_i}_i×i∈C； 

6）求取峰度最大值

假设

则p×p即为二维条码的划分方式，H_p和L_p即为二维条码网格粗划分纵向和横向分割点数列，最后可以得到二维条码网格粗划分坐标矩阵： 

(h_i∈H_p,l_i∈L_p,i＝1,2,...,p-1) 

其中第0行与第0列是扩展的行列，任取元素(h_i,l_j)∈G(i＞0,j＞0)代表第i行j列网格的右上坐标，w和h代表图像宽度和高度且都等于200； 

2.微调细化分网格 

1）取第i行第j列网格元素(h_j,l_i)∈G(i＞0,j＞0)，网格宽度wg＝l_i-l_i-1，网格高度hg＝h_j-h_j-1，在竖向harea＝{h_j-hg/4,h_j+hg/4}范围内，求取网格(h_j,l_i)在harea范围内的上边缘梯度wup_y，假设在my处取得最大值： 同理，在横向warea＝{l_i-wg/4,l_i+wg/₄}范围内，求取网格(h_j,l_i)的右边缘梯度，假设在mx处取得最大值：

2）建立空白二维条码网格边缘梯度矩阵GE和二维条码网格划分位移矩阵GM： 

根据上一步求出的第i行第j列网格的上边缘和右边缘梯度值wup_my与hrigt_mx，将（wup_my，hrigt_mx)赋值GE的第i行第j列元素；第i行与第j列网格的上边缘和右边缘位移为my-h_j和mx-l_i，将(my-h_j,mx-l_i)赋值GM的第i行与第j列元素；遍历G循环执行1，则得到满秩的GE和GM；最后二维条码网格细划分坐标矩阵为：G＝G-GM； 

至此二维条码网格划分已完毕，划分的精度精确到每个模块，用矩阵G代表划 分的每个模块的坐标，矩阵GE代表划分的每个模块的上和右边缘梯度； 

第八步，迭代提取信息： 

1.先根据模块坐标矩阵G求出每个模块的平均灰度值，设第i行第j列网格元素(h_j,l_i)∈G(i＞0,j＞0)，则其灰度平均值为：循环求取G中所有元素，则可以得到二维条码模块灰度平均值矩阵： 

对于虚边模块X＝[v_p,1,v_p,2,...,v_p,p,v_p-1,p,...,v_2,p,v_1,p]_2p-1，建立增广X矩阵 

其中，若i(2＜i＜2p+2)为奇数，则x_i代表白模块，反之代表黑模块；若其中有白模块x_i的灰度平均值小于其两侧黑模块的灰度平均值的较大值x_i＜max{x_i-1,x_i+1}，则重新赋值x_i＝(x_i-2+x_i+2)/2；若其中有黑模块x_i的灰度平均值大于其两侧白模块的灰度平均值的较小值x_i＞min{x_i-1,x_i+1}，则重新赋值x_i＝(x_i-2+x_i+2)/2；循环执行，直到全部白模块比与其相邻的黑模块平均灰度值要大，且全部黑模块比与其相邻的白模块平均灰度值要小为止； 

2.建立并初始化二维条码模块信息矩阵： 

其中，边缘模块为定位模块，信息已知，所以将边缘模块赋予初始值，1代表白模块，0代表黑模块，其余的都设为未知信息模块；初始化迭代邻域n＝1； 

3.判断F中的未知信息模块是否全部识别出来，如是转向步骤7，否则转向步骤4； 

4.判断是否

f_a,b的n邻域为： 

且fare_n中信息已知白模块个数不为0且信息已知黑模块个数也不为0；若存在满足此条件的f_i,j，转向步骤5，否则将n＝n+1转向步骤3； 

5.根据矩阵V求出fare_n中所有信息已知白模块的平均值为所有信息已知黑模块的平均值为

若

则f_a,b＝1；若

则f_i,j＝0；若

则f_a,b＝1；若 

则f_a，b＝0；若以上顺序判断都满足，则转向步骤3，否则转向步骤6； 

6.假设条件1：若f_a-1,b、f_a+1,b、f_a,b-1与f_a,b+1中白模块个数不为0或黑模块个数不为0，根据梯度矩阵GE设f_i,j与其中所有白模块平均梯度值为或与其中所有黑模块平均梯度值为

假设条件2：若

为信息已知模块，且f_p-1,q、f_p+1,q、f_p,q-1与f_p,q+1中白模块个数不为0且黑模块个数也不为0，根据梯度矩阵GE求取f_p,q与其中所有和它信息值相同模块的平均梯度值

和其中所有和它信息值不同模块的平均梯度值

然后求取满足假设条件2的所有f_p,q∈fare_n的

平均值

平均值

若假设1和假设2都成立：假如假设条件1中的白模块数不为0，若

则f_a,b＝1，反之f_a,b＝0；假如假设条件1中的黑模块数不为0，若则f_a,b＝0，反之f_a,b＝1；若假设条件1或假设条件2不成立，则回归到模块灰度平均值判断，若

则f_a,b＝1，否则f_a,b＝0；转向步骤3； 

7.将全部信息识别出，得到二维条码模块信息矩阵F。 

Images