CN107967471A

CN107967471A - 一种基于机器视觉的表具自动识别方法

Info

Publication number: CN107967471A
Application number: CN201710851527.9A
Authority: CN
Inventors: 雷飞; 付伟; 方之愉; 龙凯
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2017-09-20
Filing date: 2017-09-20
Publication date: 2018-04-27

Abstract

本发明公开一种基于机器视觉的表具自动识别方法，包括：步骤一、将输入的表具图像f(x,y)进行灰度化处理，得到灰度化处理后的图像h(x,y)；步骤二、将原始图像f(x,y)进行图像增强；步骤三、对增强后的图像进行中值滤波；步骤四、将经过中值滤波后的图像进行表盘轮廓及圆心的提取；步骤五、对确定的圆进行特征点的提取与模板匹配；步骤六、由步骤四和步骤五可以确定表具图片的方向，与标准正向表具图片进行对比得到偏差角度，利用仿射变换的旋转和平移功能来校正图片的角度；步骤七、将步骤六变换后的表具图片，进行字符分割处理，然后进行字符识别。本发明具有自动化程度高、测量准确及效率高等优点，且降低了仪表抄表的成本。

Description

一种基于机器视觉的表具自动识别方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于机器视觉的表具自动识别方法。

背景技术

随着社会经济的快速发展，人们对追求高质量的生活表现出前所未有的热情，智能住宅和智能社区也快速发展起来。智能化小区的快速发展使远程自动抄表系统的研究显得意义重大和前景广阔。远程自动抄表系统是指应用计算机技术、通信技术、控制技术，无需人工干涉，通过远程数据控制中心客户端与数据采集终端建立通信链接，实现实时采集仪表使用数据并对用户用量情况进行监控，集存储、计算、收费于一体的计量系统。常见的远程自动抄表系统是采用分线制集中抄表方式，即由数据采集器采集单只或多只计量表的数据进行处理、存储，各数据采集器之间采用总线方式连接，最后连接到集中控制器上，通过Modem方式远程传输到服务器端，最终在计算机上进行显示。常见的自动抄表方式有红外抄表系统、低压载波抄表系统、485 总线抄表系统、光纤传输远程抄表系统等。红外抄表系统需要抄表工作人员到数据采集器跟前抄读，实现的是半自动抄表；低压载波抄表系统受噪声干扰影响比较大、高频载波信号只能在一个低压台区内传播，无法跨台区传送信号、电力网络的阻抗特性及其衰减,制约着信号的传输距离；485总线抄表系统需要铺设专用的485总线,实施难度更大，需要采取防雷击措施等；光纤传输远程抄表系统成本高、施工难度大。

发明内容

本发明目的在于改进现有的基于图像处理的抄表系统的弊端，提出基于机器视觉的表具自动识别方法，节省了人力物力，提高了工作效率，降低了抄表成本。

一种基于机器视觉的表具自动识别方法，包括以下步骤：

步骤一、将输入的表具图像f(x,y)进行灰度化处理，得到灰度化处理后的图像h(x,y)。

步骤二、将原始图像f(x,y)进行图像增强，将处理后的图像记为 g(x,y)，则对比度增强可以表示为g(x,y)＝T[f(x,y)]。

其中，T表示输入图像和输出图像对应点的灰度映射关系。实际中由于曝光不足或成像系统非线性的影响，通常照片或电子系统生成图像对比度不良，利用对比度增强变换可以有效地改善图像的质量。

步骤三、采用改进后的中值滤波，将传统算法中相邻的两次中值滤波运算合并为一次进行，减少了中值滤波过程中比较运算的次数，该算法可将传统算法的复杂度O(n²)简化为O(n)。

步骤四、由圆的标准方程x²+y²+2ax+2by+c＝0分两步求出其中的参数：第一步求出圆心坐标(a,b)；第二步求出圆的半径r。

步骤五、对由步骤四确定的圆进行特征点的提取与模板匹配。用 SURF算法进行关键点和描述符的提取，用FLANN算法进行模板匹配。

步骤六、由步骤四和步骤五可以确定表具图片的方向，与标准正向表具图片进行对比得到偏差角度，利用仿射变换的旋转和平移功能来校正图片的角度。

步骤七、将步骤六变换后的表具图片，进行字符分割处理，然后进行字符识别。

最终输出识别的结果。

本发明的表具自动识别方法，用于自动识别数字表盘的读数。主要包括用户用于上传表具图片的相关APP软件、对采集的图像的预处理、对图像中的数字表盘进行轮廓及圆心定位、表盘的特征点的提取、仿射变换、字符分割、模板匹配、进行结果的识别、将识别的结果存储到数字仪表图像数据库、通过数据总线将结果在WEB端进行显示。本发明方法主要针对拍照上传的过程中，仪表的姿态的偏差进行校正，用模板匹配的算法找到特征点，根据表盘原点与特征点的位置关系，计算需要校正的角度，从而进行表盘示数的读取及后续工作。本发明具有自动化程度高、测量准确及效率高等优点，且降低了仪表抄表的成本。

附图说明

图1为基于机器视觉的表具自动识别方法的流程示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

如图1所示，本发明提供一种表具自动识别方法，包括以下步骤：

步骤一、将输入的图像f(x,y)进行灰度化处理，得到灰度化处理后的图像h(x,y)。

根据YUV的颜色空间中，Y的分量的物理意义是点的亮度，由该值反映亮度等级，根据RGB和YUV颜色空间的变化关系可建立亮度Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，以这个亮度值表达图像的灰度值，得到灰度化处理后的图像h(x,y)。

步骤二、将原始图像f(x,y)进行图像增强，将处理后的图像记为 g(x,y)。

将步骤一得到的灰度化处理后的图像h(x,y)的直方图变换为均匀分布的形式，从而达到增强整体对比度的效果。

设p_s(s_k)代表原始图像第k个灰度级的出现概率。已n_k为自变量，以p_s(s_k)为函数得到的曲线就是图像的直方图。

p_s(s_k)＝n_k/n 0≤s_k≤1k＝0,1,...,L-1 (1)

式中，k为积分变量，L为灰度级数，n_k为在图像中出现第k级灰度的次数，n为图像中像素数，s_k为步骤一灰度化处理后的图像 h(x,y)的累积直方图。

得到变换后图像的灰度。设t表示变换后图像的灰度，变换函数 T(s_k)与原图像概率密度函数p_s(s_k)之间的关系为：

其中，式(2)的右边可以看作是s的累积积分分布函数，从而得到变换后的图像的灰度值。

事实上s的累积积分分布就是原始图的累积直方图，在这种情况下有：

式中，t_k表示灰度化处理后的图像h(x,y)的累积直方图。由上式可见，根据原图像直方图可以直接算出直方图均衡化后各像素的灰度值。

因为离散图像与连续图像之间存在如式(4)所示的关系，由公式(2)得到的离散的灰度直方图，所以可以得到连续的灰度直方图，进而确定增强的图像的像素点。得到增强后的图像g(x,y)。

s_k＝T^-1(t_k) (4)

步骤三、由步骤二得到的增强后的图像g(x,y)，在增强目标像素的同时，也增强了噪声点，为此，采用改进后的中值滤波，将传统算法中相邻的两次中值滤波运算合并为一次进行，该算法可将传统算法的复杂度O(n²)简化为O(n)。

由3*3窗口内像素排列：

	第0行	第1行	第2行
				第0行	P₀	P₁	P₂
第1行	P₃	P₄	P₅
				第2行	P₆	P₇	P₈

计算窗口内的每一列的最大值、中值和最小值：

最大值组：Max0＝max[P0，P3，P6]，Max1＝max[P1，P4，P7]， Max2＝max[P2，P5，P8]

中值组：Med0＝med[P0，P3，P6]，Med1＝med[P1，P4，P7]， Med2＝med[P2，P5，P8]

最小值组：Min0＝Min[P0，P3，P6]，Min1＝Min[P1，P4，P7]， Min2＝max[P2，P5，P8]

最大值组中的最小值Maxmin，中值组中的中值Medmed，最小值组中的最大值MinMax；找出这三个值中的中值为9个元素的中值。

步骤四、由Hough求出圆心坐标和圆的半径。

将步骤三经过中值滤波后的图像进行表盘轮廓及圆心的提取：

将数字图像大小为M×N,经过边缘检测得：

其中，p_ij表示第i行第j列像素点灰度值(0≤i≤M,0≤j≤N)。

设圆心坐标为(a,b),h_i为数字图像中第i行的水平扫描线。l_i,m_i为h_i与圆的两个交点，n_i为l_i和m_i的中点。他们满足：

l_i+m_i＝2×n_i(l_i,m_i,n_i取横坐标值) (6)

通过对每一行进行扫描，找出这样的对称点，并在一维空间中采用Hough变换对它们的中点进行累加计数，计数最大值对应的参数坐标即为a的值。

利用圆心坐标(a,b)，将边缘像素点p_ij代入圆方程 (x-a)²+(y-b)²＝r²，计算出一个候选半径r，在一维空间中采用Hough变换对候选半径r进行累加计数。看r的计数值A(r)是否大于构成圆允许的最小点数T_m＝λ×2πr(r为比例系数，本文中λ＝0.8) 来确定真圆，r即为该圆的半径。

步骤五、对由步骤四确定的圆进行特征点的提取与模板匹配。

用SURF算法进行关键点和描述符的提取：

假设函数f(x，y)，Hessian矩阵H是由函数、偏导数组成。对于图像中某个像素点(x,y)的Hessian矩阵，有：

即每一个像素点(x,y)都可以求出一个Hessian矩阵。

H矩阵判别式为：

判别式的值det(H)是H矩阵的特征值，根据判别式取值正负，来判别该点是或不是极值点,取值为正，是极值点，反之，不是。

选用二阶标准高斯函数作为滤波器，通过特定核间的卷积计算二阶偏导数，这样便能计算出H矩阵的三个矩阵元素L_xx,L_xy,L_yy从而计算出H矩阵：

在进行Hessian矩阵构造前，需要对其进行高斯滤波。经过滤波后再进行Hessian的计算，其公式如下：

L(x,t)＝G(t)gI(x,t) (10)

L(x,t)是一幅图像在不同解析度下的表示，可以利用高斯核G(t) 与图像函数I(x)在点x的卷积来实现，其中高斯核G(t)：

为平衡准确值与近似值间的误差引入权值叫，权值随尺度变化，则H矩阵判别式可表示为：

det(Happrox)＝D_xxD_yy-(0.9D_xy)² (12)

其中0.9是一个经验值。

由提取出的特征点，进而使用FLANN算法进行模板匹配：

首先利用图像构建多维查找树，然后利用KNN算法找到最近的 Keypoints，由欧式距离公式可得：

用空间内两个点的距离来度量，找到距离与待分类样本数量最近的k个邻居，距离越大，表示两个点越不相似。

步骤六、利用仿射变换的旋转和平移功能来校正图片的角度。

由步骤五可以定位表盘的位置，该表盘图片与标准表盘(表盘的一排数字与12点钟方向是垂直关系)进行比对，从而知道需要旋转多少角度才能变成标准表盘样式。

使用2×3矩阵来表示仿射变换。

考虑到我们要使用矩阵A和B对二维向量做变换，所以也能表示为下列形式：

或T＝Mg[x,y,1]^T (16)

仿射变换表示的就是两幅图片之间的一种关系，这种关系可以通过以下两种方式获得：

(1)已知X和T，而且已知它们是有联系的，接下来就是求解 M。

(2)已知M和X，想求得T，只需要使用算式T＝M×X即可。

步骤七、进行字符分割识别。

为了消除由步骤一、五、六得到的图片的杂点，采用3×3的长方形结构元素对图片进行腐蚀操作；为了保证分割出来的数字是连续的，采用3×3的长方形、锚点在中心的结构元素进行膨胀操作。

遍历所有检测到的轮廓，得到每一个轮廓的外接矩形，将字符分割出来。

读取分割出来的字符，得到识别的结果。

本发明设计的方法在提升数字图像识别上有很大提高，特别是特征点提取和模板匹配，准确度得到了很大提升。

本发明采用机器视觉的自动抄表方法，实现表具快速、准确的读取识别。将获取到的照片传送到服务器端的图像处理系统，进行图像的灰度化处理，因为灰度图像的计算量为彩色图像的三分之一，加速了图像处理的速度；进行图像增强处理，因为有些照片在拍摄过程中因为光线问题，有些昏暗；进行图像去噪处理，照片中的强光线或冗余波段，需要去除掉，本设计中采用改进后的二维中值滤波3*3区域进行处理；进行数字表盘轮廓及圆心定位，将仪表表盘边缘和中心点检测出来；进行表盘特征点的提取和模板匹配，采用SURF算法和 FLANN算法，找到特征点，和模板匹配；进行仿射变换，结合圆心定位部分和特征点提取部分的内容，计算出需要校正的角度；进行字符分割与结果识别，识别最终的数字。服务器(数据库)将识别的结果保存并反馈识别结果给数据处理中心，WEB界面显示识别结果。

Claims

1.一种基于机器视觉的表具自动识别方法，其特征在于，包括以下步骤：

步骤一、将输入的表具图像f(x,y)进行灰度化处理，得到灰度化处理后的图像h(x,y)；

步骤二、将原始图像f(x,y)进行图像增强，将处理后的图像记为g(x,y)，则对比度增强可以表示为g(x,y)＝T[f(x,y)]，其中，T表示输入图像和输出图像对应点的灰度映射关系；

步骤三、对增强后的图像进行中值滤波；

步骤四、将经过中值滤波后的图像进行表盘轮廓及圆心的提取；

步骤五、对确定的圆进行特征点的提取与模板匹配，其中，采用SURF算法进行关键点和描述符的提取，采用FLANN算法进行模板匹配；

步骤六、由步骤四和步骤五可以确定表具图片的方向，与标准正向表具图片进行对比得到偏差角度，利用仿射变换的旋转和平移功能来校正图片的角度；

2.根据权利要求1所述的基于机器视觉的表具自动识别方法，其特征在于：步骤二具体为：

步骤2.1、增加像素灰度值的动态范围，将步骤一一得到的灰度化处理后的图像h(x,y)的直方图变换为均匀分布的形式，

设p_s(s_k)为原始图像第k个灰度级出现的概率密度函数，以n_k为自变量、以p_s(s_k)为函数得到的曲线就是图像的直方图，

p_s(s_k)＝n_k/n 0≤s_k≤1 k＝0,1,...,L-1 (1)

其中，k为积分变量，L为灰度级数，n_k为在图像中出现第k级灰度的次数，n为图像中像素数，s_k为步骤一一灰度化处理后的图像h(x,y)的累积直方图。可以看到，增强函数需要满足两个条件：

(1)EH(s)在0≤s≤L-1范围内是一个单值单增函数；

(2)对0≤s≤L-1有0≤EH(s)≤L-1；

其中，以上证明累积分布函数满足上述两个条件并能将s的分布转换为t的均匀分布；

步骤2.2、得到变换后图像的灰度。设t表示变换后图像的灰度，变换函数T(s_k)与原图像概率密度函数p_s(s_k)之间的关系为：

其中，式(2)的右边为s的累积积分分布函数，从而得到变换后的图像的灰度值。

步骤2.3、由步骤二二求得的每个像素的灰度值，进行各个像素灰度值的累积，得到直方图灰度值的累积量，s的累积积分分布就是经过灰度化处理后的图像h(x,y)的累积直方图，在这种情况下有：

其中，t_k表示灰度化处理后的图像h(x,y)的累积直方图，由上式可见，根据灰度化图像直方图可以直接算出直方图均衡化后各像素的灰度值。

步骤2.4、离散直方图转换为连续直方图，离散图像与连续图像之间存在如式(4)所示的关系，由步骤二三得到的离散的灰度直方图，所以可以得到连续的灰度直方图，进而确定增强的图像的像素点，得到增强后的图像g(x,y)，

s_k＝T^-1(t_k) (4)

3.根据权利要求1所述的基于机器视觉的表具自动识别方法，其特征在于：步骤四具体为：

步骤4.1、将数字图像大小为M×N,经过边缘检测得：

其中，p_ij表示第i行第j列像素点灰度值(0≤i≤M,0≤j≤N)。

设圆心坐标为(a,b),h_i为数字图像中第i行的水平扫描线，l_i,m_i为h_i与圆的两个交点，n_i为l_i和m_i的中点。他们满足：

l_i+m_i＝2×n_i(l_i,m_i,n_i取横坐标值) (6)

而圆是中心对称图形，故圆心的横坐标必定在直线x＝a上，

且,a＝n_i＝n_i+1＝...＝n_i+k(横坐标值) (7)

通过对每一行进行扫描，找出这样的对称点，并在一维空间中采用Hough变换对它们的中点进行累加计数，计数最大值对应的参数坐标即为a的值；

步骤4.2、利用圆心坐标(a,b)，将边缘像素点p_ij代入圆方程(x-a)²+(y-b)²＝r²，计算出一个候选半径r，在一维空间中采用Hough变换对候选半径r进行累加计数，看r的计数值A(r)是否大于构成圆允许的最小点数T_m＝λ×2πr来确定真圆，r即为该圆的半径。

4.根据权利要求1所述的基于机器视觉的表具自动识别方法，其特征在于：步骤五具体为：

步骤5.1、用SURF算法进行关键点和描述符的提取

假设函数f(x，y)，Hessian矩阵H是由函数、偏导数组成，对于图像中某个像素点(x,y)的Hessian矩阵，有：

即每一个像素点(x,y)都可以求出一个Hessian矩阵。

H矩阵判别式为：

判别式的值det(H)是H矩阵的特征值，根据判别式取值正负，来判别该点是或不是极值点，取值为正，是极值点，

在进行Hessian矩阵构造前，需要对其进行高斯滤波，经过滤波后再进行Hessian的计算，其公式如下：

L(x,t)＝G(t)gI(x,t) (11)

L(x,t)是一幅图像在不同解析度下的表示，利用高斯核G(t)与图像函数I(x)在点x的卷积来实现，其中高斯核G(t)：

为平衡准确值与近似值间的误差引入权值，权值随尺度变化，则H矩阵判别式可表示为：

det(Happrox)＝D_xxD_yy-(0.9D_xy)² (13)

步骤5.2、由步骤5.1中提取出的特征点，进而使用FLANN算法进行模板匹配

首先利用图像构建多维查找树，然后利用KNN算法找到最近的Keypoints，由欧式距离公式可得：

采用空间内两个点的距离来度量，找到距离与待分类样本数量最近的k个邻居，距离越大，表示两个点越不相似。

5.根据权利要求1所述的基于机器视觉的表具自动识别方法，其特征在于：步骤六具体为：

步骤6.1、使用2×3矩阵来表示仿射变换

使用矩阵A和B对二维向量做变换，其表示为下列形式：

或T＝Mg[x,y,1]^T (17)

步骤6.2、求解变换矩阵T

仿射变换表示为两幅图片之间的一种关系，这种关系通过以下两种方式获得：

已知X和T，而且已知它们是有联系的，接下来就是求解M；

已知M和X，想求得T，使用算式T＝M×X即可。