CN106096527B - 一种实时高精度在线纸币面值的识别方法 - Google Patents

Abstract

本发明公开了一种实时高精度在线纸币面值的识别方法。采集实时获取纸币正面的图像，通过Haar分类器确定获得毛像及其所在区域，再确定数字所在区域，利用Canny算法和Graphcut算法提取目标和背景进行分割和细化，通过矢量模板匹配法判断是否存在数字2和数字5，接着利用Haar分类器判断是否数字1，然后利用卷积滤波远近寻找法判断是否存在数字0，综合结果确定纸币面值的结果。本发明方法可用于视障人士在复杂背景、不同光照环境下的纸币识别，操作简便，具有速度快，精度高，鲁棒性好等优点。

Description

一种实时高精度在线纸币面值的识别方法

技术领域

本发明涉及一种实时高精度在线纸币面值的识别方法，属于机器学习、图像处理、盲人视觉辅助技术领域。

背景技术

纸币是由国家(或某些地区)发行并强制使用的价值符号。使用纸币购买商品、劳动等交易活动是工作生活的日常必需。常人通过简单学习就可识别纸币面额。但盲人群体无法识别纸币面额或者可能需要经过艰难的学习，而工商业中用的清分机，以进口为主，价格昂贵，对盲人，不是便携易用的工具。

据2013年世界卫生组织的估计，全世界盲人有4000万到4500万，而低视力者达到1.4亿人。而在中国，盲人也超过了1000万，几乎每约100个人中就有一个盲人。视障人群拥有如此大的人口基数，使得帮助他们使用纸币及其他智能视觉辅助技术的研究具有现实和实用意义。

对于纸币识别的图像识别技术，主要有图像处理和图像识别阶段，国内外的研究思路大致相同，基本方法有模式识别、机器学习、纯图像处理算法匹配等。目前已有尺寸比较法，模板匹配法，人工神经网络等方法。

分析纸币的特征，有主色调、长宽比、特征数字、中值滤波特征图像等。主色调提取，在背景复杂，不同光照条件下识别精度下降，长宽比提取，当图像中纸币为局部、与拍摄平面有较大倾角时无效，则数字提取、中值滤波特征图像提取是适应性较好的方法。

提取纸币图像特征的常用用法主要有集合特征、自由掩模、类Haar特征和网络特征。例如，Takeda等人1993年提出使用自由掩模提取纸币特征，通过遮掩部分图像区域，计算未被遮掩的像素个数(slab value)得到特征向量，需对纸币图像进行二值化，对于色调丰富且污损程度不一的纸币来说，纸币图像的二值化本身是一个技术难题，另外如何找到一个最优的掩盖集也是这种方法的一个技术难点。2003年Viola等人提出类Haar特征提取方法，采用与Haar小波类似的方法，通过不同位置、不同尺度的矩形模板来提取大量特征，利用Boosting方法挑选有效特征。该方法计算精确度较高，但同时复杂度也比较高，很难满足实时性要求。

近些年来，国外机器学习研究发展成熟，随着大数据和机器智能带来的巨大机遇和挑战，国内的机器学习研究应用于产业也初见成效。纸币识别中，国内的研究人员提出基于Kohonen网络、SOFM等方法，是结合神经网络，分类器等提出的较有效的方法。但神经网络方法的精确度跟网络的复杂度有关，在网络较简单的情况下，提高精确度较难，同时机器学习需要大量的样本。

考虑实际使用时的复杂环境，本发明适应不同的光照、背景，在一定的距离范围内，倾斜、破损、折旧的纸币都能被快速识别。本课题是利用模式识别原理，提取纸币图像特征主要通过图像处理算法，结合神经网络学习方法，进行纸币面值的识别。机器学习在一定的样本量下，尽可能包括不同情况下的纸币情况，同时，考虑到算法精度和算法速度，图像处理的方法在纸币上某些特征，例如数字的识别匹配上具有重要作用。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种实时高精度在线纸币面值的识别方法，能实时快速识别纸币面值，帮助视障朋友更方便的进行交易活动。本发明操作简便，只需一个RGB相机和处理器，拿着纸币对着相机即能检测，软件算法快，且能适应不同光照、背景，在一定的距离范围内，倾斜、破损、折旧的纸币都能被快速识别。

如图1所示，本发明采用的技术方案如下：

1)采集实时获取纸币正面的图像，对于每张图像采用以下步骤进行处理；

2)将图像输入到已训练学习的Haar分类器中，确定获得图像中是否有头像的结果及其头像所在区域；已利用Haar特征、级联分类器，对输入的纸币图像输入到Haar分类器进行训练，当RGB相机采集视频流实时获取图像，输入Haar分类器后能迅速找到头像。

3)根据头像所在区域的大小和倾斜度确定图像中整张纸币所占的图像区域的大小和倾斜度，再根据头像、数字与纸币大小的位置比例信息确定数字所在区域；

所述的头像、数字与纸币大小的位置比例信息指的是真实纸币中数字头像间距与整张纸币大小之间的比例，所述的数字头像间距指的是数字中心和头像中心之间的间距。

4)对于数字所在区域，先利用Canny边缘提取算法提取边缘，然后以数字作为目标，通过Graphcut算法将目标和背景进行分割和细化；

5)对于步骤4)获得的数字所在区域的目标，通过矢量模板匹配法判断是否存在数字2和数字5，若存在数字2或者数字5，则跳过步骤6)直接进行步骤7)，若未存在数字2和数字5，则进行以下步骤6)；

所述步骤5)通过矢量模板匹配法判断是否存在数字2和数字5具体是：调整步骤4)获得的数字区域图像的均值和方差为定值，使得图像亮度一致，接着遍历数字所在区域中的每个像素，判断其是否为端点，由端点找到曲线，在曲线上等间隔采样取点获得曲线采样点，获得端点与采样点的距离关系，然后与数字2和数字5的标准曲线的距离关系相匹配，匹配成功的曲线认为存在数字2和5，图像中所有曲线均未匹配成功则认为不存数字2和数字5。

数字2和数字5的标准曲线的距离关系指的是该数字所在的左上角点与标准曲线上的曲线采样点上的距离关系。

6)将步骤3)获得的数字所在区域输入到已训练学习的Haar分类器中，确定获得图像中是否数字1；

具体实施可通过采集400张的正样本的HAAR特征和20000张的负样本去训练20级的级联分类器，以达到理想的识别效果。

7)对于步骤4)获得的数字所在区域的目标，利用卷积滤波远近寻找法判断是否存在数字0，并确定数字0的个数；

所述步骤7)具体是：将数字所在区域以不同大小尺度与仅包含数字0的标准图像区域模板相卷积，从大范围到小范围依次间隔卷积，再滤波，找到是否存在数字0，进而确定数字0的个数。

8)结合步骤5)～7)的结果确定纸币面值的结果，即是2,5,10,20,50,100中的其中一种。为确保结果输出的准确度，可以结合多帧输出结果。

本发明是针对现在发行的中华人民共和国第五套、第六套人民币。

本发明方法相比以往的纸币识别方法的优势在于：

本发明鲁棒性高。在不同光照、背景都具有良好的稳定性。在一定的距离范围内，纸币有部分遮挡、破损折旧、旋转变化、尺度变化、光照变化、视角变化时的纸币都能被快速识别。

本发明速度快，精度高。算法上，根据第五套、第六套人民币自身带有的特点设计了图像数据处理过程，结合机器学习与模式识别，分析纸币特征、进行面值识别，大大提高了识别的准确度，适应性好，识别的准确度达到95％。同时算法速度也有了保证，输出一帧结果约为100ms，实时性好，利于实际应用。

本发明硬件易得，操作简便。硬件上只需一个RGB相机及处理器，可以适应不同的应用场合，例如PC端，盲人的可穿戴式设备等，尤其可用于在看不到纸币或者不能看到纸币情况下的识别。本发明在操作上只要对着相机拿着纸币即可，方便使用。

本发明算法可移植性高，适用场合广。在各种复杂的背景、不同光照条件下都能准确快速的识别不同面值的纸币，适用场合广，2,5,1,0的识别皆可用于其他数字检测系统中，同时头像的识别，也可移植到其他人像识别中。

附图说明

图1是本发明的流程图。

图2是本发明方法的逻辑流程框图。

图3是纸币上数字2,5标准模板曲线。

图4是矢量模板匹配法原理说明图。

图5是矢量模板匹配法寻找图像中曲线端点的原理示意图。

图6是本发明实施例各个阶段过程处理后的结果图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明的实施例如下：

本发明基于RGB相机，通过模式识别，结合神经网络学习方法，实现自动识别使用者手中钱币币值。具体开发程序时的逻辑关系如图2所示，利用机器学习确定图像中是否头像及其位置。根据头像相对大小、位置角度，确定纸币中数字部分所在区域，并框出。通过Canny边缘提取算法及Graphcut算法将数字分割出来。设计矢量模板匹配算法，将数字区域图像与特征数字2,5的曲线模板进行匹配，判断是否有币值2,5；设计卷积滤波远近寻0法判断是否有数值0，确定0的个数。通过机器学习根据Haar特征、级联分类器识别数字1。综上可确定纸币的面值实时反馈，并给予语音提示。

1)机器学习识别头像、数字1

使用Haar特征做检测。利用积分图对Haar特征求值进行加速。使用筛选式级联把强分类器级联到一起，训练为正样本的目标图像，例如纸币中头像的部分和为负样本的非目标图像，例如图像中背景部分，提高准确率。

头像训练集采用300张正样本的HAAR特征，和20000张的负样本，训练20级的级联分类器，当测试样本输入时，能迅速得到是否有头像。

由于纸币中数值1的特征用图像处理的方法难以识别，则利用Haar分类器，对纸币上的1数字部分，进行机器学习训练。通过采集400张的正样本的HAAR特征，和20000张的负样本，去训练20级的级联分类器，以达到理想的识别效果。当测试样本输入时，能迅速得到是否有1。

2)矢量模板匹配法

调整整张图像的均值和方差，从而控制图像的亮度与标准图像一致

a)Canny边缘提取

b)Graphcut将数字分割出来

c)细化，找图像中的端点

d)根据端点得到端点所在曲线，计算曲线上采样点到端点的特征值

e)将图像中得到的曲线与标准数字2,5模板曲线进行匹配，判断是否存在数字2,5的特征曲线，从而识别2,5

f)步骤c)找到端点的方法：

遍历二值化图像，如图5所示，绕着每个像素点走一圈，如果该点是端点，则走一圈会经过直线两次(进入、出来各一次)，如果是曲线中间点(或者直线中间点)，则走一圈经过的曲线(直线)次数必然大于2。

具体实现上，在二值化图像中，判断点(i,j)是否为端点，则以该点领域3x3的像素区域，相邻像素点相减，判断abs(a[k+1]-a[k])是否大于1，大于1则count++，若count＝2判断该点为端点。

g)得到图像中的特征曲线，将其与标准模板曲线匹配，实施方法为：

如图4所示，对于图像中某一段曲线，等间隔取点，根据总点数，以总点数/40为间隔采样(总共有40个采样点)，计算从端点出发到这40个采样点的距离，构建曲线，与纸币上数字2,5的标准曲线进行匹配，判断出该曲线是否是数字2,5的特征曲线。该方法能使得数字匹配是图像大小、旋转无关的。

具体过程：根据端点确定的曲线1、曲线2，等间隔取点共k1、k2点，设定的采样点个数为k，则曲线1、曲线2的采样间隔分别为

曲线1：x×(s₁+s₂+...+s_k)＝1

曲线2：x'×(s'₁+s'₂+...+s'_k)＝1

其中，s_n(n＝1,2,3...,k)为曲线1各采样点到端点的距离；s_n′(n＝1,2,3...,k)为曲线2各采样点到端点的距离；x为曲线1各采样点到端点的距离和归一化系数；x'为曲线2各采样点到端点的距离和归一化系数；

由s及s'的值确定x及x'。

则各曲线端点到曲线上各采样点的距离可表示为：

S_n＝s_n×xn＝1,2,3...,k

S'_n＝s'_n×x'(n＝1,2,3...,k)

其中，S_n(n＝1,2,3...,k)为曲线1各采样点到端点的归一化距离，S_n'(n＝1,2,3...,k)为曲线2各采样点到端点的归一化距离。

S_n及S'_n(n＝1,2,3...,k)为曲线1、2的特征值。若曲线1S_n为模板，将S_n特征值导出到txt文件中，作为标准模板。如图3所示，将曲线2与曲线1匹配：

当表明识别出特征数字。

h)GraphCut获得图的最小割，取两个种子点，分别属于目标和背景，即数字部分和其他部分。令终端顶点1为目标类，顶点2为背景类，目标像素值大于背景时，与顶点1相连边设定的权值：像素值越大权值越小。像素点之间的边设定权值的规则为梯度越大，权值越小。

3)卷积滤波远近寻找法

如图5所示，与输入标准模板的0，从大范围到小范围的卷积，再滤波，直到检测到0，该算法判断在图像不同尺度上是否有0，及0的个数。

如图5(a)，黑色区域构成“0”，令其值为2，其他区域值为-1，图5(b)为不同尺度的标准“0”的模板，蓝色区域值为2，其他为-1。以模板，在图5(a)中逐像素点匹配，模板与图像相交的所有像素点一一相乘，则当两个“0”的位置、大小对上时，得到的像素点乘积之和最大。

以上述思路，使用Opencv自带的函数通过矩阵核Kernel进行图像的卷积。矩阵核即模板，在图像中逐像素点移动，将图像与模板定义域相交的元素进行乘积并求和，得到被卷积后的图像。

4)结果

最终结果如图6所示，原始采集图像中根据头像确定数字区域如图6(a)所示，Canny边缘提取得到的如图6(b)所示，Graphcut分割数字的如图6(c)所示，细化得到有效点如图6(d)所示。

本发明方法速度一帧图像100ms得到面值结果，语音6帧图像反馈1次，在2秒内语音反馈结束。达到实时性要求，正确率在95％以上。本方法可用于盲人可穿戴式设备上，只需拿着纸币在相机前，使用方法简便，可见本发明其技术效果显著突出。

Claims (3)

1.一种实时高精度在线纸币面值的识别方法，其特征在于：

1)采集实时获取纸币正面的图像，对于每张图像采用以下步骤进行处理；

2)将图像输入到已训练学习的Haar分类器中，确定获得图像中是否有头像的结果及其头像所在区域；

3)根据头像所在区域的大小和倾斜度确定图像中整张纸币所占的图像区域的大小和倾斜度，再结合头像、数字与纸币大小的位置比例信息确定数字所在区域；

4)对于数字所在区域，先利用Canny边缘提取算法提取边缘，然后以数字作为目标，通过Graphcut算法将目标和背景进行分割和细化；

5)对于步骤4)获得的数字所在区域的目标，通过矢量模板匹配法判断是否存在数字2和数字5，若存在数字2或者数字5，则跳过步骤6)直接进行步骤7)，若未存在数字2和数字5，则进行以下步骤6)；

所述步骤5)通过矢量模板匹配法判断是否存在数字2和数字5具体是：调整步骤4)获得的数字区域图像的均值和方差为定值，使得图像亮度一致，接着遍历数字所在区域中的每个像素，判断其是否为端点，由端点找到曲线，在曲线上等间隔采样取点获得曲线采样点，获得端点与采样点的距离关系，然后与数字2和数字5的标准曲线的距离关系相匹配，匹配成功的曲线认为存在数字2和5，图像中所有曲线均未匹配成功则认为不存数字2和数字5；

6)将步骤3)获得的数字所在区域输入到已训练学习的Haar分类器中，确定获得图像中是否有数字1；

7)对于步骤3)获得的数字所在区域的目标，利用卷积滤波远近寻找法判断是否存在数字0，并确定数字0的个数；

所述步骤7)具体是：将数字所在区域以不同大小尺度与仅包含数字0的标准图像区域模板相卷积，从大范围到小范围依次间隔卷积，再滤波，找到是否存在数字0，进而确定数字0的个数；

8)结合步骤5)～7)的结果确定纸币面值的结果。

2.根据权利要求1所述的一种实时高精度在线纸币面值的识别方法，其特征在于：所述步骤3)中头像、数字与纸币大小的位置比例信息指的是真实纸币中数字头像间距与整张纸币大小之间的比例，所述的数字头像间距指的是数字中心和头像中心之间的间距。

3.根据权利要求1所述的一种实时高精度在线纸币面值的识别方法，其特征在于：所述步骤8)再进一步根据多帧图像的输出结果进行综合判断，获得纸币面值的识别结果。