CN105894655B - 基于rgb-d相机的复杂环境下纸币检测和识别方法 - Google Patents

Abstract

本发明公开了一种基于RGB‑D相机的复杂环境下纸币检测和识别方法，该方法利用RGB‐D相机分割出纸币，图像预处理后将纸币区域RGB颜色空间转化为HSI颜色空间，利用色度分量初步判断，再用SURF算法提取特征点与参考区域模板匹配，根据匹配特征点数与阈值的大小比较输出结果。该方法专用于盲人在复杂背景环境下的纸币检测与识别，具有无纸币时检测到视场中不存在纸币，有纸币时输出纸币面值的功能。该方法的实现对盲人无特殊要求，操作习惯与常人相同，同时全面考虑了各种实际环境中可能遇到的干扰因素，具有速度快，准确性高，鲁棒性好等优点。

Description

基于RGB-D相机的复杂环境下纸币检测和识别方法

技术领域

本发明涉及场景获取、物体识别、视觉障碍人群辅助技术领域，尤其涉及一种利用RGB-D相机采集视频图像，判断复杂环境中是否存在纸币以及存在时输出纸币的面值的方法。

背景技术

视觉是人类最依赖的感官。通过视觉，人类获得至少80％的外界信息，获得对机体生存具有重要意义的各种信息。然而，中国每年会出现新视觉障碍人士大约45万，低视力135万，即约每分钟就会出现1个全盲患者，3个低视力患者。据2013年最新统计显示，中国有视力障碍的残疾人约1350万，而世界卫生组织估计全世界有4000万到4500万的盲人。随着社会的各项保障制度与体系的完善，盲人的生活越来越受到政府与科研机构的关注，用于盲人视觉辅助的简单设备已无法满足盲人的基本生活需求。

盲人的出行不可避免伴随着钱币的交易，虽然纸币上有按照各个国家的标准制定了的盲文，然而随着纸币的流通，盲文经历了越来越严重的磨损，早已无法再被盲人感知。因此，盲文虽然是一项很有意义的存在，却并没有真正发挥价值。同样，纸币的大小也是有国家标准的，而这一标准是盲人通常使用的判断面值的方法。经调研，盲人通常会在身边放一张1元的纸币，对于其他经手的纸币通过与1元纸币的相对大小的比较获得面值信息，但这是基于纸币是完好无损的，且这种使用的方法比较笨拙和机械。然而，市场上目前为止并没有专为盲人设计的纸币识别系统，因此为了更加便捷盲人的生活，设计一款面向盲人的纸币识别系统迫在眉睫。

该系统既是要应用到实际生活当中，那么它的设计需要考虑到很多重要且现实的因素：纸币的四种朝向(正面竖着，正面倒着，反面竖着，反面倒着)，我们无法保证盲人拿着的纸币的状态，因此在检测到正样本时，需要保证这四种状态在系统中均可以被检测到；纸币距离导致场景中的大小不同以及无法保证完全水平放置出现的小角度旋转；手持纸币不同位置时导致的不同程度、面积的遮挡；场景中光线的明暗造成纸币可能出现过曝与欠曝的情况；观察纸币时视场的变化、色温的变化；纸币所处的复杂背景以及不存在纸币时输出无结果等。针对以上需要考虑的众多因素，通过对视频图像的简单预处理从而提取目标特征进行匹配识别总是无法正确识别所有因素下的纸币。

近些年来，深度相机在体感游戏方面的体验深入人心，也让人们意识到了深度相机在视觉互动方面的潜在价值。利用深度相机剔除场景中的复杂背景，实现背景与目标的完整分割，减少了系统设计时需要考虑的因素，比如复杂的背景环境，场景中光线明暗也可根据分割出来的区域调整局部亮度。这大大降低了图像预处理时需要考虑的众多因素，最重要的是屏蔽了随机背景对目标分割的干扰。

发明内容

本发明为了解决视觉障碍人群较为急迫的纸币识别问题，提供了一种基于RGB-D相机的复杂环境下纸币检测和识别方法。本发明可以识别现在发行的中华人民共和国第五套人民币，包括1元、5元、10元、20元、50元、100元。

本发明通过以下技术方案来解决技术问题：一种基于RGB-D相机的复杂环境下纸币检测和识别方法，包括以下步骤：

(1)、第五套人民币的1元、5元、10元、20元、50元、旧版100元、新版100元这七种纸币的数据获取；该步骤通过以下子步骤来实现：

(1.1)、将第五套人民币的1元纸币正面放入RGB-D相机的视场中，根据正常手持纸币的最近距离，由近及远移动纸币，直至达到手臂伸直的最远距离；再将第五套人民币的1元纸币反面放入RGB-D相机的视场中，由近及远移动纸币，直至达到最远距离；保证纸币在最近距离与最远距离内，通过RGB-D相机采集视频流N帧，N为自然数，为保证获取的数据具有普遍性，N至少为100；同时获取视频流中每一帧图像的彩色信息和深度信息。

(1.2)、对步骤1.1获取的每一帧图像，设置深度阈值范围的上限与下限，该上下限是步骤1.1中的手持纸币时的最远与最近距离。将深度阈值范围内的场景信息提取出来，像素值设为全白1，同时将深度阈值范围以外的像素值设为全黑0，从而将每一帧图像均转化为二值图像。

(1.3)、对步骤1.2得到的二值图像进行水平和竖直直方图投影，统计该方向上像素值为1的像素点个数，找出投影中直方图高出直方图高度阈值下限且长度最长的一段，则必为纸币所在的水平和垂直区域，即提取区域。所述直方图高度阈值下限是纸币在深度阈值上限时纸币宽度对应的像素个数。找到提取区域的最大外切矩形，设置为感兴趣区域，获取感兴趣区域内的RGB信息。

(1.4)、将步骤1.3获取的感兴趣区域的每个像素点RGB颜色空间转化到对应的HSI颜色空间，只针对H色度分量进行分析。H分量对应的转化公式如下：

其中，R、G、B分别为RGB信息中的红色值、绿色值和蓝色值；

由于HSI颜色空间的H分量映射为一个圆，H的值对应的是角度值，所以它的范围为[0,360)内的整数。统计感兴趣区域内H色度各值的像素点个数。

(1.5)、纸币的H色度分量的获取：将步骤1.1获取的N帧图像依次经过步骤1.2、1.3获得N个感兴趣区域，再通过步骤1.4统计这N个感兴趣区域的H色度从0到359各值的像素点个数之和。找到N个感兴趣区域统计的像素点个数之和最大所在的H色度值，对该色度值上下取余量值40作为该面值纸币的颜色阈值。

将N帧中该颜色阈值范围内的像素点个数之和除以这N帧感兴趣区域像素点个数之和的百分比数值减5作为百分比阈值。

(1.6)、纸币参考区域的SURF特征点的获取，该步骤通过以下子步骤来实现：

(1.6.1)、获取1元纸币的标准图片，正面和反面各一张，所述的标准图片是干净、整洁、无折痕的纸币在正常光照下拍摄并截取的只含有纸币的图片，该标准图片也可以从网上获取，分辨率为800*400。

(1.6.2)、将通过步骤1.6.1获取的标准纸币截取出七个参考区域作为模板，即七个参考区域分别为：纸币正面三处纸币数值区域，纸币背面的三处纸币数值区域和纸币背面中间的图像区域。

(1.6.3)、针对步骤1.6.2中的七个模板，依次找到它们的SURF特征点并计算出描述子。

(1.7)、将剩余六种纸币5元、10元、20元、50元、旧版100元、新版100元依次通过步骤1.1、1.2、1.3、1.4、1.5、1.6获得该面值纸币对应的颜色阈值、相应的百分比阈值以及对应七个参考区域的SURF特征点和描述子。

(2)、纸币检测，该步骤通过以下子步骤来实现：

(2.1)、获取RGB-D相机任意一帧含有彩色信息和深度信息的图像作为待测图像，对待测图像进行纸币检测。

(2.2)、对步骤2.1中的待测图像进行步骤1.2、1.3处理寻找待测感兴趣区域。若无法找到待测感兴趣区域，则判定无纸币。找到待测感兴趣区域的继续纸币识别。

(3)、纸币识别，该步骤通过以下子步骤来实现：

(3.1)、H分量初步估计纸币面值范围：对步骤2获得的待测感兴趣区域按照步骤1.4处理，获得其H色度各值对应的像素点个数。分别统计其在七种纸币颜色阈值范围内的像素占待测感兴趣区域像素总数的百分比，找出达到相应百分比阈值的面值作为候选面值。若此过程中，H色度的像素点在七种纸币的颜色阈值范围内的个数百分比均无法达到相应的百分比阈值，则判定无纸币。

(3.2)、SURF特征点进一步纸币面值确定：将步骤2获取的待测感兴趣区域的特征点与步骤3.1获取的一个或多个候选面值下的七个参考区域的特征点匹配，匹配时根据对应描述子中的欧氏距离判断，若欧氏距离小于欧氏距离阈值，则特征点匹配上；欧氏距离阈值为描述子中最小欧氏距离的1.5倍。每个候选面值得到7个显示特征点匹配数量的数据，求出7个数据之和作为该候选面值匹配度。若有多个候选面值，即有多个候选面值匹配度，选取匹配度最大且大于20的作为最终输出面值；若只有1个候选面值，即只有1个候选面值匹配度，当其大于20时，输出该候选面值。

本方法相比现有的视觉障碍辅助方法，其有益效果是：

1、纸币提取完整且干扰因素少。在图像分割时，利用RGB-D相机取代图像处理的图像分割，充分利用了相机的深度信息，提高了纸币提取的可靠性与完整性。

2、鲁棒性高。该算法利用HSI颜色空间和SURF算法相结合，兼具颜色空间的亮度调整，在目标图像有部分遮挡、旋转变化、尺度变化、光照变化、色温变化、视角变化时都具有良好的稳定性。

3、速度快，准确性高。简单的使用颜色空间的变化，虽然快，准确率却无法保证；只使用SURF算法，准确性较好，速度却很慢。因此，将这两者结合，先用颜色空间的匹配缩小可能的结果范围，再在小范围内使用SURF算法，既确保了准确度，又提高了速度。

4、使用方便。传统的方法都具有实际操作上的不便，例如实用一元纸币比对大小的方法。而本方法不需要使用比对模板，直接将钱币置于探测器之下即可快速得到纸币面值信息，与正常人眼识别的方式是类似的，没有打破人们的操作习惯，因此使用上会很方便。

5、方法智能化程度高。本发明的核心技术在于找到合适的智能方法使得在各种复杂的场景下均能得到很好的匹配效果。为了达到上述目的，我们采取模板学习的方法，通过海量数据输入学习纸币SURF特征点，得到最适宜的匹配方案，几乎是模仿了人的思维学习方法，因此得到的智能化程度非常高，而且这种方法是可移植性的。

6、应用生命力强。本发明专注于识别第五套人民币，对于接下来的第六套人民币，只需要更新其数据库便可以方便快速地适用于第六套人民币，并不需要很复杂地更换设备或者重新设计方案，具有很强的延续性。

附图说明

图1是本发明的流程图；

图2是纸币提取SURF特征点的参考区域示意图。

具体实施方式

如图1所示，本发明基于RGB-D相机的复杂环境下纸币检测和识别方法，包括以下步骤：

1、待测图片处理前，七种纸币的数据获取，该步骤通过以下子步骤来实现：

1.1、将1元纸币正面放入RGB-D相机的视场中，根据正常手持纸币的最近距离，由近及远移动纸币，直至达到手臂伸直，此时即最远距离(此处的距离均相对架在镜框上的RGB-D相机所在的平面而言的距离)；再将1元纸币反面放入RGB-D相机的视场中，由近及远移动纸币，直至达到最远距离。保证纸币正面和反面在最近距离与最远距离内，通过RGB-D相机采集视频流共200帧，同时获取视频流中每一帧图像的彩色信息和深度信息。

1.2、对步骤1.1获取的每一帧图像，设置深度阈值范围的上限与下限，该上下限是步骤1.1中的手持纸币时的最远与最近距离。将深度阈值范围内的场景信息提取出来，像素值设为全白1，同时将深度阈值范围以外的像素值设为全黑0，从而将每一帧图像均转化为二值图像。

1.3、对步骤1.2得到的二值图像进行水平和竖直直方图投影，统计该方向上像素值为1的像素点个数，由于纸币在视场中具有一定的长度与宽度，纸币所在的水平和垂直位置对应的直方图比其他无纸币存在的位置要高，即白色像素点要多。找出投影中直方图高出直方图高度阈值下限且长度最长的一段，则必为纸币所在的水平和垂直区域，即提取区域。所述直方图高度阈值下限是纸币在深度阈值上限时纸币宽度对应的像素个数。此方法可以剔除一些干扰点，因为在该深度阈值内，可能有噪声点的存在。找到提取区域的最大外切矩形，设置为感兴趣区域，获取感兴趣区域内的RGB信息。

1.4、将步骤1.3获取的感兴趣区域的每个像素点RGB颜色空间转化到对应的HSI颜色空间，只针对H色度分量进行分析。H分量对应的转化公式如下：

其中，

由于HSI颜色空间的H分量映射为一个圆，H的值对应的是角度值，所以它的范围为[0,360)内的整数。统计感兴趣区域内H色度各值的像素点个数。

1.5、纸币的H色度分量的获取：将步骤1.1获取的200帧图像依次经过步骤1.2、1.3获得200个感兴趣区域，再通过步骤1.4统计这200个感兴趣区域的H色度从0到359各值的像素点个数之和。找到200个感兴趣区域统计的像素点个数之和最大所在的H色度值，对该色度值上下取余量值40作为该面值纸币的颜色阈值。此时需要注意的是，各面值的颜色阈值存在重叠的部分。

将200帧中该颜色阈值范围内的像素点个数之和除以这200帧感兴趣区域像素点个数之和的百分比数值减5作为百分比阈值。

1.6、纸币参考区域的SURF特征点的获取，该步骤通过以下子步骤来实现：

1.6.1、获取1元纸币的标准图片，正面和反面各一张，所谓的标准图片是干净、整洁、无折痕的纸币在正常光照下拍摄并截取的只含有纸币的图片，该标准图片也可以从网上获取，分辨率为800*400。

1.6.2、将通过步骤1.6.1获取的标准纸币按照图2的方式截取出七个参考区域作为模板，即七个参考区域分别为：纸币正面三处纸币数值区域(两个“1”和一个“壹”)，纸币背面的三处纸币数值区域和纸币背面中间的图像区域。

1.6.3、针对步骤1.6.2中的七个模板，依次找到它们的SURF特征点并计算出描述子。

1.7、将剩余六种纸币5元、10元、20元、50元、旧版100元、新版100元依次通过步骤1.1、1.2、1.3、1.4、1.5、1.6获得该面值对应的颜色阈值、相应的百分比阈值以及对应七个参考区域的SURF特征点和描述子。

2、纸币检测，该步骤通过以下子步骤来实现：

2.1、获取RGB-D相机任意一帧含有彩色信息和深度信息的图像作为待测图像，对待测图像进行纸币检测。

2.2、对步骤2.1中的待测图像进行步骤1.2、1.3处理寻找待测感兴趣区域。若无法找到待测感兴趣区域，则输出无纸币。找到待测感兴趣区域的继续纸币识别。

3、纸币识别，该步骤通过以下子步骤来实现：

3.1、H分量初步估计纸币面值范围：对步骤2获得的待测感兴趣区域按照步骤1.4处理，获得其H色度各值对应的像素点个数。分别统计其在六种纸币颜色阈值范围内的像素占待测感兴趣区域像素总数的百分比，找出达到相应百分比阈值的面值作为候选面值，此时的候选面值由于光照的轻微变化可能存在多种情况。若此过程中，H色度的像素点在七种纸币的颜色阈值范围内的个数百分比均无法达到相应的百分比阈值，则输出无纸币，此时视场内可能只是一张纯色的纸。

3.2、SURF特征点进一步纸币面值确定

SURF算法的好处在于具有旋转和尺度的不变性，具有良好的鲁棒性。因此，加上这一步，可以验证步骤3.1获取的一个候选面值的正确性或者找出多个候选面值中可信度最高的结果。

将步骤2获取的待测感兴趣区域的特征点与步骤3.1获取的一个或多个候选面值下的七个参考区域的特征点匹配，匹配时根据对应描述子中的欧氏距离判断，若欧氏距离小于欧氏距离阈值，则特征点匹配上；欧氏距离阈值为描述子中最小欧氏距离的1.5倍。每个候选面值得到7个显示特征点匹配数量的数据，求出7个数据之和作为该候选面值匹配度。若有多个候选面值，即有多个候选面值匹配度，选取匹配度最大且大于20的作为最终输出面值；若只有1个候选面值，即只有1个候选面值匹配度，当其大于20时，输出该候选面值。从实验中发现，一幅1920*1080的图片，纸币在深度阈值范围内与正确纸币进行SURF特征点的匹配度均大于20。

Claims (1)

1.一种基于RGB-D相机的复杂环境下纸币检测和识别方法，其特征在于，包括以下步骤：(1)、第五套人民币的1元、5元、10元、20元、50元、旧版100元、新版100元这七种纸币的数据获取；该步骤通过以下子步骤来实现：

(1.1)、将第五套人民币的1元纸币正面放入RGB-D相机的视场中，根据正常手持纸币的最近距离，由近及远移动纸币，直至达到手臂伸直的最远距离；再将1元纸币反面放入RGB-D相机的视场中，由近及远移动纸币，直至达到最远距离；保证纸币在最近距离与最远距离内，通过RGB-D相机采集视频流N帧，N为自然数，为保证获取的数据具有普遍性，N至少为100；同时获取视频流中每一帧图像的彩色信息和深度信息；

(1.2)、对步骤(1.1)获取的每一帧图像，设置深度阈值范围的上限与下限，该上下限是步骤(1.1)中的手持纸币时的最远与最近距离；将深度阈值范围内的场景信息提取出来，像素值设为全白1，同时将深度阈值范围以外的像素值设为全黑0，从而将每一帧图像均转化为二值图像；

(1.3)、对步骤(1.2)得到的二值图像进行水平和竖直直方图投影，统计该方向上像素值为1的像素点个数，找出投影中直方图高出直方图高度阈值下限且长度最长的一段，则必为纸币所在的水平和垂直区域，即提取区域；所述直方图高度阈值下限是纸币在深度阈值上限时纸币宽度对应的像素个数；找到提取区域的最大外切矩形，设置为感兴趣区域，获取感兴趣区域内的RGB信息；

(1.4)、将步骤(1.3)获取的感兴趣区域的每个像素点RGB颜色空间转化到对应的HSI颜色空间，只针对H色度分量进行分析；H分量对应的转化公式如下：

<mrow> <mi>H</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>&amp;theta;</mi> <mo>,</mo> <mi>G</mi> <mo>&amp;GreaterEqual;</mo> <mi>B</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> <mo>-</mo> <mi>&amp;theta;</mi> <mo>,</mo> <mi>G</mi> <mo>&lt;</mo> <mi>B</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中，R、G、B分别为RGB信息中的红色值、绿色值和蓝色值；

由于HSI颜色空间的H分量映射为一个圆，H的值对应的是角度值，所以它的范围为[0,360)内的整数；统计感兴趣区域内H色度各值的像素点个数；

(1.5)、纸币的H色度分量的获取：将步骤(1.1)获取的N帧图像依次经过步骤(1.2)、(1.3)获得N个感兴趣区域，再通过步骤(1.4)统计这N个感兴趣区域的H色度从0到359各值的像素点个数之和；找到N个感兴趣区域统计的像素点个数之和最大所在的H色度值，对该色度值上下取余量值40作为该面值纸币的颜色阈值；

将N帧中该颜色阈值范围内的像素点个数之和除以这N帧感兴趣区域像素点个数之和的百分比数值减5作为百分比阈值；

(1.6)、纸币参考区域的SURF特征点的获取，该步骤通过以下子步骤来实现：

(1.6.1)、获取1元纸币的标准图片，正面和反面各一张，所述的标准图片是干净、整洁、无折痕的纸币在正常光照下拍摄并截取的只含有纸币的图片，该标准图片也可以从网上获取，分辨率为800*400；

(1.6.2)、将通过步骤(1.6.1)获取的标准纸币截取出七个参考区域作为模板，即七个参考区域分别为：纸币正面三处纸币数值区域，纸币背面的三处纸币数值区域和纸币背面中间的图像区域；

(1.6.3)、针对步骤(1.6.2)中的七个模板，依次找到它们的SURF特征点并计算出描述子；

(1.7)、将剩余六种纸币5元、10元、20元、50元、旧版100元、新版100元依次通过步骤(1.1)、(1.2)、(1.3)、(1.4)、(1.5)、(1.6)获得该面值纸币对应的颜色阈值、相应的百分比阈值以及对应七个参考区域的SURF特征点和描述子；

(2)、纸币检测，该步骤通过以下子步骤来实现：

(2.1)、获取RGB-D相机任意一帧含有彩色信息和深度信息的图像作为待测图像，对待测图像进行纸币检测；

(2.2)、对步骤(2.1)中的待测图像进行步骤(1.2)、(1.3)处理寻找待测感兴趣区域；若无法找到待测感兴趣区域，则判定无纸币；找到待测感兴趣区域的继续纸币识别；

(3)、纸币识别，该步骤通过以下子步骤来实现：

(3.1)、H分量初步估计纸币面值范围：对步骤(2)获得的待测感兴趣区域按照步骤(1.4)处理，获得其H色度各值对应的像素点个数；分别统计其在七种纸币颜色阈值范围内的像素占待测感兴趣区域像素总数的百分比，找出达到相应百分比阈值的面值作为候选面值；若此过程中，H色度的像素点在七种纸币的颜色阈值范围内的个数百分比均无法达到相应的百分比阈值，则判定无纸币；

(3.2)、SURF特征点进一步纸币面值确定：将步骤(2)获取的待测感兴趣区域的特征点与步骤(3.1)获取的一个或多个候选面值下的七个参考区域的特征点匹配，匹配时根据对应描述子中的欧氏距离判断，若欧氏距离小于欧氏距离阈值，则特征点匹配上；欧氏距离阈值为描述子中最小欧氏距离的1.5倍；每个候选面值得到7个显示特征点匹配数量的数据，求出7个数据之和作为该候选面值匹配度；若有多个候选面值，即有多个候选面值匹配度，选取匹配度最大且大于20的作为最终输出面值；若只有1个候选面值，即只有1个候选面值匹配度，当其大于20时，输出该候选面值。