CN106846608A - 一种基于rgb‑d相机的视障人士纸币识别眼镜 - Google Patents

Abstract

本发明公开了一种基于RGB‑D相机的视障人士纸币识别眼镜，包括眼镜本体、RGB‑D相机、处理器和语音模块，RGB‑D相机获取待识别图像，处理器提取像素，然后用分类器找到匹配区域作为感兴趣区域，并对感兴趣区域提取SURF特征点与标准纸币图像的SURF特征点匹配，匹配的点对数量反映了感兴趣区域与标准纸币的相似性，输出匹配点对数量最多的作为纸币识别结果并反馈给视障人士，根据匹配点对数量也可分析出无纸币的情况。该纸币识别方法在纸币的四种朝向以及有尺寸的变化，小角度的旋转，光照环境的改变等情况下依然有良好的鲁棒性和识别正确率，可以识别多张纸币，能有效适用于实际应用，具有良好的实时性。

Description

一种基于RGB-D相机的视障人士纸币识别眼镜

技术领域

本发明涉及纸币识别、视觉障碍人群辅助技术领域，尤其涉及一种基于RGB-D相机的视障人士纸币识别眼镜。

背景技术

随着社会的发展，视障人士的生活质量越来越受到政府和社会的关注。绝大部分视障人士从盲校毕业后选择从事盲人按摩获得一定的收入来源。据中国残疾人联合会统计，每年全国有超过三万人接受政府和医疗机构的盲人按摩培训学习。其中，纸币识别是辅助视障人士顺利融入社会获得经济来源的一项基本需求。

当前，纸币识别大多是针对自动取款机和自动贩卖机上实现的纸币形态单一、无复杂背景环境限制的算法。该算法无法满足视障人士在实际应用中的实时处理输出结果，没有去除复杂背景环境的完整方案，因此需要一套完整的适用于视障人士的纸币识别方法。

适用于视障人士的纸币识别算法少之极少，其原因在于难以解决复杂环境下的任意形态的纸币识别。实际应用在视障人士的纸币识别需要面临的挑战有：复杂的背景环境、纸币的多呈现形式、纸币的磨损状况、外界环境的改变、实时性等，在算法设计时要做到全面考虑。

发明内容

本发明的目的是解决视障人士纸币识别问题，旨在为视障人士提供一种基于RGB-D相机的视障人士纸币识别眼镜。

本发明通过以下技术方案来解决技术问题：一种基于RGB-D相机的视障人士纸币识别眼镜，所述眼镜包含眼镜本体、RGB-D相机、处理器、语音模块。所述RGB-D相机、处理器、语音模块均安装在眼镜本体上，其中，RGB-D相机安装在眼镜本体的前部，用于采集含有深度信息的彩色图像，处理器、语音模块均嵌入式安装在眼镜本体的镜脚内，处理器用于图像处理识别纸币的面值，语音模块将处理结果反馈给视障人士，识别过程如下：

(1)获取纸币识别结果范围内的标准纸币中n个不同面值的正反面图像，共2n幅；将2n幅图像的尺寸进行归一化处理，得到2n幅标准纸币图像；分别遍历每幅标准纸币图像的SURF特征点，并生成相应的描述特征点的描述子；

(2)获取纸币正面分类器和纸币反面分类器；

用RGB-D相机获取不同光照条件下的正样本和负样本。所述正样本是只含有完整纸币的彩色图像，将正样本的尺寸进行归一化处理，通常归一化为40像素*20像素；正样本分为两类，纸币正面的正样本和纸币反面的正样本；负样本是指不含有纸币的彩色图像，将负样本转化成灰度图。

提取纸币正面正样本和负样本的Haar特征，并利用Adaboost算法形成纸币正面分类器；同理，提取纸币反面正样本和负样本的Haar特征，并利用Adaboost算法形成纸币反面分类器。

(3)用RGB-D相机获取包含深度信息的待测彩色图像，将待测彩色图像中深度值在0.3～0.8米范围内的像素保留RGB彩色信息，其余像素设置为白色。

(4)将步骤2中纸币正面分类器和纸币反面分类器对步骤3中深度值处理后的待测彩色图像进行处理，找到分类器的匹配区域，并用长度是宽度2倍的矩形框出分类器的匹配区域，该匹配区域即为感兴趣区域。

(5)提取步骤4得到的感兴趣区域的SURF特征点，并生成相应的描述特征点的描述子。

(6)将步骤5中的感兴趣区域的SURF特征点分别和步骤1中的2n幅标准纸币图像的SURF特征点匹配，具体步骤如下：

(6.1)通过正向、反向两种方式筛选相同匹配点对；

所述正向筛选方式为：针对标准纸币图像中的每个SURF特征点Q，利用KNN算法找到其在感兴趣区域中欧氏距离最近与次近的两个SURF特征点P₁、P₂，得到两个正向匹配点对(Q\P₁、Q\P₂)；计算Q\P₁和Q\P₂的欧氏距离，分别为D₁、D₂。欧氏距离的计算公式如下，

其中，D_ij表示感兴趣区域中的第i个特征点与标准图像中的第j个特征点间的欧氏距离，X_ik表示感兴趣区域中的第i个特征点描述子的第k维分量，X_jk表示标准图像中的第j个特征点描述子的第k维分量，n表示SURF特征点的生成的描述子的维数。然后，计算最近欧氏距离D₁与次近欧氏距离D₂的比值Ratio₁＝D₁/D₂，Ratio₁的值越小，则匹配点对的质量越高；设置欧氏距离比值阈值Ratio，将Ratio₁小于Ratio的特征点对Q\P₁作为正向筛选方式中的有效匹配点对，从而可以得到正向筛选方式中有效匹配点对集合。

所述反向筛选方式为：针对感兴趣区域中的每个SURF特征点P，利用KNN算法找到其在标准纸币图像中欧氏距离最近与次近的两个SURF特征点Q₁、Q₂，得到两个反向匹配点对(P\Q₁、P\Q₂)；计算P\Q₁和P\Q₂的欧氏距离，分别为D₃、D₄。然后，计算最近欧氏距离D₃与次近欧氏距离D₄的比值Ratio₂＝D₃/D₄，Ratio₂小于欧氏距离比值阈值Ratio的特征点对P\Q₁为反向筛选方式中的有效匹配点对，从而可以得到反向筛选方式中有效匹配点对集合。

(6.2)找到步骤6.1正向筛选方式和反向筛选方式中两两相互匹配的有效匹配点对，作为优质匹配点对。

(6.3)将步骤6.2得到的优质匹配点对用RANSAC算法进一步移除不合理的匹配点对。RANSAC算法可以利用随机选择的优质匹配点对计算得到标准纸币图像和感兴趣区域转换的基本矩阵，并将不符合基本矩阵的异常点排除。

(7)分别统计步骤6中感兴趣区域与2n幅标准纸币图像SURF特征点匹配的优质匹配点对数目R₁,R₂,…,R_2n，计算R_k＝MAX[R₁,R₂,…,R_2n]。设置优质匹配点对数目阈值R，若R_k大于R，则第k幅标准纸币图像对应的面值为识别结果；否则，判定为无纸币。

将步骤7中的结果通过语音模块反馈给视障人士。

本方法相比现有的纸币识别方法，其有益效果是：

1.该纸币识别方法融合了机器学习和SURF特征点检测，避免了只用机器学习需要的大量样本训练以及只用SURF特征点检测的帧率大大降低的缺点，先用少量样本训练出来的分类器找出可能为纸币的区域，减小后续处理对象的尺寸，再通过SURF特征点进一步精确确定纸币的面值。

2.该算法继承了SURF特征点检测的尺度不变性和旋转不变性，在光照有变化时也具有良好的鲁棒性，适用于视障人士实际应用过程中遇到的复杂多变的外界环境。

3.该算法继承了机器学习识别纸币的实时性。在分类器找到的感兴趣区域中，虽然有一些不含纸币的区域，但纸币总是包含在其中的，不会遗漏图像中的纸币。

4.该算法采用RGB-D相机将待测彩色图像中绝大部分深度值不可靠的点去除。由于本纸币识别方法识别纸币的正确率主要依赖于SURF特征点的匹配，将明显错误的像素提前移除，可避免后续的SURF特征点误匹配。

5.该算法可以准确判断有无纸币，并在有纸币时输出纸币面值，操作方法便捷，与正常人相同，无需额外操作。

6.该算法采用改进的SURF特征点匹配，移除错误匹配点对以及质量较差的匹配点对，提高了特征点匹配的质量，降低了纸币面值误识别的几率，避免视障人士由于误识别造成的经济损失。

7.该算法可以识别多张纸币。将多张纸币依次平铺，则该算法可以依次输出多张纸币的面值；前提是每张纸币都有足够多的特征点可以检测到，若有纸币被遮挡的面积过大，则该纸币无法识别。

附图说明

图1为标准纸币图像的示意图。

图2为纸币正样本和负样本的示意图。

图3为RGB-D相机采集的待测彩色图像示意图。

图4为待测彩色图像深度值提取后的图像示意图。

图5为使用分类器框出感兴趣区域的示意图。

图6为眼镜的结构示意图。

具体实现方式

本发明提供一种基于RGB-D相机的视障人士纸币识别眼镜，如图6所示，所述眼镜包含眼镜本体、RGB-D相机、处理器、语音模块。所述RGB-D相机、处理器、语音模块均安装在眼镜本体上，其中，RGB-D相机安装在眼镜本体的前部，用于采集含有深度信息的彩色图像，处理器、语音模块均嵌入式安装在眼镜本体的镜脚内，处理器用于图像处理识别纸币的面值，语音模块将处理结果反馈给视障人士，纸币识别的具体步骤如下：

(1)获取纸币识别结果范围内的标准纸币中n个不同面值的正反面图像，共2n幅；将2n幅图像的尺寸进行归一化处理，得到2n幅标准纸币图像；分别遍历每幅标准纸币图像的SURF特征点，并生成相应的描述特征点的描述子；

(2)获取纸币正面分类器和纸币反面分类器；

用RGB-D相机获取不同光照条件下的正样本和负样本，正样本和负样本的数量通常在百位数量级以上。所述正样本是只含有完整纸币的彩色图像，将正样本的尺寸进行归一化处理，通常归一化为40像素*20像素；正样本分为两类，纸币正面的正样本和纸币反面的正样本；负样本是指不含有纸币的彩色图像，将负样本转化成灰度图。

提取纸币正面正样本和负样本的Haar特征，并利用Adaboost算法形成纸币正面分类器；同理，提取纸币反面正样本和负样本的Haar特征，并利用Adaboost算法形成纸币反面分类器。

(3)用RGB-D相机获取包含深度信息的待测彩色图像，将待测彩色图像中深度值在0.3～0.8米范围内的像素保留RGB彩色信息，其余像素设置为白色。

(4)将步骤2中纸币正面分类器和纸币反面分类器对步骤3中深度值处理后的待测彩色图像进行处理，找到分类器的匹配区域，并用长度是宽度2倍的矩形框出分类器的匹配区域，该匹配区域即为感兴趣区域。

(5)提取步骤4得到的感兴趣区域的SURF特征点，并生成相应的描述特征点的描述子。

(6)将步骤5中的感兴趣区域的SURF特征点分别和步骤1中的2n幅标准纸币图像的SURF特征点匹配，具体步骤如下：

(6.1)通过正向、反向两种方式筛选相同匹配点对；

所述正向筛选方式为：针对标准纸币图像中的每个SURF特征点Q，利用KNN算法找到其在感兴趣区域中欧氏距离最近与次近的两个SURF特征点P₁、P₂，得到两个正向匹配点对(Q\P₁、Q\P₂)；计算Q\P₁和Q\P₂的欧氏距离，分别为D₁、D₂。欧氏距离的计算公式如下，

其中，D_ij表示感兴趣区域中的第i个特征点与标准图像中的第j个特征点间的欧氏距离，X_ik表示感兴趣区域中的第i个特征点描述子的第k维分量，X_jk表示标准图像中的第j个特征点描述子的第k维分量，n表示SURF特征点的生成的描述子的维数。然后，计算最近欧氏距离D₁与次近欧氏距离D₂的比值Ratio₁＝D₁/D₂，Ratio₁的值越小，则匹配点对的质量越高；设置欧氏距离比值阈值Ratio，将Ratio₁小于Ratio的特征点对Q\P₁作为正向筛选方式中的有效匹配点对，从而可以得到正向筛选方式中有效匹配点对集合。

所述反向筛选方式为：针对感兴趣区域中的每个SURF特征点P，利用KNN算法找到其在标准纸币图像中欧氏距离最近与次近的两个SURF特征点Q₁、Q₂，得到两个反向匹配点对(P\Q₁、P\Q₂)；计算P\Q₁和P\Q₂的欧氏距离，分别为D₃、D₄。然后，计算最近欧氏距离D₃与次近欧氏距离D₄的比值Ratio₂＝D₃/D₄，Ratio₂小于欧氏距离比值阈值Ratio的特征点对P\Q₁为反向筛选方式中的有效匹配点对，从而可以得到反向筛选方式中有效匹配点对集合。

(6.2)找到步骤6.1正向筛选方式和反向筛选方式中两两相互匹配的有效匹配点对，作为优质匹配点对。SURF特征点匹配的数量反映了感兴趣区域与标准纸币的相似度，数量越多，相似度越高。

(6.3)将步骤6.2得到的优质匹配点对用RANSAC算法进一步移除不合理的匹配点对。RANSAC算法可以利用随机选择的优质匹配点对计算得到标准纸币图像和感兴趣区域转换的基本矩阵，并将不符合基本矩阵的异常点排除，该步骤可以将错误的匹配点对排除。

(7)分别统计步骤6中感兴趣区域与2n幅标准纸币图像SURF特征点匹配的优质匹配点对数目R₁,R₂,…,R_2n，计算R_k＝MAX[R₁,R₂,…,R_2n]。设置优质匹配点对数目阈值R，若R_k大于R，则第k幅标准纸币图像对应的面值为识别结果；否则，判定为无纸币。

(8)将步骤7中的结果通过语音模块反馈给视障人士。

Claims (1)

1.一种基于RGB-D相机的视障人士纸币识别眼镜，其特征在于，所述眼镜包含眼镜本体、RGB-D相机、处理器、语音模块。所述RGB-D相机、处理器、语音模块均安装在眼镜本体上，其中，RGB-D相机安装在眼镜本体的前部，用于采集含有深度信息的彩色图像，处理器、语音模块均嵌入式安装在眼镜本体的镜脚内，处理器用于图像处理识别纸币的面值，语音模块将处理结果反馈给视障人士，识别过程如下：

(1)获取纸币识别结果范围内的标准纸币中n个不同面值的正反面图像，共2n幅；将2n幅图像的尺寸进行归一化处理，得到2n幅标准纸币图像；分别遍历每幅标准纸币图像的SURF特征点，并生成相应的描述特征点的描述子；

(2)获取纸币正面分类器和纸币反面分类器；

用RGB-D相机获取不同光照条件下的正样本和负样本。所述正样本是只含有完整纸币的彩色图像，将正样本的尺寸进行归一化处理，通常归一化为40像素*20像素；正样本分为两类，纸币正面的正样本和纸币反面的正样本；负样本是指不含有纸币的彩色图像，将负样本转化成灰度图。

提取纸币正面正样本和负样本的Haar特征，并利用Adaboost算法形成纸币正面分类器；同理，提取纸币反面正样本和负样本的Haar特征，并利用Adaboost算法形成纸币反面分类器。

(3)用RGB-D相机获取包含深度信息的待测彩色图像，将待测彩色图像中深度值在0.3～0.8米范围内的像素保留RGB彩色信息，其余像素设置为白色。

(4)将步骤2中纸币正面分类器和纸币反面分类器对步骤3中深度值处理后的待测彩色图像进行处理，找到分类器的匹配区域，并用长度是宽度2倍的矩形框出分类器的匹配区域，该匹配区域即为感兴趣区域。

(5)提取步骤4得到的感兴趣区域的SURF特征点，并生成相应的描述特征点的描述子。

(6)将步骤5中的感兴趣区域的SURF特征点分别和步骤1中的2n幅标准纸币图像的SURF特征点匹配，具体步骤如下：

(6.1)通过正向、反向两种方式筛选相同匹配点对；

所述正向筛选方式为：针对标准纸币图像中的每个SURF特征点Q，利用KNN算法找到其在感兴趣区域中欧氏距离最近与次近的两个SURF特征点P₁、P₂，得到两个正向匹配点对(Q\P₁、Q\P₂)；计算Q\P₁和Q\P₂的欧氏距离，分别为D₁、D₂。欧氏距离的计算公式如下，

$D_{ij}={\[\underset{k=0}{\overset{k=n}{\Σ}}{(X_{ik}-X_{jk})}^2\]}^{1/2}$

其中，D_ij表示感兴趣区域中的第i个特征点与标准图像中的第j个特征点间的欧氏距离，X_ik表示感兴趣区域中的第i个特征点描述子的第k维分量，X_jk表示标准图像中的第j个特征点描述子的第k维分量，n表示SURF特征点的生成的描述子的维数。然后，计算最近欧氏距离D₁与次近欧氏距离D₂的比值Ratio₁＝D₁/D₂，Ratio₁的值越小，则匹配点对的质量越高；设置欧氏距离比值阈值Ratio，将Ratio₁小于Ratio的特征点对Q\P₁作为正向筛选方式中的有效匹配点对，从而可以得到正向筛选方式中有效匹配点对集合。

所述反向筛选方式为：针对感兴趣区域中的每个SURF特征点P，利用KNN算法找到其在标准纸币图像中欧氏距离最近与次近的两个SURF特征点Q₁、Q₂，得到两个反向匹配点对(P\Q₁、P\Q₂)；计算P\Q₁和P\Q₂的欧氏距离，分别为D₃、D₄。然后，计算最近欧氏距离D₃与次近欧氏距离D₄的比值Ratio₂＝D₃/D₄，Ratio₂小于欧氏距离比值阈值Ratio的特征点对P\Q₁为反向筛选方式中的有效匹配点对，从而可以得到反向筛选方式中有效匹配点对集合。

(6.2)找到步骤6.1正向筛选方式和反向筛选方式中两两相互匹配的有效匹配点对，作为优质匹配点对。

(6.3)将步骤6.2得到的优质匹配点对用RANSAC算法进一步移除不合理的匹配点对。RANSAC算法可以利用随机选择的优质匹配点对计算得到标准纸币图像和感兴趣区域转换的基本矩阵，并将不符合基本矩阵的异常点排除。

(7)分别统计步骤6中感兴趣区域与2n幅标准纸币图像SURF特征点匹配的优质匹配点对数目R₁,R₂,…,R_2n，计算R_k＝MAX[R₁,R₂,…,R_2n]。设置优质匹配点对数目阈值R，若R_k大于R，则第k幅标准纸币图像对应的面值为识别结果；否则，判定为无纸币。

(8)将步骤7中的结果通过语音模块反馈给视障人士。