CN106980852A - 基于角点检测与匹配的药品识别系统及其识别方法 - Google Patents

Abstract

本发明公开了一种基于角点检测与匹配的药品识别系统和一种基于角点检测与匹配的药品识别方法。根据自适应阈值的多尺度AGAST算法检测药品图像的角点特征，得到若干个角点。根据改进的FREAK描述算子,使用二值化特征描述字符串对上述药品图像的角点进行描述。对药品图像进行训练建立特征描述子和药品信息相对应的药品库。根据训练图像和目标图像的特征描述子，计算两幅图像的汉明距离来完成匹配两幅图像，从而识别出对应的药品，在各种复杂的环境下具有较高的识别速率和准确率，能够较好地帮助视觉障碍的人群。

Description

基于角点检测与匹配的药品识别系统及其识别方法

技术领域

本发明属于计算机视觉和机器学习技术领域，具体涉及一种基于角点检测与匹配的药品识别系统和一种基于角点检测与匹配的药品识别方法。

背景技术

据不完全统计，在全球范围内大约有三亿四千二百余万人受视力障碍的困扰。视力障碍是指因衰老、眼疾和眼部受创等先天和后天原因引起的视力受损、残疾或者缺陷，表现为视觉器官(包括眼球、眼神经)及大脑视觉神经中枢的构成或者功能发生部分或者全部障碍，以致患者双眼不同程度地视力受损或者视野变小，不能对外界事物进行正确辨识。依据相关规定，视觉障碍患者的视力在0.3以下或者视野不超过20°。

视觉障碍主要分为盲人和弱视患者两类。根据弱视患者的缺陷和使用的视觉辅助器具，弱视患者一般表现为以下几类：一是对立体不敏感，不能正常识别三维物体；二是缺乏对光线的辨识，对光线变化不敏感；三是对颜色不敏感，不能辨识正常的色彩，即为色盲；四是患者视野范围太小，不能像正常人一样感受周围事物。由于视觉系统不同程度的受损、残疾或者缺陷，弱视患者能够使用视觉从事一定的工作、学习和生活，但是在不同方面，视觉系统都有一定的障碍，需要借助一定的视觉辅助设备来完成正常的学习、工作和生活。

全盲患者则完全不能使用视觉系统进行正常的工作和学习，他们只能通过人体的其他感官如触觉和听觉来代替视觉进行日常生活。目前相比于全盲人群，我国视觉障碍的人群较多，他们大多都可以通过一定信息无障碍技术和视觉辅助设备来进行正常的学习和生活，但是由于大多视觉辅助设备功能单一并且价格偏高，没有普及到城市和农村的视觉障碍人群，服务率较低。如何开发出高效廉价的视觉辅助设备，提高视障人群辅助器具服务率和生活质量是科研工作者的一个重要研究方向，也是社会和国家急需解决的问题。

角点检测和提取是图像分析和图像识别的前提，是图像局部特征的表征和描述，它往往对应图像中线条交叉的部分和图像中明暗变化剧烈的部分，代表图像中线条交叉的部分和曲率较大的拐点。角点由于其较好的抗干扰能力和较高的鲁棒性，并且受环境影响较小。近年来，角点的检测方法在近年来也取得了不少重大的成果。自适应通用加速分割检测(Adaptive and Generic Accelerated Segment Test，AGAST)算法是比较好的角点检测算法之一。该算法使用高效的二叉决策树来优化FAST算法中使用的贪心搜索算法ID3决策树，通过合并两个决策树，根据当前图像信息自适应地采用最高效地决策树，极大地提高了算法的稳定性和检测速率。FAST和AGAST算法都可以快速地检测和提取图像局部角点特征，满足视频帧的实时处理，但是由于只对灰度进行处理，角点不具有旋转不变性和尺度不变性。快速视网膜关键点(Fast Retina KeyPoint，FREAK)算法是针对移动设备的特征点描述算法，在系统的内存和处理器资源相对较少的情况下还需要改进。

发明内容

本发明针对现有技术的状况，提供一种针对视觉障碍人群在平时生活中不能很好地识别药品而设计的一种基于角点检测与匹配的药品识别系统和一种基于角点检测与匹配的药品识别方法。

本发明采用以下技术方案，所述基于角点检测与匹配的药品识别方法包括：

步骤一：根据自适应阈值的多尺度AGAST算法检测药品图像的角点特征，得到若干个角点；

步骤二：根据改进的FREAK描述算子，使用二值化特征描述字符串对上述药品图像的角点进行描述；

步骤三：循环进行步骤一和步骤二，以对药品图像进行训练，建立特征描述子和药品信息相对应的药品库；

步骤四：根据训练图像和目标图像的特征描述子，计算两幅图像的汉明距离来完成匹配两幅图像，从而识别出对应的药品。

根据上述技术方案，所述步骤一中使用摄像头采集图像，并且对图像的灰度图进行标记，使用AGAST算法来检测得到角点，根据图像的对比度设有自适应的灰度阈值。

根据上述技术方案，所述步骤一中进一步包括以下步骤：

步骤1.1：根据图像的对比度计算角点标记与检测的自适应灰度阈值；

步骤1.2：根据图像的自适应灰度阈值对图像进行明暗标记，将灰度图像标记为明暗不同的区域，图像中明暗变化剧烈的点作为角点候选点，通过角点候选点建立二叉决策树来检测其他角点；

步骤1.3：构建图像的多尺度空间，在多尺度描述序列上检测图像的角点。

根据上述技术方案，记所述自适应灰度阈值为t，其计算方式为：

其中，n表示选取的像素点的数目，α表示权重，取值为0.05到0.2，I_jmax和I_jmin分别代表灰度值降序排序后的前n个像素点和后n个像素点。

根据上述技术方案，图像明暗标记的计算方式为：

根据上述技术方案，所述步骤1.3中进一步包括以下步骤：

步骤1.3.1：在同组图像的相邻两层和不同组图像的相邻两层，使用非极大值抑制对候选点进行筛选选出该区域稳定的角点，以抑制在同一区域出现多个角点；

步骤1.3.2：根据不同尺度上的角点位置，使用最小二乘法拟合出角点的最佳角度，并使用一维抛物线对拟合的尺度进行校正，计算得到特征点的尺度和位置信息。

根据上述技术方案，所述步骤二中进一步包括如下步骤：

步骤2.1：对特征点的邻域进行采样，选取像素点对特征点进行描述；

步骤2.2：通过阈值化构建二值化的FREAK描述字符串，由感受域对高斯模糊后的差值比较级联而成；

步骤2.3：根据特征点邻域灰度的信息，计算特征点的领域梯度。

根据上述技术方案，记F为二进制描述字符串，其计算方式为：

其中，P_a是感受域对，N是期望的二进制描述字符串的长度，T(P_a)的表达式为：

其中，分别表示采样点经过高斯模糊后得到的灰度值，r₁,r₂分别代表感受域对前后感受域的半径。

根据上述技术方案，记特征点领域梯度为O，其计算方式为：

其中，M表示采样点对的数量，G表示采样点组成的集合，P_o表示每对采样点的位置。

根据上述技术方案，所述基于角点检测与匹配的药品识别系统包括：

摄像头、微处理器、存储器和扬声器，所述微处理器同时相互独立地电连接所述摄像头、存储器和扬声器；

所述摄像头用于采集药品的图像，并且将采集到的药品图像传输至所述微处理器；

所述微处理器获取药品图像，并且处理为灰度图，所述微处理器根据自适应阈值的多尺度AGAST算法检测药品灰度图得到若干个角点，根据改进的FREAK描述算子使用二值化特征描述字符串对上述角点进行描述；

所述存储器内置有药品数据库，所述微处理器将特征描述子和对应的药品信息存储于上述药品数据库，所述微处理器根据训练图像和目标图像的特征描述子计算汉明距离以匹配药品图像，所述微处理器将识别得到的药品信息通过所述扬声器语音输出，以提醒视觉障碍人群。

本发明公开的基于角点检测与匹配的药品识别系统，其有益效果包括：针对现有的AGAST算法进行改进，提高算法在尺度变化、旋转变化、模糊变化、光照变化和压缩变化方面的鲁棒性和稳定性，能够应对不同性质的干扰，提高角点检测速率。同时，简化了FREAK算法的采样模型，使其在低内存和计算的移动设备上能够快速高效地运行，使得系统能够快速准确地识别出各种不同的药品，在各种复杂的环境下具有较高的识别速率和准确率，能够很好地帮助视觉障碍的人群。

附图说明

图1是本发明的多尺度AGAST算法流程示意图。

图2是本发明的FREAK描述算法中的采样模型。

图3是本发明改进后的FREAK算法的采样模型。

图4是本发明FREAK算法描述子的特征方向。

图5是本发明优选实施例的系统流程图。

图6是本发明优选实施例的药品图像角点检测示意图。

图7是本发明优选实施例的药品图像匹配示意图。

图8是本发明优选实施例在不同环境下的药品识别实验结果。

具体实施方式

本发明公开了一种基于角点检测与匹配的药品识别系统和一种基于角点检测与匹配的药品识别方法，下面结合优选实施例，对本发明的具体实施方式作进一步描述。

参见附图的图1至图4，所述基于角点检测与匹配的药品识别方法包括以下步骤：

步骤一(药品图像角点检测)：根据自适应阈值的多尺度AGAST算法检测药品图像的角点特征，得到若干个角点；

步骤二(药品图像角点描述)：根据改进的FREAK描述算子,使用二值化特征描述字符串对上述药品图像的角点进行描述；

步骤三：循环进行步骤一和步骤二，以对药品图像进行训练，建立特征描述子和药品信息相对应的药品库；

步骤四：根据训练图像和目标图像的特征描述子，计算两幅图像的汉明距离来完成匹配两幅图像，从而识别出对应的药品。

优选地，所述步骤一中使用摄像头采集图像，对图像的灰度图进行标记，使用AGAST算法来检测得到角点；

优选地，所述步骤一中为提高检测算法的鲁棒性和稳定性，在多尺度空间来提取图像的特征，并且根据图像的对比度设有自适应的灰度阈值。

进一步地，所述步骤一中包括如下步骤:

步骤1.1：根据图像的对比度计算角点标记与检测的自适应灰度阈值t；

在AGAST算法中，对灰度图像上角点进行粗检测时，对灰度图像进行标记的检测阈值t一般跟图像信息无关，一般人为设定。在检测算法中，灰度阈值t代表检测出角点之间的最小灰度差值，也表示检测算法对图像中的噪声能够忽略的最大灰度值，阈值t的设定会影响检测到的角点的数目，过多或过少的角点都会影响决策树的训练，最终降低检测效率。对于不同对比度的图像，采用相同的阈值往往表现出不同的效率。对比度高的图像，检测出的角点数目多，可能描述性不好，对比度低的图像，检测出的角点数目少，影响决策树的训练，本文根据图像的灰度值分布对灰度阈值进行改进，根据图像灰度值排序的前n个最大值和最后n个最小值来计算出符合图像信息的灰度阈值，根据不同图像的对比度自适应地调整灰度阈值，使检测出的角点既不影响决策树的训练，同时具有较强的描述性，式(1)描述了图像自适应灰度阈值的计算方法：

其中，n表示选取的像素点的数目，α表示权重，一般取0.05到0.2。I_jmax和I_jmin分别代表灰度值降序排序后的前n个像素点和后n个像素点。

步骤1.2：根据图像的自适应灰度阈值对图像进行明暗标记，将灰度图像标记为明暗不同的区域，图像中明暗变化剧烈的点作为角点候选点，通过角点候选点建立二叉决策树来检测其他角点；式(2)描述了图像明暗标记的计算方法：

步骤1.3：构建图像的多尺度空间，在多尺度描述序列上检测图像的角点；

通过图像的平滑处理来构建图像的多尺度空间，即高斯金字塔。为了降低算法的复杂度，图像采用两组高斯卷积图像来表示，这两组图像根据基本图像的采样尺度分为内层图像c_i和中间层图像d_i。原始图像作为内层的最底层，将其1.5倍降采样得到中间层最底层，然后对同组不同层图像使用不同的尺度进行高斯模糊，同组的相邻两层图像之间的比例因子为2，这样就构成了一些列尺度连续的图像，以此构建图像的高斯金字塔，然后使用AGAST角点检测算法在金字塔上提取尺度不变的特征。

进一步地，参见附图的图1，步骤1.3中包括如下步骤:

步骤1.3.1：在同组图像的相邻两层和不同组图像的相邻两层，使用非极大值抑制对候选点进行筛选，选出该区域稳定的角点，以抑制在同一区域出现多个角点；

步骤1.3.2：根据不同尺度上的角点位置，使用最小二乘法拟合出角点的最佳角度，并使用一维抛物线对拟合的尺度进行校正，计算得到特征点的尺度和位置信息。

根据上述优选实施例，所述步骤二具体为：根据特征点的位置选取邻域的采样点来构建特征点的描述字符串，为了保证旋转不变性，通过特征点的灰度信息来计算特征点的梯度方向，最后将构建好的特征点描述字符串和药品的信息通过药品名称来完成两者之间的映射。

进一步地，所述步骤二中包括如下步骤：

步骤2.1：对特征点的邻域进行采样，选取像素点对特征点进行描述；

参见附图的图2，FREAK算法的采样模式模仿人眼视觉系统中的人眼视网膜区域结构，以此来生成采样点。这种方式更加接近人眼视网膜获取图像的方式，采样点均匀分布在以特征点为中心的同心圆内，与人眼视网膜结构中感光细胞的分布类似。距离采样点越近的区域，采样点密度越大，高斯模糊的半径越小，主要用于获取高分辨率的图像，并提取图像的细节特征；距离特征点越远的区域，采样点的密度越小，高斯模糊的半径越大，主要用于获取分辨率较低的图像，并提取图像整体框架和边缘轮廓信息。图2中有很多大小不同并有重叠的圆，代表不同的采样区域，圆心为该区域的采样点，半径代表高斯模糊的标准差，通过对相互重叠的区域使用不同的高斯模糊函数可以获得更多的信息，从而使特征点的描述更加的准确和独特。

参加附图的图3，FREAK算子通常采用8层视网膜采样结构，从特征点由里向外的采样点分布为:1,6,6,6,6,6,6,6，其中1为特征点，其他圆心为采样点，以特征点为圆心的同心圆上，6个采样点均匀分布，高斯核的半径与采样点为圆心的圆的半径成正比。为了获取图像更多的特征，相邻采样点的感受域(即以采样点为中心，高斯核为半径的圆)设计为相互重叠的结构。根据目标匹配识别过程中主要关注目标的角点、边缘等轮廓特征，目标的纹理等细节特征的缺失对匹配的结果影响不大，为了提高运行速度和节省运行内存，根据视网膜成像原理，本发明优选实施例的将8层采样结构简化为5层，形成改进后的FREAK描述算子，其特征点的分布为:1,6,6,6,6。

步骤2.2：通过阈值化构建二值化的FREAK描述字符串，由感受域对高斯模糊后的差值比较级联而成；

假设F是FREAK二进制描述字符串，则根据式(3)：

其中，P_a是感受域对，N是期望的二进制描述字符串的长度，T(P_a)的表达式见式(4):

其中分别表示采样点经过高斯模糊后得到的灰度值。r₁，r₂分别代表感受域对前后感受域的半径。

步骤2.3：根据特征点邻域灰度的信息，计算特征点的邻域梯度；

参见附图的图4，为了保证描述子具有旋转不变性，FREAK算子采用类似BRISK算子的方式，为每个特征点构建主方向信息。由于特征点周围有25个采样点，可产生25*(25-1)/2＝300个采样点对，本文选取其中33个长的、对称的采样点对来提取特征点的方向，特征点邻域梯度计算方式见式(5):

其中，O特征点邻域的梯度信息，M表示采样点对的数量，G表示采样点组成的集合，P_o表示每对采样点的位置。

进一步地，所述步骤三和步骤四具体为：根据目标图像和训练图像之间的二值化特征描述子，描述串通过0和1编码构成，所以在进行图像匹配，比较描述字符串时，通过按位异或操作(XOR)来计算两个描述字符串的汉明距离(Hamming Distance)，当两个字符串的汉明距离小于两幅图像相似的阈值时，则两张图像匹配成功，否则匹配不成功，汉明距离的计算方式见式(6):

参见附图的图5，所述基于角点检测与匹配的药品识别系统具有药品的训练部分和药品的识别部分，其中：

所述药品的训练部分：首先使用改进后的多尺度AGAST算法对药品图像的角点进行检测，然后使用优化后的FREAK算法对检测到的角点进行特征描述，构建二值化特征描述子，最后建立药品信息和特征描述子相对应的药品数据库。

所述药品的识别部分：首先检测视频中的目标图像，使用上述方法对视频中的图像进行角点的检测和描述，然后将生成的描述子和药品数据库中的描述子进行匹配，以识别出药品，最后根据药品描述子和药品信息之间的映射关系，从数据库中提取药品信息，通过语音将识别出的药品信息传递给视觉障碍的用户，帮助他们更好的生活。

根据上述优选实施例，所述基于角点检测与匹配的药品识别系统包括摄像头、微处理器、存储器和扬声器，所述微处理器同时相互独立地电连接所述摄像头、存储器和扬声器；

所述摄像头用于采集药品的图像，并且将采集到的药品图像传输至所述微处理器；

所述微处理器获取药品图像，并且处理为灰度图，所述微处理器根据自适应阈值的多尺度AGAST算法检测药品灰度图得到若干个角点，根据改进的FREAK描述算子使用二值化特征描述字符串对上述角点进行描述；

所述存储器内置有药品数据库，所述微处理器将特征描述子和对应的药品信息存储于上述药品数据库，所述微处理器根据训练图像和目标图像的特征描述子计算汉明距离以匹配药品图像，所述微处理器将识别得到的药品信息通过所述扬声器语音输出，以提醒视觉障碍人群。

优选地，上述基于角点检测与匹配的药品识别系统可借助于移动设备，例如以华为Ascend P7为代表的智能手机，分别采用智能手机普遍配置的摄像头、微处理器、存储器和扬声器。以常用药品感冒灵胶囊为例，将华为Ascend P7作为药品识别系统的载体，主要参数为：操作系统：Android OS 4.4，CPU频率1.8GHz，后置摄像头1300万像素，实验阈值为20，通过训练不同数目的药品库来测试药品的正确率和测试时间，结果如下表所示：

根据上述优选实施例，与现有技术相比，本发明对设备的要求较为简单，操作较为方便，对于不同性质的干扰进行处理，在速度和识别率上都有很大的提高。参见附图的图6至图8，从实验结果中可以看出改进后的角点检测与匹配算法在两个系统中对图片旋转、部分遮挡和光照较弱的情况都具有较强的鲁棒性和稳定性，药品识别的速度在一定范围内，受待识别图片的数目影响较小，药品的识别速率和正确率均满足要求，能够实现视障人群视觉辅助的目的。

对于本领域的技术人员而言，依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。

Claims (10)

1.一种基于角点检测与匹配的药品识别方法，其特征在于，包括步骤：

步骤一：根据自适应阈值的多尺度AGAST算法检测药品图像的角点特征，得到若干个角点；

步骤二：根据改进的FREAK描述算子,使用二值化特征描述字符串对上述药品图像的角点进行描述；

步骤三：循环进行步骤一和步骤二，以对药品图像进行训练，建立特征描述子和药品信息相对应的药品库；

步骤四：根据训练图像和目标图像的特征描述子，计算两幅图像的汉明距离来完成匹配两幅图像，从而识别出对应的药品。

2.根据权利要求1所述的基于角点检测与匹配的药品识别方法，其特征在于，所述步骤一中使用摄像头采集图像，并且对图像的灰度图进行标记，使用AGAST算法来检测得到角点，根据图像的对比度设有自适应的灰度阈值。

3.根据权利要求1所述的基于角点检测与匹配的药品识别方法，其特征在于，

所述步骤一中进一步包括以下步骤：

步骤1.1：根据图像的对比度计算角点标记与检测的自适应灰度阈值；

步骤1.2：根据图像的自适应灰度阈值对图像进行明暗标记，将灰度图像标记为明暗不同的区域，图像中明暗变化剧烈的点作为角点候选点，通过角点候选点建立二叉决策树来检测其他角点；

步骤1.3：构建图像的多尺度空间，在多尺度描述序列上检测图像的角点。

4.根据权利要求3所述的基于角点检测与匹配的药品识别方法，其特征在于，记所述自适应灰度阈值为t，其计算方式为：

$t=\frac{1}{n}(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{I}_{j\max }-\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{I}_{j\min })\×\mathrm{\α}$

其中，n表示选取的像素点的数目，α表示权重，取值为0.05到0.2，I_jmax和I_jmin分别代表灰度值降序排序后的前n个像素点和后n个像素点。

5.根据权利要求3所述的基于角点检测与匹配的药品识别方法，其特征在于，图像明暗标记的计算方式为：

6.根据权利要求3所述的基于角点检测与匹配的药品识别方法，其特征在于，

所述步骤1.3中进一步包括以下步骤：

步骤1.3.1：在同组图像的相邻两层和不同组图像的相邻两层，使用非极大值抑制对候选点进行筛选选出该区域稳定的角点，以抑制在同一区域出现多个角点；

步骤1.3.2：根据不同尺度上的角点位置，使用最小二乘法拟合出角点的最佳角度，并使用一维抛物线对拟合的尺度进行校正，计算得到特征点的尺度和位置信息。

7.根据权利要求1所述的基于角点检测与匹配的药品识别方法，其特征在于，

所述步骤二中进一步包括如下步骤：

步骤2.1：对特征点的邻域进行采样，选取像素点对特征点进行描述；

步骤2.2：通过阈值化构建二值化的FREAK描述字符串，由感受域对高斯模糊后的差值比较级联而成；

步骤2.3：根据特征点邻域灰度的信息，计算特征点的领域梯度。

8.根据权利要求7所述的基于角点检测与匹配的药品识别方法，其特征在于，记F为二进制描述字符串，其计算方式为：

$F=\underset{0\&le;a<N}{\mathrm{\&Sigma;}}{2}^{a}T\left(P_a\right)$

其中，P_a是感受域对，N是期望的二进制描述字符串的长度，T(P_a)的表达式为：

$T\left(P_a\right)=\left\{\begin{array}{cc}0& \begin{array}{cc}if& I\left(P_a^{r_1}\right)-1\left(P_a^{r_2}\right)>0\end{array}\\ 1& otherwise\end{array}\right.$

其中，分别表示采样点经过高斯模糊后得到的灰度值，r₁,r₂分别代表感受域对前后感受域的半径。

9.根据权利要求7所述的基于角点检测与匹配的药品识别方法，其特征在于，记特征点领域梯度为O，其计算方式为：

$O=\frac{1}{M}\underset{P_o\&Element;G}{\mathrm{\&Sigma;}}\left(I\right(P_o^{r_1})-I(P_o^{r_2}\left)\right)\frac{I\left(P_o^{r_1}\right)-I\left(P_o^{r_2}\right)}{\left|\right|I\left(P_o^{r_1}\right)-1\left(P_o^{r_2}\right)\left|\right|}$

其中，M表示采样点对的数量，G表示采样点组成的集合，P_o表示每对采样点的位置。

10.一种基于角点检测与匹配的药品识别系统，其特征在于，包括：

摄像头、微处理器、存储器和扬声器，所述微处理器同时相互独立地电连接所述摄像头、存储器和扬声器；

所述摄像头用于采集药品的图像，并且将采集到的药品图像传输至所述微处理器；

所述微处理器获取药品图像，并且处理为灰度图，所述微处理器根据自适应阈值的多尺度AGAST算法检测药品灰度图得到若干个角点，根据改进的FREAK描述算子使用二值化特征描述字符串对上述角点进行描述；

所述存储器内置有药品数据库，所述微处理器将特征描述子和对应的药品信息存储于上述药品数据库，所述微处理器根据训练图像和目标图像的特征描述子计算汉明距离以匹配药品图像，所述微处理器将识别得到的药品信息通过所述扬声器语音输出，以提醒视觉障碍人群。