CN114168772A - 药片识别方法、可读存储介质和电子设备 - Google Patents

Abstract

本发明提供一种药片识别方法、可读存储介质及电子设备，包括：获取用户拍摄的药片图片；识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。如此，便可通过根据用户拍摄的药片图片，自动识别药片信息。

Description

药片识别方法、可读存储介质和电子设备

技术领域

本发明涉及计算机技术领域，特别涉及一种药片识别方法、可读存储介质和电子设备。

背景技术

药品的安全使用关系到人们的身体健康，在日常生活中，经常会出现药片包装袋或使用说明书丢失，而导致无法对药名进行定位或不知如何服用的情况。对于有些药品，可通过输入药品上的字符来查询药品信息，然而通过人为手动输入字符查询药品信息，不仅操作麻烦，而且不利于向老年人普及。

发明内容

本发明的目的在于提供一种药片识别方法，包括：

获取用户拍摄的药片图片；

识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，

根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。

可选的，在所述的药片识别方法中，所述药片识别方法还包括：

若获取的药片图片为多张，则将获取的多张所述药片图片上不同的字符信息以及对多张所述药片图片上不同的字符信息进行拼接后的字符信息在所述药品数据库中搜索当前药片的药片信息。

可选的，在所述的药片识别方法中，所述对多张所述药片图上不同的字符信息进行拼接的方法包括：将不同字符按任意顺序进行拼接。

可选的，在所述的药片识别方法中，所述根据所述特征信息在药品数据库中搜索当前药片的药片信息包括：

若识别到所述药片图片上的药片无字符信息，则根据所述药片图片上的药片的形状信息和/或颜色信息在药品数据库中搜索当前药片的药片信息；

若识别到所述药片图片上的药片有字符信息，则根据识别到的字符信息，并结合所述药片图片上的药片的形状信息和/或颜色信息在数据库中搜索当前药片的药片信息。

可选的，在所述的药片识别方法中，获取用户拍摄的药片图片包括：

在交互界面提供供用户选择的至少两个窗口，以供用户分别选择上传当前药片的不同面的图片。

可选的，在所述的药片识别方法中，获取用户拍摄的药片图片还包括：

若用户通过其中一所述窗口上传了药片图片，则以交互的方式提示用户是否上传其余所述窗口所对应的药片图片。

可选的，在所述的药片识别方法中，所述药片识别方法还包括：

若获取的所述药片图片为多张，则利用预先训练建立的药片识别分类模型识别获取的各所述药片图片的分类信息；

基于各所述药片图片的分类信息判断获取的多张所述药片图片是否属于同一药片；以及，

识别属于同一药片的一张或多张所述药片图片上的药片的所述特征信息。

可选的，在所述的药片识别方法中，所述分类信息包括药片性质、形状、颜色、字符字体及药片大小比例关系中的多种。

可选的，在所述的药片识别方法中，在利用预先训练的药片识别分类模型识别获取的各所述药片图片的分类信息之前，所述药片识别方法还包括：

利用预先训练建立的药片区域识别模型对各所述药片图片中的药片区域进行识别定位，而后利用预先训练建立的所述药片识别分类模型对所述药片图片中的药片区域的分类信息进行识别。

可选的，在所述的药片识别方法中，所述药片区域识别模型采用预先训练建立的注意力模型或掩膜区域卷积神经网络。

可选的，在所述的药片识别方法中，识别所述药片图片上的字符信息的方法包括：

利用预先训练建立的字符区域识别模型识别所述药片图片中的字符区域，而后利用字符识别模型识别所述字符区域的字符。

可选的，在所述的药片识别方法中，所述字符区域识别模型采用预先训练建立的注意力模型或掩膜区域卷积神经网络。

可选的，在所述的药片识别方法中，利用所述字符区域识别模型识别所述药片图片中的字符区域之前，所述识别所述药片图片上的字符的方法还包括：

对所述药片图片进行第一预处理，所述第一预处理包括反向二值化处理或灰度值反转处理；

对所述第一预处理后的所述药片图片进行第二预处理，所述第二预处理包括去噪处理。

本发明还提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如上任一项所述的药片识别方法。

本发明还提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被执行时，实现如上任一项所述的药片识别方法。

综上所述，本发明提供的药片识别方法、可读存储介质及电子设备，包括：获取用户拍摄的药片图片；识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。如此，便可通过根据用户拍摄的药片图片，自动识别药片信息。其中，在进行搜索时，基于字符信息、形状信息和颜色信息中的至少一种进行搜索，因此，可得到很多模糊匹配的搜索结果供用户选择确认，如此便可避免因照片拍摄的问题而导致识别结果产生遗漏。

附图说明

图1为本发明实施例提供的一种药片识别方法的流程图；

图2为本发明实施例中在进行药片特征信息确认时交互界面的窗口设置示意图；

图3为本发明实施例中药片详情页面示意图；

图4为本发明实施例中示例的一种药片字符图。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。

如图1所示，本发明实施例提供一种药片识别方法，所述药片识别方法包括如下步骤：

S11，获取用户拍摄的药片图片；

S12，识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息；其中，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；

S13，根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。

以下对上述各步骤作进一步详细描述。

步骤S11中，获取用户拍摄的药片图片可包括：在交互界面提供供用户选择的至少两个窗口，以供用户分别选择上传当前药片的不同面的图片。

即，在交互界面提供供用户选择的至少两个窗口，每个窗口供用户选择药片其中一面的图片，通过不同窗口的区分，可以提示用户上传不同面的药片图片。也就是说，如果用户按照窗口的提示上传药片图片，则通过设置的至少两个窗口获取用户拍摄的一张或多张药片图片，且当获取多张图片时，其中至少两张图片可为显示不同面的图片，例如两张图片显示的字符不同，或者，有的图片显示了字符而其余一些图片没有显示字符等等。但应理解，至少两个窗口的设置只起到提示用户上传不同面的药片图片的作用，并不能对用户选择上传的图片进行限制，亦即，虽然设置了至少两个窗口，用户也可选择通过不同的窗口上传相同面的药片图片，或者，通过同一窗口上传不同面的药片图片，且每个窗口上传的药片图片可为一张或多张。当然，在交互界面还可以只提供一个拍摄窗口界面，供用户拍摄或者选择上传一张药片图片进行后续处理，本申请并不对用户上传药片图片的数量进行限制。

另外，较佳的，步骤S11中，获取用户拍摄的药片图片进一步还包括：若用户通过其中一所述窗口上传了药片图片，则以交互的方式提示用户是否上传其余所述窗口所对应的药片图片。如果按照窗口的指示，用户通过其中一所述窗口上传药片的其中一面的图片，此时，仅会收到该窗口的反馈，而不会收到其余窗口的反馈，故而，可以根据各窗口的反馈知晓哪些面还没有上传，从而以交互的方式提示用户是否上传，利用窗口闪动的方式提示等等。当然，如果用户通过其中一个窗口上传了所有的图片，或者，仅想上传一张图片，则可以选择忽视该提示。

在获取药片的特征信息时，可能需要多张图片的组合才能形成完整的特征信息，例如，当药片的两面均包含有字符时，基于药片两面的字符才有可能获取完整的字符信息，故，当用户拍摄上传了药片的其中一面的图片，可提示用户拍摄上传药片的另外一面的图片，以此获取完整的字符信息。

在一具体实施方式中，在交互界面上，可设置图片拍摄窗口、SideA窗口及SideB窗口，图片拍摄窗口用于显示是否对准药片，SideA窗口用于选择上传药片的A面(如正面)，SideB窗口用于选择上传药片的B面(如反面)。在该实施方式中，虽以SideA和SideB进行举例，当应理解，本申请并不限定药片仅包括两面，在药片形状复杂时，交互界面上，还可设置SideC窗口、SideD窗口等等。另外需要说明的是，每个窗口并不限定只能上传一张图片，即，通过每个窗口上传的图片可为多张。

在另外一些具体实施方式中，也可不设置区分SideA窗口、SideB窗口等等，只设置一个窗口，通过该窗口可上传所有的图片，同时，在用户拍摄上传药片其中一面的图片后，以弹窗的形式提示用户是否拍摄上传另外一面或者多张其他的图片。

另外，步骤S12中，较佳的，根据所述特征信息在药品数据库中搜索当前药片的药片信息包括：若识别到所述药片图片上的药片无字符信息，则根据所述药片图片上的药片的形状信息和/或颜色信息在药品数据库中搜索当前药片的药片信息；若识别到所述药片图片上的药片有字符信息，则根据识别到的字符信息，并结合所述药片图片上的药片的形状信息和/或颜色信息在数据库中搜索当前药片的药片信息。相较于利用形状和/或颜色来进行识别，当利用字符信息来进行识别药片的药片信息时，识别结果更为准确。但对于有些药片而言，其表面可能不包含字符，此时可根据药片的形状信息和/或颜色信息在药品数据库里面进行搜索。

进一步较佳的，在利用字符信息、形状信息和颜色信息在药品数据库中搜索当前药片的药片信息时，同时也会基于识别到的字符信息、药片的形状信息、药片的颜色信息三者之一或者任意两者结合的方式进行模糊匹配。

即，最终得到的药片信息结果列表，是基于药片的字符信息、药片的形状信息和药片的颜色信息的任意组合进行匹配来搜索获取的，搜索结果可按如下方式依次进行排序：

字符信息、形状信息和颜色信息均符合；

字符信息符合，及，形状信息和颜色信息中的一者符合；

部分字符信息符合(如只A面或B面的字符符合)、形状信息及颜色信息符合；

部分字符信息符合，形状信息及颜色信息符合中的一者符合；

字符信息不符合，形状信息及颜色信息符合；

字符信息不符合，形状信息及颜色信息中的一者符合。

经过上面的模糊匹配，即可获取更完整的药片信息，以避免因照片拍摄的问题而导致识别结果产生遗漏。

在具体操作时，如图2所示，可在交互界面设置图片显示窗口，颜色选择窗口及形状选择窗口，图片显示窗口用于显示药片图片，当药片图片为多个时，多个药片图片可通过左右移动或上下移动的方式切换，颜色选择窗口用于供用户选择确认与显示窗口所显示的药片图片相同的颜色，形状选择窗口用于供用户选择确认与显示窗口所显示的药片图片相同的形状，从而可基于识别的字符，以及确认的颜色、形状在药片数据库中获取当前药片的药片信息。另外，较佳的，交互界面还可设置字符输入框，用户可在字符输入框中对识别得到的字符进行修正，同样的，还可设置形状选择框和颜色选择框，用户可在形状选择框中对识别得到的形状进行修正，在颜色选择框中对识别得到的颜色进行修正。

通过步骤S12得到的药片信息，可能是基于识别到的字符信息、药片的形状信息、药片的颜色信息三者之一或者任意两者结合的方式进行模糊匹配的模糊匹配结果，通过用户的进一步确认，可提高识别准确度。需要说明的是，本实施例提供的所述药片识别方法，虽然主要以字符、形状、颜色进行药片识别，但药片的特征信息还可包括如药片性质(胶囊、片剂)等，本申请对此不作限制。

更进一步的，本实施例提供的药片识别方法还可包括：在得到当前药片的药片信息显示给用户，待用户选择确认后，在交互界面展示当前药片的详情页面，以使用户根据所述详情页面的信息再次确认药片是否正确，例如是否符合自己已够买或者收藏的药品。如图3所示，详情页面可包含以下基本信息：药物名称、药物参考图片、适应症、剂量、服用方法、副作用、IM Print、NDC、形状、颜色，可在详情页面的底部设置确认窗口以供客户点击确认，用户点击确认窗口后，将本次识别结果显示在用户的历史识别结果中，同时也可在详情页面的底部设置收藏窗口以供客户选择是否对本次识别结果进行收藏。

如前所述，步骤S11中，获取的用户拍摄的药片图片可能为多张，本实施例提供的所述识别方法，优选的，还包括：若获取的所述药片图片为多张，则利用预先训练建立的药片识别分类模型识别获取的各所述药片图片的分类信息；基于各所述药片图片的分类信息判断获取的多张所述药片图片是否属于同一药片；以及，识别属于同一药片的一张或多张所述药片图片上的药片的所述特征信息。

较佳的，在利用预先训练的药片识别分类模型识别获取的各所述药片图片的分类信息之前，所述药片识别方法还包括：利用预先训练建立的药片区域识别模型对各所述药片图片中的药片区域进行识别定位，而后利用预先训练建立的所述药片识别分类模型对各所述药片图片中的药片区域的分类信息进行识别。药片一般占据整个图片的面积比例较小，如果直接识别颜色、字符、形状等信息，并不容易识别以及识别准确率并不太高，先识别出药片区域，然后再切片输入到模型中进行识别会减小识别难度及提高识别准确度。

其中，所述分类信息可包括药片性质、形状、颜色、字符字体及药片大小比例关系中的多种，但不仅限于此。其中，所述药片性质例如为是属于药片、胶囊或是其他形式，所述形状例如为是圆形、椭圆形、长方形、方形、三角形等。从而可通过多张药片图片中识别的药片性质、形状、颜色、字符字体及药片大小比例关系等多维度来判断是否属于同一药片，从而可避免因用户误上传而导致识别错误。

本实施例中，在执行步骤S12时，若获取的药片图片为多张，则可将获取的多张所述药片图片上不同的字符信息以及对多张所述药片图片上不同的字符信息进行拼接后的字符信息在所述药品数据库中搜索当前药片的药片信息。进一步的，可将不同字符按任意顺序进行拼接。也就是说，在进行字符拼接时有多种拼接方式，例如可以按排列组合方式进行拼接。

例如，对于双面药片而言，若获取的字符为单面药片的字符，则将其作为当前药片的字符，若获取的字符包括：A面字符和B面字符，则最终在进行药片信息搜索，所用到的字符信息可包括：A面字符、B面字符、A面字符+B面字符以及B面字符+A面字符，当两面字符相同时，也可直接重复拼接。例如某药片，识别结果为100 200(一面为100，一面为200)；那搜索结果可包括100 200，200 100，200，100等相关的药片信息，另外，如前所述，药片无字符识别结果时(空白药片)，则按照药片颜色及形状返回搜索结果。

在另外一些实施例中，也可基于编码规则进行拼接。药片字符一般情况下都采用特定的编码规则。例如，有些药片上的字符为NDC code(国家药品验证号)。NDC Code国家药品验证号是药品作为普通商品的识别符号，由美国FDA定期编辑NDC系统索引，通过输入NDCcode和注册信息作为进入药品注册列表系统(Drug Registration and Listing SystemRLS)数据库的程序，它包括了所有的处方药和部分经筛选的非处方药及胰岛类药品。按美国联邦法规第21卷下第510条规定，所列的每一种药品的NDC code有10个数字，由三部分组成，即厂家号、产品号和包装型号。第一部分为厂家号由FDA提供，厂家即指生产或销售药品的厂家。第二部分为产品号；标志产品的特性、剂型、配置。第三部分为包装代码。第二、三部分的标号由厂家提供。NDC code的结构由以下其中一种形式构成：4－4－2、5－3－2或5－4－1，例如：62684－010－10即5－3－2的形式。故对于字符采用NDC code的药片，在获取了药片正反两面的字符后，可基于NDC code的常用结构，拼接形成当前药片的字符，而后根据拼接的字符返回搜索结果。

本实施例中，可利用字符识别模型识别所述药片图片上的字符，在利用字符识别模型识别所述药片图片上的字符之前，可利用字符区域识别模型识别所述药片图片上的字符区域，而后再利用字符识别模型识别字符区域的字符。

所述字符区域识别模型及上文所述药片区域识别模型均可以采用机器学习技术实现，例如采用深度卷积神经网络(CNN)或者深度残差网络(Resnet)等神经网络实现。

在一具体实施方式中，所述字符区域识别模型和所述药片区域识别模型均可采用训练好的注意力模型(Attention Model)。

注意力模型采用注意力机制(Attention Mechanism)实现对药片图片中的目标区域(药片区域或字符区域)的提取。注意力机制可以对药片图片中的每个部分赋予不同的权重，抽取出更加关键及重要的信息。具体而言，注意力模型可以模仿人脑的注意力，利用有限的注意力从图像所包含的大量信息中获取更关键的信息，以降低图像处理过程中给计算资源带来的负担，改善图像处理的效果。

经过大量的样本对原始的注意力模型进行训练后可以得到训练好的注意力模型，训练过程可以包括：

S100、准备一定数量的标注出目标区域的药片图片样本；

S200、从样本图片中挑选一定比例的图片作为测试集，挑选可以是人工，也可以是自动随机，比例一般为5％到20％，测试集占总图片的比例可以视结果调整，剩下的图片为训练集；

S300、利用所述训练集训练注意力模型，并利用所述测试集对经所述训练集训练完成后的注意力模型的准确率进行验证；

S400、若准确率大于或者等于预设准确率，则训练结束；

S500、若准确率小于预设准确率，则增加图片样本的数量，或则调整测试集的比例进行再次训练。

步骤S300中，在利用训练集对注意力模型进行训练时，注意力模型会对训练集图片中的标注出的目标区域设置较高的权重，使其成为注意力关注区域。因此，训练好的注意力模型可通过识别权重较高的区域，提取出药片图像中的目标区域。

如图4所示，药片上的字符通常为浅色凹陷形成，为了很好地得到图像的字符特征。较佳的，在利用注意力模型识别所述药片图片中的字符区域之前，先对所述药片图片进行第一预处理，所述第一预处理包括反向二值化处理或灰度值反转处理，经过所述第一预处理，药片变为黑色，药片表面的字符及噪声点变为白色，以便凸显药片字符特征，而后对第一预处理后的所述药片图片进行第二预处理，所述第二预处理包括去噪处理，例如采用灰度值增强等方法对药片图像再次进行灰度处理，经过灰度值增强后，图像浅色区域的对比度显著增加，暗色区域的对比度减少，字符的特征更加明显，图像上的噪声点也会相应减少。

在另外一些具体实施方式中，所述字符区域识别模型和所述药片区域识别模型也可采用掩膜区域卷积神经网络(Mask-RCNN)。具体的，利用掩膜区域卷积神经网络获取所述药片图片中全部字符的掩膜区域，而后利用字符识别模型识别所述掩膜区域的字符。

Mask-RCNN是Faster-RCNN的一种改进算法，是一个实例分割(Instancesegmentation)算法，通过增加不同的分支，可以完成目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务，具有处理灵活而强大的特点。

例如，利用Mask-RCNN获取待处理图像中的一个目标物体，则Mask-RCNN的处理流程可以包括：输入的一幅待处理图像，然后对待处理图像进行预处理操作，或者该待处理图像为预处理后的图像；然后，将该待处理图像输入到一个预训练好的神经网络中(例如ResNeXt网络等)获得对应的特征图像(feature map)；接着，对特征图像中的每一点设定预定数量的感兴趣区域(region of interest,ROI)，从而获得多个候选ROI；接着，将这些候选的ROI送入区域候选网络(Region Proposal Networks，RPN)进行二值分类(前景或背景)和边框回归(Bounding-box regression)，过滤掉不感兴趣区域(需要说明的是，被过滤的不感兴趣区域的数量和种类等可以根据实际应用需求在Mask-RCNN的训练时进行选择，从而当Mask-RCNN训练完成后，即可实现对不感兴趣区域进行过滤)，从而得到目标ROI；接着，对目标ROI进行ROIAlign操作(即先将输入图和特征图像的像素对应起来，然后将特征图像和固定的特征对应起来)；最后，对这些目标ROI进行分类(N类别分类)、边框回归和掩膜区域生成，从而得到目标物体的标注框。例如，当将Mask-RCNN应用到车牌识别时，可以直接获取到车牌的掩膜区域，然后利用外接标注框标注该车牌的掩膜区域。也就是说，外接标注框包括该掩膜区域。Mask-RCNN包括三个输出，三个输出分别是分类结果(即预测框的标签)、回归结果(即预测框的坐标)、掩膜区域(mask)。

从上述描述可知，在利用Mask-RCNN识别目标区域时，利用标注框标注出目标区域即可，不需要进行切片处理。

在Mask-RCNN利用标注框对目标区域进行标注时，所述标注框可以为菱形框、椭圆形框、圆形框等，所述标注框的尺寸可以与目标区域的尺寸可以相同也可以不相同。由于在步骤S12中，需要根据药片区域的形状及大小确认药片的分类信息，故本实施例中，较佳的，在利用Mask-RCNN识别药片区域时，药片标注框的尺寸及形状与药片区域的尺寸及形状保持一致。

本实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被执行时，实现如本实施例所述的药片识别方法。

所述可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备，例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备以及上述的任意合适的组合。这里所描述的计算机程序可以从可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。另外，用于执行本发明操作的计算机程序可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。所述计算机程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在一些实施例中，通过利用计算机程序的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

本实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如本实施例所述的药片识别方法。

所述存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离所述处理器的存储装置。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。

所述电子设备可以包括用于捕获静态图像或记录视频流的一个或多个相机、以及用于将这些元件彼此连接的所有组件。虽然所述电子设备可以包括全尺寸的个人计算装置，但是它们可能可选地包括能够通过诸如互联网等网络与服务器无线地交换数据的移动计算装置。举例来说，所述电子设备可以是智能手机，或者是诸如带无线支持的PDA、平板PC或能够经由互联网获得信息的上网本等装置。在另一个示例中，所述电子设备可以是可穿戴式计算系统。

所述电子设备还可包括通信接口和通信总线，其中所述处理器、所述通信接口、所述存储器通过通信总线完成相互间的通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。所述通信接口用于上述电子设备与其他设备之间的通信。

综上所述，本发明提供的药片识别方法、可读存储介质及电子设备，包括：获取用户拍摄的药片图片；识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。如此，便可通过根据用户拍摄的药片图片，自动识别药片信息。其中，在进行搜索时，基于字符信息、形状信息和颜色信息中的至少一种进行搜索，因此，可得到很多模糊匹配的搜索结果供用户选择确认，如此便可避免因照片拍摄的问题而导致识别结果产生遗漏。

此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。

Claims (15)

1.一种药片识别方法，其特征在于，包括：

获取用户拍摄的药片图片；

识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，

根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。

2.如权利要求1所述的药片识别方法，其特征在于，所述药片识别方法还包括：

若获取的药片图片为多张，则将获取的多张所述药片图片上不同的字符信息以及对多张所述药片图片上不同的字符信息进行拼接后的字符信息在所述药品数据库中搜索当前药片的药片信息。

3.如权利要求2所述的药片识别方法，其特征在于，所述对多张所述药片图上不同的字符信息进行拼接的方法包括：将不同字符按任意顺序进行拼接。

4.如权利要求1所述的药片识别方法，其特征在于，所述根据所述特征信息在药品数据库中搜索当前药片的药片信息包括：

若识别到所述药片图片上的药片无字符信息，则根据所述药片图片上的药片的形状信息和/或颜色信息在药品数据库中搜索当前药片的药片信息；

若识别到所述药片图片上的药片有字符信息，则根据识别到的字符信息，并结合所述药片图片上的药片的形状信息和/或颜色信息在数据库中搜索当前药片的药片信息。

5.如权利要求1所述的药片识别方法，其特征在于，获取用户拍摄的药片图片包括：

在交互界面提供供用户选择的至少两个窗口，以供用户分别选择上传当前药片的不同面的图片。

6.如权利要求5所述的药片识别方法，其特征在于，获取用户拍摄的药片图片还包括：

若用户通过其中一所述窗口上传了药片图片，则以交互的方式提示用户是否上传其余所述窗口所对应的药片图片。

7.如权利要求1所述的药片识别方法，其特征在于，所述药片识别方法还包括：

若获取的所述药片图片为多张，则利用预先训练建立的药片识别分类模型识别获取的各所述药片图片的分类信息；

基于各所述药片图片的分类信息判断获取的多张所述药片图片是否属于同一药片；以及，

识别属于同一药片的一张或多张所述药片图片上的药片的所述特征信息。

8.如权利要求7所述的药片识别方法，其特征在于，所述分类信息包括药片性质、形状、颜色、字符字体及药片大小比例关系中的多种。

9.如权利要求7所述的药片识别方法，其特征在于，在利用预先训练的药片识别分类模型识别获取的各所述药片图片的分类信息之前，所述药片识别方法还包括：

利用预先训练建立的药片区域识别模型对各所述药片图片中的药片区域进行识别定位，而后利用预先训练建立的所述药片识别分类模型对所述药片图片中的药片区域的分类信息进行识别。

10.如权利要求9所述的药片识别方法，其特征在于，所述药片区域识别模型采用预先训练建立的注意力模型或掩膜区域卷积神经网络。

11.如权利要求1所述的药片识别方法，其特征在于，识别所述药片图片上的字符信息的方法包括：

利用预先训练建立的字符区域识别模型识别所述药片图片中的字符区域，而后利用字符识别模型识别所述字符区域的字符。

12.如权利要求11所述的药片识别方法，其特征在于，所述字符区域识别模型采用预先训练建立的注意力模型或掩膜区域卷积神经网络。

13.如权利要求12所述的药片识别方法，其特征在于，利用所述字符区域识别模型识别所述药片图片中的字符区域之前，所述识别所述药片图片上的字符的方法还包括：

对所述药片图片进行第一预处理，所述第一预处理包括反向二值化处理或灰度值反转处理；

对所述第一预处理后的所述药片图片进行第二预处理，所述第二预处理包括去噪处理。

14.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时，实现如权利要求1～13任一项所述的药片识别方法。

15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被执行时，实现如权利要求1～13任一项所述的药片识别方法。

Images