CN109993165A - 药片板药名识别及药片板信息获取方法、装置与系统 - Google Patents

药片板药名识别及药片板信息获取方法、装置与系统 Download PDF

Info

Publication number
CN109993165A
CN109993165A CN201910243040.1A CN201910243040A CN109993165A CN 109993165 A CN109993165 A CN 109993165A CN 201910243040 A CN201910243040 A CN 201910243040A CN 109993165 A CN109993165 A CN 109993165A
Authority
CN
China
Prior art keywords
medicine name
tablet plate
target region
candidate target
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910243040.1A
Other languages
English (en)
Inventor
翁巧剑
吴威佳
王弢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yongkang Jimi Electronic Technology Co Ltd
Original Assignee
Yongkang Jimi Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yongkang Jimi Electronic Technology Co Ltd filed Critical Yongkang Jimi Electronic Technology Co Ltd
Priority to CN201910243040.1A priority Critical patent/CN109993165A/zh
Publication of CN109993165A publication Critical patent/CN109993165A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

本发明公开一种药片板药名识别方法，所述方法包括：根据预先训练的EAST算法对待识别药片板的图片进行场景文本检测，得到待识别药片板的所有文本区域；对所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；对候选目标区域进行特征提取，得到候选目标区域的图像特征；将候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；将预测结果转换为文本，得到预测药名；将预测药名与药品数据库中的药名进行匹配，得到待识别药片板的药名。本发明提供的药片板药名识别方法，能够提高药片板药名识别的准确性。同时本发明还提供药片板药名识别装置与系统、及药片板信息获取方法、装置与系统。

Description

药片板药名识别及药片板信息获取方法、装置与系统
技术领域
本发明涉及医药技术领域，尤其涉及药片板药名识别及药片板信息获取方法、装置与系统。
背景技术
药片板，即药片的包装板。药品使用方式和保质期等信息是个关于安全健康的严肃的事情。现今药品繁多，药片管理混乱给人们生活带来了不便。对于一些不常见且丢失说明书的药片板，由于其药品情况和使用注意事项等一系列信息难以得知，因此容易导致人们误食、错食药物。现有技术主要通过传统OCR(Optical Character Recognition,光学字符识别)技术识别药片板药名，然而对于文本背景复杂的药片板，传统OCR无法获得文本的坐标等信息，无法定位到药名，从而导致噪声干扰过多，识别错误率高，当传统OCR技术无法识别药名时，需通过人为手动输入药名查询药品信息，这不仅操作麻烦，而且不利于向老年人普及。
发明内容
本发明实施例提出药片板药名识别及药片板信息获取方法、装置与系统，能够提高药片板药名识别的准确性。
本发明实施例提供了一种药片板药名识别方法，所述方法包括：
根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
将所述预测结果转换为文本，得到预测药名；
将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。
在一种可选的实施方式中，所述长短期记忆网络为双向长短期记忆网络。
在一种可选的实施方式中，所述将所述预测结果转换为文本，得到预测药名，包括：
将所述预测结果中的每帧预测值转换为标签序列；
将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名；其中，所述字典对应存储有多个文本与标准标签序列。
在一种可选的实施方式中，所述对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征，包括：
采用卷积神经网络对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。
在一种可选的实施方式中，所述将顺序在前的若干个文本区域确定为候选目标区域，具体为：
将顺序在前的三个文本区域确定为候选目标区域。
本发明又一实施例对应提供了一种药片板药名识别装置，所述装置包括第一场景文本检测模块、第一面积排序模块、第一特征提取模块、第一预测模块、第一预测结果转换模块和药名确定模块。
第一场景文本检测模块用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
第一面积排序模块用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
第一特征提取模块用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
第一预测模块用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
第一预测结果转换模块用于将所述预测结果转换为文本，得到预测药名；
药名确定模块，用于将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。
本发明又一实施例对应提供了种药片板药名识别系统，其包括第一处理器、第一存储器以及存储在所述第一存储器中且被配置为由所述第一处理器执行的第一计算机程序，所述第一处理器执行所述第一计算机程序时实现如上述任一实施例所述的药片板药名识别方法。
本发明又一实施例还提供了一种药片板信息获取方法，所述方法包括：
根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
将所述预测结果转换为文本，得到预测药名。
将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息。
本发明又一实施例对应提供了一种药片板信息获取装置，其包括第二场景文本检测模块、第二面积排序模块、第二特征提取模块、第二预测模块、第二预测结果转换模块和药品信息查询模块。
第二场景文本检测模块用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
第二面积排序模块用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
第二特征提取模块用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
第二预测模块用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
第二预测结果转换模块用于将所述预测结果转换为文本，得到预测药名；
药品信息查询模块用于将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息。
本发明又一实施例对应提供了一种药片板信息获取系统，其包括第二处理器、第二存储器以及存储在所述第二存储器中且被配置为由所述第二处理器执行的第二计算机程序，所述第二处理器执行所述第二计算机程序时实现如上述任一实施例所述的药片板信息获取方法。
相对于现有技术，本发明具有如下突出的有益效果：本发明实施例提供了药片板药名识别及药片板信息获取方法、装置与系统，其中，所述方法先通过训练好的EAST算法识别所述待识别药片板的所有文本区域，再通过文本区域的面积排序来确定候选目标区域，实现快速地定位药名在药片板上的位置，提高了药片板背景杂乱的情况下药名识别的准确性；所述方法还通过对候选目标区域提取图像特征，并输入至训练好的长短期记忆网络进行预测，利用关联性来预测药名，能够降低药片板杂乱的文本背景对药名识别的干扰，特别是由药片缺失等原因引起的文本残缺问题对药名识别结果的干扰，从而有效提高药名识别的准确性。
附图说明
图1是本发明提供的一实施方式的药片板药名识别方法的流程示意图；
图2是本发明提供的一实施方式的药片板药名识别装置的结构示意图；
图3是本发明提供的一实施方式的药片板药名识别系统的结构示意图；
图4是本发明提供的一实施方式的药片板信息获取方法的流程示意图；
图5是本发明提供的一实施方式的药片板信息获取装置的结构示意图；
图6是本发明提供的一实施方式的药片板信息获取系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明提供的一实施方式的药片板药名识别方法的流程示意图，所述药片板药名识别方法可应用于智能药箱等平台，具体地，该方法可以由嵌入式设备执行，可以由云端服务器执行，也可以由移动终端上的应用程序(app)调用。如图1所示，所述方法包括如下步骤：
步骤S110、根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域。
其中，待识别药片板包括铝塑等包装的药片板，例如常见的阿莫西林药片板。EAST算法为基于深度学习的场景文本检测算法。
在本实施例中，EAST(An Efficient and Accurate Scene Text Detector，高效准确的场景文本检测器)算法预先通过输入大量药片板图片，以及输出药片板图片中所有已标记的文本区域进行训练。
利用已训练好基于深度学习的CNN场景文本检测网络EAST算法对图片进行提取特征、融合特征最终预测得到我们所需要的文本区域，主要有三个环节：1、使用VGG16网络进行特征提取。其中，VGG16是14年提出的一种深度学习网络模型。2、取经过VGG16网络处理得到的四个水平上的特征图，他们的尺寸分别是原图像的1/32,1/16,1/8和1/4，这样可以得到不同尺寸的特征图，目的是解决文本行尺度剧烈变换的问题，之后再将取得的特征图进行上采样融合，合并规则：从特征提取网络的顶部特征按照相应的规则向下进行合并。3、网络输出层通过(1x1,1)和(1x1,4)的卷积核获得像素级别的分类得分和有角度目标矩形的四个坐标的回归与角度的预测，每个像素点分类得分代表此处是否有文字的可能性，回归得到的五个通道，分别是矩形的四个顶点坐标和文本框的旋转角度。结合分类和回归结果我们可以定位到文本所在的位置并将所需要的文本区域进行扣取得到。
步骤S120、对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域。
需要说明的是，“顺序在前的若干个文本区域”可以是多个，也可以是一个，例如，面积最大的文本区域、面积前三的文本区域或面积前五的文本区域等，本发明对此不做限定。
可选的，所述将顺序在前的若干个文本区域确定为候选目标区域，具体为：
将顺序在前的三个文本区域确定为候选目标区域。可选的，所述将顺序在前的若干个文本区域确定为候选目标区域，具体为：
将面积最大的文本区域确定为候选目标区域。
从大量数据分析来看，药名一般都是面积最大的文本区域，所以通过选取面积最大的文本区域进行识别分析，可快速定位至药名所在的文本区域。
步骤S130、对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。
进一步，步骤S130具体为：
采用卷积神经网络(Convolutional Neural Networks,CNN)对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。
在本实施例中，将(32,100,3)即32个像素高、100个像素宽、3通道的文本图片，经过一系列的CNN网络运算转化为(1,25,512)大小的卷积特征矩阵，也就是一个三维数组，又称特征图(feature map)。需要说明的是，上述文本图片的规格以及卷积特征矩阵的大小仅为示例，本发明对此不做限定。
步骤S140、将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果。
优选地，所述长短期记忆网络(Long Short-Term Memory，LSTM)为双向长短期记忆网络。这里采用了双向顺序的LSTM，因为文本上下文有很强的关联性，相对于单向LSTM来说具有更强的全局识别能力。
具体地，步骤S140包括：
将所述候选目标区域的图像特征转换为特征序列；
将所述特征序列输入至所述长短期记忆网络，得到预测结果。
步骤S150、将所述预测结果转换为文本，得到预测药名。进一步，步骤S150包括：
将所述预测结果中的每帧预测值转换为标签序列；
将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名；其中，所述字典对应存储有多个文本与标准标签序列。
具体地，所述将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名，包括：
计算所述标签序列与所述字典中各个标准标签序列的相似度；
将相似度最高的标准标签序列所对应的文本确定为预测药名。
需要说明的是，本发明对字典存储的文本个数不做限定，应以实际应用为准。
步骤S160,将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。
其中，药品数据库为专业数据库，在药品数据库中可查询到药品的药名，实际应用中可使用该领域的权威数据库。
可选的，所述将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名，具体包括：
将所述预测药名输入所述药品数据库进行模糊查询，得到所述待识别药片板的信息。
可选的，所述将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息，具体包括：
计算所述预测药名与药品数据库中的药名之间的相似度；
筛选所述药品数据库中与所述预测药名的相似度大于预设阈值的药名；
将筛选到的药名中相似度最高的药名确定为所述待识别药品板的药名。
本实施例先通过训练好的EAST算法识别所述待识别药片板的所有文本区域，再通过文本区域的面积排序来确定候选目标区域，实现快速地定位药名在药片板上的位置，提高了药片板背景杂乱的情况下药名识别的准确性；本实施例还通过对候选目标区域提取图像特征，并输入至训练好的长短期记忆网络进行预测，利用关联性来预测药名，能够降低药片板杂乱的文本背景对药名识别的干扰，特别是由药片缺失等原因引起的文本残缺问题对药名识别结果的干扰，从而有效提高药名识别的准确性。
参见图2，其是本发明提供的一实施方式的药片板药名识别装置的结构示意图。如图2所示，药片板药名识别装置1包括第一场景文本检测模块210、第一面积排序模块220、第一特征提取模块230、第一预测模块240、第一预测结果转换模块250和药名确定模块260。
第一场景文本检测模块210用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
第一面积排序模块220用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
第一特征提取模块230用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
第一预测模块240用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
第一预测结果转换模块250用于将所述预测结果转换为文本，得到预测药名；
药名确定模块260用于将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。
可选的，所述长短期记忆网络为双向长短期记忆网络。
可选的，第一预测结果转换模块250包括：
第一序列转换单元，用于将所述预测结果中的每帧预测值转换为标签序列；
第一药名确定单元，用于将预设的字典中与所述标签序列最相似的标准标签序列所对应的字符确定为预测药名；其中，所述字典对应存储有多个文本与标准标签序列。
可选的，第一特征提取模块230包括：
第一卷积神经网络提取单元，用于采用卷积神经网络对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。
本发明对应提供了一实施方式的药片板药名识别系统，参见图3，所述药片板药名识别系统3包括第一处理器301、第一存储器302以及存储在所述第一存储器中且被配置为由所述第一处理器执行的第一计算机程序303，所述第一处理器301执行所述第一计算机程序303时实现如上述任一实施例所述的药片板药名识别方法。或者，所述第一处理器301执行所述第一计算机程序303时实现上述系统各实施例中各模块的功能，例如第一场景文本检测模块210、第一面积排序模块220、第一特征提取模块230、第一预测模块240、第一预测结果转换模块250和药名确定模块260。
示例性的，所述第一计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述第一存储器中，并由所述第一处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述第一计算机程序在所述药片板药名识别系统中的执行过程。例如，所述第一计算机程序可以被分割成第一场景文本检测模块210，用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；第一面积排序模块220，用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；第一特征提取模块230，用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；第一预测模块240，用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；第一预测结果转换模块250，用于根据预设的字典将所述预测结果转换为预测药名；药名确定模块260用于将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。
所述药片板药名识别系统可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述药片板药名识别系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是药片板药名识别系统的示例，并不构成对药片板药名识别系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述药片板药名识别系统还可以包括输入输出设备、网络接入设备、总线等。
所称第一处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述第一处理器是所述药片板药名识别系统的控制中心，利用各种接口和线路连接整个药片板药名识别系统的各个部分。
所述第一存储器可用于存储所述计算机程序和/或模块，所述第一处理器通过运行或执行存储在所述第一存储器内的计算机程序和/或模块，以及调用存储在第一存储器内的数据，实现所述药片板药名识别系统的各种功能。所述第一存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，第一存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明对应提供了一实施方式的药片板信息获取方法，所述药片板信息获取方法可应用于智能药箱等平台，具体地，该方法可以由嵌入式设备执行，可以由云端服务器执行，也可以由移动终端上的应用程序(app)调用。参见图4，所述药片板信息获取方法包括如下步骤：
步骤S410、根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域。
在本实施例中，EAST算法预先通过输入大量图片，以及输出图片中所有已标记的文本区域进行训练。
步骤S420、对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域。
步骤S430、对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。
进一步，步骤S430具体为：
采用卷积神经网络(Convolutional Neural Networks,CNN)对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。
步骤S440、将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果。
优选地，所述长短期记忆网络为双向长短期记忆网络。这里采用了双向顺序的LSTM，因为文本上下文有很强的关联性，相对于单向LSTM来说具有更强的全局识别能力。
具体地，步骤S440包括：
将所述候选目标区域的图像特征转换为特征序列；
将所述特征序列输入至所述长短期记忆网络，得到预测结果。
步骤S450、将所述预测结果转换为文本，作为所述待识别药片板的药名。
进一步，步骤S450包括：
将所述预测结果中的每帧预测值转换为标签序列；
将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名；其中，所述字典对应存储有多个文本与标准标签序列。
具体地，所述将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名，包括：
计算所述标签序列与所述字典中各个标准标签序列的相似度；
将相似度最高的标准标签序列所对应的文本确定为预测药名。
步骤S460、将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息。
其中，药品数据库为专业数据库，在药品数据库中可查询到药品的药名和药品信息，在实际应用中可使用该领域的权威数据库。
可选的，所述待识别药片板的药品信息包括所述待识别药片板的使用详情和保质期。可选的，所述将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息，具体包括：
将所述预测药名输入所述药品数据库进行模糊查询，得到所述待识别药片板的信息。
可选的，所述将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息，具体包括：
计算所述预测药名与药品数据库中的药名之间的相似度；
筛选所述药品数据库中与所述预测药名的相似度大于预设阈值的药名；
将筛选到的药名中相似度最高的药名确定为所述待识别药品板的药名；
获取所述药名数据库中与所述待识别药片板的药名对应的药片信息。
本实施例先通过训练好的EAST算法识别所述待识别药片板的所有文本区域，再通过文本区域的面积排序来确定候选目标区域，实现快速地定位药名在药片板上的位置，提高了药片板背景杂乱的情况下药名识别的准确性；本实施例还通过对候选目标区域提取图像特征，并输入至训练好的长短期记忆网络进行预测，利用关联性来预测药名，能够降低药片板杂乱的文本背景对药名识别的干扰，特别是由药片缺失等原因引起的文本残缺问题对药名识别结果的干扰，从而有效提高药名识别的准确性；本实施例还通过药名查询药品数据库来获取药品板的信息，从而实现药片板信息的获取，有效防止现实中人们对于丢失说明书药品的而导致的误食和错食等现象的发生。
参见图5，其是本发明提供的一实施方式的药片板信息获取装置的结构示意图。如图5所示，药片板信息获取装置5包括第二场景文本检测模块510、第二面积排序模块520、第二特征提取模块530、第二预测模块540、第二预测结果转换模块550和药品信息查询模块560。
第二场景文本检测模块510用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
第二面积排序模块520用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
第二特征提取模块530用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
第二预测模块540用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
第二预测结果转换模块550用于将所述预测结果转换为文本，作为所述待识别药片板的药名；
药品信息查询模块560用于根据所述待识别药片板的药名查询预设的药品数据库，得到所述待识别药片板的信息。
可选的，所述待识别药片板的信息包括所述待识别药片板的使用详情和保质期。
可选的，药品信息查询模块560包括模糊查询单元，用于将所述待识别药片板的药名输入所述药品数据库进行模糊查询，得到所述待识别药片板的信息。
可选的，所述长短期记忆网络为双向长短期记忆网络。
可选的，第二预测结果转换模块550包括：
第二序列转换单元，用于将所述预测结果中的每帧预测值转换为标签序列；
第二药名确定单元，用于将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名；其中，所述字典对应存储有多个文本与标准标签序列。
可选的，第二特征提取模块530包括：
第二卷积神经网络提取单元，用于采用卷积神经网络对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。
本发明对应提供了一实施方式的药片板信息获取系统，参见图6，所述药片板药名识别系统6包括第二处理器601、第二存储器602以及存储在所述第二存储器中且被配置为由所述第二处理器执行的第二计算机程序603，所述第二处理器601执行所述第二计算机程序603时实现如上述任一实施例所述的药片板药名识别方法。或者，所述第二处理器601执行所述第二计算机程序603时实现上述系统各实施例中各模块的功能，例如第二场景文本检测模块510、第二面积排序模块520、第二特征提取模块530、第二预测模块540、第二预测结果转换模块550和药品信息查询模块560。
示例性的，所述第二计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述第二存储器中，并由所述第二处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述第二计算机程序在所述药片板药名识别系统中的执行过程。例如，所述第二计算机程序可以被分割成第二场景文本检测模块510，用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；第二面积排序模块520，用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；第二特征提取模块530，用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；第二预测模块540用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；第二预测结果转换模块550用于将所述预测结果转换为文本，作为所述待识别药片板的药名；药品信息查询模块560用于根据所述待识别药片板的药名查询预设的药品数据库，得到所述待识别药片板的信息。
所述药片板药名识别系统可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述药片板药名识别系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是药片板药名识别系统的示例，并不构成对药片板药名识别系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述药片板药名识别系统还可以包括输入输出设备、网络接入设备、总线等。
所称第二处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述第二处理器是所述药片板药名识别系统的控制中心，利用各种接口和线路连接整个药片板药名识别系统的各个部分。
所述第二存储器可用于存储所述计算机程序和/或模块，所述第二处理器通过运行或执行存储在所述第二存储器内的计算机程序和/或模块，以及调用存储在第二存储器内的数据，实现所述药片板药名识别系统的各种功能。所述第二存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，第二存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的用户出行关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种药片板药名识别方法，其特征在于，包括：
根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
将所述预测结果转换为文本，得到预测药名；
将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。
2.如权利要求1所述的药片板药名识别方法，其特征在于，所述长短期记忆网络为双向长短期记忆网络。
3.如权利要求1所述的药片板药名识别方法，其特征在于，所述将所述预测结果转换为文本，得到预测药名，包括：
将所述预测结果中的每帧预测值转换为标签序列；
将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名；其中，所述字典对应存储有多个文本与标准标签序列。
4.如权利要求1-3任一项所述的药片板药名识别方法，其特征在于，所述对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征，包括：
采用卷积神经网络对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。
5.如权利要求1所述的药片板药名识别方法，其特征在于，所述将顺序在前的若干个文本区域确定为候选目标区域，具体为：
将顺序在前的三个文本区域确定为候选目标区域。
6.一种药片板药名识别装置，其特征在于，包括：
第一场景文本检测模块，用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
第一面积排序模块，用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
第一特征提取模块，用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
第一预测模块，用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
第一预测结果转换模块，用于将所述预测结果转换为文本，得到预测药名；
药名确定模块，用于将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。
7.一种药片板药名识别系统，其特征在于，包括第一处理器、第一存储器以及存储在所述第一存储器中且被配置为由所述第一处理器执行的第一计算机程序，所述第一处理器执行所述第一计算机程序时实现如权利要求1-5任一项所述的药片板药名识别方法。
8.一种药片板信息获取方法，其特征在于，包括：
根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
将所述预测结果转换为文本，得到预测药名；
将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息。
9.一种药片板信息获取装置，其特征在于，包括：
第二场景文本检测模块，用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；
第二面积排序模块，用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；
第二特征提取模块，用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；
第二预测模块，用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；
第二预测结果转换模块，用于将所述预测结果转换为文本，得到预测药名；
药品信息查询模块，用于将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息。
10.一种药片板信息获取系统，其特征在于，包括第二处理器、第二存储器以及存储在所述第二存储器中且被配置为由所述第二处理器执行的第二计算机程序，所述第二处理器执行所述第二计算机程序时实现如权利要求8所述的药片板信息获取方法。
CN201910243040.1A 2019-03-28 2019-03-28 药片板药名识别及药片板信息获取方法、装置与系统 Pending CN109993165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910243040.1A CN109993165A (zh) 2019-03-28 2019-03-28 药片板药名识别及药片板信息获取方法、装置与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910243040.1A CN109993165A (zh) 2019-03-28 2019-03-28 药片板药名识别及药片板信息获取方法、装置与系统

Publications (1)

Publication Number Publication Date
CN109993165A true CN109993165A (zh) 2019-07-09

Family

ID=67130785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910243040.1A Pending CN109993165A (zh) 2019-03-28 2019-03-28 药片板药名识别及药片板信息获取方法、装置与系统

Country Status (1)

Country Link
CN (1) CN109993165A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205047A (zh) * 2021-04-30 2021-08-03 平安科技（深圳）有限公司 药名识别方法、装置、计算机设备和存储介质
WO2022088043A1 (zh) * 2020-10-30 2022-05-05 京东方科技集团股份有限公司 图像识别方法及装置、训练方法、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407969A (zh) * 2016-08-30 2017-02-15 杭州电子科技大学 一种健壮的复杂背景视频文本定位和抽取方法
CN107145483A (zh) * 2017-04-24 2017-09-08 北京邮电大学 一种基于嵌入式表示的自适应中文分词方法
CN107679199A (zh) * 2017-10-11 2018-02-09 北京邮电大学 一种基于深度局部特征的对外汉语教材可读性分析方法
CN108764226A (zh) * 2018-04-13 2018-11-06 顺丰科技有限公司 图像文本识别方法、装置、设备及其存储介质
CN108874997A (zh) * 2018-06-13 2018-11-23 广东外语外贸大学 一种面向电影评论的人名命名实体识别方法
CN108921166A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 基于深度神经网络的医疗票据类文本检测识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407969A (zh) * 2016-08-30 2017-02-15 杭州电子科技大学 一种健壮的复杂背景视频文本定位和抽取方法
CN107145483A (zh) * 2017-04-24 2017-09-08 北京邮电大学 一种基于嵌入式表示的自适应中文分词方法
CN107679199A (zh) * 2017-10-11 2018-02-09 北京邮电大学 一种基于深度局部特征的对外汉语教材可读性分析方法
CN108764226A (zh) * 2018-04-13 2018-11-06 顺丰科技有限公司 图像文本识别方法、装置、设备及其存储介质
CN108874997A (zh) * 2018-06-13 2018-11-23 广东外语外贸大学 一种面向电影评论的人名命名实体识别方法
CN108921166A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 基于深度神经网络的医疗票据类文本检测识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SONGPINGWANG: "CRNN-基于序列的（端到端）图像文本识别", 《CSDN》 *
冯谦: "基于EAST与CNN的钢材表面字符检测与识别方法", 《图形图像》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088043A1 (zh) * 2020-10-30 2022-05-05 京东方科技集团股份有限公司 图像识别方法及装置、训练方法、电子设备和存储介质
US11893776B2 (en) 2020-10-30 2024-02-06 Boe Technology Group Co., Ltd. Image recognition method and apparatus, training method, electronic device, and storage medium
CN113205047A (zh) * 2021-04-30 2021-08-03 平安科技（深圳）有限公司 药名识别方法、装置、计算机设备和存储介质
WO2022227218A1 (zh) * 2021-04-30 2022-11-03 平安科技（深圳）有限公司 药名识别方法、装置、计算机设备和存储介质
CN113205047B (zh) * 2021-04-30 2024-05-10 平安科技（深圳）有限公司 药名识别方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US10438091B2 (en) Method and apparatus for recognizing image content
US11238310B2 (en) Training data acquisition method and device, server and storage medium
CN110019896B (zh) 一种图像检索方法、装置及电子设备
JP6397144B2 (ja) 画像からの事業発見
Cliche et al. Scatteract: Automated extraction of data from scatter plots
US9349076B1 (en) Template-based target object detection in an image
CN108229478A (zh) 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN106980867A (zh) 将嵌入空间中的语义概念建模为分布
CN106202362A (zh) 图像推荐方法和图像推荐装置
CN110175609B (zh) 界面元素检测方法、装置及设备
CN112529020B (zh) 基于神经网络的动物识别方法、系统、设备及存储介质
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
EP3623998A1 (en) Character recognition
CN111652054A (zh) 关节点检测方法、姿态识别方法及装置
CN105814524A (zh) 光学传感器系统中的对象检测
CN107506376A (zh) 获取区域内信息点数据的客户端
CN110490237B (zh) 数据处理方法、装置、存储介质及电子设备
CN109284700B (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
Lee et al. Automatic recognition of flower species in the natural environment
US20140270366A1 (en) Dimension-Wise Spatial Layout Importance Selection: An Alternative Way to Handle Object Deformation
CN110059212A (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN110717806A (zh) 产品信息推送方法、装置、设备及存储介质
CN109993165A (zh) 药片板药名识别及药片板信息获取方法、装置与系统
CN115546831A (zh) 一种多粒度注意力机制跨模态行人搜索方法和系统
JP6623851B2 (ja) 学習方法、情報処理装置および学習プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709