CN112069890B - 一种药剂标签的识别方法、装置和存储介质 - Google Patents

Abstract

本发明提供了一种药剂标签的识别方法、装置和存储介质，属于图像识别技术领域。该方法通过获取待检测药剂的待检测图像对药剂进行识别，取代在药剂使用过程中的人工核对，避免人工核对可能出现人工疏忽、疲劳导致的准确率低的问题；在待检测图像识别的过程中，通过待检测图像的第一图像特征在药剂图像特征库中确定匹配的第二图像特征，再获取对应的候选图像和药剂文本，综合待检测图像与候选图像的第一相似数据，以及待检测图像的识别文本和药剂文本的第二相似数据，以确定待检测图像与候选图像的匹配置信度，能够提高待检测药剂标签的识别结果的准确率。

Description

一种药剂标签的识别方法、装置和存储介质

技术领域

本发明属于图像识别技术领域，特别是涉及一种药剂标签的识别方法、装置和存储介质。

背景技术

在医药使用过程中，通常需要在取药、使用前、使用后对药剂的种类、剂量等进行核对，以保证药剂种类、计量与处方一致，避免医疗事故的发生。

目前，通常由使用药剂的医师阅读药剂标签上的药剂文本，从而进行人工核对，但是，人工核对的操作机械、繁琐，而且由于人工疏忽、疲劳等原因使得人工阅读药剂标签的准确率低。而通过文本识别的方式对药剂标签进行识别核对时，由于药剂标签通常贴在药剂瓶上，使得药剂文本环绕，导致药剂文本难以定位，且不同药剂的药剂文本排版不一、字体不同等，导致识别难度大，从而导致药剂文本识别准确率低，无法达到药剂标签的识别的标准。

发明内容

有鉴于此，本发明提供一种药剂标签的识别方法、装置和存储介质，以便解决药剂标签的识别过程中药剂文本难以定位，且排版、字体不同使得识别难度大，导致识别准确率低的问题。

依据本发明的第一方面，提供了一种药剂标签的识别方法，该方法可以包括：

获取目标处方中待检测药剂的待检测图像；

提取所述待检测图像对应的第一图像特征；

在药剂图像特征库中根据所述第一图像特征确定匹配的第二图像特征，并获取所述第二图像特征对应的候选图像和药剂文本；

获取所述待检测图像的识别文本；

根据所述待检测图像和所述候选图像的第一相似数据，以及所述识别文本和所述药剂文本的第二相似数据，确定所述待检测图像与所述候选图像的匹配置信度；

确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

依据本发明的第二方面，提供了一种药剂标签的识别装置，该装置可以包括：

图像获取模块，用于获取目标处方中待检测药剂的待检测图像；

特征提取模块，用于提取所述待检测图像对应的第一图像特征，以及用于获取所述待检测图像的识别文本；

特征匹配模块，用于在药剂图像特征库中根据所述第一图像特征确定匹配的第二图像特征，并获取所述第二图像特征对应的候选图像和药剂文本；

文本识别模块，用于获取所述待检测图像的识别文本；

置信度确定模块，用于根据所述待检测图像和所述候选图像的第一相似数据，以及所述识别文本和所述药剂文本的第二相似数据，确定所述待检测图像与所述候选图像的匹配置信度；

药剂标签的识别模块，用于确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

依据本发明的第三方面，提供了一种存储介质，该存储介质上存储程序，该程序被处理器执行时实现如第一方面所述的药剂标签的识别方法。

针对在先技术，本发明具备如下优点：

本发明实施例中，通过获取待检测药剂的待检测图像进行药剂标签的识别，取代在药剂使用过程中的人工核对，避免人工核对可能出现人工疏忽、疲劳导致的准确率低的问题；在待检测图像识别的过程中，先通过待检测图像的第一图像特征在药剂图像特征库中确定匹配的第二图像特征，再获取第二图像特征对应的候选图像和药剂文本后，同时考虑待检测图像与候选图像的第一相似数据，以及待检测图像的识别文本和药剂文本的第二相似数据，以确定待检测图像与候选图像的匹配置信度，由于通过候选图像与待检测图像相似数据可以定位待检测图像中的识别文本，通过药剂文本与识别文本的相似数据能够评估识别文本是否准确，因此，综合第一相似数据和第二相似数据得到的匹配置信度对待检测图像对应的药剂进行识别，能够提高待检测药剂标签的识别结果的准确率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种药剂标签的识别方法的步骤流程图；

图2是本发明实施例提供的另一种药剂标签的识别方法的步骤流程图；

图3是本发明实施例提供的又一种药剂标签的识别方法的步骤流程图；

图4是本发明实施例提供的一种待检测图像示意图；

图5是本发明实施例提供的一种待检测图像中文字框识别结果示意图；

图6是本发明实施例提供的一种药剂标签的识别装置的框图；

图7是本发明实施例提供的一种硬件的结构示意图；

图8是本发明实施例提供的一种药剂标签的识别方法的步骤流程具体示例图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明应用于药剂使用的场景中，在该场景中需要对待检测药剂在取药、使用前和使用后，确定其是否属于目标处方，从而避免药剂混用、错用等问题。其中，目标处方记录了需要使用的药剂对应的药剂信息，可选地，药剂信息包括药剂的名称、剂量、用法、成分等中的至少一种，如药剂的名称为葡萄糖液、生理盐水等，剂量为1次10毫升、一次2片等，用法为注射、口服、外敷等，成分为葡萄糖、氯化钠等，本发明实施例对此不做具体限制。

由于在确定待检测药剂是否属于目标处方的过程中，通常需要先识别待检测药剂的药剂信息，从而识别待检测药剂具体的药剂，再确定该药剂是否属于目标处方，而当前对待检测药剂的识别过程中药剂文本难以定位，且排版、字体不同使得识别难度大，导致待检测药剂标签的识别的准确率低，因此，本发明提供以下药剂标签的识别方法，以提高药剂标签的识别的准确率。

图1是本发明实施例提供的一种药剂标签的识别方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、获取目标处方中待检测药剂的待检测图像。

本发明实施例中，待检测药剂为取药、使用前和使用后，需要确定是否属于目标处方的药剂，可选地，可以在取药、使用前和使用后获取待检测药剂的待检测图像，可选地，待检测图像可以包括药剂瓶标签的拍摄图像、药剂盒包装的拍摄图像、药剂说明书的拍摄图像等，本领域技术人员可以需求选择不同的待检测图像，本发明实施例对此不做具体限制。

步骤102、提取所述待检测图像对应的第一图像特征。

本发明实施例中，可以提取待检测图像对应的第一图像特征，第一图像特征是对待检测图像特征化后获得的图像特征，可以唯一表示待检测图像，根据特征化的方式不同，第一图像特征的形式可能不同，可选地，第一图像特征可以是根据待检测图像的像素提取的像素特征，也可以是根据待检测图像的空间分布位置提取的空间位置特征，还可以根据待检测图像的文本区域与非文本区域的特征提取提取的文本分布特征，本发明实施例对提取待检测图像对应的第一图像特征的方式不做限定。其中，可以采用EAST(Efficient andAccuracy Scene Text，高效和准确场景文本检测)、Pixel_Link(像素连接)、CRAFT(Character Region Awareness for Text Detection，字符级文本检测)等算法，以识别待检测图像的文本区域和非文本区域。本发明实施例中文本区域可以是分别包含每个字的文本区域，表示为矩形四个顶点的坐标；也可以将临近的文字按其排版方式表示成一个多边形的文本区域，表示为一组坐标，每一个坐标点为多边形的一个顶点。

步骤103、在药剂图像特征库中根据所述第一图像特征确定匹配的第二图像特征，并获取所述第二图像特征对应的候选图像和药剂文本。

本发明实施例中，可以预先建立药剂图像特征库，其中，保存有候选图像、候选图像的第二图像特征和候选图像对应的药剂文本，可选地，候选图像可以是对目标处方中药剂信息对应药剂进行预先拍摄得到的图像，也可以是预先拍摄的可采集到的所有药剂的图像，其中，候选图像的第二图像特征的提取方式可对应参照待检测图像的第一图像特征的提取方式，候选图像的药剂文本可以是根据候选图像对应的药剂预先标注的名称、成分、用法、剂量等结构化文本，如对葡萄糖注射液药剂可预先标注名称“葡萄糖注射液”、成分“葡萄糖”、剂量“20ml＝10g”、用法“注射”等。

本发明实施例中，可以通过近似临近搜索的方法，在药剂图像特征库中确定与第一图像特征相似的第二图像特征，作为与第一图像特征匹配的第二图像特征，可选地，可以采用HNSW(Hierarchical Navigable Small World，分层导航小世界)、ANNOY(ApproximateNearest Neighbors Oh Yeah，近似最近邻分类算法)、FAISS(Facebook AI SimilaritySearch，脸书人工智能相似性搜索)等搜索算法进行近似临近搜索，本发明实施例对根据第一图像特征搜索匹配的第二图像特征的方法不作限定。在获得第二图像特征后，可以根据候选图像、第二图像特征和药剂文本的对应关系，进一步获得第二图像特征对应的候选图像和药剂文本，以便对待检测图像对应的药剂进行识别。

步骤104、获取所述待检测图像的识别文本。

本发明实施例中，可以对待检测图像的文本区域进行文本识别，获得待检测图像的识别文本，可选地，对文本区域进行文本识别时可以选择RNN(Recurrent NeuralNetwork，循环神经网络)、LSTM(Long Short-Term Memory，长短期记忆网络)、CNN(Convolutional Neural Networks，卷积神经网络)、R-CNN(Region with ConvolutionalNeural Networks，区域卷积神经网络)等深度学习算法进行预训练、文本识别，本发明实施例对文本识别的方法不做限制。

步骤105、根据所述待检测图像和所述候选图像的第一相似数据，以及所述识别文本和所述药剂文本的第二相似数据，确定所述待检测图像与所述候选图像的匹配置信度。

本发明实施例中，第一相似数据可以是待检测图像和候选图像的相似数据，如第一图像特征与第二图像特征的相似度、待检测图像的文字区域和候选图像的文字区域的相似区域等；第二相似数据可以是识别文本和药剂文本的相似数据，如识别文本和药剂文本相同字符的个数、相同字符的位置、相同字符的大小等，本发明实施例对第一相似数据和第二相似数据的形式不作限定。匹配置信度可以表示待检测图像和候选图像对应同一药剂的概率，根据第一相似数据和第二相似数据确定匹配置信度，能够同时考虑待检测图像中识别文本的定位和识别文本的识别准确率，从而提高待检测药剂的识别准确率。

步骤106、确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

本发明实施例中，预设匹配条件可以是匹配置信度大于或等于置信度阈值，置信度阈值可以表示对药剂标签的识别结果的预期，由于药剂使用场景的特殊性，要求药剂标签的识别结果的准确率高、误判率低，因此，可以设置合适的置信度阈值以避免误判、提高识别准确率。确定匹配置信度符合预设匹配条件，则确定待检测图像和候选图像对应同一药剂的可信程度达到预期，此时，待检测药剂对应的药剂信息可由候选图像对应的药剂文本确定，并识别待检测药剂为候选图像对应的药剂。反之，若确定匹配置信度不符合预设匹配条件，则确定待检测图像和候选图像对应同一药剂的可信程度未达到预期，此时，可以重新执行步骤103在药剂图像特征库中重新搜索第二图像特征，至确定匹配置信度符合预设匹配条件。可选地，若重复次数达到预设次数，可以对待检测药剂进行报警。

本发明实施例中，通过获取待检测药剂的待检测图像进行药剂标签的识别，取代在药剂使用过程中的人工核对，避免人工核对可能出现人工疏忽、疲劳导致的准确率低的问题；在待检测图像识别的过程中，先通过待检测图像的第一图像特征在药剂图像特征库中确定匹配的第二图像特征，再获取第二图像特征对应的候选图像和药剂文本后，同时考虑待检测图像与候选图像的第一相似数据，以及待检测图像的识别文本和药剂文本的第二相似数据，以确定待检测图像与候选图像的匹配置信度，由于通过候选图像与待检测图像相似数据可以定位待检测图像中的识别文本，通过药剂文本与识别文本的相似数据能够评估识别文本是否准确，因此，综合第一相似数据和第二相似数据得到的匹配置信度对待检测图像对应的药剂进行识别，能够提高待检测药剂标签的识别结果的准确率。

图2是本发明实施例提供的另一种药剂标签的识别方法的步骤流程图，如图2所示，该方法可以包括：

步骤201、对所述目标处方中的所述待检测药剂进行旋转拍摄，获得至少一个拍摄图像。

本发明实施例中，由于待检测药剂的载体可能是药瓶、药盒等，为了避免获得的待检测图像遗漏信息，可以对待检测药剂进行旋转拍摄，其中，旋转拍摄指将待检测药剂在可旋转的装置上旋转至少一周进行拍摄，从而获得至少一个拍摄图像。可选地，可以在待检测药剂相对于镜头每旋转预设角度时拍摄一次，如待检测药剂每旋转30°拍摄一次，或者待检测药剂每旋转40°拍摄一次。

步骤202、对所述拍摄图像进行拼接，获得所述待检测图像。

本发明实施例中，可以通过图像拼接算法，对拍摄图像进行拼接以获得待检测图像，可选地，可以选择相位相关法、逐一比较法、分层比较法、比值匹配法等图像拼接算法对拍摄图像进行拼接，本发明实施例对拼接拍摄图像获得待检测图像的图像拼接算法不作具体限定。

步骤203、识别所述待检测图像中的至少一个文字框。

本发明实施例中，文字框可以用于区分待检测图像中的文本区域与非文本区域，其中，可以是文字框内为文本区域，文字框外为非文本区域。可选地，待检测图像的文字框可以是一个，也可以是多个，根据识别文本区域与非文本区域算法的不同，文字框的形式也可以不同，本发明实施例对此不做具体限制。

步骤204、在所述文字框中确定一个参考文字框。

本发明实施例中，可以在至少一个文字框中确定一个文字框作为参考文字框，可选地，当待检测图像中有一个文字框时，可以将该文字框作为参考文字框；当待检测图像中包括两个以上文字框时，参考文字框可以是所有文字框中易于确认的文字框，如参考文字框为面积最大的文字框、参考文字框为待检测图像中心位置的文字框等；或者，参考文字框也可以是在文字框中随机选择的一个文字框，本发明实施例对选择参考文字框的方式不做限定。

步骤205、以所述参考文字框为中心，提取所述待检测图像的第一图像特征。

本发明实施例中，可以使用启发式特征选择的方式提取第一图像特征，即可以将参考文字框作为中心，通过其他文字框来特征化表示待检测图像，以提取待检测图像的第一图像特征。可选的，可以将参考文字框为中心，将待检测图像表示为一个二维0-1矩阵，将每个文字框的顶点元素标记为1，其他元素标记为0，从而获得待检测图像的第一图像特征；也可以以参考文字框为中心，对待检测图像进行重排，如果待检测图像为灰度图，则将待检测图像表示为二维矩阵，矩阵中每个元素为待检测图像重排后对应像素的灰度值，如果待检测图像为RGB(Red Green Blue，红绿蓝)彩色图像，则将待检测图像表示为三维矩阵，矩阵中每个元素为待检测图像重排后对应像素的RGB值，从而获得待检测图像的第一图像特征；也可以以参考文字框为中心将待检测图像特征化为向量，在待检测图像中，每个文字框的中心相对于参考文字框的中心的位置为1，其他位置为0，获得待检测图像对应的特征向量，从而获得待检测图像的第一图像特征。

步骤206、在药剂图像特征库中根据所述第一图像特征确定匹配的第二图像特征，并获取所述第二图像特征对应的候选图像和药剂文本。

步骤207、获取所述待检测图像的识别文本。

步骤208、根据所述待检测图像和所述候选图像的第一相似数据，以及所述识别文本和所述药剂文本的第二相似数据，确定所述待检测图像与所述候选图像的匹配置信度。

步骤209、确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

本发明实施例中，步骤206至步骤209的内容可对应参照前述步骤103至步骤106的相关描述，为避免重复，在此不再赘述。

本发明实施例中，通过获取待检测药剂的待检测图像进行药剂标签的识别，取代在药剂使用过程中的人工核对，避免人工核对可能出现人工疏忽、疲劳导致的准确率低的问题；在待检测图像识别的过程中，先通过待检测图像的第一图像特征在药剂图像特征库中确定匹配的第二图像特征，再获取第二图像特征对应的候选图像和药剂文本后，同时考虑待检测图像与候选图像的第一相似数据，以及待检测图像的识别文本和药剂文本的第二相似数据，以确定待检测图像与候选图像的匹配置信度，由于通过候选图像与待检测图像相似数据可以定位待检测图像中的识别文本，通过药剂文本与识别文本的相似数据能够评估识别文本是否准确，因此，综合第一相似数据和第二相似数据得到的匹配置信度对待检测图像对应的药剂进行识别，能够提高待检测药剂标签的识别结果的准确率。

图3是本发明实施例提供的又一种药剂标签的识别方法的步骤流程图，如图3所示，该方法可以包括：

步骤301、对所述目标处方中的所述待检测药剂进行旋转拍摄，获得至少一个拍摄图像。

本发明实施例中，步骤301的内容可对应参照前述步骤201的相关描述，为避免重复，在此不再赘述。

步骤302、对所述拍摄图像进行拼接，获得所述待检测图像。

本发明实施例中，步骤302的内容可对应参照前述步骤202的相关描述，为避免重复，在此不再赘述。

图4是本发明实施例提供的一种待检测图像示意图，对药剂瓶进行旋转拍摄，并对拍摄图像进行拼接后得到如图4所示的待检测图像。

步骤303、识别所述待检测图像中的至少一个文字框。

本发明实施例中，步骤303的内容可对应参照前述步骤203的相关描述，为避免重复，在此不再赘述。

图5是本发明实施例提供的一种待检测图像中文字框识别结果示意图，如图5所示，识别图4所示的待检测图像中的文字框，包括第一文字框501、第二文字框502、第三文字框503、第四文字框504。

步骤304、根据所述文字框的文本参数信息，确定所述文字框中预置信息类型对应的文字框。

本发明实施例中，可以对文字框进行选择，如可以直接通过文字框的大小、位置等对文字框进行选择，如选择面积大于或等于预设面积的文字框，或选择在待检测图像距中心位置小于或等于预设距离的文字框等；也可以通过启发式文字框选择的方式对文字框进行选择，其中，启发式文字框选择的方式可以是根据待检测图像和候选图像中文字框的文本参数信息确定文字框对应的预置信息类型，并根据预置信息类型对文字框进行选择，可选地，文本参数信息可以包括文字框的大小、长宽比、相对位置等信息，根据文本参数信息可以确定文字框中包含的文本内容对应的预置信息类型，其中，预置信息类型可以包括药剂的名称类型、剂量类型、使用说明类型等。由于药剂的使用说明，药剂的名称、剂量等是药剂核对的主要信息，因此，可以将预置信息类型对应的文字框选出，以简化后续识别的流程，提高药剂标签的识别的效率。

本发明实施例中，可以通过预先构建的药剂知识库，以及待检测图像和候选图像的文本参数信息，确定文字框中文本内容对应的预置信息类型，其中，药剂知识库中可以包括从互联网中抓取的，或人工记录的全部药剂的结构化文本，包括药剂的名称、剂量、使用说明等。可选的，可以对药剂知识库中的结构化文本进行统计分析，获得文本参数信息中文字框的长宽比与文字个数的关系，文字框的大小、相对位置等与药剂的名称，剂量的文字位置的关系等，如根据药剂知识库中的结构化文本统计分析得到，药剂的名称通常印刷在药剂瓶身或盒身正中位置，字体较大，剂量通常印刷在名称周围的位置等，从而在文字框中确定处于待检测图像中心位置、面积较大的文字框为名称类型的文字框，确定名称类型的文字框周围的文字框为剂量类型的文字框。

如根据图5中文字框的长宽比、大小、位置等文本参数信息，确定第一文字框501和第二文字框502为预置信息类型对应的文字框。

步骤305、在所述预置信息类型对应的文字框中确定一个参考文字框。

本发明实施例中，可以在预置信息类型对应的文字框中确定一个参考文字框，确定参考文字框的方式可对应参照前述步骤204的相关描述，为避免重复，在此不再赘述。

步骤306、以所述参考文字框为中心，提取所述待检测图像的第一图像特征。

本发明实施例中，步骤306可对应参照前述步骤205的相关描述，为避免重复，在此不再赘述。

步骤307、在药剂图像特征库中根据所述第一图像特征确定匹配的第二图像特征，并获取所述第二图像特征对应的候选图像和药剂文本。

本发明实施例中，步骤307可对应参照前述步骤103的相关描述，为避免重复，在此不再赘述。

步骤308、对所述预置信息类型对应的文字框进行文本识别，获得识别文本。

本发明实施例中，可以对预置信息类型对应的文字框进行文本识别，对非预置信息类型对应的文字框不进行文本识别，以简化文本识别的数据量，提高文本识别的效率，步骤308中文本识别的方法可对应参照前述步骤104的相关描述，为避免重复，在此不再赘述。可选地，可以采用OCR(Optical Character Recognition，光学字符识别)技术对待检测图像的文字框进行文本识别。

如对图5中第一文字框501和第二文字框502进行文本识别，获得识别文本“20ml＝10g”，以及“葡萄糖注射液”。

步骤309、根据所述待检测图像和所述候选图像的第一相似数据，以及所述识别文本和所述药剂文本的第二相似数据，确定所述待检测图像与所述候选图像的匹配置信度。

本发明实施例中，可以分别确定待检测图像和候选图像的第一相似数据，以及识别文本和药剂文本的第二相似数据。可选地，在确定第一相似数据的过程中，可以先对待检测图像和候选图像的文字框进行对齐，如可以根据文字框的预置信息类型，将待检测图像和候选图像中预置信息类型相同的文字框对齐，也可以将所有的文字框分别对齐。在将文字框对齐后，可以计算待检测图像的每个文字框与候选图像中对应的文字框的相似度值，获得第一相似数据。

本发明实施例中，可以使用贪心算法对待检测图像和候选图像的文字框进行对齐，即不考虑待检测图像与候选图像整体是否对齐，而将待检测图像中的文字框与候选图像中预置信息类型对应的文字框分别对齐，再通过待检测图像的每个文字框与候选图像中对应的文字框的相似度值，从而能够根据候选图像的文字框，定位待检测图像的文字框。另外，可以采用OCV(Optical Character Verification，光学字符验证)技术对待检测图像和候选图像的文字框进行比对，从而获得文字框对应的相似度值，也可以通过像素值进行比对，本发明实施例对获得待检测图像和候选图像的文字框的相似度值的方法不做限定。

本发明实施例中，可以计算识别文本和药剂文本的相似度值，以获得第二相似数据，可选地，可以使用编辑距离的方法，计算识别文本和药剂文本字符串的匹配程度，其中，编辑距离是针对两个字符串差异程度的量化量测，量测方式是确定至少需要多少次的处理才能将一个字符串变成另一个字符串；或者，也可以提取识别文本与药剂文本的关键词，并进行关键词匹配，确定匹配的关键词的个数、位置等，从而获得识别文本对应的相似度值。可选地，可以是每一个文字框的识别文本对应一个相似度值。

本发明实施例中，可以根据第一相似数据即待检测图像和候选图像文字框的相似度值，以及第二相似数据即识别文本和药剂文本的相似度值，综合估算待检测图像和候选图像的匹配置信度，可选地，可以通过对第一相似数据和第二相似数据加权处理的方式获得匹配置信度，也可以通过预先训练的分类器模型对第一相似数据和第二相似数据综合打分，获得匹配置信度，其中，分类器模型可以是贝叶斯分类器、K近邻、支持向量机、决策树等，本发明实施例对获得匹配置信度的方式不作限定。

步骤310、确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

本发明实施例中，步骤310可对应参照前述步骤106的相关描述，为避免重复，在此不再赘述。

步骤311、确定所述待检测药剂不属于所述目标处方，对所述待检测药剂进行报警。

本发明实施例中，在确定候选图像对应的药剂为待检测药剂时，可以将候选图像对应的药剂文本作为待检测药剂的药剂信息。进一步的，可以根据待检测药剂的药剂信息确定待检测药剂是否属于目标处方，其中，可以对待检测药剂的药剂信息和目标处方记录的药剂信息进行匹配，从而确定待检测药剂是否属于目标处方。可选地，如果目标处方中存在与待检测药剂的药剂信息匹配度达到预设匹配度的药剂信息，则可以认为待检测药剂属于目标处方；如果目标处方中不存在与待检测药剂的药剂信息匹配度达到预设匹配度的药剂信息，则可以认为待检测药剂不属于目标处方。确定待检测药剂不属于目标处方，可以对待检测药剂进行报警，以提示工作人员及时核对或更换待检测药剂，避免药剂在使用过程中的错用、混用等。

本发明实施例中，通过获取待检测药剂的待检测图像进行药剂标签的识别，取代在药剂使用过程中的人工核对，避免人工核对可能出现人工疏忽、疲劳导致的准确率低的问题；在待检测图像识别的过程中，先通过待检测图像的第一图像特征在药剂图像特征库中确定匹配的第二图像特征，再获取第二图像特征对应的候选图像和药剂文本后，同时考虑待检测图像与候选图像的第一相似数据，以及待检测图像的识别文本和药剂文本的第二相似数据，以确定待检测图像与候选图像的匹配置信度，由于通过候选图像与待检测图像相似数据可以定位待检测图像中的识别文本，通过药剂文本与识别文本的相似数据能够评估识别文本是否准确，因此，综合第一相似数据和第二相似数据得到的匹配置信度对待检测图像对应的药剂进行识别，能够提高待检测药剂标签的识别结果的准确率。

图6是本发明实施例提供的一种药剂标签的识别装置600的结构框图，如图6所示，该装置可以包括：

图像获取模块601，用于获取目标处方中待检测药剂的待检测图像；

特征提取模块602，用于提取所述待检测图像对应的第一图像特征；

特征匹配模块603，用于在药剂图像特征库中根据所述第一图像特征确定匹配的第二图像特征，并获取所述第二图像特征对应的候选图像和药剂文本；

文本识别模块604，用于获取所述待检测图像的识别文本；

置信度确定模块605，用于根据所述待检测图像和所述候选图像的第一相似数据，以及所述识别文本和所述药剂文本的第二相似数据，确定所述待检测图像与所述候选图像的匹配置信度；

药剂标签的识别模块606，用于确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

可选地，所述特征提取模块602，包括：

文字框识别子模块，用于识别所述待检测图像中的至少一个文字框；

参考文字框确定子模块，用于在所述文字框中确定一个参考文字框；

特征提取子模块，用于以所述参考文字框为中心，提取所述待检测图像的第一图像特征。

可选地，所述特征提取模块602，还包括：

预置信息类型文字框确定子模块，用于根据所述文字框的文本参数信息，确定所述文字框中预置信息类型对应的文字框；

所述参考文字框确定子模块，具体用于在所述预置信息类型对应的文字框中确定一个参考文字框。

可选地，所述文本识别模块604，具体用于对所述预置信息类型对应的文字框进行文本识别，获得识别文本。

可选地，所述图像获取模块601，包括：

旋转拍摄子模块，用于对所述目标处方中的所述待检测药剂进行旋转拍摄，获得至少一个拍摄图像；

图像拼接子模块，用于对所述拍摄图像进行拼接，获得所述待检测图像。

可选地，所述装置还包括：

报警模块，用于确定所述待检测药剂不属于所述目标处方，对所述待检测药剂进行报警。

本发明实施例中，通过获取待检测药剂的待检测图像进行药剂标签的识别，取代在药剂使用过程中的人工核对，避免人工核对可能出现人工疏忽、疲劳导致的准确率低的问题；在待检测图像识别的过程中，先通过待检测图像的第一图像特征在药剂图像特征库中确定匹配的第二图像特征，再获取第二图像特征对应的候选图像和药剂文本后，同时考虑待检测图像与候选图像的第一相似数据，以及待检测图像的识别文本和药剂文本的第二相似数据，以确定待检测图像与候选图像的匹配置信度，由于通过候选图像与待检测图像相似数据可以定位待检测图像中的识别文本，通过药剂文本与识别文本的相似数据能够评估识别文本是否准确，因此，综合第一相似数据和第二相似数据得到的匹配置信度对待检测图像对应的药剂进行识别，能够提高待检测药剂标签的识别结果的准确率。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

另外，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在处理上运行的计算机程序，该计算机程序被处理器执行时实现上述药剂标签的识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种存储介质，存储介质上存储有程序，该程序被处理器执行时实现上述药剂标签的识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述药剂标签的识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

图7是本发明实施例提供的一种硬件700的结构示意图，如图7所示，该硬件包括GPU(Graphics Processing Unit，图形处理器)701、ARM(Advanced RISC Machines，高级精简指令集计算机)702、FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)703、以太网口704、数据库存储705。其中，数据库存储705中存储有药剂图像特征库和药剂知识库等。

图8是本发明实施例提供的一种药剂标签的识别方法的步骤流程具体示例图，通过如图7所示的硬件700，可实现药剂标签的识别方法步骤流程如下所示：

步骤801、获取目标处方中待检测药剂的待检测图像。

步骤802、GPU701采用CNN算法，识别待检测图像中的至少一个文字框。

步骤803、ARM702的控制单元7021通过启发式特征选择，在文字框中确定一个参考文字框，并以参考文字框为中心，提取待检测图像的第一图像特征。

步骤804、FPGA703在数据库存储705的药剂图像特征库中，近似临近搜索与第一图像特征匹配的第二图像特征，并获取第二图像特征对应的候选图像和药剂文本。

步骤805、ARM702的控制单元7021通过数据库存储705中存储的药剂知识库、文字框的文本参数信息，通过启发式文字框选择，确定文字框中预置信息类型对应的文字框。

步骤806、GPU701对待检测图像的文字框与候选图像的文字框进行对齐，并通过OCV技术确定待检测图像的文字框与候选图像的文字框的第一相似数据。

步骤807、GPU701通过OCR技术，选用RCNN网络对待检测图像的文字框进行文本识别，获得识别文本。

步骤808、ARM702的控制单元7021对识别文本与药剂文本进行文本相似度计算，获得第二相似数据。

步骤809、ARM702的控制单元7021根据第一相似数据和第二相似数据确定待检测图像和候选图像的匹配置信度，确定匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

本发明实施例中，如图7所示的硬件为不同类型的指令集和体系架构的计算单元组成的异构芯片，通过异构芯片对图像特征提取、图像特征搜索、文本识别、相似度计算等进行分工，从而提高处理效率。上述硬件700中的各部件仅用于举例，出于实际应用需求，本领域技术人员可进行替换，如步骤S11、17中GPU701可替换为NPU(Neural-networkProcessing Unit，网络处理器)，步骤S13、15、18和19中ARM702可替换为Intel×86(英特尔×86)等其他类型的CPU(Central Processing Unit，中央处理器)，本发明实施例对此不作具体限制。

本发明实施例中，还可以通过以太网口704获取互联网上的药剂文本，并对药剂图像特征库、药剂知识库进行补充、更新等，也可以在线训练、更新图像特征提取、文本识别的模型等，本发明实施例对此不做具体限制。

本发明实施例中，通过获取待检测药剂的待检测图像进行药剂标签的识别，取代在药剂使用过程中的人工核对，避免人工核对可能出现人工疏忽、疲劳导致的准确率低的问题；在待检测图像识别的过程中，先通过待检测图像的第一图像特征在药剂图像特征库中确定匹配的第二图像特征，再获取第二图像特征对应的候选图像和药剂文本后，同时考虑待检测图像与候选图像的第一相似数据，以及待检测图像的识别文本和药剂文本的第二相似数据，以确定待检测图像与候选图像的匹配置信度，由于通过候选图像与待检测图像相似数据可以定位待检测图像中的识别文本，通过药剂文本与识别文本的相似数据能够评估识别文本是否准确，因此，综合第一相似数据和第二相似数据得到的匹配置信度对待检测图像对应的药剂进行识别，能够提高待检测药剂标签的识别结果的准确率；另外，本发明实施例中采用异构芯片，能够提升待检测药剂标签的识别的速率。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的药剂标签的识别方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的药剂标签的识别方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种药剂标签的识别方法，其特征在于，所述方法包括：

获取目标处方中待检测药剂的待检测图像；

提取所述待检测图像对应的第一图像特征；

在药剂图像特征库中根据所述第一图像特征确定匹配的第二图像特征，并获取所述第二图像特征对应的候选图像和药剂文本；所述药剂图像特征库保存有候选图像、候选图像的第二图像特征和候选图像对应的药剂文本；药剂文本是根据候选图像对应的药剂预先标注的结构化文本；

获取所述待检测图像的识别文本；

根据所述待检测图像和所述候选图像的第一相似数据，以及所述识别文本和所述药剂文本的第二相似数据，确定所述待检测图像与所述候选图像的匹配置信度；使用编辑距离的方法，计算识别文本和药剂文本字符串的匹配程度，获得所述第二相似数据，其中，编辑距离是针对两个字符串差异程度的量化量测，量测方式是确定至少需要多少次的处理才能将一个字符串变成另一个字符串；

确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

2.根据权利要求1所述的方法，其特征在于，所述提取所述待检测图像对应的第一图像特征，包括：

识别所述待检测图像中的至少一个文字框；

在所述文字框中确定一个参考文字框；

以所述参考文字框为中心，提取所述待检测图像的第一图像特征。

3.根据权利要求2所述的方法，其特征在于，所述在所述文字框中确定一个参考文字框之前，还包括：

根据所述文字框的文本参数信息，确定所述文字框中预置信息类型对应的文字框；

所述在所述文字框中确定一个参考文字框，包括：

在所述预置信息类型对应的文字框中确定一个参考文字框。

4.根据权利要求3所述的方法，其特征在于，所述获取所述待检测图像的识别文本，包括：

对所述预置信息类型对应的文字框进行文本识别，获得识别文本。

5.根据权利要求1所述的方法，其特征在于，所述获取目标处方中待检测药剂的待检测图像，包括：

对所述目标处方中的所述待检测药剂进行旋转拍摄，获得至少一个拍摄图像；

对所述拍摄图像进行拼接，获得所述待检测图像。

6.根据权利要求1所述的方法，其特征在于，在所述确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂之后，还包括：

确定所述待检测药剂不属于所述目标处方，对所述待检测药剂进行报警。

7.一种药剂标签的识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标处方中待检测药剂的待检测图像；

特征提取模块，用于提取所述待检测图像对应的第一图像特征；

特征匹配模块，用于在药剂图像特征库中根据所述第一图像特征确定匹配的第二图像特征，并获取所述第二图像特征对应的候选图像和药剂文本；所述药剂图像特征库保存有候选图像、候选图像的第二图像特征和候选图像对应的药剂文本；药剂文本是根据候选图像对应的药剂预先标注的结构化文本；

文本识别模块，用于获取所述待检测图像的识别文本；

置信度确定模块，用于根据所述待检测图像和所述候选图像的第一相似数据，以及所述识别文本和所述药剂文本的第二相似数据，确定所述待检测图像与所述候选图像的匹配置信度；使用编辑距离的方法，计算识别文本和药剂文本字符串的匹配程度，获得所述第二相似数据，其中，编辑距离是针对两个字符串差异程度的量化量测，量测方式是确定至少需要多少次的处理才能将一个字符串变成另一个字符串；

药剂标签的识别模块，用于确定所述匹配置信度符合预设匹配条件，将所述候选图像对应的药剂作为所述待检测药剂。

8.根据权利要求7所述的装置，其特征在于，所述特征提取模块，包括：

文字框识别子模块，用于识别所述待检测图像中的至少一个文字框；

参考文字框确定子模块，用于在所述文字框中确定一个参考文字框；

特征提取子模块，用于以所述参考文字框为中心，提取所述待检测图像的第一图像特征。

9.根据权利要求8所述的装置，其特征在于，所述特征提取模块，还包括：

预置信息类型文字框确定子模块，用于根据所述文字框的文本参数信息，确定所述文字框中预置信息类型对应的文字框；

所述参考文字框确定子模块，具体用于在所述预置信息类型对应的文字框中确定一个参考文字框。

10.一种存储介质，其特征在于，所述存储介质上存储程序，所述程序被处理器执行时实现如权利要求1至6中任一所述的药剂标签的识别方法。

Images