CN109190680A - 基于深度学习的医疗药品图像的检测与分类方法 - Google Patents

Abstract

本发明属于图像处理和视频处理技术领域，具体为基于深度学习的医疗药品图像的检测与分类方法。本发明方法包括：从多角度拍摄医疗药品的方法获取每类药品图像；采用分类树的统计方法对获取的全部医疗药品分类；采用卷积神经网络中的分类网络，提取医疗药品图像特征；利用训练后得到的药品分类网络替换检测网络中的特征提取层，并训练检测网络，获得检测器；采用非极大值抑制的方法，对检测器的输出结果进行优化与修正；最后，采用基于医疗药品发放的实际情况的显示方案，对不同类别的检测结果分类展示。本发明实用性强，可用医疗药品发放实况的检查和预警，严防医药误用造成的医疗事故，提高医药发放的准确性与安全性。

Description

基于深度学习的医疗药品图像的检测与分类方法

技术领域

本发明属于图像处理和视频处理技术领域，具体涉及一种针对医院发放的医疗药品的检测与分类方法。

背景技术

随着医疗技术的发展和城市人口数量的增加，医院药房每日所发的药物种类和数量十分巨大，为了保证患者的用药安全性和准确性，医院已发药品的检查和校正工作变得至关重要，因而需要对每份已发药品拍照留底。采用机器辅助人工的识别方法，可以提高医护人员在核准药品类型方面的工作效率，降低工作复杂性。

深度学习是近十年来人工智能领域取得的最重要的突破之一，它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域都取得了巨大成功。深度学习与传统模式识别方式的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征，因而模型的表达能力更强，更具效率。

目前的目标检测算法主要是基于深度学习模型，本方法使用的目标检测网络，在结构上，是将特征提取，目标框定，结果分类三个部分整合到同一个网络中，使得综合性能有了较大的提升，并且同时在检测速度方面也有所提高。

发明内容

本发明的目的在于提供一种针对医院发放的医疗药品的检测与分类方法，以便对医疗药品发放实况进行检查和预警，严防医药误用造成的医疗事故，提高医药发放的准确性与安全性。

本发明是首个专门针对医院发放的医疗药品的检测与分类方法，可以自动实现对医院发放的医疗药品的药物类型，药物剂量，以及药品厂家的检测与识别，并针对检测结果展示不同的提示标志。

本发明提出的针对医院发放的医疗药品的检测与分类方法，这里的医院发放的医疗药品主要针对医院拍照留底的医疗药品图像中药物，具体步骤如下：

（1）对多角度拍摄的医疗药品按照分类树的统计方法进行分类，并制定编号；

（2）训练一个具有良好的分类医疗药品图像功能的卷积神经网络；

（3）结合目标检测网络与训练好的分类网络，获取医疗药品检测器；

（4）优化检测器输出结果，剔除虚警目标；

（5）分类展示优化后的检测器输出结果。

步骤（1）中，所述的对多角度拍摄的医疗药品按照分类树的统计方法进行分类，是利用多个摄像头，多角度的拍摄医疗药品，获取医疗药品图像数据集，采用分类树的统计方法，对医疗药品图像进行分类，并根据分类树中每类药品的完整信息，定义每一类药品的独有编号。

步骤（2）中，所述的训练一个具有良好的分类医疗药品图像功能的卷积神经网络，是将图像数据按照一定比例，分为训练集数据和测试集数据，利用训练集图像数据，经过多次的调整参数和训练，获取一个具有良好的分类医疗药品图像功能的卷积神经网络；所述卷积神经网络由多个卷积层、最大池化层和全连接层构成。卷积神经网络参见所附参考文献。

步骤（3）中，步骤（3）中，所述的结合目标检测网络与训练好的分类网络，获取医疗药品检测器，就是把一种目标检测网络与训练好的具有药品分类功能的卷积神经网络中的一种分类网络相结合，提取医疗药品特征，并获取一个具有检测和分类功能的医疗药品检测器，其输出结果包含框定药品目标的矩形框和药品类别编号。

步骤（4）中，所述的优化检测器输出，剔除虚警目标，是采用非极大值抑制NMS（Non-maximum suppression）的方法，优化检测器输出结果中的矩形框位置和数量，剔除虚警目标。

步骤（5）中，所述的分类展示优化后的检测器输出结果，是根据分类树的完整信息，判断检测器输出结果的正误性，并结合医疗药品发放情况的实际信息，分类展示检测结果。

1、对多角度拍摄的医疗药品其精细分类，并制定编号，其具体步骤为：

（1a）将多个摄像头固定在几个角度不同的位置上，对同一种已发的医疗药品多角度多次拍摄，并将照片上传至云端备份；

（1b）根据医疗药品图像中的药品种类数量的不同，将其分成单类药品图像数据集和多类药品图像数据集两大类；

（1c）根据每月医院已发放的医疗药品的Excel表格信息，按照药品计量单位、药品名称、药品剂量、药品生产厂家的顺序依次排序，如图1所示；

（1d）组合（2c）中排序后的表格信息，命名为医疗药品全称，并根据医疗药品全称，定义药品类别分类树；

（1e）制定与药品分类树中每一类医疗药品一一对应的编号，避免药品类别名称冗长而给后续工作带来的困扰。

2、训练一个具有良好的分类医疗药品图像功能的卷积神经网络，其具体步骤为：

（2a）将（1b）中的单类药品图像数据集，按照7:3的比例，随机分成训练数据集和测试数据集两部分；

（2b）利用一部分训练集数据，输入到卷积神经网络中训练分类网络在训练结束时，记录训练后的网络分类准确率，保存当前的分类网络；

（2c）调整网络参数，重新训练分类网络，反复训练几次，并记录每次的训练参数和分类准确率，保留当前网络结构下的最佳的分类网络备用；

（2d）调整网络结构，重复步骤（2b）与步骤（2c）的操作；

（2e）通过比较不同网络结构下，分类网络的输出结果的准确性和训练速度等综合因素，选取一个最佳的医疗药品分类网络备用。

3、步骤（3）结合目标检测网络与训练好的分类网络，获取医疗药品检测器，其具体步骤为：

（3a）选取训练效果最佳的医疗药品分类网络，迁移到未经训练的目标检测网络中，用于替代目标检测网络中的特征提取层；

（3b）输入包含全部医疗药品类别的小样本训练数据，设置网络参数，训练经过步骤（3a）操作后的检测网络；

（3c）利用随机梯度下降的方法，对当前正在训练的检测网络的网络参数进行优化调整，获取一个具有检测和分类全部医疗药品功能的检测器，并保存检测器；

（3d）在经过步骤（3c）处理并保存的检测器的基础上，输入包含全部医疗药品类别的大样本训练数据，调整网络参数，再次训练检测器，获得更优的检测和分类效果；

（3e）输入步骤（2a）中的验证集数据和多类的医疗药品图像数据到最优版本的检测器中，验证检测器效果，记录验证信息，分析检测结果。

4、优化检测器输出结果，剔除虚警目标，其具体步骤为：

（4a）采用非极大值抑制NMS（Non-maximum suppression）的方法，优化检测器输出结果中的矩形框位置和数量；

（4b）根据每个检测器输出的矩形框的分类概率得分大小，从小到大，将矩形框排序；

（4c）从最大分类概率矩形框开始，分别判断其余矩形框与它的重叠度（IOU）是否大于某个设定的阈值λ；

其中，重叠度（IOU）的计算公式为：

其中，本方法的设定阈值λ的选取范围为0.3 ~ 0.5；

（4d）判断两矩形框之间IOU是否大于预设定的阈值λ，如果大于设定阈值λ，则舍弃该低分类概率检测框；

（4e）重复步骤（4d）的过程，直到找到全部的需要保留矩形框为止，达到剔除虚警，优化检测结果的目的。

5、步骤（4）中分类展示优化后的检测器输出结果，其具体步骤为：

（5a）在（2b）的图片分类基础上，细分药品图像检测结果的错误情况，并定义错误类型；

其中，定义的错误类型包括如下四种：

①误发：单类药品发错和多类药品发错；

②多发：在已经发放了应发的药品类型的情况下，又多发了不应该发放的其余类药品；

③单类药品的剂量错误：单类药品的剂量不够或多发药品剂量；

④漏发：药品不存在或检测器未检测到药品。

（5b）根据步骤（5a）中提到的四种错误类型，分别显示四种不同的提示标志，更加清楚直观的提示错误，便于检查和校正。

本发明实用性强，可用医疗药品发放实况的检查和预警，严防医药误用造成的医疗事故，提高医药发放的准确性与安全性。

附图说明

图1是本发明中分类树中的每种药品标签定义方式流程图，以剂量单位为‘包’作为示例体现整个流程。

图2是本发明中使用的医疗图片数据类型分布直方图。

图3是本发明中的检测器内部工作流程的概念模型。

图4是本发明中使用的非极大值抑制NMS方法中IOU计算方法的概念模型，其中，A,B分别为两个矩形检测框。

图5是本发明中采用非极大值抑制的前后效果图，其中，（a）图是使用非极大值抑制方法前的效果，（b）图是使用非极大值抑制后的效果。

图6是四种不同类别药品的显示标志，其中，（a）图的红色标志是误发标志，（b）图得粉紫色标志是多发标志，（c）图的绿色标志是漏发标志，（d）图的黄色标志是单类药品的剂量错误标志。

图7是本发明的流程图示。

具体实施方式

首先，利用多个摄像头，多角度的拍摄医疗药品，获取医疗药品图像数据集，采用分类树的统计方法，对医疗药品图像进行分类，并根据分类树中每类药品的完整信息，定义每一类药品的独有编号，具体实施方式为：

步骤1：将多个摄像头固定在几个角度不同的位置上，多角度拍摄医院发放的真实医疗药品，并保存至云端备份；

步骤2：根据每月医院已发放的医疗药品Excel表格信息，按照计量单位、药品名称、药品剂量、药品生产厂家的顺序，定义药品类别分类树，其中，分类树中的药品全称例子为：‘瓶_(0.6)注射用阿莫西林钠克拉维酸钾_0.6g(0.5g/0.1g)_华北制药股份有限公司’；

步骤3：制定与药品分类树中每一类医疗药品一一对应的编号，可以避免药品类别名称冗长而给后续工作带来的困扰，其中，每类药品全称对应的标号设置为‘m_’+阿拉伯数字‘1,2,3……’，如‘瓶_(0.6)注射用阿莫西林钠克拉维酸钾_0.6g(0.5g/0.1g)_华北制药股份有限公司’对应的药品编号为：‘m_10’。

然后，训练一个具有良好的分类医疗药品图像功能的卷积神经网络，并结合目标检测网络与训练好的药品分类网络，通过再次训练，获取医疗药品检测器，具体实施方式为：

步骤1：按照7:3的比例，随机分成训练数据集和测试数据集两部分，利用一部分训练集数据，输入到卷积神经网络中训练分类网络在训练结束时，记录训练后的网络分类准确率，保存当前的分类网络；

其中，本发明中先使用了VGG16的网络结构，通过调整网络参数，重新训练分类网络，得到了当前网络结构下的最佳的VGG16医疗药品的分类网络；

步骤2：调整网络结构，调整网络参数，再次训练分类网络；

其中，本发明中使用了Alexnet的网络结构，通过调整网络参数，得到了当前网络结构下的最佳的Alexnet医疗药品的分类网络；

步骤3：比较VGG16医疗药品的分类网络和Alexnet医疗药品的分类网络的分类准确率和训练成本，本发明最后采用了Alexnet医疗药品的分类网络作为特征提取网络；

步骤4：选取训练效果最佳的医疗药品分类网络，迁移到未经训练的目标检测网络中，用于替代目标检测网络中的特征提取层；

其中，在本发明的试验过程中，选用了Faster RCNN作为目标检测网络，将训练好的Alexnet医疗药品的分类网络层替代Faster RCNN网络中的特征提取网络层；

步骤5：输入包含全部医疗药品类别的小样本训练数据，训练经过步骤4操作后的检测网络，在训练结束后保存检测器，记为‘检测器_v1’，利用验证图像数据集测试检测器性能；

步骤6：在‘检测器_v1’基础上，输入包含全部医疗药品类别的大样本训练数据，调整网络参数，获得更优的检测和分类效果的检测器，记为‘检测器_v2’，‘检测器_v2’即为最终的医疗药品检测器。

其中，该网络训练时的网络参数，如下表1所示：

表1 训练参数

表格中的InitialLearnRate表示学习率、MiniBatchSize表示每次迭代计算使用图像数量的最小值、MaxEpochs表示每次训练最多使用训练数据轮数。

同时，本发明还采用随机梯度下降的方法，对当前正在训练的检测网络的网络参数进行优化调整。

再者，采用非极大值抑制NMS（Non-maximum suppression）的方法，优化检测器输出结果中的矩形框位置和数量，剔除虚警目标，具体实施方式为：

步骤1：根据每个检测器输出的矩形框的分类概率得分大小，从小到大，将矩形框排序；

步骤2：从最大分类概率矩形框开始，分别判断其余矩形框与它的重叠度（IOU）是否大于某个设定的阈值λ；

其中，重叠度（IOU）的计算公式为：

其中，本发明中采用的设定阈值为λ=0.5；

步骤3：判断两矩形框之间IOU是否大于预设定的阈值，如果大于设定阈值，则舍弃该低分类概率检测框，直到找到全部的需要保留矩形框为止，从而达到剔除虚警，优化检测结果的目的。

最后，采用基于医疗药品发放情况的实际信息，对不同类型的检测结果进行分类展示，具体实施方式为：

步骤1：细分错误类型，包括如下四种：误发（单类药品图片发错药品和多类药品图片发错药品），单类药品的剂量错误（单类药品的剂量不够或多发了剂量），多发（在发放了应发的药品类型的情况下，多发了不应该发放其余类别的药物），漏发（药品不存在或检测器未检测到）；

步骤2：根据步骤一中提到的四种错误类型定义，分别显示四种不同的提示标志，更加清楚直观的提示错误，便于检查和校正。

其中，红色标志是误发标志，粉紫色标志是多发标志，绿色标志是漏发标志，黄色标志是单类药品的剂量错误标志。

在本发明的实验过程中，训练得到的两个检测器训练数据、验证数据以及检测的准确率如下表2所示。

表2检测器性能

。

参考文献

[1] Ren Shaoqing, He Kaiming, Ross B. Girshick, Jian Sun, "Faster R-CNN:towards real-time object detection with region proposal networks", IEEETrans. Pattern Anal. Mach. In tell., vol. 39, no. 6, pp. 1137-1149, 2017.

[2] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification withdeep convolutional neural networks[C]// International Conference on NeuralInformation Processing Systems. Curran Associates Inc. 2012:1097-1105.

[3] K. Simonyan, A. Zisserman, "Very deep convolutional networks forlarge-scale image recognition", Int. Conf. on Learning Representations,2015.。

Claims (6)

1.一种基于深度学习的医疗药品图像的检测与分类方法，其特征在于，具体步骤如下：

（1）对多角度拍摄的医疗药品按照分类树的统计方法进行分类，并制定编号；

（2）训练一个具有良好的分类医疗药品图像功能的卷积神经网络；

（3）结合目标检测网络与训练好的分类网络，获取医疗药品检测器；

（4）优化检测器输出结果，剔除虚警目标；

（5）分类展示优化后的检测器输出结果；

步骤（1）中，所述的对多角度拍摄的医疗药品按照分类树的统计方法进行分类，并制定编号，是利用多个摄像头，多角度的拍摄医疗药品，获取医疗药品图像数据集，采用分类树的统计方法，对医疗药品图像进行分类，并根据分类树中每类药品的完整信息，定义每一类药品的独有编号；

步骤（2）中，所述的训练一个具有良好的分类医疗药品图像功能的卷积神经网络，是将图像数据按照一定比例，分为训练集数据和测试集数据，利用训练集图像数据，经过多次的调整参数和训练，获取一个具有良好的分类医疗药品图像功能的卷积神经网络；所述卷积神经网络由多个卷积层、最大池化层和全连接层构成；

步骤（3）中，所述的结合目标检测网络与训练好的分类网络，获取医疗药品检测器，就是采用卷积神经网络中目标检测网络与训练好的具有药品分类功能的卷积神经网络中的分类网络相结合，提取医疗药品特征，并获取一个具有检测和分类功能的医疗药品检测器，其输出结果包含框定药品目标的矩形框和药品类别编号；

步骤（4）中，所述的优化检测器输出，剔除虚警目标，是采用非极大值抑制NMS的方法，优化检测器输出结果中的矩形框位置和数量，剔除虚警目标；

步骤（5）中，所述的分类展示优化后的检测器输出结果，是根据分类树的完整信息，判断检测器输出结果的正误性，并结合医疗药品发放情况的实际信息，分类展示检测结果。

2.根据权利要求1所述的基于深度学习的医疗药品图像的检测与分类方法，其特征在于，步骤（1）中对多角度拍摄的医疗药品进行类，并制定编号，具体步骤为：

（2a）将多个摄像头固定在几个角度不同的位置上，对同一种已发的医疗药品多角度多次拍摄，并将照片上传至云端备份；

（2b）根据医疗药品图像中的药品种类数量的不同，将其分成单类药品图像数据集和多类药品图像数据集两大类；

（2c）根据每月医院已发放的医疗药品的Excel表格信息，按照药品计量单位、药品名称、药品剂量、药品生产厂家的顺序依次排序；

（2d）组合步骤（2c）中排序后的表格信息，命名为医疗药品全称，并根据医疗药品全称，定义药品类别分类树；

（2e）制定与药品分类树中每一类医疗药品一一对应的编号，避免药品类别名称冗长而给后续工作带来的困扰。

3.根据权利要求2所述的基于深度学习的医疗药品图像的检测与分类方法，其特征在于，步骤（2）中训练一个具有良好的分类医疗药品图像功能的卷积神经网络，具体步骤为：

（3a）将步骤（2b）中的单类药品图像数据集，按照7:3的比例，随机分成训练数据集和测试数据集两部分；

（3b）利用一部分训练集数据，输入到卷积神经网络中训练分类网络在训练结束时，记录训练后的网络分类准确率，保存当前的分类网络；

（3c）调整网络参数，重新训练分类网络，反复训练几次，并记录每次的训练参数和分类准确率，保留当前网络结构下的最佳的分类网络备用；

（3d）调整网络结构，重复步骤（3b）与步骤（3c）的操作；

（3e）通过比较不同网络结构下，分类网络的输出结果的准确性和训练速度综合因素，选取一个最佳的医疗药品分类网络备用。

4.根据权利要求3所述的基于深度学习的医疗药品图像的检测与分类方法，其特征在于，步骤（3）结合目标检测网络与训练好的分类网络，获取医疗药品检测器，具体步骤为：

（4a）选取训练效果最佳的医疗药品分类网络，迁移到未经训练的目标检测网络中，用于替代目标检测网络中的特征提取层；

（4b）输入包含全部医疗药品类别的小样本训练数据，设置网络参数，训练经过步骤（4a）操作后的检测网络；

（4c）利用随机梯度下降的方法，对当前正在训练的检测网络的网络参数进行优化调整，获取一个具有检测和分类全部医疗药品功能的检测器，并保存检测器；

（4d）在经过步骤（4c）处理并保存的检测器的基础上，输入包含全部医疗药品类别的大样本训练数据，调整网络参数，再次训练检测器，获得更优的检测和分类效果；

（4e）输入步骤（3a）中的验证集数据和多类的医疗药品图像数据到最优版本的检测器中，验证检测器效果，记录验证信息，分析检测结果。

5.根据权利要求4所述的基于深度学习的医疗药品图像的检测与分类方法，其特征在于，步骤（4）优化检测器输出结果，剔除虚警目标，具体步骤为：

（5a）采用非极大值抑制NMS的方法，优化检测器输出结果中的矩形框位置和数量；

（5b）根据每个检测器输出的矩形框的分类概率得分大小，从小到大，将矩形框排序；

（5c）从最大分类概率矩形框开始，分别判断其余矩形框与它的重叠度（IOU）是否大于某个设定的阈值λ；

其中，重叠度的计算公式为：

其中，设定阈值λ的选取范围为0.3 ~ 0.5；

（5d）判断两矩形框之间IOU是否大于预设定的阈值λ，如果大于设定阈值λ，则舍弃该低分类概率检测框；

（5e）重复步骤（5d）的过程，直到找到全部的需要保留矩形框为止，达到剔除虚警，优化检测结果的目的。

6.根据权利要求5所述的基于深度学习的医疗药品图像的检测与分类方法，其特征在于，步骤（5）中分类展示优化后的检测器输出结果，具体步骤为：

（6a）在步骤（2b）的图片分类基础上，细分药品图像检测结果的错误情况，并定义错误类型；定义的错误类型包括如下四种：

①误发：单类药品发错和多类药品发错；

②多发：在已经发放了应发的药品类型的情况下，又多发了不应该发放的其余类药品；

③单类药品的剂量错误：单类药品的剂量不够或多发药品剂量；

④漏发：药品不存在或检测器未检测到药品；

（6b）根据步骤（6a）中提到的四种错误类型，分别显示四种不同的提示标志，更加清楚直观的提示错误，便于检查和校正。