CN113947586A - 从采集图像中准确锚定药品包装的方法 - Google Patents
从采集图像中准确锚定药品包装的方法 Download PDFInfo
- Publication number
- CN113947586A CN113947586A CN202111225715.3A CN202111225715A CN113947586A CN 113947586 A CN113947586 A CN 113947586A CN 202111225715 A CN202111225715 A CN 202111225715A CN 113947586 A CN113947586 A CN 113947586A
- Authority
- CN
- China
- Prior art keywords
- medicine
- different
- training
- package
- packaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004873 anchoring Methods 0.000 title claims abstract description 11
- 239000003814 drug Substances 0.000 claims abstract description 105
- 238000004806 packaging method and process Methods 0.000 claims abstract description 32
- 229940079593 drug Drugs 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 239000005022 packaging material Substances 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009512 pharmaceutical packaging Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Medical Preparation Storing Or Oral Administration Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能领域，特别是涉及人工智能在药房发药过程中的应用，更为具体的说是涉及从采集图像中准确锚定药品包装的方法，以YOLO算法作为基础，通过融合其与卷积神经网络，可以从复杂的识别台采集图像中快速、准确锚定出药品包装所在区域，从而为后续的精准识别提供基础。本发明中经过训练的YOLO模型能够快速锚定采集图像中多个药品包装区域，保证人工智能审核药物的效率，符合我国药房频次高、数量大、强度大的审核需求。
Description
技术领域
本发明涉及人工智能领域，特别是涉及人工智能在药房发药过程中的应用，更为具体的说是涉及从采集图像中准确锚定药品包装的方法。
背景技术
随着人工智能的不断发展，其在医药健康领域的应用不断扩大。药品调配工作是影响患者用药安全的重要环节之一。近年来，一些医院通过自动发药系统应用，调配差错率有明显降低，但不同品牌、不同上药方式的自动发药系统差错率差别较大，某些自动发药系统差错率甚至超过1％；而且，自动发药系统可覆盖药房约70％的品规，剩余30％品规仍需人工调配；此外，自动发药系统在医院中住院、急诊药房的覆盖率不高，民营及基层医疗机构部署有限。当前环境下，人工核对仍然是医院发药安全的最后一道重要保障。
将人工智能应用在药品调配过程中可以提高核药效率，降低由于人为因素造成的核发错误。但是，由于我国医院药房具有频次高、数量大、强度大等特点。因此，保证人工智能审核发放药物与药单之间匹配的准确率和效率是本领域技术人员的研究热点，也是将人工智能应用在药品调配过程中需要攻克的难点问题。
本发明的发明人发现提高核药效率的有效手段之一是一次性采集多个药品的图像，然后将药品图像从采集到整体图像中锚定出来，再将这些药品图像分别与数据库中的比对特征进行比对，从而获得药品的品规，并进而与药单进行核对。
但是，在实际开发过程中，发明人发现要将特征点少，规格多的待识别目标物药品包装从复杂的可能含有手臂、药篮等背景的采集图像中高效、准确地锚定出来具有很大的难度。
发明内容
本发明所要解决的技术问题是快速、准确地从采集图像中锚定出药品包装图像所在区域。
为了解决上述技术问题，本发明公开了从采集图像中准确锚定药品包装的方法，包括以下步骤：
S1：将检测台采集到的采集图像进行预处理，使其满足要求；
S2：采用经过训练的YOLO卷积神经网络作为模型，计算获得预测输出y，
其中，pc指这个边界框含有目标的可能性大小；当pc为1时，代表检测到的边界框中含有药品包装，当pc不为1时，代表检测到的边界框中不含有药品包装；
bx为目标的x坐标值；
by为目标的y坐标值；
bh为预测框的高；
bw为预测框的宽；
S3：对于输出值进行处理，过滤掉得分低的值，得分＝pc×confidence；其中confidence指的是这个边界框的准确度，边界框的准确度用预测框与实际框的IOU(交并比)来表征；
S4：选取得分最大的边界框，用画图工具在图片中画出锚框，被锚框框出的区域即为药品包装所在区域。
进一步优选地，所述YOLO卷积神经网络训练包括：正样本与负样本识别训练、药品包装边框特征训练、药品包装样式分类训练、grid cell参数训练。
进一步优选地，所述YOLO卷积神经网络中正样本与负样本识别训练方法包括以下步骤：
S2A1：收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为正样本数据集；
S2A2：收集常见非药品包装干扰图片，包括不同药篮、不同手臂、不同灯管的各种图片，作为负样本数据集；
S2A3：将正样本数据集和负样本数据集分别划分为训练数据集和测试数据集，采用卷积神经网络深度学习，输入正样本，该网络的输出为1，输入负样本，该网络的输出为0，不断训练、迭代、测试。
进一步优选地，所述YOLO卷积神经网络中药品包装边框特征训练方法包括以下步骤：
S2B1：收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为药品包装样本数据集；
S2B2：采用卷积神经网络深度学习样本图片，提取药品包装边框特征，获得药品包装边框的n个anchor box；其中，n个anchor是指药品包装的不同长宽比例，包括狭长型药品包装、正方形药品包装、长方形药品包装等。
进一步优选地，所述YOLO卷积神经网络中药品包装样式分类训练方法包括以下步骤：
S2C1：收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为药品包装样本数据集；
S2C2：采用卷积神经网络深度学习样本图片，提取药品包装边框特征，分析药品包装的样式，确定m个药品包装的分类。
进一步优选地，所述YOLO卷积神经网络中grid cell参数训练方法包括以下步骤：
S2D1：收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为药品包装样本数据集；
S2D2：计算检测台尺寸与不同药品包装尺寸的比例；
S2D3：计算出合适的分割数量，S×S的grid cell；其中，S×S划分的标准是能细化到药品包装局部特征，确保任意单个药品包装能覆盖多个grid cell。
进一步优选地，以正样本、负样本、anchor box长宽比参数、药品包装样式分类以及grid cell参数反复训练YOLO卷积神经网络模型，其中n、m和S*S可以是一个区间，在区间内多次测试，直至达到识别精度满意度，训练完成。
本发明针对药品包装识别领域，以YOLO算法作为基础，通过融合其与卷积神经网络，可以从复杂的识别台采集图像中快速、准确锚定出药品包装所在区域，从而为后续的精准识别提供基础。本发明中经过训练的YOLO模型能够快速锚定采集图像中多个药品包装区域，保证人工智能审核药物的效率，符合我国药房频次高、数量大、强度大的审核需求。
具体实施方式
为了更好的理解本发明，下面我们结合具体的实施例对本发明进行进一步的阐述。
实施例1
首先收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为正样本数据集；同时收集常见非药品包装干扰图片，包括不同药篮、不同手臂、不同灯管的各种图片，作为负样本数据集；
同时以不同品类、不同规格、不同厂家、不同包装材质的各种药品图片建立用于卷积神经网络学习的样本图片数据集和用于药品包装样式分类的图片数据集；
采用卷积神经网络深度学习样本图片，提取药品包装边框特征，获得药品包装边框的n个anchor box；其中，n个anchor是指药品包装的不同长宽比例，包括狭长型药品包装、正方形药品包装、长方形药品包装等。
采用卷积神经网络深度学习样本图片，提取药品包装边框特征，分析药品包装的样式，确定m个药品包装的分类。
根据不同品类、不同规格、不同厂家、不同包装材质的各种药品图片与检测台的尺寸，计算检测台尺寸与不同药品包装尺寸的比例，计算出合适的分割数量，S×S的gridcell；其中，S×S划分的标准是能细化到药品包装局部特征，确保任意单个药品包装能覆盖多个grid cell。
以正样本、负样本、anchor box长宽比参数、药品包装样式分类以及grid cell参数反复训练YOLO卷积神经网络模型，其中n、m和S*S可以是一个区间，在区间内多次测试，其中将正样本数据集和负样本数据集分别划分为训练数据集和测试数据集，采用卷积神经网络深度学习，输入正样本，该网络的输出为1，输入负样本，该网络的输出为0，不断训练、迭代、测试；直至达到识别精度满意度，训练完成。
然后，将检测台采集到的采集图像进行预处理，使其满足要求；这里的处理包括重新设定图片大小，将其转化为标准尺寸从而满足模型需要；
然后采用前述的经过训练的YOLO卷积神经网络作为模型，计算获得预测输出y，
其中，pc指这个边界框含有目标的可能性大小；当pc为1时，代表检测到的边界框中含有药品包装，当pc不为1时，代表检测到的边界框中不含有药品包装；
bx为目标的x坐标值；
bt为目标的y坐标值；
bh为预测框的高；
bw为预测框的宽；
对于输出值y进行处理，过滤掉得分低的值，得分＝pc×confidence；其中confidence指的是这个边界框的准确度，边界框的准确度用预测框与实际框的IOU(交并比)来表征；
选取得分最大的边界框，用画图工具在图片中画出锚框，被锚框框出的区域即为药品包装所在区域。
以上所述是本发明的具体实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (7)
1.从采集图像中准确锚定药品包装的方法，其特征在于，包括以下步骤：
S1：将检测台采集到的采集图像进行预处理，使其满足要求；
S2：采用经过训练的YOLO卷积神经网络作为模型，计算获得预测输出y，
其中，pc指这个边界框含有目标的可能性大小；当pc为1时，代表检测到的边界框中含有药品包装，当pc不为1时，代表检测到的边界框中不含有药品包装；
bx为目标的x坐标值；
by为目标的y坐标值；
bh为预测框的高；
bw为预测框的宽；
S3：对于输出值进行处理，过滤掉得分低的值，得分＝pc×confidence；其中confidence指的是这个边界框的准确度，边界框的准确度用预测框与实际框的IOU(交并比)来表征；
S4：选取得分最大的边界框，用画图工具在图片中画出锚框，被锚框框出的区域即为药品包装所在区域。
2.根据权利要求1所述的从采集图像中准确锚定药品包装的方法，其特征在于，所述YOLO卷积神经网络训练包括：正样本与负样本识别训练、药品包装边框特征训练、药品包装样式分类训练、grid cell参数训练。
3.根据权利要求2所述的从采集图像中准确锚定药品包装的方法，其特征在于，所述YOLO卷积神经网络中正样本与负样本识别训练方法包括以下步骤：
S2A1：收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为正样本数据集；
S2A2：收集常见非药品包装干扰图片，包括不同药篮、不同手臂、不同灯管的各种图片，作为负样本数据集；
S2A3：将正样本数据集和负样本数据集分别划分为训练数据集和测试数据集，采用卷积神经网络深度学习，输入正样本，该网络的输出为1，输入负样本，该网络的输出为0，不断训练、迭代、测试。
4.根据权利要求2所述的从采集图像中准确锚定药品包装的方法，其特征在于，所述YOLO卷积神经网络中药品包装边框特征训练方法包括以下步骤：
S2B1：收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为药品包装样本数据集；
S2B2：采用卷积神经网络深度学习样本图片，提取药品包装边框特征，获得药品包装边框的n个anchor box；其中，n个anchor是指药品包装的不同长宽比例，包括狭长型药品包装、正方形药品包装、长方形药品包装等。
5.根据权利要求2所述的从采集图像中准确锚定药品包装的方法，其特征在于，所述YOLO卷积神经网络中药品包装样式分类训练方法包括以下步骤：
S2C1：收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为药品包装样本数据集；
S2C2：采用卷积神经网络深度学习样本图片，提取药品包装边框特征，分析药品包装的样式，确定m个药品包装的分类。
6.根据权利要求2所述的从采集图像中准确锚定药品包装的方法，其特征在于，所述YOLO卷积神经网络中grid cell参数训练方法包括以下步骤：
S2D1：收集药品包装图片，包括不同品类、不同规格、不同厂家、不同包装材质的各种图片，作为药品包装样本数据集；
S2D2：计算检测台尺寸与不同药品包装尺寸的比例；
S2D3：计算出合适的分割数量，S×S的grid cell；其中，S×S划分的标准是能细化到药品包装局部特征，确保任意单个药品包装能覆盖多个grid cell。
7.根据权利要求2所述的从采集图像中准确锚定药品包装的方法，其特征在于，以正样本、负样本、anchor box长宽比参数、药品包装样式分类以及grid cell参数反复训练YOLO卷积神经网络模型，其中n、m和S*S可以是一个区间，在区间内多次测试，直至达到识别精度满意度，训练完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111225715.3A CN113947586A (zh) | 2021-10-21 | 2021-10-21 | 从采集图像中准确锚定药品包装的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111225715.3A CN113947586A (zh) | 2021-10-21 | 2021-10-21 | 从采集图像中准确锚定药品包装的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113947586A true CN113947586A (zh) | 2022-01-18 |
Family
ID=79332017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111225715.3A Pending CN113947586A (zh) | 2021-10-21 | 2021-10-21 | 从采集图像中准确锚定药品包装的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113947586A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
| CN111325084A (zh) * | 2019-08-29 | 2020-06-23 | 西安铱食云餐饮管理有限公司 | 一种基于yolo神经网络的菜品信息识别方法、终端 |
-
2021
- 2021-10-21 CN CN202111225715.3A patent/CN113947586A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
| CN111325084A (zh) * | 2019-08-29 | 2020-06-23 | 西安铱食云餐饮管理有限公司 | 一种基于yolo神经网络的菜品信息识别方法、终端 |
Non-Patent Citations (1)
| Title |
|---|
| 王言娟: "基于卷积神经网络的目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2020, 15 February 2020 (2020-02-15), pages 18 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aquino et al. | A new methodology for estimating the grapevine-berry number per cluster using image analysis | |
| CN109919230B (zh) | 基于循环特征金字塔的医学图像肺结节检测方法 | |
| CN110197492A (zh) | 一种心脏mri左心室分割方法及系统 | |
| WO2020103417A1 (zh) | 一种bmi评测方法、装置及计算机可读存储介质 | |
| CN110969245A (zh) | 医学图像的目标检测模型训练方法和装置 | |
| CN114049565B (zh) | 基于遥感影像和dem数据的地质灾害判识方法和装置 | |
| CN110032946B (zh) | 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法 | |
| Krawczyk et al. | Bones detection in the pelvic area on the basis of YOLO neural network | |
| CN103544691A (zh) | 图像处理方法及设备 | |
| CN112345534B (zh) | 一种基于视觉的泡罩板中颗粒的缺陷检测方法及系统 | |
| CN109191465A (zh) | 一种基于深度学习网络判定、标识人体左右第一肋骨的系统 | |
| CN111667474A (zh) | 骨折识别方法、装置、设备和计算机可读存储介质 | |
| CN114927215B (zh) | 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统 | |
| CN115131783A (zh) | 基于机器视觉的用户饮食营养成分信息自主感知方法 | |
| CN113378831B (zh) | 一种小鼠胚胎器官识别与评分方法与系统 | |
| CN113947586A (zh) | 从采集图像中准确锚定药品包装的方法 | |
| CN103268494A (zh) | 基于稀疏表示的寄生虫虫卵识别方法 | |
| CN111626986B (zh) | 一种基于深度学习的三维超声腹壁疝补片检测方法及系统 | |
| CN109785397B (zh) | 一种图像中色卡颜色提取方法及装置 | |
| CN115937593A (zh) | 一种模型法建立方法、物体检测方法及相关设备 | |
| CN115690486A (zh) | 识别图像中病灶方法、装置、设备及存储介质 | |
| Li et al. | Extraction of key regions of beef cattle based on bidirectional tomographic slice features from point cloud data | |
| Suksawatchon et al. | Shape Recognition Using Unconstrained Pill Images Based on Deep Convolution Network | |
| CN115240091A (zh) | 一种水稻穗粒快速检测方法及装置 | |
| CN112308061B (zh) | 一种车牌字符识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |