CN109472297A - 药柜药品智能定位管理方法及系统 - Google Patents
药柜药品智能定位管理方法及系统 Download PDFInfo
- Publication number
- CN109472297A CN109472297A CN201811213426.XA CN201811213426A CN109472297A CN 109472297 A CN109472297 A CN 109472297A CN 201811213426 A CN201811213426 A CN 201811213426A CN 109472297 A CN109472297 A CN 109472297A
- Authority
- CN
- China
- Prior art keywords
- drug
- medicine
- image
- cargo path
- shipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003814 drug Substances 0.000 title claims abstract description 346
- 229940079593 drug Drugs 0.000 title claims abstract description 271
- 238000007726 management method Methods 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 17
- 238000010191 image analysis Methods 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000003475 lamination Methods 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000009885 systemic effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229940046236 drug tradename Drugs 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
- G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/0092—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for assembling and dispensing of pharmaceutical articles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Medical Preparation Storing Or Oral Administration Devices (AREA)
Abstract
一种医药零售技术领域的药柜药品智能定位管理方法及系统，包括以下步骤：S1，建立药品识别模型以及药品比对模型；S2，获取需求药品的待识别图像；S3，预出货药品信息提取；S4，图像捕捉装置位置修正；S5，药品识别出药。本发明使用图像检测技术对客户的预期药品与待出货药品进行匹配，防止错售药品，提高售药安全性；同时能够实时更新药柜中药品信息，提高药柜中药品管理效率，降低管理成本。
Description
技术领域
本发明涉及的是一种医药零售领域的技术，具体是一种药柜药品智能定位管理方法及系统。
背景技术
随着无人售货机技术不断迭代和发展，现在已可以应用于药品零售。目前市场中自动售药机采用传统无人售货机人工上货模式，即上货人员根据上位机预设信息将同类药品手动放入指定货道(上位机预设信息可进行人工更新)，客户根据需要购买的药品选择货道出货，设备则通过激光扫码技术扫描药品溯源码确认出货药品信息无误后出货。
考虑到售药及用药安全的问题，必须对售出的药品溯源扫码，而药品溯源码扫描识别对于扫码设备及药品溯源码的位置有着严格的要求，否则将无法完成该动作而顺利出药。故上述出药过程面临两项考验：其一是药品实际摆放位置与系统预设位置应相同，不能有偏差；其二是补货人员在摆放药品时条码位置须与系统预设位置一致，不能出现偏差。然而药柜设备售药面向开放环境，同一条货道上药品种类不可能始终保持不变，而且补货人员每天要装填上千盒药品不可能不出现失误。因而如何准确定位药品溯源码的位置以便进行扫码识别是亟待解决的问题。
发明内容
本发明针对现有技术存在的上述不足，提出了一种药柜药品智能定位管理方法及系统，使用视觉检测技术对客户的预期药品与待出货药品进行匹配，防止错售药品，提高售药安全性。
本发明是通过以下技术方案实现的：
本发明涉及一种药柜药品智能定位管理方法，包括以下步骤：
S1，建立药品识别模型以及药品比对模型；
在未放置药品时对药柜内的每一个货道设定初始坐标，之后将不同种类的待售药品与所述货道一一对应放置，以货道前端第一盒药品作为预设药品，以预设药品所在货道作为预设货道；针对每一个货道，根据所述货道的初始坐标移动图像捕捉装置到标准位置，采用图像捕捉装置获取包括预设货道、货道编号、预设药品及药品溯源码在内的初始图像，以在标准位置获取的初始图像做为标准图像；再采用深度残差网络对所述标准图像进行包括预设药品种类、预设货道编号识别以及预设药品边界坐标、药品溯源码边界坐标、预设货道编号边界坐标标注在内的训练，得到药品识别模型以及预设药品信息；以及采用深度残差网络对标准图像显示的预设药品种类进行训练得到药品比对模型；
S2，获取需求药品的待识别图像；
获取药品的需求信息，基于预设药品信息移动图像捕捉装置至需求药品所在预设货道位置，图像捕捉装置获取包括预出货药品、药品溯源码、预出货货道及货道编号在内的待识别图像，记录图像捕捉装置移动前的坐标(xl，zl)以及移动后的坐标(x，z)；
S3，预出货药品信息提取；
采用药品识别模型对获取的待识别图像进行特征提取，获取经处理的图像以及包括预出货药品种类与边界坐标、药品溯源码边界坐标、预出货货道编号与编号边界坐标在内的预出货药品信息；
S4，图像捕捉装置位置修正；
若预出货药品信息与预设药品信息中货道编号且药品种类同时匹配，则计算待识别图像中心点坐标(xp，yp)与经处理的图像上坐标(xc，yc)的偏移值(Δx，Δy)，移动图像捕捉装置至修正坐标(x+Δx，z-Δz)，其中，xc为预出货药品中心点横坐标，yc为预出货货道的中心点纵坐标，Δx＝xc-xp，Δy＝yp-yc，Δz＝Δy·sinα，α为货道中药品放置板所在平面与水平面的夹角(药品放置板相对于水平面倾斜设置)；
若货道编号与药品种类至少有一项无法匹配，则存储待识别图像作为异常图像输入药品识别模型进行模型增强改进，而图像捕捉装置返回上一坐标(xl，zl)，跳过当前坐标(x，z)，在与当前坐标(x，z)对应货道左右相邻的货道范围内获取药品图像进行药品信息匹配，若能够找到需求药品则更新药品边界坐标矩阵，并对图像捕捉装置位置进行修正；若找不到需求药品，则进行报警处理，终止售药；
S5，药品识别出药；
图像捕捉装置在修正的位置处获取预出货药品的待比对图像，采用药品比对模型进行预出货药品种类二次匹配；若待比对图像中显示的预出货药品种类与需求药品对应的标准图像显示的预设药品种类匹配，则扫描识药品溯源码得到溯源数据，否则进行报警处理，终止售药；
若溯源数据与需求药品信息匹配，对预出货药品进行出货；若溯源数据与需求药品信息不匹配则回收药品，再对同一货道内的下一盒药品扫码进行溯源数据与需求药品信息的匹配。
所述药品种类根据药品包装上的药品品牌、药品通用名、药品商品名进行分类。
所述预出货药品信息中预设货道的编号边界坐标表示为(xmin1，xmax1，ymin1，ymax1)，所述预出货药品的边界坐标表示为(xmin2，xmax2，ymin2，ymax2)，所述药品溯源码的边界坐标表示为(xmin3，xmax3，ymin3，ymax3)；所述边界坐标为将预设货道编号、预出货药品、药品溯源码虚拟成矩形线框后矩形线框四个顶点的坐标，所述矩形线框为包含有预设货道编号、预出货药品或药品溯源码的最小矩形。
所述预出货药品的中心点横坐标xc＝xmin2+(xmax2-xmin2)/2，所述预设货道编号的中心点纵坐标yc＝ymin1+(ymax1-ymin1)/2。
所述药品识别模型中深度残差网络包括若干残差块、若干最大池化层和一个全连接层；
所述残差块均包括一个恒等映射和一个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；所述卷积层提取待处理图像特征值得到节点特征图像；
任意一个最大池化层与相邻的两残差块连接，所述任意一个最大池化层对节点特征图像进行特征信息提取同时缩减图像尺寸使得药品识别模型更容易收敛；
所述全连接层对不同残差块中卷积层生成的高分辨率节点特征图像和低分辨率节点特征图像拼接后的特征图像进行处理，提取得到关于药品信息的全连接层参数；
所述药品识别模型根据全连接层参数进行药品信息分类，得到药品信息的分类结果。
所述药品识别模型中卷积层采用LeakyRelu激活函数，并且在激活前采用批量标准化处理特征参数，将特征参数归一化，避免梯度消失和梯度爆炸问题。
所述药品比对模型中采用的深度残差网络包括若干残差块、若干最大池化层和一个全连接层；
所述残差块均包括一个恒等映射和一个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；所述卷积层提取待处理图像特征值得到节点特征图像；
任意一个最大池化层与相邻的两残差块连接，所述任意一个最大池化层对节点特征图像进行特征信息提取同时缩减图像尺寸；
所述全连接层对不同残差块中卷积层生成的高分辨率节点特征图像和低分辨率节点特征图像拼接后的特征图像进行处理，提取得到关于药品种类特征的图像权重编码；
所述药品比对模型通过计算两图像对应的图像权重编码的向量距离，判断两张图片的相似度，得到药品种类匹配结果。
因药柜内的药品处于封闭环境，光线只来源于图像拍摄装置的照明灯，故在进行所述训练时需要对图像暗色系进行增强处理，之后在设定损失函数和评价指标的基础上对药品的不同特征信息赋予不同的权重再进行包括前向传播、反向传播、交叉验证在内的迭代计算实现。
所述药品识别模型训练中采用的损失函数的参数为是否有药品、药品种类、药品边界坐标三个变量的组合，所述药品比对模型训练中采用的损失函数为训练图像、正样本和负样本的三元组。
所述评价指标为精确率和召回率的组合。
所述药品比对模型中卷积层采用LeakyRelu激活函数，通过对负样本设定较低权重，避免在模型训练过程中由于负样本的原因造成某些节点永久死亡。
本发明涉及一种药柜药品智能定位管理系统，包括：数据库模块、图像捕捉装置、图像分析模块、坐标修正模块和控制模块，其中，数据库模块与坐标修正模块相连并输出预设的需求药品信息，图像捕捉装置与图像分析模块相连并输出包括预设货道、货道编号、预出货药品及药品溯源码在内的待识别图像，图像分析模块与数据库模块相连并输出经识别药品的药品信息，图像分析模块与坐标修正模块相连并输出预出货药品信息，坐标修正模块与控制模块相连并根据预出货药品信息与预设的需求药品信息锁定需求药品位置向控制模块输出扫码坐标信息，控制模块与图像捕捉装置相连并输出扫码位置控制信息。
技术效果
与现有技术相比，本发明具有如下技术效果：
1)使用图像检测技术对客户的预期药品与待出货药品进行匹配，防止错售药品，提高售药安全性；同时能够实时更新药柜中药品信息，提高药柜中药品管理效率，降低管理成本；
2)在设置药品识别模型的基础上增加了药品对比模型，药品识别模型应用于超大数据集识别任务时，由于需要标注的药品种类众多，包含上万种不同种类、不同品牌的药品，并且由于需要分类的特征多，因此识别准确率有所下降；增加药品对比模型后，药品对比模型对于不同的药品独立训练，通过设计三元组的损失函数，使模型对正样本与负样本有比较强的辨识能力，通过计算两张图片的特征距离得到两者的相似度，提高了对于药品种类识别的精确度以及可识别的药品种类数量，弥补了药品识别模型的局限性。
附图说明
图1为本发明中药柜药品智能定位管理方法流程图；
图2为本发明中待识别图像示意图；
图3为本发明中预设货道编号边界坐标、预出货药品边界坐标及药品溯源码坐表示意图；
图4为本发明中修正扫码中心点坐标的示意图；
图5为本发明中系统拓扑结构示意图；
图中：数据库模块1、图像捕捉装置2、图像分析模块3、坐标修正模块4、控制模块5。
具体实施方式
下面结合附图及具体实施方式对本发明进行详细描述。
实施例1
如图1所示，本实施例涉及一种药柜药品智能定位管理方法，包括以下步骤：
S1，建立药品识别模型以及药品比对模型；
在未放置药品时对药柜内的每一个货道设定初始坐标，之后将不同种类的待售药品与所述货道一一对应放置，以货道前端第一盒药品作为预设药品，以预设药品所在货道作为预设货道；针对每一个货道，根据所述货道的初始坐标移动图像捕捉装置到标准位置，采用图像捕捉装置获取包括预设货道、货道编号、预设药品及药品溯源码在内的初始图像，以在标准位置获取的初始图像做为标准图像；再采用深度残差网络对所述标准图像进行包括预设药品种类、预设货道编号识别以及预设药品边界坐标、药品溯源码边界坐标、预设货道编号边界坐标标注在内的训练，得到药品识别模型以及预设药品信息；以及采用深度残差网络对标准图像显示的预设药品种类进行训练得到药品比对模型；
S2，获取需求药品的待识别图像；
获取药品的需求信息，基于预设药品信息移动图像捕捉装置至需求药品所在预设货道位置，图像捕捉装置获取包括预出货药品、药品溯源码、预出货货道及货道编号在内的待识别图像，如图2所示；记录图像捕捉装置移动前的坐标(xl，zl)以及移动后的坐标(x，z)；
S3，预出货药品信息提取；
采用药品识别模型对获取的待识别图像进行特征提取，获取经处理的图像以及包括预出货药品种类与边界坐标、药品溯源码边界坐标、预出货货道编号与编号边界坐标在内的预出货药品信息；
S4，图像捕捉装置位置修正；
若预出货药品信息与预设药品信息中货道编号且药品种类同时匹配，则计算待识别图像中心点坐标(xp，yp)与经处理的图像上坐标(xc，yc)的偏移值(Δx，Δy)，移动图像捕捉装置至修正坐标(x+Δx，z-Δz)，其中，Δz＝Δy·sinα，α为货道中药品放置板所在平面与水平面的夹角，xc为预出货药品中心点横坐标，yc为预出货货道的中心点纵坐标，Δx＝xc-xp，Δy＝yp-yc，如图4所示；
若货道编号与药品种类至少有一项无法匹配，则存储待识别图像作为异常图像输入药品识别模型进行模型增强改进，而图像捕捉装置返回上一坐标(xl，zl)，跳过当前坐标(x，z)，在与当前坐标(x，z)对应货道左右相邻的货道范围内获取药品图像进行药品信息匹配，若能够找到需求药品则更新药品边界坐标矩阵，并对图像捕捉装置位置进行修正；若找不到需求药品，则进行报警处理，终止售药；
S5，药品识别出药；
图像捕捉装置在修正的位置处获取预出货药品的待比对图像，采用药品比对模型进行预出货药品种类二次匹配；若待比对图像中显示的预出货药品种类与需求药品对应的标准图像显示的预设药品种类匹配，则扫描识药品溯源码得到溯源数据，否则进行报警处理，终止售药；
若溯源数据与需求药品信息匹配，对预出货药品进行出货；若溯源数据与需求药品信息不匹配则回收药品，再对同一货道内的下一盒药品扫码进行溯源数据与需求药品信息的匹配。
如图3所示，所述预设货道的编号边界坐标表示为(x11，x21，y11，y21)，所述预出货药品边界坐标表示为(x12，x22，y12，y22)，所述药品溯源码边界坐标表示为(x13，x23，y13，y23)，边界坐标为相应图像；
所述预出货药品的中心点横坐标xc＝x12+(x22-x12)/2，所述预设货道编号的中心点纵坐标yc＝y11+(y21-y11)/2。
所述药品识别模型中深度残差网络包括若干残差块、若干最大池化层和一个全连接层；
所述残差块均包括一个恒等映射和一个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；所述卷积层提取待处理图像特征值得到节点特征图像；
任意一个最大池化层与相邻的两残差块连接，所述任意一个最大池化层对节点特征图像进行特征信息提取同时缩减图像尺寸使得药品识别模型更容易收敛；
所述全连接层对不同残差块中卷积层生成的高分辨率节点特征图像和低分辨率节点特征图像拼接后的特征图像进行处理，提取得到关于药品信息的全连接层参数；
所述药品识别模型根据全连接层参数进行药品信息分类，得到药品信息的分类结果。
所述药品识别模型中卷积层采用LeakyRelu激活函数，并且在激活前采用批量标准化处理特征参数，将特征参数归一化，避免梯度消失和梯度爆炸问题。
所述药品比对模型中采用的深度残差网络包括若干残差块、若干最大池化层和一个全连接层；
所述残差块均包括一个恒等映射和一个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；所述卷积层提取待处理图像特征值得到节点特征图像；
任意一个最大池化层与相邻的两残差块连接，所述任意一个最大池化层对节点特征图像进行特征信息提取同时缩减图像尺寸；
所述全连接层对不同残差块中卷积层生成的高分辨率节点特征图像和低分辨率节点特征图像拼接后的特征图像进行处理，提取得到关于药品种类特征的图像权重编码；
所述药品比对模型通过计算两图像对应的图像权重编码的向量距离，判断两张图片的相似度，得到药品种类匹配结果。
所述药品识别模型训练中采用的损失函数的参数为是否有药品、药品种类、药品边界坐标三个变量的组合，所述药品比对模型训练中采用的损失函数为训练图像、正样本和负样本的三元组。
所述损失函数的参数为是否有药品、药品种类、药品边界坐标三个变量的组合。
所述评价指标为精确率和召回率的组合。
所述药品比对模型中卷积层采用LeakyRelu激活函数，通过对负样本设定较低权重，避免在模型训练过程中由于负样本的原因造成某些节点永久死亡。
如图5所示，本实施例涉及一种药柜药品智能定位管理系统，包括：数据库模块1、图像捕捉装置2、图像分析模块3、坐标修正模块4和控制模块5，其中，数据库模块1与坐标修正模块4相连并输出预设的需求药品信息，图像捕捉装置2与图像分析模块3相连并输出包括预设货道、货道编号、预出货药品及药品溯源码在内的待识别图像，图像分析模块3与坐标修正模块4相连并输出预出货药品信息，图像分析模块3与数据库模块1相连并输出经识别药品的药品信息，坐标修正模块4与控制模块5相连并根据预出货药品信息与预设的需求药品信息锁定需求药品位置向控制模块5输出扫码坐标信息，控制模块5与图像捕捉装置2相连并输出位置控制信息。
需要强调的是：以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种药柜药品智能定位管理方法，其特征在于，包括以下步骤：
S1，建立药品识别模型以及药品比对模型；
在未放置药品时对药柜内的每一个货道设定初始坐标，之后将不同种类的待售药品与所述货道一一对应放置，以货道前端第一盒药品作为预设药品，以预设药品所在货道作为预设货道；针对每一个货道，根据所述货道的初始坐标移动图像捕捉装置到标准位置，采用图像捕捉装置获取包括预设货道、货道编号、预设药品及药品溯源码在内的初始图像，以在标准位置获取的初始图像做为标准图像；再采用深度残差网络对所述标准图像进行包括预设药品种类、预设货道编号识别以及预设药品边界坐标、药品溯源码边界坐标、预设货道编号边界坐标标注在内的训练，得到药品识别模型以及预设药品信息；以及采用深度残差网络对标准图像显示的预设药品种类进行训练得到药品比对模型；
S2，获取需求药品的待识别图像；
获取药品的需求信息，基于预设药品信息移动图像捕捉装置至需求药品所在预设货道位置，图像捕捉装置获取包括预出货药品、药品溯源码、预出货货道及货道编号在内的待识别图像，记录图像捕捉装置移动前的坐标(xl，zl)以及移动后的坐标(x，z)；
S3，预出货药品信息提取；
采用药品识别模型对获取的待识别图像进行特征提取，获取经处理的图像以及包括预出货药品种类与边界坐标、药品溯源码边界坐标、预出货货道编号与编号边界坐标在内的预出货药品信息；
S4，图像捕捉装置位置修正；
若预出货药品信息与预设药品信息中货道编号且药品种类同时匹配，则计算待识别图像中心点坐标(xp，yp)与经处理的图像上坐标(xc，yc)的偏移值(Δx，Δy)，移动图像捕捉装置至修正坐标(x+Δx，z-Δz)，其中，xc为预出货药品中心点横坐标，yc为预出货货道的中心点纵坐标，Δx＝xc-xp，Δy＝yp-yc，Δz＝Δy·sinα，α为货道中药品放置板所在平面与水平面的夹角；
若货道编号与药品种类至少有一项无法匹配，则存储待识别图像作为异常图像输入药品识别模型进行模型增强改进，而图像捕捉装置返回上一坐标(xl，zl)，跳过当前坐标(x，z)，在与当前坐标(x，z)对应货道左右相邻的货道范围内获取药品图像进行药品信息匹配，若能够找到需求药品则更新药品边界坐标矩阵，并对图像捕捉装置位置进行修正；若找不到需求药品，则进行报警处理，终止售药；
S5，药品识别出药；
图像捕捉装置在修正的位置处获取预出货药品的待比对图像，采用药品比对模型进行预出货药品种类二次匹配；若待比对图像中显示的预出货药品种类与需求药品对应的标准图像显示的预设药品种类匹配，则扫描识药品溯源码得到溯源数据，否则进行报警处理，终止售药；
若溯源数据与需求药品信息匹配，对预出货药品进行出货；若溯源数据与需求药品信息不匹配则回收药品，再对同一货道内的下一盒药品扫码进行溯源数据与需求药品信息的匹配。
2.根据权利要求1所述药柜药品智能定位管理方法，其特征是，所述预出货药品信息中预设货道的编号边界坐标表示为(xmin1，xmax1，ymin1，ymax1)，所述预出货药品的边界坐标表示为(xmin2，xmax2，ymin2，ymax2)，所述药品溯源码的边界坐标表示为(xmin3，xmax3，ymin3，ymax3)；
所述预出货药品的中心点横坐标xc＝xmin2+(xmax2-xmin2)/2，所述预设货道编号的中心点纵坐标yc＝ymin1+(ymax1-ymin1)/2。
3.根据权利要求1所述药柜药品智能定位管理方法，其特征是，所述药品识别模型中采用的深度残差网络包括若干残差块、若干最大池化层和一个全连接层；
所述残差块均包括一个恒等映射和一个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；所述卷积层提取待处理图像特征值得到节点特征图像；
任意一个最大池化层与相邻的两残差块连接，所述任意一个最大池化层对节点特征图像进行特征信息提取同时缩减图像尺寸；
所述全连接层对不同残差块中卷积层生成的高分辨率节点特征图像和低分辨率节点特征图像拼接后的特征图像进行处理，提取得到关于药品信息的全连接层参数；
所述药品识别模型根据全连接层参数进行药品信息分类，得到药品信息的分类结果。
4.根据权利要求3所述药柜药品智能定位管理方法，其特征是，所述卷积层采用LeakyRelu激活函数，并且在激活前采用批量标准化处理特征参数，将特征参数归一化。
5.根据权利要求1所述药柜药品智能定位管理方法，其特征是，所述药品比对模型中采用的深度残差网络包括若干残差块、若干最大池化层和一个全连接层；
所述残差块均包括一个恒等映射和一个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；所述卷积层提取待处理图像特征值得到节点特征图像；
任意一个最大池化层与相邻的两残差块连接，所述任意一个最大池化层对节点特征图像进行特征信息提取同时缩减图像尺寸；
所述全连接层对不同残差块中卷积层生成的高分辨率节点特征图像和低分辨率节点特征图像拼接后的特征图像进行处理，提取得到关于药品种类特征的图像权重编码；
所述药品比对模型通过计算两图像对应的图像权重编码的向量距离，判断两张图片的相似度，得到药品种类匹配结果。
6.根据权利要求1所述药柜药品智能定位管理方法，其特征是，所述药品识别模型训练和药品比对模型训练通过对图像暗色系进行增强处理，之后在设定损失函数和评价指标的基础上对药品的不同特征信息赋予不同的权重再进行包括前向传播、反向传播、交叉验证在内的迭代计算实现。
7.根据权利要求6所述药柜药品智能定位管理方法，其特征是，所述药品识别模型训练中采用的损失函数的参数为是否有药品、药品种类、药品边界坐标三个变量的组合，所述药品比对模型训练中采用的损失函数为训练图像、正样本和负样本的三元组。
8.根据权利要求6所述药柜药品智能定位管理方法，其特征是，所述评价指标为精确率和召回率的组合。
9.根据权利要求7所述药柜药品智能定位管理方法，其特征是，所述药品比对模型中卷积层采用LeakyRelu激活函数，并对负样本设定较低权重。
10.基于权利要求1～9任一项所述药柜药品智能定位管理方法的系统，其特征在于，包括：数据库模块、图像捕捉装置、图像分析模块、坐标修正模块和控制模块，其中，数据库模块与坐标修正模块相连并输出预设的需求药品信息，图像捕捉装置与图像分析模块相连并输出包括预设货道、货道编号、预出货药品及药品溯源码在内的待识别图像，图像分析模块与数据库模块相连并输出经识别药品的药品信息，图像分析模块与坐标修正模块相连并输出预出货药品信息，坐标修正模块与控制模块相连并根据预出货药品信息与预设的需求药品信息锁定需求药品位置向控制模块输出扫码坐标信息，控制模块与图像捕捉装置相连并输出扫码位置控制信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811213426.XA CN109472297B (zh) | 2018-10-18 | 2018-10-18 | 药柜药品智能定位管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811213426.XA CN109472297B (zh) | 2018-10-18 | 2018-10-18 | 药柜药品智能定位管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109472297A true CN109472297A (zh) | 2019-03-15 |
| CN109472297B CN109472297B (zh) | 2021-07-02 |
Family
ID=65663883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811213426.XA Active CN109472297B (zh) | 2018-10-18 | 2018-10-18 | 药柜药品智能定位管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109472297B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533839A (zh) * | 2019-09-05 | 2019-12-03 | 广州倍健医疗用品有限公司 | 一种药品输出方法、系统、药品售卖机和存储介质 |
| CN111915812A (zh) * | 2020-08-06 | 2020-11-10 | 广州狸园科技有限公司 | 一种基于5g大数据的图书馆图书展示位置识别系统 |
| CN111968307A (zh) * | 2020-08-31 | 2020-11-20 | 北京飞凡巧匠智能科技有限公司 | 一种智能售药设备的取药方法 |
| CN113593128A (zh) * | 2021-07-09 | 2021-11-02 | 广州云印信息科技有限公司 | 一种自动售药机的药品售卖管理方法、设备及存储介质 |
| CN114121304A (zh) * | 2021-11-24 | 2022-03-01 | 北京美茵莱实验室工程技术有限公司 | 一种实验室药品管理方法及装置 |
| CN116739685A (zh) * | 2023-08-10 | 2023-09-12 | 南京易联阳光信息技术股份有限公司 | 互联网药品信息监测数据处理方法及平台 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101484373A (zh) * | 2006-05-02 | 2009-07-15 | 芒罗·切尔诺马斯 | 用于销售物品的自动化仓库 |
| US20110160901A1 (en) * | 2008-01-04 | 2011-06-30 | Abrams Jr George Raymond | System and Method for Dispensing Prescriptions |
| CN107274577A (zh) * | 2017-07-06 | 2017-10-20 | 王显武 | 一种自动取配药装置 |
| CN107730730A (zh) * | 2017-09-29 | 2018-02-23 | 嘉兴川森智能科技有限公司 | 自动售货机及自动化分配产品的方法 |
| CN108122340A (zh) * | 2017-12-13 | 2018-06-05 | 松冷（武汉）科技有限公司 | 一种智能货柜 |
| CN108257316A (zh) * | 2017-12-18 | 2018-07-06 | 宁炎声 | 一种物品收发智能系统 |
-
2018
- 2018-10-18 CN CN201811213426.XA patent/CN109472297B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101484373A (zh) * | 2006-05-02 | 2009-07-15 | 芒罗·切尔诺马斯 | 用于销售物品的自动化仓库 |
| US20110160901A1 (en) * | 2008-01-04 | 2011-06-30 | Abrams Jr George Raymond | System and Method for Dispensing Prescriptions |
| CN107274577A (zh) * | 2017-07-06 | 2017-10-20 | 王显武 | 一种自动取配药装置 |
| CN107730730A (zh) * | 2017-09-29 | 2018-02-23 | 嘉兴川森智能科技有限公司 | 自动售货机及自动化分配产品的方法 |
| CN108122340A (zh) * | 2017-12-13 | 2018-06-05 | 松冷（武汉）科技有限公司 | 一种智能货柜 |
| CN108257316A (zh) * | 2017-12-18 | 2018-07-06 | 宁炎声 | 一种物品收发智能系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533839A (zh) * | 2019-09-05 | 2019-12-03 | 广州倍健医疗用品有限公司 | 一种药品输出方法、系统、药品售卖机和存储介质 |
| CN111915812A (zh) * | 2020-08-06 | 2020-11-10 | 广州狸园科技有限公司 | 一种基于5g大数据的图书馆图书展示位置识别系统 |
| CN111968307A (zh) * | 2020-08-31 | 2020-11-20 | 北京飞凡巧匠智能科技有限公司 | 一种智能售药设备的取药方法 |
| CN113593128A (zh) * | 2021-07-09 | 2021-11-02 | 广州云印信息科技有限公司 | 一种自动售药机的药品售卖管理方法、设备及存储介质 |
| CN114121304A (zh) * | 2021-11-24 | 2022-03-01 | 北京美茵莱实验室工程技术有限公司 | 一种实验室药品管理方法及装置 |
| CN114121304B (zh) * | 2021-11-24 | 2022-10-28 | 北京美茵莱实验室工程技术有限公司 | 一种实验室药品管理方法及装置 |
| CN116739685A (zh) * | 2023-08-10 | 2023-09-12 | 南京易联阳光信息技术股份有限公司 | 互联网药品信息监测数据处理方法及平台 |
| CN116739685B (zh) * | 2023-08-10 | 2023-10-24 | 南京易联阳光信息技术股份有限公司 | 互联网药品信息监测数据处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109472297B (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472297A (zh) | 药柜药品智能定位管理方法及系统 | |
| CN112766103B (zh) | 一种机房巡检方法及装置 | |
| CN108320404A (zh) | 基于神经网络的商品识别方法、装置、自助收银台 | |
| CN111753712A (zh) | 电力生产人员安全监测方法、系统以及设备 | |
| CN110728225B (zh) | 一种用于考勤的高速人脸搜索方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN109785337A (zh) | 一种基于实例分割算法的栏内哺乳动物清点方法 | |
| CN109522932A (zh) | 药柜药品智能定位管理方法、系统、存储介质及设备 | |
| CN110245663A (zh) | 一种用于钢卷信息识别的方法 | |
| CN106340044A (zh) | 摄像机外参自动标定方法及标定装置 | |
| KR19980703120A (ko) | 이미지 식별 시스템 및 방법 | |
| CN102930251B (zh) | 两维收藏品数据收录与甄别的装置和方法 | |
| CN1322471C (zh) | 比较图案 | |
| CN107341538A (zh) | 一种基于视觉的统计数量方法 | |
| CN113688817A (zh) | 一种自动巡检的仪表识别方法及识别系统 | |
| CN105371888B (zh) | 一种基于机器视觉的卫星电连接器插接检验系统及方法 | |
| CN109693140A (zh) | 一种智能化柔性生产线及其工作方法 | |
| CN115115768A (zh) | 基于立体视觉的物体坐标识别系统及方法、装置、介质 | |
| CN108961559A (zh) | 智能化售货系统及其售货方法 | |
| CN111563470A (zh) | 一种基于图像拼接的预载监测系统 | |
| CN118134219A (zh) | 生产预警方法、系统、装置及非易失性存储介质 | |
| CN113192596B (zh) | 一种手术室麻醉药品的识别系统 | |
| CN114170449A (zh) | 一种基于深度学习的人工智能图像识别装置 | |
| CN111659124A (zh) | 一种用于对弈的智能鉴别系统 | |
| Di Mauro et al. | Check! A generic and specific industrial inspection tool |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221010 Address after: 710000 No. 1108, Building 3, Ziwei Dongjin Phase 3, Bafuzhuang North Road, Xincheng District, Xi'an, Shaanxi Patentee after: Shaanxi Xinquan Channel Network Technology Co.,Ltd. Address before: 3 / F, building a, 27 Xinfa Road, Suzhou Industrial Park, 215000, Jiangsu Province Patentee before: SUZHOU IOM INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |