CN117745187B - 基于agv的药物自动配送系统及其方法 - Google Patents
基于agv的药物自动配送系统及其方法 Download PDFInfo
- Publication number
- CN117745187B CN117745187B CN202410172348.2A CN202410172348A CN117745187B CN 117745187 B CN117745187 B CN 117745187B CN 202410172348 A CN202410172348 A CN 202410172348A CN 117745187 B CN117745187 B CN 117745187B
- Authority
- CN
- China
- Prior art keywords
- feature map
- medicine
- drug
- adaptive
- semantic feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012377 drug delivery Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000003814 drug Substances 0.000 claims abstract description 416
- 229940079593 drug Drugs 0.000 claims abstract description 173
- 238000004806 packaging method and process Methods 0.000 claims abstract description 61
- 238000005728 strengthening Methods 0.000 claims abstract description 22
- 238000012384 transportation and delivery Methods 0.000 claims abstract description 19
- 238000009512 pharmaceutical packaging Methods 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 42
- 238000009826 distribution Methods 0.000 claims description 39
- 230000003044 adaptive effect Effects 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000002787 reinforcement Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 13
- 239000003623 enhancer Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000001994 activation Methods 0.000 claims description 4
- 101150064138 MAP1 gene Proteins 0.000 claims 2
- 101150077939 mapA gene Proteins 0.000 claims 2
- 230000007246 mechanism Effects 0.000 abstract description 9
- 238000012795 verification Methods 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000002483 medication Methods 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请公开了一种基于AGV的药物自动配送系统及其方法，涉及智能化自动配送技术领域，其通过扫描贴附于药物的表面的条形码以得到药物信息；通过摄像头采集所述药物的药物包装图像；提取所述药物包装图像的图像语义特征以得到药物包装语义特征图；对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图；基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物。这样，可以将药物信息和所述药物包装图像中的药物特征信息进行双重验证，以通过双保险机制来确保拿到正确的药物。
Description
技术领域
本申请涉及智能化自动配送技术领域，尤其涉及一种基于AGV的药物自动配送系统及其方法。
背景技术
自动引导车（Automated Guided Vehicle，AGV）是一种能够自主行驶、无需人工操作的运输车辆。AGV通常使用导航系统来感知环境并规划路径，可以在药物运输、物料搬运中进行配送任务。
但是，自动引导车在实际进行药物自动配送的过程中，常常会产生错误配送的情况。这种情况的发生通常是因为配送的目标药物与实际药物不匹配导致的。这样可能会导致患者服用错误药品而无法获得正确的治疗，甚至可能出现不良反应或副作用。
因此，期待一种优化的基于AGV的药物自动配送系统及其方法。
发明内容
本申请为了克服上述缺陷，提供一种基于AGV的药物自动配送系统及其方法。
本申请提供了一种基于AGV的药物自动配送方法，其包括：
通过扫描贴附于药物的表面的条形码以得到药物信息；
通过摄像头采集所述药物的药物包装图像；
提取所述药物包装图像的图像语义特征以得到药物包装语义特征图；
对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图；
基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物；
其中，对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图，包括：
使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图；
将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图。
其中，使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图，包括：
以如下重参数化公式对所述药物包装语义特征图进行特征图强化以得到所述强化药物包装语义特征图；其中，所述重参数化公式为：
；
其中，是所述药物包装语义特征图的均值，/>是所述药物包装语义特征图的方差，/>是从高斯分布中随机采样得到的第/>个值，/>是所述强化药物包装语义特征图中第/>个特征值。
在上述基于AGV的药物自动配送方法中，提取所述药物包装图像的图像语义特征以得到药物包装语义特征图，包括：将所述药物包装图像通过基于卷积神经网络模型的药物包装特征提取器以得到所述药物包装语义特征图。
在上述基于AGV的药物自动配送方法中，将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图，包括：
以如下自适应注意力公式来对所述强化药物包装语义特征图进行处理以得到所述自适应强化药物包装语义特征图；其中，所述自适应注意力公式为：
；
；
；
；
其中，为所述强化药物包装语义特征图，/>为池化处理，/>为池化向量，是权重矩阵，/>是偏置向量，/>为激活处理，/>为初始元权重特征向量，/>是所述初始元权重特征向量中第/>个特征值，/>为校正元权重特征向量，/>是所述自适应强化药物包装语义特征图，/>表示以所述校正元权重特征向量中的特征值为权重与所述强化药物包装语义特征图沿通道维度的各个特征矩阵进行相乘。
在上述基于AGV的药物自动配送方法中，基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物，包括：对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图；将所述修正后自适应强化药物包装语义特征图通过基于分类器的药物识别器以得到药物类型标签；将所述药物类型标签与所述药物信息进行比对，以确认所述药物是否为目标药物。
在上述基于AGV的药物自动配送方法中，将所述修正后自适应强化药物包装语义特征图通过基于分类器的药物识别器以得到药物类型标签，包括：将所述修正后自适应强化药物包装语义特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到分类结果。
本申请还提供了一种基于AGV的药物自动配送系统，其包括：
药物信息获取模块，用于通过扫描贴附于药物的表面的条形码以得到药物信息；
药物包装图像采集模块，用于通过摄像头采集所述药物的药物包装图像；
图像语义特征提取模块，用于提取所述药物包装图像的图像语义特征以得到药物包装语义特征图；
特征图强化模块，用于对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图；
药物是否为目标药物确定模块，用于基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物；
其中，所述特征图强化模块，包括：
特征图强化单元，用于使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图；
局部特征显著单元，用于将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图；
其中，特征图强化单元，包括：
以如下重参数化公式对所述药物包装语义特征图进行特征图强化以得到所述强化药物包装语义特征图；其中，所述重参数化公式为：
；
其中，是所述药物包装语义特征图的均值，/>是所述药物包装语义特征图的方差，/>是从高斯分布中随机采样得到的第/>个值，/>是所述强化药物包装语义特征图中第/>个特征值。
在上述基于AGV的药物自动配送系统中，所述图像语义特征提取模块，用于：将所述药物包装图像通过基于卷积神经网络模型的药物包装特征提取器以得到所述药物包装语义特征图。
与现有技术相比，本申请提供的基于AGV的药物自动配送系统及其方法，其通过扫描贴附于药物的表面的条形码以得到药物信息；通过摄像头采集所述药物的药物包装图像；提取所述药物包装图像的图像语义特征以得到药物包装语义特征图；对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图；基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物。这样，可以将药物信息和所述药物包装图像中的药物特征信息进行双重验证，以通过双保险机制来确保拿到正确的药物。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请实施例中提供的一种基于AGV的药物自动配送方法的流程图。
图2为本申请实施例中提供的一种基于AGV的药物自动配送方法的系统架构的示意图。
图3为本申请实施例中提供的一种基于AGV的药物自动配送系统的框图。
图4为本申请实施例中提供的一种基于AGV的药物自动配送方法的应用场景图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例做进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅只是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
自动引导车（AGV）是一种能够自主行驶、无需人工操作的运输车辆，通常被用于工厂、仓库和分布中心等环境中，用来执行物料搬运和分拣等任务。AGV可以大大提高物流效率，减少人力成本，并且可以在需要时全天候运行。
AGV通常配备有一系列传感器和导航系统，用来感知周围环境和确定自身位置，这些传感器可能包括激光雷达、摄像头、超声波传感器等，用来避开障碍物和识别路径。导航系统可以是基于地面标记、磁带、激光导航或者是基于地图的定位系统，这些系统可以帮助AGV规划最佳路径并确保准确的定位。
AGV可以执行各种任务，包括搬运原材料、半成品或成品，以及在生产线上进行灵活的物料配送，还可以与其他自动化系统集成，比如仓库管理系统（WMS）或者生产执行系统（MES），以实现更高效的物料流动。在药物运输领域，AGV可以用于在医院内部或药品生产中心内部的物料搬运，这样可以减少人为错误和提高效率。在物料搬运方面，AGV可以取代传统的叉车或人工搬运，从而减少人力成本和提高安全性。
自动引导车在药物自动配送过程中出现错误配送的情况可能涉及多个原因和缺陷， AGV可能会出现错误的药物识别，导致将错误的药物送到错误的位置，这可能由于传感器故障、环境变化或者药品包装的相似性等原因造成。AGV的导航系统可能存在问题，例如在规划路径或者定位时出现误差，导致车辆无法准确到达目标位置，从而将药物送到错误的地方。在系统设置或者操作过程中，可能存在人为的数据输入错误，比如错误的目标位置或者错误的药物信息输入，这可能导致错误的配送。如果AGV与中央控制系统的通讯出现故障，可能导致错误的指令传达或者信息丢失，从而影响了配送的准确性。药物包装可能存在标签错误、破损或者混淆，这可能导致AGV无法正确识别药物，从而导致错误的配送。环境因素如光线、温度、湿度等可能影响传感器的性能，导致传感器误读或者错误感知周围环境。AGV系统可能存在设计上的缺陷，如不完善的路径规划算法、不足的安全检查机制等，这些都可能导致错误的配送。在AGV的操作和监控过程中，人为的操作错误，比如错误的指令下达或者操作失误，也可能导致错误的配送。
为了解决这些问题，可以考虑加强对药物的识别技术，如使用更先进的视觉识别系统或者RFID技术来确保正确的药物配送；定期维护和检查AGV的导航系统和传感器，确保其性能稳定；加强对数据输入的审核和验证，避免人为输入错误；设计可靠的通讯系统，确保指令传达的准确性和可靠性；提高药物包装的标识和包装质量，以减少混淆和错误；加强对环境因素的考虑，设计系统以适应不同的环境条件；完善系统设计，包括路径规划、安全检查等方面，以确保配送的准确性和安全性。
在本申请中，提供一种优化的基于AGV的药物自动配送系统及其方法。
在本申请的一个实施例中，图1为本申请实施例中提供的一种基于AGV的药物自动配送方法的流程图。图2为本申请实施例中提供的一种基于AGV的药物自动配送方法的系统架构的示意图。如图1和图2所示，根据本申请实施例的基于AGV的药物自动配送方法，包括：110，通过扫描贴附于药物的表面的条形码以得到药物信息；120，通过摄像头采集所述药物的药物包装图像；130，提取所述药物包装图像的图像语义特征以得到药物包装语义特征图；140，对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图；150，基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物。
在所述步骤110中，通过扫描贴附于药物的表面的条形码以得到药物信息，使用条形码扫描技术，可以快速准确地获取药物的唯一标识信息，如药物名称、批号、生产日期等。这样，确保了药物信息的准确性和标识的唯一性，为后续的药物识别和确认提供了关键数据。
在所述步骤120中，通过摄像头采集所述药物的药物包装图像，利用摄像头对药物包装进行图像采集，包括药物包装的外观、标识、颜色等信息。这样，提供了视觉信息，为后续对药物进行识别和确认提供了丰富的数据基础。
在所述步骤130中，提取所述药物包装图像的图像语义特征以得到药物包装语义特征图，通过图像处理和计算机视觉技术，从药物包装图像中提取出具有代表性的特征，例如纹理、形状、颜色等。通过将图像信息转化为语义特征，为后续的药物识别和确认提供了更具体和可操作的数据。
在所述步骤140中，对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图，利用重参数化层和自适应注意力模块，对药物包装的语义特征图进行进一步处理，以增强代表性特征并突出关键信息。通过强化和显著化处理，提高了对药物特征的表征能力，增强了对药物识别的准确性和稳定性。
在所述步骤150中，基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物，结合自适应强化的药物包装语义特征图和药物信息，进行药物的确认和识别。通过综合利用图像特征和药物信息，实现了对药物的准确确认，确保了药物的正确配送和使用。
在自动引导车在实际进行药物自动配送的过程中，常常会产生错误配送的情况。这种情况的发生通常是因为配送的目标药物与实际药物不匹配导致的。这样可能会导致患者服用错误药品而无法获得正确的治疗，甚至可能出现不良反应或副作用。针对上述技术问题，本申请的技术构思为通过条形码获得药物信息，并通过摄像头来捕捉药物包装图像，同时利用智能化算法来对所述药物包装图像进行处理和分析，以将药物信息和所述药物包装图像中的药物特征信息进行双重验证，以通过双保险机制来确保拿到正确的药物。
结合条形码扫描和药物包装图像分析，可以实现双重验证，从而增加了对药物身份的确认层级，大大降低了错误配送的可能性。双重验证机制减少了人为操作的错误可能性，因为即使条形码扫描出现问题，仍可以通过药物包装图像进行验证，从而降低了由人为因素引起的错误配送风险。双重验证机制提高了药物配送的安全性，确保患者获得的药物符合医嘱，有助于减少药物错误使用和相关风险。
通过智能化算法对药物包装图像进行处理和分析，能够更全面地获取药物特征信息，从而提高了药物识别的准确性，为确保拿到正确的药物提供了更有力的支持。结合条形码扫描和药物包装图像分析的双重验证机制，系统的可靠性得到提升，因为即使出现某一验证方式的问题，仍有另一种方式进行验证，从而保障了系统的稳定性和可靠性。
基于此，在本申请的技术方案中，首先通过扫描贴附于药物的表面的条形码以得到药物信息；同时，通过摄像头采集所述药物的药物包装图像。这里，所述贴附于药物的表面的条形码是独属于这种药物的标识符，通过扫描条形码可以获取关于此种药物的详细信息，如药物名称、剂量、生产批号、有效期等。其中，药物信息是对药物的全面描述，旨在提供给医务人员、患者和药品管理者参考，以保证正确和安全地使用药物。此外，通过摄像头采集所述药物的药物包装图像的目的是为了获取药物包装的视觉信息，进一步进行药物识别和确认。具体来说，药物包装上通常包含了药物的标志性特征，如药物名称、商标、颜色、形状等。这样，将条形码中的药物信息与药物包装图像中所蕴含的药物特征信息进行匹配，可以验证所选取的药物是否正确，从而实现药物的双重验证和确认。
接着，将所述药物包装图像通过基于卷积神经网络模型的药物包装特征提取器以得到药物包装语义特征图。其中，卷积神经网络（CNN）是一种强大的图像处理工具，能够有效地从图像中提取有意义的特征。通过使用基于卷积神经网络模型的药物包装特征提取器，可以自动学习和提取药物包装图像中的关键特征，如纹理、形状、颜色等，从而更深入地理解和表征药物包装的信息。
在本申请的一个具体实施例中，提取所述药物包装图像的图像语义特征以得到药物包装语义特征图，包括：将所述药物包装图像通过基于卷积神经网络模型的药物包装特征提取器以得到所述药物包装语义特征图。
卷积神经网络在图像处理领域具有出色的特征提取能力，能够从药物包装图像中高效地提取出丰富的语义特征，包括纹理、形状、颜色等。卷积神经网络能够通过多层卷积和池化操作，逐渐提取出对药物包装图像更加抽象和高级的特征表示，这些表示更贴近人类对图像的理解，有助于提高识别的准确性。卷积神经网络模型能够适应不同尺度和方向的特征提取，从而在处理各种不同尺寸和角度的药物包装图像时表现出色。通过端到端的学习方式，卷积神经网络模型能够自动学习如何从原始图像中提取出最具代表性的特征，无需手动设计特征提取算法，简化了整个流程。
在本申请的一个实施例中，对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图，包括：使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图；将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图。
随后，使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图。这里，基于重参数化层的特征图强化器可以增强药物包装语义特征图中的有用信息，并抑制无关信息。通过对药物包装语义特征图进行适当的增强，可以突出重要的药物包装特征，如标签、文字或药物形状等，从而提高识别和表征的准确性。此外，所述药物包装语义特征图经过数据增强后，可以扩大不同药物包装之间的区分度，使得所述强化药物包装语义特征图在不同药物包装样本上具有更好的适应性和鲁棒性。其中，所述基于重参数化层的特征图强化器在数据增强的过程中引入重参数化的技巧，巧妙地利用高斯分布中的随机采样值在语义特征空间中进行数据增强，这样使得所述强化药物包装语义特征图带有随机性。
基于重参数化层的特征图强化器能够对药物包装语义特征图进行增强，突出其中的重要特征，从而提高了对药物包装的识别和确认能力。通过重参数化层，可以将高维度的药物包装语义特征图进行重新参数化和重建，从而在保留关键信息的同时降低了特征图的维度，有助于提高系统的运行效率。基于重参数化层的特征图强化器的使用可以增强模型对于输入数据的鲁棒性，更能够适应不同类型的药物包装图像，提高了系统的泛化能力。基于重参数化层的特征图强化器有助于提高特征图的可解释性，能够更好地理解和利用药物包装图像中的特征信息，从而提高了识别和确认的准确性。
在本申请的一个具体实施例中，使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图，包括：以如下重参数化公式对所述药物包装语义特征图进行特征图强化以得到所述强化药物包装语义特征图；其中，所述重参数化公式为：
；
其中，是所述药物包装语义特征图的均值，/>是所述药物包装语义特征图的方差，/>是从高斯分布中随机采样得到的第/>个值，/>是所述强化药物包装语义特征图中第/>个特征值。
进一步地，将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到自适应强化药物包装语义特征图。这里，所述基于自适应注意力模块的局部特征显著器根据所述强化药物包装语义特征图中的各个位置的重要性自动进行特征加权。应可以理解，在所述强化药物包装语义特征图中，不同区域的特征可能具有不同的重要性。通过对重要区域的特征分布进行加强，并对不重要区域的特征分布进行抑制，可以使得整体的特征分布具有自适应性，从而提供更加准确和具有区分度的特征表示。
通过自适应注意力模块，能够有效地关注药物包装图像中的局部重要特征，有助于提高识别和确认的准确性。基于自适应注意力模块的局部特征显著器可以对强化药物包装语义特征图进行精细化的特征增强，使得图像中的关键特征更加突出和明确。
基于自适应注意力模块的局部特征显著器能够根据具体药物包装图像的特点自适应地调整关注的区域，从而适应不同药物包装的特征差异，提高了系统的泛化能力。基于自适应注意力模块的局部特征显著器有助于减少图像中的无关信息对识别和确认过程的干扰，能够更加专注于药物包装图像中的关键特征。通过自适应强化药物包装语义特征图，能够更好地突出药物包装图像中的重要特征，增强了对识别结果的可解释性，有助于后续的审核和验证过程。
在本申请的一个具体实施例中，将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图，包括：以如下自适应注意力公式来对所述强化药物包装语义特征图进行处理以得到所述自适应强化药物包装语义特征图；其中，所述自适应注意力公式为：
；
；
；
；
其中，为所述强化药物包装语义特征图，/>为池化处理，/>为池化向量，是权重矩阵，/>是偏置向量，/>为激活处理，/>为初始元权重特征向量，/>是所述初始元权重特征向量中第/>个特征值，/>为校正元权重特征向量，/>是所述自适应强化药物包装语义特征图，/>表示以所述校正元权重特征向量中的特征值为权重与所述强化药物包装语义特征图沿通道维度的各个特征矩阵进行相乘。
在本申请的一个实施例中，基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物，包括：对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图；将所述修正后自适应强化药物包装语义特征图通过基于分类器的药物识别器以得到药物类型标签；将所述药物类型标签与所述药物信息进行比对，以确认所述药物是否为目标药物。
在本申请的技术方案中，所述药物包装语义特征图的各个特征矩阵表达所述药物包装图像的图像语义特征，且其各个特征矩阵之间遵循所述卷积神经网络模型的通道分布，这样，在使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化，并将得到的所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器时，会基于所述药物包装语义特征图的各个特征矩阵的图像语义特征空间分布来进行局部特征空间分布的强化。
由此，考虑到每个特征矩阵的图像语义特征空间分布的局部强化特征分布与非局部强化特征分布的分布差异，以及以特征矩阵为单位进行的特征空间分布强化引起的通道分布差异，所述自适应强化药物包装语义特征图会具有图像语义空间-通道分布稀疏性，导致所述自适应强化药物包装语义特征图通过分类器进行分类时，在类概率密度域下的概率密度表示稀疏化，影响其通过分类器进行分类时的回归收敛效果。
基于此，本申请对所述自适应强化药物包装语义特征图，例如记为进行优化，表示为：以如下优化公式对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图；其中，所述优化公式为：
；
；
其中，表示所述自适应强化药物包装语义特征图/>的逐位置平方图，/>为参数可训练的中间权重图，例如基于所述自适应强化药物包装语义特征图的图像语义空间-通道分布稀疏性，初始设置为其每个特征矩阵的特征值为所述自适应强化药物包装语义特征图/>的对全局特征值均值，此外，/>为所有特征值为1的单位图，/>是所述自适应强化药物包装语义特征图，/>是所述修正后自适应强化药物包装语义特征图，/>表示按位置加法，/>表示按位置点乘。
这里，为了优化所述自适应强化药物包装语义特征图的稀疏概率密度在整体概率空间内的分布均匀性和一致性，通过类标准柯西分布式的尾部分布加强机制，来对所述自适应强化药物包装语义特征图/>在高维特征空间内的距离式空间分布进行基于空间角度倾斜式的距离分布优化，以实现所述自适应强化药物包装语义特征图/>的各个局部特征分布的距离弱相关的特征分布空间共振，从而提升所述自适应强化药物包装语义特征图/>整体在概率密度分布层面相对于回归概率收敛的均匀性和一致性，提升分类收敛效果，即分类收敛的速度和分类结果的准确性。
接下来，将所述修正后自适应强化药物包装语义特征图通过基于分类器的药物识别器以得到药物类型标签；并将所述药物类型标签与所述药物信息进行比对，以确认所述药物是否为目标药物。
在本申请的一个具体实施例中，将所述修正后自适应强化药物包装语义特征图通过基于分类器的药物识别器以得到药物类型标签，包括：将所述修正后自适应强化药物包装语义特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果，所述分类结果用于表示药物类型标签。
通过基于分类器的药物识别器，能够将修正后自适应强化药物包装语义特征图准确地映射到对应的药物类型标签，实现对药物的快速而准确的识别。将药物类型标签与药物信息进行比对，能够快速有效地确认药物是否为目标药物，从而降低错误配送的风险，提高了配送的准确性和安全性。
整个流程通过基于分类器的药物识别器实现自动化，无需人工干预，大大提高了药物识别和确认的效率。基于分类器的药物识别器的设计使得系统具有较强的可扩展性，能够容易地应对新药物的识别需求。这样，结合了深度学习技术和药物信息比对，能够提供高准确性和稳定性的药物确认结果，为药物配送的安全性提供了有力保障。
综上，基于本申请实施例的基于AGV的药物自动配送方法被阐明，其通过条形码获得药物信息，并通过摄像头来捕捉药物包装图像，同时利用智能化算法来对所述药物包装图像进行处理和分析，以将药物信息和所述药物包装图像中的药物特征信息进行双重验证，以通过双保险机制来确保拿到正确的药物。
图3为本申请实施例中提供的一种基于AGV的药物自动配送系统的框图。如图3所示，所述基于AGV的药物自动配送系统200，包括：药物信息获取模块210，用于通过扫描贴附于药物的表面的条形码以得到药物信息；药物包装图像采集模块220，用于通过摄像头采集所述药物的药物包装图像；图像语义特征提取模块230，用于提取所述药物包装图像的图像语义特征以得到药物包装语义特征图；特征图强化模块240，用于对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图；药物是否为目标药物确定模块250，用于基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物。
在所述基于AGV的药物自动配送系统中，所述图像语义特征提取模块，用于：将所述药物包装图像通过基于卷积神经网络模型的药物包装特征提取器以得到所述药物包装语义特征图。
在所述基于AGV的药物自动配送系统中，所述特征图强化模块，包括：特征图强化单元，用于使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图；局部特征显著单元，用于将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图。
本领域技术人员可以理解，上述基于AGV的药物自动配送系统中的各个步骤的具体操作已经在上面参考图1到图2的基于AGV的药物自动配送方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于AGV的药物自动配送系统200可以实现在各种终端设备中，例如用于基于AGV的药物自动配送的服务器等。在一个示例中，根据本申请实施例的基于AGV的药物自动配送系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于AGV的药物自动配送系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于AGV的药物自动配送系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于AGV的药物自动配送系统200与该终端设备也可以是分立的设备，并且该基于AGV的药物自动配送系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图4为本申请实施例中提供的一种基于AGV的药物自动配送方法的应用场景图。如图4所示，在该应用场景中，首先，通过扫描贴附于药物的表面的条形码以得到药物信息（例如，图4中所示意的C1）；以及，通过摄像头采集所述药物的药物包装图像（例如，图4中所示意的C2）；然后，将获取的药物信息和药物包装图像输入至部署有基于AGV的药物自动配送算法的服务器（例如，图4中所示意的S）中，其中所述服务器能够基于AGV的药物自动配送算法对所述药物信息和所述药物包装图像进行处理，以确认所述药物是否为目标药物。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (5)
1.一种基于AGV的药物自动配送方法，其特征在于，包括：
通过扫描贴附于药物的表面的条形码以得到药物信息；
通过摄像头采集所述药物的药物包装图像；
提取所述药物包装图像的图像语义特征以得到药物包装语义特征图；
对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图；
基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物；
其中，对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图，包括：
使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图；
将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图；
其中，使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图，包括：
以如下重参数化公式对所述药物包装语义特征图进行特征图强化以得到所述强化药物包装语义特征图；其中，所述重参数化公式为：
；
其中，是所述药物包装语义特征图的均值，/>是所述药物包装语义特征图的方差，/>是从高斯分布中随机采样得到的第/>个值，/>是所述强化药物包装语义特征图中第/>个特征值；
其中，将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图，包括：
以如下自适应注意力公式来对所述强化药物包装语义特征图进行处理以得到所述自适应强化药物包装语义特征图；其中，所述自适应注意力公式为：
；
；
；
；
其中，为所述强化药物包装语义特征图，/>为池化处理，/>为池化向量，/>是权重矩阵，/>是偏置向量，/>为激活处理，/>为初始元权重特征向量，/>是所述初始元权重特征向量中第/>个特征值，/>为校正元权重特征向量，/>是所述自适应强化药物包装语义特征图，/>表示以所述校正元权重特征向量中的特征值为权重与所述强化药物包装语义特征图沿通道维度的各个特征矩阵进行相乘；
其中，基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物，包括：
对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图；
将所述修正后自适应强化药物包装语义特征图通过基于分类器的药物识别器以得到药物类型标签；
将所述药物类型标签与所述药物信息进行比对，以确认所述药物是否为目标药物；
其中，对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图，包括：以如下优化公式对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图；其中，所述优化公式为：
；
；
其中，表示所述自适应强化药物包装语义特征图/>的逐位置平方图，/>为参数可训练的中间权重图，初始设置为其每个特征矩阵的特征值为所述自适应强化药物包装语义特征图/>的对全局特征值均值，/>为所有特征值为1的单位图，/>是所述自适应强化药物包装语义特征图，/>是所述修正后自适应强化药物包装语义特征图，/>表示按位置加法，/>表示按位置点乘。
2.根据权利要求1所述的基于AGV的药物自动配送方法，其特征在于，提取所述药物包装图像的图像语义特征以得到药物包装语义特征图，包括：
将所述药物包装图像通过基于卷积神经网络模型的药物包装特征提取器以得到所述药物包装语义特征图。
3.根据权利要求2所述的基于AGV的药物自动配送方法，其特征在于，将所述修正后自适应强化药物包装语义特征图通过基于分类器的药物识别器以得到药物类型标签，包括：
将所述修正后自适应强化药物包装语义特征图按照行向量或列向量展开为分类特征向量；
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到分类结果。
4.一种基于AGV的药物自动配送系统，其特征在于，包括：
药物信息获取模块，用于通过扫描贴附于药物的表面的条形码以得到药物信息；
药物包装图像采集模块，用于通过摄像头采集所述药物的药物包装图像；
图像语义特征提取模块，用于提取所述药物包装图像的图像语义特征以得到药物包装语义特征图；
特征图强化模块，用于对所述药物包装语义特征图进行基于重参数化层的特征图强化和基于自适应注意力模块的特征显著化以得到自适应强化药物包装语义特征图；
药物是否为目标药物确定模块，用于基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物；
其中，所述特征图强化模块，包括：
特征图强化单元，用于使用基于重参数化层的特征图强化器对所述药物包装语义特征图进行特征图强化以得到强化药物包装语义特征图；
局部特征显著单元，用于将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图；
其中，特征图强化单元，包括：
以如下重参数化公式对所述药物包装语义特征图进行特征图强化以得到所述强化药物包装语义特征图；其中，所述重参数化公式为：
；
其中，是所述药物包装语义特征图的均值，/>是所述药物包装语义特征图的方差，/>是从高斯分布中随机采样得到的第/>个值，/>是所述强化药物包装语义特征图中第/>个特征值；
其中，将所述强化药物包装语义特征图通过基于自适应注意力模块的局部特征显著器以得到所述自适应强化药物包装语义特征图，包括：
以如下自适应注意力公式来对所述强化药物包装语义特征图进行处理以得到所述自适应强化药物包装语义特征图；其中，所述自适应注意力公式为：
；
；
；
；
其中，为所述强化药物包装语义特征图，/>为池化处理，/>为池化向量，/>是权重矩阵，/>是偏置向量，/>为激活处理，/>为初始元权重特征向量，/>是所述初始元权重特征向量中第/>个特征值，/>为校正元权重特征向量，/>是所述自适应强化药物包装语义特征图，/>表示以所述校正元权重特征向量中的特征值为权重与所述强化药物包装语义特征图沿通道维度的各个特征矩阵进行相乘；
其中，基于所述自适应强化药物包装语义特征图和所述药物信息，确认所述药物是否为目标药物，包括：
对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图；
将所述修正后自适应强化药物包装语义特征图通过基于分类器的药物识别器以得到药物类型标签；
将所述药物类型标签与所述药物信息进行比对，以确认所述药物是否为目标药物；
其中，对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图，包括：以如下优化公式对所述自适应强化药物包装语义特征图进行特征分布修正以得到修正后自适应强化药物包装语义特征图；其中，所述优化公式为：
；
；
其中，表示所述自适应强化药物包装语义特征图/>的逐位置平方图，/>为参数可训练的中间权重图，初始设置为其每个特征矩阵的特征值为所述自适应强化药物包装语义特征图/>的对全局特征值均值，/>为所有特征值为1的单位图，/>是所述自适应强化药物包装语义特征图，/>是所述修正后自适应强化药物包装语义特征图，/>表示按位置加法，/>表示按位置点乘。
5.根据权利要求4所述的基于AGV的药物自动配送系统，其特征在于，所述图像语义特征提取模块，用于：
将所述药物包装图像通过基于卷积神经网络模型的药物包装特征提取器以得到所述药物包装语义特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172348.2A CN117745187B (zh) | 2024-02-07 | 2024-02-07 | 基于agv的药物自动配送系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172348.2A CN117745187B (zh) | 2024-02-07 | 2024-02-07 | 基于agv的药物自动配送系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117745187A CN117745187A (zh) | 2024-03-22 |
| CN117745187B true CN117745187B (zh) | 2024-05-14 |
Family
ID=90279564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410172348.2A Active CN117745187B (zh) | 2024-02-07 | 2024-02-07 | 基于agv的药物自动配送系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745187B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117942045B (zh) * | 2024-03-27 | 2024-07-09 | 吉林大学 | 基于人工智能的智能麻醉给药控制系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363532A (zh) * | 2023-03-28 | 2023-06-30 | 合肥工业大学 | 基于注意力机制和重参数化的无人机图像交通目标检测方法 |
| CN116542404A (zh) * | 2023-07-07 | 2023-08-04 | 北京市运输事业发展中心 | 一种客运枢纽场站抵站旅客接续换乘时间的预测方法 |
| CN116704526A (zh) * | 2023-08-08 | 2023-09-05 | 泉州师范学院 | 工尺谱扫描机器人及其方法 |
| CN116976375A (zh) * | 2023-09-06 | 2023-10-31 | 云南中烟工业有限责任公司 | 一种扫码验真场景下的卷烟包装盒的检测方法及装置 |
| WO2024000828A1 (zh) * | 2022-06-30 | 2024-01-04 | 福建天甫电子材料有限公司 | 用于光阻剥离液生产的自动配料系统及其配料方法 |
| CN117422708A (zh) * | 2023-12-04 | 2024-01-19 | 广州方舟信息科技有限公司 | 药品装箱检测方法、装置、电子设备和存储介质 |
-
2024
- 2024-02-07 CN CN202410172348.2A patent/CN117745187B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024000828A1 (zh) * | 2022-06-30 | 2024-01-04 | 福建天甫电子材料有限公司 | 用于光阻剥离液生产的自动配料系统及其配料方法 |
| CN116363532A (zh) * | 2023-03-28 | 2023-06-30 | 合肥工业大学 | 基于注意力机制和重参数化的无人机图像交通目标检测方法 |
| CN116542404A (zh) * | 2023-07-07 | 2023-08-04 | 北京市运输事业发展中心 | 一种客运枢纽场站抵站旅客接续换乘时间的预测方法 |
| CN116704526A (zh) * | 2023-08-08 | 2023-09-05 | 泉州师范学院 | 工尺谱扫描机器人及其方法 |
| CN116976375A (zh) * | 2023-09-06 | 2023-10-31 | 云南中烟工业有限责任公司 | 一种扫码验真场景下的卷烟包装盒的检测方法及装置 |
| CN117422708A (zh) * | 2023-12-04 | 2024-01-19 | 广州方舟信息科技有限公司 | 药品装箱检测方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Reparameterized attention for convolutional neural networks;Wu YM，Li RX，Yu YL，et al;《Pattern Recognition Letters》;20221023;第3章 * |
| 基于结构重参数化和注意力机制的复杂背景下手势识别;杨黎霞，夏天，陈仁祥等;《重庆理工大学学报（自然科学）》;20231231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117745187A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117745187B (zh) | 基于agv的药物自动配送系统及其方法 | |
| Bosilj et al. | Transfer learning between crop types for semantic segmentation of crops versus weeds in precision agriculture | |
| US11295123B2 (en) | Classification of character strings using machine-learning | |
| US11651497B2 (en) | InSeGAN: a generative approach to instance segmentation in depth images | |
| DE102018109392A1 (de) | Verfahren zum erfassen optischer codes, automatisierungssystem und computerprogrammprodukt zum durchführen des verfahrens | |
| CN110909618A (zh) | 一种宠物身份的识别方法及装置 | |
| CN111626177A (zh) | 一种pcb元件识别方法及装置 | |
| Konstantinidis et al. | Automating dairy production lines with the yoghurt cups recognition and detection process in the Industry 4.0 era | |
| CN111222588A (zh) | 一种后门样本检测方法、系统及装置 | |
| CN112580657A (zh) | 一种自学习字符识别方法 | |
| CN117358615B (zh) | 一种自动喷码印刷缺陷检测方法及系统 | |
| CN107403179B (zh) | 一种物品包装信息的注册方法及装置 | |
| CN103279753B (zh) | 一种基于树结构指导的英文场景文本块识别方法 | |
| WO2020237480A1 (zh) | 基于图像识别的控制方法与装置 | |
| CN113112503B (zh) | 一种基于机器视觉实现药品标签自动检测的方法 | |
| CN116524725B (zh) | 一种智能驾驶的交通标志图像数据识别系统 | |
| CN112150467A (zh) | 一种货物数量确定方法、系统和装置 | |
| Qian et al. | Context-aware transformer for 3d point cloud automatic annotation | |
| CN112232272B (zh) | 一种激光与视觉图像传感器融合的行人识别方法 | |
| JPH07175894A (ja) | ニューラルネットワークと文字認識方法と電子部品実装検査装置及びそれを用いた管理方法 | |
| US20210233246A1 (en) | Confidence-based segmentation of multiple units | |
| Hu et al. | Detection of material on a tray in automatic assembly line based on convolutional neural network | |
| CN115063784A (zh) | 票据图像的信息提取方法和装置、存储介质及电子设备 | |
| Deng et al. | Abnormal occupancy grid map recognition using attention network | |
| CN113850762A (zh) | 基于眼前节图像的眼病识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |