CN117954045B - 基于处方数据分析的药品自动分拣管理系统及方法 - Google Patents
基于处方数据分析的药品自动分拣管理系统及方法 Download PDFInfo
- Publication number
- CN117954045B CN117954045B CN202410353992.XA CN202410353992A CN117954045B CN 117954045 B CN117954045 B CN 117954045B CN 202410353992 A CN202410353992 A CN 202410353992A CN 117954045 B CN117954045 B CN 117954045B
- Authority
- CN
- China
- Prior art keywords
- medicine
- drug
- feature
- feature map
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003814 drug Substances 0.000 title claims abstract description 482
- 229940079593 drug Drugs 0.000 title claims abstract description 274
- 238000007405 data analysis Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title abstract description 24
- 238000012512 characterization method Methods 0.000 claims description 88
- 239000013598 vector Substances 0.000 claims description 87
- 238000007726 management method Methods 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 47
- 230000003993 interaction Effects 0.000 claims description 40
- 238000005457 optimization Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- BQJCRHHNABKAKU-KBQPJGBKSA-N morphine Chemical compound O([C@H]1[C@H](C=C[C@H]23)O)C4=C5[C@@]12CCN(C)[C@@H]3CC5=CC=C4O BQJCRHHNABKAKU-KBQPJGBKSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 229930003231 vitamin Natural products 0.000 description 2
- 235000013343 vitamin Nutrition 0.000 description 2
- 239000011782 vitamin Substances 0.000 description 2
- 229940088594 vitamin Drugs 0.000 description 2
- AHOUBRCZNHFOSL-YOEHRIQHSA-N (+)-Casbol Chemical compound C1=CC(F)=CC=C1[C@H]1[C@H](COC=2C=C3OCOC3=CC=2)CNCC1 AHOUBRCZNHFOSL-YOEHRIQHSA-N 0.000 description 1
- RTHCYVBBDHJXIQ-MRXNPFEDSA-N (R)-fluoxetine Chemical compound O([C@H](CCNC)C=1C=CC=CC=1)C1=CC=C(C(F)(F)F)C=C1 RTHCYVBBDHJXIQ-MRXNPFEDSA-N 0.000 description 1
- BSYNRYMUTXBXSQ-UHFFFAOYSA-N Aspirin Chemical compound CC(=O)OC1=CC=CC=C1C(O)=O BSYNRYMUTXBXSQ-UHFFFAOYSA-N 0.000 description 1
- XPCFTKFZXHTYIP-PMACEKPBSA-N Benazepril Chemical compound C([C@@H](C(=O)OCC)N[C@@H]1C(N(CC(O)=O)C2=CC=CC=C2CC1)=O)CC1=CC=CC=C1 XPCFTKFZXHTYIP-PMACEKPBSA-N 0.000 description 1
- 229930186147 Cephalosporin Natural products 0.000 description 1
- JZUFKLXOESDKRF-UHFFFAOYSA-N Chlorothiazide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC2=C1NCNS2(=O)=O JZUFKLXOESDKRF-UHFFFAOYSA-N 0.000 description 1
- ZZZCUOFIHGPKAK-UHFFFAOYSA-N D-erythro-ascorbic acid Natural products OCC1OC(=O)C(O)=C1O ZZZCUOFIHGPKAK-UHFFFAOYSA-N 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- HEFNNWSXXWATRW-UHFFFAOYSA-N Ibuprofen Chemical compound CC(C)CC1=CC=C(C(C)C(O)=O)C=C1 HEFNNWSXXWATRW-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 229930012538 Paclitaxel Natural products 0.000 description 1
- AHOUBRCZNHFOSL-UHFFFAOYSA-N Paroxetine hydrochloride Natural products C1=CC(F)=CC=C1C1C(COC=2C=C3OCOC3=CC=2)CNCC1 AHOUBRCZNHFOSL-UHFFFAOYSA-N 0.000 description 1
- 229930182555 Penicillin Natural products 0.000 description 1
- JGSARLDLIJGVTE-MBNYWOFBSA-N Penicillin G Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)CC1=CC=CC=C1 JGSARLDLIJGVTE-MBNYWOFBSA-N 0.000 description 1
- 229930003268 Vitamin C Natural products 0.000 description 1
- 229930003316 Vitamin D Natural products 0.000 description 1
- QYSXJUFSXHHAJI-XFEUOLMDSA-N Vitamin D3 Natural products C1(/[C@@H]2CC[C@@H]([C@]2(CCC1)C)[C@H](C)CCCC(C)C)=C/C=C1\C[C@@H](O)CCC1=C QYSXJUFSXHHAJI-XFEUOLMDSA-N 0.000 description 1
- 229960001138 acetylsalicylic acid Drugs 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- HTIQEAQVCYTUBX-UHFFFAOYSA-N amlodipine Chemical compound CCOC(=O)C1=C(COCCN)NC(C)=C(C(=O)OC)C1C1=CC=CC=C1Cl HTIQEAQVCYTUBX-UHFFFAOYSA-N 0.000 description 1
- 229960000528 amlodipine Drugs 0.000 description 1
- 230000000202 analgesic effect Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 239000000935 antidepressant agent Substances 0.000 description 1
- 229940005513 antidepressants Drugs 0.000 description 1
- 239000002220 antihypertensive agent Substances 0.000 description 1
- 229940127088 antihypertensive drug Drugs 0.000 description 1
- 239000002246 antineoplastic agent Substances 0.000 description 1
- 229940041181 antineoplastic drug Drugs 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229960004530 benazepril Drugs 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 229940124587 cephalosporin Drugs 0.000 description 1
- 150000001780 cephalosporins Chemical class 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000002934 diuretic Substances 0.000 description 1
- 229940030606 diuretics Drugs 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 229960002464 fluoxetine Drugs 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 229960003883 furosemide Drugs 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 229960002003 hydrochlorothiazide Drugs 0.000 description 1
- 229960001680 ibuprofen Drugs 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229960005181 morphine Drugs 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229960001592 paclitaxel Drugs 0.000 description 1
- 229960002296 paroxetine Drugs 0.000 description 1
- 229940049954 penicillin Drugs 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- RCINICONZNJXQF-MZXODVADSA-N taxol Chemical compound O([C@@H]1[C@@]2(C[C@@H](C(C)=C(C2(C)C)[C@H](C([C@]2(C)[C@@H](O)C[C@H]3OC[C@]3([C@H]21)OC(C)=O)=O)OC(=O)C)OC(=O)[C@H](O)[C@@H](NC(=O)C=1C=CC=CC=1)C=1C=CC=CC=1)O)C(=O)C1=CC=CC=C1 RCINICONZNJXQF-MZXODVADSA-N 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 229940043263 traditional drug Drugs 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 235000019154 vitamin C Nutrition 0.000 description 1
- 239000011718 vitamin C Substances 0.000 description 1
- 235000019166 vitamin D Nutrition 0.000 description 1
- 239000011710 vitamin D Substances 0.000 description 1
- 150000003710 vitamin D derivatives Chemical class 0.000 description 1
- 229940046008 vitamin d Drugs 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请公开了一种基于处方数据分析的药品自动分拣管理系统及方法，涉及药品分拣领域。其首先获取处方数据，并将所述处方数据转换为标准格式以得到标准格式处方数据，接着，对所述标准格式处方数据进行分析以提取出药品的基本信息，所述基本信息包括药品名称、规格、数量、用法和用量，然后，控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中，接着，根据药品的类别和数量，选择预定位置，将药品的容器存放在所述仓库的货架上，并记录位置信息，最后，根据需求，从所述仓库中取出相应的药品的容器，并验证所述药品的正确性后，将所述药品送到目的地。这样，可以提高药品管理的效率和准确性。
Description
技术领域
本申请涉及药品分拣领域，且更为具体地，涉及一种基于处方数据分析的药品自动分拣管理系统及方法。
背景技术
药品分拣是指将医院或药房的药品按照一定规则和要求进行分类、分开，并将其放置在相应的位置或容器中的过程。正确和快速的药品分拣使医院或药房的工作人员能够快速找到所需的药品，提高用药的效率和及时性。同时，可以根据药品的需求量和使用情况进行合理的库存管理，避免过剩或缺货的情况发生。
传统的药品分拣通常由人工完成，这种分拣方式需要大量的人工操作，包括查找、取出和放置药品，耗费时间和人力。此外，这种方式可能无法快速响应紧急的药品需求，影响患者的用药时间和效果。
发明内容
有鉴于此，本申请提出了一种基于处方数据分析的药品自动分拣管理系统及方法，其可以提高药品管理的效率和准确性。
根据本申请的一方面，提供了一种基于处方数据分析的药品自动分拣管理系统，其包括：
处方数据采集模块，用于获取处方数据，并将所述处方数据转换为标准格式以得到标准格式处方数据；
处方数据分析模块，用于对所述标准格式处方数据进行分析以提取出药品的基本信息，所述基本信息包括药品名称、规格、数量、用法和用量；
药品自动分拣模块，用于控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中；
药品自动存储模块，用于根据药品的类别和数量，选择预定位置，将药品的容器存放在所述仓库的货架上，并记录位置信息；
药品自动出库模块，用于根据需求，从所述仓库中取出相应的药品的容器，并验证所述药品的正确性后，将所述药品送到目的地；
其中，所述药品自动分拣模块，包括：
影像获取单元，用于获取由部署于所述机械臂的摄像头采集的待分类药品的药品数字影像；
特征图提取单元，用于提取所述药品数字影像的图像语义特征以得到药品图像特征图；
文本语义特征提取单元，用于提取所述药品数字影像中的文本语义特征以得到药品文本描述语义编码特征向量；
药品类别分析单元，用于基于所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征，确定药品类别；
其中，所述药品类别分析单元，包括：
跨模态交互特征提取子单元，用于提取所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征以得到药品多模态表征特征图；
特征分布优化子单元，用于对所述药品多模态表征特征图的每个特征矩阵进行优化以得到优化后药品多模态表征特征图；
药品类别确定子单元，用于基于所述优化后药品多模态表征特征图，确定药品类别；
其中，所述特征分布优化子单元，包括：
计算所述药品多模态表征特征图的每个特征矩阵的优化系数；
以所述优化系数对所述药品多模态表征特征图的相应的特征矩阵进行加权优化以得到所述优化后药品多模态表征特征图；
其中，计算所述药品多模态表征特征图的每个特征矩阵的优化系数，包括：使用如下公式计算所述药品多模态表征特征图的每个特征矩阵的优化系数；其中，所述公式为：
；
其中，是所述药品多模态表征特征图的每个特征矩阵的第/>位置的特征值，/>表示特征值的概率化函数，/>是所述药品多模态表征特征图的每个特征矩阵的尺度，/>是所述药品多模态表征特征图通过分类器得到的类概率值，且/>是权重超参数，/>是所述优化系数。
在上述的基于处方数据分析的药品自动分拣管理系统中，所述特征图提取单元，用于：
将所述药品数字影像通过基于卷积神经网络模型的药品图像特征提取器以得到所述药品图像特征图。
在上述的基于处方数据分析的药品自动分拣管理系统中，所述文本语义特征提取单元，包括：
文本部分提取子单元，用于从所述药品数字影像提取文本部分；
语义编码子单元，用于对所述文本部分进行语义编码以得到所述药品文本描述语义编码特征向量。
在上述的基于处方数据分析的药品自动分拣管理系统中，所述语义编码子单元，包括：
分词二级子单元，用于对所述文本部分进行分词处理以将所述文本部分转化为由多个词组成的词序列；
编码二级子单元，用于使用上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；
上下文编码二级子单元，用于使用所述上下文编码器对所述词向量的序列进行基于全局的上下文语义编码以获得所述药品文本描述语义编码特征向量。
在上述的基于处方数据分析的药品自动分拣管理系统中，所述跨模态交互特征提取子单元，用于：
使用基于元网络的跨模态特征交互融合器对所述药品图像特征图和所述药品文本描述语义编码特征向量进行跨模态交互融合以得到所述药品多模态表征特征图。
在上述的基于处方数据分析的药品自动分拣管理系统中，所述跨模态交互特征提取子单元，包括：
第一卷积二级子单元，用于将所述药品文本描述语义编码特征向量通过点卷积层以得到第一卷积特征向量；
第一修正二级子单元，用于将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；
第二卷积二级子单元，用于将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；
第二修正二级子单元，用于将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；
多模态融合二级子单元，用于融合所述第二修正卷积特征向量与所述药品图像特征图以得到所述药品多模态表征特征图。
在上述的基于处方数据分析的药品自动分拣管理系统中，所述药品类别确定子单元，用于：
将所述优化后药品多模态表征特征图通过分类器以得到分类结果，所述分类结果用于表示药品类别标签。
根据本申请的另一方面，提供了一种基于处方数据分析的药品自动分拣管理方法，其包括：
获取处方数据，并将所述处方数据转换为标准格式以得到标准格式处方数据；
对所述标准格式处方数据进行分析以提取出药品的基本信息，所述基本信息包括药品名称、规格、数量、用法和用量；
控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中；
根据药品的类别和数量，选择预定位置，将药品的容器存放在所述仓库的货架上，并记录位置信息；
根据需求，从所述仓库中取出相应的药品的容器，并验证所述药品的正确性后，将所述药品送到目的地；
其中，控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中，包括：
获取由部署于所述机械臂的摄像头采集的待分类药品的药品数字影像；
提取所述药品数字影像的图像语义特征以得到药品图像特征图；
提取所述药品数字影像中的文本语义特征以得到药品文本描述语义编码特征向量；
基于所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征，确定药品类别；
其中，基于所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征，确定药品类别，包括：
提取所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征以得到药品多模态表征特征图；
对所述药品多模态表征特征图的每个特征矩阵进行优化以得到优化后药品多模态表征特征图；
基于所述优化后药品多模态表征特征图，确定药品类别；
其中，对所述药品多模态表征特征图的每个特征矩阵进行优化以得到优化后药品多模态表征特征图，包括：
计算所述药品多模态表征特征图的每个特征矩阵的优化系数；
以所述优化系数对所述药品多模态表征特征图的相应的特征矩阵进行加权优化以得到所述优化后药品多模态表征特征图；
其中，计算所述药品多模态表征特征图的每个特征矩阵的优化系数，包括：使用如下公式计算所述药品多模态表征特征图的每个特征矩阵的优化系数；其中，所述公式为：
；
其中，是所述药品多模态表征特征图的每个特征矩阵的第/>位置的特征值，/>表示特征值的概率化函数，/>是所述药品多模态表征特征图的每个特征矩阵的尺度，/>是所述药品多模态表征特征图通过分类器得到的类概率值，且/>是权重超参数，/>是所述优化系数。
在本申请中，其首先获取处方数据，并将所述处方数据转换为标准格式以得到标准格式处方数据，接着，对所述标准格式处方数据进行分析以提取出药品的基本信息，所述基本信息包括药品名称、规格、数量、用法和用量，然后，控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中，接着，根据药品的类别和数量，选择预定位置，将药品的容器存放在所述仓库的货架上，并记录位置信息，最后，根据需求，从所述仓库中取出相应的药品的容器，并验证所述药品的正确性后，将所述药品送到目的地。这样，可以提高药品管理的效率和准确性。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理系统的框图。
图2示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理系统中所述药品自动分拣模块的框图。
图3示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理方法的流程图。
图4示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理方法中步骤S130的架构示意图。
图5示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理系统的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
本申请提供了一种基于处方数据分析的药品自动分拣管理系统，图1示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理系统的框图示意图。如图1所示，根据本申请实施例的基于处方数据分析的药品自动分拣管理系统100，包括：处方数据采集模块110，用于获取处方数据，并将所述处方数据转换为标准格式以得到标准格式处方数据；处方数据分析模块120，用于对所述标准格式处方数据进行分析以提取出药品的基本信息，所述基本信息包括药品名称、规格、数量、用法和用量；药品自动分拣模块130，用于控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中；药品自动存储模块140，用于根据药品的类别和数量，选择预定位置，将药品的容器存放在所述仓库的货架上，并记录位置信息；以及，药品自动出库模块150，用于根据需求，从所述仓库中取出相应的药品的容器，并验证所述药品的正确性后，将所述药品送到目的地。
这样，通过自动化技术，从处方数据中提取药品的基本信息，并实现药品的自动分拣、存储和出库，极大地提高了药品管理的效率和准确性，从而帮助药房减少人力成本，加快药品发放速度，减少药品误配和漏配的风险，提高患者用药安全性和满意度。
特别地，考虑到在传统的药房或医院的药品分拣过程中，工作人员需要根据药品的类别、规格等信息，将药品分别放置在不同的货架或容器中。人工分拣需要工作人员根据药品的各种属性进行分类和放置，操作过程繁琐，耗时较长。针对这一技术问题，在本申请的技术方案中，更具体地，在所述药品自动分拣模块中，期待通过获取待分类药品的药品数字影像，并利用智能化算法来对所述药品数字影像进行图像处理和分析，以提取药品的类别信息，从而自动化判断所述待分类药品的类别。
基于此，图2示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理系统中所述药品自动分拣模块的框图示意图。如图2所示，根据本申请实施例的基于处方数据分析的药品自动分拣管理系统100，所述药品自动分拣模块130，包括：影像获取单元131，用于获取由部署于所述机械臂的摄像头采集的待分类药品的药品数字影像；特征图提取单元132，用于提取所述药品数字影像的图像语义特征以得到药品图像特征图；文本语义特征提取单元133，用于提取所述药品数字影像中的文本语义特征以得到药品文本描述语义编码特征向量；以及，药品类别分析单元134，用于基于所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征，确定药品类别。
应可以理解，影像获取单元131通过部署在机械臂上的摄像头采集药品的影像数据，以便后续的处理和分析。特征图提取单元132通过对药品影像进行处理和分析，该单元可以提取出表示药品图像特征的特征图，这些特征可以用于后续的药品分类和识别。对于包含文本信息的药品影像，文本语义特征提取单元133可以提取出表示文本语义的特征，将其编码成特征向量，以便进行后续的药品分类和识别。药品类别分析单元134通过将药品图像特征和文本描述特征进行交互分析，该单元可以确定药品所属的类别，即对药品进行分类和识别。综合来说，药品自动分拣模块中的各个单元分别负责不同的任务，包括获取药品影像、提取图像特征和文本特征，以及进行药品分类和识别，这些单元的协同工作可以实现对待分类药品的自动分拣和管理。
具体地，在本申请的技术方案中，首先，获取由部署于机械臂的摄像头采集的待分类药品的药品数字影像。这里，由摄像头来采集所述待分类药品的药品数字影像，可以从中获得药品的视觉信息，以支持药品的自动分类。具体来说，药品的类别可以通过其外观、形状、标识等视觉特征来判断和区分。在所述药品数字影像中包含了丰富的视觉信息，包括颜色、形状、纹理等特征，这些特征可以用于区分不同的药品类别。此外，所述药品数字影像是药品在数字形式下的可视表达，其中还蕴含了重要的文本信息。这对于药品的分类和识别亦非常重要。
接着，将所述药品数字影像通过基于卷积神经网络模型的药品图像特征提取器以得到药品图像特征图。其中，卷积神经网络（Convolutional Neural Network，CNN）是一种在计算机视觉任务中表现优异的深度学习模型。通过CNN模型，可以利用其强大的特征提取能力，从药品数字影像中提取出丰富、高级的特征表示。这些特征可以捕捉到药品图像的细节、纹理、形状等信息，有助于更准确地识别和分类药品。
相应地，所述特征图提取单元132，用于：将所述药品数字影像通过基于卷积神经网络模型的药品图像特征提取器以得到所述药品图像特征图。值得一提的是，卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，专门用于处理具有网格结构的数据，如图像和视频。卷积神经网络的核心思想是通过卷积层、池化层和全连接层等组件来提取图像的特征并进行分类，它的主要特点是局部感知性和权值共享。在药品自动分拣管理系统中的特征图提取单元132，使用基于卷积神经网络模型的药品图像特征提取器来处理药品数字影像，以得到药品图像特征图。这意味着该单元会利用已经训练好的卷积神经网络模型，将药品数字影像输入到网络中，通过网络的前向传播过程，提取出药品图像的特征，并生成对应的特征图作为输出。具体而言，特征图提取单元使用卷积神经网络模型对药品数字影像进行卷积运算和特征提取，通过多个卷积层和激活函数的组合，逐渐提取出药品图像中的高级语义特征。这些特征可以捕捉到药品的形状、纹理、边缘等信息，有助于后续的药品分类和识别。需要注意的是，具体使用哪种卷积神经网络模型以及其结构的细节在实际应用中可能会有所不同，根据具体的任务和数据集的特点进行选择和调整。常见的卷积神经网络模型包括LeNet、AlexNet、VGG、ResNet等，它们具有不同的层次结构和参数设置，适用于不同规模和复杂度的图像处理任务。
同时，从所述药品数字影像提取文本部分，并对所述文本部分进行语义编码以得到药品文本描述语义编码特征向量。具体来说，从药品数字影像中提取文本部分的目的是获取药品的相关信息，例如药品名称、批号、规格、生产日期等。这些信息对于药品的管理非常重要。在本申请的实施例中，从所述药品数字影像提取文本部分可以采用光学字符识别（Optical Character Recognition，OCR）技术来实现。其中，光学字符识别技术是一种将图像中的文字转换为文本的技术，可以识别和提取出药品图像中的文字信息。更具体地，光学字符识别技术通常包括：图像预处理、文字定位、文字识别和文字后处理等步骤。此外，在本申请的技术方案中，对所述文本部分进行语义编码可以将不可被直接读取和分析的文本数据转换为具有丰富语义信息的向量表示，从而描述和刻画待分类药品的文本语义含义。
相应地，所述文本语义特征提取单元133，包括：文本部分提取子单元，用于从所述药品数字影像提取文本部分；以及，语义编码子单元，用于对所述文本部分进行语义编码以得到所述药品文本描述语义编码特征向量。
具体地，在一个示例中，所述语义编码子单元，包括：分词二级子单元，用于对所述文本部分进行分词处理以将所述文本部分转化为由多个词组成的词序列；编码二级子单元，用于使用上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；以及，上下文编码二级子单元，用于使用所述上下文编码器对所述词向量的序列进行基于全局的上下文语义编码以获得所述药品文本描述语义编码特征向量。
值得一提的是，在文本处理领域，上下文编码器（Context Encoder）是一种用于将文本序列转换为具有语义信息的向量表示的模型。它的作用是捕捉文本序列中词与词之间的上下文关系和语义信息，以便更好地表示文本的语义含义。上下文编码器通常基于循环神经网络（Recurrent Neural Network，RNN）或者是其变种，如长短期记忆网络（LongShort-Term Memory，LSTM）或门控循环单元（Gated Recurrent Unit，GRU）来实现。这些模型能够处理序列数据，并通过在每个时间步骤上更新隐藏状态来捕捉上下文信息。
在药品自动分拣管理系统中的文本语义特征提取单元133的语义编码子单元中，使用上下文编码器对提取的词序列进行处理，以获得药品文本描述的语义编码特征向量。具体而言，在分词二级子单元中，分词是将连续的文本切分成有意义的词语的过程，为后续的处理提供基本的文本单元。在编码二级子单元中，嵌入层是一个可学习的参数矩阵，它将离散的词语映射到连续的向量表示，捕捉词语的语义信息。在上下文编码二级子单元中，上下文编码器会考虑每个词与其前后词之间的关系，通过更新隐藏状态来捕捉上下文信息，并将这些信息编码为固定维度的语义特征向量。综合来说，上下文编码器在药品自动分拣管理系统中的文本语义特征提取单元中起到了将文本序列转换为具有语义信息的向量表示的作用，它能够有效地捕捉药品文本描述的语义含义，为后续的药品分类和识别提供有用的信息。
继而，使用基于元网络的跨模态特征交互融合器对所述药品图像特征图和所述药品文本描述语义编码特征向量进行跨模态交互融合以得到药品多模态表征特征图。应可以理解，所述药品图像特征图和所述药品文本描述语义编码特征向量分别提供了不同类型的信息。通过将两者进行跨模态交互融合的方式可以将两种表达不同方面的特征分布进行融合，以综合利用图像和文本的信息，从而得到更加丰富和全面的特征表示，更好地描述药品的属性和特征。从另一种角度来说，通过将两者进行跨模态交互融合可以在一定程度上解决信息不完整的问题。具体来说，在本申请的实际应用场景中，在某些情况下，药品数字影像或文本部分可能存在信息不完整或模糊的情况。通过跨模态交互融合，可以利用另一种模态的信息来弥补缺失或模糊的部分。例如，当图像中的某些细节不清晰时，利用文本部分的语义编码特征可以提供更准确的信息，反之亦然。
其中，所述基于元网络的跨模态特征交互融合器使一维特征向量，即所述药品文本描述语义编码特征向量与高维特征图，即所述药品图像特征图进行交互，直接控制每个特征通道的相关特性，帮助网络专注于每个特征通道的特定部分，以在特征融合过程中考虑不同特征通道之间的关联性和重要性。这有助于更好地融合药品视觉信息和文本语义含义特征，使得融合后的特征更具有代表性和区分度。
随后，将所述药品多模态表征特征图通过分类器以得到分类结果，所述分类结果用于表示药品类别标签。其中，药品类别标签可以根据药品的特性、用途、成分等进行定义和划分。在本申请的实施例中，可以将药品划分为：1.镇痛药：用于缓解疼痛的药物，如吗啡、布洛芬等；2.抗生素：用于治疗感染的药物，如青霉素、头孢菌素等；3.抗癌药：用于治疗癌症的药物，如阿司匹林、紫杉醇等；4.抗抑郁药：用于治疗抑郁症的药物，如帕罗西汀、氟西汀等；5.利尿剂：用于增加尿液排出的药物，如呋塞米、氢氯噻嗪等；6.降压药：用于降低血压的药物，如贝那普利、氨氯地平等；7.维生素：用于补充人体所需维生素的药物，如维生素C、维生素D等。在本申请的实际应用场景中，药品类别标签可以根据具体的药物特性和治疗用途进行分类。这样，为药品添加类别标签，可以方便对药品进行管理、检索和分类分析，同时也为医生、药师和患者提供了有关药物的重要信息。
相应地，所述药品类别分析单元134，包括：跨模态交互特征提取子单元，用于提取所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征以得到药品多模态表征特征图；特征分布优化子单元，用于对所述药品多模态表征特征图的每个特征矩阵进行优化以得到优化后药品多模态表征特征图；以及，药品类别确定子单元，用于基于所述优化后药品多模态表征特征图，确定药品类别。
应可以理解，在药品自动分拣管理系统中，药品类别分析单元134是一个关键部分，用于基于药品图像特征图和药品文本描述语义编码特征向量来确定药品的类别。具体地，跨模态交互特征提取子单元用于提取药品图像特征图和药品文本描述语义编码特征向量之间的跨模态交互特征，在这个过程中，药品图像特征图和语义编码特征向量之间的交互信息被捕捉，以综合考虑图像和文本的信息，从而更好地表示药品的特征。特征分布优化子单元用于对药品的多模态表征特征图进行特征分布优化，通过优化特征分布，可以使得不同类别的药品在特征空间中更好地区分开来，提高分类的准确性和可靠性。药品类别确定子单元可以将药品多模态表征特征图与预定义的药品类别进行比较和匹配，从而确定药品所属的类别。综合来说，药品类别分析单元中的三个子单元共同协作，实现对待分类药品的类别确定。跨模态交互特征提取子单元用于提取药品图像和文本之间的交互特征，特征分布优化子单元用于优化特征分布，药品类别确定子单元则用于基于优化后的特征图来确定药品的类别，这些子单元的协同工作能够提高药品分类的准确性和效果。
其中，在一个示例中，所述跨模态交互特征提取子单元，用于：使用基于元网络的跨模态特征交互融合器对所述药品图像特征图和所述药品文本描述语义编码特征向量进行跨模态交互融合以得到所述药品多模态表征特征图。
在一个具体示例中，所述跨模态交互特征提取子单元，包括：第一卷积二级子单元，用于将所述药品文本描述语义编码特征向量通过点卷积层以得到第一卷积特征向量；第一修正二级子单元，用于将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；第二卷积二级子单元，用于将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；第二修正二级子单元，用于将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；以及，多模态融合二级子单元，用于融合所述第二修正卷积特征向量与所述药品图像特征图以得到所述药品多模态表征特征图。
其中，在一个示例中，所述药品类别确定子单元，用于：将所述优化后药品多模态表征特征图通过分类器以得到分类结果，所述分类结果用于表示药品类别标签。具体地，所述药品类别确定子单元，进一步用于：将所述优化后药品多模态表征特征图按照行向量或者列向量展开为优化分类特征向量；使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM（SupportVector Machine，支持向量机）等常用于解决二分类问题，对于多分类问题（multi-classclassification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
在本申请的技术方案中，所述药品图像特征图的各个特征矩阵表达所述药品数字影像的图像语义特征，且其各个特征矩阵之间遵循所述药品数字影像的图像帧间的图像语义时序分布，这样，在使用基于元网络的跨模态特征交互融合器对所述药品图像特征图和所述药品文本描述语义编码特征向量进行跨模态交互融合时，会基于所述药品文本描述语义编码特征向量表达的所述药品数字影像的文本部分的文本语义特征在通道维度上对所述药品图像特征图进行约束。
但是，考虑到所述药品数字影像的文本部分的文本语义特征与所述药品数字影像的图像语义特征空间分布的相关性，其与所述药品数字影像的图像语义特征时序分布之间存在差异，使得所述药品多模态表征特征图由于通道混合约束而具有图像语义空间-时序分布稀疏性，导致所述药品多模态表征特征图通过分类器进行分类时，在类概率密度域下的概率密度表示稀疏化，影响其通过分类器进行分类时的回归收敛效果。
基于此，本申请的申请人在每次所述药品多模态表征特征图通过分类器进行分类回归的训练迭代时，对所述药品多模态表征特征图的每个特征矩阵进行优化。相应地，在一个示例中，所述特征分布优化子单元，包括：计算所述药品多模态表征特征图的每个特征矩阵的优化系数；以所述优化系数对所述药品多模态表征特征图的相应的特征矩阵进行加权优化以得到所述优化后药品多模态表征特征图。
具体的，在一个示例中，计算所述药品多模态表征特征图的每个特征矩阵的优化系数，包括：使用如下公式计算所述药品多模态表征特征图的每个特征矩阵的优化系数；其中，所述公式为：
；
其中，是所述药品多模态表征特征图的每个特征矩阵的第/>位置的特征值，/>表示特征值的概率化函数，/>是所述药品多模态表征特征图的每个特征矩阵的尺度，/>是所述药品多模态表征特征图通过分类器得到的类概率值，且/>是权重超参数，/>是所述优化系数。
也就是，对于所述药品多模态表征特征图的每个特征矩阵对应的特征场景，通过概率分布前景约束和相对的概率映射响应假设来承接场景饱和的类概率推理逻辑关联，从而向所述药品多模态表征特征图的每个特征矩阵的特征集合赋予场景概念本体论认知，也就是，将整体分布与在分类过程下的基于场景的类概率逻辑推理进行内在对齐，以提升所述药品多模态表征特征图的特征矩阵场景分布对于类认知的理解能力。这样，再以所述优化系数对所述药品多模态表征特征图的相应的特征矩阵进行加权优化，就可以改进优化后的药品多模态表征特征图的类概率回归效果，也就是，提升其通过分类器进行分类训练的训练速度和得到的分类结果的准确性。
综上，基于本申请实施例的基于处方数据分析的药品自动分拣管理系统100被阐明，其可以提高药品管理的效率和准确性。
如上所述，根据本申请实施例的所述基于处方数据分析的药品自动分拣管理系统100可以实现在各种终端设备中，例如具有基于处方数据分析的药品自动分拣管理算法的服务器等。在一个示例中，基于处方数据分析的药品自动分拣管理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于处方数据分析的药品自动分拣管理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于处方数据分析的药品自动分拣管理系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于处方数据分析的药品自动分拣管理系统100与该终端设备也可以是分立的设备，并且该基于处方数据分析的药品自动分拣管理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图3示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理方法的流程图。如图3所示，根据本申请实施例的基于处方数据分析的药品自动分拣管理方法，其包括：S110，获取处方数据，并将所述处方数据转换为标准格式以得到标准格式处方数据；S120，对所述标准格式处方数据进行分析以提取出药品的基本信息，所述基本信息包括药品名称、规格、数量、用法和用量；S130，控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中；S140，根据药品的类别和数量，选择预定位置，将药品的容器存放在所述仓库的货架上，并记录位置信息；以及，S150，根据需求，从所述仓库中取出相应的药品的容器，并验证所述药品的正确性后，将所述药品送到目的地。
在一种可能的实现方式中，如图4所示，控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中，包括：获取由部署于所述机械臂的摄像头采集的待分类药品的药品数字影像；提取所述药品数字影像的图像语义特征以得到药品图像特征图；提取所述药品数字影像中的文本语义特征以得到药品文本描述语义编码特征向量；以及，基于所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征，确定药品类别。
这里，本领域技术人员可以理解，上述基于处方数据分析的药品自动分拣管理方法中的各个步骤的具体操作已经在上面参考图1到图2的基于处方数据分析的药品自动分拣管理系统的描述中得到了详细介绍，并因此，将省略其重复描述。
图5示出根据本申请的实施例的基于处方数据分析的药品自动分拣管理系统的应用场景图。如图5所示，在该应用场景中，首先，获取由部署于所述机械臂的摄像头采集的待分类药品的药品数字影像（例如，图5中所示意的D），然后，将所述药品数字影像输入至部署有基于处方数据分析的药品自动分拣管理算法的服务器（例如，图5中所示意的S）中，其中，所述服务器能够使用所述基于处方数据分析的药品自动分拣管理算法对所述药品数字影像进行处理以得到用于表示药品类别标签的分类结果。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器，上述计算机程序指令可由装置的处理组件执行以完成上述方法。
本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (2)
1.一种基于处方数据分析的药品自动分拣管理系统，其特征在于，包括：
处方数据采集模块，用于获取处方数据，并将所述处方数据转换为标准格式以得到标准格式处方数据；
处方数据分析模块，用于对所述标准格式处方数据进行分析以提取出药品的基本信息，所述基本信息包括药品名称、规格、数量、用法和用量；
药品自动分拣模块，用于控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中；
药品自动存储模块，用于根据药品的类别和数量，选择预定位置，将药品的容器存放在所述仓库的货架上，并记录位置信息；
药品自动出库模块，用于根据需求，从所述仓库中取出相应的药品的容器，并验证所述药品的正确性后，将所述药品送到目的地；
其中，所述药品自动分拣模块，包括：
影像获取单元，用于获取由部署于所述机械臂的摄像头采集的待分类药品的药品数字影像；
特征图提取单元，用于提取所述药品数字影像的图像语义特征以得到药品图像特征图；
文本语义特征提取单元，用于提取所述药品数字影像中的文本语义特征以得到药品文本描述语义编码特征向量；
药品类别分析单元，用于基于所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征，确定药品类别；
其中，所述药品类别分析单元，包括：
跨模态交互特征提取子单元，用于提取所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征以得到药品多模态表征特征图；
特征分布优化子单元，用于对所述药品多模态表征特征图的每个特征矩阵进行优化以得到优化后药品多模态表征特征图；
药品类别确定子单元，用于基于所述优化后药品多模态表征特征图，确定药品类别；
其中，所述特征分布优化子单元，包括：
计算所述药品多模态表征特征图的每个特征矩阵的优化系数；
以所述优化系数对所述药品多模态表征特征图的相应的特征矩阵进行加权优化以得到所述优化后药品多模态表征特征图；
其中，计算所述药品多模态表征特征图的每个特征矩阵的优化系数，包括：使用如下公式计算所述药品多模态表征特征图的每个特征矩阵的优化系数；其中，所述公式为：
；
其中，是所述药品多模态表征特征图的每个特征矩阵的第/>位置的特征值，表示特征值的概率化函数，/>是所述药品多模态表征特征图的每个特征矩阵的尺度，/>是所述药品多模态表征特征图通过分类器得到的类概率值，且/>是权重超参数，是所述优化系数；
其中，所述特征图提取单元，用于：
将所述药品数字影像通过基于卷积神经网络模型的药品图像特征提取器以得到所述药品图像特征图；
其中，所述文本语义特征提取单元，包括：
文本部分提取子单元，用于从所述药品数字影像提取文本部分；
语义编码子单元，用于对所述文本部分进行语义编码以得到所述药品文本描述语义编码特征向量；
其中，所述语义编码子单元，包括：
分词二级子单元，用于对所述文本部分进行分词处理以将所述文本部分转化为由多个词组成的词序列；
编码二级子单元，用于使用上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；
上下文编码二级子单元，用于使用所述上下文编码器对所述词向量的序列进行基于全局的上下文语义编码以获得所述药品文本描述语义编码特征向量；
其中，所述跨模态交互特征提取子单元，用于：
使用基于元网络的跨模态特征交互融合器对所述药品图像特征图和所述药品文本描述语义编码特征向量进行跨模态交互融合以得到所述药品多模态表征特征图；
其中，所述跨模态交互特征提取子单元，包括：
第一卷积二级子单元，用于将所述药品文本描述语义编码特征向量通过点卷积层以得到第一卷积特征向量；
第一修正二级子单元，用于将所述第一卷积特征向量通过基于ReLU函数的修正线性单元以得到第一修正卷积特征向量；
第二卷积二级子单元，用于将所述第一修正卷积特征向量通过点卷积层以得到第二卷积特征向量；
第二修正二级子单元，用于将所述第二卷积特征向量通过基于Sigmoid函数的修正线性单元以得到第二修正卷积特征向量；
多模态融合二级子单元，用于融合所述第二修正卷积特征向量与所述药品图像特征图以得到所述药品多模态表征特征图；
其中，所述药品类别确定子单元，用于：
将所述优化后药品多模态表征特征图通过分类器以得到分类结果，所述分类结果用于表示药品类别标签。
2.一种基于处方数据分析的药品自动分拣管理方法，用于如权利要求1所述的基于处方数据分析的药品自动分拣管理系统，其特征在于，包括：
获取处方数据，并将所述处方数据转换为标准格式以得到标准格式处方数据；
对所述标准格式处方数据进行分析以提取出药品的基本信息，所述基本信息包括药品名称、规格、数量、用法和用量；
控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中；
根据药品的类别和数量，选择预定位置，将药品的容器存放在所述仓库的货架上，并记录位置信息；
根据需求，从所述仓库中取出相应的药品的容器，并验证所述药品的正确性后，将所述药品送到目的地；
其中，控制机械臂以将药品从仓库中取出，并按照类别放入相应的容器中，包括：
获取由部署于所述机械臂的摄像头采集的待分类药品的药品数字影像；
提取所述药品数字影像的图像语义特征以得到药品图像特征图；
提取所述药品数字影像中的文本语义特征以得到药品文本描述语义编码特征向量；
基于所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征，确定药品类别；
其中，基于所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征，确定药品类别，包括：
提取所述药品图像特征图和所述药品文本描述语义编码特征向量之间的跨模态交互特征以得到药品多模态表征特征图；
对所述药品多模态表征特征图的每个特征矩阵进行优化以得到优化后药品多模态表征特征图；
基于所述优化后药品多模态表征特征图，确定药品类别；
其中，对所述药品多模态表征特征图的每个特征矩阵进行优化以得到优化后药品多模态表征特征图，包括：
其中，计算所述药品多模态表征特征图的每个特征矩阵的优化系数；
以所述优化系数对所述药品多模态表征特征图的相应的特征矩阵进行加权优化以得到所述优化后药品多模态表征特征图；
计算所述药品多模态表征特征图的每个特征矩阵的优化系数，包括：使用如下公式计算所述药品多模态表征特征图的每个特征矩阵的优化系数；其中，所述公式为：
；
其中，是所述药品多模态表征特征图的每个特征矩阵的第/>位置的特征值，表示特征值的概率化函数，/>是所述药品多模态表征特征图的每个特征矩阵的尺度，/>是所述药品多模态表征特征图通过分类器得到的类概率值，且/>是权重超参数，是所述优化系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410353992.XA CN117954045B (zh) | 2024-03-27 | 2024-03-27 | 基于处方数据分析的药品自动分拣管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410353992.XA CN117954045B (zh) | 2024-03-27 | 2024-03-27 | 基于处方数据分析的药品自动分拣管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117954045A CN117954045A (zh) | 2024-04-30 |
| CN117954045B true CN117954045B (zh) | 2024-06-04 |
Family
ID=90798255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410353992.XA Active CN117954045B (zh) | 2024-03-27 | 2024-03-27 | 基于处方数据分析的药品自动分拣管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117954045B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022008610A (ja) * | 2018-08-07 | 2022-01-13 | Ｐｈｃホールディングス株式会社 | 薬品仕分装置 |
| CN115203380A (zh) * | 2022-09-19 | 2022-10-18 | 山东鼹鼠人才知果数据科技有限公司 | 基于多模态数据融合的文本处理系统及其方法 |
| CN116824175A (zh) * | 2023-02-08 | 2023-09-29 | 清华大学 | 药品分拣检验的方法及装置、存储介质及电子设备 |
| CN117198468A (zh) * | 2023-09-25 | 2023-12-08 | 湖北万维科技发展有限责任公司 | 基于行为识别和数据分析的干预方案智慧化管理系统 |
| CN117324283A (zh) * | 2023-11-14 | 2024-01-02 | 广州方舟信息科技有限公司 | 一种药品分拣方法、装置、设备及存储介质 |
| CN117523593A (zh) * | 2024-01-02 | 2024-02-06 | 吉林大学 | 患者病历数据处理方法及系统 |
-
2024
- 2024-03-27 CN CN202410353992.XA patent/CN117954045B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022008610A (ja) * | 2018-08-07 | 2022-01-13 | Ｐｈｃホールディングス株式会社 | 薬品仕分装置 |
| CN115203380A (zh) * | 2022-09-19 | 2022-10-18 | 山东鼹鼠人才知果数据科技有限公司 | 基于多模态数据融合的文本处理系统及其方法 |
| CN116824175A (zh) * | 2023-02-08 | 2023-09-29 | 清华大学 | 药品分拣检验的方法及装置、存储介质及电子设备 |
| CN117198468A (zh) * | 2023-09-25 | 2023-12-08 | 湖北万维科技发展有限责任公司 | 基于行为识别和数据分析的干预方案智慧化管理系统 |
| CN117324283A (zh) * | 2023-11-14 | 2024-01-02 | 广州方舟信息科技有限公司 | 一种药品分拣方法、装置、设备及存储介质 |
| CN117523593A (zh) * | 2024-01-02 | 2024-02-06 | 吉林大学 | 患者病历数据处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117954045A (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10460033B2 (en) | Structured knowledge modeling, extraction and localization from images | |
| JP6236075B2 (ja) | インタラクティブ方法、インタラクティブ装置及びサーバー | |
| CN108629043A (zh) | 网页目标信息的提取方法、装置及存储介质 | |
| GB2544379A (en) | Structured knowledge modeling, extraction and localization from images | |
| CN109189943B (zh) | 一种能力知识抽取及能力知识图谱构建的方法 | |
| CN113707303A (zh) | 基于知识图谱的医疗问题解答方法、装置、设备及介质 | |
| Chen et al. | Towards complete icon labeling in mobile applications | |
| CN109146640B (zh) | 一种线上商品搜索方法及系统 | |
| Ding et al. | Prior knowledge-based deep learning method for indoor object recognition and application | |
| Zang et al. | Multimodal icon annotation for mobile applications | |
| US11865740B2 (en) | Systematic disposal, classification and dynamic procurement of recyclable resin | |
| Lotfi et al. | Storytelling with image data: A systematic review and comparative analysis of methods and tools | |
| CN113868419A (zh) | 基于人工智能的文本分类方法、装置、设备及介质 | |
| CN112417996B (zh) | 工业图纸的信息处理方法、装置、电子设备和存储介质 | |
| AU2016225819A1 (en) | Structured knowledge modeling and extraction from images | |
| CN117954045B (zh) | 基于处方数据分析的药品自动分拣管理系统及方法 | |
| CN117195911A (zh) | 一种语言模型驱动的零样本目标检测方法及系统 | |
| EP3104285A1 (en) | System and method for automating information abstraction process for documents | |
| Song et al. | A precise and real-time loop-closure detection for slam using the rsom tree | |
| CN116741396A (zh) | 文章归类方法和装置、电子设备和存储介质 | |
| Kuhn et al. | Finding and accessing diagrams in biomedical publications | |
| Wang et al. | Recognition and distance estimation of an irregular object in package sorting line based on monocular vision | |
| CN112084780B (zh) | 自然语言处理中共指消解方法、装置、设备及介质 | |
| Xu et al. | Estimating similarity of rich internet pages using visual information | |
| CN113822143A (zh) | 文本图像的处理方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |