CN117746435A - 中药表单信息发送方法、装置、电子设备和可读介质 - Google Patents
中药表单信息发送方法、装置、电子设备和可读介质 Download PDFInfo
- Publication number
- CN117746435A CN117746435A CN202311764338.XA CN202311764338A CN117746435A CN 117746435 A CN117746435 A CN 117746435A CN 202311764338 A CN202311764338 A CN 202311764338A CN 117746435 A CN117746435 A CN 117746435A
- Authority
- CN
- China
- Prior art keywords
- image
- chinese medicine
- feature map
- order number
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003814 drug Substances 0.000 title claims abstract description 353
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000004927 fusion Effects 0.000 claims abstract description 132
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 238000007639 printing Methods 0.000 claims abstract description 62
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 23
- 238000013518 transcription Methods 0.000 claims abstract description 23
- 230000035897 transcription Effects 0.000 claims abstract description 23
- 238000011176 pooling Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 25
- 238000011282 treatment Methods 0.000 claims description 21
- 229940079593 drug Drugs 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000003706 image smoothing Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 23
- 239000002699 waste material Substances 0.000 abstract description 22
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 230000001965 increasing effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 229940126678 chinese medicines Drugs 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003390 Chinese drug Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 241001619461 Poria <basidiomycete fungus> Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 108010052008 colla corii asini Proteins 0.000 description 1
- 238000011284 combination treatment Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 235000021419 vinegar Nutrition 0.000 description 1
- 239000000052 vinegar Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本公开的实施例公开了中药表单信息发送方法、装置、电子设备和可读介质。该方法的一具体实施方式包括:采集中药品列表图像;对中药品列表图像进行图像插值处理;将增强中药品列表图像输入至订单区域识别模型,得到目标框信息;根据目标框信息,对增强中药品列表图像进行图像裁剪处理,得到订单编号图像;对订单编号图像进行二值化处理;将灰度订单编号图像输入至空间特征提取层;将中药单号特征图集合输入至特征融合层;将融合特征图集合输入至双向循环网络层;将序列特征张量输入至权重特征提取层;将权重特征张量输入至转录层;根据单号识别结果信息,生成中药表单信息;将中药表单信息发送至打印终端。该实施方式可以减少打印纸张资源的浪费。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及中药表单信息发送方法、装置、电子设备和可读介质。
背景技术
医药产品关系到人类的生命安全,为了有效控制中药品存储质量,在对中药品(例如中药材和中药饮品)进行存放时,应根据中药品的性质设置相应的储存仓库(通常分为待验库区、合格品库区、发货库区、不合格品库区和退货库区等)。并设置相应的中药品出库流程(包括拣货、验货和发货等)。中药品出库流程中的每一个程序步骤都需要有相关人员根据物品的出库订单编号(通常出库订单编号唯一且较长,例如25位)进行对应程序步骤的表单打印以对中药品进行出货核对。目前,在生成中药表单信息以及进行发送操作时,通常采用的方式为:1)采用人工的方式进行出库订单编号输入,根据人工输入的出库订单编号生成对应程序步骤的表单。2)对程序步骤之前的表单进行整张拍照,并利用通用订单编号识别模型(例如transformer模型)对出库订单编号进行识别,根据识别出的出库订单编号生成对应程序步骤的表单。最后,将生成的表单发送至相关打印设备,以供相关人员进行出库核对。
然而,当采用上述方式生成中药表单信息以及进行发送操作时,经常会存在如下技术问题:
第一,由于出库订单编号较长,采用人工输入的方式容易造成出库订单编号输入错误,从而造成打印纸张资源的浪费,且人工录入耗时较长;对该程序步骤之前的表单进行整张拍照和整张识别,特征提取能力有限(每个模型的复杂性和参数数量都是有限的,导致模型的特征提取能力有限),导致对表单中出库订单编号区域的特征提取较少(即,对表单中其他非出库订单编号区域的特征提取较多,表单中其他非出库订单编号区域相对于整张表单所占比重较大),对出库订单编号的识别准确率较低,增加了打印单号错误发生的次数,从而造成打印纸张资源的浪费。
继续地,在采用技术方案来解决上述技术问题一的过程中,进一步存在如下技术问题:
第二,在对出库订单编号进行图像识别的过程中,为了增加前景和背景的区分度,常规的方案是根据先验性知识设定一个预设灰度阈值(例如128),根据预设灰度阈值对图像进行二值化处理。然而,受不同拍照因素的影响,图像的亮度、对比度和纹理结构不同,对整张图像采用统一的预设灰度阈值进行二值化处理,导致二值化后的图像出现误判或失真的概率较大,图像的前景和背景分割效果较差,从而造成出库订单编号的识别准确率较低,增加打印单号错误发生的次数,进而造成打印纸张资源的浪费。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了中药表单信息发送方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种中药表单信息发送方法,该方法包括:通过相关联的图像采集设备采集中药品列表图像,其中,上述中药品列表图像中包括有中药品订单编号;对上述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像;将上述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到上述中药品订单编号对应的目标框信息;根据上述目标框信息,对上述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像;对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像;将上述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合,其中,上述中药订单编号识别模型还包括:特征融合层、双向循环网络层、权重特征提取层和转录层;将上述中药单号特征图集合输入至上述特征融合层,得到融合特征图集合;将上述融合特征图集合输入至上述双向循环网络层,得到序列特征张量;将上述序列特征张量输入至上述权重特征提取层,得到权重特征张量;将上述权重特征张量输入至上述转录层,得到单号识别结果信息;根据上述单号识别结果信息,生成中药表单信息;将上述中药表单信息发送至相关联的打印终端,以供打印。
第二方面,本公开的一些实施例提供了一种中药表单信息发送装置,装置包括:采集单元,被配置成通过相关联的图像采集设备采集中药品列表图像,其中,上述中药品列表图像中包括有中药品订单编号;插值处理单元,被配置成对上述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像;第一输入单元,被配置成将上述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到上述中药品订单编号对应的目标框信息;裁剪处理单元,被配置成根据上述目标框信息,对上述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像;二值化处理单元,被配置成对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像;第二输入单元,被配置成将上述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合,其中,上述中药订单编号识别模型还包括:特征融合层、双向循环网络层、权重特征提取层和转录层;第三输入单元,被配置成将上述中药单号特征图集合输入至上述特征融合层,得到融合特征图集合;第四输入单元,被配置成将上述融合特征图集合输入至上述双向循环网络层,得到序列特征张量;第五输入单元,被配置成将上述序列特征张量输入至上述权重特征提取层,得到权重特征张量;第六输入单元,被配置成将上述权重特征张量输入至上述转录层,得到单号识别结果信息;生成单元,被配置成根据上述单号识别结果信息,生成中药表单信息;发送单元,被配置成将上述中药表单信息发送至相关联的打印终端,以供打印。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的中药表单信息发送方法,可以减少打印纸张资源的浪费。具体来说,造成打印纸张资源的浪费的原因在于:由于出库订单编号较长,采用人工输入的方式容易造成出库订单编号输入错误,从而造成打印纸张资源的浪费,且人工录入耗时较长;对该程序步骤之前的表单进行整张拍照和整张识别,特征提取能力有限(每个模型的复杂性和参数数量都是有限的,导致模型的特征提取能力有限),导致对表单中出库订单编号区域的特征提取较少(即,对表单中其他非出库订单编号区域的特征提取较多,表单中其他非出库订单编号区域相对于整张表单所占比重较大),对出库订单编号的识别准确率较低,增加了打印单号错误发生的次数,从而造成打印纸张资源的浪费。基于此,本公开的一些实施例的中药表单信息发送方法,首先,通过相关联的图像采集设备采集中药品列表图像。其中,上述中药品列表图像中包括有中药品订单编号。由此,可以得到具有中药品订单编号的中药品列表图像。从而可以用于识别中药品订单编号。然后,对上述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像。由此,可以得到图像插值处理后的增强中药品列表图像,从而可以提高图像的分辨率,提高图像的清晰度。之后,将上述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到上述中药品订单编号对应的目标框信息。由此,可以得到目标框信息,从而可以用于确定中药品订单编号对应的图像区域。随后,根据上述目标框信息,对上述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像。由此,可以得到表征订单编号区域的订单编号图像。接着,对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像。由此,可以得到将订单编号图像前景与背景进行区分的灰度订单编号图像,从而可以用于提高订单编号识别的准确率。随着,将上述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合。其中,上述中药订单编号识别模型还包括:特征融合层、双向循环网络层、权重特征提取层和转录层。由此,可以得到表征中药订单编号空间特征的中药单号特征图集合。其次,将上述中药单号特征图集合输入至上述特征融合层,得到融合特征图集合。由此,可以得到进行特征融合的融合特征图集合,从而可以用于提高特征提取能力。然后,将上述融合特征图集合输入至上述双向循环网络层,得到序列特征张量。由此,可以得到具有时间序列特征的序列特征张量。之后,将上述序列特征张量输入至上述权重特征提取层,得到权重特征张量。由此,可以得到权重特征张量,从而可以根据特征的重要程度对特征赋予不同的权重。随后,将上述权重特征张量输入至上述转录层,得到单号识别结果信息。由此,可以得到单号识别结果信息。接着,根据上述单号识别结果信息,生成中药表单信息。由此,可以得到对应出货程序步骤的中药表单信息。最后,将上述中药表单信息发送至相关联的打印终端,以供打印。由此,可以对该中药表单信息进行打印,以供相关人员进行出货核对。也因为可以先对中药品列表图像中订单编号区域进行区域确定,并进行裁剪处理,可以得到仅有订单编号的区域图像。还因为对仅有订单编号的区域图像进行订单编号识别,可以提高订单编号的特征提取能力,提高对出库订单编号的识别准确率,减少打印单号错误发生的次数,从而减少打印纸张资源的浪费。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的中药表单信息发送方法的一些实施例的流程图;
图2是根据本公开的中药表单信息发送装置的一些实施例的结构示意图;
图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的中药表单信息发送方法的一些实施例的流程100。该中药表单信息发送方法,包括以下步骤:
步骤101,通过相关联的图像采集设备采集中药品列表图像。
在一些实施例中,中药表单信息发送方法的执行主体(例如计算设备)可以通过有线连接方式或者无线连接方式以及通过相关联的图像采集设备采集中药品列表图像。其中,上述中药品列表图像中包括有中药品订单编号。上述相关联的图像采集设备可以为能够采集图像的设备。例如,上述相关联的图像采集设备可以为工业摄像头。上述中药品列表图像可以为中药品出库流程中某一程序步骤中的中药品列表的图像。上述某一程序步骤在此不做具体限定。例如,上述某一程序步骤可以为拣货步骤。上述中药品列表图像可以为打印的拣货单的图像。上述中药品列表中的中药品可以包括但不限于:玉竹(中药饮片)、茯苓(中药饮片)、大枣(中药饮片)、醋五味子(中药饮片)和阿胶。上述中药品订单编号可以为对应上述中药品列表图像中的中药品列表的订单编号。例如,上述中药品订单编号可以为SE2309161333038791792。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤102,对中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像。
在一些实施例中,上述执行主体可以对上述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像。其中,上述图像插值处理可以包括但不限于:最近邻插值处理、双线性插值处理、双三次插值处理、立方插值处理和样条插值处理。这里,上述插值处理可以为双线性插值处理。实践中,上述执行主体可以对上述中药品列表图像进行双线性插值处理,得到双线性插值处理后的中药品列表图像作为增强中药品列表图像。
可选地,在上述对上述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像之前,上述执行主体还可以执行以下步骤:
第一步,对上述中药品列表图像进行灰度化处理,得到灰度化处理后的中药品列表图像作为灰度中药品列表图像。其中,上述灰度化处理的方式可以包括但不限于:最大值法、平均值法和加权平均法。这里,上述灰度化处理的方式可以为加权平均法。实践中,上述执行主体可以采用加权平均法对上述中药品列表图像进行灰度化处理,得到灰度化处理后的中药品列表图像作为灰度中药品列表图像。
第二步,对上述灰度中药品列表图像进行直线检测处理,得到检测直线。实践中,上述执行主体可以利用霍夫变换对灰度中药品列表图像进行直线检测处理,得到检测直线。
第三步,根据上述检测直线,确定上述中药品列表图像的倾斜角度。实践中,上述执行主体可以将上述检测直线与水平直线的夹角确定为上述中药品列表图像的倾斜角度。这里,上述水平直线可以为任一与检测直线相交的水平方向的直线。
第四步,根据上述倾斜角度,对上述中药品列表图像进行旋转处理,得到旋转处理后的中药品列表图像作为旋转中药品列表图像。实践中,上述执行主体可以按照顺时针方向将上述中药品列表图像进行对应倾斜角度的旋转处理,得到旋转处理后的中药品列表图像作为旋转中药品列表图像。
第五步,将上述旋转中药品列表图像确定为中药品列表图像,以对上述中药品列表图像进行更新。
步骤103,将增强中药品列表图像输入至预先训练的订单区域识别模型中,得到中药品订单编号对应的目标框信息。
在一些实施例中,上述执行主体可以将上述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到上述中药品订单编号对应的目标框信息。其中,上述订单区域识别模型可以为以增强中药品列表图像为输入,以目标框信息为输出的神经网络模型。上述订单区域识别模型可以包括:骨干网络层、特征融合层和检测头层。其中,上述骨干网络层可以为对输入数据进行特征提取的网络层。上述特征融合层可以为将特征的底层位置特征和高层语义特征进行特征融合的网络层。上述检测头层可以为对中药品订单编号进行位置定位的网络层。上述目标框信息可以包括预测框的中心点坐标、预测框的高度和预测框的宽度。这里,预测框可以为中药品订单编号对应的区域边框。实践中,上述执行主体可以将上述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到上述中药品订单编号对应的目标框信息。
步骤104,根据目标框信息,对增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像。
在一些实施例中,根据上述目标框信息,上述执行主体可以对上述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像。实践中,上述执行主体可以以预测框的中心点坐标为中心,以预测框的高度为区域高度,以预测框的宽度为区域宽度对增强中药品列表图像进行区域裁剪处理,得到裁剪后的区域图像作为订单编号图像。
步骤105,对订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像。
在一些实施例中,上述执行主体可以对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像。
在一些实施例的一些可选的实现方式中,上述执行主体可以通过以下步骤对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像:
第一步,将上述订单编号图像中各个订单编号像素点对应的各个灰度值确定为订单编号灰度值集合。
第二步,将上述订单编号灰度值集合中灰度值最大的订单编号灰度值确定为最大灰度值。
第三步,将上述订单编号灰度值集合灰度值最小的订单编号灰度值确定为最小灰度值。
第四步,将上述最大灰度值与上述最小灰度值的差值绝对值确定为差值灰度值。
第五步,对于上述订单编号图像中的每个订单编号像素,执行以下步骤:
第一子步骤,将上述订单编号像素对应的灰度值确定为目标灰度值。
第二子步骤,将上述目标灰度值与上述最小灰度值的差值确定为目标灰度差值。
第三子步骤,将上述目标灰度差值与上述差值灰度值的比值确定为灰度比值信息。
第四子步骤,根据上述灰度比值信息、第一预设系数和第二预设系数,生成更新灰度值。实践中,首先,上述执行主体可以将上述灰度比值信息与第一预设系数的乘积确定为第一数值。然后,可以将第一数值与第二预设系数的差值确定为更新灰度值。这里,上述第一预设系数可以为2。上述第二预设系数可以为1。
第六步,将所生成的各个更新灰度值组成的图像确定为更新订单编号图像。
第七步,利用预设图像二值化模型,对上述更新订单编号图像进行二值化处理,得到二值化处理后的更新订单编号图像作为灰度订单编号图像。其中,上述预设图像二值化模型可以为:
其中,上述v可以为常数。I可以为更新订单编号图像。u可以为灰度订单编号图像,且u=u(t,x,y),t表示时间变量,x表示更新订单编号图像中更新订单编号像素的横坐标。y表示更新订单编号图像中更新订单编号像素的纵坐标。上述可以为边缘停止函数。这里,k>0,且k为常数。上述/>为数据的保真项。它使得灰度订单编号图像在无穷远处尽可能的接近更新订单编号图像。其中,/>是的梯度下降流方程。其中,Ω表示更新订单编号图像的定义区域。如果u>I(或者u<I),即,I-u<0(或者I-u>0),那么在演化过程中,u(t,x,y)随着时间t的增大而减小(或者增大),因此,u-I可以用于衡量更新订单编号图像与灰度订单编号图像的接近程度。上述/>为二值化项。其目的是从更新订单编号图像开始,当t→∞时,灰度订单编号图像u将趋于-1和1。设I(x,y)=u0(x,y)为初始化函数,u0(x,y)∈[-1,1],当-1<u0(x,y)<0,/>当0<u0(x,y)<1时,因此,该项/>具有二值化的作用。对于当梯度大时,对应边缘,/>趋于0,保真项起主要作用。当梯度小时,对应平坦区,/>趋于0,二值化项起主要作用,促使目标和背景趋于二值。上述vΔu为正则化项,由于图像不可避免的受其他噪声的影响,因此引入该正则化项。
上述第一步至第七步及其相关内容作为本公开的实施例的一个发明点,解决了背景技术提及的技术问题“在对出库订单编号进行图像识别的过程中,为了增加前景和背景的区分度,常规的技术方案是根据先验性知识设定一个预设灰度阈值(例如128),根据预设灰度阈值对图像进行二值化处理。然而,受不同拍照因素的影响,图像的亮度、对比度和纹理结构不同,对整张图像采用统一的预设灰度阈值进行二值化处理,导致二值化后的图像出现误判或失真的概率较大,图像的前景和背景分割效果较差,从而造成出库订单编号的识别准确率较低,增加打印单号错误发生的次数,进而造成打印纸张资源的浪费。”。导致在对出库订单编号进行图像识别的过程中,为了增加前景和背景的区分度,常规的技术方案是根据先验性知识设定一个预设灰度阈值(例如128),根据预设灰度阈值对图像进行二值化处理。然而,受不同拍照因素的影响,图像的亮度、对比度和纹理结构不同,对整张图像采用统一的预设灰度阈值进行二值化处理,导致二值化后的图像出现误判或失真的概率较大,图像的前景和背景分割效果较差,从而造成出库订单编号的识别准确率较低,增加打印单号错误发生的次数,进而造成打印纸张资源的浪费的因素往往如下:在对出库订单编号进行图像识别的过程中,为了增加前景和背景的区分度,常规的方案是根据先验性知识设定一个预设灰度阈值(例如128),根据预设灰度阈值对图像进行二值化处理。然而,受不同拍照因素的影响,图像的亮度、对比度和纹理结构不同,对整张图像采用统一的预设灰度阈值进行二值化处理,导致二值化后的图像出现误判或失真的概率较大,图像的前景和背景分割效果较差,从而造成出库订单编号的识别准确率较低,增加打印单号错误发生的次数,进而造成打印纸张资源的浪费。如果解决了上述因素,就能达到降低二值化后的图像出现误判或失真的概率,增强图像的前景和背景分割效果,提高出库订单编号的识别准确率,减少打印单号错误发生的次数,减少打印纸张资源的浪费的效果。为了达到这一效果,本公开通过将订单编号图像中的各个灰度值缩放到相同的范围,可以增强图像的对比度和消除不同特征之间的量纲影响,从而可以提高二值化的准确性。还通过引入边缘停止函数对数据保真项和二值化项进行加权处理,可使保真项和二值化项根据图像自身特征自适应地对原图像进行保真或二值化,通过加入正则化项用于抑制乘性噪声。从而降低了二值化后的图像出现误判或失真的概率,增强了图像的前景和背景分割效果,降低了出库订单编号的识别准确率,减少了打印单号错误发生的次数,进而减少了打印纸张资源的浪费。
可选地,在上述对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像之前,上述执行主体还可以执行以下步骤:
第一步,对上述订单编号图像进行直方图均衡化处理,得到直方图均衡化处理后的订单编号图像作为直方图订单编号图像。由此,通过对订单编号图像进行直方图均衡化处理,可以增加图像的对比度和细节,提高图像的可分辨性。
第二步,对上述直方图订单编号图像进行图像平滑处理,得到图像平滑处理后的直方图订单编号图像作为平滑订单编号图像。实践中,上述执行主体可以利用滤波器(例如高斯滤波器)对直方图订单编号图像平滑处理,得到图像平滑处理后的直方图订单编号图像作为平滑订单编号图像。由此,可以去除图像的噪声和细节,平滑图像纹理。
第三步,对上述平滑订单编号图像进行对比度拉伸处理,得到对比度拉伸处理后的平滑订单编号图像作为对比度拉伸订单编号图像。由此,可以增强图像的视觉效果和可识别性。
第四步,对上述对比度拉伸订单编号图像进行形态学操作处理,得到形态学操作处理后的对比度拉伸订单编号图像作为形态学订单编号图像。这里,形态学处理,包括腐蚀处理和膨胀处理。由此,通过对图像进行形态学处理,可以去除噪声,填充空洞和平滑边缘。
第五步,对上述形态学订单编号图像进行边缘增强处理,得到边缘增强处理后的订单编号图像作为边缘增强订单编号图像。实践中,上述执行主体可以利用边缘增强算法(例如Sobel和Canny)对上述形态学订单编号图像进行边缘增强处理,得到边缘增强处理后的形态学订单编号图像作为边缘增强订单编号图像。由此,可以突出图像中的边缘信息,提高边缘检测的效果。
第六步,将上述边缘增强订单编号图像确定为订单编号图像,以对上述订单编号图像进行更新。
步骤106,将灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合。
在一些实施例中,上述执行主体可以将上述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合。其中,上述中药订单编号识别模型可以为以灰度订单编号图像为输入,以单号识别结果信息为输出的网络模型。上述单号识别结果信息可以为识别得到的对应上述中药品订单编号的结果信息。上述中药订单编号识别模型还可以包括:特征融合层、双向循环网络层、权重特征提取层和转录层。其中,上述空间特征提取层可以为能够对输入数据进行空间特征提取的网络层。上述空间特征可以表征图像中物体的大小、形状、位置、方向和图像中不同点之间的相互关系。具体地,可以通过预设卷积模块对输入数据进行空间特征提取。上述预设卷积模块可以为预先设定能够进行卷积特征提取的模块。上述特征融合层可以为通过逐层融合进行上下采样,并引入跨层横向连接和多尺度纵向连接的方式进行特征融合的网络层。上述双向循环网络层可以为能够对具有时间序列特征的数据进行双向特征提取的网络层。上述权重特征提取层可以为对输入的不同特征赋予不同权重的网络层,从而可以使模型更好的捕捉到数据中的重要特征。上述转录层可以为能够将预测序列转换为标记序列的网络层。从而可以得到最终的识别结果。这里,标记序列可以为对输入序列进行标注的结果,可以理解为对输入的每个元素打上的标签序列。实践中,上述执行主体可以将上述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合。
在一些实施例的一些可选的实现方式中,上述中药订单编号识别模型是可以通过以下方式训练得到的:
第一步,获取样本集合。其中,上述样本集合中的样本包括样本灰度订单编号图像,以及与样本灰度订单编号图像对应的样本单号识别结果信息。其中,上述样本单号识别结果信息可以为与上述样本灰度订单编号图像对应的样本标签。需要说明的是,训练上述中药订单编号识别模型的执行主体可以是上述执行主体,也可以是其他计算设备。
第二步,基于样本集合执行以下训练步骤:
第一训练步骤,将样本集合中的至少一个样本的样本灰度订单编号图像分别输入至初始中药订单编号识别模型中,得到上述至少一个样本中的每个样本对应的单号识别结果信息。其中,上述初始中药订单编号识别模型可以是能够根据灰度订单编号图像得到单号识别结果信息的初始神经网络。上述初始神经网络可以为待训练的神经网络。具体地,上述初始神经网络可以包括空间特征提取层、特征融合层、双向循环网络层、权重特征提取层和转录层。
第二训练步骤,将上述至少一个样本中的每个样本对应的单号识别结果信息与对应的样本单号识别结果信息进行比较。这里,比较可以为上述至少一个样本中的每个样本对应的单号识别结果信息与对应的样本单号识别结果信息是否相同。
第三训练步骤,根据比较结果确定初始中药订单编号识别模型是否达到预设的优化目标。其中,上述优化目标可以为初始中药订单编号识别模型的损失函数值小于等于预设损失阈值。上述预设损失阈值可以为预先设定损失阈值。例如,上述预设损失阈值可以为0.1。上述初始中药订单编号识别模型对应的损失函数可以为交叉熵损失函数。
第四训练步骤,响应于确定初始中药订单编号识别模型达到上述优化目标,将初始中药订单编号识别模型确定为训练完成的中药订单编号识别模型。
可选地,训练得到上述中药订单编号识别模型的步骤还可以包括:第五训练步骤,响应于确定初始中药订单编号识别模型未达到上述优化目标,调整初始中药订单编号识别模型的网络参数,以及使用未用过的样本组成样本集合,使用调整后的初始中药订单编号识别模型作为初始中药订单编号识别模型,再次执行上述训练步骤。作为示例,可以采用反向传播算法(Back Propagation Algorithm,BP算法)和梯度下降法(例如小批量梯度下降算法)对上述初始中药订单编号识别模型的网络参数进行调整。
步骤107,将中药单号特征图集合输入至特征融合层,得到融合特征图集合。
在一些实施例中,上述执行主体可以将上述中药单号特征图集合输入至上述特征融合层,得到融合特征图集合。其中,上述中药单号特征图集合可以包括:第一尺寸中药单号特征图、第二尺寸中药单号特征图、第三尺寸中药单号特征图、第四尺寸中药单号特征图和第五尺寸中药单号特征图。其中,上述第一尺寸中药单号特征图的数据维度大于上述第二尺寸中药单号特征图。上述第二尺寸中药单号特征图的数据维度大于上述第三尺寸中药单号特征图。第三尺寸中药单号特征图的数据维度大于上述第四尺寸中药单号特征图。第四尺寸中药单号特征图的数据维度大于上述第五尺寸中药单号特征图。
进一步地,在采用技术方案解决背景技术所提及的技术问题的过程中,发明人发现,用户对订单编号识别准确率的需求较高。满足用户对订单编号识别准确率的需求常规的技术方案可以为将同一尺度的浅层特征和深层特征进行融合,以提高图像的特征提取能力,从而提高对对订单编号识别的准确率。然而,这种方式未考虑到不同尺度的特征图的特征融合问题,造成特征融合时的维度较少,从而导致提取的特征的信息较少。因此,发明人考虑到满足用户对订单编号识别准确率的需求和增加不同尺度特征图的特征融合,增加提取的特征的信息的需求。决定采用通过逐层融合进行上下采样,并引入跨层横向连接和多尺度纵向连接的方式进行特征融合的方式,以提高对特征图的特征提取能力,从而提高对订单号识别的准确率,减少打印单号错误发生的次数,进而减少打印纸张资源的浪费。
在一些实施例的一些可选的实现方式中,上述执行主体可以通过以下步骤将上述中药单号特征图集合输入至上述特征融合层,得到融合特征图集合:
第一步,对上述第五尺寸中药单号特征图进行上采样处理,得到上采样处理后的第五尺寸中药单号特征图作为第四尺寸上采样特征图。
第二步,对上述第四尺寸中药单号特征图和上述第四尺寸上采样特征图进行组合处理,得到第四尺寸融合特征图。其中,组合处理的方式可以为先进行拼接(可以为两特征图对应元素相加或相乘),再进行卷积(3*3的卷积)。
第三步,对上述第四尺寸融合特征图进行上采样处理,得到上采样处理后的第四尺寸融合特征图作为第三尺寸上采样特征图。
第四步,对上述第三尺寸中药单号特征图和上述第三尺寸上采样特征图进行组合处理,得到第三尺寸融合特征图。其中,组合处理的方式可以为先进行拼接(可以为两特征图对应元素相加或相乘),再进行卷积(3*3的卷积)。
第五步,对上述第三尺寸融合特征图进行上采样处理,得到上采样处理后的第三尺寸融合特征图作为第二尺寸上采样特征图。
第六步,对上述第二尺寸中药单号特征图和上述第二尺寸上采样特征图进行组合处理,得到第二尺寸融合特征图。其中,组合处理的方式可以为先进行拼接(可以为两特征图对应元素相加或相乘),再进行卷积(3*3的卷积)。
第七步,对上述第二尺寸融合特征图进行上采样处理,得到上采样处理后的第二尺寸融合特征图作为第一尺寸上采样特征图。
第八步,根据上述第一尺寸中药单号特征图和上述第一尺寸上采样特征图,生成第一尺寸更新融合特征图。实践中,首先,上述执行主体可以上述第一尺寸中药单号特征图和上述第一尺寸上采样特征图进行拼接处理,得到第一尺寸拼接特征图。然后,可以对上述第一尺寸拼接特征图进行卷积处理,得到卷积处理后的第一尺寸拼接特征图作为第一尺寸更新融合特征图。
第九步,对上述第一尺寸更新融合特征图进行池化处理,得到池化处理后的第一尺寸更新融合特征图作为第二尺寸池化特征图。
第十步,根据上述第二尺寸池化特征图、上述第二尺寸融合特征图和上述第二尺寸中药单号特征图,生成第二尺寸更新融合特征图。实践中,上述执行主体可以上述第二尺寸池化特征图、上述第二尺寸融合特征图和上述第二尺寸中药单号特征图的对应元素相加,得到第二尺寸更新融合特征图。
第十一步,对上述第二尺寸更新融合特征图进行池化处理,得到池化处理后的第二尺寸更新融合特征图作为第三尺寸池化特征图。
第十二步,根据上述第三尺寸池化特征图、上述第三尺寸融合特征图和上述第三尺寸中药单号特征图,生成第三尺寸更新融合特征图。实践中,上述执行主体可以上述第三尺寸池化特征图、上述第三尺寸融合特征图和上述第三尺寸中药单号特征图的对应元素相加,得到第三尺寸更新融合特征图。
第十三步,对上述第三尺寸更新融合特征图进行池化处理,得到池化处理后的第三尺寸更新融合特征图作为第四尺寸池化特征图。
第十四步,根据上述第四尺寸池化特征图、上述第四尺寸融合特征图和上述第四尺寸中药单号特征图,生成第四尺寸更新融合特征图。实践中,上述执行主体可以上述第四尺寸池化特征图、上述第四尺寸融合特征图和上述第四尺寸中药单号特征图的对应元素相加,得到第四尺寸更新融合特征图。
第十五步,对上述第四尺寸更新融合特征图进行池化处理,得到池化处理后的第四尺寸更新融合特征图作为第五尺寸池化特征图。
第十六步,根据上述第五尺寸池化特征图和上述第五尺寸中药单号特征图,生成第五尺寸更新融合特征图。实践中,首先,上述执行主体可以对上述第五尺寸池化特征图和上述第五尺寸中药单号特征图进行拼接处理,得到第五尺寸拼接特征图。然后,可以对上述第五尺寸拼接特征图进行卷积处理,得到卷积处理后的第五尺寸拼接特征图作为第五尺寸更新融合特征图。
第十七步,将上述第一尺寸更新融合特征图、上述第二尺寸更新融合特征图、上述第三尺寸更新融合特征图、上述第四尺寸更新融合特征图和上述第五尺寸更新融合特征图确定为融合特征图集合。
上述第一步至第十七步及其相关内容作为本公开的实施例的一个发明点,解决了“用户对订单编号识别准确率的需求较高,且在对特征进行特征提取时,未考虑到不同尺度的特征图的特征融合问题,造成特征融合时的维度较少,从而导致提取的特征的信息较少”的技术问题。导致特征融合时的维度较少,从而导致提取的特征的信息较少的因素往往如下:用户对订单编号识别准确率的需求较高,且在对特征进行特征提取时,未考虑到不同尺度的特征图的特征融合问题,造成特征融合时的维度较少,从而导致提取的特征的信息较少。如果解决了上述因素,就能达到满足用户对订单编号识别准确率较高的需求,且在对特征进行特征提取时,增加特征融合时的融合维度,增加提取的特征的信息,提高对特征图的特征提取能力,从而提高对订单号识别的准确率,减少打印单号错误发生的次数,进而减少打印纸张资源的浪费的效果。为了达到这一效果,本公开采用通过逐层融合进行上下采样,并引入跨层横向连接和多尺度纵向连接的方式进行特征融合(例如,对第四尺寸融合特征图进行上采样处理,得到第三尺寸上采样特征图,实现多尺度跨层自顶向下纵向连接,对第二尺寸更新融合特征图进行池化处理,得到第三尺寸池化特征图,实现多尺度自底向上跨层纵向连接,将第三尺寸池化特征图、第三尺寸融合特征图和所述第三尺寸中药单号特征图进行融合,实现横向跨层跳跃连接,得到第三尺寸更新融合特征图)的方式,以提高对特征图的特征提取能力,从而提高对订单号识别的准确率,减少打印单号错误发生的次数,进而减少打印纸张资源的浪费。
步骤108,将融合特征图集合输入至双向循环网络层,得到序列特征张量。
在一些实施例中,上述执行主体可以将上述融合特征图集合输入至上述双向循环网络层,得到序列特征张量。实践中,上述执行主体可以将上述融合特征图集合输入至上述双向循环网络层,得到序列特征张量。
步骤109,将序列特征张量输入至权重特征提取层,得到权重特征张量。
在一些实施例中,上述执行主体可以将上述序列特征张量输入至上述权重特征提取层,得到权重特征张量。实践中,上述执行主体可以将上述序列特征张量输入至上述权重特征提取层,得到权重特征张量。
步骤110,将权重特征张量输入至转录层,得到单号识别结果信息。
在一些实施例中,上述执行主体可以将上述权重特征张量输入至上述转录层,得到单号识别结果信息。实践中,上述执行主体可以将上述权重特征张量输入至上述转录层,得到单号识别结果信息。
步骤111,根据单号识别结果信息,生成中药表单信息。
在一些实施例中,根据上述单号识别结果信息,上述执行主体可以生成中药表单信息。其中,上述中药表单信息可以为与上述中药品列表图像对应的程序步骤的下一程序步骤所需的中药品表单的信息。例如,上述中药品列表图像对应的程序步骤可以为拣货步骤。拣货步骤对应的下一程序步骤为验货步骤。中药表单信息可以为需要打印的验货单对应的表单信息。
在一些实施例的一些可选的实现方式中,根据上述单号识别结果信息,上述执行主体可以生成中药表单信息:
第一步,将上述单号识别结果信息发送至相关联的中药品信息服务器,以供中药品信息服务器查找对应上述单号识别结果信息的中药表单信息。其中,上述相关联的中药品信息服务器可以为存储单号识别结果信息对应的中药品信息的服务器。
第二步,接收中药品信息服务器发送的中药表单信息。
步骤112,将中药表单信息发送至相关联的打印终端,以供打印。
在一些实施例中,上述执行主体可以将上述中药表单信息发送至相关联的打印终端,以供打印。其中,上述相关联的打印终端可以为能够打印中药表单的设备。例如,上述相关联的打印终端可以为喷墨打印机。实践中,上述执行主体可以将上述中药表单信息发送至相关联的打印终端,以供打印。
本公开的上述各个实施例中具有如下有益效果:通过本公开的一些实施例的中药表单信息发送方法,可以减少打印纸张资源的浪费。具体来说,造成打印纸张资源的浪费的原因在于:由于出库订单编号较长,采用人工输入的方式容易造成出库订单编号输入错误,从而造成打印纸张资源的浪费,且人工录入耗时较长;对该程序步骤之前的表单进行整张拍照和整张识别,特征提取能力有限(每个模型的复杂性和参数数量都是有限的,导致模型的特征提取能力有限),导致对表单中出库订单编号区域的特征提取较少(即,对表单中其他非出库订单编号区域的特征提取较多,表单中其他非出库订单编号区域相对于整张表单所占比重较大),对出库订单编号的识别准确率较低,增加了打印单号错误发生的次数,从而造成打印纸张资源的浪费。基于此,本公开的一些实施例的中药表单信息发送方法,首先,通过相关联的图像采集设备采集中药品列表图像。其中,上述中药品列表图像中包括有中药品订单编号。由此,可以得到具有中药品订单编号的中药品列表图像。从而可以用于识别中药品订单编号。然后,对上述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像。由此,可以得到图像插值处理后的增强中药品列表图像,从而可以提高图像的分辨率,提高图像的清晰度。之后,将上述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到上述中药品订单编号对应的目标框信息。由此,可以得到目标框信息,从而可以用于确定中药品订单编号对应的图像区域。随后,根据上述目标框信息,对上述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像。由此,可以得到表征订单编号区域的订单编号图像。接着,对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像。由此,可以得到将订单编号图像前景与背景进行区分的灰度订单编号图像,从而可以用于提高订单编号识别的准确率。随着,将上述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合。其中,上述中药订单编号识别模型还包括:特征融合层、双向循环网络层、权重特征提取层和转录层。由此,可以得到表征中药订单编号空间特征的中药单号特征图集合。其次,将上述中药单号特征图集合输入至上述特征融合层,得到融合特征图集合。由此,可以得到进行特征融合的融合特征图集合,从而可以用于提高特征提取能力。然后,将上述融合特征图集合输入至上述双向循环网络层,得到序列特征张量。由此,可以得到具有时间序列特征的序列特征张量。之后,将上述序列特征张量输入至上述权重特征提取层,得到权重特征张量。由此,可以得到权重特征张量,从而可以根据特征的重要程度对特征赋予不同的权重。随后,将上述权重特征张量输入至上述转录层,得到单号识别结果信息。由此,可以得到单号识别结果信息。接着,根据上述单号识别结果信息,生成中药表单信息。由此,可以得到对应出货程序步骤的中药表单信息。最后,将上述中药表单信息发送至相关联的打印终端,以供打印。由此,可以对该中药表单信息进行打印,以供相关人员进行出货核对。也因为可以先对中药品列表图像中订单编号区域进行区域确定,并进行裁剪处理,可以得到仅有订单编号的区域图像。还因为对仅有订单编号的区域图像进行订单编号识别,可以提高订单编号的特征提取能力,提高对出库订单编号的识别准确率,减少打印单号错误发生的次数,从而减少打印纸张资源的浪费。
进一步参考图2,作为对上述各图所示方法的实现,本公开提供了一种中药表单信息发送装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图2所示,一些实施例的中药表单信息发送装置200包括:采集单元201、插值处理单元202、第一输入单元203、裁剪处理单元204、二值化处理单元205、第二输入单元206、第三输入单元207、第四输入单元208、第五输入单元209、第六输入单元210、生成单元211和发送单元212。其中,采集单元201被配置成通过相关联的图像采集设备采集中药品列表图像,其中,上述中药品列表图像中包括有中药品订单编号;插值处理单元202被配置成对上述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像;第一输入单元203被配置成将上述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到上述中药品订单编号对应的目标框信息;裁剪处理单元204被配置成根据上述目标框信息,对上述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像;二值化处理单元205被配置成对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像;第二输入单元206被配置成将上述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合,其中,上述中药订单编号识别模型还包括:特征融合层、双向循环网络层、权重特征提取层和转录层;第三输入单元207被配置成将上述中药单号特征图集合输入至上述特征融合层,得到融合特征图集合;第四输入单元208被配置成将上述融合特征图集合输入至上述双向循环网络层,得到序列特征张量;第五输入单元209被配置成将上述序列特征张量输入至上述权重特征提取层,得到权重特征张量;第六输入单元210被配置成将上述权重特征张量输入至上述转录层,得到单号识别结果信息;生成单元211被配置成根据上述单号识别结果信息,生成中药表单信息;发送单元212被配置成将上述中药表单信息发送至相关联的打印终端,以供打印。
可以理解的是,该装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置200及其中包含的单元,在此不再赘述。
下面参考图3,其示出了适于用来实现本公开的一些实施例的电子设备(例如计算设备)300的结构示意图。图3示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:通过相关联的图像采集设备采集中药品列表图像,其中,上述中药品列表图像中包括有中药品订单编号;对上述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像;将上述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到上述中药品订单编号对应的目标框信息;根据上述目标框信息,对上述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像;对上述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像;将上述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合,其中,上述中药订单编号识别模型还包括:特征融合层、双向循环网络层、权重特征提取层和转录层;将上述中药单号特征图集合输入至上述特征融合层,得到融合特征图集合;将上述融合特征图集合输入至上述双向循环网络层,得到序列特征张量;将上述序列特征张量输入至上述权重特征提取层,得到权重特征张量;将上述权重特征张量输入至上述转录层,得到单号识别结果信息;根据上述单号识别结果信息,生成中药表单信息;将上述中药表单信息发送至相关联的打印终端,以供打印。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括采集单元、插值处理单元、第一输入单元、裁剪处理单元、二值化处理单元、第二输入单元、第三输入单元、第四输入单元、第五输入单元、第六输入单元、生成单元和发送单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,采集单元还可以被描述为“通过相关联的图像采集设备采集中药品列表图像的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种中药表单信息发送方法,包括:
通过相关联的图像采集设备采集中药品列表图像,其中,所述中药品列表图像中包括有中药品订单编号;
对所述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像;
将所述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到所述中药品订单编号对应的目标框信息;
根据所述目标框信息,对所述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像;
对所述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像;
将所述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合,其中,所述中药订单编号识别模型还包括:特征融合层、双向循环网络层、权重特征提取层和转录层;
将所述中药单号特征图集合输入至所述特征融合层,得到融合特征图集合;
将所述融合特征图集合输入至所述双向循环网络层,得到序列特征张量;
将所述序列特征张量输入至所述权重特征提取层,得到权重特征张量;
将所述权重特征张量输入至所述转录层,得到单号识别结果信息;
根据所述单号识别结果信息,生成中药表单信息;
将所述中药表单信息发送至相关联的打印终端,以供打印。
2.根据权利要求1所述的方法,其中,在所述对所述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像之前,所述方法还包括:
对所述中药品列表图像进行灰度化处理,得到灰度化处理后的中药品列表图像作为灰度中药品列表图像;
对所述灰度中药品列表图像进行直线检测处理,得到检测直线;
根据所述检测直线,确定所述中药品列表图像的倾斜角度;
根据所述倾斜角度,对所述中药品列表图像进行旋转处理,得到旋转处理后的中药品列表图像作为旋转中药品列表图像;
将所述旋转中药品列表图像确定为中药品列表图像,以对所述中药品列表图像进行更新。
3.根据权利要求1所述的方法,其中,在所述对所述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像之前,所述方法还包括:
对所述订单编号图像进行直方图均衡化处理,得到直方图均衡化处理后的订单编号图像作为直方图订单编号图像;
对所述直方图订单编号图像进行图像平滑处理,得到图像平滑处理后的直方图订单编号图像作为平滑订单编号图像;
对所述平滑订单编号图像进行对比度拉伸处理,得到对比度拉伸处理后的平滑订单编号图像作为对比度拉伸订单编号图像;
对所述对比度拉伸订单编号图像进行形态学操作处理,得到形态学操作处理后的对比度拉伸订单编号图像作为形态学订单编号图像;
对所述形态学订单编号图像进行边缘增强处理,得到边缘增强处理后的订单编号图像作为边缘增强订单编号图像;
将所述边缘增强订单编号图像确定为订单编号图像,以对所述订单编号图像进行更新。
4.根据权利要求1所述的方法,其中,所述中药订单编号识别模型是通过以下方式训练得到的:
获取样本集合,其中,所述样本集合中的样本包括样本灰度订单编号图像,以及与样本灰度订单编号图像对应的样本单号识别结果信息;
基于样本集合执行以下训练步骤:
将样本集合中的至少一个样本的样本灰度订单编号图像分别输入至初始中药订单编号识别模型中,得到所述至少一个样本中的每个样本对应的单号识别结果信息;
将所述至少一个样本中的每个样本对应的单号识别结果信息与对应的样本单号识别结果信息进行比较;
根据比较结果确定初始中药订单编号识别模型是否达到预设的优化目标;
响应于确定初始中药订单编号识别模型达到所述优化目标,将初始中药订单编号识别模型确定为训练完成的中药订单编号识别模型。
5.根据权利要求4所述的方法,其中,训练得到所述中药订单编号识别模型的步骤还包括:
响应于确定初始中药订单编号识别模型未达到所述优化目标,调整初始中药订单编号识别模型的网络参数,以及使用未用过的样本组成样本集合,使用调整后的初始中药订单编号识别模型作为初始中药订单编号识别模型,再次执行所述训练步骤。
6.根据权利要求1所述的方法,其中,所述根据所述单号识别结果信息,生成中药表单信息,包括:
将所述单号识别结果信息发送至相关联的中药品信息服务器,以供中药品信息服务器查找对应所述单号识别结果信息的中药表单信息;
接收中药品信息服务器发送的中药表单信息。
7.根据权利要求1所述的方法,其中,所述中药单号特征图集合包括:第一尺寸中药单号特征图、第二尺寸中药单号特征图、第三尺寸中药单号特征图、第四尺寸中药单号特征图和第五尺寸中药单号特征图;以及
所述将所述中药单号特征图集合输入至所述特征融合层,得到融合特征图集合,包括:
对所述第五尺寸中药单号特征图进行上采样处理,得到上采样处理后的第五尺寸中药单号特征图作为第四尺寸上采样特征图;
对所述第四尺寸中药单号特征图和所述第四尺寸上采样特征图进行组合处理,得到第四尺寸融合特征图;
对所述第四尺寸融合特征图进行上采样处理,得到上采样处理后的第四尺寸融合特征图作为第三尺寸上采样特征图;
对所述第三尺寸中药单号特征图和所述第三尺寸上采样特征图进行组合处理,得到第三尺寸融合特征图;
对所述第三尺寸融合特征图进行上采样处理,得到上采样处理后的第三尺寸融合特征图作为第二尺寸上采样特征图;
对所述第二尺寸中药单号特征图和所述第二尺寸上采样特征图进行组合处理,得到第二尺寸融合特征图;
对所述第二尺寸融合特征图进行上采样处理,得到上采样处理后的第二尺寸融合特征图作为第一尺寸上采样特征图;
根据所述第一尺寸中药单号特征图和所述第一尺寸上采样特征图,生成第一尺寸更新融合特征图;
对所述第一尺寸更新融合特征图进行池化处理,得到池化处理后的第一尺寸更新融合特征图作为第二尺寸池化特征图;
根据所述第二尺寸池化特征图、所述第二尺寸融合特征图和所述第二尺寸中药单号特征图,生成第二尺寸更新融合特征图;
对所述第二尺寸更新融合特征图进行池化处理,得到池化处理后的第二尺寸更新融合特征图作为第三尺寸池化特征图;
根据所述第三尺寸池化特征图、所述第三尺寸融合特征图和所述第三尺寸中药单号特征图,生成第三尺寸更新融合特征图;
对所述第三尺寸更新融合特征图进行池化处理,得到池化处理后的第三尺寸更新融合特征图作为第四尺寸池化特征图;
根据所述第四尺寸池化特征图、所述第四尺寸融合特征图和所述第四尺寸中药单号特征图,生成第四尺寸更新融合特征图;
对所述第四尺寸更新融合特征图进行池化处理,得到池化处理后的第四尺寸更新融合特征图作为第五尺寸池化特征图;
根据所述第五尺寸池化特征图和所述第五尺寸中药单号特征图,生成第五尺寸更新融合特征图;
将所述第一尺寸更新融合特征图、所述第二尺寸更新融合特征图、所述第三尺寸更新融合特征图、所述第四尺寸更新融合特征图和所述第五尺寸更新融合特征图确定为融合特征图集合。
8.一种中药表单信息发送装置,包括:
采集单元,被配置成通过相关联的图像采集设备采集中药品列表图像,其中,所述中药品列表图像中包括有中药品订单编号;
插值处理单元,被配置成对所述中药品列表图像进行图像插值处理,得到图像插值处理后的中药品列表图像作为增强中药品列表图像;
第一输入单元,被配置成将所述增强中药品列表图像输入至预先训练的订单区域识别模型中,得到所述中药品订单编号对应的目标框信息;
裁剪处理单元,被配置成根据所述目标框信息,对所述增强中药品列表图像进行图像裁剪处理,得到图像裁剪处理后的增强中药品列表图像作为订单编号图像;
二值化处理单元,被配置成对所述订单编号图像进行二值化处理,得到二值化处理后的订单编号图像作为灰度订单编号图像;
第二输入单元,被配置成将所述灰度订单编号图像输入至预先训练的中药订单编号识别模型的空间特征提取层,得到中药单号特征图集合,其中,所述中药订单编号识别模型还包括:特征融合层、双向循环网络层、权重特征提取层和转录层;
第三输入单元,被配置成将所述中药单号特征图集合输入至所述特征融合层,得到融合特征图集合;
第四输入单元,被配置成将所述融合特征图集合输入至所述双向循环网络层,得到序列特征张量;
第五输入单元,被配置成将所述序列特征张量输入至所述权重特征提取层,得到权重特征张量;
第六输入单元,被配置成将所述权重特征张量输入至所述转录层,得到单号识别结果信息;
生成单元,被配置成根据所述单号识别结果信息,生成中药表单信息;
发送单元,被配置成将所述中药表单信息发送至相关联的打印终端,以供打印。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1至7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311764338.XA CN117746435A (zh) | 2023-12-20 | 2023-12-20 | 中药表单信息发送方法、装置、电子设备和可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311764338.XA CN117746435A (zh) | 2023-12-20 | 2023-12-20 | 中药表单信息发送方法、装置、电子设备和可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117746435A true CN117746435A (zh) | 2024-03-22 |
Family
ID=90260474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311764338.XA Pending CN117746435A (zh) | 2023-12-20 | 2023-12-20 | 中药表单信息发送方法、装置、电子设备和可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117746435A (zh) |
-
2023
- 2023-12-20 CN CN202311764338.XA patent/CN117746435A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
US10902245B2 (en) | Method and apparatus for facial recognition | |
US10915980B2 (en) | Method and apparatus for adding digital watermark to video | |
CN113657390B (zh) | 文本检测模型的训练方法和检测文本方法、装置和设备 | |
WO2019129032A1 (zh) | 遥感图像识别方法、装置、存储介质以及电子设备 | |
CN108073910B (zh) | 用于生成人脸特征的方法和装置 | |
CN108734185B (zh) | 图像校验方法和装置 | |
CN112233125B (zh) | 图像分割方法、装置、电子设备及计算机可读存储介质 | |
US20240062426A1 (en) | Processing images using self-attention based neural networks | |
CN115457531A (zh) | 用于识别文本的方法和装置 | |
CN113313111A (zh) | 文本识别方法、装置、设备和介质 | |
CN110399847B (zh) | 关键帧提取方法、装置及电子设备 | |
CN113139543A (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN112749695A (zh) | 文本识别的方法和装置 | |
US11854209B2 (en) | Artificial intelligence using convolutional neural network with hough transform | |
WO2020062494A1 (zh) | 图像处理方法和装置 | |
CN114429637B (zh) | 一种文档分类方法、装置、设备及存储介质 | |
CN112464803A (zh) | 图像比较方法和装置 | |
CN111950700A (zh) | 一种神经网络的优化方法及相关设备 | |
CN111209856B (zh) | 发票信息的识别方法、装置、电子设备及存储介质 | |
US20230419457A1 (en) | Image cleanup on a mobile device | |
WO2018120082A1 (en) | Apparatus, method and computer program product for deep learning | |
CN113326766B (zh) | 文本检测模型的训练方法及装置、文本检测方法及装置 | |
CN108230332B (zh) | 文字图像的处理方法和装置、电子设备、计算机存储介质 | |
CN113052143A (zh) | 手写数字生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |