CN117095402A - 一种签收单的处理方法、装置、介质及电子设备 - Google Patents
一种签收单的处理方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN117095402A CN117095402A CN202311211956.1A CN202311211956A CN117095402A CN 117095402 A CN117095402 A CN 117095402A CN 202311211956 A CN202311211956 A CN 202311211956A CN 117095402 A CN117095402 A CN 117095402A
- Authority
- CN
- China
- Prior art keywords
- signing
- image
- verification
- order
- check
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 238000012795 verification Methods 0.000 claims abstract description 142
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000003860 storage Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 25
- 238000005520 cutting process Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 19
- 239000002609 medium Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000012015 optical character recognition Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19093—Proximity measures, i.e. similarity or distance measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
Abstract
本申请公开了一种签收单的处理方法、装置、介质及电子设备。该方法包括：获取签收单图像，通过CNN网络识别签收单图像的当前角度，并根据当前角度将签收单旋转至标准方向；使用的YOLO网络对签收单图像进行核验元素检测，并根据各核验元素在签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据边框对各核验元素进行裁剪，并分类存储；根据分类结果对各核验元素采用文字识别模块进行文本识别；若文本识别结果与预先备案的签收单信息相匹配，则确定签收单图像核验完成。采用本技术方案，可以提升核验效率，对核验元素进行组合核验，达到提升核验元素的准确度的目的。
Description
技术领域
本申请涉及物流技术领域，尤其涉及一种签收单的处理方法、装置、介质及电子设备。
背景技术
目前的物流行业中，很多工作需要基于人工来开展。例如签收单的核验工作。
在核验的过程中，核验的内容往往包括是否有签名、是否有盖章、所盖章是否与备案章一致，例如章的形状、文字以及编码等，除此之外，有些场景中还需要对签署的身份证号是否与备案的身份证一致、签收单中所列产品是否是特定的某一类产品等进行核验。
然而，人工核验不仅会存在一定的漏核的概率，而且核验效率也不高。因此，如何克服签收单核验效率低、复杂度高以及存在漏核风险的问题，成为了本领域的技术痛点。
发明内容
本申请实施例提供一种签收单的处理方法、装置、介质及电子设备。本方案中为了提升核验准确度，对于印章，需要达到印章的形状与印章上的文字匹配；对于签字，需要签字的形状以及签字所在签收单中的位置匹配；类似的身份证号、日期等也需要文字与所在签收单中的位置等匹配。对核验元素进行组合核验，达到提升核验元素的准确度的目的。
本申请实施例提供一种签收单的处理方法，所述方法包括：
获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向；
使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；
根据分类结果对各核验元素采用文字识别模块进行文本识别；
若文本识别结果与预先备案的签收单信息相匹配，则确定所述签收单图像核验完成。
进一步的，使用YOLO网络对所述签收单图像进行核验元素检测，包括：
使用的YOLO网络对所述签收单图像中是否包含所必须的签字、是否有盖章以及所盖章的形状。
进一步的，获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向，包括：
扫描签收单得到签收单的原始图像，对所述原始图像进行归一化处理，并将所述原始图像宽高转换为统一固定的高和宽，作为签收单图像；
将所述签收单图像作为输入图像，输入至3层全连接CNN网络，并通过softmax损失函数判断签收单的当前角度是属于0°、90°、180°或者270°；
当所述签收单图像为0°之外的其他角度时，旋转签收单图像角度至0°。
进一步的，使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储，包括：
将标准方向的签收单图像输入YOLO网络；其中，所述YOLO网络在训练阶段，将签收单划分为多个预设核验元素区域，当核验元素在预设核验元素区域时则核验元素的置信度进行加权处理，为大于当前IOU的值，当核验元素不在预设核验元素区域时则核验元素的置信度为0；
检查YOLO网络是否检测出必须的签字、是否有盖章及所盖章的形状；若是，则计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；若否，则生成核验元素缺失的提示信息。
进一步的，所述YOLO网络使用的损失函数为DIOU-NMS。
进一步的，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储，包括：
根据感受野计算出核验元素所在签收单图像的中心点以及边框；
根据核验元素所在签收单图像的中心点以及边框，计算各核验元素的边框，并进行裁剪和分类存储。
进一步的，根据分类结果对各核验元素采用文字识别模块进行文本识别，包括：
计算各核验元素的文字的编辑距离；
计算字符错误率CER；
提取错误文字的偏旁部首，判断是否为偏旁部首错误；
若字符错误率CER小于设定阈值，并且，错误字为偏旁部首错误，则确定对核验元素的文本识别完成；若字符错误率CER大于设定阈值，或者，错误字不是偏旁部首错误，则生成报错信息。
本申请实施例还提供了一种签收单的处理装置，所述装置包括：
方向处理单元，用于获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向；
核验元素识别单元，用于使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；
文本识别单元，用于根据分类结果对各核验元素采用文字识别模块进行文本识别；
核验结果确定单元，用于若文本识别结果与预先备案的签收单信息相匹配，则确定所述签收单图像核验完成。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的签收单的处理方法。
本申请实施例还提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的签收单的处理方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
本申请提供的技术方案，对签收单方向的进行正向旋转，从而提升识别文字的准确度。另外，将核验元素的类型与元素的所在位置相结合，提升所核验元素的置信度，以及，对印章形状与文字进行匹配处理，再有，当所核验文字与期望文字不一致时，进行相似度匹配处理，过滤因扫描带来的干扰像素，提升文字识别准确度。综合文字准确度、元素种类的置信度、形状与文字的匹配度，实现签收单核验的准确度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例一提供的签收单的处理方法的流程示意图；
图2是本申请实施例一提供的签收单处理系统的结构示意图；
图3是本申请实施例一提供的签收单处理过程的流程示意图；
图4是本申请实施例二提供的签收单的处理装置的结构示意图；
图5是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
实施例一
图1是本申请实施例一提供的签收单的处理方法的流程示意图，本实施例可适用于对签收单中的核验元素进行快速核验的情况，该方法可以由本申请实施例所提供的签收单的处理装置执行，该装置可以由软件和/或硬件的方式来实现，并且可以集成于用于签收单的处理的电子设备当中。
如图1所示，所述方法包括：
S110、获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向；
其中，签收单图像可以是客户端通过手机摄像头拍摄采集到的。核验元素可以是签收单图像中的印章、客户手写签字、单号以及日期等元素。本方案中，解析方式可以基于图像识别技术，例如识别红字部分为印章，签字区域的文字部分为客户手写签字，条形码或者二维码部分为单号，日期的打印位置所对应的内容为签收单上面的日期信息。
CNN网络是简单的网络，具有计算量大的缺点。但是，对于签收单的方向判断，因为仅仅用了3层网络，所以大幅压缩了计算量，且足够精准判断签收单方向。
通过三层CNN网络判断所述签收单图像的当前角度为0°、90°、180°或者270°；
若为非0°，则生成旋转指令，以将所述签收单图像旋转至0°；由此可以确定，此处的0°即为标准方向。
S120、使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；
其中，包括YOLO网络核验元素检测和关键区域剪裁2部分。YOLO网络核验元素检测部分使用YOLO的anchor框，将核验元素检测这一步可同时完成对是否有签字、是否有盖章及所盖章的形状的核验，同时，根据所检测出的核验元素位置，设置核验元素的置信度的权重，使得核验元素位置与置信度相关联，改变了YOLO网络对核验元素识别与位置无关的判别方式。关键区域裁剪子模块是将核验元素检测识别所识别的区域按照签名、印章分类保存。
S130、根据分类结果对各核验元素采用文字识别模块进行文本识别；
其中，可以通过OCR对核验元素获取模块的关键区域裁剪子模块所获得的曲面文字、手写文字、机打文字进行识别。
S140、若文本识别结果与预先备案的签收单信息相匹配，则确定所述签收单图像核验完成。
其中，预先备案的签收单信息可以是系统中存储的收货人姓名、身份证号码等，或者收货单位的名称、标识码等。在采集到相应的核验元素之后，可以与预先备案的签收单信息进行核验，得到是否匹配的核验结果。例如吻合度为95%，确定收货人的实际签名与预先存储的收货人姓名是基本一致的，或者收货单位的名称与预先存储的收货单位的名称是基本一致的，则认为二者相匹配。可以理解的，预先备案的签收单信息，例如收货人或者收货单位等，可以是基于物流合同中提取的，还可以是在发货人员发货之后，工作人员手动录入的。
图2是本申请实施例一提供的签收单自动识别系统的结构示意图。如图2所示，该系统包括：
方向旋转模块：用于旋转图片，为3层卷积CNN网络，用于识别签收单的4个角度：0，90，180，270。从训练时长和推理时长的角度来说，不需要太复杂的网络。签收单一般是拍照或者扫描上传的，这个模型主要是解决90度旋转的问题。
核验元素获取模块：包括YOLO网络核验元素检测子模块和关键区域剪裁子模块。YOLO网络核验元素检测子模块使用YOLO的anchor框，将核验元素检测这一步可同时完成对是否有签字、是否有盖章及所盖章的形状的核验，同时，根据所检测出的核验元素位置，设置核验元素的置信度的权重。关键区域裁剪子模块是将核验元素检测识别所识别的区域按照签名、印章分类保存；
文本识别模块：通过OCR对核验元素获取模块的关键区域裁剪子模块所获得的曲面文字、手写文字、机打文字进行识别；
信息匹配模块：用于对关键区域的元素进行核验，基于CER (Character ErrorRate，字符错误率)的核验手段。对所识别的文字进行相似度匹配处理。以及对印章形状、印章与文字等进行匹配处理；
其中，机器学习包括有CNN网络、YOLO网络、OCR（Optical CharacterRecognition，光学字符识别）等，这个签收单系统是融合多个机器学习算法的系统。损失函数，可以是预测值与实际值之间的差的计算函数，用于训练网络各个节点参数的函数，损失函数在很大程度上决定了网络质量，是网络的核心。网络，可以是模仿网络搭建的线性拟合算法，包括训练和测试两个部分，训练时通过损失函数确定各个神经元（节点）的系数，测试是根据系数推算出物体的种类和位置。置信度，可以是目标的所属类别的概率，例如：目标是鸟的概率是0.7，飞机的概率是0.2，猫的概率是0.01，那么就说目标是鸟的置信度高，为0.7。
CNN网络，是最原始的网络，具有计算量大，准确度低的特点。但是，用于签收单的方向判断，仅仅用了3层网络，计算量并不是很大，对于判断方向足够了。
YOLO网络，英文全屏为You Only Look Once，直译就是只需看一次，意思是有多个目标时只要进行一次运算所有目标都可以找到，是非常新的神经网络。对于签收单就是一次可以找到签名、印章、日期、身份证号码等这些核验元素。
本方案中，YOLO采用的是anchor框，anchor框也称为锚框、先验框。为了核验元素检测，在网络训练时预先画出一组框，这组框中的一个框作为核验元素的先验框，以便找到核验元素和核验元素的位置。损失函数采用的是DIOU-NMS，神经网络具有很多种类的损失函数，这个DIOU-NMS损失函数的特点是可以找出叠加的核验元素。对于签收单就是可以找出印章下的签名、日期等。本方案也涉及到感受野的确定，在查找核验元素时，并不是在原图上直接查找核验元素，而是把原图进行缩小，在缩小图上找核验元素，核验元素找到后再映射到原图上，缩小图所代表原图的尺寸就是感受野。相当于地图的比例尺。
OCR，英文全拼为Optical Character Recognition，光学字符识别，可对印刷体、印章的环状字、手写子进行识别。
CER：英文全拼为Character Error Rate，字符错误率，通过词组验证词组中的某个字是否错误，以及错误程度，例如：当识别手写字“木桶”时，识别为“木捅”，则认为实际的手写字是“木桶”。
本方案在确定签收单方向的基础上，由于签收单的格式相对固定，在核验元素检测时，不仅仅依赖核验元素的形状，还将核验元素所属种类的置信度与核验元素所在位置的相结合，提升核验元素种类的预测准确度，使用CER方法给予系统一定的容错率，容忍签收单中文字与印章重叠纸张折痕所造成的文字识别错误，提升文字的正确率。
在本技术方案中，可选的，使用YOLO网络对所述签收单图像进行核验元素检测，包括：
使用的YOLO网络对所述签收单图像中是否包含所必须的签字、是否有盖章以及所盖章的形状。
可以理解的，在将签收单提供给收货方之后，收货方会进行签收，即在签收单上面手写签字，或者使用公司印章进行盖章。在这种情况下，YOLO网络的主要任务在于对收货方的信息进行识别，以实现后续的核验任务。
本方案这样设置的好处是可以应对各种类型的签收情况，利用YOLO网络进行准确的识别，并用以进行后续的核验工作。
在本技术方案中，可选的，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向，包括：
扫描签收单得到签收单的原始图像，对所述原始图像进行归一化处理，并将所述原始图像宽高转换为统一固定的高和宽，作为签收单图像；
将所述签收单图像作为输入图像，输入至3层全连接CNN网络，并通过softmax损失函数判断签收单的当前角度是属于0°、90°、180°或者270°；
当所述签收单图像为0°之外的其他角度时，旋转签收单图像角度至0°。
本技术方案，签收单旋转90°和180°时特征比较类似，当特征比较类似时，使得类型区分函数变得更为复杂，在此情况下，如支持向量机SVM等一般机器学习算法仅仅对核验元素进行2分类，而不是对核验元素进行4分类，无法实现判断旋转角度的目的。因此，采用3层CNN，可以判断出旋转的角度，从而根据所属分类实现对签收单的旋转。
在本技术方案中，可选的，使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储，包括：
将标准方向的签收单图像输入YOLO网络；其中，所述YOLO网络在训练阶段，将签收单划分为多个预设核验元素区域，当核验元素在预设核验元素区域时则核验元素的置信度进行加权处理，为大于当前IOU的值，当核验元素不在预设核验元素区域时则核验元素的置信度为0；
检查YOLO网络是否检测出必须的签字、是否有盖章及所盖章的形状；若是，则计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；若否，则生成核验元素缺失的提示信息。
本方案中，具体的，所述YOLO网络使用的损失函数为DIOU-NMS。
图3是本申请实施例一提供的一种签收单图像中的区域示意图。如图3所示，签收单中可以包括标题区域、印章区域以及签字区域，还可以包括其他区域。本方案中，可以将正向签收单输入至损失函数为DIOU-NMS的YOLO网络；在YOLO训练阶段，将签收单划分为多个预设核验元素区域，当核验元素在预设核验元素区域时则核验元素的置信度进行加权处理，为大于当前IOU的值，当核验元素不在预设核验元素区域时则核验元素的置信度为0；检查YOLO网络是否检测出必须的签字、是否有盖章及所盖章的形状。
其中，IoU的计算公式为:
IoU = Intersection / Union；
其中，Intersection表示检测框和真实框的交集区域的面积，Union表示检测框和真实框的并集区域的面积。IoU的值范围为0到1，值越大表示检测框和真实框的重叠程度越高，检测结果越准确。当IoU等于1时，表示检测框完全覆盖了真实框；当IoU等于0时，表示检测框和真实框没有任何重叠。
本方案这样设计，在加盖印章时经常出现印章的某个局域部分没有加盖完全，另外，印章也经常与签字、日期重叠，使用损失函数DIOU-NMS可将重叠的签字和印章检出，提升元素重叠的情况下元素检出的准确度。
由于YOLO核验元素检测与核验元素所在位置没有关系，而签收单中的签字、印章、日期的位置相对固定，在网络训练阶段，将在规定范围外的元素作为背景处理，限制了元素类型与位置的关系，从而可提升检出元素的准确度。
本方案中，可选的，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储，包括：
根据感受野计算出核验元素所在签收单图像的中心点以及边框；
根据核验元素所在签收单图像的中心点以及边框，计算各核验元素的边框，并进行裁剪和分类存储。
本方案这样设置，可以准确的确定裁剪的边框，并在按照边框对各个核验元素裁剪之后进行分类存储，可以提高后续的文本内容的识别效率。
本方案中，可选的，根据分类结果对各核验元素采用文字识别模块进行文本识别，包括：
计算各核验元素的文字的编辑距离；
计算字符错误率CER；
提取错误文字的偏旁部首，判断是否为偏旁部首错误；
若字符错误率CER小于设定阈值，并且，错误字为偏旁部首错误，则确定对核验元素的文本识别完成；若字符错误率CER大于设定阈值，或者，错误字不是偏旁部首错误，则生成报错信息。
由于签收单是扫描文件，在扫描过程中会存在扫描不清晰的情况，另外印章、签字、日期等会有重叠现象，也会影响文字识别。进行文字相似度匹配处理，过滤因扫描、元素重叠带来的干扰像素，可提升文字识别准确度。
上述实施例所提供的技术方案，可以利用低层CNN将签收单转动方向提升文字识别率，利用元素预设区域提升元素类别置信度，利用损失函数DIOU-NMS提升重叠元素的检出，利用CER过滤掉扫描、元素重叠带来的对文字的干扰，从多个方面提升签收单的准确度。
实施例二
图4是本申请实施例二提供的签收单的处理装置的结构示意图。如图4所示，所述装置包括：
方向处理单元410，用于获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向；
核验元素识别单元420，用于使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；
文本识别单元430，用于根据分类结果对各核验元素采用文字识别模块进行文本识别；
核验结果确定单元440，用于若文本识别结果与预先备案的签收单信息相匹配，则确定所述签收单图像核验完成。
进一步的，所述核验元素识别单元420，具体用于：
使用的YOLO网络对所述签收单图像中是否包含所必须的签字、是否有盖章以及所盖章的形状。
进一步的，所述方向处理单元410，包括：
归一化处理子单元，用于扫描签收单得到签收单的原始图像，对所述原始图像进行归一化处理，并将所述原始图像宽高转换为统一固定的高和宽，作为签收单图像；
方向识别子单元，用于将所述签收单图像作为输入图像，输入至3层全连接CNN网络，并通过softmax损失函数判断签收单的当前角度是属于0°、90°、180°或者270°；
方向调整子单元，用于当所述签收单图像为0°之外的其他角度时，旋转签收单图像角度至0°。
进一步的，所述核验元素识别单元420，包括：
置信度计算子单元，用于将标准方向的签收单图像输入YOLO网络；其中，所述YOLO网络在训练阶段的情况下，将签收单划分为多个预设核验元素区域，当核验元素在预设核验元素区域时则核验元素的置信度进行加权处理，为大于当前IOU的值，当核验元素不在预设核验元素区域时则核验元素的置信度为0；
裁剪子单元，用于检查YOLO网络是否检测出必须的签字、是否有盖章及所盖章的形状；若是，则计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；若否，则生成核验元素缺失的提示信息。
进一步的，所述YOLO网络使用的损失函数为DIOU-NMS。
进一步的，所述核验元素识别单元420，包括：
位置计算子单元，用于根据感受野计算出核验元素所在签收单图像的中心点以及边框；
裁剪处理子单元，用于根据核验元素所在签收单图像的中心点以及边框，计算各核验元素的边框，并进行裁剪和分类存储。
进一步的，文本识别单元430，包括：
编辑距离计算子单元，用于计算各核验元素的文字的编辑距离；
字符错误率计算子单元，用于计算字符错误率CER；
错误分析子单元，用于提取错误文字的偏旁部首，判断是否为偏旁部首错误；
报错信息生成子单元，用于若字符错误率CER小于设定阈值，并且，错误字为偏旁部首错误，则确定对核验元素的文本识别完成；若字符错误率CER大于设定阈值，或者，错误字不是偏旁部首错误，则生成报错信息。
本装置可以执行上述各实施例所提供的签收单的处理方法，具有与之相应的功能单元和有益效果。此处不再赘述。
实施例三
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种签收单的处理方法，该方法包括：
获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向；
使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；
根据分类结果对各核验元素采用文字识别模块进行文本识别；
若文本识别结果与预先备案的签收单信息相匹配，则确定所述签收单图像核验完成。
存储介质——任何的各种类型的存储器电子设备或存储电子设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计 算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的签收单的处理操作，还可以执行本申请任意实施例所提供的签收单的处理方法中的相关操作。
实施例四
本申请实施例提供了一种电子设备。图5是本申请实施例四提供的一种电子设备的结构示意图。如图5所示，本实施例提供了一种电子设备500，其包括：一个或多个处理器520；存储装置510，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器520运行，使得所述一个或多个处理器520实现本申请实施例所提供的签收单的处理方法，该方法包括：
获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向；
使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；
根据分类结果对各核验元素采用文字识别模块进行文本识别；
若文本识别结果与预先备案的签收单信息相匹配，则确定所述签收单图像核验完成。
图5显示的电子设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，该电子设备500包括处理器520、存储装置510、输入装置530和输出装置540；电子设备中处理器520的数量可以是一个或多个，图5中以一个处理器520为例；电子设备中的处理器520、存储装置510、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线550连接为例。
存储装置510作为一种计算机可读存储介质，可用于存储软件程序、计算机可运行程序以及模块单元，如本申请实施例中的签收单的处理方法对应的程序指令。
存储装置510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏、扬声器等电子设备。
本申请实施例提供的电子设备，通过签收单批处理系统使用CNN网络、YOLO网络、OCR文字识别对签收单进行解析，通过对核验元素的置信度和元素的文字对比获得元素的吻合度，根据吻合度与阈值对比自动划分出自动结算处理、再确认处理、重新处理；另外，可使用已解析后的信息自动向物流系统、结算系统直接发送所需信息。由此，提升签收单的处理效率，同时客户端可获得明确的结算信息，或者，重新进行回收单处理的提示信息。
上述实施例中提供的签收单的处理装置、介质及电子设备可运行本申请任意实施例所提供的签收单的处理方法，具备运行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的签收单的处理方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种签收单的处理方法，其特征在于，所述方法包括：
获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向；
使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；
根据分类结果对各核验元素采用文字识别模块进行文本识别；
若文本识别结果与预先备案的签收单信息相匹配，则确定所述签收单图像核验完成。
2.根据权利要求1所述的方法，其特征在于，使用YOLO网络对所述签收单图像进行核验元素检测，包括：
使用的YOLO网络对所述签收单图像中是否包含所必须的签字、是否有盖章以及所盖章的形状。
3.根据权利要求1所述的方法，其特征在于，获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向，包括：
扫描签收单得到签收单的原始图像，对所述原始图像进行归一化处理，并将所述原始图像宽高转换为统一固定的高和宽，作为签收单图像；
将所述签收单图像作为输入图像，输入至3层全连接CNN网络，并通过softmax损失函数判断签收单的当前角度是属于0°、90°、180°或者270°；
当所述签收单图像为0°之外的其他角度时，旋转签收单图像角度至0°。
4.根据权利要求1所述的方法，其特征在于，使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储，包括：
将标准方向的签收单图像输入YOLO网络；其中，所述YOLO网络在训练阶段的情况下，将签收单划分为多个预设核验元素区域，当核验元素在预设核验元素区域时则核验元素的置信度进行加权处理，为大于当前IOU的值，当核验元素不在预设核验元素区域时则核验元素的置信度为0；
检查YOLO网络是否检测出必须的签字、是否有盖章及所盖章的形状；若是，则计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；若否，则生成核验元素缺失的提示信息。
5.根据权利要求4所述的方法，其特征在于，所述YOLO网络使用的损失函数为DIOU-NMS。
6.根据权利要求1所述的方法，其特征在于，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储，包括：
根据感受野计算出核验元素所在签收单图像的中心点以及边框；
根据核验元素所在签收单图像的中心点以及边框，计算各核验元素的边框，并进行裁剪和分类存储。
7.根据权利要求1所述的方法，其特征在于，根据分类结果对各核验元素采用文字识别模块进行文本识别，包括：
计算各核验元素的文字的编辑距离；
计算字符错误率CER；
提取错误文字的偏旁部首，判断是否为偏旁部首错误；
若字符错误率CER小于设定阈值，并且，错误字为偏旁部首错误，则确定对核验元素的文本识别完成；若字符错误率CER大于设定阈值，或者，错误字不是偏旁部首错误，则生成报错信息。
8.一种签收单的处理装置，其特征在于，所述装置包括：
方向处理单元，用于获取签收单图像，通过CNN网络识别所述签收单图像的当前角度，并根据所述当前角度将签收单旋转至标准方向；
核验元素识别单元，用于使用YOLO网络对所述签收单图像进行核验元素检测，并根据各核验元素在所述签收单图像中的位置确定各核验元素的置信度，计算各核验元素的边框，根据所述边框对各核验元素进行裁剪，并分类存储；
文本识别单元，用于根据分类结果对各核验元素采用文字识别模块进行文本识别；
核验结果确定单元，用于若文本识别结果与预先备案的签收单信息相匹配，则确定所述签收单图像核验完成。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的签收单的处理方法。
10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一所述的签收单的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311211956.1A CN117095402A (zh) | 2023-09-20 | 2023-09-20 | 一种签收单的处理方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311211956.1A CN117095402A (zh) | 2023-09-20 | 2023-09-20 | 一种签收单的处理方法、装置、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117095402A true CN117095402A (zh) | 2023-11-21 |
Family
ID=88782854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311211956.1A Pending CN117095402A (zh) | 2023-09-20 | 2023-09-20 | 一种签收单的处理方法、装置、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117095402A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540008A (zh) * | 2024-01-09 | 2024-02-09 | 中国邮电器材集团有限公司 | 一种合同异常数据风险智能分析方法 |
-
2023
- 2023-09-20 CN CN202311211956.1A patent/CN117095402A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540008A (zh) * | 2024-01-09 | 2024-02-09 | 中国邮电器材集团有限公司 | 一种合同异常数据风险智能分析方法 |
| CN117540008B (zh) * | 2024-01-09 | 2024-04-05 | 中国邮电器材集团有限公司 | 一种合同异常数据风险智能分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840519B (zh) | 一种自适应的智能单据识别录入装置及其使用方法 | |
| CN109658584B (zh) | 一种票据信息识别方法及装置 | |
| WO2020164278A1 (zh) | 一种图像处理方法、装置、电子设备和可读存储介质 | |
| CN113963147B (zh) | 一种基于语义分割的关键信息提取方法及系统 | |
| CN117095402A (zh) | 一种签收单的处理方法、装置、介质及电子设备 | |
| US11023720B1 (en) | Document parsing using multistage machine learning | |
| CN111160395A (zh) | 图像识别方法、装置、电子设备和存储介质 | |
| CN113191358B (zh) | 金属零件表面文本检测方法和系统 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| Caldeira et al. | Industrial optical character recognition system in printing quality control of hot-rolled coils identification | |
| US20230147685A1 (en) | Generalized anomaly detection | |
| CN110796210A (zh) | 一种标签信息的识别方法及装置 | |
| CN111462094A (zh) | Pcba元器件检测方法、装置及计算机可读存储介质 | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| CN112001200A (zh) | 识别码识别方法、装置、设备、存储介质和系统 | |
| CN112232336A (zh) | 一种证件识别方法、装置、设备及存储介质 | |
| CN111881923A (zh) | 一种基于特征匹配的票据要素提取方法 | |
| CN114359533B (zh) | 一种基于页面文本的页码识别方法和计算机设备 | |
| CN114511866A (zh) | 数据稽核方法、装置、系统、处理器及机器可读存储介质 | |
| CN110291527B (zh) | 信息处理方法、系统、云处理设备以及计算机程序产品 | |
| CN111738979B (zh) | 证件图像质量自动检查方法及系统 | |
| CN113420694A (zh) | 快递流水线的堵塞识别方法、系统、电子设备及可读存储介质 | |
| CN111680680A (zh) | 一种目标码定位方法、装置、电子设备及存储介质 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN114443834A (zh) | 一种证照信息提取的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |