CN115019334A - 一种任务处理方法、装置、设备及介质 - Google Patents
一种任务处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115019334A CN115019334A CN202210616069.1A CN202210616069A CN115019334A CN 115019334 A CN115019334 A CN 115019334A CN 202210616069 A CN202210616069 A CN 202210616069A CN 115019334 A CN115019334 A CN 115019334A
- Authority
- CN
- China
- Prior art keywords
- image
- trained
- processed
- training sample
- single image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000009432 framing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 112
- 238000002372 labelling Methods 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 29
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 abstract description 10
- 238000004590 computer program Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/424—Postal images, e.g. labels or addresses on parcels or postal envelopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/147—Determination of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/274—Syntactic or semantic context, e.g. balancing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种任务处理方法、装置、设备及介质。该方法包括:当接收到待处理任务时,获取与待处理任务相对应的待处理面单图像;基于文本框识别模型对待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像;基于区域识别模型对待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像;获取第一待使用面单图像以及第二待使用面单图像中框选区域所对应的文字信息;基于文字信息,确定与待处理面单图像相对应的目标执行任务。本发明的技术方案解决了现有技术中,对于不同类型面单信息提取时,不能准确提取的问题,实现了对不同类型面单信息的提取。
Description
技术领域
本发明涉及物流技术领域,尤其涉及一种任务处理方法、装置、设备及介质。
背景技术
目前,物流业务方通常使用面单记录物流的信息,在使用面单时,需要对面单的信息获取,进而根据相应的信息对物品进行配送。
然而,物流品牌较多,相应的面单类型也是较多的,现有的技术大多根据每个品牌的面单,建立模型,进行推理预测,这样就造成了所建立的模型只能对某个品牌的面单进行信息检测,对其他的面单类型不能识别以及信息提取。除此之外,快递面单上较多的背景信息,对面单信息的语义提取产生了重大影响。
发明内容
本发明提供了一种任务处理方法、装置、设备及介质,以实现对不同类型面单信息的提取。
根据本发明的一方面,提供了一种任务处理方法,所述方法包括:
当接收到待处理任务时,获取与所述待处理任务相对应的待处理面单图像;
基于文本框识别模型对所述待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像;以及,
基于区域识别模型对所述待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像;
获取所述第一待使用面单图像以及所述第二待使用面单图像中框选区域所对应的文字信息;
基于所述文字信息,确定与所述待处理面单图像相对应的目标执行任务。
根据本发明的另一方面,提供了一种任务处理装置,所述装置包括:
待处理面单图像获取模块,用于当接收到待处理任务时,获取与所述待处理任务相对应的待处理面单图像;
第一待使用面单图像获取模块,用于基于文本框识别模型对所述待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像;以及,
第二待使用面单图像获取模块,用于基于区域识别模型对所述待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像;
文字信息获取模块,用于获取所述第一待使用面单图像以及所述第二待使用面单图像中框选区域所对应的文字信息;
目标任务执行模块,用于基于所述文字信息,确定与所述待处理面单图像相对应的目标执行任务。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的任务处理方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的任务处理方法。
本发明实施例的技术方案,通过当接收到待处理任务时,获取与待处理任务相对应的待处理面单图像;基于文本框识别模型对待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像;基于区域识别模型对待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像;获取第一待使用面单图像以及第二待使用面单图像中框选区域所对应的文字信息;基于文字信息,确定与待处理面单图像相对应的目标执行任务,解决了现有技术中,对于不同类型面单信息提取时,不能准确提取的问题,实现了对不同类型面单信息的提取。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供了一种任务处理方法的流程图;
图2为本发明实施例一所适用的文本区域的识别流程图;
图3为本发明实施例一所适用的收寄区域的识别流程图;
图4为本发明实施例三提供的一种任务处理装置的结构示意图;
图5示出了可以用来实施本发明的实施例的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种任务处理方法的流程图,本实施例可适用于对不同业务方的面单信息进行提取,并基于信息确定对应执行任务的情况,该方法可以由任务处理装置来执行,该任务处理装置可以采用硬件和/或软件的形式实现,该任务处理装置可配置于快递扫描终端中。
如图1所示,该方法包括:
S110、当接收到待处理任务时,获取与待处理任务相对应的待处理面单图像。
其中,待处理任务可以理解为对物品邮寄的任务,相应的,对物品的邮寄时,通常是将面单粘贴在物品包裹上,以记录收寄信息,使物品可以准确的寄送到接收方。待处理面单图像可以理解为针对当前面单所拍摄的图像。
具体的,当接收到需要对物品邮寄的任务时,可以通过图像采集设备采集当前物品对应的面单图像,作为待处理面单图像。
S120、基于文本框识别模型对待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像。
其中,文本框识别模型可以是预先训练好的模型,文本框识别模型可以对待处理面单图像中的文字区域进行框选。第一框选区域可以理解为待处理面单图像中的文字区域,第一待使用面单图像可以理解为经过文本框识别模型处理后得到的图像。
具体的,可以将待处理面单图像作为文本框识别模型的输入,文本框识别模型对待处理面单图像进行处理,即将待处理面单图像中的文本区域进行框选处理,例如,可以是将待处理面单图像中包含文字的区域用红色的线条的矩形框圈选出来,该文本框识别模型会输出经过处理后的图像,将其作为第一待使用面单图像。
S130、基于区域识别模型对待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像。
其中,区域识别模型可以理解为用于对待处理面单图像中收寄件用户信息所在区域进行确定的训练模型。第二框选区域可以理解为待处理面单图像中收寄件用户信息所在的区域。例如,待处理面单图像的上方区域对应的是寄件用户相关的信息,待处理面单图像的下方区域对应的是收件用户相关的信息。
具体的,将待处理面单图像输入区域识别模型,区域识别模型可以对待处理面单图像上的收件用户信息所在区域以及寄件用户信息所在区域的位置进行确定,并作出区分。例如,可以是将待处理面单图像上对应的收件用户信息的区域用红色的矩形框圈选出来,将寄件用户信息区域用绿色的矩形框圈选出来。基于此,区域识别模型可以输出收寄件用户信息经过框选后的图像,即第二待使用面单图像。
在上述技术方案的基础上,根据至少一个待接入业务方,确定至少一种面单类型;按照预设比例分别获取与各面单类型相对应的待训练面单图像;依据第一标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第一训练样本图像;依据第二标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第二训练样本图像;依据各待训练面单图像和相应的第一训练样本图像,确定训练得到所述文本框模型的第一训练样本;以及,依据各待训练面单图像和相应的第二训练样本图像,得到训练得到所述区域识别模型的第二训练样本。
其中,待接入业务方可以理解为不同的物流业务方,不同的物流业务方均可提供物流服务。例如待接入业务方可以是A物流业务方,B物流业务方。可以理解,不同的业务方在提供物流服务时,使用的面单类型是不同的,如A业务方使用的面单类型为面单类型1,B业务方使用的面单类型为类型2。预设比例可以理解为不同类型面单图像数量对应的比例。例如,面单类型1的图像与面单类型2的图像的比例为1:2。在本实施例中,具体的预设比例大小根据实际情况设置,在此不做限制。待训练面单图像可以理解为是预先拍摄的不同类型的面单图像,或者是开发人员预先上传的一些不同类型的面单图像。第一标注规则可以理解为对待训练面单图像中信息区域标注的方式。第一训练样本图像可以理解为经过第一标注规则标注后得到的图像。第二标注规则可以理解为对待训练面单图像中信息区域标注的方式。第二训练样本图像可以理解为经过第二标注规则标注后得到的图像。第一训练样本可以理解为训练得到文本框模型所需的样本,第二训练可以理解为训练得到区域识别模型所需的样本。
具体的,可以将各个业务方的所使用的不同面单类型,预先按照比例获取各个面单类型对应的面单图片作为待训练面单图像,例如A业务方使用的是面单类型为类型1,B业务方使用的面单类型为类型2。基于此,则分别获取一定数量的类型1的面单图像,以及一定数量的类型2的面单图像,可以是将2000张类型1的面单图像和2000张类型2的面单图像作为待训练面单图像。进一步的,基于第一标注规则,对各个待训练面单图像上的区域进行标注,得到第一训练样本图像。基于第二标注规则,对第二待训练面单图像进行标注得到第二训练样本图像。进一步,将第一训练样本图像以及与该图像对应的待训练面单图像作为训练得到文本框模型的第一训练样本。将第二训练样本图像以及与该图像对应的待训练面单图像作为训练得到区域识别模型的第二训练样本。也即,训练样本中包含未标注的待训练面单图像和标注过的训练样本图像。
在上述基础上,利用第一训练样本对初始的模型进行训练得到文本框模型,利用第二训练样本对初始的模型进行训练,得到区域识别模型,训练的过程可以是计算模型的损失值,并基于损失值对模型的参数进行修正,以使模型最终可以实现准确的预测。
示例性的,如图2所示,可以是对标注好的面单数据,按照训练集与测试集9:1的比例,采用DBNet算法进行面单数据集的训练,直至收敛,得到可检测多种品牌面单的文字检测模型,用于后续面单图片文字位置信息的推理。在本实施例的技术方案中,可以基于上述训练好的文本框模型以及区域识别模型对不同类型的待处理面单图像进行处理,并对待处理面单图像上的文字信息所在区域进行确定。
需要说明的是,实际应用中快递面单上较多的背景信息,对面单信息的语义提取产生了重大影响。在获取待训练面单图像时,适当考虑有背景信息(如段码、手写绘制等常见背景信息)的快递面单,以提高上述区域识别模型以及文本框模型的准确度。
在上述技术方案的基础上,所述依据第一标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第一训练样本图像,包括:依据第一标注规则中的关键字段、关键字段所对应的标注方式、非关键字段以及所述非关键字段所对应的标注方式,对各待训练面单图像进行框选标注,得到包括至少一个区域的第一训练样本图像。
其中,所述关键字段中包括派送基本信息字段、所述非关键字段包括派送物品类型字段。
具体的,在待训练面单图像中,对于关键字段,如基本信息字段、派送地址字段、通讯ID字段,即使在待训练面单图像中,关键字段之间没有明显的间隔区分,在标注时,也需要将关键字段分开标注,对于非关键字段,如派送物品类型,在标注时,则可以按照按行标注的规则进行标注。基于此,将标注后的待训练面单图像作为第一训练样本图像。
在上述技术方案的基础上,所述依据第二标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第二训练样本图像,包括:依据第二标注规则中的派送地址字段、派送用户字段以及接收用户字段,对各待训练面单图像中的相应区域进行标注,得到第二训练样本图像。
其中,派送地址字段可以理解为物品需要派送的地址,派送用户字段可以是物品派送用户的标识,主要用于区分不同的派送用户。接收用户字段可以理解为接收该物品的用户的标识。
具体的,可以按照第二标注规则对各待训练面单图像进行标注,在标注时,忽略大篇幅背景信息干扰,采用多行整体标注的方法,对收件用户信息所在区域进行标注,标注为收件用户区域,根据派送用户信息(派送地址字段、派送用户字段)所在区域进行标注,标注为寄件用户区域,完成面单图像中收寄区域的信息标注。
在上述技术方案的基础上,训练得到所述文本框识别模型;所述训练得到所述文本框识别模型,包括:针对各第一训练样本,将当前第一训练样本中待训练面单图像输入至待训练文本框识别模型中,得到实际输出图像;确定所述实际输出图像和所述当前第一训练样本中的第一训练样本图像,确定损失值,以基于所述损失值对所述待训练文本框识别模型中的模型参数进行修正;将所述待训练文本框识别模型中的损失函数收敛作为训练目标,得到所述文本框识别模型,以基于所述文本框识别模型为所述待处理面单图像进行区域框选,得到所述第一待使用面单图像。
其中,待训练文本框识别模型为模型中的模型参数为初始参数,或者默认参数的模型。实际输出图像是将当前第一训练样本中的待训练面单图像输入至待训练文本框识别模型后,输出的图像。
需要说明的,待训练文本框识别模型中的模型参数并不符合预期要求,因此,基于此时的模型参数输出的实际输出图像与理论输出图像是存在一定的差异的,因此可以基于每一幅待训练面单图像所对应的实际输出图像和理论输出图像,可以确定出相应的误差损失值。
在本实施例中,在对待训练文本框识别模型进行训练之前可以将训练参数设置为默认值。在对待训练文本框识别模型训练时,可以基于待训练文本框识别模型的输出结果修正模型中的训练参数,也就是说,可以通过对待训练文本框识别模型中的损失函数进行修正,来得到文本框识别模型。
具体的,在将第一训练样本中的待训练面单图像输入至待训练文本框识别模型中之后,文本框识别模型可以得到与待训练面单图像相对应的实际输出图像。基于实际输出图像对第一样本图像之间的差值计算损失值,进一步的,基于损失值采用反向传递法修正待训练文本框识别模型中的模型参数。基于第一训练样本对待训练继续训练,并修正相应的模型参数,直至损失函数收敛,得到文本框识别模型。以基于所述文本框识别模型为所述待处理面单图像进行区域框选,得到所述第一待使用面单图像。
在上述技术方案的基础上,还包括:训练得到所述区域识别模型;所述训练得到所述区域识别模型,包括:针对各第二训练样本,将当前第二训练样本中待训练面单图像输入至待训练区域识别模型中,得到实际输出图像;确定所述实际输出图像和所述当前第二训练样本中的第二训练样本图像,确定损失值,以基于所述损失值对所述待训练区域识别模型中的模型参数进行修正;将所述待训练区域模型中的损失函数收敛作为训练目标,得到所述区域识别模型,以基于所述区域识别模型为所述待处理面单图像进行区域框选,得到所述第二待使用面单图像。
其中,待训练区域识别模型为模型中的模型参数为初始参数,或者默认参数的模型。实际输出图像是将当前第二训练样本中的待训练面单图像输入至待训练区域识别模型后,输出的图像。
需要说明的,待训练区域识别模型中的模型参数并不符合预期要求,因此,基于此时的模型参数输出的实际输出图像与理论输出图像是存在一定的差异的,因此可以基于每一幅待训练面单图像所对应的实际输出图像和理论输出图像,可以确定出相应的误差损失值。
在本实施例中,在对待训练区域识别模型进行训练之前可以将训练参数设置为默认值。在对待训练区域识别模型训练时,可以基于待训练区域识别模型的输出结果修正模型中的训练参数,也就是说,可以通过对待训练区域识别模型中的损失函数进行修正,来得到区域识别模型。
具体的,在将第二训练样本中的待训练面单图像输入至待训练区域识别模型中之后,区域识别模型可以得到与待训练面单图像相对应的实际输出图像。基于实际输出图像对第二样本图像之间的差值计算损失值,进一步的,基于损失值采用反向传递法修正待训练区域识别模型中的模型参数。基于第二训练样本对待训练继续训练,并修正相应的模型参数,直至损失函数收敛,得到区域识别模型。以基于所述区域识别模型为所述待处理面单图像进行区域框选,得到所述第二待使用面单图像。
示例性的,如图3所示,对标注好的面单数据,按照训练集与测试集9:1的比例,采用MobileNet-V3算法进行面单数据集的训练,直至收敛,得到可检测多种品牌面单的收寄区域的模型,用于后续面单图片收寄区域位置信息的推理。在整体处理过程中,任何一种品牌面单图片经过文字检测得到面单文字位置信息,经过文字识别,得到每个文本框中的文字信息,结合区域检测推理的收寄件用户区域的位置信息,进行结构化处理操作,即可得到面单上的关键信息,完成了面单信息的提取。
在上述技术方案的基础上,基于测试样本集对相应的区域识别模型以及所述文本框识别模型进行准确率测试,以在准确率达到预设准确率阈值时,使用所述区域识别模型以及所述文本框识别模型。
需要说明的是,为了提高文本框识别模型和区域识别模型的识别准确率,可以对相应的区域识别模型以及文本框识别模型进行准确率测试,可以是将大量的面单图像输入至模型中,确定模型输出正确图像的正确率,如达到99%,则表明文本框识别模型和区域识别模型的识别准确率达到标准,可以使用所述区域识别模型以及所述文本框识别模型。
S140、获取第一待使用面单图像以及第二待使用面单图像中框选区域所对应的文字信息。
具体的,可以是通过图像识别算法对第一待使用面单图像以及第二待使用面单图像中框选的区域对应的图像进行处理,识别出框选区域对应的图像的文字信息。
在上述技术方案的基础上,所述获取所述第一待使用面单图像以及所述第二待使用面单图像中框选区域所对应的文字信息,包括:基于文字识别模型或文字检测技术识别所述第一待使用面单图像以及所述第二待使用面单图像中的文字信息。
具体的,可以通过文字识别模型或者文字识别技术对第一待使用面单图像以及第二待使用面单图像中的框选区域的图像进行处理,可以得到该区域所包含的文字信息。基于此,可以识别获取到不同类型面单中所包含的收件用户信息、寄件用户信息以及物品信息。依靠一个文字检测模型完成多种品牌快递的文字检测,得到面单上的文字信息,同样,依靠一个区域检测模型完成多种品牌快递的收寄件用户区域检测,得到面单上的收寄件用户区域检测信息;根据字段语义属性标注,和收寄件用户区域检测相结合的方式,提高了关键信息提取的准确率。
S150、基于文字信息,确定与待处理面单图像相对应的目标执行任务。
在上述技术方案的基础上,所述目标执行任务包括目标配送任务、目标通知任务、目标监测任务、目标分发任务中的至少一种。
其中,目标配送任务可以理解为基于文字信息所确定出的物品需要配送的位置信息,目标通知任务可以理解为通知寄件用户当前物品物流状态的任务,目标监测任务可以理解为对物品的物流状态进行监控的任务,目标分发任务可以是将物品进行分发至各个物流网点的任务。
具体的,基于文字信息,可以得到该物品对应的发件用户信息、寄件用户信息,当目标执行任务是配送任务时,可以基于文字信息,将与面单对应的物品配送至目的地。如果目标执行任务是通知任务,则可以基于文字信息,将当前物品的物流状态变更信息发送至收寄件用户的终端设备上。当目标执行任务是监控任务,则可以对当前文字信息对应的物品进行监控。当目标任务为分发任务则可以基于文字信息,将物品分发至对应的物流服务网点或者中转仓库等。
在上述技术方案的基础上,将所述文字信息填充至与所述待处理面单图像相对应的标准化表格中,以确定与所述待处理面单图像相对应的文本内容。
具体的,可以是将文字信息中的寄件用户名称填写在标准化表格的第一行,将寄件用户地址填写在标注化表格的第二行,将寄件用户联系方式填写在第三行。相应的,将文字信息中的收件用户名称填写在标准化表格的第四行,将收件用户地址填写在标注化表格的第五行,将收件用户联系方式填写在第六行。将文字信息中所包含的收寄件信息填写在标准化的表格中,更方便对信息的管理。
本发明实施例的技术方案,通过当接收到待处理任务时,获取与待处理任务相对应的待处理面单图像;基于文本框识别模型对待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像;基于区域识别模型对待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像;获取第一待使用面单图像以及第二待使用面单图像中框选区域所对应的文字信息;基于文字信息,确定与待处理面单图像相对应的目标执行任务,解决了现有技术中,对于不同类型面单信息提取时,不能准确提取的问题,实现了对不同类型面单信息的提取。实现模型与多种快递品牌面单类型的解耦,依靠一个文字检测模型完成多种品牌快递的文字检测,得到面单上的文字信息,同样,依靠一个区域检测模型完成多种品牌快递的收寄件用户区域检测,得到面单上的收寄件用户区域检测信息;根据字段语义属性标注,和收寄件用户区域检测相结合的方式,提高了后续关键信息提取的准确率。本发明技术方案提出的多种类型面单检测算法,作为面单关键信息提取的关键一步,不仅解决了大篇幅面单背景信息对语义信息提取的重大影响,而且解耦了模型与快递品牌依赖的关系,简化了面单识别的整体流程,便于后期的维护。
实施例二
图4为本发明实施例三提供的一种任务处理装置的结构示意图。如图4所示,所述装置包括:
待处理面单图像获取模块210,用于当接收到待处理任务时,获取与所述待处理任务相对应的待处理面单图像;
第一待使用面单图像获取模块220,用于基于文本框识别模型对所述待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像;以及,
第二待使用面单图像获取模块230,用于基于区域识别模型对所述待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像;
文字信息获取模块240,用于获取所述第一待使用面单图像以及所述第二待使用面单图像中框选区域所对应的文字信息;
目标任务执行模块250,用于基于所述文字信息,确定与所述待处理面单图像相对应的目标执行任务。
在上述技术方案的基础上,所述任务处理装置还包括:
面单类型确定模块,用于根据至少一个待接入业务方,确定至少一种面单类型;
待训练面单图像获取模块,用于按照预设比例分别获取与各面单类型相对应的待训练面单图像;
第一标注模块,用于依据第一标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第一训练样本图像;
第二标注模块,用于依据第二标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第二训练样本图像;
文本框模型训练模块,用于依据各待训练面单图像和相应的第一训练样本图像,确定训练得到所述文本框模型的第一训练样本;以及,
区域识别模型训练模块,用于依据各待训练面单图像和相应的第二训练样本图像,得到训练得到所述区域识别模型的第二训练样本。
在上述技术方案的基础上,所述第一标注模块包括:
第一标注单元,用于依据第一标注规则中的关键字段、关键字段所对应的标注方式、非关键字段以及所述非关键字段所对应的标注方式,对各待训练面单图像进行框选标注,得到包括至少一个区域的第一训练样本图像;其中,所述关键字段中包括派送基本信息字段、所述非关键字段包括派送物品类型字段。
在上述技术方案的基础上,所述第二标注模块包括:
第二标注单元,用于依据第二标注规则中的派送地址字段、派送用户字段以及接收用户字段,对各待训练面单图像中的相应区域进行标注,得到第二训练样本图像。
在上述技术方案的基础上,所述文本框模型训练模块包括:
实际图像输出单元,用于针对各第一训练样本,将当前第一训练样本中待训练面单图像输入至待训练文本框识别模型中,得到实际输出图像;
损失值确定单元,用于确定所述实际输出图像和所述当前第一训练样本中的第一训练样本图像,确定损失值,以基于所述损失值对所述待训练文本框识别模型中的模型参数进行修正;
文本框模型训练单元,用于将所述待训练文本框识别模型中的损失函数收敛作为训练目标,得到所述文本框识别模型,以基于所述文本框识别模型为所述待处理面单图像进行区域框选,得到所述第一待使用面单图像。
在上述技术方案的基础上,所述区域识别模型训练模块包括:
实际输出单元,用于针对各第二训练样本,将当前第二训练样本中待训练面单图像输入至待训练区域识别模型中,得到实际输出图像;
修正单元,用于确定所述实际输出图像和所述当前第二训练样本中的第二训练样本图像,确定损失值,以基于所述损失值对所述待训练区域识别模型中的模型参数进行修正;
区域识别模型训练,用于将所述待训练区域模型中的损失函数收敛作为训练目标,得到所述区域识别模型,以基于所述区域识别模型为所述待处理面单图像进行区域框选,得到所述第二待使用面单图像。
在上述技术方案的基础上,所述任务处理装置还包括:
准确率测试模块,用于基于测试样本集对相应的区域识别模型以及所述文本框识别模型进行准确率测试,以在准确率达到预设准确率阈值时,使用所述区域识别模型以及所述文本框识别模型。
在上述技术方案的基础上,所述文字信息获取模块240包括:
文字检测识别模块,用于基于文字识别模型或文字检测技术识别所述第一待使用面单图像以及所述第二待使用面单图像中的文字信息。
在上述技术方案的基础上,所述任务处理装置还包括:
填充模块,用于将所述文字信息填充至与所述待处理面单图像相对应的标准化表格中,以确定与所述待处理面单图像相对应的文本内容。
在上述技术方案的基础上,所述目标执行任务包括目标配送任务、目标通知任务、目标监测任务、目标分发任务中的至少一种。
本发明实施例的技术方案,通过当接收到待处理任务时,获取与待处理任务相对应的待处理面单图像;基于文本框识别模型对待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像;基于区域识别模型对待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像;获取第一待使用面单图像以及第二待使用面单图像中框选区域所对应的文字信息;基于文字信息,确定与待处理面单图像相对应的目标执行任务,解决了现有技术中,对于不同类型面单信息提取时,不能准确提取的问题,实现了对不同类型面单信息的提取。实现模型与多种快递品牌面单类型的解耦,依靠一个文字检测模型完成多种品牌快递的文字检测,得到面单上的文字信息,同样,依靠一个区域检测模型完成多种品牌快递的收寄件用户区域检测,得到面单上的收寄件用户区域检测信息;根据字段语义属性标注,和收寄件用户区域检测相结合的方式,提高了后续关键信息提取的准确率。本发明技术方案提出的多种类型面单检测算法,作为面单关键信息提取的关键一步,不仅解决了大篇幅面单背景信息对语义信息提取的重大影响,而且解耦了模型与快递品牌依赖的关系,简化了面单识别的整体流程,便于后期的维护。
本发明实施例所提供的任务处理装置可执行本发明任意实施例所提供的任务处理方法,具备执行方法相应的功能模块和有益效果。
实施例三
图5示出了可以用来实施本发明的实施例的电子设备30的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备30包括至少一个处理器31,以及与至少一个处理器31通信连接的存储器,如只读存储器(ROM)32、随机访问存储器(RAM)33等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器31可以根据存储在只读存储器(ROM)32中的计算机程序或者从存储单元38加载到随机访问存储器(RAM)33中的计算机程序,来执行各种适当的动作和处理。在RAM 33中,还可存储电子设备30操作所需的各种程序和数据。处理器31、ROM 32以及RAM 33通过总线34彼此相连。输入/输出(I/O)接口35也连接至总线34。
电子设备30中的多个部件连接至I/O接口35,包括:输入单元36,例如键盘、鼠标等;输出单元37,例如各种类型的显示器、扬声器等;存储单元38,例如磁盘、光盘等;以及通信单元39,例如网卡、调制解调器、无线通信收发机等。通信单元39允许电子设备30通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器31可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器31的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器31执行上文所描述的各个方法和处理,例如任务处理方法。
在一些实施例中,任务处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元38。在一些实施例中,计算机程序的部分或者全部可以经由ROM 32和/或通信单元39而被载入和/或安装到电子设备30上。当计算机程序加载到RAM 33并由处理器31执行时,可以执行上文描述的方法的一个或多个步骤。备选地,在其他实施例中,处理器31可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行任务处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种任务处理方法,其特征在于,包括:
当接收到待处理任务时,获取与所述待处理任务相对应的待处理面单图像;
基于文本框识别模型对所述待处理面单图像进行处理,得到包括至少一个第一框选区域的第一待使用面单图像;以及,
基于区域识别模型对所述待处理面单图像进行处理,得到包括至少一个第二框选区域的第二待使用面单图像;
获取所述第一待使用面单图像以及所述第二待使用面单图像中框选区域所对应的文字信息;
基于所述文字信息,确定与所述待处理面单图像相对应的目标执行任务。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据至少一个待接入业务方,确定至少一种面单类型;
按照预设比例分别获取与各面单类型相对应的待训练面单图像;
依据第一标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第一训练样本图像;
依据第二标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第二训练样本图像;
依据各待训练面单图像和相应的第一训练样本图像,确定训练得到所述文本框模型的第一训练样本;以及,
依据各待训练面单图像和相应的第二训练样本图像,得到训练得到所述区域识别模型的第二训练样本。
3.根据权利要求2所述的方法,其特征在于,所述依据第一标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第一训练样本图像,包括:
依据第一标注规则中的关键字段、关键字段所对应的标注方式、非关键字段以及所述非关键字段所对应的标注方式,对各待训练面单图像进行框选标注,得到包括至少一个区域的第一训练样本图像;
其中,所述关键字段中包括派送基本信息字段、所述非关键字段包括派送物品类型字段。
4.根据权利要求2所述的方法,其特征在于,所述依据第二标注规则,对各待训练面单图像中的至少一个区域进行标注,得到第二训练样本图像,包括:
依据第二标注规则中的派送地址字段、派送用户字段以及接收用户字段,对各待训练面单图像中的相应区域进行标注,得到第二训练样本图像。
5.根据权利要求2所述的方法,其特征在于,还包括:
训练得到所述文本框识别模型;
所述训练得到所述文本框识别模型,包括:
针对各第一训练样本,将当前第一训练样本中待训练面单图像输入至待训练文本框识别模型中,得到实际输出图像;
确定所述实际输出图像和所述当前第一训练样本中的第一训练样本图像,确定损失值,以基于所述损失值对所述待训练文本框识别模型中的模型参数进行修正;
将所述待训练文本框识别模型中的损失函数收敛作为训练目标,得到所述文本框识别模型,以基于所述文本框识别模型为所述待处理面单图像进行区域框选,得到所述第一待使用面单图像。
6.根据权利要求2所述的方法,其特征在于,还包括:
训练得到所述区域识别模型;
所述训练得到所述区域识别模型,包括:
针对各第二训练样本,将当前第二训练样本中待训练面单图像输入至待训练区域识别模型中,得到实际输出图像;
确定所述实际输出图像和所述当前第二训练样本中的第二训练样本图像,确定损失值,以基于所述损失值对所述待训练区域识别模型中的模型参数进行修正;
将所述待训练区域模型中的损失函数收敛作为训练目标,得到所述区域识别模型,以基于所述区域识别模型为所述待处理面单图像进行区域框选,得到所述第二待使用面单图像。
7.根据权利要求5或6所述的方法,其特征在于,还包括:
基于测试样本集对相应的区域识别模型以及所述文本框识别模型进行准确率测试,以在准确率达到预设准确率阈值时,使用所述区域识别模型以及所述文本框识别模型。
8.根据权利要求1所述的方法,其特征在于,所述获取所述第一待使用面单图像以及所述第二待使用面单图像中框选区域所对应的文字信息,包括:
基于文字识别模型或文字检测技术识别所述第一待使用面单图像以及所述第二待使用面单图像中的文字信息。
9.根据权利要求1所述的方法,其特征在于,还包括:
将所述文字信息填充至与所述待处理面单图像相对应的标准化表格中,以确定与所述待处理面单图像相对应的文本内容。
10.根据权利要求1所述的方法,其特征在于,所述目标执行任务包括目标配送任务、目标通知任务、目标监测任务、目标分发任务中的至少一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210616069.1A CN115019334A (zh) | 2022-05-31 | 2022-05-31 | 一种任务处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210616069.1A CN115019334A (zh) | 2022-05-31 | 2022-05-31 | 一种任务处理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115019334A true CN115019334A (zh) | 2022-09-06 |
Family
ID=83071942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210616069.1A Pending CN115019334A (zh) | 2022-05-31 | 2022-05-31 | 一种任务处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115019334A (zh) |
-
2022
- 2022-05-31 CN CN202210616069.1A patent/CN115019334A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113313111A (zh) | 文本识别方法、装置、设备和介质 | |
CN112560754A (zh) | 票据信息的获取方法、装置、设备及存储介质 | |
WO2019209503A1 (en) | Unsupervised anomaly detection for identifying anomalies in data | |
CN115618234A (zh) | 一种模型训练方法、装置、设备及存储介质 | |
CN115311469A (zh) | 图像标注方法、训练方法、图像处理方法以及电子设备 | |
CN111160410A (zh) | 一种物体检测方法和装置 | |
CN116309963B (zh) | 一种图像的批量标注方法、装置、电子设备及存储介质 | |
CN116993416A (zh) | 一种商户推荐方法、装置、设备及介质 | |
CN117057795A (zh) | 基于收款方账号的转账方法、装置和设备 | |
CN115019334A (zh) | 一种任务处理方法、装置、设备及介质 | |
CN116228301A (zh) | 一种目标用户的确定方法、装置、设备及介质 | |
CN115048352A (zh) | 一种日志字段提取方法、装置、设备和存储介质 | |
CN115511085A (zh) | 一种模型数据处理方法、装置、设备及存储介质 | |
CN114596576A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN113360672A (zh) | 用于生成知识图谱的方法、装置、设备、介质和产品 | |
CN113469161B (zh) | 一种处理物流单的方法、装置及存储介质 | |
CN115018415A (zh) | 快件关键信息提取方法、装置、电子设备及存储介质 | |
CN115760968A (zh) | 图像处理、训练、视觉任务处理方法、装置、设备及介质 | |
CN115759942A (zh) | 仓储管理方法、系统、装置、服务器、终端及存储介质 | |
CN116894625A (zh) | 出入库管理方法、装置、电子设备及存储介质 | |
CN105096085A (zh) | 快件配送方法和装置 | |
CN114971471A (zh) | 一种物品复核方法、装置、设备及存储介质 | |
CN115719054A (zh) | 转账记录生成方法、装置、设备及介质 | |
CN117216066A (zh) | 一种物资编码生成方法、装置、设备及存储介质 | |
CN115757945A (zh) | 内容推荐方法、装置、设备、计算机可读存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |