CN111444792A - 票据识别方法、电子设备、存储介质及装置 - Google Patents
票据识别方法、电子设备、存储介质及装置 Download PDFInfo
- Publication number
- CN111444792A CN111444792A CN202010176514.8A CN202010176514A CN111444792A CN 111444792 A CN111444792 A CN 111444792A CN 202010176514 A CN202010176514 A CN 202010176514A CN 111444792 A CN111444792 A CN 111444792A
- Authority
- CN
- China
- Prior art keywords
- bill
- identification
- fields
- manual
- image slices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Bioethics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
Abstract
公开了一种票据识别方法、电子设备、存储介质及装置。方法包括:基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库;识别用户上传的票据图片的票面特征并基于票面特征匹配对应的识别区域定位模板;基于识别区域定位模板对票据图片进行裁切处理获得票据图片的多个图像切片;通过OCR自动识别算法识别每个图像切片中的字段,并筛选出存在重叠的票据字段的图像切片以及OCR自动识别算法无法准确识别的模糊图像切片;对存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息;对模糊图像切片建立对应的人工识别派单任务分发至多个众包人员。实现了全方位的提高了票据图片的识别精度与效率。
Description
技术领域
本发明涉及数据处理领域,更具体地,涉及一种票据识别方法、电子设备、存储介质及装置。
背景技术
OCR(Optical Character Recognition,光学字符识别)是模式识别领域中重要的研究方向。近年来,随着移动设备的快速更新迭代,以及移动互联网的快速发展,使得OCR有更为广泛的应用场景,从以往的扫描文件的字符识别,到现在应用到自然场景中图片文字的识别,如识别身份证、银行卡、门牌、票据及各类网络图片中的文字。
大型企业、机构、医院体检、保险行业等都有海量的票据需要进行信息的采集、录入以及电子化存档。目前票据数字化管理程度还比较低,常采用的手动录入、人工建档的方式劳动强度大、效率低且成本开支大,而且容易出错。虽然目前能利用机器学习方法基于OCR技术进行票据识别,但识别精度不高,这样就会造成票据多种信息的错误,无法快速建档,提高工作效率。
因此,有必要开发一种票据识别方法,以提高票据数据的识别精度和识别效率。
发明内容
本发明提出了一种票据识别方法、电子设备、存储介质及装置,其通过建立不同的票据的识别区域定位模板并形成模板库,能够通过识别区域定位模板对票据图片进行切片处理,并针对切片图像进行识别,针对重叠部分的图片进行过滤识别,针对模糊字段进行众包模式的人工识别,实现了全方位的提高了票据图片的识别精度与效率。
根据本发明的一种票据识别方法,包括:
采集多个不同票据的票面特征,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库;
识别用户上传的票据图片的票面特征,并基于所述票面特征从模板库中匹配对应的识别区域定位模板;
基于所述识别区域定位模板对所述票据图片进行裁切处理,以获得所述票据图片中对应多个不同区域票据字段的多个图像切片;
通过OCR自动识别算法识别每个所述图像切片中的字段,并筛选出存在重叠的票据字段的图像切片以及所述OCR自动识别算法无法准确识别的模糊图像切片;
对所述存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息;
对所述模糊图像切片建立对应的人工识别派单任务,并将所述人工识别派单任务同时分发至多个众包人员;
接收人工识别返回的人工识别字段信息,并将所述人工识别字段信息与所述OCR自动识别算法识别出的字段信息分别进行结构化输出。
可选地,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库包括:
基于每个票据的所述票面特征获取每个票据中必要的票据字段、票据类别及所属单位信息的所在位置,建立对应每个票据的识别区域定位模板;
将每个识别区域定位模板与对应票据的票据类别及所属单位信息进行关联,并建立包括多个识别区域定位模板的票据模板库;其中,
所述识别区域定位模板包括对应所述票据图片的中多个必要的票据字段所在位置的多个框选识别区域,且每个所述框选识别区域对应不同的字段属性。
可选地,识别用户上传的票据图片的票面特征,并基于所述票面特征从模板库中匹配对应的识别区域定位模板包括:
识别用户上传的票据图片的票据类别及所属单位信息,并基于识别结果通过精确匹配方法或模糊匹配方法从所述票据模板库中匹配对应的识别区域定位模板。
可选地,获得所述票据图片中对应多个不同区域票据字段的多个图像切片的同时还包括:
使每个图像切片关联一个对应所在框选识别区域的所述字段属性;
对所述存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息包括:
基于所述图像切片关联的字段属性对所述图像切片中的多个重叠票据字段进行过滤处理,并只对与所述字段属性对应的票据字段进行字段信息识别提取,同时将识别提取出的字段信息进行结构化数据输出。
可选地,对所述模糊图像切片建立对应的人工识别派单任务,并将所述人工识别派单任务同时分发至多个众包人员包括:
基于所述模糊图像切片的字段属性判断所述模糊图像切片中是否存在隐私信息;
若存在隐私信息,则对所述模糊图像切片进行脱敏处理,之后建立所述模糊图像切片的人工识别派单任务;若不存在隐私信息,则直接建立所述模糊图像切片的人工识别派单任务,并将所述人工识别派单任务同时分发至多个众包人员。
可选地,对所述模糊图像切片进行脱敏处理,之后建立所述模糊图像切片的人工识别派单任务包括:
对存在隐私信息的所述模糊图像切片进行碎片化处理,以获得所述模糊图像切片的多个碎片图像,并将所述多个碎片图像中的每个碎片图像按照预设规则绑定一个唯一编码,其中每个所述碎片图像中包含所述模糊图像切片中的部分字段;
针对所述多个碎片图像分别建立每个碎片图像的人工识别派单任务。
可选地,将所述人工识别派单任务同时分发至多个众包人员之后还包括:
接收所述多个众包人员的接单信息;
将所述模糊图像切片或所述碎片图像发送至至少一个接单的众包人员,所述接单的众包人员对所述模糊图像切片或所述碎片图像进行人工识别;
接收人工识别返回的人工识别字段信息。
本发明还提出一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的票据识别方法。
本发明还提出一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行上述的票据识别方法。
本发明还提出一种票据识别装置,包括:
模板建立模块,用于采集多个不同票据的票面特征,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库;
模板匹配模块,用于识别用户上传的票据图片的票面特征,并基于所述票面特征从模板库中匹配对应的识别区域定位模板;
裁切处理模块,用于基于所述识别区域定位模板对所述票据图片进行裁切处理,以获得所述票据图片中对应多个不同区域票据字段的多个图像切片;
OCR自动识别模块,用于通过OCR自动识别算法识别每个所述图像切片中的字段,并筛选出存在重叠的票据字段的图像切片以及所述OCR自动识别算法无法准确识别的模糊图像切片;
过滤处理模块,用于对所述存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息;
派单模块,用于对所述模糊图像切片建立对应的人工识别派单任务,并将所述人工识别派单任务同时分发至多个众包人员;
数据输出模块,用于接收人工识别返回的人工识别字段信息,并将所述人工识别字段信息与所述OCR自动识别算法识别出的字段信息分别进行结构化输出。
本发明的有益效果在于:
通过建立不同的票据的识别区域定位模板并形成模板库,能够通过识别区域定位模板对票据图片进行切片处理,并针对切片图像进行识别,提高ORC的自动识别效率,针对重叠部分的图片进行过滤识别以提高ORC自动识别的准确性;针对模糊字段进行众包模式的人工识别,同时还建立了关于众包人员反馈失效和正确率的信用体系,通过专业化的分工,将时效短、工作量大的复杂任务,分解为若干简单、工作量较小的作业,通过众包人工辅助识别的模式,最大限度和最大范围地利用社会的人力资源,进而实现高效、保质的人工辅助票据识别,提高人工识别精度与效率,进一步提高了票据识别整体的准确性和识别效率,以此实现了全方位的提高了票据图片的识别精度与效率,且具有很高的市场推广价值。
本发明的方法和装置具有其它的特性和优点,这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的,或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述,这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显,其中,在本发明示例性实施例中,相同的参考标号通常代表相同部件。
图1示出了根据本发明的票据识别方法的步骤的流程图。
具体实施方式
下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例,然而应该理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本发明更加透彻和完整,并且能够将本发明的范围完整地传达给本领域的技术人员。
图1示出了根据本发明的票据识别方法的步骤的流程图。
如图1所示,根据本发明的一种票据识别方法,包括:
采集多个不同票据的票面特征,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库;
识别用户上传的票据图片的票面特征,并基于票面特征从模板库中匹配对应的识别区域定位模板;
基于识别区域定位模板对票据图片进行裁切处理,以获得票据图片中对应多个不同区域票据字段的多个图像切片;
通过OCR自动识别算法识别每个图像切片中的字段,并筛选出存在重叠的票据字段的图像切片以及OCR自动识别算法无法准确识别的模糊图像切片;
对存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息;
对模糊图像切片建立对应的人工识别派单任务,并将人工识别派单任务同时分发至多个众包人员;
接收人工识别返回的人工识别字段信息,并将人工识别字段信息与OCR自动识别算法识别出的字段信息分别进行结构化输出。
具体地,通过建立不同的票据的识别区域定位模板并形成模板库,能够通过识别区域定位模板对票据图片进行切片处理,并针对切片图像进行识别,提高ORC的自动识别效率,针对重叠部分的图片进行过滤识别以提高ORC自动识别的准确性;针对模糊字段进行众包模式的人工识别,同时还建立了关于众包人员反馈失效和正确率的信用体系,通过专业化的分工,将时效短、工作量大的复杂任务,分解为若干简单、工作量较小的作业,通过众包人工辅助识别的模式,最大限度和最大范围地利用社会的人力资源,进而实现高效、保质的人工辅助票据识别,提高人工识别精度与效率,进一步提高了票据识别整体的准确性和识别效率,以此实现了全方位的提高了票据图片的识别精度与效率。
在一个示例中,可以开发票据识别服务平台并提供票据识别业务,通过主动收集合作方(各地的医院、保险公司等)的各种类型的票据进行票面特征数据采集,确定不同单位的票据信息的分布特征,并建立对应不同票据的识别区域定位模板,同时将每个识别区域定位模板与对应票据的票据类别及所属单位信息进行关联,从而建立票据模板库。用户需要进行票据识别时,将拍摄或扫描的票据图片按照指定格式上传票据图像文件。系统自动识别票据的类别及所属单位信息,并基于模板关联的类别及所属单位信息在票据模板库中检索、匹配与该票据对应的识别区域定位模板。
在另一个示例中,也可以通过人工(操作员)对上传的单据类别和所属单位(医院、保险公司等)进行判断,若属于非受理业务对应的票据,或者票据对应的所属单位并未建立相关的识别区域定位模板,可以发出退单信息。如果出现所属单位的票据(发票等)未建模,则创建建模任务,可以在一段时间后(如下一个工作日)即可处理新增单位的业务。
在一个示例中,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库包括:
基于每个票据的票面特征获取每个票据中必要的票据字段、票据类别及所属单位信息的所在位置,建立对应每个票据的识别区域定位模板;
将每个识别区域定位模板与对应票据的票据类别及所属单位信息进行关联,并建立包括多个识别区域定位模板的票据模板库;其中,
识别区域定位模板包括对应票据图片的中多个必要的票据字段所在位置的多个框选识别区域,且每个框选识别区域对应不同的字段属性。
具体地,基于采集的票据图片中的票面特征,获取每个票据中必要的票据字段、票据类别及所属单位信息的所在位置,建立对应每个票据的识别区域定位模板,进而建立包括对应多种票据的识别区域定位模板的票据模板库,并将票据的类型及所属单位信息关联,在模板匹配阶段识别用户上传票据图像的类别及所属单位信息中的字段信息,并基于识别结果在票据模板库中进行精确匹配或模糊匹配套取对应的识别区域定位模板,然后在票据识别过程中将票据图片匹配对应的识别区域定位模板对必要的票据字段所在区域进行裁切,再对切片图像中的字段进行精准识别,进而提高识别精确度与效率。
其中,将每个识别区域定位模板与对应票据的票据类别及所属单位信息的全部字段以及票据类别及所属单位信息中的关键字进行关联具体为:将每个识别区域定位模板与对应票据的票据类别及所属单位信息的全部字段以及所述票据类别及所属单位信息中的关键字进行关联。其中,票据类别具体为票据的种类、领域等,如商业保险报销单、医保报销单、医院报销发票以及保险公司理赔报销单据等,所属单位信息即票据上企业单位、医院等的全称或盖在票据上的财务印章中的单位全称,关键字可以包括省、市、县区等地区关键词,以及单位全称中的关键词,如XX医院、XX保险等,本领域技术人员可以根据具体的票据类别和所属单位信息的全称进行具体设置,此处不再赘述。其中,必要的票据字段包括医院或保险公司的名称字段、用户名字段、金额字段、药品的名称字段、日期字段等。
在一个示例中,识别用户上传的票据图片的票面特征,并基于票面特征从模板库中匹配对应的识别区域定位模板包括:
识别用户上传的票据图片的票据类别及所属单位信息,并基于识别结果通过精确匹配方法或模糊匹配方法从票据模板库中匹配对应的识别区域定位模板。
具体地,在该步骤中,若用户上传的票据图像出现倾斜歪曲,可以通过现有的图像校正算法进行校正,以使票据图片的整体以及多个必要的票据字段能够与对应的识别区域定位模板中的多个框选识别区域一一对应。之后,基于识别区域定位模板中的多个框选识别区域对票据图片进行裁切处理,以获得与多个框选识别区域一一对应的多个图像切片,并使每个图像切片与对应的一个框选识别区域的字段属性进行关联,以此能够将图像切片中的字段与字段属性相对应,从而提高字段提取的准确性。
在一个示例中,票据图片匹配识别区域定位模板的过程为:
(1)首先判断用户上传的票据图片的票据类别及所属单位信息所在位置中的字段是否清晰,若清晰则识别票据类别及所属单位信息的全部字段,若不清晰则识别票据类别及所属单位信息的部分字段;
(2)基于全部字段通过现有的字符精确匹配算法直接从票据模板库中检索与所有识别区域定位模板关联的票据类别及所属单位信息的全部字段,进而匹配对应的识别区域定位模板;或者,基于关键字通过现有的字符模糊匹配算法从票据模板库中检索与全部识别区域定位模板关联的票据类别及所属单位信息的关键字,进而匹配对应的识别区域定位模板。
进一步地,OCR机器识别可以基于采集的海量票据数据作为神经网络的训练样本,实现基于OCR的AI智能识别。在本实施例中,除建立票据模板库以外,还可以建立项目分类库、ICD编码库、药品库、诊疗库、手术编码库、医院库、全国医保库、保险规则库等以实现后台数据库支撑,基于上述数据库能够对于OCR识别结果进行最终的逻辑审核和数据校正。
在一个示例中,获得票据图片中对应多个不同区域票据字段的多个图像切片的同时还包括:
使每个图像切片关联一个对应所在框选识别区域的字段属性;
对存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息包括:
基于图像切片关联的字段属性对图像切片中的多个重叠票据字段进行过滤处理,并只对与字段属性对应的票据字段进行字段信息识别提取,同时将识别提取出的字段信息进行结构化数据输出。
具体地,在字段识别提取过程中需要判断每个图像切片中是否存在重叠的票据字段;若图像切片中只有单一的票据字段,则直接对切片图像中的票据字段进行字段信息识别提取,同时将识别提取出的字段信息进行结构化数据输出;若图像切片中包括重叠的多个票据字段,则基于图像切片关联的字段属性对多个票据字段进行过滤处理,并只对与字段属性对应的票据字段进行字段信息识别提取,同时将识别提取出的字段信息进行结构化数据输出。
在一个示例中,若图像切片中包括重叠的多个票据字段,如票面中的日期和签名重叠,则将重叠的多个票据字段形成的重叠区域全部切下形成一个单独的图像切片,然后对该图像切片中的所有字段信息全部进行识别,之后基于该图像切片的字段属性确定应该提取的字段信息,若该图像切片的字段属性为日期,则过滤掉签名的相关字段信息,只提取与日期相关的字段信息并输出,若该图像切片的字段属性为签名,则过滤掉日期的相关字段信息,只提取与签名相关的字段信息并输出。以此能够有效提高字段识别的准确性。
在一个示例中,对模糊图像切片建立对应的人工识别派单任务,并将人工识别派单任务同时分发至多个众包人员包括:
基于模糊图像切片的字段属性判断模糊图像切片中是否存在隐私信息;
若存在隐私信息,则对模糊图像切片进行脱敏处理,之后建立模糊图像切片的人工识别派单任务;若不存在隐私信息,则直接建立模糊图像切片的人工识别派单任务,并将人工识别派单任务同时分发至多个众包人员。
具体地,通过图片属性能够判断每个图像切片是否存在隐私信息,并对隐私信息所在的图像切片进行脱敏处理,筛选出OCR自动识别算法无法准确识别的模糊图像切片后可以通过众包人工识别的形式进行派单,以获取通过人工辅助识别后模糊图像切片中的字段信息,能够有效提高票据图像识别的准确性,同时节省人力成本并提高识别效率。其中,模糊图像切片即为图像切片中的字段显示存在倾斜、模糊、重叠等不清晰的情况,这种图像往往OCR自动识别算法无法获取准确的识别结果或根本无法识别,因此需要人工识别才能保证票据识别的准确性。本发明的方案采用外网众包的形式实现人工的补录,众包人员主要由具有专业录入技能的人员为主,通过对票据图片的切割(裁切处理)能够简化录入技能的要求,有益于发展众包人员的数量,实现人工的高效率补录。同时还可以通过资格认证(如在线考试)的形式筛选合格的众包人员并进行分类。
在一个示例中,将人工识别派单任务同时分发至多个众包人员之后还包括:
接收多个众包人员的接单信息;
将模糊图像切片或碎片图像发送至至少一个接单的众包人员,接单的众包人员对模糊图像切片或碎片图像进行人工识别;
接收人工识别返回的人工识别字段信息。
其中,对于存在隐私信息的模糊图像切片的具体实施过程如下:
对存在隐私信息的模糊图像切片进行碎片化处理,以获得模糊图像切片的多个碎片图像,并将多个碎片图像中的每个碎片图像按照预设规则绑定一个唯一编码,其中每个碎片图像中包含模糊图像切片中的部分字段;
针对多个碎片图像分别建立每个碎片图像的人工识别派单任务;
将多个碎片图像的多个人工识别派单任务同时分发至多个不同的众包人员;
接收多个众包人员的接单信息,并将碎片图像及绑定的唯一编码发送至接单的众包人员,接单的众包人员对模糊图像切片中的字段进行人工识别并返回对应的人工识别字段的结果及绑定的唯一编码;
接收返回的多个人工识别字段的结果,当模糊图像切片的多个碎片图像均返回人工识别字段的结果后,基于每个人工识别字段的结果绑定的唯一编码按照预设规则,将多个碎片图像对应的多个人工识别字段的结果进行拼接,以形成对应模糊图像切片完整的字段信息。
具体地,通过将具有敏感的隐私信息(如身份证号码等)字段的图像切片碎片化处理后,形成多个碎片图像,然后在分别将多个碎片图像分别作为单独的人工识别派单任务分发至不同的多个众包人员,在碎片化处理的同时还需要将每个碎片图像绑定一个唯一编码,每个图像切片打碎形成的多个碎片图像的唯一编码之间具有一定的逻辑关系,在每个碎片图像被众包人员人工识别并返回人工识别的字段结果后,可以基于原有的逻辑关系和多个碎片图像分别绑定的唯一编码进行拼接还原,从而实现隐私信息的脱敏并能够获取对应一个图像切片的完整人工识别字段的输出结果。
在具体实施过程中,在派单之前,还可以利用人工智能技术在确保信息安全的同时针对每个切片图像生成一个简单、通用的文档描述,以利于接单的众包人员快速识别和填写识别结果。
在一个示例中,优选地,建立针对模糊图像切片的人工识别派单任务的同时还包括:设定人工识别派单任务的接单时限,以及完成人工识别派单任务的反馈时限;若在接单时限内没有众包人员接单或在反馈时间内没有任何众包人员完成人工识别派单任务,则进行二次分配,将人工识别派单任务发送给与上一次不同的众包人员。
具体地,通过设置接单时限和结果反馈时限,有利于实现快速派单并使用户快速反馈结果,当无人接单或无人反馈结果时也可以及时进行再次派单给其他众包人员,能够有效提高票据识别的时效性。
具体实施过程中,为提高众包人员的积极性,可以给予众包人员一定的物质奖励,还可以通过建立抢单的机制,将人工识别派单任务只分配给最先接单的众包人员;还可以基于每个用户累计完成人工识别派单任务的情况建立每个众包人员的信用值,其中,信用值与人工识别字段的结构的正确率正相关,信用值与反馈时间负相关,即人工识别出的字段信息准确性高、反馈时间短即可获得较多的信用值和奖励。在接收多个众包人员的接单信息后,获取每个接单的众包人员对应的信用值,优先将模糊图像切片发送至信用值最高的众包人员。能够有效提高众包人员人工识别的积极性,进一步提高票据识别的准确性。还可以借助于人类行为学AI分析,建立动态信用警报,加强众包人员的信用管理。
在一个示例中,根据信用值顺序由高至低向可分配众包人员A分配识别任务,设定反馈时间为30s;A接收识别任务后,在30s内没有完成识别任务,则对识别任务进行二次分配,即将任务分配给除该可分配众包人员外信用值最高的可分配众包人员Z。
在一个示例中,为进一步提高人工识别的准确性,对于一个模糊的图像切片或碎片图像,可以将同一个模糊图像切片或碎片图像同时发送至多个接单的众包人员,多个接单的众包人员分别进行人工识别并反馈人工识别字段的结果;基于多个众包人员的反馈结果,判断反馈的人工识别出的多个人工识别字段是否都相同,若都相同,则输出将人工识别字段作为最终输出字段,若不尽同,则可以将模糊图像切片重新建立人工识别派单任务进行再次派单,直到所有的反馈结果都完全相同;或者将反馈结果中占比最高的一个相同人工识别字段作为最终输出字段。
例如,将同一个模糊图像切片或碎片图像建立人工识别派单任务,并建立派单任务,同时设定接单时限为20s,将人工识别派单任务同时分配至三个众包人员A、B、C,若A、B、C在20s内均未接单则重新派单给众包人员D、E、F;
若三个众包人员A、B、C均在20s内成功接单,(如果是抢单业务则直接将该人工识别派单任务派给接单时间最短的众包人员),则将反馈时限设为30s,并将模糊图像切片或碎片图像分别发送给A、B、C,若A、B、C在30s内至少一个人没有反馈人工识别字段的结果,则重新派单给D、E、F,并根据反馈时间对反馈的众包人员更新信用值;若A、B、C分别成功反馈各自的识别结果均为X,则直接输出人工识别结果为X,并根据A、B、C的反馈时间更新信用值,若不相同,则重新派单给D、E、F直到三个反馈的结构均相同为止;另一种方式为:若A、B、C分别反馈各自的识别结果为X、X、Y,则可以将X作为人工识别字段的结果,并根据众包人员的正确与否以及反馈时间更新信用值。
最后,将人工识别反馈的票据字段信息进行结构化数据输出,并与ORC自动识别出的票据字段信息进行整合。
本发明还提出一种电子设备,电子设备包括:
至少一个处理器;以及,
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述的票据识别方法。
本发明还提出一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行上述的票据识别方法。
本发明还提出一种票据识别装置,包括:
模板建立模块,用于采集多个不同票据的票面特征,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库;
模板匹配模块,用于识别用户上传的票据图片的票面特征,并基于票面特征从模板库中匹配对应的识别区域定位模板;
裁切处理模块,用于基于识别区域定位模板对票据图片进行裁切处理,以获得票据图片中对应多个不同区域票据字段的多个图像切片;
OCR自动识别模块,用于通过OCR自动识别算法识别每个图像切片中的字段,并筛选出存在重叠的票据字段的图像切片以及OCR自动识别算法无法准确识别的模糊图像切片;
过滤处理模块,用于对存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息;
派单模块,用于对模糊图像切片建立对应的人工识别派单任务,并将人工识别派单任务同时分发至多个众包人员;
数据输出模块,用于接收人工识别返回的人工识别字段信息,并将人工识别字段信息与OCR自动识别算法识别出的字段信息分别进行结构化输出。
本发明的实施例通过建立不同的票据的识别区域定位模板并形成模板库,能够通过识别区域定位模板对票据图片进行切片处理,并针对切片图像进行识别,提高ORC的自动识别效率,针对重叠部分的图片进行过滤识别以提高ORC的自动识别的准确性;
进一步地,针对模糊字段进行众包模式的人工识别,同时还建立了关于众包人员反馈失效和正确率的信用体系,通过专业化的分工,将时效短、工作量大的复杂任务,分解为若干简单、工作量较小的作业,通过众包人工辅助识别的模式,最大限度和最大范围地利用社会的人力资源,进而实现高效、保质的人工辅助票据识别,提高人工识别精度与效率,进一步提高了票据识别整体的准确性和识别效率,以此实现了全方位的提高了票据图片的识别精度与效率,且具有很高的市场推广价值。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。
Claims (10)
1.一种票据识别方法,其特征在于,包括:
采集多个不同票据的票面特征,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库;
识别用户上传的票据图片的票面特征,并基于所述票面特征从模板库中匹配对应的识别区域定位模板;
基于所述识别区域定位模板对所述票据图片进行裁切处理,以获得所述票据图片中对应多个不同区域票据字段的多个图像切片;
通过OCR自动识别算法识别每个所述图像切片中的字段,并筛选出存在重叠的票据字段的图像切片以及所述OCR自动识别算法无法准确识别的模糊图像切片;
对所述存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息;
对所述模糊图像切片建立对应的人工识别派单任务,并将所述人工识别派单任务同时分发至多个众包人员;
接收人工识别返回的人工识别字段信息,并将所述人工识别字段信息与所述OCR自动识别算法识别出的字段信息分别进行结构化输出。
2.根据权利要求1所述的票据识别方法,其特征在于,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库包括:
基于每个票据的所述票面特征获取每个票据中必要的票据字段、票据类别及所属单位信息的所在位置,建立对应每个票据的识别区域定位模板;
将每个识别区域定位模板与对应票据的票据类别及所属单位信息进行关联,并建立包括多个识别区域定位模板的票据模板库;其中,
所述识别区域定位模板包括对应所述票据图片的中多个必要的票据字段所在位置的多个框选识别区域,且每个所述框选识别区域对应不同的字段属性。
3.根据权利要求2所述的票据识别方法,其特征在于,识别用户上传的票据图片的票面特征,并基于所述票面特征从模板库中匹配对应的识别区域定位模板包括:
识别用户上传的票据图片的票据类别及所属单位信息,并基于识别结果通过精确匹配方法或模糊匹配方法从所述票据模板库中匹配对应的识别区域定位模板。
4.根据权利要求2所述的票据识别方法,其特征在于,获得所述票据图片中对应多个不同区域票据字段的多个图像切片的同时还包括:
使每个图像切片关联一个对应所在框选识别区域的所述字段属性;
对所述存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息包括:
基于所述图像切片关联的字段属性对所述图像切片中的多个重叠票据字段进行过滤处理,并只对与所述字段属性对应的票据字段进行字段信息识别提取,同时将识别提取出的字段信息进行结构化数据输出。
5.根据权利要求2所述的票据识别方法,其特征在于,对所述模糊图像切片建立对应的人工识别派单任务,并将所述人工识别派单任务同时分发至多个众包人员包括:
基于所述模糊图像切片的字段属性判断所述模糊图像切片中是否存在隐私信息;
若存在隐私信息,则对所述模糊图像切片进行脱敏处理,之后建立所述模糊图像切片的人工识别派单任务;若不存在隐私信息,则直接建立所述模糊图像切片的人工识别派单任务,并将所述人工识别派单任务同时分发至多个众包人员。
6.根据权利要求5所述的票据识别方法,其特征在于,对所述模糊图像切片进行脱敏处理,之后建立所述模糊图像切片的人工识别派单任务包括:
对存在隐私信息的所述模糊图像切片进行碎片化处理,以获得所述模糊图像切片的多个碎片图像,并将所述多个碎片图像中的每个碎片图像按照预设规则绑定一个唯一编码,其中每个所述碎片图像中包含所述模糊图像切片中的部分字段;
针对所述多个碎片图像分别建立每个碎片图像的人工识别派单任务。
7.根据权利要求6所述的票据识别方法,其特征在于,将所述人工识别派单任务同时分发至多个众包人员之后还包括:
接收所述多个众包人员的接单信息;
将所述模糊图像切片或所述碎片图像发送至至少一个接单的众包人员,所述接单的众包人员对所述模糊图像切片或所述碎片图像进行人工识别;
接收人工识别返回的人工识别字段信息。
8.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7任一所述的票据识别方法。
9.一种非暂态计算机可读存储介质,其特征在于,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行权利要求1-7任一所述的票据识别方法。
10.一种票据识别装置,其特征在于,包括:
模板建立模块,用于采集多个不同票据的票面特征,基于每个票据的票面特征建立包括多个识别区域定位模板的票据模板库;
模板匹配模块,用于识别用户上传的票据图片的票面特征,并基于所述票面特征从模板库中匹配对应的识别区域定位模板;
裁切处理模块,用于基于所述识别区域定位模板对所述票据图片进行裁切处理,以获得所述票据图片中对应多个不同区域票据字段的多个图像切片;
OCR自动识别模块,用于通过OCR自动识别算法识别每个所述图像切片中的字段,并筛选出存在重叠的票据字段的图像切片以及所述OCR自动识别算法无法准确识别的模糊图像切片;
过滤处理模块,用于对所述存在重叠的票据字段的图像切片进行过滤处理并提取对应的字段信息;
派单模块,用于对所述模糊图像切片建立对应的人工识别派单任务,并将所述人工识别派单任务同时分发至多个众包人员;
数据输出模块,用于接收人工识别返回的人工识别字段信息,并将所述人工识别字段信息与所述OCR自动识别算法识别出的字段信息分别进行结构化输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010176514.8A CN111444792B (zh) | 2020-03-13 | 2020-03-13 | 票据识别方法、电子设备、存储介质及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010176514.8A CN111444792B (zh) | 2020-03-13 | 2020-03-13 | 票据识别方法、电子设备、存储介质及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111444792A true CN111444792A (zh) | 2020-07-24 |
CN111444792B CN111444792B (zh) | 2023-05-09 |
Family
ID=71652306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010176514.8A Active CN111444792B (zh) | 2020-03-13 | 2020-03-13 | 票据识别方法、电子设备、存储介质及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444792B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931784A (zh) * | 2020-09-17 | 2020-11-13 | 深圳壹账通智能科技有限公司 | 票据识别方法、系统、计算机设备与计算机可读存储介质 |
CN112183594A (zh) * | 2020-09-17 | 2021-01-05 | 微民保险代理有限公司 | 票据图像的处理方法和装置、存储介质及电子设备 |
CN112329757A (zh) * | 2020-10-20 | 2021-02-05 | 安诚迈科(北京)信息技术有限公司 | 票据信息脱敏采集方法、装置及系统 |
CN112989990A (zh) * | 2021-03-09 | 2021-06-18 | 平安科技(深圳)有限公司 | 医疗票据识别方法、装置、设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012221183A (ja) * | 2011-04-08 | 2012-11-12 | Fujitsu Marketing Ltd | レシートデータ認識装置およびそのプログラム |
CN107622255A (zh) * | 2017-10-12 | 2018-01-23 | 江苏鸿信系统集成有限公司 | 基于位置模板与语义模板的票据图像字段定位方法及系统 |
CN107977665A (zh) * | 2017-12-15 | 2018-05-01 | 北京科摩仕捷科技有限公司 | 一种发票中关键信息的识别方法及计算设备 |
CN108229463A (zh) * | 2018-02-07 | 2018-06-29 | 众安信息技术服务有限公司 | 基于图像的文字识别方法 |
CN108446621A (zh) * | 2018-03-14 | 2018-08-24 | 平安科技(深圳)有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
CN108664897A (zh) * | 2018-04-18 | 2018-10-16 | 平安科技(深圳)有限公司 | 票据识别方法、装置及存储介质 |
CN108921166A (zh) * | 2018-06-22 | 2018-11-30 | 深源恒际科技有限公司 | 基于深度神经网络的医疗票据类文本检测识别方法及系统 |
CN109740548A (zh) * | 2019-01-08 | 2019-05-10 | 北京易道博识科技有限公司 | 一种报销票据图像分割方法及系统 |
CN110263616A (zh) * | 2019-04-29 | 2019-09-20 | 五八有限公司 | 一种文字识别方法、装置、电子设备及存储介质 |
CN110751143A (zh) * | 2019-09-26 | 2020-02-04 | 中电万维信息技术有限责任公司 | 一种电子发票信息的提取方法及电子设备 |
CN110866495A (zh) * | 2019-11-14 | 2020-03-06 | 杭州睿琪软件有限公司 | 票据图像识别方法及装置和设备、训练方法和存储介质 |
-
2020
- 2020-03-13 CN CN202010176514.8A patent/CN111444792B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012221183A (ja) * | 2011-04-08 | 2012-11-12 | Fujitsu Marketing Ltd | レシートデータ認識装置およびそのプログラム |
CN107622255A (zh) * | 2017-10-12 | 2018-01-23 | 江苏鸿信系统集成有限公司 | 基于位置模板与语义模板的票据图像字段定位方法及系统 |
CN107977665A (zh) * | 2017-12-15 | 2018-05-01 | 北京科摩仕捷科技有限公司 | 一种发票中关键信息的识别方法及计算设备 |
CN108229463A (zh) * | 2018-02-07 | 2018-06-29 | 众安信息技术服务有限公司 | 基于图像的文字识别方法 |
CN108446621A (zh) * | 2018-03-14 | 2018-08-24 | 平安科技(深圳)有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
CN108664897A (zh) * | 2018-04-18 | 2018-10-16 | 平安科技(深圳)有限公司 | 票据识别方法、装置及存储介质 |
CN108921166A (zh) * | 2018-06-22 | 2018-11-30 | 深源恒际科技有限公司 | 基于深度神经网络的医疗票据类文本检测识别方法及系统 |
CN109740548A (zh) * | 2019-01-08 | 2019-05-10 | 北京易道博识科技有限公司 | 一种报销票据图像分割方法及系统 |
CN110263616A (zh) * | 2019-04-29 | 2019-09-20 | 五八有限公司 | 一种文字识别方法、装置、电子设备及存储介质 |
CN110751143A (zh) * | 2019-09-26 | 2020-02-04 | 中电万维信息技术有限责任公司 | 一种电子发票信息的提取方法及电子设备 |
CN110866495A (zh) * | 2019-11-14 | 2020-03-06 | 杭州睿琪软件有限公司 | 票据图像识别方法及装置和设备、训练方法和存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931784A (zh) * | 2020-09-17 | 2020-11-13 | 深圳壹账通智能科技有限公司 | 票据识别方法、系统、计算机设备与计算机可读存储介质 |
CN112183594A (zh) * | 2020-09-17 | 2021-01-05 | 微民保险代理有限公司 | 票据图像的处理方法和装置、存储介质及电子设备 |
CN112329757A (zh) * | 2020-10-20 | 2021-02-05 | 安诚迈科(北京)信息技术有限公司 | 票据信息脱敏采集方法、装置及系统 |
CN112989990A (zh) * | 2021-03-09 | 2021-06-18 | 平安科技(深圳)有限公司 | 医疗票据识别方法、装置、设备及存储介质 |
CN112989990B (zh) * | 2021-03-09 | 2023-08-04 | 平安科技(深圳)有限公司 | 医疗票据识别方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111444792B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111444792B (zh) | 票据识别方法、电子设备、存储介质及装置 | |
CN109034727B (zh) | 自助电子政务处理方法 | |
CN114862540B (zh) | 一种票据审核系统及其方法 | |
CN111444793A (zh) | 基于ocr的票据识别方法、设备、存储介质及装置 | |
US7869098B2 (en) | Scanning verification and tracking system and method | |
CN112182246B (zh) | 通过大数据分析建立企业画像的方法、系统、介质及应用 | |
CN111444795A (zh) | 票据数据识别方法、电子设备、存储介质及装置 | |
CN110852699A (zh) | 一种档案电子化智能管理系统及方法 | |
US9785831B2 (en) | Personal information collection system, personal information collection method and program | |
CN108334797B (zh) | 文件扫描方法、装置和计算机可读存储介质 | |
CN114202755A (zh) | 基于ocr和nlp技术的交易背景真实性审核方法和系统 | |
CN110689325A (zh) | 信息处理方法、装置及计算机可读存储介质 | |
CN110837998A (zh) | 一种合同审核方法、装置、设备以及介质 | |
CN111709659A (zh) | 外勤业务员的智能调度方法、装置、设备及存储介质 | |
CN117114514B (zh) | 一种基于大数据的人才信息分析管理方法、系统及装置 | |
CN113270143A (zh) | 基于大数据实现核酸样本全流程自动检测的系统、方法、装置、处理器及其计算机存储介质 | |
US11393232B2 (en) | Extracting values from images of documents | |
CN111400529B (zh) | 数据处理方法以及装置 | |
US7225106B2 (en) | Data processing system and method for processing test orders | |
CN116703346A (zh) | 一种基于大数据和人工智能的考勤管理系统及管理方法 | |
CN111444794B (zh) | 基于ocr的票据识别辅助方法、设备、存储介质及装置 | |
CN114882518A (zh) | 基于图像识别技术的建筑工程图纸标准化管理系统 | |
US11457192B2 (en) | Digital evidence management method and digital evidence management system | |
CN112668895A (zh) | 一种数字资源质量监管系统 | |
CN111640491A (zh) | 一种医学检测单据自助上传和信息管理的系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |