CN117217940A - 报销凭证审核方法及装置 - Google Patents
报销凭证审核方法及装置 Download PDFInfo
- Publication number
- CN117217940A CN117217940A CN202311181171.4A CN202311181171A CN117217940A CN 117217940 A CN117217940 A CN 117217940A CN 202311181171 A CN202311181171 A CN 202311181171A CN 117217940 A CN117217940 A CN 117217940A
- Authority
- CN
- China
- Prior art keywords
- reimbursement
- text
- voucher
- picture
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012795 verification Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims description 89
- 238000005070 sampling Methods 0.000 claims description 40
- 238000010586 diagram Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000012550 audit Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000001994 activation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种报销凭证审核方法及装置,涉及计算机技术领域,其中方法包括:获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;基于各实体报销凭证图片及各目标报销凭证图片,确定各实体报销凭证图片的第一类别分布及各目标报销凭证图片的第二类别分布;在第二类别分布与第一类别分布不一致的情况下,基于第一类别分布及第二类别分布,从各目标报销凭证图片中确定审核未通过的报销凭证图片。通过上述方法,实现了报销凭证批量自动化审核,可大大节省人工逐件核对报销凭证的人力成本和时间成本。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种报销凭证审核方法及装置。
背景技术
在相关技术中,通常是通过人工对报销凭证进行审核。在人工进行报销凭证审核的过程中,人工核对需要耗费很长的时间和精力,如果碰到同一批次的发票相似且数量众多的情况,则对比起来容易遗漏出错。并且,审核人员不能全年无休地进行人工处理,在节假日会出现工作量堆积的情况,处理的时效性较差。因此,企业需要调用大量的人力资源进行报销凭证的审核,增加了企业的人力成本。
综上所述,如何节省报销凭证审核的人力成本,是目前亟待解决的问题。
发明内容
本发明提供一种报销凭证审核方法及装置,用以解决现有技术中报销凭证人工审核人力成本高的问题。
本发明提供一种报销凭证审核方法,包括:
获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;
基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量;
在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
可选地,所述基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布,包括:
针对每一个实体报销凭证图片,提取所述实体报销凭证图片对应的至少一个尺度的第一对象特征图;所述第一对象特征图用于描述所述实体报销凭证图片的报销凭证特征;
将各尺度的所述第一对象特征图进行上采样操作及下采样操作,生成各所述第一对象特征图对应的第一融合特征图;
基于各所述第一融合特征图,确定第一信息;所述第一信息包括各所述第一融合特征图关联的凭证类别;
基于各所述第一融合特征图关联的凭证类别,确定所述实体报销凭证图片关联的凭证类别;
基于各所述实体报销凭证图片关联的凭证类别,确定每一个凭证类别对应的所述实体报销凭证图片的数量;
针对每一个目标报销凭证图片,提取所述目标报销凭证图片对应的至少一个尺度的第二对象特征图;所述第二对象特征图用于描述所述目标报销凭证图片的报销凭证特征;
将各尺度的所述第二对象特征图进行上采样操作及下采样操作,生成各所述第二对象特征图对应的第二融合特征图;
基于各所述第二融合特征图,确定第二信息;所述第二信息包括各所述第二融合特征图关联的凭证类别;
基于各所述第二融合特征图关联的凭证类别,确定所述目标报销凭证图片关联的凭证类别;
基于各所述目标报销凭证图片关联的凭证类别,确定每一个凭证类别对应的所述目标报销凭证图片的数量。
可选地,所述方法还包括:
在所述第二类别分布与所述第一类别分布一致的情况下,对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别,得到各所述实体报销凭证图片的第一文本识别结果,以及各所述目标报销凭证图片的第二文本识别结果;
在所述第一文本识别结果与所述第二文本识别结果不一致的情况下,基于所述第一文本识别结果与所述第二文本识别结果,从各所述目标报销凭证图片中确定所述审核未通过的报销凭证图片。
可选地,所述对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别,得到各所述实体报销凭证图片的第一文本识别结果,以及各所述目标报销凭证图片的第二文本识别结果,包括:
针对每一个实体报销凭证图片,提取所述实体报销凭证图片对应的至少一个尺度的第一文本特征图;所述第一文本特征图用于描述所述实体报销凭证图片的文本笔画特征;
将各尺度的所述第一文本特征图进行上采样操作及下采样操作,生成各所述第一文本特征图的第三融合特征图;
基于各所述第三融合特征图,确定第三信息;所述第三信息包括各所述第三融合特征图的第一文本区域;
对各第三融合特征图的第一文本区域进行文本识别,得到所述第一文本识别结果;
针对每一个目标报销凭证图片,提取所述目标报销凭证图片对应的至少一个尺度的第二文本特征图;所述第二文本特征图用于描述所述目标报销凭证图片的文本笔画特征;
将各尺度的所述第二文本特征图进行上采样操作及下采样操作,生成各所述第二文本特征图的第四融合特征图;
基于各所述第四融合特征图,确定第四信息;所述第四信息包括各所述第四融合特征图的第二文本区域;
对各第四融合特征图的第二文本区域进行文本识别,得到所述第二文本识别结果。
可选地,所述对各第三融合特征图的第一文本区域进行文本识别,得到所述第一文本识别结果,包括:
提取所述第一文本区域对应的至少一个尺度的第三文本特征图;所述第三文本特征图用于描述所述第一文本区域的文本笔画特征;
基于各所述第三文本特征图,确定所述第一文本区域的第一全局特征及第一局部特征;所述第一全局特征用于表征所述第一文本区域中字符之间的相关性和文本与非文本之间的相关性,所述第一局部特征用于表征所述第一文本区域中字符的形态、笔画特征和字符中不同部分的相关性;
基于所述第一全局特征及所述第一局部特征,确定所述第一文本区域对应的所述第一文本识别结果;
所述对各第四融合特征图的第二文本区域进行文本识别,得到所述第二文本识别结果,包括:
提取所述第二文本区域对应的至少一个尺度的第四文本特征图;所述第四文本特征图用于描述所述第二文本区域的文本笔画特征;
基于各所述第四文本特征图,确定所述第二文本区域的第二全局特征及第二局部特征;所述第二全局特征用于表征所述第二文本区域中字符之间的相关性和文本与非文本之间的相关性,所述第二局部特征用于表征所述第二文本区域中字符的形态、笔画特征和字符中不同部分的相关性;
基于所述第二全局特征及所述第二局部特征,确定所述第二文本区域对应的所述第二文本识别结果。
可选地,在所述对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别之前,所述方法还包括:
针对每一个实体报销凭证图片,基于所述实体报销凭证图片的位置坐标,对所述实体报销凭证图片进行裁切,得到裁切后的实体报销凭证图片;
基于透视变换算法对所述裁切后的实体报销凭证图片进行处理;
针对每一个目标报销凭证图片,基于所述目标报销凭证图片的位置坐标,对所述目标报销凭证图片进行裁切,得到裁切后的目标报销凭证图片;
基于透视变换算法对所述裁切后的目标报销凭证图片进行处理。
本发明还提供一种报销凭证审核装置,包括:
获取模块,用于获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;
第一确定模块,用于基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量;
第二确定模块,用于在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述报销凭证审核方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述报销凭证审核方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述报销凭证审核方法。
本发明提供的报销凭证审核方法及装置,通过获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片,然后基于各实体报销凭证图片及各目标报销凭证图片,确定各实体报销凭证图片的第一类别分布及各目标报销凭证图片的第二类别分布,其中,第一类别分布包括各实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的实体报销凭证图片的数量;第二类别分布包括各目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的目标报销凭证图片的数量;然后将第一类别分布与第二类别分布进行匹配,在第二类别分布与第一类别分布不一致的情况下,基于第一类别分布及第二类别分布,从各目标报销凭证图片中确定审核未通过的报销凭证图片,从而实现了报销凭证批量自动化审核,可大大节省人工逐件核对报销凭证的人力成本和时间成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的报销凭证审核方法的流程示意图之一;
图2是本发明提供的利用报销凭证检测与识别模型对报销凭证图片进行处理的逻辑示意图;
图3是本发明提供的对报销凭证图片进行文本识别的逻辑示意图;
图4是本发明提供的报销凭证审核方法的流程示意图之二;
图5是本发明提供的报销凭证审核装置的结构示意图;
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于相关技术中,企业需要调用大量的人力资源进行报销凭证的审核,增加了企业的人力成本。因此,为了解决现有技术中报销凭证人工审核人力成本高、审核时间长的问题,本发明基于人工智能计算机视觉技术的报销凭证审核方法来对报销凭证审核进行智能化处理。本发明提供的报销凭证审核方法采用深度学习技术,能够自动识别图片中报销凭证的类别和坐标位置,并将报销凭证实例提取出来,然后再进文本检测和识别,最后结合报销凭证识别出的类别及文本,对所有该批次中的实体报销凭证图片与用户拍照上传的目标报销凭证图片采用内容对比算法进行一一比对审核,从而可以大大节省人力和时间成本。
下面结合图1至图4对本发明提供的报销凭证审核方法进行具体描述。图1是本发明提供的报销凭证审核方法的流程示意图之一,参见图1所示,该方法包括步骤101-步骤103,其中:
步骤101、获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片。
首先需要说明的是,本发明的执行主体可以是能够实现报销凭证审核的任何电子设备,例如可以为智能手机、智能手表、台式电脑、手提电脑等任何一种。
在本发明实施例中,实体报销凭证图片是通过对实体报销凭证进行拍照得到的。其中,实体报销凭证例如为:纸质的火车票、飞机票、合同、发票等。
在实际应用中,获取至少一个实体报销凭证图片,具体可以通过以下方式实现:
使用吸盘机械臂将实体报销凭证放至高拍仪拍照,然后获取高拍仪输出的实体报销凭证图片。
其中,使用吸盘机械臂将堆成一叠的一个批次的实体报销凭证依次放至高拍仪拍照,并为每一张报销凭证输出拍照图片。
带有空气负压装置的机械臂移动至报销凭证的上方,吸头对准最上方的报销凭证,向下垂直移动直至贴紧堆叠在一起的本批次最上方的一张报销凭证。
吸头启动内部负压装置进行吸气,将报销凭证当前页牢牢吸紧,并垂直向上移动至高拍仪工作区域上方,并垂直下降,将报销凭证当前页放置在高拍仪的工作区域上,吸头停止吸气,报销凭证当前页被放置在高拍仪的工作区域上。
中控程序控制高拍仪进行拍照,将当前页的报销凭证拍照图像数据上传至系统。
重复此过程,直至当前批次对应的所有实体报销凭证全部处理完毕,收集得到所有本批次的实体报销凭证图片。
步骤102、基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量。
例如,共有100张实体报销凭证图片及100张用户上传的目标报销凭证图片。
对上述实体报销凭证图片,确定出实体报销凭证图片的第一类别分布为:100张实体报销凭证图片关联的凭证类别,例如:飞机票、火车票、发票、合同;其中,飞机票对应的实体报销凭证有20张,火车票对应的实体报销凭证有20张,发票对应的实体报销凭证有20张,合同对应的实体报销凭证有40张。
对上述目标报销凭证图片进行识别,确定出目标报销凭证图片的第二类别分布为:100张目标报销凭证图片关联的凭证类别,例如:飞机票、火车票、发票、合同;其中,飞机票对应的实体报销凭证有30张,火车票对应的实体报销凭证有20张,发票对应的实体报销凭证有20张,合同对应的实体报销凭证有30张。
步骤103、在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
在本发明实施例中,需要对第一类别分布与第二类别分布进行匹配,若检测识别出第一类别分布与第二类别分布不同,即用户上传的目标报销凭证图片中,每个报销凭证的类别以及该类别下报销凭证的张数不能与实体报销凭证完全匹配,则说明用户上传的目标报销凭证图片有误。
因此,在第二类别分布与第一类别分布不一致的情况下,可以从各目标报销凭证图片中,确定出与第一类别分布不一致的目标报销凭证图片,并将该目标报销凭证图片确定为审核未通过的报销凭证图片。
需要说明的是,在第二类别分布与第一类别分布不一致的情况下,不需要进一步具体检测识别每个报销凭证上具体的文本信息,从而提升报销凭证审核的效率。
在确定出审核未通过的报销凭证图片之后,可以立即通过后台系统通知用户上传的目标报销凭证图片有误,并将实体报销凭证寄回给用户,让其重新拍照上传目标报销凭证图片,并重新邮寄实体报销凭证,以重新进行报销凭证审核流程。
本发明提供的报销凭证审核方法,通过获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片,然后基于各实体报销凭证图片及各目标报销凭证图片,确定各实体报销凭证图片的第一类别分布及各目标报销凭证图片的第二类别分布,其中,第一类别分布包括各实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的实体报销凭证图片的数量;第二类别分布包括各目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的目标报销凭证图片的数量;然后将第一类别分布与第二类别分布进行匹配,在第二类别分布与第一类别分布不一致的情况下,基于第一类别分布及第二类别分布,从各目标报销凭证图片中确定审核未通过的报销凭证图片,从而实现了报销凭证批量自动化审核,可大大节省人工逐件核对报销凭证的人力成本和时间成本。
可选地,所述基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布,具体可以通过以下方式实现:
方式1、针对实体报销凭证图片,包括步骤1)-步骤5):
步骤1)、针对每一个实体报销凭证图片,提取所述实体报销凭证图片对应的至少一个尺度的第一对象特征图;所述第一对象特征图用于描述所述实体报销凭证图片的报销凭证特征;
步骤2)、将各尺度的所述第一对象特征图进行上采样操作及下采样操作,生成各所述第一对象特征图对应的第一融合特征图;
步骤3)、基于各所述第一融合特征图,确定第一信息;所述第一信息包括各所述第一融合特征图关联的凭证类别;
步骤4)、基于各所述第一融合特征图关联的凭证类别,确定所述实体报销凭证图片关联的凭证类别;
步骤5)、基于各所述实体报销凭证图片关联的凭证类别,确定每一个凭证类别对应的所述实体报销凭证图片的数量。
方式2、针对目标报销凭证图片,包括步骤a)-步骤e):
步骤a)、针对每一个目标报销凭证图片,提取所述目标报销凭证图片对应的至少一个尺度的第二对象特征图;所述第二对象特征图用于描述所述目标报销凭证图片的报销凭证特征;
步骤b)、将各尺度的所述第二对象特征图进行上采样操作及下采样操作,生成各所述第二对象特征图对应的第二融合特征图;
步骤c)、基于各所述第二融合特征图,确定第二信息;所述第二信息包括各所述第二融合特征图关联的凭证类别;
步骤d)、基于各所述第二融合特征图关联的凭证类别,确定所述目标报销凭证图片关联的凭证类别;
步骤e)、基于各所述目标报销凭证图片关联的凭证类别,确定每一个凭证类别对应的所述目标报销凭证图片的数量。
需要说明的是,方式1与方式2的实现过程相似,为避免重复,下面仅以基于各实体报销凭证图片,确定各实体报销凭证图片的第一类别分布为例,进行具体说明。第二类别分布的确定过程与第一类别分布的确定过程相似,在此不再赘述。
在本发明实施例中,由于报销凭证的种类具有多样性,例如各省级行政区划的增值税普通/专用发票、定额发票、出租车发票等。因此采用固定的浅层特征提取方式来表示报销凭证特征是不可行的。
要想把报销凭证特征准确地识别出来,就需要将实体报销凭证图片输入报销凭证检测与识别模型,从而获得报销凭证检测与识别模型输出的不同层级深度以及相应尺度的特征图,作为实体报销凭证图片的编码特征。
步骤1)、针对每一个实体报销凭证图片,提取实体报销凭证图片对应的至少一个尺度的第一对象特征图。
具体地,将3通道的实体报销凭证图片输入报销凭证检测与识别模型的骨干网络,通过多层卷积、批归一化、激活、池化、残差等操作,获取深度不断加深,通道数不断增多的至少一个尺度的第一对象特征图。
需要说明的是,从网络的深度和宽度两方面同步提升,可以不断由浅至深提取实体报销凭证图片中不同尺度的第一对象特征图,可以从不同维度描述实体报销凭证图片中不同尺度对象的特征。
其中,第一对象特征图从尺度上可以划分为4个尺度,从小到大分别为:微型尺度特征图、小型尺度特征图、中型尺度特征图、大型尺度特征图。
a)微型尺度特征图对应的是检测识别大尺寸的目标,例如:机动车销售发票、货物运输增值税专用发票、二手车销售统一发票等大尺寸的报销凭证。
b)小型尺度特征图对应的是检测识别中尺寸的目标,例如:增值税普通发票、增值税专用发票等中尺寸的报销凭证。
c)中型尺度特征图对应的是检测识别小尺寸的目标,例如:通用定额发票、客运发票、通行费发票、门票、火车票、飞机行程单等小尺寸的报销凭证。
d)大型尺度特征图对应的是检测识别微尺寸的目标,例如:出租车发票、公交车发票等微尺寸的报销凭证。
步骤2)、将各尺度的所述第一对象特征图进行上采样操作及下采样操作,生成各所述第一对象特征图对应的第一融合特征图。
将各尺度的第一对象特征图进一步输入到报销凭证检测与识别模型的颈部网络,用于自顶向下和自底向上融合不同尺度的特征。每个尺度分支分别从骨干网络中提取特征,将从骨干网络中提取的深层特征图进行上采样并与网络前期相应尺寸的底层特征图由深入浅融合成有效信息,实现连接操作。
需要说明的是,自底向上的路径,将网络中融合后的特征图继续进行自底向上的下采样融合,实现特征图的反向融合,这样会得到更丰富的特征信息。得到经过融合的各第一对象特征图对应的第一融合特征图,从而增强报销凭证检测与识别模型检测不同尺度物体纹理细节的能力,提升小目标的检测精度,提高检测的鲁棒性。
步骤3)、基于各第一融合特征图,确定第一信息;其中,第一信息包括各第一融合特征图关联的凭证类别。
具体地,经过融合的各第一融合特征图输入到报销凭证检测与识别模型的头部预测网络,在微、小、中、大4个尺度的融合特征图上分别做独立的凭证类别检测。在不同尺度的第一融合特征图上预测每一个预设锚框中所检测识别出的物体以及位置偏移坐标。
需要说明的是,锚框中识别出的每种物体对应一种凭证类别,不同尺度的第一融合特征图中每个网格单元对应3个不同的锚框,对应不同宽高比的物体,以提升检测的鲁棒性。
步骤4)、基于各第一融合特征图关联的凭证类别,确定实体报销凭证图片关联的凭证类别。
具体地,在得到每一个融合特征图中关联的凭证类别及对应的坐标后,通过非极大抑制算法,排除掉多余的重叠的凭证类别,得到最终检测出实体报销凭证图片关联的凭证类别及实际位置坐标。
在确定出每一个实体报销凭证图片关联的凭证类别之后,即可确定每一个凭证类别对应的实体报销凭证图片的数量。
图2是本发明提供的利用报销凭证检测与识别模型对报销凭证图片进行处理的逻辑示意图。
步骤1、将报销凭证图片输入报销凭证检测与识别模型的骨干网络;
步骤2、将报销凭证检测与识别模型的骨干网络的输出,输入至报销凭证检测与识别模型的颈部网络;
步骤3、将报销凭证检测与识别模型的颈部网络的输出,输入至报销凭证检测与识别模型的头部预测网络;
步骤4、报销凭证检测与识别模型的头部预测网络输出报销凭证子图以及类别和坐标。
其中,报销凭证子图是指对报销凭证图片进行裁切和透视变换处理后的报销凭证实例。
在上述实施方式中,基于人工智能计算机视觉技术来对报销凭证进行批量自动化审核,通过报销凭证检测与识别模型能够自动识别实体报销凭证图片及目标报销凭证图片中的凭证类别和凭证类别对应的数量,然后对实体报销凭证图片及目标报销凭证图片中的凭证类别和凭证类别对应的数量进行对比,从而可以大大节省人力和时间成本。
在本发明实施例中,在第二类别分布与第一类别分布一致的情况下,则说明用户上传的目标报销凭证图片可能是正确的,需要进一步通过对各实体报销凭证图片及各目标报销凭证图片进行文本识别,基于文本识别结果来判断用户上传的目标报销凭证图片是否正确。
可选地,在所述对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别之前,还需要执行以下步骤:
情景一:针对实体报销凭证图片,执行步骤1)-步骤2):
步骤1)、针对每一个实体报销凭证图片,基于所述实体报销凭证图片的位置坐标,对所述实体报销凭证图片进行裁切,得到裁切后的实体报销凭证图片;
步骤2)、基于透视变换算法对所述裁切后的实体报销凭证图片进行处理。
情景二:针对目标报销凭证图片,执行步骤a)-步骤b):
步骤a)、针对每一个目标报销凭证图片,基于所述目标报销凭证图片的位置坐标,对所述目标报销凭证图片进行裁切,得到裁切后的目标报销凭证图片;
步骤b)、基于透视变换算法对所述裁切后的目标报销凭证图片进行处理。
由于情景一与情景二的处理方式相似,因此,在此仅针对情景一进行说明。
针对每一个实体报销凭证图片,根据实体报销凭证图片的凭证类别及位置坐标,使用计算机视觉图像算法将每一个实体报销凭证图片按照位置坐标进行裁切,并利用透视变换算法进行拉直扶正处理,输出若干张经过校正的实体报销凭证图片。通过上述方法,解决了检测识别单张实体报销凭证图片中含有多种任意位置报销凭证的问题。
可选地,在第二类别分布与第一类别分布一致的情况下,需要执行以下步骤1)-步骤2):
步骤1)、在所述第二类别分布与所述第一类别分布一致的情况下,对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别,得到各所述实体报销凭证图片的第一文本识别结果,以及各所述目标报销凭证图片的第二文本识别结果。
步骤2)、在所述文本第一文本识别结果与所述第二文本识别结果不一致的情况下,基于所述第一文本识别结果与所述第二文本识别结果,从各所述目标报销凭证图片中确定所述审核未通过的报销凭证图片。
在本发明实施例中,在得到各实体报销凭证图片的第一文本识别结果以及各目标报销凭证图片的第二文本识别结果之后,将实体报销凭证图片的第一文本识别结果和目标报销凭证图片的第二文本结果分别放入不同的集合中,再采用集合对比方法进行对比,判断两个集合中的报销凭证信息是否完全一致。
对比时先选中实体报销凭证的某个报销凭证实例的文本结果,再在拍照上传的目标报销凭证图片的文本结果集合中进行遍历。如果找到完全一致的文本结果,则将这两个文本结果分别移出两个集合,继续进行遍历对比。如果没有在拍照上传的目标报销凭证图片的文本结果集合发现与当前实体报销凭证的文本结果一致的,则通过后台系统通知用户上传的目标报销凭证图片有误,并将实体报销凭证寄回给用户,让其重新拍照上传报销凭证图片,并重新邮寄报销凭证。
如果遍历完实体报销凭证的文本结果集合也没有发现拍照上传的目标报销凭证图片的文本结果集合中存在不一致的,则将审核一致的结果上传至后台服务器,并发送至财务部门进行归档和放款等操作。
可选地,所述对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别,得到各所述实体报销凭证图片的第一文本识别结果,以及各所述目标报销凭证图片的第二识别结果,具体可以通过以下步骤实现:
方式1、针对实体报销凭证图片,包括步骤1)-步骤4):
步骤1)、针对每一个实体报销凭证图片,提取所述实体报销凭证图片对应的至少一个尺度的第一文本特征图;所述第一文本特征图用于描述所述实体报销凭证图片的文本笔画特征;
步骤2)、将各尺度的所述第一文本特征图进行上采样操作及下采样操作,生成各所述第一文本特征图的第三融合特征图;
步骤3)、基于各所述第三融合特征图,确定第三信息;所述第三信息包括各所述第三融合特征图的第一文本区域;
步骤4)、对各第三融合特征图的第一文本区域进行文本识别,得到所述第一文本识别结果。
方式2、针对目标报销凭证图片,包括步骤a)-步骤d):
步骤a)、针对每一个目标报销凭证图片,提取所述目标报销凭证图片对应的至少一个尺度的第二文本特征图;所述第二文本特征图用于描述所述目标报销凭证图片的文本笔画特征;
步骤b)、将各尺度的所述第二文本特征图进行上采样操作及下采样操作,生成各所述第二文本特征图的第四融合特征图;
步骤c)、基于各所述第四融合特征图,确定第四信息;所述第四信息包括各所述第四融合特征图的第二文本区域;
步骤d)、对各第四融合特征图的第二文本区域进行文本识别,得到所述第二文本识别结果。
需要说明的是,方式1与方式2的实现过程相似,为避免重复,下面仅以对各实体报销凭证图片进行文本识别,得到各实体报销凭证图片的第一文本识别结果为例,进行具体说明。第二文本识别结果的得到方式与第一文本识别结果的得到方式过程相似,在此不再赘述。
在本发明实施例中,需要使用文本检测模型以及文本识别模型检测识别每一个实体报销凭证图片中的所有文本信息,以便可以在内容层面进行细粒度的审核对比。其中,文本检测模型用于检测报销凭证图片中的文本区域,文本识别模型用于识别文本区域中的文本信息。
步骤1)、针对每一个实体报销凭证图片,提取实体报销凭证图片对应的至少一个尺度的第一文本特征图。
具体地,将含有单张报销凭证的3通道实体报销凭证图片输入到文本检测模型的骨干网络,通过多层卷积、批归一化、激活、池化、残差等操作,获取深度不断加深,通道数不断增多的至少一个尺度的第一文本特征图。
需要说明的是,从网络的深度和宽度两方面同步提升,可以不断由浅至深提取实体报销凭证图片中的不同尺度的第一文本特征图,从不同维度描述实体报销凭证图片中不同尺度文本笔画的特征。
步骤2)、将各尺度的第一文本特征图进行上采样操作及下采样操作,生成各第一文本特征图的第三融合特征图。
具体地,将各尺度的第一文本特征图进一步输入到文本检测模型的颈部网络,从而对各尺度的第一文本特征图进行上采样操作及下采样操作。
其中,文本检测模型的颈部网络引入残差结构和通道注意力机制,通过将传统的特征金字塔网络中的普通卷积层替换为带有残差结构和覆盖特征图,能够更好地去分配不同文本区域的注意力占比且不会导致梯度消失,从而提高了文本检测的性能。
需要说明的是,采用自顶向下逐渐上采样及下采样,且不断融合不同尺度的特征的网络结构,可以提升第一文本特征图的表征能力以及细节纹理的描述能力,进而输出经过融合的各第一文本特征图的第三融合特征图。
步骤3)、基于各第三融合特征图,确定第三信息;第三信息包括各第三融合特征图的文本区域。
具体地,经过融合的各第三融合特征图输入到文本检测模型的头部网络,从概率图、阈值图、二值图多个维度进行联合计算,分别采用二元交叉熵损失,平均绝对误差损失以及Dice损失进行不断计算优化模型参数。使用优化好参数的模型,可以对输入的实体报销凭证进行检测,从而计算生成第一文本区域的概率图,并利用第一文本区域的概率图确定第一文本区域。
最后,对各第三融合特征图的第一文本区域进行文本识别,即可得到第一文本识别结果。
可选地,所述对各第三融合特征图的第一文本区域进行文本识别,得到所述第一文本识别结果,具体可以通过以下步骤实现:
步骤1)、提取所述第一文本区域对应的至少一个尺度的第三文本特征图;所述第三文本特征图用于描述所述第一文本区域的文本笔画特征;
步骤2)、基于各所述第三文本特征图,确定所述第一文本区域的第一全局特征及第一局部特征;所述第一全局特征用于表征所述第一文本区域中字符之间的相关性和文本与非文本之间的相关性,所述第一局部特征用于表征所述第一文本区域中字符的形态、笔画特征和字符中不同部分的相关性;
步骤3)、基于所述第一全局特征及所述第一局部特征,确定所述第一文本区域对应的所述第一文本识别结果。
所述对各第四融合特征图的第二文本区域进行文本识别,得到所述第二文本识别结果,具体可以通过以下步骤实现:
步骤a)、提取所述第二文本区域对应的至少一个尺度的第四文本特征图;所述第四文本特征图用于描述所述第二文本区域的文本笔画特征;
步骤b)、基于各所述第四文本特征图,确定所述第二文本区域的第二全局特征及第二局部特征;所述第二全局特征用于表征所述第二文本区域中字符之间的相关性和文本与非文本之间的相关性,所述第二局部特征用于表征所述第二文本区域中字符的形态、笔画特征和字符中不同部分的相关性;
步骤c)、基于所述第二全局特征及所述第二局部特征,确定所述第二文本区域对应的所述第二文本识别结果。
需要说明的是,对各第三融合特征图的第一文本区域进行文本识别得到第一文本识别结果的过程与对各第四融合特征图的第二文本区域进行文本识别,得到第二文本识别结果的过程相似。现仅对各第三融合特征图的第一文本区域进行文本识别得到第一文本识别结果的实现过程进行说明。
步骤1)、提取所述第一文本区域对应的至少一个尺度的第三文本特征图。
具体地,将确定出的第一文本区域输入到文本识别模型的骨干网络,通过两组卷积、批归一化、激活操作,不断由浅至深提取出第一文本区域中至少一个尺度的第三文本特征图,第三文本特征图用于从不同维度描述第一文本区域中不同尺度的文本特征。
步骤2)、基于各所述第三文本特征图,确定所述第一文本区域的第一全局特征及第一局部特征。
具体地,将各第三文本特征图进一步输入到文本识别模型的全局粗粒度特征和局部细粒度特征注意力网络。其中,全局粗粒度特征和局部细粒度特征注意力网络,是为了融合处理文本识别任务中主要的两个特征。局部特征:字符的形态、笔画特征和字符中不同部分的相关性;全局特征:字符之间的相关性和文本与非文本的相关性。
局部细粒度特征对应的局部混合模块,可以有效编码字符的形态特征,采用较小的注意力窗口的形式(设置为7×13),只接受某像素附近其他像素的注意力,其目标是对字符形态特征进行编码并建立字符内组件之间的关联,从而模拟对字符识别至关重要的笔画特征。
全局粗粒度特征对应的全局混合模块,可以处理文本的全局特征,某个像素位置接受其他所有像素位置的注意力,感知所有字符组件之间的依赖关系,提取全局特征。此外它还能够削弱非文本区域中组件的影响,进一步提高文本区域中字符组件的重要性。通过不同感受野的两个注意力混合块,可以完成这两种粒度特征的感知和提取,从而能捕捉到单个文字本身笔画之间的局部相关性以及多个字符之间的全局相关性。
步骤3)、基于所述第一全局特征及所述第一局部特征,确定所述第一文本区域对应的所述第一文本识别结果。
具体地,经过局部和全局注意力机制处理的第一全局特征及第一局部特征输入到文本识别模型的头部网络,文本特征图被压缩为特征序列,通过简单的并行线性分类器来识别每一个特征向量所对应的字符。最后将识别出的实体报销凭证图片中不同位置的文字信息合并汇总,得到第一文本识别结果,例如包括唯一标识号码、发票名称、金额等信息。
图3是本发明提供的对报销凭证图片进行文本识别的逻辑示意图。
步骤1、将报销凭证图片输入文本检测模型的骨干网络;
步骤2、将文本检测模型的骨干网络的输出,输入至文本检测模型的颈部网络;
步骤3、将文本检测模型的颈部网络的输出,输入至文本检测模型的头部网络;
步骤4、利用文本区域的概率图确定报销凭证图片中的文本区域;
步骤5、将文本区域输入文本识别模型的骨干网络;
步骤6、将文本识别模型的骨干网络的输出输入至文本识别模型的全局粗粒度特征和局部细粒度特征注意力网络;
步骤7、将全局粗粒度特征和局部细粒度特征注意力网络的输出,输入至文本识别模型的头部网络;
步骤8、文本识别模型的头部网络输出报销凭证图片的文本信息结果。
图4是本发明提供的报销凭证审核方法的流程示意图之二,参见图4所示,该方法包括步骤401-步骤406,其中:
步骤401、使用吸盘机械臂将一个批次的实体报销凭证放至高拍仪拍照,并为每一张报销凭证输出拍照图片。
步骤402、使用报销凭证检测与识别模型检测并识别图片中的报销凭证实例,输出种类及位置坐标,并配合使用图像算法进行裁切和透视变换处理,输出报销凭证子图。
需要说明的是,报销凭证子图,即裁切和透视变换处理后的报销凭证实例。
步骤403、使用文本检测识别模型监测并识别每一个报销凭证子图中的文本区域以及其中的所有文本信息。
步骤404、对用户拍照上传的报销凭证图片同样使用报销凭证检测与识别模型以及文本检测识别模型进行处理,并输出报销凭证实例的类别、坐标、子图、文本区域内的文本信息结果。
步骤405、结合报销凭证识别出的类别及文本信息,对批次中的报销凭证结果与用户拍照上传图片的结果采用对比算法进行比对审核,判断实际报销凭证与员工拍照上传至服务器的报销凭证图片是否一致。
步骤406、结果不一致,则通知用户上传的图片有误,并将报销凭证寄回给用户,让其重新拍照上传正确图片,并重新邮寄报销凭证;如果结果一致,则将一致结果上传至后台服务器,并发送至财务部门进行归档和放款等操作。
下面对本发明提供的报销凭证审核装置进行描述,下文描述的报销凭证审核装置与上文描述的报销凭证审核方法可相互对应参照。图5是本发明提供的报销凭证审核装置的结构示意图,如图5所示,该报销凭证审核装置500包括:获取模块501、第一确定模块502、第二确定模块503,其中:
获取模块501,用于获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;
第一确定模块502,用于基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量;
第二确定模块503,用于在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
本发明提供的报销凭证审核装置,通过获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片,然后基于各实体报销凭证图片及各目标报销凭证图片,确定各实体报销凭证图片的第一类别分布及各目标报销凭证图片的第二类别分布,其中,第一类别分布包括各实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的实体报销凭证图片的数量;第二类别分布包括各目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的目标报销凭证图片的数量;然后将第一类别分布与第二类别分布进行匹配,在第二类别分布与第一类别分布不一致的情况下,基于第一类别分布及第二类别分布,从各目标报销凭证图片中确定审核未通过的报销凭证图片,从而实现了报销凭证批量自动化审核,可大大节省人工逐件核对报销凭证的人力成本和时间成本。
可选地,所述第一确定模块502,进一步用于:
针对每一个实体报销凭证图片,提取所述实体报销凭证图片对应的至少一个尺度的第一对象特征图;所述第一对象特征图用于描述所述实体报销凭证图片的报销凭证特征;
将各尺度的所述第一对象特征图进行上采样操作及下采样操作,生成各所述第一对象特征图对应的第一融合特征图;
基于各所述第一融合特征图,确定第一信息;所述第一信息包括各所述第一融合特征图关联的凭证类别;
基于各所述第一融合特征图关联的凭证类别,确定所述实体报销凭证图片关联的凭证类别;
基于各所述实体报销凭证图片关联的凭证类别,确定每一个凭证类别对应的所述实体报销凭证图片的数量;
针对每一个目标报销凭证图片,提取所述目标报销凭证图片对应的至少一个尺度的第二对象特征图;所述第二对象特征图用于描述所述目标报销凭证图片的报销凭证特征;
将各尺度的所述第二对象特征图进行上采样操作及下采样操作,生成各所述第二对象特征图对应的第二融合特征图;
基于各所述第二融合特征图,确定第二信息;所述第二信息包括各所述第二融合特征图关联的凭证类别;
基于各所述第二融合特征图关联的凭证类别,确定所述目标报销凭证图片关联的凭证类别;
基于各所述目标报销凭证图片关联的凭证类别,确定每一个凭证类别对应的所述目标报销凭证图片的数量。
可选地,所述装置还包括:
识别模块,用于在所述第二类别分布与所述第一类别分布一致的情况下,对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别,得到各所述实体报销凭证图片的第一文本识别结果,以及各所述目标报销凭证图片的第二文本识别结果;
第三确定模块,用于在所述第一文本识别结果与所述第二文本识别结果不一致的情况下,基于所述第一文本识别结果与所述第二文本识别结果,从各所述目标报销凭证图片中确定所述审核未通过的报销凭证图片。
可选地,所述识别模块,进一步用于:
针对每一个实体报销凭证图片,提取所述实体报销凭证图片对应的至少一个尺度的第一文本特征图;所述第一文本特征图用于描述所述实体报销凭证图片的文本笔画特征;
将各尺度的所述第一文本特征图进行上采样操作及下采样操作,生成各所述第一文本特征图的第三融合特征图;
基于各所述第三融合特征图,确定第三信息;所述第三信息包括各所述第三融合特征图的第一文本区域;
对各第三融合特征图的第一文本区域进行文本识别,得到所述第一文本识别结果;
针对每一个目标报销凭证图片,提取所述目标报销凭证图片对应的至少一个尺度的第二文本特征图;所述第二文本特征图用于描述所述目标报销凭证图片的文本笔画特征;
将各尺度的所述第二文本特征图进行上采样操作及下采样操作,生成各所述第二文本特征图的第四融合特征图;
基于各所述第四融合特征图,确定第四信息;所述第四信息包括各所述第四融合特征图的第二文本区域;
对各第四融合特征图的第二文本区域进行文本识别,得到所述第二文本识别结果。
可选地,所述识别模块,进一步用于:
提取所述第一文本区域对应的至少一个尺度的第三文本特征图;所述第三文本特征图用于描述所述第一文本区域的文本笔画特征;
基于各所述第三文本特征图,确定所述第一文本区域的第一全局特征及第一局部特征;所述第一全局特征用于表征所述第一文本区域中字符之间的相关性和文本与非文本之间的相关性,所述第一局部特征用于表征所述第一文本区域中字符的形态、笔画特征和字符中不同部分的相关性;
基于所述第一全局特征及所述第一局部特征,确定所述第一文本区域对应的所述第一文本识别结果;
提取所述第二文本区域对应的至少一个尺度的第四文本特征图;所述第四文本特征图用于描述所述第二文本区域的文本笔画特征;
基于各所述第四文本特征图,确定所述第二文本区域的第二全局特征及第二局部特征;所述第二全局特征用于表征所述第二文本区域中字符之间的相关性和文本与非文本之间的相关性,所述第二局部特征用于表征所述第二文本区域中字符的形态、笔画特征和字符中不同部分的相关性;
基于所述第二全局特征及所述第二局部特征,确定所述第二文本区域对应的所述第二文本识别结果。
可选地,所述装置还包括:
第一裁切模块,用于针对每一个实体报销凭证图片,基于所述实体报销凭证图片的位置坐标,对所述实体报销凭证图片进行裁切,得到裁切后的实体报销凭证图片;
第一处理模块,用于基于透视变换算法对所述裁切后的实体报销凭证图片进行处理;
第二裁切模块,用于针对每一个目标报销凭证图片,基于所述目标报销凭证图片的位置坐标,对所述目标报销凭证图片进行裁切,得到裁切后的目标报销凭证图片;
第二处理模块,用于基于透视变换算法对所述裁切后的目标报销凭证图片进行处理。
图6是本发明提供的电子设备的结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行报销凭证审核方法,该方法包括:获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量;在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的报销凭证审核方法,该方法包括:获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量;在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的报销凭证审核方法,该方法包括:获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量;在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种报销凭证审核方法,其特征在于,包括:
获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;
基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量;
在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
2.根据权利要求1所述的报销凭证审核方法,其特征在于,所述基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布,包括:
针对每一个实体报销凭证图片,提取所述实体报销凭证图片对应的至少一个尺度的第一对象特征图;所述第一对象特征图用于描述所述实体报销凭证图片的报销凭证特征;
将各尺度的所述第一对象特征图进行上采样操作及下采样操作,生成各所述第一对象特征图对应的第一融合特征图;
基于各所述第一融合特征图,确定第一信息;所述第一信息包括各所述第一融合特征图关联的凭证类别;
基于各所述第一融合特征图关联的凭证类别,确定所述实体报销凭证图片关联的凭证类别;
基于各所述实体报销凭证图片关联的凭证类别,确定每一个凭证类别对应的所述实体报销凭证图片的数量;
针对每一个目标报销凭证图片,提取所述目标报销凭证图片对应的至少一个尺度的第二对象特征图;所述第二对象特征图用于描述所述目标报销凭证图片的报销凭证特征;
将各尺度的所述第二对象特征图进行上采样操作及下采样操作,生成各所述第二对象特征图对应的第二融合特征图;
基于各所述第二融合特征图,确定第二信息;所述第二信息包括各所述第二融合特征图关联的凭证类别;
基于各所述第二融合特征图关联的凭证类别,确定所述目标报销凭证图片关联的凭证类别;
基于各所述目标报销凭证图片关联的凭证类别,确定每一个凭证类别对应的所述目标报销凭证图片的数量。
3.根据权利要求1或2所述的报销凭证审核方法,其特征在于,所述方法还包括:
在所述第二类别分布与所述第一类别分布一致的情况下,对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别,得到各所述实体报销凭证图片的第一文本识别结果,以及各所述目标报销凭证图片的第二文本识别结果;
在所述第一文本识别结果与所述第二文本识别结果不一致的情况下,基于所述第一文本识别结果与所述第二文本识别结果,从各所述目标报销凭证图片中确定所述审核未通过的报销凭证图片。
4.根据权利要求3所述的报销凭证审核方法,其特征在于,所述对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别,得到各所述实体报销凭证图片的第一文本识别结果,以及各所述目标报销凭证图片的第二文本识别结果,包括:
针对每一个实体报销凭证图片,提取所述实体报销凭证图片对应的至少一个尺度的第一文本特征图;所述第一文本特征图用于描述所述实体报销凭证图片的文本笔画特征;
将各尺度的所述第一文本特征图进行上采样操作及下采样操作,生成各所述第一文本特征图的第三融合特征图;
基于各所述第三融合特征图,确定第三信息;所述第三信息包括各所述第三融合特征图的第一文本区域;
对各第三融合特征图的第一文本区域进行文本识别,得到所述第一文本识别结果;
针对每一个目标报销凭证图片,提取所述目标报销凭证图片对应的至少一个尺度的第二文本特征图;所述第二文本特征图用于描述所述目标报销凭证图片的文本笔画特征;
将各尺度的所述第二文本特征图进行上采样操作及下采样操作,生成各所述第二文本特征图的第四融合特征图;
基于各所述第四融合特征图,确定第四信息;所述第四信息包括各所述第四融合特征图的第二文本区域;
对各第四融合特征图的第二文本区域进行文本识别,得到所述第二文本识别结果。
5.根据权利要求4所述的报销凭证审核方法,其特征在于,所述对各第三融合特征图的第一文本区域进行文本识别,得到所述第一文本识别结果,包括:
提取所述第一文本区域对应的至少一个尺度的第三文本特征图;所述第三文本特征图用于描述所述第一文本区域的文本笔画特征;
基于各所述第三文本特征图,确定所述第一文本区域的第一全局特征及第一局部特征;所述第一全局特征用于表征所述第一文本区域中字符之间的相关性和文本与非文本之间的相关性,所述第一局部特征用于表征所述第一文本区域中字符的形态、笔画特征和字符中不同部分的相关性;
基于所述第一全局特征及所述第一局部特征,确定所述第一文本区域对应的所述第一文本识别结果;
所述对各第四融合特征图的第二文本区域进行文本识别,得到所述第二文本识别结果,包括:
提取所述第二文本区域对应的至少一个尺度的第四文本特征图;所述第四文本特征图用于描述所述第二文本区域的文本笔画特征;
基于各所述第四文本特征图,确定所述第二文本区域的第二全局特征及第二局部特征;所述第二全局特征用于表征所述第二文本区域中字符之间的相关性和文本与非文本之间的相关性,所述第二局部特征用于表征所述第二文本区域中字符的形态、笔画特征和字符中不同部分的相关性;
基于所述第二全局特征及所述第二局部特征,确定所述第二文本区域对应的所述第二文本识别结果。
6.根据权利要求3所述的报销凭证审核方法,其特征在于,在所述对各所述实体报销凭证图片及各所述目标报销凭证图片进行文本识别之前,所述方法还包括:
针对每一个实体报销凭证图片,基于所述实体报销凭证图片的位置坐标,对所述实体报销凭证图片进行裁切,得到裁切后的实体报销凭证图片;
基于透视变换算法对所述裁切后的实体报销凭证图片进行处理;
针对每一个目标报销凭证图片,基于所述目标报销凭证图片的位置坐标,对所述目标报销凭证图片进行裁切,得到裁切后的目标报销凭证图片;
基于透视变换算法对所述裁切后的目标报销凭证图片进行处理。
7.一种报销凭证审核装置,其特征在于,包括:
获取模块,用于获取至少一个实体报销凭证图片及用户上传的至少一个目标报销凭证图片;
第一确定模块,用于基于各所述实体报销凭证图片及各所述目标报销凭证图片,确定各所述实体报销凭证图片的第一类别分布及各所述目标报销凭证图片的第二类别分布;所述第一类别分布包括各所述实体报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述实体报销凭证图片的数量;所述第二类别分布包括各所述目标报销凭证图片关联的凭证类别,及每一个凭证类别对应的所述目标报销凭证图片的数量;
第二确定模块,用于在所述第二类别分布与所述第一类别分布不一致的情况下,基于所述第一类别分布及所述第二类别分布,从各所述目标报销凭证图片中确定审核未通过的报销凭证图片。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述报销凭证审核方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述报销凭证审核方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述报销凭证审核方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311181171.4A CN117217940A (zh) | 2023-09-13 | 2023-09-13 | 报销凭证审核方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311181171.4A CN117217940A (zh) | 2023-09-13 | 2023-09-13 | 报销凭证审核方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117217940A true CN117217940A (zh) | 2023-12-12 |
Family
ID=89034757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311181171.4A Pending CN117217940A (zh) | 2023-09-13 | 2023-09-13 | 报销凭证审核方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117217940A (zh) |
-
2023
- 2023-09-13 CN CN202311181171.4A patent/CN117217940A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109902622B (zh) | 一种用于登机牌信息验证的文字检测识别方法 | |
CN107194398B (zh) | 车损部位的识别方法及系统 | |
WO2018166116A1 (zh) | 车损识别方法、电子装置及计算机可读存储介质 | |
US11657631B2 (en) | Scalable, flexible and robust template-based data extraction pipeline | |
CN112861648B (zh) | 文字识别方法、装置、电子设备及存储介质 | |
CN109766890A (zh) | 信息识别方法、设备和系统 | |
EP4109332A1 (en) | Certificate authenticity identification method and apparatus, computer-readable medium, and electronic device | |
CN108846385B (zh) | 基于卷积-反卷积神经网络的图像识别、校正方法和装置 | |
CN112699775A (zh) | 基于深度学习的证件识别方法、装置、设备及存储介质 | |
CN114429637B (zh) | 一种文档分类方法、装置、设备及存储介质 | |
CN110287125A (zh) | 基于图像识别的软件例行化测试方法及装置 | |
CN111104813A (zh) | 二维码图像关键点检测方法、装置、电子设备及存储介质 | |
CN112560754A (zh) | 票据信息的获取方法、装置、设备及存储介质 | |
CN105574500A (zh) | 提高人脸识别通过率的方法和装置 | |
CN113705461A (zh) | 人脸清晰度检测方法、装置、设备及存储介质 | |
CN108090728B (zh) | 一种基于智能终端的快递信息录入方法及录入系统 | |
CN113505780A (zh) | 一种基于二维码的智能检测维保的方法和设备 | |
WO2019071663A1 (zh) | 电子装置、虚拟样本生成方法及存储介质 | |
CN111881880A (zh) | 一种基于新型网络的票据文本识别方法 | |
CN111047657A (zh) | 图片压缩方法、装置、介质及电子设备 | |
CN111008635A (zh) | 一种基于ocr的多票据自动识别方法及识别系统 | |
CN117217940A (zh) | 报销凭证审核方法及装置 | |
CN116486228A (zh) | 一种基于改进yolov5模型的纸质药盒钢印字符识别方法 | |
CN111797922B (zh) | 文本图像分类方法及装置 | |
CN115439850A (zh) | 基于审单的图文字符识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |