CN117274969A - 一种印章识别方法、装置、设备及介质 - Google Patents

一种印章识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN117274969A
CN117274969A CN202311349414.0A CN202311349414A CN117274969A CN 117274969 A CN117274969 A CN 117274969A CN 202311349414 A CN202311349414 A CN 202311349414A CN 117274969 A CN117274969 A CN 117274969A
Authority
CN
China
Prior art keywords
seal
target
image
model
stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311349414.0A
Other languages
English (en)
Inventor
周忻旸
陆佳庆
杨沫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202311349414.0A priority Critical patent/CN117274969A/zh
Publication of CN117274969A publication Critical patent/CN117274969A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • G06V30/19093Proximity measures, i.e. similarity or distance measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请涉及计算机视觉技术领域,尤其涉及一种印章识别方法、装置、设备及介质。在本申请实施例中,获取待识别票据的票据图像中,印章所在区域的第一印章图像,并将该第一印章图像输入到预先训练完成的识别模型中,由识别模型中的第一子模型对第一印章图像进行特征提取,得到第一印章图像对应的第一特征矩阵,识别模型中的第二子模型再对该第一特征矩阵进行处理,得到第一印章图像中的印章包括的目标文字,也就是说,本申请实施例中在得到票据图像中印章所在区域的第一印章图像之后,直接基于识别模型对第一印章图像中的印章进行识别,得到印章中包括的目标文字,实现了自动化识别印章文字,无需人工参与,提高了工作效率。

Description

一种印章识别方法、装置、设备及介质
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种印章识别方法、装置、设备及介质。
背景技术
印章具有代表公司、个人意志的作用,票据是否盖章是判断票据是否生效的重要标准。在国际结算业务中,许多单据上都会盖有印章,目前主要通过人工方式来确认印章中文字的内容。但是,印章种类繁多,样式各异,清晰度各不相同,且经常伴有文字旋转,内容模糊,原有打印信息干扰等情况,使用人工方式进行识别会消耗业务人员大量的精力和时间,工作效率极低。
因此,如何自动识别印章成为亟待解决的问题。
发明内容
本申请实施提供一种印章识别方法、装置、设备及介质,用以解决现有技术中通过人工方式识别印章中的内容效率低的问题。
本申请提供了一种印章识别方法,所述方法包括:
获取待识别票据的票据图像中,印章所在区域的第一印章图像;
将所述第一印章图像输入到预先训练完成的识别模型中,所述识别模型中的第一子模型对所述第一印章图像进行特征提取,得到所述第一印章图像对应的第一特征矩阵;所述识别模型中的第二子模型对所述第一特征矩阵进行处理,得到所述第一印章图像中的印章包括的目标文字。
进一步地,所述方法还包括:
对所述票据图像进行分类处理,确定所述票据图像对应的目标单据类别;
根据预先保存的不同单据类别与印章底库之间的对应关系,确定所述目标单据类别对应的目标印章底库;
对所述目标文字进行特征提取,确定所述目标文字对应的第一特征向量;
根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识。
进一步地,所述根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识包括:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度中,存在大于预设阈值的目标相似度,则将所述目标相似度对应的印章的标识确定为所述目标印章标识。
进一步地,所述方法还包括:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则输出匹配失败的提示信息,并将所述目标文字输出。
进一步地,所述方法还包括:
根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定所述目标印章标识对应的目标印章标准化信息;
若所述目标文字中存在所述目标印章标准化信息,则确定所述目标文字识别准确。
进一步地,所述方法还包括:
若所述目标文字中不存在所述目标印章标准化信息,则确定所述目标文字识别有误,并使用所述目标印章标准化信息对所述目标文字中对应的信息进行更新。
进一步地,初始识别模型包括第一预训练子模型和第二预训练子模型,对所述初始识别模型进行训练得到所述识别模型的过程包括:
获取样本集,所述样本集中包括样本印章图像,及每个样本印章图像中印章包括的标准文字;
针对所述样本集中的每个样本印章图像,将该样本印章图像和对应的标准文字输入到所述第一预训练子模型中,得到第二特征矩阵;将所述第二特征矩阵输入到所述第二预训练子模型中,得到该样本印章图像中印章包括的识别文字;
根据所述标准文字和所述识别文字,确定损失值,并基于所述损失值对所述第一预训练子模型和所述第二预训练子模型中的参数进行调整,得到所述识别模型。
进一步地,所述样本集的构建过程包括:
获取预设数量的第二印章图像;
针对每个第二印章图像,在预先保存的图像变换方式中随机选取任一目标图像变换方式,对该第二印章图像进行所述目标图像变换方式的变换,得到目标印章图像,将所述目标印章图像和该第二印章图像均作为样本印章图像一起保存在所述样本集中。
本申请实施例还提供了一种印章识别装置,所述装置包括:
获取模块,用于获取待识别票据的票据图像中,印章所在区域的第一印章图像;
识别模块,用于将所述第一印章图像输入到预先训练完成的识别模型中,所述识别模型中的第一子模型对所述第一印章图像进行特征提取,得到所述第一印章图像对应的第一特征矩阵;所述识别模型中的第二子模型对所述第一特征矩阵进行处理,得到所述第一印章图像中的印章包括的目标文字。
进一步地,所述装置还包括:
分类模块,用于对所述票据图像进行分类处理,确定所述票据图像对应的目标单据类别;
确定模块,用于根据预先保存的不同单据类别与印章底库之间的对应关系,确定所述目标单据类别对应的目标印章底库;对所述目标文字进行特征提取,确定所述目标文字对应的第一特征向量;根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识。
进一步地,所述确定模块,具体用于若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度中,存在大于预设阈值的目标相似度,则将所述目标相似度对应的印章的标识确定为所述目标印章标识。
进一步地,所述装置还包括:
输出模块,用于若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则输出匹配失败的提示信息,并将所述目标文字输出。
进一步地,所述确定模块,还用于根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定所述目标印章标识对应的目标印章标准化信息;若所述目标文字中存在所述目标印章标准化信息,则确定所述目标文字识别准确。
进一步地,所述确定模块,还用于若所述目标文字中不存在所述目标印章标准化信息,则确定所述目标文字识别有误,并使用所述目标印章标准化信息对所述目标文字中对应的信息进行更新。
进一步地,初始识别模型包括第一预训练子模型和第二预训练子模型,所述获取模块,还用于获取样本集,所述样本集中包括样本印章图像,及每个样本印章图像中印章包括的标准文字;
训练模块,用于针对所述样本集中的每个样本印章图像,将该样本印章图像和对应的标准文字输入到所述第一预训练子模型中,得到第二特征矩阵;将所述第二特征矩阵输入到所述第二预训练子模型中,得到该样本印章图像中印章包括的识别文字;根据所述标准文字和所述识别文字,确定损失值,并基于所述损失值对所述第一预训练子模型和所述第二预训练子模型中的参数进行调整,得到所述识别模型。
进一步地,所述获取模块,还用于获取预设数量的第二印章图像;
图像变换模块,用于针对每个第二印章图像,在预先保存的图像变换方式中随机选取任一目标图像变换方式,对该第二印章图像进行所述目标图像变换方式的变换,得到目标印章图像,将所述目标印章图像和该第二印章图像均作为样本印章图像一起保存在所述样本集中。
本申请实施例还提供了一种电子设备,所述电子设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述印章识别方法的步骤。
本申请实施例还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一所述印章识别方法的步骤。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述如上述任一所述印章识别方法的步骤。
由于在本申请实施例中,获取待识别票据的票据图像中,印章所在区域的第一印章图像,并将该第一印章图像输入到预先训练完成的识别模型中,由识别模型中的第一子模型对第一印章图像进行特征提取,得到第一印章图像对应的第一特征矩阵,识别模型中的第二子模型再对该第一特征矩阵进行处理,得到第一印章图像中的印章包括的目标文字,也就是说,本申请实施例中在得到票据图像中印章所在区域的第一印章图像之后,直接基于识别模型对第一印章图像中的印章进行识别,得到印章中包括的目标文字,实现了自动化识别印章文字,无需人工参与,提高了工作效率。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种印章识别过程示意图;
图2为本申请实施例提供的一种印章识别装置结构示意图;
图3为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图,对本申请的实施例的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
文字识别是计算机视觉一个重要的研究领域,发展至今主要经历了两大阶段。早期阶段,文字识别主要依赖于传统图像处理技术和机器学习方法实现,利用光学技术和计算机技术把印在或写在纸上的文字读取出来,并转换成一种计算机能够接受、人可以理解的格式。传统的文字识别方法分为图像预处理、文字识别、后处理三部分。随着深度学习的快速发展,文字识别也逐渐过渡到深度学习方法。该方法分为文字检测和文字识别两部分。文字检测使用检测算法定位文本位置,文字识别使用识别算法识别出文本内容。
印章是一种图像数据,故可以使用计算机视觉技术来处理印章文字识别问题。然而印章样式各异,种类繁多,清晰度各不相同,且经常伴有文字旋转,内容模糊,信息干扰等情况。这给印章的文字检测和识别带来了极大挑战,无法应用到实际业务中。因此,为了寻找更有效的方法来解决印章文字识别问题以提高工作效率,本申请提供了一种印章识别方法、装置、设备及介质。
在本申请实施例中,获取待识别票据的票据图像中,印章所在区域的第一印章图像;将该第一印章图像输入到预先训练完成的识别模型中,该识别模型中的第一子模型对第一印章图像进行特征提取,得到第一印章图像对应的第一特征矩阵;识别模型中的第二子模型对该第一特征矩阵进行处理,得到票据图像中的印章包括的目标文字。
本申请各技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
实施例1:
图1为本申请实施例提供的一种印章识别过程示意图,该过程包括以下步骤:
S101:获取待识别票据的票据图像中,印章所在区域的第一印章图像。
本申请实施例提供的印章识别方法应用于电子设备,该电子设备可以是服务器、PC、移动终端等。
为了实现自动识别印章内容,以提高工作效率,在本申请实施例中,可以获取待识别票据的票据图像中,印章所在区域的第一印章图像。该票据图像可以是业务人员上传的图像,也可以是与电子设备连接的图像采集设备采集到的图像,还可以是业务人员在文档或者文件夹中截取的图像,本申请实施例对票据图像的获取方式不进行限定,本领域的技术人员可以根据实际需要进行设置。
在本申请实施例中,该票据图像中所包括的票据可以是任意类型的,例如,该票据可以是发票、账单、汇票等。一般情况下,该票据图像中可以包括一个或多个印章,当然也可以不包括印章。
在获取到票据图像之后,可以基于预先训练完成的图像识别模型,识别票据图像中印章所在区域的第一印章图像,当票据图像中不包括印章时,图像识别模型则可以输出“未识别到印章”的提示信息,如何识别图像中印章所在区域为现有技术,本申请实施例对此不再赘述。当然,票据图像中印章所在区域的第一印章图像也可以是,业务人员在票据图像中截取后上传的图像,也就是说,在进行印章识别时,业务人员可以将票据图像和第一印章图像一起上传;电子设备也可以在获取到票据图像之后,将该票据图像在显示器上进行显示,并提醒业务人员截取票据图像中印章在所在区域的第一印章图像,当电子设备所显示的票据图像中不包括印章时,业务人员可以输入票据图像中不包括印章的提示信息,以提醒电子设备结束对该票据图像的处理。
S102:将所述第一印章图像输入到预先训练完成的识别模型中,所述识别模型中的第一子模型对所述第一印章图像进行特征提取,得到所述第一印章图像对应的第一特征矩阵。
相关技术中,在进行印章识别时,可以通过图像特征匹配的方式确定印章中的文字信息。通常会有一个印章底库,印章底库存放了大量印章图像、图像特征及对应的印章中包括的文字。当有待识别印章图像时,提取待识别印章图像的图像特征,并将该图像特征与印章底库中的每个图像特征进行比对,将与其最接近的特征对应的印章文字标签作为其识别结果。但是,印章通常伴有文字旋转,内容模糊,信息干扰等情况,使用特征匹配方法容易产生误匹配的情况,泛化性能较差,因此印章匹配方法不适合用来解决印章文字识别问题。为了对第一印章图像中的印章进行自动识别,在本申请实施例中,可以将该第一印章图像输入到预先训练完成的识别模型中,由该识别模型对第一印章图像中的印章包括的文字进行识别。
该识别模型可以是基于转换器模型(transformer)的编解码结构,即识别模型可以包括编码器和解码器。其中,编码器用于获取视觉特征,即对第一印章图像进行理解,该编码器可以采用transformer结构。解码器用于构建语言模型,即用于生成文字块序列,也就是说,解码器用于识别第一印章图像中印章包括的目标文字,该解码器可以采用transformer结构。也就是说,本申请实施例中的识别模型可以包括图像transformer和文本transformer。其中,图像transformer,用于对第一印章图像进行图像理解,为了便于描述,将该图像transformer,即编码器称为第一子模型。文本transformer用于识别文字,为了便于描述,将文字transformer,即解码器称为第二子模型。
在进行文字识别时,该识别模型中的第一子模型首先对第一印章图像进行特征提取,从而得到第一印章图像对应的第一特征矩阵。其中,该第一子模型可以是本领域中已经训练完成的任一图像特征提取模型。
示例性地,该第一子模型的结构可以采用视觉深度自注意力变换(VisualTransformer,ViT)模型的模式,在本申请实施例中,该第一子模型可以是ViT模型的一部分。例如,将ViT模型的嵌入(Embedding)层和Transformer编码器(Encoder)作为第一子模型,也就是说,本申请实施例可以使用ViT模型对第一印章图像进行特征提取,将ViT模型中Transformer Encoder输出的特征矩阵作为第一印章图像对应的第一特征矩阵,即将ViT模型中最终用于分类的层结构删除。ViT模型的Embedding层改变第一印章图像的尺寸,将第一印章图像切片成固定大小的正方形图像块,形成Transformer Encoder的输入序列,Transformer Encoder对该输入序列中的每个图像块进行特征提取,从而得到完整的第一印章图像的第一特征向量。
S103:所述识别模型中的第二子模型对所述第一特征矩阵进行处理,得到所述第一印章图像中的印章包括的目标文字。
在得到了第一印章图像对应的第一特征矩阵之后,识别模型的第二子模型对该第一特征矩阵进行处理,得到第一印章图像中的印章包括的目标文字,也就是得到票据图像中的印章包括的目标文字。该第二子模型可以是已训练完成的文字识别模型,示例性地,该第二子模型的结构采用预训练基于转换器的双向编码器(BidirectionalEncoderRepresentation from Transformers,BERT)模型的模式,该第二子模型可以是微调训练完后的BERT模型,将得到的第一印章图像对应的第一特征矩阵作为微调训练完成的BERT模型的输入,微调训练完成的BERT模型对该第一特征矩阵进行处理,即可输出第一印章图像中印章包括的目标文字,也就确定了票据图像中印章包括的目标文字。
由于在本申请实施例中,获取待识别票据的票据图像中,印章所在区域的第一印章图像,并将该第一印章图像输入到预先训练完成的识别模型中,由识别模型中的第一子模型对第一印章图像进行特征提取,得到第一印章图像对应的第一特征矩阵,识别模型中的第二子模型再对该第一特征矩阵进行处理,得到第一印章图像中的印章包括的目标文字,也就是说,本申请实施例中在得到票据图像中印章所在区域的第一印章图像之后,直接基于识别模型对第一印章图像中的印章进行识别,得到印章中包括的目标文字,实现了自动化识别印章文字,无需人工参与,提高了工作效率。
实施例2:
为了进一步提高工作效率,在上述实施例的基础上,在本申请实施例中,所述方法还包括:
对所述票据图像进行分类处理,确定所述票据图像对应的目标单据类别;
根据预先保存的不同单据类别与印章底库之间的对应关系,确定所述目标单据类别对应的目标印章底库;
对所述目标文字进行特征提取,确定所述目标文字对应的第一特征向量;
根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识。
由于印章种类繁多,样式各异,业务人员即使知道了票据中印章包括的文字,也需要根据识别到的文字确定该印章具体为哪一种印章,同样是需要业务人员花费时间去比对的。因此,为了进一步提高工作效率,在本申请实施例中,在确定了第一印章图像中的印章包括的目标文字之后,可以进一步确定第一印章图像中印章对应的目标印章标识。
在确定第一印章图像中的印章对应的目标印章标识时,可以对票据图像进行分类处理,确定票据图像对应的目标单据类别。也就是说,确定票据图像中包括的票据所归属的类别,例如,确定票据图像中的票据是发票,还是汇票,还是账单等。在对票据图像进行分类处理时,可以基于文字识别技术识别票据的名称,并根据预先保存的不同票据名称与单据类别之间的对应关系,确定识别到的票据的名称对应的目标单据类别;也可以基于预先训练完成的分类模型,对该票据图像进行分类处理,确定票据图像对应的目标单据类别。需要说明的是,相关技术中,根据票据图像确定目标单据类别的技术方案很多,本申请实施例对如何对票据图像进行分类处理不进行限制。
在确定了票据图像属于的目标单据类别之后,可以根据预先保存的不同单据类别与印章底库之间的对应关系,确定目标单据类别对应的目标印章底库。也就是说,预先将印章底库按单据类别进行划分,针对每个单据类别都保存有一个印章底库,该印章底库中保存了对应的单据类别可能包括的所有印章的相关信息,例如,包括了印章的图像、印章标识、印章中包括的文字。为了便于后续的相似度比对,印章的相关信息中还可以包括印章中的文字对应的第二特征向量。
在确定了目标印章底库之后,可以将目标文字与目标印章底库中每个印章中包括的文字进行相似度比对,以确定与第一印章图像中的印章最相似的目标印章。在进行相似度对比时,可以对目标文字进行特征提取,确定目标文字对应的第一特征向量,并将该第一特征向量与目标印章底库中每个印章对应的第二特征向量之间的相似度。如何确定两个特征向量之间的相似度为现有技术本申请实施例不再赘述。
确定了第一特征向与目标印章底库中每个印章的第二特征向量的相似度之后,可以将最大相似度对应的印章的标识确定为目标印章标识。
具体的,假设预先保存的不同单据类别与印章底库之间的对应关系为:单据类别A对应印章底库A、单据类别B对应印章底库B、单据类别C对应印章底库C。其中,印章底库A中保存有印章1的相关信息、印章2的相关信息以及印章3的相关信息;印章底库B中保存有印章4的相关信息和印章5的相关信息;印章底库A中保存有印章6的相关信息。当确定了票据图像对应的目标单据类别为单据类别B时,则可以确定目标单据类别对应的目标印章底库为印章底库B。那么,则可以确定目标文字的第一特征向量与印章4包括的文字的第二特征向量之间的相似度1,以及第一特征向量与印章5包括的文字的第二特征向量之间的相似度2。在确定了相似度1和相似度2之后,可以将相似度1和相似度2中的最大相似度对应的印章的标识确定为目标印章标识。假设,相似度1为0.56,相似度2为0.97,那么,则可以将相似度2对应的印章5的标识确定为目标印章标识。
针对印章匹配方法误匹配概率高的问题,将印章底库按不同单据类别进行划分,并在目标单据类别的目标印章底库进行相似度匹配,缩小了匹配范围,降低误匹配概率。
为了进一步提高印章识别的准确率,在上述各实施例的基础上,在本申请实施例中,所述根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识包括:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度中,存在大于预设阈值的目标相似度,则将所述目标相似度对应的印章的标识确定为所述目标印章标识。
由于对票据图像进行处理时,可能会出现分类错误的情况,因此,为了进一步提高印章识别的准确率,在本申请实施例中,可以预先配置有预设阈值,例如,设置预设阈值为0.98。
在确定目标印章标识时,可以确定第一特征向量与目标印章底库中每个印章对应的第二特征向量之间的相似度。
如果确定的每个相似度中存在大于预设阈值的目标相似度,则说明印章中包括的文字与目标文字足够相似,可以将目标相似度对应的印章的标识确定为目标印章标识。
具体的,假设预设阈值为0.98,确定的第一特征向量与目标印章底库中每个印章对应的第二特征向量之间的相似度分别为0.28、0.56、0.89、0.96和0.99。由于相似度0.99大于预设阈值0.98,则可以将相似度0.99对应的印章的标识确定为目标印章标识。
为了进一步提高印章识别的准确率,在上述各实施例的基础上,在本申请实施例中,所方法还包括:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则输出匹配失败的提示信息,并将所述目标文字输出。
在确定目标印章标识时,如果确定的第一特征向量与目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则可以认为目标印章底库中的每个印章中包括的文字与目标文字均不相似,可以输出匹配失败的提示信息,并将目标文字输出,以便于业务人员人工根据识别到的目标文字确定票据图像中的印章具体是哪一个印章。
具体的,假设预设阈值为0.95,确定的相似度1为0.85、相似度2为0.55、相似度3为0.93。由于所述确定的相似度均不大于预设阈值0.95,因此,可以认为匹配失败,可以输出匹配失败的提示信息,并将目标文字输出。
实施例3:
为了进一步提高印章识别的准确率,在上述各实施例的基础上,在本申请实施例中,所述方法还包括:
根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定所述目标印章标识对应的目标印章标准化信息;
若所述目标文字中存在所述目标印章标准化信息,则确定所述目标文字识别准确。
由于有效的印章中包括的文字一般是固定的,因此,在识别到目标文字之后,还可以确定目标文字识别的是否准确。在本申请实施例中,可以预先保存有不同的印章标识与印章标准化信息之间的对应关系,也就是说,针对每个印章,将该印章中包括的印章标准化信息预先进行了保存。其中,印章标准化信息可以是印章在刻印时所刻的文字,例如,发票专用章的印章标准化信息可以包括公司单位名称、“发票专用章”字样、税务登记号。
在确定目标文字识别是否准确时,可以根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定目标印章标识对应的目标印章标准化信息。如果所识别到的目标文字中存在目标印章标准化信息,则说明在目标文字识别过程中,所识别到的文字准确。
具体的,假设针对印章标识A保存的印章标准化信息为“A公司、发票专用章、AAAAAAA”;针对印章标识B保存的印章标准化信息为“B公司、发票专用章、BBBBBBBBB”;针对印章标识C保存的印章标准化信息为“C公司、发票专用章、CCCCCCCC”。确定的第一印章图像中的印章目标印章标识为C,识别到的目标文字为“C公司、发票专用章、CCCCCCCC”。由于印章标识C对应的印章标准化信息均存在于目标文字中,则可以确定目标文字识别准确。
为了进一步提高印章识别的准确率,在上述各实施例的基础上,在本申请实施例中,所述方法还包括:若所述目标文字中不存在所述目标印章标准化信息,则确定所述目标文字识别有误,并使用所述目标印章标准化信息对所述目标文字中对应的信息进行更新。
如果所识别到的目标文字中不存在目标印章标准化信息,则说明在目标文字识别过程中,所识别到的目标文字有误,可以使用目标印章标准化信息对目标文字进行修改,即使用目标印章标准化信息对目标文字中对应的信息进行更新。
具体的,假设针对印章标识A保存的印章标准化信息为“A公司、发票专用章、AAAAAAA”;针对印章标识B保存的印章标准化信息为“B公司、发票专用章、BBBBBBBBB”;针对印章标识C保存的印章标准化信息为“C公司、发票专用章、CCCCCCCC”。确定的第一印章图像中的印章目标印章标识为C,识别到的目标文字为“C公司、发票专用、CCCCCCCC”。由于目标文字中只包括“发票专用”字样,而印章标识C对应的印章标准化信息中包括的是“发票专用章”字样,因此,可以使用“发票专用章”对目标文字中的“发票专用”进行更新。
本申请实施例利用目标印章标识确定对应的目标印章标准化信息,并将目标印章标准化信息与目标文字进行比对,提高了识别结果的准确性和可靠性。
实施例4:
为了进一步提高印章识别的准确率,在上述各实施例的基础上,在本申请实施例中,初始识别模型包括第一预训练子模型和第二预训练子模型,对所述初始识别模型进行训练得到所述识别模型的过程包括:
获取样本集,所述样本集中包括样本印章图像,及每个样本印章图像中印章包括的标准文字;
针对所述样本集中的每个样本印章图像,将该样本印章图像和对应的标准文字输入到所述第一预训练子模型中,得到第二特征矩阵;将所述第二特征矩阵输入到所述第二预训练子模型中,得到该样本印章图像中印章包括的识别文字;
根据所述标准文字和所述识别文字,确定损失值,并基于所述损失值对所述第一预训练子模型和所述第二预训练子模型中的参数进行调整,得到所述识别模型。
相关技术中在使用模型进行印章识别时,一般是将印章识别分为文字检测部分和文字识别部分,其中,文字检测部分用于获取文本位置,文字识别部分将这些文本位置中的文本内容识别出来。文字检测采用检测模型,文字识别采用识别模型,首先通过检测模型将图像中的印章文字检测出来,再用识别模型将文字内容识别出来。然而印章样式各异,很难使用一种检测模型将所有样式的印章文字都检测出来。此外,检测模型和识别模型均需要大量的标注数据,标注数据的获取,标注标准的统一都存在问题。
因此,为了训练印章识别准确率高的识别模型,在本申请实施例中,可以使用样本集对初始识别模型进行训练,得到用于印章识别的训练完成的识别模型。其中,初始模型中可以包括第一预训练模型和第二预训练模型,对初始识别模型进行训练的过程即为对第一预训练模型和第二与训练模型的微调训练过程,那么,得到的训练完成的识别模型中的第一子模型即为第一预训练模型微调训练之后得到的模型,第二子模型即为第二预训练模型微调训练之后的模型。
具体的,在对初始识别模型进行训练时,可以获取样本集,该样本集中包括了样本印章图像,以及每个样本印章图像中印章包括的标准文字。在本申请实施例中,可以针对样本集中的每个样本印章图像,将该样本印章图像输入到第一预训练模型中,得到第二特征矩阵,并将该第二特征矩阵输入到第二预训练模型中,第二预训练模型对该特征矩阵进行处理,得到该样本印章图像中的印章包括的识别文字。在得到识别文字之后,可以根据该样本印章图像对应的识别文字和标准文字,确定损失值,并基于该损失值对第一预训练子模型和第二预训练子模型中的参数进行调整,从而得到识别模型。需要说明的是,如何对预训练模型进行微调训练为现有技术,本申请实施例对微调训练过程不再赘述。
在本申请实施例中,样本集中可以包括手写体文本的样本印章图像和打印体文本的样本印章图像,其中手写体文本的样本印章图像可以理解为在票据中所填写的内容为手写体文本,打印体文本的样本印章图像可以理解为在票据中所填写的内容为打印体文本。
本申请实施例中,针对文字检测与识别方法数据标注难的问题,通过端到端方式训练得到识别模型,将文字检测和文字识别融合在一起,摆脱了对大量标注数据的依赖,使得模型更容易更新迭代。
为了进一步提高印章识别的准确率,在上述各实施例的基础上,在本申请实施例中,所述样本集的构建过程包括:
获取预设数量的第二印章图像;
针对每个第二印章图像,在预先保存的图像变换方式中随机选取任一目标图像变换方式,对该第二印章图像进行所述目标图像变换方式的变换,得到目标印章图像,将所述目标印章图像和该第二印章图像均作为样本印章图像一起保存在所述样本集中。
为了增加训练数据和微调数据的变化,在本申请实施例中,可以获取预设数量的第二印章图像,其中,该第二印章图像可以是在公开的图像集中获取到的,也可以是图像采集设备采集到的,还可以是图像生成模型所生成的,本申请实施例对此不进行限制。
在得到了预设数量的第二印章图像之后,可以对该预设数量的第二印章图像进行图像变换,以增加训练数据。可以针对每个第二印章图像,对该第二印章图像进行图像变换,得到目标印章图像,该目标印章图像也可以作为样本集中的一个样本印章图像。
在本申请实施例中,可以预先保存多种图像变换方式,在对某一个第二印章图像进行图像变换时,可以在预先保存多种图像变换方式中,随机选取一个变换方式对该图像进行变换。在本申请实施例中,图像变换方式可以包括随机旋转、高斯模糊、图像膨胀、图像腐蚀、下采样、添加下划线、保持原样中机会均等。
本申请上述实施例所提供的印章识别方法,使用了一种基于单据分类和印章标准化信息比对的融合印章文字识别方法,在端到端印章文字识别方法基础上,引入单据分类和单据解析结果。不仅省去了数据标注的麻烦,还辅以单据分类和印章标准化信息比对得到的信息,缩小了匹配范围,提高了印章识别准确率。
实施例5:
在上述各实施例的基础上,图2为本申请实施例提供的一种印章识别装置结构示意图,该装置包括:
获取模块201,用于获取待识别票据的票据图像中,印章所在区域的第一印章图像;
识别模块202,用于将所述第一印章图像输入到预先训练完成的识别模型中,所述识别模型中的第一子模型对所述第一印章图像进行特征提取,得到所述第一印章图像对应的第一特征矩阵;所述识别模型中的第二子模型对所述第一特征矩阵进行处理,得到所述第一印章图像中的印章包括的目标文字。
在一种可能的实施方式中,所述装置还包括:
分类模块203,用于对所述票据图像进行分类处理,确定所述票据图像对应的目标单据类别;
确定模块204,用于根据预先保存的不同单据类别与印章底库之间的对应关系,确定所述目标单据类别对应的目标印章底库;对所述目标文字进行特征提取,确定所述目标文字对应的第一特征向量;根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识。
在一种可能的实施方式中,所述确定模块204,具体用于若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度中,存在大于预设阈值的目标相似度,则将所述目标相似度对应的印章的标识确定为所述目标印章标识。
在一种可能的实施方式中,所述装置还包括:
输出模块205,用于若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则输出匹配失败的提示信息,并将所述目标文字输出。
在一种可能的实施方式中,所述确定模块204,还用于根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定所述目标印章标识对应的目标印章标准化信息;若所述目标文字中存在所述目标印章标准化信息,则确定所述目标文字识别准确。
在一种可能的实施方式中,所述确定模块204,还用于若所述目标文字中不存在所述目标印章标准化信息,则确定所述目标文字识别有误,并使用所述目标印章标准化信息对所述目标文字中对应的信息进行更新。
在一种可能的实施方式中,初始识别模型包括第一预训练子模型和第二预训练子模型,所述获取模块201,还用于获取样本集,所述样本集中包括样本印章图像,及每个样本印章图像中印章包括的标准文字;
训练模块206,用于针对所述样本集中的每个样本印章图像,将该样本印章图像和对应的标准文字输入到所述第一预训练子模型中,得到第二特征矩阵;将所述第二特征矩阵输入到所述第二预训练子模型中,得到该样本印章图像中印章包括的识别文字;根据所述标准文字和所述识别文字,确定损失值,并基于所述损失值对所述第一预训练子模型和所述第二预训练子模型中的参数进行调整,得到所述识别模型。
在一种可能的实施方式中,所述获取模块201,还用于获取预设数量的第二印章图像;
图像变换模块207,用于针对每个第二印章图像,在预先保存的图像变换方式中随机选取任一目标图像变换方式,对该第二印章图像进行所述目标图像变换方式的变换,得到目标印章图像,将所述目标印章图像和该第二印章图像均作为样本印章图像一起保存在所述样本集中。
实施例6:
在上述实施例的基础上,本申请实施例还提供了一种电子设备,图3为本申请实施例提供的一种电子设备结构示意图,如图3所示,包括:处理器301、通信接口302、存储器303和通信总线308,其中,处理器301,通信接口302,存储器303通过通信总线308完成相互间的通信;
存储器303中存储有计算机程序,当程序被处理器301执行时,使得处理器301执行如下步骤:
获取待识别票据的票据图像中,印章所在区域的第一印章图像;
将所述第一印章图像输入到预先训练完成的识别模型中,所述识别模型中的第一子模型对所述第一印章图像进行特征提取,得到所述第一印章图像对应的第一特征矩阵;所述识别模型中的第二子模型对所述第一特征矩阵进行处理,得到所述第一印章图像中的印章包括的目标文字。
在一种可能的实施方式中,所述处理器301还用于:
对所述票据图像进行分类处理,确定所述票据图像对应的目标单据类别;
根据预先保存的不同单据类别与印章底库之间的对应关系,确定所述目标单据类别对应的目标印章底库;
对所述目标文字进行特征提取,确定所述目标文字对应的第一特征向量;
根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识。
在一种可能的实施方式中,所述处理器301还用于:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度中,存在大于预设阈值的目标相似度,则将所述目标相似度对应的印章的标识确定为所述目标印章标识。
在一种可能的实施方式中,所述处理器301还用于:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则输出匹配失败的提示信息,并将所述目标文字输出。
在一种可能的实施方式中,所述处理器301还用于:
根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定所述目标印章标识对应的目标印章标准化信息;
若所述目标文字中存在所述目标印章标准化信息,则确定所述目标文字识别准确。
在一种可能的实施方式中,所述处理器301还用于:
若所述目标文字中不存在所述目标印章标准化信息,则确定所述目标文字识别有误,并使用所述目标印章标准化信息对所述目标文字中对应的信息进行更新。
在一种可能的实施方式中,初始识别模型包括第一预训练子模型和第二预训练子模型,所述处理器301还用于:
获取样本集,所述样本集中包括样本印章图像,及每个样本印章图像中印章包括的标准文字;
针对所述样本集中的每个样本印章图像,将该样本印章图像和对应的标准文字输入到所述第一预训练子模型中,得到第二特征矩阵;将所述第二特征矩阵输入到所述第二预训练子模型中,得到该样本印章图像中印章包括的识别文字;
根据所述标准文字和所述识别文字,确定损失值,并基于所述损失值对所述第一预训练子模型和所述第二预训练子模型中的参数进行调整,得到所述识别模型。
在一种可能的实施方式中,所述处理器301还用于:
获取预设数量的第二印章图像;
针对每个第二印章图像,在预先保存的图像变换方式中随机选取任一目标图像变换方式,对该第二印章图像进行所述目标图像变换方式的变换,得到目标印章图像,将所述目标印章图像和该第二印章图像均作为样本印章图像一起保存在所述样本集中。
由于上述电子设备解决问题的原理与印章识别方法相似,因此上述电子设备的实施可以参见方法的实施例,重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口302用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(RandomAccess Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字指令处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例7:
在上述各实施例的基础上,本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质内存储有可由处理器执行的计算机程序,当程序在处理器上运行时,使得处理器执行时实现如下步骤:
获取待识别票据的票据图像中,印章所在区域的第一印章图像;
将所述第一印章图像输入到预先训练完成的识别模型中,所述识别模型中的第一子模型对所述第一印章图像进行特征提取,得到所述第一印章图像对应的第一特征矩阵;所述识别模型中的第二子模型对所述第一特征矩阵进行处理,得到所述第一印章图像中的印章包括的目标文字。
在一种可能的实施方式中,所述方法还包括:
对所述票据图像进行分类处理,确定所述票据图像对应的目标单据类别;
根据预先保存的不同单据类别与印章底库之间的对应关系,确定所述目标单据类别对应的目标印章底库;
对所述目标文字进行特征提取,确定所述目标文字对应的第一特征向量;
根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识。
在一种可能的实施方式中,所述根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识包括:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度中,存在大于预设阈值的目标相似度,则将所述目标相似度对应的印章的标识确定为所述目标印章标识。
在一种可能的实施方式中,所述方法还包括:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则输出匹配失败的提示信息,并将所述目标文字输出。
在一种可能的实施方式中,所述方法还包括:
根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定所述目标印章标识对应的目标印章标准化信息;
若所述目标文字中存在所述目标印章标准化信息,则确定所述目标文字识别准确。
在一种可能的实施方式中,所述方法还包括:
若所述目标文字中不存在所述目标印章标准化信息,则确定所述目标文字识别有误,并使用所述目标印章标准化信息对所述目标文字中对应的信息进行更新。
在一种可能的实施方式中,初始识别模型包括第一预训练子模型和第二预训练子模型,对所述初始识别模型进行训练得到所述识别模型的过程包括:
获取样本集,所述样本集中包括样本印章图像,及每个样本印章图像中印章包括的标准文字;
针对所述样本集中的每个样本印章图像,将该样本印章图像和对应的标准文字输入到所述第一预训练子模型中,得到第二特征矩阵;将所述第二特征矩阵输入到所述第二预训练子模型中,得到该样本印章图像中印章包括的识别文字;
根据所述标准文字和所述识别文字,确定损失值,并基于所述损失值对所述第一预训练子模型和所述第二预训练子模型中的参数进行调整,得到所述识别模型。
在一种可能的实施方式中,所述样本集的构建过程包括:
获取预设数量的第二印章图像;
针对每个第二印章图像,在预先保存的图像变换方式中随机选取任一目标图像变换方式,对该第二印章图像进行所述目标图像变换方式的变换,得到目标印章图像,将所述目标印章图像和该第二印章图像均作为样本印章图像一起保存在所述样本集中。
由于上述计算机可读存储介质解决问题的原理与印章识别方法相似,因此上述计算机可读存储介质的实施可以参见方法的实施例,重复之处不再赘述。
实施例8:
本申请实施例还提供了一种计算机程序产品,该计算机程序产品被计算机执行时实现上述应用于电子设备的任一方法实施例所述的印章识别方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令,在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。
由于在本申请实施例中,获取待识别票据的票据图像中,印章所在区域的第一印章图像,并将该第一印章图像输入到预先训练完成的识别模型中,由识别模型中的第一子模型对第一印章图像进行特征提取,得到第一印章图像对应的第一特征矩阵,识别模型中的第二子模型再对该第一特征矩阵进行处理,得到第一印章图像中的印章包括的目标文字,也就是说,本申请实施例中在得到票据图像中印章所在区域的第一印章图像之后,直接基于识别模型对第一印章图像中的印章进行识别,得到印章中包括的目标文字,实现了自动化识别印章文字,无需人工参与,提高了工作效率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (19)

1.一种印章识别方法,其特征在于,所述方法包括:
获取待识别票据的票据图像中,印章所在区域的第一印章图像;
将所述第一印章图像输入到预先训练完成的识别模型中,所述识别模型中的第一子模型对所述第一印章图像进行特征提取,得到所述第一印章图像对应的第一特征矩阵;所述识别模型中的第二子模型对所述第一特征矩阵进行处理,得到所述第一印章图像中的印章包括的目标文字。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述票据图像进行分类处理,确定所述票据图像对应的目标单据类别;
根据预先保存的不同单据类别与印章底库之间的对应关系,确定所述目标单据类别对应的目标印章底库;
对所述目标文字进行特征提取,确定所述目标文字对应的第一特征向量;
根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识包括:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度中,存在大于预设阈值的目标相似度,则将所述目标相似度对应的印章的标识确定为所述目标印章标识。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则输出匹配失败的提示信息,并将所述目标文字输出。
5.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定所述目标印章标识对应的目标印章标准化信息;
若所述目标文字中存在所述目标印章标准化信息,则确定所述目标文字识别准确。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若所述目标文字中不存在所述目标印章标准化信息,则确定所述目标文字识别有误,并使用所述目标印章标准化信息对所述目标文字中对应的信息进行更新。
7.根据权利要求1所述的方法,其特征在于,初始识别模型包括第一预训练子模型和第二预训练子模型,对所述初始识别模型进行训练得到所述识别模型的过程包括:
获取样本集,所述样本集中包括样本印章图像,及每个样本印章图像中印章包括的标准文字;
针对所述样本集中的每个样本印章图像,将该样本印章图像和对应的标准文字输入到所述第一预训练子模型中,得到第二特征矩阵;将所述第二特征矩阵输入到所述第二预训练子模型中,得到该样本印章图像中印章包括的识别文字;
根据所述标准文字和所述识别文字,确定损失值,并基于所述损失值对所述第一预训练子模型和所述第二预训练子模型中的参数进行调整,得到所述识别模型。
8.根据权利要求7所述的方法,其特征在于,所述样本集的构建过程包括:
获取预设数量的第二印章图像;
针对每个第二印章图像,在预先保存的图像变换方式中随机选取任一目标图像变换方式,对该第二印章图像进行所述目标图像变换方式的变换,得到目标印章图像,将所述目标印章图像和该第二印章图像均作为样本印章图像一起保存在所述样本集中。
9.一种印章识别装置,其特征在于,所述转置包括:
获取模块,用于获取待识别票据的票据图像中,印章所在区域的第一印章图像;
识别模块,用于将所述第一印章图像输入到预先训练完成的识别模型中,所述识别模型中的第一子模型对所述第一印章图像进行特征提取,得到所述第一印章图像对应的第一特征矩阵;所述识别模型中的第二子模型对所述第一特征矩阵进行处理,得到所述第一印章图像中的印章包括的目标文字。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
分类模块,用于对所述票据图像进行分类处理,确定所述票据图像对应的目标单据类别;
确定模块,用于根据预先保存的不同单据类别与印章底库之间的对应关系,确定所述目标单据类别对应的目标印章底库;对所述目标文字进行特征提取,确定所述目标文字对应的第一特征向量;根据所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度,确定所述第一印章图像中的印章对应的目标印章标识。
11.根据权利要求10所述的装置,其特征在于,所述确定模块,具体用于若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度中,存在大于预设阈值的目标相似度,则将所述目标相似度对应的印章的标识确定为所述目标印章标识。
12.根据权利要求10所述的装置,其特征在于,所述装置还包括:
输出模块,用于若所述第一特征向量与所述目标印章底库中每个印章对应的第二特征向量之间的相似度均不大于预设阈值,则输出匹配失败的提示信息,并将所述目标文字输出。
13.根据权利要求10或11所述的装置,其特征在于,所述确定模块,还用于根据预先保存的不同印章标识与印章标准化信息之间的对应关系,确定所述目标印章标识对应的目标印章标准化信息;若所述目标文字中存在所述目标印章标准化信息,则确定所述目标文字识别准确。
14.根据权利要求13所述的装置,其特征在于,所述确定模块,还用于若所述目标文字中不存在所述目标印章标准化信息,则确定所述目标文字识别有误,并使用所述目标印章标准化信息对所述目标文字中对应的信息进行更新。
15.根据权利要求9所述的装置,其特征在于,初始识别模型包括第一预训练子模型和第二预训练子模型,所述获取模块,还用于获取样本集,所述样本集中包括样本印章图像,及每个样本印章图像中印章包括的标准文字;
训练模块,用于针对所述样本集中的每个样本印章图像,将该样本印章图像和对应的标准文字输入到所述第一预训练子模型中,得到第二特征矩阵;将所述第二特征矩阵输入到所述第二预训练子模型中,得到该样本印章图像中印章包括的识别文字;根据所述标准文字和所述识别文字,确定损失值,并基于所述损失值对所述第一预训练子模型和所述第二预训练子模型中的参数进行调整,得到所述识别模型。
16.根据权利要求15所述的装置,其特征在于,所述获取模块,还用于获取预设数量的第二印章图像;
图像变换模块,用于针对每个第二印章图像,在预先保存的图像变换方式中随机选取任一目标图像变换方式,对该第二印章图像进行所述目标图像变换方式的变换,得到目标印章图像,将所述目标印章图像和该第二印章图像均作为样本印章图像一起保存在所述样本集中。
17.一种电子设备,其特征在于,所述电子设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-8任一所述印章识别方法的步骤。
18.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-8中任一所述印章识别方法的步骤。
19.一种计算机程序产品,其特征在于,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行上述如权利要求1-8中任一所述印章识别方法的步骤。
CN202311349414.0A 2023-10-18 2023-10-18 一种印章识别方法、装置、设备及介质 Pending CN117274969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311349414.0A CN117274969A (zh) 2023-10-18 2023-10-18 一种印章识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311349414.0A CN117274969A (zh) 2023-10-18 2023-10-18 一种印章识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117274969A true CN117274969A (zh) 2023-12-22

Family

ID=89214292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311349414.0A Pending CN117274969A (zh) 2023-10-18 2023-10-18 一种印章识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117274969A (zh)

Similar Documents

Publication Publication Date Title
CN110704633B (zh) 命名实体识别方法、装置、计算机设备及存储介质
EP3432197B1 (en) Method and device for identifying characters of claim settlement bill, server and storage medium
CN111695439A (zh) 图像结构化数据提取方法、电子装置及存储介质
CN110705952A (zh) 一种合同审核方法及装置
CN112464845B (zh) 票据识别方法、设备及计算机存储介质
CN112668640B (zh) 一种文本图像质量评估方法、装置、设备及介质
CN111626177A (zh) 一种pcb元件识别方法及装置
CN113177435A (zh) 试卷分析方法、装置、存储介质及电子设备
CN110458162B (zh) 一种智能提取图像文字信息的方法
CN111462388A (zh) 一种票据检验方法、装置、终端设备及存储介质
Akanksh et al. Automated invoice data extraction using image processing
CN111414889B (zh) 基于文字识别的财务报表识别方法及装置
CN112686263A (zh) 文字识别方法、装置、电子设备及存储介质
CN117274969A (zh) 一种印章识别方法、装置、设备及介质
CN116110066A (zh) 票据文本的信息提取方法、装置、设备及存储介质
CN116030469A (zh) 一种处理方法、装置、设备和计算机可读存储介质
CN115713063A (zh) 文档转换方法、装置、设备及存储介质
AU2020418619A1 (en) Domain based text extraction
CN111078869A (zh) 基于神经网络对金融网站进行分类的方法及装置
CN115204176B (zh) 命名实体识别方法、系统及存储介质
CN117076596B (zh) 应用人工智能的数据存储方法、装置及服务器
US20240020473A1 (en) Domain Based Text Extraction
CN112163555A (zh) 铭文的识别方法、存储介质和计算机设备
CN116341511A (zh) 一种基于多识别引擎的自动批改判分方法及装置
CN117541405A (zh) 保单信息提取方法、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination