CN115984891A - 票据识别设备和方法 - Google Patents

Abstract

本发明提供了一种票据识别设备和方法，票据识别设备包括：用于获取票据图像的图像读取装置，和对所述票据图像进行处理的处理装置，其中，所述处理装置包括：图像预处理装置，用于对获取到的票据图像进行预处理，以获得降噪后的票据图像数据；定位装置，用于从所述票据图像数据中获取票据图像的位置数据；文字处理装置、图像处理装置和编码处理装置，用于根据所述票据图像数据和位置数据分别进行图像处理、文字处理和编码处理以分别识别出票据中的文字信息、图像信息和编码信息。本发明的方案能够根据训练模型对票据图像进行有效而准确的识别，能够大大增加票据处理平台的处理效率。

Description

票据识别设备和方法

技术领域

本发明属于图像识别领域，具体涉及票据识别的方法和设备。

背景技术

随着科技的不断发展，最近几年市面上图像识别的产品越来越多。图像识别是一种基于深度学习的人工智能技术。该技术在医疗影像识别、森林防火、救灾救援、安保安防等领域有着广泛的应用。

目前，市面上票据识别软件，通常基于B/S模式，在互联网传输的过程中，不但被网速与网络稳定性所制约，而且存在泄漏敏感数据的风险；另外服务器通常需要采购昂贵的硬件设备，造成系统整体费用偏高。

因此，现有技术需要一种能够有效并且准确识别票据的设备或系统。

上述在背景部分公开的信息仅用于对本发明的背景做进一步的理解，因此它可以包含对于本领域普通技术人员已知的不构成现有技术的信息。

发明内容

本发明涉及一种票据识别的方法和设备。本发明的方案能够根据训练模型对票据图像进行有效而准确的识别，能够大大增加票据处理平台的处理效率。

本发明的第一方面提供了一种票据识别设备，其特征在于，所述票据识别设备包括：用于获取票据图像的图像读取装置，和对所述票据图像进行处理的处理装置，其中，所述处理装置包括：图像预处理装置，用于对获取到的票据图像进行预处理，以获得降噪后的票据图像数据；定位装置，用于从所述票据图像数据中获取票据图像的位置数据；文字处理装置、图像处理装置和编码处理装置，用于根据所述票据图像数据和位置数据分别进行图像处理、文字处理和编码处理以分别识别出票据中的文字信息、图像信息和编码信息。

根据本发明的一个实施例，所述处理装置中还包括与所述文字处理装置、图像处理装置和编码处理装置相耦合训练装置，所述训练装置根据文字训练模型、定位训练模型、图像训练模型和编码训练模型来对所述票据图像数据和位置数据进行处理，并将处理结果输出到所述文字处理装置、图像处理装置和编码处理装置以识别票据图像中的文字信息、图像信息和编码信息。

根据本发明的一个实施例，所述图像处理装置还用于根据图像训练模型中的样本对变形的票据图像还原成正规的矩形，并进一步对票据图像因为折皱造成的阴影做降噪处理。

根据本发明的一个实施例，所述编码处理装装置包括模糊编码修复装置，所述模糊编码修复装置对所述票据图像中的编码图像进行分块，并对每个块中图像使用卷积滤波器进行图像处理，将模糊的未知编码图像的卷积和进行均值化以得到最终的模糊卷积核，并进行傅里叶变换后得到模糊后的图像，将所述模糊后的图像输入训练装置中的输入卷积对抗循环网络中的训练模型，从而获得增强的票据中的编码图像，以供编码识别装置来识别。

根据本发明的一个实施例，所述处理装置还包括输出装置，所述输出装置用于整合识别出的文字信息、图像信息和编码信息，输出和用户需求相匹配的电子数据。

根据本发明的一个实施例，所述文字训练模型为神经网络模型可以使用基于栅格、基于图结构或基于端到端的神经网络模型。

根据本发明的一个实施例，所述文字训练模型为卷积循环神经网络模型CRNN。

根据本发明的一个实施例，其中在所述文字处理装置、编码处理装置中，使用yoloV7或DBNet模型定位所述票据图像中的文字与编码位置，并且使用backbone的剪枝操作来减少yoloV7或DBNet模型的参数。

根据本发明的一个实施例，所述CRNN模型中采用的损失函数L为：其中，而L_s为CRNN中softmax损失结果，L_c为中心损失Center Loss，使用参数λ控制Softmax损失和中心损失的比重，m表示mi n i-batch的包含的样本数量，n表示类别数，l og函数的输入就表示x_i属于类别y_i的概率，W和b为神经网络中的权重和偏置参数。

根据本发明的一个实施例，其中所述yo loV7或DBNet模型的损失函数为：L＝L_s+a×L_b+β×L_t其中：L_s为概率图损失，L_b为二值化图的损失，L_t为阈值图的损失,其中α和β为系数。

根据本发明的一个实施例，其中，所述编码处理装置使用在Zbar算法的基础上结合中值滤波和高斯滤波的操作来实现票据图像中编码的识别。

本发明的第二方面提供了一种票据处理方法，其特征在于，所述方法包括：S1:对获取到的票据图像进行预处理，以获得降噪后的票据图像数据；例如通过手机拍照，扫描仪扫描，视频抓拍等方式，得到需要识别的图像；S2：对降噪后的票据图像进行定位处理，已获得票据图像的位置数据；S3：根据所述票据图像数据和位置数据进行图像处理、文字处理和编码处理以识别出票据中的文字信息、图像信息和编码信息；S4：整合所述文字信息、图像信息和编码信息输出和用户需求相匹配的电子数据。

根据本发明的一个实施例，所述S1还包括：根据获取图像中的图像光源和/或曝光度确定票据图像是否合法或合规，如果合法或合规，则进行预处理，如果不合法或不合规则，则不处理所述票据图像。

根据本发明的一个实施例，其中所述S2还包括：对检测图像中是否包含票据，判断票据的位置并且剪裁票据。根据本发明的一个实施例，根据本发明的一个实施例，，所述S3还包括：根据文字训练模型、定位训练模型、图像训练模型和编码训练模型来对所述票据图像数据和位置数据进行处理，以识别票据中的文字信息、图像信息和编码信息。

根据本发明的一个实施例，其中所述S3还包括：在图像处理中还包括在图像训练模型中的样本对变形的票据还原成正规的矩形，进一步对票据图像因为折皱造成的阴影做降噪处理。

根据本发明的一个实施例，其中所述S3还包括：在编码处理中，对所述票据图像中的编码图像进行分块，并对每个块中图像使用卷积滤波器进行图像处理，将模糊的未知编码图像的卷积和进行均值化以得到最终的模糊卷积核，并进行傅里叶变换后得到模糊后的图像，将所述模糊后的图像输入卷积对抗循环网络中的训练模型，从而获得增强的票据中的编码图像，以识别票据图像中的编码。

根据本发明的一个实施例，所述S4还包括，对识别出的票据图像中的文字、图像、编码等信息进行校验，如果校验通过，则输出和用户需求相匹配的电子数据。

本发明的票据识别设备和方法能够基于国产化平台的票据识别客户端，解决国产化平台对增值税发票、出租车票、定额发票等票据的识别。本发明的识别方案中，通过“图像预处理装置”、“定位处理装置”、“图像处理装置”、“编码处理装置”、“文字识别模块”依次对票据图像进行处理。图像依次通过以上装置的加工，最终识别出票据票面内容。本发明的设备可以使用各种软件和硬件平台开发，能够部署在国产化软、硬件平台运行，包括但不限于国产飞腾处理、麒麟操作系统等。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图进行简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个示例性实施例的票据识别设备的示意图。

图2是根据本发明一个示例性实施例的票据识别方法的流程图。

图3是根据本发明一个示例性实施例的票据识别装置的示意图。

具体实施例

如在本文中所使用的，词语“第一”、“第二”等可以用于描述本发明的示例性实施例中的元件。这些词语只用于区分一个元件与另一元件，并且对应元件的固有特征或顺序等不受该词语的限制。除非另有定义，本文中使用的所有术语(包括技术或科学术语)具有与本发明所属技术领域的普通技术人员通常理解的含意相同的含意。如在常用词典中定义的那些术语被解释为具有与相关技术领域中的上下文含意相同的含意，而不被解释为具有理想或过于正式的含意，除非在本发明中被明确定义为具有这样的含意。

本领域的技术人员将理解的是，本文中描述的且在附图中说明的本发明的装置和方法是非限制性的示例性实施例，并且本发明的范围仅由权利要求书限定。结合一个示例性实施例所说明或描述的特征可与其他实施例的特征组合。这种修改和变化包括在本发明的范围内。

下文中，将参考附图详细描述本发明的示例性实施例。在附图中，省略相关已知功能或配置的详细描述，以避免不必要地遮蔽本发明的技术要点。另外，通篇描述中，相同的附图标记始终指代相同的电路、模块或单元，并且为了简洁，省略对相同电路、模块或单元的重复描述。

此外，应当理解一个或多个以下方法或其方面可以通过至少一个控制单元或控制器执行。术语“控制单元”，“控制器”,“控制模块”或者“主控模块”可以指代包括存储器和处理器的硬件设备。存储器或者计算机可读存储介质配置成存储程序指令，而处理器具体配置成执行程序指令以执行将在以下进一步描述的一个或更多进程。而且，应当理解，正如本领域普通技术人员将意识到的，以下方法可以通过包括处理器并结合一个或多个其他部件来执行。

图1是根据本发明一个示例性实施例的票据识别设备的示意图。

如图1所示，票据识别设备100包括票据图像读取装置101和处理装置102，其中图像读取装置101可以为摄像机或者光学扫描设备，或者为用户自定义的图像输入设备，图像输入设备可以获取一个或多个票据的图像，其中输入的票据的图像包括以下：

通用场景一般的票据(例如印章、二维码、数字表格等)，卡证的图像、交通场景中的图像(例如车牌、交通相关处理票据、快递单等)、财务票据、医疗票据、防疫场景的相关的图像、教育场景的相关票据等。这里仅仅列出了一些常用的票据，本发明的图像获取装置获取的图像并不限于上述场景的票据，在这里不一一赘述。

根据本发明的一个或多个实施例，其中，处理装置可以根据图像获取装置获取的票据信息数据进行处理，以获得用户想要的输出的形式，其中输出形式可以包括，文字、经过处理的图像、相关的二维码或条形码等。

根据本发明的一个或多个实施例，输出装置还可以根据用户自定义的列表或文档格式来进行输出满足用户需求的电子数据。

根据本发明的一个或多个实施例，其中票据识别设备100可以作为一个单独设备来实现，即图像读取装置101和处理装置02可以集成为一个单独的设备；票据识别设备100也可以采用分布式部署的方式，图像读取装置101作为终端的形式来部署，通过网络来连接处理装置102，处理装置可以部署为网络上的服务器来进行处理。

根据本发明的一个或多个实施例，处理装置102包括图像预处理装置201、定位装置202、图像处理装置203、文字处理装置204、编码处理装置205(或条形码处理装置)和输出装置206。

根据本发明的一个或多个实施例，其中，图像预处理装置201可以对输入的票据图像数据进行图像进行预处理，通过判断图像光源、曝光度等数值来确定输入的图像数据是合法或合规的数据，如果合规则对图像进行初步的降噪处理，通过图像预处装置201处理后，能够消除票据图像信息中无关的信息，恢复有用的真实信息，增强票据相关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。

根据本发明的一个或多个实施例，定位装置202用于检测图像中是否包含票据，判断票据的位置并且剪裁，从而精确确定票据的位置，其中定位装置202在检测图像中是否包含票据时，采用训练装置207中训练的图像检测模型来进行判定，在对票据的位置进行裁剪时，采用训练装置207中的训练号的票据定位模型来进行判定。

根据本发明的一个或多个实施例，在对票据图像位置进行确定时，定位装置202获取票据图像中相关特征点参数，例如，票据抬头的位置特征等，同时获取训练装置中定位训练模型相应的票据模板中的尺寸信息和特征点参数，由于在票据图像和训练模型中的模板进行比对的过程中可能会发生偏移，定位装置202通过仿射变换矩阵计算来确定两者的位置差异即偏转角度，并根据所计算出的位置差异和偏转角度来调整并校正该降噪后的票据图像。

根据本发明的一个或多个实施例，图像处理装置203用于对确定位置后的经过预处理的票据图像进行处理，通过调用训练终止的票据图像识别模型，可以确定票据图像中的票据的类型，并且根据票据图像识别模型中的样本图像来对经过预处理的票据图像进行对图片中票据提取主体内容并对其进行矫正，同时可选图片增强效果进一步提升图片清晰度，达到主体检测矫正并增强的目的，提升图片整体质量。

根据本发明的一个或多个实施例，其中，图像处理装置203还可以根据图像训练模型来去除票据图片中的多余文字或图像特征(例如手写内容)，保留印刷体内容；另外，图像处理装置203还可以根据图像训练模型中的样本来去除票据中的摩尔纹(可能由于翻拍电脑、手机等显示屏照片造成)，增强票据的清晰度，并对票据图像进行还原。此外，图像处理装置还可以根据图像训练模型中的样本对变形的票据还原成正规的矩形，并且使用HSV算法，对图像中因折皱形成的阴影做进一步降噪处理。HSV为另一个颜色表示空间，RGB颜色模型都是面向硬件的，而HSV(Hue Saturation Val ue)颜色模型是面向用户的。HSV模型的三维表示从RGB立方体演化而来。从RGB沿立方体对角线的白色顶点向黑色顶点观察，就可以看到立方体的六边形外形。六边形边界表示色彩，水平轴表示纯度，明度沿垂直轴测量。

根据本发明的一个或多个实施例，文字处理装置204对票据图像数据中文字进行识别，将经过预处理后产生的票据文本特征向量输入经过训练的文字识别模型，来对票据图像中的文本进行检测识别，得到票据图像对应的全量文本信息。其中，在文字识别的过程中，输入文本识别训练模型的文本文字特征向量携带有具体文字在票据图像中的位置坐标信息，在经过文字识别后，输出文本或文字特征向量中携带有相应的文字坐标信息。

根据本发明的一个或多个实施例，编码处理装置205用于对票据图像中的编码(例如二维码或条形码)进行识别，并输出编码中相关的信息。其中编码识别装置根据编码训练模型中的编码样本来进行识别，其中编码训练模型是对市面上各种票据中所含的编码进行训练，以对输入的票据表面进行识别。

根据本发明的一个或多个实施例，其中，在编码处理装置205中还包括模糊编码修复装置305，模糊编码修复装置305获取编码图像中的图像特征向量，对编码图像进行分块，并对每个块中图像使用卷积滤波器进行图像处理，将模糊的未知图像的卷积和进行均值化得到最终的模糊卷积核，并进行傅里叶变换后得到模糊后的图像，将所述模糊后的图像训练装置中的输入卷积对抗循环网络中的训练模型，从而获得增强的票据中的编码图像，以供编码识别装置来识别。

根据本发明的一个或多个实施例，编码处理装置和文字处理装置可以采用使用改进过的yo loV7、DBNet模型定位图像中的文字与二维码位置，根据二维码和文字的位置，分辨出是何种票据，对文字定位的误差做修正处理。编码处理装置和文字处理装置原有模型的基础上，进行了backbone的剪枝操作，减小了模型的参数，提高的模型的运算效率，大大降低了识别所用的时间。

其中在编码处理装置和文字处理装置中，所用神经网络模型yo loV7、DBNet中的损失函数可由三部分组成：

L＝L_s+α×L_b+β×L_t

其中：L_s为概率图损失，L_b为二值化图的损失，L_t为阈值图的损失,其中α和β为系数。α和β的取值范围可为0.01～0.1。

根据本发明的一个或多个实施例，编码处理装置把裁剪的二维码图像送入二维码识别的模块中，使用优化过的Zbar进行识别。即：在Zbar的基础上，加上了中值滤波还有高斯滤波等操作，进一步提高二维码识别的准确率。现有的二维码处理主要有两种方案，一是zbar，另一种是zxing。zbar是基于c语音实现的，可以做到跨平台使用，这种方式扫码较快，但是其不提供生成二维码的功能。zxi ng是基于纯java编写的，可生成二维码，但是识别二维码速度比zbar慢，对焦比较麻烦，带给用户的体验很不理想，因此本发明采用优化过的Zbar来识别二维码

根据本发明的一个或多个实施例，其中文字处理装置可以采用CRNN(卷积循环神经网络)模型，其是目前较为流行的图文识别模型，可识别较长的文本序列。它包含CNN特征提取层和BLSTM序列特征提取层，能够进行端到端的联合训练。它利用BLSTM和CTC部件学习字符图像中的上下文关系，从而有效提升文本识别准确率，使得模型更加鲁棒。预测过程中，前端使用标准的CNN网络提取文本图像的特征，利用BLSTM将特征向量进行融合以提取字符序列的上下文特征，然后得到每列特征的概率分布，最后通过转录层(CTC rule)进行预测得到文本序列。

根据本发明的一个或多个实施例，把图像中裁剪的文字送入文字处理装置，使用改进过的CRNN模型进行识别。并且文字处理装置使用CRNN作为基础，在CRNN的基础上添加了CenterLoss，提高了识别的准确度。在文字处理装置神经网络模型的损失函数为：

Center Loss是通过将特征和特征中心的距离和softmax loss一同作为损失函数，使得类内距离更小。在训练时要使用2个Loss函数：Softmax Loss+λ×Center Loss。

具体地，log函数的输入就是softmax的结果(是概率)，而Ls表示的是softmaxloss的结果(是损失)。wx+b是全连接层的输出，因此log的输入就表示xi属于类别yi的概率。

公式中log函数的输入就是softmax的结果(是概率)，而L_s表示的是softmax loss的结果(是损失)。Wx+b是全连接层的输出，W和b为神经网络中的权重和偏置参数，因此log的输入就表示x_i属于类别y_i的概率。其中Center Loss表示为 表示第y_i个类别的特征中心，x_i表示全连接层之前的特征。实际使用的时候，m表示mini-batch的大小。因此上述公式就是希望一个batch中的每个样本的feature离feature的中心的距离的平方和要越小越好，也就是类内距离要越小越好。因此，损失L的包含softmaxloss(softmax损失)和center loss(中心损失)，用参数λ控制二者的比重，如下式所示。这里的m表示mini-batch的包含的样本数量，n表示类别数。

根据本发明的一个或多个实施例，训练装置207包括用于本发明票据识别中的各种训练模型，例如，定位训练模型301、文字训练模型302、编码训练模型303、图像训练模型304。其中这些训练模型根据票据图像中的样本进行训练，并能够有效识别出票据图像中的文字、图像、位置、和编码。其中，对于模型的训练可以使用机器学习技术，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

根据本发明的一个或多个实施例，对于票据图像的图像训练模型可以基于卷积神经网络模型CNN或区域卷积神经网络模型R-CNN。对于文字识别的神经网络模型可以使用基于栅格(grid-based)、基于图结构(graph-based)和端到端(end-to-end)的神经网络模型，其中基于栅格(grid-based)的学习模型基于图片像素点将图片转换为栅格表示向量，输入到深度学习网络中以学习提取关键信息。基于图结构(graph-based)的学习模型将文档图片看作是由文本切片(textsegment)组成的图结构，并利用神经网络模型来学习出各文本切片间的关系来提取出文档的关键信息内容。基于端到端(end-to-end)的神经网络模型直接从原始图像提取文字信息，采用CNN骨干网络来提取得到文档图片的高层视觉信息，然后利用实体类别感知的注意力网络来学习实体布局信息，最后利用基于LSTM的解码器解码得到预设的实体内容。

根据本发明的一个或多个实施例，编码处理装置和文字处理装置可以采用使用改进过的yoloV7、DBNet模型定位图像中的文字与二维码位置；并且在神经网络模型中采用backbone剪枝操作来减少模型参数。采用在Zbar的基础上加上中值滤波还有高斯滤波的操作的算法来实现二维码的识别，并且采用CRNN网络来进行文字识别。

图2是根据本发明的一个示例性实施例的票据处理方法的示意图。

如图2所示，在步骤S1:对获取到的票据图像进行预处理，以获得降噪后的票据图像数据；例如通过手机拍照，扫描仪扫描，视频抓拍等方式，得到需要识别的图像；

在步骤S2：对降噪后的票据图像进行定位处理，已获得票据图像的位置数据；

在步骤S3：根据所述票据图像数据和位置数据进行图像处理、文字处理和编码处理以识别出票据中的文字信息、图像信息和编码信息；

在步骤S4：整合所述文字信息、图像信息和编码信息输出和用户需求相匹配的电子数据。

其中，在步骤S1中还包括：根据获取图像中的图像光源和/或曝光度确定票据图像是否合法或合规，如果合法或合规，则进行预处理，如果不合法或不合规则，则不处理所述票据图像。例如，票据图像中的光源是正常，曝光度是否在正常范围内，如果所有参数都在阈值范围内，则开始对图像进行一些降噪处理；

其中，在步骤S2中，还包括：对检测图像中是否包含票据，判断票据的位置并且剪裁票据。例如，检测图像中是否包含票据，如果包含票据，则把含有票据的外接矩形区域裁剪下来；

其中，在步骤S3中，还包括：根据文字训练模型、定位训练模型、图像训练模型和编码训练模型来对所述票据图像数据和位置数据进行处理，以识别票据中的文字信息、图像信息和编码信息。

其中，在所述步骤S3中，在图像处理中还包括在图像训练模型中的样本对变形的票据还原成正规的矩形，进一步对票据图像因为折皱造成的阴影做降噪处理。

其中，在所述步骤S3中，在编码处理中，获取编码图像中的图像特征向量，对编码图像进行分块，并对每个块中图像使用卷积滤波器进行图像处理，将模糊的未知图像的卷积和进行均值化得到最终的模糊卷积核，并进行傅里叶变换后得到模糊后的图像，将所述模糊后的图像训练装置中的输入卷积对抗循环网络中的训练模型，从而获得增强的票据中的编码图像，以供编码识别装置来识别。

其中在步骤S4中还包括，对识别出的票据图像中的文字、图像、编码等信息进行校验，如果校验通过，则输出和用户需求相匹配的电子数据。

图3是根据本发明一个示例性实施例的票据识别装置的示意图。

如图3所示，票据识别装置，包括：存储器和处理器；所述存储器，用于存储计算机程序，其中，当处理器执行所述计算机程序时，实现根据上述的票据识别的方法。

根据本发明的一个或多个实施例，还提供了一种票据识别系统，票据识别系统包括了上述的票据识别装置和设备，或使用了上述的票据识别方法。

在本申请所提供的实施例中，应该理解到，所揭露系统、设备、装置或方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

根据本发明的一个或多个实施例，本发明中的方法可以使用存储在非暂时性计算机和/或机器可读介质(例如硬盘驱动器、闪存、只读存储器、光盘、数字多功能磁盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储磁盘)上的编码的指令(例如，计算机和/或机器可读指令)来实现如本发明以上系统中的流程的处理，在非暂时性计算机和/或机器可读介质中存储任何时间期间(例如，延长的时间段、永久的、短暂的实例、临时缓存和/或信息高速缓存)的信息。如本文所使用的，术语“非暂时性计算机可读介质”被明确定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并排除传输介质。

作为本发明示例的上文涉及的附图和本发明的详细描述，用于解释本发明，但不限制权利要求中描述的本发明的含义或范围。因此，本领域技术人员可以很容易地从上面的描述中实现修改。此外，本领域技术人员可以删除一些本文描述的组成元件而不使性能劣化，或者可以添加其它的组成元件以提高性能。此外，本领域技术人员可以根据工艺或设备的环境来改变本文描述的方法的步骤的顺序。因此，本发明的范围不应该由上文描述的实施例来确定，而是由权利要求及其等同形式来确定。

尽管本发明结合目前被认为是可实现的实施例已经进行了描述，但是应当理解本发明并不限于所公开的实施例，而相反的，意在覆盖包括在所附权利要求的精神和范围内的各种修改和等同配置。

Claims (17)

1.一种票据识别设备，其特征在于，所述票据识别设备包括：用于获取票据图像的图像读取装置，和对所述票据图像进行处理的处理装置，其中，所述处理装置包括：

图像预处理装置，用于对获取到的票据图像进行预处理，以获得降噪后的票据图像数据；

定位装置，用于从所述票据图像数据中获取票据图像的位置数据；

文字处理装置、图像处理装置和编码处理装置，用于根据所述票据图像数据和位置数据分别进行图像处理、文字处理和编码处理以分别识别出票据中的文字信息、图像信息和编码信息。

2.根据权利要求1所述的设备，其特征在于，所述处理装置中还包括与所述文字处理装置、图像处理装置和编码处理装置相耦合训练装置，所述训练装置根据文字训练模型、定位训练模型、图像训练模型和编码训练模型来对所述票据图像数据和位置数据进行处理，并将处理结果输出到所述文字处理装置、图像处理装置和编码处理装置以识别票据图像中的文字信息、图像信息和编码信息。

3.根据权利要求1所述的设备，其特征在于，所述图像处理装置还用于根据图像训练模型中的样本对变形的票据图像还原成正规的矩形，并进一步对票据图像因为折皱造成的阴影做降噪处理。

4.根据权利要求1所述的设备，其特征在于，所述编码处理装装置包括模糊编码修复装置，所述模糊编码修复装置对所述票据图像中的编码图像进行分块，并对每个块中图像使用卷积滤波器进行图像处理，将模糊的未知编码图像的卷积和进行均值化以得到最终的模糊卷积核，并进行傅里叶变换后得到模糊后的图像，将所述模糊后的图像输入训练装置中的输入卷积对抗循环网络中的训练模型，从而获得增强的票据中的编码图像，以供编码识别装置来识别。

5.根据权利要求1所述的设备，其特征在于，所述处理装置还包括输出装置，所述输出装置用于整合识别出的文字信息、图像信息和编码信息，输出和用户需求相匹配的电子数据。

6.根据权利要求1所述的设备，其特征在于，所述文字训练模型为卷积循环神经网络模型CRNN。

7.根据权利要求1所述的设备，其特征在于，其中在所述文字处理装置、编码处理装置中，使用yoloV7或DBNet模型定位所述票据图像中的文字与编码位置，并且使用backbone的剪枝操作来减少yoloV7或DBNet模型的参数。

8.根据权利要求6所述的设备，其特征在于，所述CRNN模型中采用的损失函数L为：

其中，而L_s为CRNN中softmax损失结果，L_c为中心损失Center Loss，使用参数λ控制Softmax损失和中心损失的比重，m表示mini-batch的包含的样本数量，n表示类别数，log函数的输入就表示x_i属于类别y_i的概率，W和b为神经网络中的权重和偏置参数。

9.根据权利要求7所述的方法，其中所述yoloV7或DBNet模型的损失函数为：

L＝L_s+α×L_b+β×L_t

其中：L_s为概率图损失，L_b为二值化图的损失，L_t为阈值图的损失,其中α和β为系数。

10.根据权利要求1所述的设备，其中，所述编码处理装置使用在Zbar算法的基础上结合中值滤波和高斯滤波的操作来实现票据图像中编码的识别。

11.一种票据处理方法，其特征在于，所述方法包括：

S1:对获取到的票据图像进行预处理，以获得降噪后的票据图像数据；

S2：对降噪后的票据图像进行定位处理，已获得票据图像的位置数据；

S3：根据所述票据图像数据和位置数据进行图像处理、文字处理和编码处理以识别出票据中的文字信息、图像信息和编码信息；

S4：整合所述文字信息、图像信息和编码信息输出和用户需求相匹配的电子数据。

12.根据权利要求11所述的方法，其中，所述S1还包括：根据获取图像中的图像光源和/或曝光度确定票据图像是否合法或合规，如果合法或合规，则进行预处理，如果不合法或不合规则，则不处理所述票据图像。

13.根据权利要求11所述的方法，其中所述S2还包括：对检测图像中是否包含票据，判断票据的位置并且剪裁票据。

14.根据权利要求11所述的方法，其中，所述S3还包括：根据文字训练模型、定位训练模型、图像训练模型和编码训练模型来对所述票据图像数据和位置数据进行处理，以识别票据中的文字信息、图像信息和编码信息。

15.根据权利要求11所述的方法，其中所述S3还包括：在图像处理中还包括在图像训练模型中的样本对变形的票据还原成正规的矩形，进一步对票据图像因为折皱造成的阴影做降噪处理。

16.根据权利要求11所述的方法，其中所述S3还包括：在编码处理中，对所述票据图像中的编码图像进行分块，并对每个块中图像使用卷积滤波器进行图像处理，将模糊的未知编码图像的卷积和进行均值化以得到最终的模糊卷积核，并进行傅里叶变换后得到模糊后的图像，将所述模糊后的图像输入卷积对抗循环网络中的训练模型，从而获得增强的票据中的编码图像，以识别票据图像中的编码。

17.根据权利要求11所述的方法，其中，所述S4还包括，对识别出的票据图像中的文字、图像、编码等信息进行校验，如果校验通过，则输出和用户需求相匹配的电子数据。

Images