CN111476109A - 票据处理方法、票据处理装置和计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种票据处理方法、票据处理装置和计算机可读存储介质。票据处理方法包括以下步骤：采集票据图像；提取票据图像的位置信息，以获取票据图像的整体定位结果；基于整体定位结果，提取票据图像的边框信息，以获取票据图像的边框定位结果；基于边框定位结果，通过仿射变换还原票据图像的原始形状；根据原始形状，对票据图像进行区域划分，以获取票据图像的分区结果；基于分区结果，对票据图像进行干扰信息去除；检测并识别票据图像中的文本信息，以获得票据内容。本发明能够提高票据识别的准确程度，提高票据统计人员的工作效率，降低人工成本。

Description

票据处理方法、票据处理装置和计算机可读存储介质

技术领域

本发明涉及票据信息处理的技术领域，具体而言，涉及票据处理方法、票据处理装置和计算机可读存储介质。

背景技术

随着计算机技术的发展以及图像处理、深度学习技术的不断进步，越来越广泛的领域通过使用这些先进的技术不断的提高了生产生活的效率以及用户的使用体验。

例如发票的票据的识别、统计、校验、报销一直以来都是各个企业、各级政府财务人员最重要的工作内容，随着社会的进步、经济的发展，需要处理的票据数量也不断的增多。这不断增加了财务人员的工作量，同时由于使用人工长时间进行票据识别时，很容易出现人员疲劳等问题，从而容易导致票据中某些字段的内容识别错误，增加了票据校验的工作量，进而更加重了财务人员的工作负担，降低了工作效率。

相关技术中的其中一项不足是，票据信息处理的准确程度不够理想，导致人工效率低、劳动成本高昂。

发明内容

本发明旨在解决上述技术问题的至少之一。

为此，本发明的第一目的在于提供一种票据处理方法。

本发明的第二目的在于提供一种票据处理装置。

本发明的第三目的在于提供一种计算机可读存储介质。

为实现本发明的第一目的，本发明的实施例提供了一种票据处理方法，包括以下步骤：采集票据图像；提取票据图像的位置信息，以获取票据图像的整体定位结果；基于整体定位结果，提取票据图像的边框信息，以获取票据图像的边框定位结果；基于边框定位结果，通过仿射变换还原票据图像的原始形状；根据原始形状，对票据图像进行区域划分，以获取票据图像的分区结果；基于分区结果，对票据图像进行干扰信息去除；检测并识别票据图像中的文本信息，以获得票据内容。

通过本实施例的技术方案，能够在准确获悉票据图像中票据的具体位置，并根据票据边缘位置对票据进行形状矫正的基础上，准确获知票据的分区信息和文本信息。由此，本实施例能够保证票据内容识别的准确程度，提高票据处理人员的工作效率。

另外，本发明提供的技术方案还可以具有如下附加技术特征：

上述技术方案中，在执行检测并识别票据图像中的文本信息，以获得票据内容的步骤之后，还包括以下步骤：检测并读取票据图像中的编码信息，以根据编码信息获取第一票据内容校验信息；将票据内容的至少一部分和第一票据内容校验信息进行异同比较，以对票据内容的准确程度进行第一校验；其中，编码信息为二维码信息、条形码信息、数字码信息、字符码信息中的至少之一。

本实施例可通过票据中的二维码信息等编码信息对票据进行进一步地校验。

上述任一技术方案中，在执行检测并识别票据图像中的文本信息，以获得票据内容的步骤之后，还包括以下步骤：调取数据库中存储的第二票据内容校验信息，并将票据内容的至少一部分和第二票据内容校验信息进行异同比较，以对票据内容的准确程度进行第二校验。

本实施例可利用数据库当中的信息对识别出的公司名称及其纳税人识别号等票据信息进行校正，最后将识别结果转换为结构化数据存储到数据库中，方便进一步地利用票据数据。

上述任一技术方案中，提取票据图像的位置信息，以获取票据图像的整体定位结果的步骤具体包括：采用目标检测网络模型，提取票据图像中的特征，以获取票据图像的热力图；根据热力图获取票据图像的中心位置信息；基于中心位置，通过特征回归获取票据图像的宽度信息和高度信息；根据中心位置、宽度信息和高度信息，获取票据图像的整体定位结果。

通过本实施例，能够将票据图像中的票据信息从包含桌面、书本等背景的图像中提取出来，从而得到每张票据的位置，由此提高后续识别处理的准确程度。

上述任一技术方案中，基于整体定位结果，提取票据图像的边框信息，以获取票据图像的边框定位结果的步骤具体包括：对票据图像进行图像转灰处理，以获取票据图像灰度图；对票据图像灰度图进行高斯滤波处理，以去除票据图像灰度图中的噪声；提取票据图像灰度图的边缘位置，并通过霍夫线变换提取边缘位置中的标准直线；计算标准直线之间的距离差和角度差，以获取多条隶属同一边缘的直线；将多条隶属同一边缘的直线进行合并，并基于合并结果筛选获得票据图像的边框定位结果。

本实施例能够准确识别票据图像的边缘位置，以供后续进行针对畸变的形状校准。

上述任一技术方案中，根据原始形状，对票据图像进行区域划分，以获取票据图像的分区结果的步骤具体包括：依据数据库中存储的标准票据模板，对票据图像进行区域划分；其中，分区结果包括以下至少之一或其组合：发票号码区域、编码信息区域、发票抬头区域、发票代码区域、开票日期区域、购买方区域、密码区域、购买货物详情区域、购买货物合计区域、价税合计区域、销售方区域、收款人区域、复核人区域和开票人区域。

本实施例的目的在于对票据进行区域划分及处理。在进行区域划分之前，已通过图像处理技术对票据进行了精确定位，并最终得到了位置矫正后的票据图像。由于对每一张不同的票据图像，经过图像校正后都是标准的票据图像，因此只需要依照标准票据模板中的各个不同票据内容区域的位置对校正后票据图像进行划分即可得到每一个票据区域的图像。

上述任一技术方案中，基于分区结果，对票据图像进行干扰信息去除的步骤具体包括：对分区结果中的至少一部分进行图像转灰处理；逐一遍历分区结果中的像素点，将像素点的干扰色转换为非干扰色。

通过以上方式，本实施例能够消除印章、边缘、叠字等问题带来的干扰，以达到提高识别准确程度的目的。

上述任一技术方案中，检测并识别票据图像中的文本信息，以获得票据内容的步骤具体包括：提取票据图像中各个字符的所在位置；根据各个字符的所在位置，对相邻字符进行合并，以获取文本行的所在位置；基于文本行的所在位置，识别票据图像中的文本信息，以获得票据内容。

本实施例能够对票据图像中的文本信息进行高效而准确地识别，以达到提高票据处理准确程度的目的。

为实现本发明的第二目的，本发明的实施例提供了一种票据处理装置，包括：存储器，存储有计算机程序；处理器，执行计算机程序；其中，处理器在执行计算机程序时，实现如本发明任一实施例的票据处理方法的步骤。

本发明实施例的票据处理装置实现如本发明任一实施例的票据处理方法的步骤，因此其具有如本发明任一实施例的票据处理方法的全部有益效果。

为实现本发明的第三目的，本发明的实施例提供了一种计算机可读存储介质，包括：计算机可读存储介质存储有计算机程序，计算机程序被执行时，实现如本发明任一实施例的票据处理方法的步骤。

本发明实施例的计算机可读存储介质实现如本发明任一实施例的票据处理方法的步骤，因此其具有如本发明任一实施例的票据处理方法的全部有益效果。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明实施例的票据处理方法的第一步骤流程图；

图2为本发明实施例的票据处理方法的第二步骤流程图；

图3为本发明实施例的票据处理方法的第三步骤流程图；

图4为本发明实施例的票据处理方法的第四步骤流程图；

图5为本发明实施例的票据处理方法的第五步骤流程图；

图6为本发明实施例的票据处理方法的第六步骤流程图；

图7为本发明实施例的票据处理方法的第七步骤流程图；

图8为本发明实施例的票据处理方法的第八步骤流程图；

图9为本发明实施例的票据处理装置的系统组成示意图；

图10为本发明实施例的票据处理方法的第九步骤流程图。

其中，附图9中的附图标记与部件名称之间的对应关系为：

100：票据处理装置，110：存储器，120：处理器。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图10描述本发明一些实施例的票据处理方法、票据处理装置和计算机可读存储介质。

采用计算机对例如发票的票据信息进行识别和处理，能够极大地方便财务核算人员的日常工作。然而，相关技术中的票据处理方式有着识别准确程度低的不足。

举例而言，相关技术提供了一种基于图像处理的增值税发票识别方法，其属于电子技术领域。该增值税发票识别方法包括：采集发票图像并进行预处理以及几何校正；将矫正后的图像处理成标准尺寸；从处理后的图像上分割出八个文本区域；对于分割出来的八个文本区域，分别分割出其中的文本框；将分割出来的每一个文本框分别输入到光学字符识别(英文名称：Optical Character Recognition，英文简称：OCR)软件当中进行识别，得到其中的文字信息；根据识别出来的信息核对发票金额。该相关技术采用以上技术方案能够避免企业员工因报销时间太长耽误正常工作，对未来实现低成本、高效率的企业运转起到一定的推动作用。相关技术还提供了一种基于图像处理的增值税发票识别方法对发票图像进行预处理以及几何校正的方法，其采用的是对发票图像进行灰度处理，然后通过霍夫变换提取出发票的外边框，裁剪出发票外边框以外的部分，最后根据提取的外边框使用霍夫(英文名称：Hough)变换检测出发票图像的倾斜角，并根据倾斜角进行几何校正。该方法的图像预处理以及集合矫正只采用了传统机器视觉的方法，对发票图像的要求比较高，当发票图像的背景比较复杂，有着其他书本、桌子边缘等干扰时将很难准确的提取出发票的位置。此外，该方法在进行文本识别时，采用了首先划分文本区域，然后在文本区域当中提取出固定的区域作为文本框，最后利用光学字符识别软件对文本框中的内容进行识别。该方法划分文本框时由于使用固定的区域，所以当发票上的文字出现打印倾斜等问题时可能会导致待检测文字在框出的文本框之外，由此导致进一步的文本识别不可能正确识别。此外该方法并没有提供文本自校验功能以及二维码校验功能，在文本识别时并没有考虑到印章以及边框与待检测文字会出现重叠等问题，因此难以保证其识别的准确性。

为了提高财务人员的工作效率，提高企业、政府的运转速度，本发明的实施例提出了一种基于图像检测和深度学习的发票识别方法，通过该方法能够识别出待检测票据的种类，然后定位出每张待检测票据的每行待检测字段的位置，并进一步利用光学字符识别技术去识别出每行待检测字段的内容，例如：金额、税额、开票日期等，并将检验结果输入到数据库中去。这样就省去了财务人员对票据的识别以及统计时间，方便财务人员的进一步校验、报销工作，减轻了其工作负担。

实施例1：

如图1所示，本实施例提供了一种票据处理方法，包括以下步骤：

步骤S102，采集票据图像；

步骤S104，提取票据图像的位置信息，以获取票据图像的整体定位结果；

步骤S106，基于整体定位结果，提取票据图像的边框信息，以获取票据图像的边框定位结果；

步骤S108，基于边框定位结果，通过仿射变换还原票据图像的原始形状；

步骤S110，根据原始形状，对票据图像进行区域划分，以获取票据图像的分区结果；

步骤S112，基于分区结果，对票据图像进行干扰信息去除；

步骤S114，检测并识别票据图像中的文本信息，以获得票据内容。

具体而言，本实施例通过数据采集设备，将大量的发票转换为发票图像。选取其中的任意一张票据图像，利用CenterNet模型对票据图像进行目标检测，检测得到该张图像中的一张或多张票据的粗略位置，对提取到粗略位置的票据图像利用图像转灰、霍夫变换等方法提取每一张票据边框的准确位置。利用该准确位置对票据图像进行仿射变换，得到没有畸变的票据图像。对发票图像依照不同文本的位置进行区域划分，得到每个区域的位置。利用颜色通道提取、颜色做减等方法对该每个区域的图像进行预处理，得到去除干扰的清晰图像。利用YOLO检测模型检测出每个区域中多个文本行的位置，并利用CRNN模型对检测到的多文本行进行识别。

在步骤S102中，可通过扫描仪、相机等数据采集设备，将大量的票据转换为票据图像。在步骤S104中，图像的整体定位结果为初步的定位结果。提取票据图像的位置信息的目的在于获取一张票据图像中票据所在的具体位置。在步骤S106中，在获得了整体定位结果的基础上，本实施例在每张票据初步定位得到的位置处定位出每一张票据的边框位置，其目的之一在于便于进行下一步的票据形状矫正。在步骤S108中，通过仿射变换利用边框位置的信息，可将采集的票据图像中发生畸变的图像还原为长方形图像。畸变是有票据的摆放位置或数据采集设备采集位置偏移而导致的，畸变会导致对票据图像的区域识别或文本识别出现不准确之处。因此，步骤S108根据边框定位结果还原票据图像的原始形状，以保证后续的区域和字符文本识别的准确程度。步骤S110对待检测的票据图像依照固定比例进行区域划分，得到不同文本内容的区域以及二维码区域。在还原票据图像的原始形状后，还需要通过步骤S112去除票据图像中例如印章、叠字等对票据内容识别的准确程度的干扰。其中，可利用提取颜色通道、提取边框位置及颜色，剪去文本框内特定颜色的内容等方式，去除印章以及边框对文本检测的影响。步骤S114的目的在于对位置精确、边缘明晰、形状角度正确的票据信息进行信息识别，以获取票据的具体内容。通过例如YOLO的文本检测网络模型，可对不同文本区域进行检测，从而得到其中每一行文本的具体位置。对每一行文本内容利用光学字符识别网络模型进行识别，可得到每一行文本的内容。

通过本实施例的技术方案，能够在准确获悉票据图像中票据的具体位置，并根据票据边缘位置对票据进行形状矫正的基础上，准确获知票据的分区信息和文本信息。由此，本实施例能够保证票据内容识别的准确程度，提高票据处理人员的工作效率。

实施例2：

如图2所示，本实施例提供了一种票据处理方法，除上述实施例1的技术特征之外，本实施例还包括以下技术特征。

在执行检测并识别票据图像中的文本信息，以获得票据内容的步骤之后，还包括以下步骤：

步骤S202，检测并读取票据图像中的编码信息，以根据编码信息获取第一票据内容校验信息；

步骤S204，将票据内容的至少一部分和第一票据内容校验信息进行异同比较，以对票据内容的准确程度进行第一校验。

其中，编码信息为二维码信息、条形码信息、数字码信息、字符码信息中的至少之一。

由于在识别过程中有可能会出现图像采集时图像不清晰，待检测文本褪色等其他干扰，由此导致文本识别不准确。为了解决这些错误识别结果，本实施例首先识别提取到的编码信息，从中得到发票代码、发票号码、开票日期、税额信息，然后利用提取到的信息去更新、校验通过文本识别得到的文本结果。

本实施例的目的在于通过票据中的二维码信息等编码信息对票据进行进一步地校验。其中，票据上的二维码信息记载了票据的本身信息，或记载了票据本身信息的读取路径。票据的本身信息包括票据抬头、票据金额、开票日期等信息。对二维码信息进行识别，利用其识别结果对票据中的票据代码、开票时间、开票税额等内容进行校正，可进一步提高票据处理的准确程度。

实施例3：

如图3所示，本实施例提供了一种票据处理方法，除上述任一实施例的技术特征之外，本实施例还包括以下技术特征。

在执行检测并识别票据图像中的文本信息，以获得票据内容的步骤之后，还包括以下步骤：

步骤S302，调取数据库中存储的第二票据内容校验信息，并将票据内容的至少一部分和第二票据内容校验信息进行异同比较，以对票据内容的准确程度进行第二校验。

通过本实施例，可将购买方和售卖方的公司名称以及纳税人识别号与数据库中的数据进行模糊匹配，取其中匹配度最高的内容，该内容即为准确的公司名称及纳税人识别号。

本实施例可利用数据库当中的信息对识别出的公司名称及其纳税人识别号等票据信息进行校正，最后将识别结果转换为结构化数据存储到数据库中，方便进一步地利用票据数据。

实施例4：

如图4所示，本实施例提供了一种票据处理方法，除上述任一实施例的技术特征之外，本实施例还包括以下技术特征。

提取票据图像的位置信息，以获取票据图像的整体定位结果的步骤具体包括：

步骤S402，采用目标检测网络模型，提取票据图像中的特征，以获取票据图像的热力图；

步骤S404，根据热力图获取票据图像的中心位置信息；

步骤S406，基于中心位置，通过特征回归获取票据图像的宽度信息和高度信息；

步骤S408，根据中心位置、宽度信息和高度信息，获取票据图像的整体定位结果。

在本实施例中，可通过检测网络提取出图像中每一张票据的位置。其中，卷积神经网络能够很好的提取出图像的各种特征，并且卷积神经网络的深度越深，就能够提取到越深层次的特征。由此可以将票据图像中的票据信息从包含桌面、书本等背景的图像中提取出来，从而得到每张票据的位置。CenterNet网络模型首先利用一个深层的卷积神经网络，例如DLA-34、Hourglass，提取出图像中的特征，然后利用卷积网络得到待检测图像的热力图，从中找到待检测票据的中心位置，最后利用图像的特征回归得到待检测票据的宽度和高度，由此得到待检测图像中每一张发票的粗略位置。

通过本实施例，能够将票据图像中的票据信息从包含桌面、书本等背景的图像中提取出来，从而得到每张票据的位置，由此提高后续识别处理的准确程度。

实施例5：

如图5所示，本实施例提供了一种票据处理方法，除上述任一实施例的技术特征之外，本实施例还包括以下技术特征。

基于整体定位结果，提取票据图像的边框信息，以获取票据图像的边框定位结果的步骤具体包括：

步骤S502，对票据图像进行图像转灰处理，以获取票据图像灰度图；

步骤S504，对票据图像灰度图进行高斯滤波处理，以去除票据图像灰度图中的噪声；

步骤S506，提取票据图像灰度图的边缘位置，并通过霍夫线变换提取边缘位置中的标准直线；

步骤S508，计算标准直线之间的距离差和角度差，以获取多条隶属同一边缘的直线；

步骤S510，将多条隶属同一边缘的直线进行合并，并基于合并结果筛选获得票据图像的边框定位结果。

本实施例利用图像处理技术，对票据位置进行精确定位，以便进行后续的位置矫正。其中，通过例如CenterNet的网络模型能够粗略的提取到每一张票据的位置，但是为了方便进一步地对票据进行区域划分以及文本检测及识别，需要对每一张票据进行精确定位以及位置校正。

本实施例采用了图像转灰、高斯滤波、边缘检测、霍夫变换等方法提取票据中最外层框的位置从而对票据位置进行精确定位。本实施例首先对待检测未知的票据图像进行图像转灰，由于票据上的印章一般都是红色的，所以可以直接选择原始三通道图像的第三个通道作为转灰后的图像，这样可以减少印章对后续图像处理的影响。然后利用高斯滤波对灰度图进行处理，去除噪声，利用例如candy的边缘检测网络模型，提取出票据图像中的边缘，然后通过霍夫线变换提取出边缘当中符合标准的直线。最后通过对提取到的直线通过计算相互之间的距离以及角度差计算出位于同一条直线的边缘，并将其合并，得到该票据图像中的所有框边缘。筛选出其中距离图像边界最近的四条边缘即为票据外边框的边缘。计算得到四条边缘的四个焦点，即得到了票据外边框的精确位置。然后对原始三通道图像利用放射变换，将检测到的外边框仿射变换到标准的矩形上，最终得到了经过位置矫正后的标准票据图像。

本实施例能够准确识别票据图像的边缘位置，以供后续进行针对畸变的形状校准。

实施例6：

如图6所示，本实施例提供了一种票据处理方法，除上述任一实施例的技术特征之外，本实施例还包括以下技术特征。

根据原始形状，对票据图像进行区域划分，以获取票据图像的分区结果的步骤具体包括：

步骤S602，依据数据库中存储的标准票据模板，对票据图像进行区域划分。

其中，分区结果包括以下至少之一或其组合：发票号码区域、编码信息区域、发票抬头区域、发票代码区域、开票日期区域、购买方区域、密码区域、购买货物详情区域、购买货物合计区域、价税合计区域、销售方区域、收款人区域、复核人区域和开票人区域。

本实施例的目的在于对票据进行区域划分及处理。在进行区域划分之前，已通过图像处理技术对票据进行了精确定位，并最终得到了位置矫正后的票据图像。由于对每一张不同的票据图像，经过图像校正后都是标准的票据图像，因此只需要依照标准票据模板中的各个不同票据内容区域的位置对校正后票据图像进行划分即可得到每一个票据区域的图像。

实施例7：

如图7所示，本实施例提供了一种票据处理方法，除上述任一实施例的技术特征之外，本实施例还包括以下技术特征。

基于分区结果，对票据图像进行干扰信息去除的步骤具体包括：

步骤S702，对分区结果中的至少一部分进行图像转灰处理；

步骤S704，逐一遍历分区结果中的像素点，将像素点的干扰色转换为非干扰色。

本实施例将原始的票据划分为十四个区域，并对编码信息区域通过图像转灰、阈值处理、均值滤波以及寻找最大外接矩形找到编码信息区域的准确位置。

对于发票头区域、购买货物详情区域、购买货物合计区域、价税合计区域、销售方区域、收款人和复核人及开票人区域扥区域，这些区域非常有可能会有印章的影响。为了消除印章对于文本检测以及识别的影响，本实施例通过对这些区域进行图像转灰，取图像的第三通道，以及对图像的每个像素进行遍历，对其中颜色为红色的像素点的颜色置为白色。

此外，为了防止在有文字与边框重叠情况的出现导致文本识别错误，本实施例通过对提取到的边缘进行颜色提取，然后对购买方区域、购买货物详情区域、购买货物合计区域、价税合计区域、销售方区域、收款人和复核人及开票人区域的每个像素点进行遍历，对其中颜色等于提取到颜色的像素点将其颜色置为白色。

通过以上方式，本实施例能够消除印章、边缘、叠字等问题带来的干扰，以达到提高识别准确程度的目的。

实施例8：

如图8所示，本实施例提供了一种票据处理方法，除上述任一实施例的技术特征之外，本实施例还包括以下技术特征。

检测并识别票据图像中的文本信息，以获得票据内容的步骤具体包括：

步骤S802，提取票据图像中各个字符的所在位置；

步骤S804，根据各个字符的所在位置，对相邻字符进行合并，以获取文本行的所在位置；

步骤S806，基于文本行的所在位置，识别票据图像中的文本信息，以获得票据内容。

本实施例可利用文本检测算法，对文本信息进行检测。例如，通过Yolov3网络检测模型，提取出每个文字的位置，然后对检测到的相邻文字进行合并，最终得到每一行文字的位置。当待检测区域的图片输入到Yolov3网络检测模型中时，首先进入到一个深层的卷积神经网络darknet53中进行特征提取，然后将提取到的特征输入到多尺度的卷积神经网络中，最终得到每一个可能存在文字区域的位置。

进而，本实施例利用文本识别算法对文本信息进行识别。例如，通过CRNN网络检测模型，对提取到的文本行进行识别。当文本行输入到CRNN网络检测模型中时，首先会输入到一个多层神经网络中去，例如DenseNet，通过该网络检测模型提取当前文本行的特征，然后将提取到的特征输入到LSTM神经网络中，该LSTM网络能够充分利用文本的前后联系，提高识别的准确率，最终准确地识别出待检测文本。

本实施例能够对票据图像中的文本信息进行高效而准确地识别，以达到提高票据处理准确程度的目的。

实施例9：

如图9所示，本实施例提供了一种票据处理装置100，包括：存储器110和处理器120。存储器110存储有计算机程序。处理器120执行计算机程序。其中，处理器120在执行计算机程序时，实现如本发明任一实施例的票据处理方法的步骤。

实施例10：

一种计算机可读存储介质，包括：计算机可读存储介质存储有计算机程序，计算机程序被执行时，实现如本发明任一实施例的票据处理方法的步骤。

具体实施例：

如图10所示，本实施例提供了一种票据处理方法，包括以下步骤：

步骤S902，通过扫描仪、相机等图像采集设备将待检测的发票转为发票图像；

步骤S904，利用目标检测网络检测出发票图像中每张发票的粗略位置；

步骤S906，利用图像处理技术检测出每张发票的边框位置并将其进行位置矫正；

步骤S908，对每张发票图像依照文本内容进行区域划分，并对其进行预处理；

步骤S910，利用文本检测模型在每一个待检测区域检测出每行文本的内容；

步骤S912，利用OCR识别模型对每行文本进行识别；

步骤S914，利用二维码以及数据库中的公司、纳税人识别码对识别内容进行校验。

本实施例的票据处理方法能够对票据图像中的文本信息进行高效而准确地识别，以达到提高票据处理准确程度的目的。

具体而言，在相关技术中，没有使用检测网络来检测出待检测发票的粗略位置，而是直接利用图像处理技术检测出发票外边框的准确位置，这样忽略了发票图像背景中各种信息的干扰，只能处理背景单调的高质量图像，当图像中有其他背景干扰时则很难准确识别出发票信息，并且该方法只能识别出图像上只有一张发票的图像。针对这一问题，本实施例利用图像处理技术去提取发票的精确位置前，首先利用图像检测网络监测出待检测图像中每一张发票的粗略位置，然后再针对每一张发票的粗略位置的图像信息去进一步的进行图像处理。通过检测网络不仅能够检测出一张发票图像中的多张发票位置，同时还能够在提取发票粗略位置的同时去除了背景信息的干扰，更便于进一步地进行发票精确位置的提取以及发票信息的识别。

在本实施例的部分实施方式中，可利用CenterNet检测网络模型来大概检测出发票的粗略位置，然后进行进一步的处理。还可以运用了Yolov3等检测网络来检测发票的具体位置，Yolov3直接预测发票左上角点的坐标及宽度和高度，并且其深层卷积网络都是由普通的卷积层组成的，但是CenterNet预测的是发票中心点的坐标及宽度和高度，能够更容易、更准确的提取出待检测发票的特征及位置，并且CenterNet在每个上采样前都使用了可变形卷积，能够减少提取背景的特征。因此CenterNet能够更准确地提取出待检测发票的粗略位置，并在同时缩短了检测速度。

为了检测出待检测文本的位置，本实施例利用阈值处理、腐蚀膨胀等字符分割的方法在每个待检测区域中检测出每一个待检测文字的位置，然后针对每一个待检测文字利用深度神经网络或者支持向量机去识别其具体内容。但是，该方法受到发票图像的质量影响较大，当待检测区域的文字出现不清晰或者有印章等情况时，很难准确的识别出每一个字符的具体位置，并且在识别其具体文本内容时，由于每次输入到检测网络当中的都是单个字符，不能够利用文本的前后联系，由此会导致其识别准确率的降低。针对这一问题，本实施例可以利用yolov3识别出待检测区域中所有可能存在文本的区域，然后将这些区域进行合并，最终得到每一个待检测的文本行，通过检测网络以及区域合并能够大大减小图片质量对于检测结果的影响。然后将检测到的文本框图像输入到CRNN网络中进行识别，CRNN网络首先利用了深层的卷积神经网络进行文本框的特征提取，然后利用LSTM充分利用文本的前后联系对其进行识别，因此能够更准确地识别出文本框中的内容。

相关技术中，在进行文本识别之后，将价税合计中的大写文本转换为小写，并与识别的小写数字进行比对，将识别的到的单价、数量、金额、税率、税额、价税合计的大小写分别进行计算数学计算核对是否全部正确。每一行单价乘数量得到的结果和金额进行比对，金额乘税率得到的结果和税额进行比对。所有行的金额总和与合计的金额进行比对，每一行的税额总和与合计的税额比对。合计的金额和税额总和与价税合计的小写进行比对，最后将价税合计的大写换成小写，比对两个小写数字是否一致。其比对仅仅校正了货物购买的金额、数量、税率、总额的内容，并没有校正其他区域的内容，针对这一问题，本实施例首先识别处发票二维码中的内容，然后将其中的发票号码、发票代码、开票日期等信息与文本识别结果进行比对、校正。其次将识别到的购买方及销售方公司名称及纳税人识别好与数据库中的公司名称及纳税人识别号进行模糊匹配，利用匹配到的最佳结果去校正识别结果。由此能够进一步地提高识别的准确率。

本发明的实施例提供了一种融合了深度学习以及图像处理技术的多张发票识别技术。其利用CenterNet提取出图像上多张发票的粗略位置，利用检测网络检测出待检测文本行的具体位置。并可利用二维码以及数据库中的公司名称、纳税人识别号对文本的识别结果进行校正。

综上，本发明实施例的有益效果为：通过本实施例的技术方案，能够在准确获悉票据图像中票据的具体位置，并根据票据边缘位置对票据进行形状矫正的基础上，准确获知票据的分区信息和文本信息。由此，本实施例能够保证票据内容识别的准确程度，提高票据处理人员的工作效率。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种票据处理方法，其特征在于，包括以下步骤：

采集票据图像；

提取所述票据图像的位置信息，以获取所述票据图像的整体定位结果；

基于所述整体定位结果，提取所述票据图像的边框信息，以获取所述票据图像的边框定位结果；

基于所述边框定位结果，通过仿射变换还原所述票据图像的原始形状；

根据所述原始形状，对所述票据图像进行区域划分，以获取所述票据图像的分区结果；

基于所述分区结果，对所述票据图像进行干扰信息去除；

检测并识别所述票据图像中的文本信息，以获得票据内容。

2.根据权利要求1所述的票据处理方法，其特征在于，在执行所述检测并识别所述票据图像中的文本信息，以获得票据内容的步骤之后，还包括以下步骤：

检测并读取所述票据图像中的编码信息，以根据所述编码信息获取第一票据内容校验信息；

将所述票据内容的至少一部分和所述第一票据内容校验信息进行异同比较，以对所述票据内容的准确程度进行第一校验；

其中，所述编码信息为二维码信息、条形码信息、数字码信息、字符码信息中的至少之一。

3.根据权利要求1所述的票据处理方法，其特征在于，在执行所述检测并识别所述票据图像中的文本信息，以获得票据内容的步骤之后，还包括以下步骤：

调取数据库中存储的第二票据内容校验信息，并将所述票据内容的至少一部分和所述第二票据内容校验信息进行异同比较，以对所述票据内容的准确程度进行第二校验。

4.根据权利要求1至3中任一项所述的票据处理方法，其特征在于，所述提取所述票据图像的位置信息，以获取所述票据图像的整体定位结果的步骤具体包括：

采用目标检测网络模型，提取所述票据图像中的特征，以获取所述票据图像的热力图；

根据所述热力图获取所述票据图像的中心位置信息；

基于所述中心位置，通过特征回归获取所述票据图像的宽度信息和高度信息；

根据所述中心位置、所述宽度信息和所述高度信息，获取所述票据图像的整体定位结果。

5.根据权利要求1至3中任一项所述的票据处理方法，其特征在于，所述基于所述整体定位结果，提取所述票据图像的边框信息，以获取所述票据图像的边框定位结果的步骤具体包括：

对所述票据图像进行图像转灰处理，以获取票据图像灰度图；

对所述票据图像灰度图进行高斯滤波处理，以去除所述票据图像灰度图中的噪声；

提取所述票据图像灰度图的边缘位置，并通过霍夫线变换提取所述边缘位置中的标准直线；

计算所述标准直线之间的距离差和角度差，以获取多条隶属同一边缘的直线；

将多条所述隶属同一边缘的直线进行合并，并基于合并结果筛选获得所述票据图像的边框定位结果。

6.根据权利要求1至3中任一项所述的票据处理方法，其特征在于，所述根据所述原始形状，对所述票据图像进行区域划分，以获取所述票据图像的分区结果的步骤具体包括：

依据数据库中存储的标准票据模板，对所述票据图像进行区域划分；

其中，所述分区结果包括以下至少之一或其组合：发票号码区域、编码信息区域、发票抬头区域、发票代码区域、开票日期区域、购买方区域、密码区域、购买货物详情区域、购买货物合计区域、价税合计区域、销售方区域、收款人区域、复核人区域和开票人区域。

7.根据权利要求1至3中任一项所述的票据处理方法，其特征在于，所述基于所述分区结果，对所述票据图像进行干扰信息去除的步骤具体包括：

对所述分区结果中的至少一部分进行图像转灰处理；

逐一遍历所述分区结果中的像素点，将所述像素点的干扰色转换为非干扰色。

8.根据权利要求1至3中任一项所述的票据处理方法，其特征在于，所述检测并识别所述票据图像中的文本信息，以获得票据内容的步骤具体包括：

提取所述票据图像中各个字符的所在位置；

根据所述各个字符的所在位置，对相邻字符进行合并，以获取文本行的所在位置；

基于所述文本行的所在位置，识别所述票据图像中的文本信息，以获得所述票据内容。

9.一种票据处理装置，其特征在于，包括：

存储器，存储有计算机程序；

处理器，执行所述计算机程序；

其中，所述处理器在执行所述计算机程序时，实现如权利要求1至8中任一项所述的票据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，包括：

所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如权利要求1至8中任一项所述的票据处理方法的步骤。

Images