CN114359921A - 图像识别方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像识别方法、装置、电子设备及计算机可读存储介质，其中，该方法包括：获取对票据进行图像采集得到的待识别图像；将待识别图像进行图像识别，得到待识别图像中的票据信息；利用待识别图像中的票据信息，确定待识别图像对应的票据识别方式；采用待识别图像对应的票据识别方式，对待识别图像进行识别。通过上述方式，本申请能够提升票据识别的效率和准确率。

Description

图像识别方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及图像识别技术领域，特别是涉及一种图像识别方法、装置、电子设备及计算机可读存储介质。

背景技术

随着图像识别技术的发展，利用图像识别技术替代或辅助人工执行重复性任务，已成为当下图像识别技术发展的主流趋势之一。

例如，财务票据录入繁杂，种类很多，以往的手工录入票据和核对票据消耗了财务人员大量的时间精力，这样的问题一直困扰着企业财务部门。目前，相关技术已经提出一种与票据类型相对应的票据识别方式，从而能够有针对性地对每种类型的票据进行要素提取，且准确性较高。

本申请发明人经长期研究发现，每种票据识别方式都对应一个独立的模块，从而财务人员在实际使用过程中，需要预先确定票据的类型，然后根据票据类型找到对应的票据识别方式才能进行识别，然而，由于票据数量大且种类多，财务人员人工分类的速度较慢且难免会误判票据类型，从而会导致票据识别的效率和准确率较低。

发明内容

本申请主要解决的技术问题是提供一种图像识别方法、装置、电子设备及计算机可读存储介质，以提升票据识别的效率和准确率。

为了解决上述问题，本申请第一方面提供了一种图像识别方法，该方法包括：获取对票据进行图像采集得到的待识别图像；将待识别图像进行图像识别，得到待识别图像中的票据信息；利用待识别图像中的票据信息，确定待识别图像对应的票据识别方式；采用待识别图像对应的票据识别方式，对待识别图像进行识别。

为了解决上述问题，本申请第二方面提供了一种图像识别装置，该图像识别装置包括：获取模块，用于获取对票据进行图像采集得到的待识别图像；第一识别模块，用于将待识别图像进行图像识别，得到待识别图像中的票据信息；确定模块，利用待识别图像中的票据信息，确定待识别图像对应的票据识别方式；第二识别模块，用于采用待识别图像对应的票据识别方式，对待识别图像进行识别。

为了解决上述问题，本申请第三方面提供了一种电子设备，该电子设备包括：处理器以及与处理器连接的存储器，存储器用于存储程序数据，处理器用于执行程序数据以实现前述的方法。

为了解决上述问题，本申请第四方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现前述的方法。

本申请的有益效果是：区别于现有技术的情况，本申请通过获取对票据进行图像采集得到的待识别图像，然后将待识别图像进行图像识别，得到待识别图像中的票据信息，再利用待识别图像中的票据信息，确定待识别图像对应的票据识别方式，以采用待识别图像对应的票据识别方式，对待识别图像进行识别，其中，通过识别待识别图像中的票据信息，可以自动将待识别图像进行分类，从而能够采用对应类别的票据识别方式对其进行进一步识别，无需人工对票据进行分类，简化了用户操作，有利于提升待识别图像中票据的识别效率和准确率。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请图像识别方法一实施例的流程示意图；

图2是本申请出租车发票和定额发票的票据识别结果的示意图；

图3是本申请图像识别方法另一实施例的流程示意图；

图4是本申请待识别图像识别前后的对比示意图；

图5是图3中步骤S23的另一实施方式的流程示意图；

图6是本申请发票抬头检测和必填项检测的检测结果示意图；

图7是本申请图像识别方法又一实施例的流程示意图；

图8是图7中步骤S34的另一实施方式的流程示意图

图9是本申请图像识别方法再一实施例的流程示意图；

图10是图9中步骤S42的另一实施方式的流程示意图；

图11是本申请语义分割形成的图片对；

图12是本申请第一训练图像和第二训练图像的对比示意图；

图13是本申请图像识别方法的一具体实施例的流程示意图；

图14是本申请图像识别装置一实施例的结构示意框图；

图15是本申请电子设备一实施例的结构示意框图；

图16是本申请计算机可读存储介质一实施例的结构示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1至图2，图1是本申请图像识别方法一实施例的流程示意图，图2是本申请出租车发票和定额发票的票据识别结果的示意图。其中，本申请图像识别方法的执行主体可以是手机、电脑、可穿戴设备等图像识别装置。本申请中，可以采用OCR(OpticalCharacter Recognition，光学字符识别)技术对图像进行识别，以将图像中的字符识别和提取出来。

该方法可以包括以下步骤：

步骤S11：获取对票据进行图像采集得到的待识别图像。

在一些实施方式中，图像识别装置具有图像采集功能，则可由图像采集装置对票据进行图像采集，从而得到待识别图像。其中，图像采集装置可以包括摄像头，用于对票据进行图像采集。在具体实施方式中，可以采用手机对票据进行拍照，以对票据进行图像采集。

在另一些实施方式中，图像识别装置可以从图像采集装置获取待识别图像，而由图像采集装置负责对票据进行图像采集。其中，图像采集装置具有图形采集功能，图像识别装置可以具有图像采集功能，也可以不具有图像采集功能。具体地，图像采集装置例如为相机。在一具体实施方式中，图像采集装置与相机建立通信连接，从而相机可以将对票据进行图像采集得到待识别图像发送至图像识别装置。

在本实施例中，被采集的票据为纸质形式。在其他实施方式中，被采集的票据还可以为电子形式，从而图像识别装置可以直接将电子形式的票据图像作为待识别图像。

其中，对待识别图像中的票据的数量不作限制。例如可以对一张或多张票据进行图像采集，得到待识别图像，或者电子形式的票据图像中也可以包括多张票据。

可选地，在执行步骤S12之前，还可以对采集待识别图像进行预处理，例如去噪处理、图像增强处理等。

步骤S12：将待识别图像进行图像识别，得到待识别图像中的票据信息。

其中，票据信息为与票据相关的信息，例如票据类型信息、票据位置信息等。

票据类型信息可以包括但不限于：增值税发票、定额发票、通用机打发票、卷票、火车票、客运发票、出租车发票、航空客运行程单、过路费发票和机动车销售发票。其中，增值税发票包括增值税专票、增值税普票、增值税电子普票等。而卷票属于另一种样式的增值税发票。

可以理解的，不同类型的票据具有特定特征，以区别于其他票据。具体地，通过对待识别图像进行识别确定票据的位置之后，可以进一步针对票据进行识别，获得该票据的票据类型。

票据位置信息可以包括检测框的坐标信息，具体可以包括检测框四个角的像素坐标。其中，检测框与票据一一对应，即每个检测框内仅包含一张票据。在一些实施方式中，票据位置信息还可以包括序列号信息、角度信息、置信度信息等。其中，序列号信息用于唯一标识票据的数据，例如为1、2、3等。角度信息为票据相对预设方向的倾斜角度，用于反映票据的倾斜程度，例如为0°、30°等。预设方向可以由开发人员设置，例如为竖直方向或水平方向。置信度信息用于反映检测框内包含票据的可能性，置信度例如50.1％(保留一位小数)、99.90％(保留两位小数)。置信度越高，则测框内包含票据的可能性越大，反之越小。

步骤S13：利用待识别图像中的票据信息，确定待识别图像对应的票据识别方式。

具体地，可以利用票据类型信息，确定待识别图像对应的票据识别方式。不同票据类型对应的票据识别方式不同，从而能够有针对性地对每种类型的票据进行要素提取，且准确性较高。其中，不同类型的票据包括要素内容和要素位置存在区别，例如发票的要素可以包括发票号码、发票代码、发票金额、费用类型(购买项)和开票单位等，火车票的要素包括乘车区间、乘车时间、火车票价、乘坐车次、座位号、个人信息、有效期、防伪码等。

可以理解的，在本步骤之前，可以预先设置每种票据类型对应的票据识别方式。其中，票据识别方式可以是程序模块(程序包)的形式，也可以是其他形式。例如，可以根据每种票据类型中的要素位置信息编码对应的程序模块，通过运行对应的程序模块即可实现对应类型票据的要素提取。具体地，确定待识别图像对应的票据识别方式，可以是确定待识别图像对应的程序模块。

步骤S14：采用待识别图像对应的票据识别方式，对待识别图像进行识别。

在一些实施方式中，可以运行确定待识别图像对应的程序模块，以待识别图像进行识别，以得到对应票据的票据识别结果。如图2所示，从左至右依次为分别为出租车发票和定额发票的票据识别结果。

上述方式，通过获取对票据进行图像采集得到的待识别图像，然后将待识别图像进行图像识别，得到待识别图像中的票据信息，再利用待识别图像中的票据信息，确定待识别图像对应的票据识别方式，以采用待识别图像对应的票据识别方式，对待识别图像进行识别，其中，通过识别待识别图像中的票据信息，可以自动将待识别图像进行分类，从而能够采用对应类别的票据识别方式对其进行进一步识别，无需人工对票据进行分类，简化了用户操作，有利于提升待识别图像中票据的识别效率和准确率。

请参阅图3至图6，图3是本申请图像识别方法另一实施例的流程示意图，图4是本申请待识别图像识别前后的示意图，图5是图3中步骤S23的另一实施方式的流程示意图，图6是本申请发票抬头检测和必填项检测的检测结果示意图。

区别于上述实施例，本实施例中，增加了印章的识别和印章信息的返回，返回的印章信息可以用于票据的验伪，此外，还增加了对票据识别结果的后处理服务，以及采用引擎对票据进行识别。

该方法可以包括以下步骤：

步骤S21：获取对票据进行图像采集得到的待识别图像。

关于本步骤的描述可以参见上述实施例中步骤S11，此处不再赘述。

步骤S22：将待识别图像进行图像识别，得到待识别图像中的票据信息。

如上述实施例，票据信息可以包括票据类型信息和票据位置信息。区别于上述实施例，本实施例中，票据信息还可以包括印章信息。其中，印章信息可以包括印章位置信息、印章类型信息中的至少一种。

印章位置信息可以包括检测框的坐标信息，具体可以包括检测框四个角的像素坐标。其中，检测框与印章一一对应，即每个检测框内仅包含一个印章。在一些实施方式中，印章位置信息还可以包括序列号信息、角度信息、置信度信息等。其中，序列号信息用于唯一标识印章的数据，例如为1、2、3等。角度信息为印章相对预设方向的倾斜角度，用于反映印章的倾斜程度，例如为0°、30°等。预设方向可以由开发人员设置，例如为竖直方向或水平方向。置信度信息用于反映检测框内包含印章的可能性，置信度例如50.1％(保留一位小数)、99.90％(保留两位小数)。置信度越高，则测框内包含印章的可能性越大，反之越小。

印章类型信息可以包括发票章(如发票专用章)、表头章以及其他类型中的至少一种。其中，其他类型为除发票章和表头章之外的印章类型。

以上，图像识别方法通过增加对票据中印章的识别，并在识别到印章后，返回对应的印章信息，这样可以基于印章信息将印章进行切图，以方便后续对印章进行验伪，从而实现对票据进行验伪。

在一些实施方式中，可以采用预处理引擎执行步骤S22，即将待识别图像进行图像识别，得到待识别图像中的票据信息。其中，预处理引擎为预先训练好的，用于对待识别图像进行分类和/或分割的引擎。

如图4所示，从上至下分别为步骤S22对待识别图像进行图像识别前和识别后的示意图。其中，从识别后的示意图可以看到，分别包括四个票据的检测框和4个发票章检测框，每个票据的检测框内仅包括一个票据，每个印章检测框内仅包括一个印章。序列号为1的票据中包括一个印章，为表头章1；序列号为2的票据中包括一个印章，为发票专用章2；序列号为3的票据中包括两个印章分别为发票专用章3和表头章3。其中，印章类型信息可以显示于对应印章的检测框中。

步骤S23：当票据信息包括印章信息时，将印章信息作为待识别图像中对应票据的验伪信息。

可以理解的，印章是票据验伪中的一个重要特征，印章的真伪可以代表票据的真伪。具体地，可以印章信息和对应的票据关联，以实现根据印章信息对票据进行验伪。

在一些实施方式中，步骤S23可以包括子步骤S231和S232。

步骤S231：利用待识别图像的印章位置信息，将待识别图像分割为至少一张印章图像，其中，每张印章图像中包含一个印章。

其中，待识别图像可以包含一张或多张票据，每张票据可以包括1个或多个印章。如图4所示，可以将印章的检测框内的图像一一分割出来，从而可以得到4张印章图像。

步骤S232：将每张印章图像和对应的印章类型信息作为待识别图像中对应票据的验伪信息。

其中，可以将每张印章图像和对应的印章类型信息作为待识别图像中对应票据的验伪信息，从而可以利用票据的验伪信息对票据进行验伪。

具体地，可以获取与印章类型信息对应的印章识别方式等，然后采用该印章识别方式对印章图像进行识别，确定该印章图像的真伪，从而确定对应票据的真伪。印章识别方式可以是印章识别引擎或印章识别模型。

步骤S24：利用待识别图像中的票据信息，确定待识别图像对应的票据识别方式。

在本实施例中，可以根据待识别图像中的票据类型信息，确定待识别图像对应的票据识别引擎。其中，每种票据类型可以对应一种票据识别引擎。相票据识别引擎中封装有对应票据识别方式的程序数据。相关技术中提到一种通用识别引擎，但是通用识别引擎能够只是机械的返回票面的文字信息，没有对返回结果做要素提取，也就无法告诉业务侧，发票号码是多少，发票金额是多少，开票单位是哪个等等。相比于通用识别引擎，分类别的票据识别引擎能够针对性地对每一种票据进行要素提取，准确性更高，从而也增加了票据识别引擎的定制需求。

可选地，票据识别引擎包括以下至少一种：增值税发票引擎、定额发票引擎、通用机打发票引擎、卷票引擎、火车票引擎、客运发票引擎、出租车发票引擎、航空客运行程单引擎、过路费发票引擎和机动车销售发票引擎。

步骤S25：采用待识别图像对应的票据识别方式，对待识别图像进行识别。

在本实施例中，可以将待识别图像输入对应的票据识别引擎，以使对应的票据识别引擎对待识别图像进行识别。

在本实施例中，在步骤S25之后还可以对票据识别结果进行后处理，即步骤S26～S28，其中步骤S27和S28并未固定的先后关系。

步骤S26：获取利用票据识别方式识别得到的票据识别结果。

票据识别结果可以包括票据中至少一个要素。以发票为例，发票的要素可以包括发票抬头(购买人名称)、发票号码、发票代码、发票金额、费用类型(购买项)和开票单位等。

步骤S27：调整票据识别结果的格式，得到经调整的票据识别结果。

其中，调整票据识别结果的格式以实现对票据识别结果进行规范化约束。例如，金额约束为数字，税率约束为百分比，时间格式统一规整以及其他业务定制需求。由此，可以在外部服务调用本实施例图像识别方法时方便解析。

步骤S28：基于票据识别结果，进行发票抬头检测和/或必填项检测。

其中，可以检测票据识别结果中是否包括发票抬头，以及发票抬头是否开具错误。当票据识别结果中无发票抬头时，则确定发票抬头检测未通过。当票据识别结果中包括发票抬头时，进一步检测发票抬头是否开具正确，若是，则确定发票抬头检测通过，否则，这确定发票抬头检测未通过。为了使用户了解检测情况，可以将检测结果显示于用户界面。例如，当未包括发票抬头时，在显示界面上显示“无发票抬头”，当发票抬头开具正确时，在显示界面上显示“发票抬头开具正确”，当发票抬头开具错误时，在显示界面上显示“发票抬头开具错误”。

另外，也可以对票据中的必填项进行检测，当所有的必填项均填写，则确定必填项检测通过，否则，确定必填项检测未通过。同上，可以向缺少的必填项显示于显示界面，以便用户获知相关信息。

以发票为例，其中，必填项可以包括发票类型、发票代码、发票号码、发票金额中的至少一种。以上仅为示例，在其他实施例中票据的类型不同对应的要素也有差别，对应的必填项也有差别。在实际应用中，可以根据票据类型、实际需求等设置必填项的种类。

在一具体实施场景中，如图6所示为一增值税专用发票的检测结果中。其中，左边虚线框内为发票抬头检测结果，内容为抬头开具错误；右边虚线框内为必填项检测结果，内容为缺必填费用项。

请参阅图7至图8，图7是本申请图像识别方法又一实施例的流程示意图，图8是图7中步骤S34的另一实施方式的流程示意图。

区别于上述实施例，本实施例中提供了一种对待识别图像进行分割的方案，通过对待识别图像进行分割使得分割后的每张票据图像中仅包含一张票据，这样的票据图像符合单一票据识别场景，进一步可以对分割后的票据图像进行分类，即确定对应的票据识别方式，由此不仅可以对单一票据图像进行分类识别，还可以实现对多票据图像进行分类识别。在相关技术中，为了能针对性地进行要素提取，所以设计了不同票据类型对应的票据识别方式，该票据识别方式只能识别包含单一票据的图像，但是无法支持一张图像中包括多张票据的场景。

该方法可以包括以下步骤：

步骤S31：获取对票据进行图像采集得到的待识别图像，其中，待识别图像包含至少一张票据。

本实施例中，待识别图像可以包含至少一张票据，即一张或多张票据。当待识别图像中包含多张票据时，多张票据的票据类型可以相同，也可以不同。

步骤S32：将待识别图像进行图像识别，得到待识别图像中的票据信息。

其中，票据信息可以包括票据位置信息和票据类型信息。在一些实施方式中，票据信息还可以包括印章信息。关于本步骤的描述可以参见前述实施例中步骤S12和步骤S22，此处不再赘述。

步骤S33：当票据信息包括印章信息时，将印章信息作为待识别图像中对应票据的验伪信息。

关于本步骤的描述可以参见上述实施例中步骤S23，此处不再赘述。

步骤S34：利用待识别图像中的票据信息，将待识别图像分割为至少一张票据图像并确定每张票据图像的票据识别方式，其中，每张票据图像中包含一张票据。

其中，当待识别图像中仅包括一张票据图像时，可以对待识图像进行分割，以去掉除票据之外的其他内容，精简画面，当然也可以不对待识图像进行分割，因为此时的待识别图像满足单一票据识别方式，故可以直接采用对应的票据识别方式进行识别。

在本实施例中步骤S31、S32、S33可以由预处理引擎执行，具体地，可以将待处理图像输入预处理引擎，预处理引擎就能输出至少一张票据图像及其对应的票据类型信息，还能输出印章信息。后续可以根据票据类型信息确定对应的票据识别引擎，然后将该票据图像输入该票据识别引擎进行识别。

在一些实施方式中，步骤S34可以包括子步骤S341和S342。

步骤S341：利用待识别图像的票据位置信息，将待识别图像分割为至少一张票据图像。

具体地，可以将图4所示的待处理图像中四个票据的检测框内的图像一一分割出来，从而得到4张票据图像。

步骤S342：利用待识别图像的票据类型信息，确定每张票据图像的票据识别方式。

在一些实施方式中，确定每张票据图像的票据识别方式可以是确定每张票据图像对应的票据识别引擎。

步骤S35：采用每张票据图像对应的票据识别方式，对每张票据图像进行识别。

在一些实施方式中，将每张票据图像分别输入对应的票据识别引擎，以使对应的票据识别引擎对每张票据图像进行识别，得到每张票据图像的票据识别结果。

步骤S36：获取利用票据识别方式识别得到的票据识别结果。

步骤S37：调整票据识别结果的格式，得到经调整的票据识别结果。

步骤S38：基于票据识别结果，进行发票抬头检测和/或必填项检测。

关于步骤S36至S38的描述可以参见上述实施例中步骤S26至S28，此处不再赘述。

请参阅图9至图12，图9是本申请图像识别方法再一实施例的流程示意图，图10是图9中步骤S42的另一实施方式的流程示意图，图11是本申请语义分割形成的图片对，图12是本申请第一训练图像和第二训练图像的对比示意图。

区别于上述实施例，本实施例提供了一种训练方法，用于引擎的训练，具体提出了一种图片数据合成方法，通过该方法可以增加用于引擎训练的训练图像的数量，降低训练门槛，减少标注成本和标注周期。

本实施例中，该图像识别方法可以包括以下步骤：

步骤S41：获取第一训练图像，其中，第一训练图像中包含标注区域。

其中，第一训练图像中包含至少一张票据，第一图像中包含的标注区域为人工标注。在一些实施方式中，标注区域和票据的要素一一对应。一张第一训练图像可以包含一个或多个标注区域。标注区域可以是标注框内的区域，或通过其他方式标注的区域。

本实施例中，用于引擎训练的第一训练图像的数量不限，可以是几十上百张，甚至更多。

步骤S42：确定标注区域的新内容，并采用新内容替代标注区域中的原始内容，以得到第二训练图像，第二训练图像用于预处理引擎和/或票据识别引擎的训练。

其中，将待识别图像进行图像识别和确定待识别图像的票据识别方由预处理引擎执行；采用待识别图像对应的票据识别方式，对每张票据图像进行识别由票据识别引擎执行。

在一些实施方式中，步骤S42可以包括子步骤S441至S424，其中步骤S441与S442并无固定的先后关系。

步骤S421：利用原始内容对应的文本集，确定标注区域内的新内容。

具体地，文本集中包括原始内容对应类别的多个替换内容。例如，标注区域内的原始内容为宜昌东站，宜昌东站对应的类别的乘车区间，而文本集中包括“类别-乘车区间”的多个替换内容，例如成都南、重庆北、南昌等，也可以包括宜昌东站。

可选地，可以从文本集中依次或随机选取一个替换内容作为标注区域内的新内容。当第一训练图像包括多个标注区域时，在确定多个标注区域内的新内容时，还可以将对应的多个文本集中挑选的替换内容进行排列组合，以得到多个标注区域内的新内容。

在一具体实施场景中，可以采用依次或随机的方式，从宜昌东站对应的城市文本集中选择一个替换内容作为标注区域内的新内容。

可选地，可以根据标注区域内原始内容的要素种类确定对应的文本集，其中，每种要素对应一种文本集。或者，也可以根据标注区域内原始内容的文字类型确定对应的文本集，其中，每种文字类型对应一种文本集。文字类型包括数字、字母、汉字、韩文、日文等。

在一些实施方式中，文本集也可以是字典。其中，字典中可以记录有不同类别的多个替换内容。字典可以包括人名字典、城市字典、数字字典等。

步骤S422：利用风格迁移算法，抽象出原始内容的风格。

标注区域的新内容与原始内容的形式需要相同或近似。形式可以包括字体颜色、字体风格(字体大小、字体格式等参数)。其中，字体颜色等可以通过抠图获知，但是字体风格难以模仿和合成。

本实施例中，利用风格迁移算法可以抽象出原始内容的风格。其中风格迁移算法例如为AdaIN(Adaptive Instance Normalization)，即基于匹配对图片与条件归一化风格嵌入的文本图像风格迁移方案。具体地，通过AdaIN对样本图片的字体风格进行学习，抽象出其字体大小和字体格式等风格参数，从而在合成图片的时候使用这些参数对标注区域内的新内容进行风格还原。

下面对AdaIN进行简单介绍：

(1)采用匹配对图片条件生成对抗网络(conditionGAN)的训练方式，其中包括采用语义分割对现有的自然场景下的具有文本行的图片进行分割获得图片对，进一步，可以将分割后的图片作为风格迁移网络的内容输入，文本行图片作为风格迁移网络的目标输出，以用于约束网络的训练，保证内容结构不扭曲丢失，同时对齐不同类别风格。如图11所示，A为采用语义分割对现有的中文自然场景下的具有文本行的图片进行分割后的图片，B为A的经过风格迁移网络的输出的文本行图片。

(2)通过不重合采样文本行图片分别用于内容输入和风格输入，以解耦内容信息好风格信息。可以理解的，受限于训练集样本的数量，一般假设不同文本行图片属于不同的风格，因此无法获得足够多同一风格的训练样本，而通过对同一文本行图片进行不重合采样，分别作为内容输入和风格输入，可以保障内容编码与风格编码完全解耦，这是保证网络能够实现任意风格转换的关键。

(3)计算合成图片与目标图片在特征层的距离来替换像素间测距离损失。由此，可以防止网络在中英训练集上过拟合，增强网络(或模型)在不同语种场景下的泛化性。

(4)此外，在GAN网络结构设计上，可以采用patchGAN+多尺度判别器的结构，以增强文字生成细节。

以上，关于AdaIN的更多描述可以参见相关技术。

步骤S423：按照原始内容的风格，将新内容添加至标注区域内。

其中，可以根据标注区域的位置信息，将标注区域内的内容去除，然后在将新内容添加至标注区域内。

在一些实施方式中，可以按照AdaIN抽象出的原始内容对应的字体风格，将新内容添加至标注区域内。

步骤S424：对第一训练图像中的标注区域进行色调处理，以得到第二训练图像。

具体地，在将新内容添加至标注区域后，为了使新内容与其他内容保持一致，还可以对第一训练图像中的标注区域进行色调处理，以使合成后的第二训练图像中的新内容不突兀，合成效果更好。

在一具体应用场景中，如图12所示，左边为第一训练图像，右边为第二训练图像，其中第一训练图像中包含多个标注区域，分别对应“宜昌东”、“恩施”、“D361”、“2019年05月05日14:26开”等，为方便描述，这里以“恩施”为例进行说明。“恩施”对应的要素为“乘车区间”，“乘车区间”对应有一文本集(包括多个火车站名)，从而可以从该文本集中选择一个火车站名(如“南昌”)作为标注框内的新内容，然后采用通过AdaIN抽象出的“恩施”的文字风格，将“南昌”添加至标注框内时，在对标注框内区域进行统一的色调处理，以保证合成结果不突兀。

以上，本实施例提出的一种图片合成思路应用至引擎的训练上，不仅在保证训练效果的同时，减少了训练需要的标注图像，降低了引擎的训练门槛、训练周期和训练成本。例如，可以将票据识别引擎的训练门槛降低到100张，训练周期降低到2周。

请参阅图13，图13是本申请图像识别方法的一具体实施例的流程示意图。

(1)获取对票据进行图像采集得到的待识别图像，将其输入预处理引擎。

(2)预处理引擎，用于将待识别图像进行图像识别，得到待识别图像中的票据信息，其中，票据信息包括印章信息、票据类型信息、票据位置信息；然后利用待识别图像中的票据信息，确定待识别图像对应的票据识别方式，其中，当待识别图像中包括多张票据时，还可以对待识别图像进行分割，以得到多张票据图像，并确定每张票据图像的票据识别方式。

(3)在确定对应的票据识别方式之后，可以将待识别图像(票据图像)输入对应票据类型的票据识别引擎，其中列举了10种票据识别引擎，分别为：增值税发票引擎、定额发票引擎、通用机打发票引擎、卷票引擎、火车票引擎、客运发票引擎、出租车发票引擎、航空客运行程单引擎、过路费发票引擎和机动车销售发票引擎。

(4)将票据识别引擎输出的票据识别结果输入后处理服务，以对票据识别结果进行格式调整，和发票抬头检测和/或必填项检测。

(5)后处理服务之后，输出票据识别结果。

根据以上所公开的实施例，可以得到：

本申请将引擎服务划分为三个阶段进行处理，将引擎的预处理(分类分割)与要素识别拆分，从而降低了整体的耦合性，由此，单个票种的效果波动不会影响引擎整体的性能和效果。即引擎内部服务进行了模块化拆分，将来不管追加多少种票据，引擎内部也不会有耦合性问题，不会出现因为加新票种而影响既有票种的识别。

进一步地，可以根据实际业务需求，增加印章的识别和印章信息的返回，以便于后续业务可以增加印章的有无和真伪检测。

进一步地，还提出了一种新的图片合成思路，不仅降低了引擎训练门槛，也在模型效果层面没有承受太多的损失。

进一步地，在图片合成处理中，引入了字典组合(即多个原始内容对应的替换内容之间进行排列组合，以得到新内容组合)，可以约束随机组合的范围，若想要调整合成的随机性只需要修改字典即可，另外，还引入了合成后处理(色调处理等)，从而可以使合成的结果不突兀，不会出现特别离奇的偏差，从而影响引擎的训练效果。

请参阅图14，图14是本申请图像识别装置一实施例的结构示意框图。

图像识别装置100可以包括获取模块110、第一识别模块120、确定模块130和第二识别模块140。其中，获取模块110用于获取对票据进行图像采集得到的待识别图像；第一识别模块120用于将待识别图像进行图像识别，得到待识别图像中的票据信息；确定模块130用于将待识别图像进行图像识别，得到待识别图像中的票据信息；第二识别模块140用于采用待识别图像对应的票据识别方式，对待识别图像进行识别。

在一些实施方式中，票据信息包括票据类型信息，确定模块130还用于利用待识别图像的票据类型信息，确定待识别图像对应的票据识别方式。

在一些实施方式中，确定模块130还用于确定待识别图像对应的票据识别引擎；以及第二识别模块140还用于将待识别图像输入对应的票据识别引擎，以使对应的票据识别引擎对待识别图像进行识别。

在一些实施方式中，待识别图像包含至少一张票据，确定模块130还用于利用待识别图像中的票据信息，将待识别图像分割为至少一张票据图像并确定每张票据图像的票据识别方式，其中，每张票据图像中包含一张票据；以及第二识别模块140还用于采用每张票据图像对应的票据识别方式，对每张票据图像进行识别。

在一些实施方式中，票据信息包括票据位置信息和票据类型信息，确定模块130还用于利用待识别图像的票据位置信息，将待识别图像分割为至少一张票据图像；以及利用待识别图像的票据类型信息，确定每张票据图像的票据识别方式。

在一些实施方式中，确定模块130还用于确定每张票据图像对应的票据识别引擎；以及第二识别模块140还用于将每张票据图像分别输入对应的票据识别引擎，以使对应的票据识别引擎对每张票据图像进行识别。

在一些实施方式中，票据识别引擎包括以下至少一种：增值税发票引擎、定额发票引擎、通用机打发票引擎、卷票引擎、火车票引擎、客运发票引擎、出租车发票引擎、航空客运行程单引擎、过路费发票引擎和机动车销售发票引擎。

在一些实施方式中，图像识别装置100还可以包括调整模块(图未示)，该调整模块用于获取利用票据识别方式识别得到的票据识别结果；以及调整票据识别结果的格式，得到经调整的票据识别结果。

在一些实施方式中，图像识别装置100还可以包括检测模块(图未示)，该检测模块用于在获取利用票据识别方式识别得到的票据识别结果之后，基于票据识别结果，进行发票抬头检测和/或必填项检测，其中，必填项包括发票类型、发票代码、发票号码、发票金额中的至少一种。

在一些实施方式中，票据信息包括印章信息，第一识别模块120还用于在将待识别图像进行图像识别，得到待识别图像中的票据信息之后，将印章信息作为待识别图像中对应票据的验伪信息。

在一些实施方式中，印章信息包括印章位置信息、印章类型信息中的至少一种，将印章信息作为待识别图像中对应票据的验伪信息，包括：利用待识别图像的印章位置信息，将待识别图像分割为至少一张印章图像，其中，每张印章图像中包含一个印章；以及将每张印章图像和对应的印章类型信息作为待识别图像中对应票据的验伪信息。

在一些实施方式中，图像识别装置100还可以包括训练模块(图未示)，该训练模块用于获取第一训练图像，其中，第一训练图像中包含标注区域；以及确定标注区域的新内容，并采用新内容替代标注区域中的原始内容，以得到第二训练图像，第二训练图像用于预处理引擎和/或票据识别引擎的训练；其中，将待识别图像进行图像识别和确定待识别图像对应的票据识别方式由预处理引擎执行；采用待识别图像对应的票据识别方式，对每张票据图像进行识别由票据识别引擎执行。

在一些实施方式中，确定标注区域的新内容为利用原始内容对应的文本集，确定标注区域内的新内容；采用新内容替代标注区域中的原始内容，以得到第二训练图像，包括：利用风格迁移算法，抽象出原始内容的风格；按照原始内容的风格，将新内容添加至标注区域内；对第一训练图像中的标注区域进行色调处理，以得到第二训练图像。

请参阅图15，图15是本申请电子设备一实施例的结构示意框图。

本实施例中，电子设备200包括处理器210以及与处理器210连接的存储器220，存储器220用于存储程序数据，处理器210用于执行程序数据以实现上述任一方法实施例中的步骤。

电子设备200包括但不限于为电视机、桌面型计算机、膝上型计算机、手持计算机、可穿戴设备、头戴式显示器、阅读器设备、便携式音乐播放器、便携式游戏机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，简称：UMPC)、上网本，以及蝉窝电话、个人数字助理(personaldigital assistant，简称：PDA)、增强现实(augmentedreality，简称：AR)、虚拟现实(virtual reality，简称：VR)设备。

具体而言，处理器210用于控制其自身以及存储器220以实现上述任一方法实施例中的步骤。处理器210还可以称为CPU(Central Processing Unit，中央处理单元)。处理器210可能是一种集成电路芯片，具有信号的处理能力。处理器210还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器210可以由多个集成电路芯片共同实现。

请参阅图16，图16是本申请计算机可读存储介质一实施例的结构示意框图。

本实施例中，计算机可读存储介质300存储有程序数据310，程序数据310被处理器执行时，用以实现上述任一方法实施例中的步骤。

计算机可读存储介质300具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种图像识别方法，其特征在于，包括：

获取对票据进行图像采集得到的待识别图像；

将所述待识别图像进行图像识别，得到所述待识别图像中的票据信息；

利用所述待识别图像中的票据信息，确定所述待识别图像对应的票据识别方式；

采用所述待识别图像对应的所述票据识别方式，对所述待识别图像进行识别。

2.根据权利要求1中所述的方法，其特征在于，所述票据信息包括票据类型信息，

所述利用所述待识别图像中的票据信息，确定所述待识别图像对应的票据识别方式，包括：

利用所述待识别图像的票据类型信息，确定所述待识别图像对应的票据识别方式。

3.根据权利要求1中所述的方法，其特征在于，所述确定所述待识别图像对应的票据识别方式，包括：

确定所述待识别图像对应的票据识别引擎；

所述采用所述待识别图像对应的所述票据识别方式，对所述待识别图像进行识别，包括：

将所述待识别图像输入对应的所述票据识别引擎，以使对应的所述票据识别引擎对所述待识别图像进行识别。

4.根据权利要求1中所述的方法，其特征在于，所述待识别图像包含至少一张票据，

所述利用所述待识别图像中的票据信息，确定所述待识别图像对应的票据识别方式，包括：

利用所述待识别图像中的票据信息，将所述待识别图像分割为至少一张票据图像并确定每张所述票据图像的票据识别方式，其中，每张所述票据图像中包含一张票据；

所述采用所述待识别图像对应的所述票据识别方式，对所述待识别图像进行识别，包括：

采用每张所述票据图像对应的所述票据识别方式，对每张所述票据图像进行识别。

5.根据权利要求4中所述的方法，其特征在于，所述票据信息包括票据位置信息和票据类型信息，

所述利用所述待识别图像中的票据信息，将所述待识别图像分割为至少一张票据图像并确定每张所述票据图像的票据识别方式，包括：

利用所述待识别图像的票据位置信息，将所述待识别图像分割为至少一张票据图像；

利用所述待识别图像的票据类型信息，确定每张所述票据图像的票据识别方式。

6.根据权利要求4中所述的方法，其特征在于，所述确定每张所述票据图像的票据识别方式，包括：

确定每张所述票据图像对应的票据识别引擎；

所述采用每张所述票据图像对应的所述票据识别方式，对每张所述票据图像进行识别，包括：

将每张所述票据图像分别输入对应的所述票据识别引擎，以使对应的所述票据识别引擎对每张所述票据图像进行识别。

7.根据权利要求3或6中所述的方法，其特征在于，所述票据识别引擎包括以下至少一种：增值税发票引擎、定额发票引擎、通用机打发票引擎、卷票引擎、火车票引擎、客运发票引擎、出租车发票引擎、航空客运行程单引擎、过路费发票引擎和机动车销售发票引擎。

8.根据权利要求1中所述的方法，其特征在于，所述方法还包括：

获取利用所述票据识别方式识别得到的票据识别结果；

调整所述票据识别结果的格式，得到经调整的所述票据识别结果。

9.根据权利要求8中所述的方法，其特征在于，

所述获取利用所述票据识别方式识别得到的票据识别结果之后，还包括：

基于所述票据识别结果，进行发票抬头检测和/或必填项检测，其中，必填项包括发票类型、发票代码、发票号码、发票金额中的至少一种。

10.根据权利要求1中所述的方法，其特征在于，所述票据信息包括印章信息，

所述将所述待识别图像进行图像识别，得到所述待识别图像中的票据信息之后，还包括：

将所述印章信息作为所述待识别图像中对应票据的验伪信息。

11.根据权利要求10中所述的方法，其特征在于，所述印章信息包括印章位置信息、印章类型信息中的至少一种，

所述将所述印章信息作为所述待识别图像中对应票据的验伪信息，包括：

利用所述待识别图像的印章位置信息，将所述待识别图像分割为至少一张印章图像，其中，每张所述印章图像中包含一个印章；

将每张所述印章图像和对应的所述印章类型信息作为所述待识别图像中对应票据的验伪信息。

12.根据权利要求1中所述的方法，其特征在于，所述方法还包括：

获取第一训练图像，其中，所述第一训练图像中包含标注区域；

确定所述标注区域的新内容，并采用所述新内容替代所述标注区域中的原始内容，以得到第二训练图像，所述第二训练图像用于预处理引擎和/或票据识别引擎的训练；

其中，所述将所述待识别图像进行图像识别和所述确定所述待识别图像对应的票据识别方式由所述预处理引擎执行；所述采用所述待识别图像对应的所述票据识别方式，对每张所述票据图像进行识别由所述票据识别引擎执行。

13.根据权利要求12所述的方法，其特征在于，所述确定所述标注区域的新内容，包括：

利用所述原始内容对应的文本集，确定所述标注区域内的新内容；

所述采用所述新内容替代所述标注区域中的原始内容，以得到第二训练图像，包括：

利用风格迁移算法，抽象出所述原始内容的风格；

按照所述原始内容的风格，将所述新内容添加至所述标注区域内；

对所述第一训练图像中的所述标注区域进行色调处理，以得到第二训练图像。

14.一种图像识别装置，其特征在于，包括：

获取模块，用于获取对票据进行图像采集得到的待识别图像；

第一识别模块，用于将所述待识别图像进行图像识别，得到所述待识别图像中的票据信息；

确定模块，利用所述待识别图像中的票据信息，确定所述待识别图像对应的票据识别方式；

第二识别模块，用于采用所述待识别图像对应的所述票据识别方式，对所述待识别图像进行识别。

15.一种电子设备，其特征在于，所述电子设备包括处理器以及与所述处理器连接的存储器，

所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-13任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1-13任一项所述的方法。

Images