CN113033562A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、设备及存储介质，该方法包括：获取待处理图像，其中，待处理图像中包括票据图像，根据第一要素集合，确定待处理图像中包括的第一要素，对包括第一要素的目标区域进行光学字符识别OCR，确定第一要素的特征，根据第一要素的特征和关联特征，确定目标区域中与第一要素关联的至少一个第二要素，根据第一要素和至少一个第二要素，识别票据图像中的要素语义信息，可见，该图像处理方法无需提前建立票据模板数据库，有效减少了票据图像处理的前期准备工作的工作量，解决了现有技术中基于票据模板数据库对票据识别信息进行定位并识别的流程较为繁琐的技术问题，有效改善了票据图像处理技术的适应性。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

银行等各财务部门在处理发票数据的工作过程中，由于票据数量庞大，而且后期的监督业务中，还需要重新录入同样的数据采用传统的手工录入的方式不仅浪费时间和人力，而且容易出错，显然，这种传统的手工录入的方式已经无法满足目前的正常业务需求。由于模式识别技术的不断深入发展，以及市场需求的不断增长，使得票据数据识别和分析技术已经成为金融业务自动化处理的关键。

现有技术中，通常首先建立票据模板数据库，根据预先建立的票据模板数据库确定待处理票据的票据类型，从而实现对待处理票据中需要识别的信息进行定位并识别。

采用现有技术，需要提前建立票据模板数据库，当已知的票据类型种类较多时，若采用现有技术进行票据图像处理，则会增加前期准备工作的工作量，当出现新的票据类型时，还需要建立新类型的票据模板，显然，目前的票据图像处理技术的适应性较差。

发明内容

本申请提供一种图像处理方法、装置、设备及存储介质，以解决现有技术中基于票据模板数据库对票据识别信息进行定位并识别的流程较为繁琐的技术问题。

本申请第一个方面提供一种图像处理方法，包括：

获取待处理图像；其中，所述待处理图像中包括票据图像；

根据第一要素集合，确定所述待处理图像中包括的第一要素；

对包括所述第一要素的目标区域进行光学字符识别OCR，确定所述第一要素的特征；

根据所述第一要素的特征和关联特征，确定所述目标区域中与所述第一要素关联的至少一个第二要素；

根据所述第一要素和所述至少一个第二要素，识别所述票据图像中的要素语义信息。

可选地，所述关联特征，包括：

所述第一要素的位置和至少一个第二要素的位置之间的对应关系、所述第一要素的内容和所述第二要素的内容之间的对应关系。

可选地，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

将所述待处理图像进行缩放处理；

基于设置所述图像的颜色通道的值，去除所述待处理图像的背景，获得去背景后的待处理图像；

将所述去背景后的待处理图像进行去除红印处理，获得去红印后的待处理图像。

可选地，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

对所述去红印后的待处理图像进行灰度处理，获得灰度图像；

对所述灰度图像进行高斯滤波处理，获得高斯滤波后的灰度图像；

基于阈值图像，对所述高斯滤波后的灰度图像进行二值化操作，获得二值图像。

可选地，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

基于直线分割检测法LSD，对所述灰度图像进行直线检测，获得直线图像；

根据所述直线图像，确定待删除直线；

对所述待删除直线进行删除处理。

可选地，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

对所述二值图像进行去噪处理，获得去噪后的待处理图像；

对所述去噪后的待处理图像进行形态学操作，获得所述第一要素的目标区域。

可选地，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

基于垂直投影和行分析方法，判断所述去噪后的待处理图像是否需要进行旋转。

可选地，所述根据所述第一要素的特征和关联特征，确定所述目标区域中与所述第一要素关联的至少一个第二要素，包括：

基于光学字符识别OCR技术，对所述目标区域进行OCR识别，获得所述至少一个第二要素的语义信息。

本申请第二个方面提供一种图像处理装置，包括：

获取模块，用于获取待处理图像；其中，所述待处理图像中包括票据图像；

确定模块，用于根据第一要素集合，确定所述待处理图像中包括的第一要素；

第一识别模块，用于对包括所述第一要素的目标区域进行光学字符识别OCR，确定所述第一要素的特征；

定位模块，用于根据所述第一要素的特征和关联特征，确定所述目标区域中与所述第一要素关联的至少一个第二要素；

第二识别模块，用于根据所述第一要素和所述至少一个第二要素，识别所述票据图像中的要素语义信息。

可选地，所述关联特征，包括：

所述第一要素的位置和至少一个第二要素的位置之间的对应关系、所述第一要素的内容和所述第二要素的内容之间的对应关系。

可选地，该装置还包括处理模块，处理模块，具体用于：

将所述待处理图像进行缩放处理；

基于设置所述图像的颜色通道的值，去除所述待处理图像的背景，获得去背景后的待处理图像；

将所述去背景后的待处理图像进行去除红印处理，获得去红印后的待处理图像。

可选地，处理模块还用于，对所述去红印后的待处理图像进行灰度处理，获得灰度图像；

对所述灰度图像进行高斯滤波处理，获得高斯滤波后的灰度图像；

基于阈值图像，对所述高斯滤波后的灰度图像进行二值化操作，获得二值图像。

可选地，处理模块还用于，基于直线分割检测法LSD，对所述灰度图像进行直线检测，获得直线图像；

根据所述直线图像，确定待删除直线；

对所述待删除直线进行删除处理。

可选地，处理模块还用于，对所述二值图像进行去噪处理，获得去噪后的待处理图像；

对所述去噪后的待处理图像进行形态学操作，获得所述第一要素的目标区域。

可选地，处理模块还用于，基于垂直投影和行分析方法，判断所述去噪后的待处理图像是否需要进行旋转。

可选地，第二识别模块具体用于，基于光学字符识别OCR技术，对所述目标区域进行OCR识别，获得所述至少一个第二要素的语义信息。

本申请第三个方面提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。

本申请第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。

本申请提供的一种图像处理方法、装置、设备及存储介质，通过获取待处理图像，其中，待处理图像中包括票据图像，根据第一要素集合，确定待处理图像中包括的第一要素，对包括第一要素的目标区域进行光学字符识别OCR，确定第一要素的特征，根据第一要素的特征和关联特征，确定目标区域中与第一要素关联的至少一个第二要素，根据第一要素和至少一个第二要素，识别票据图像中的要素语义信息，可见，该图像处理方法无需提前建立票据模板数据库，有效减少了票据图像处理的前期准备工作的工作量，解决了现有技术中基于票据模板数据库对票据识别信息进行定位并识别的流程较为繁琐的技术问题，有效改善了票据图像处理技术的适应性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例适用的图像处理系统的结构示意图；

图2为本申请一实施例提供的图像处理方法的流程示意图；

图3为本申请另一实施例提供的一种图像处理方法的流程示意图；

图4为本申请一实施例提供的另一种图像处理方法的流程示意图；

图5为本申请一实施例提供的再一种图像处理方法的流程示意图；

图6为本申请一实施例提供的又一种图像处理方法的流程示意图；

图7为本申请一实施例提供的图像处理方法的整体流程示意图；

图8为本申请一实施例提供的图像处理装置的结构示意图；

图9为本申请一实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请所涉及的名词进行解释：

OCR：光学字符识别(Optical Character Recognition，简称：OCR)是指电子设备(扫描仪或数码相机等)获取纸上打印的字符，基于检测暗、亮的模式确定其形状后，基于OCR技术将形状翻译成计算机文字的过程，即将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

本申请实施例提供的图像处理方法，用于对获取的票据图像中的票据信息进行识别。如图1所示，为本申请实施例基于的图像处理系统，该系统可以包括用于获取图像的扫描设备和用于处理图像的电子设备，具体的，该电子设备根据获取的待处理图像，首先获取待处理图像中的票据图像，根据第一要素集合，确定目标区域中的第一要素以及第一要素与待获取的至少一个第二要素的关联特征，或者，第一要素的自身独立特征、待获取的至少一个第二要素的自身独立特征，确定至少一个第二要素的目标区域，基于OCR技术对至少一个第二目标区域进行识别，进而获得至少一个第二要素。

然而，在现有技术中，若要对待处理图像进行处理，获取图像中的票据的要素信息，则首先需要建立票据模板数据库，根据预先建立的票据模板数据库确定待处理票据的票据类型，进而实现对待处理票据中需要识别的信息进行定位并识别。

因此，本申请实施例提供的图像处理方法、装置、设备及存储介质，提出根据待处理图像确定第一要素，根据第一要素和至少一个第二要素的关联特征和/或至少一个第二要素自身独立特征和/或第一要素的自身独立特征，确定至少一个第二要素的目标区域，可见，本申请实施例提供的图像处理方法无需提前建立票据模板数据库，有效减少了票据图像处理的前期准备工作的工作量，解决了现有技术中基于票据模板数据库对票据识别信息进行定位并识别的流程较为繁琐的技术问题，同时有效改善了票据图像处理技术的适应性。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

实施例一

本实施例提供一种图像处理方法，用于对获取的票据图像中的票据信息进行识别。本实施例的执行主体为电子设备，比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于图像处理的电子设备。

如图2所示，为本实施例提供的图像处理方法的流程示意图，该方法包括：

步骤101，获取待处理图像；其中，该待处理图像中包括票据图像。

具体的，基于对待处理票据进行扫描操作，以获取待处理票据对应的待处理图像。

步骤102，根据第一要素集合，确定待处理图像中包括的第一要素。

可选地，在确定待处理图像中包括第一要素的目标区域前，可以首先对待处理图像进行图像预处理操作，例如去除待处理图像中的干扰信息等，以提高后续图像处理的准确率。

其中，第一要素集合中包括至少一个已知的要素，本申请实施例中将已知的可枚举的要素记为第一要素。其中，要素指的是票据上的图像和文字等内容，例如，票据的条目可以是一个要素、票据上的印章可以是一个要素、票据上特定的文字可以是一个要素等。在步骤102前，可以预先建立可枚举的第一要素集合，例如，若待处理图像中的票据图像是银行支票，当确定待获取的第一要素信息是票据抬头时，抬头是指委托办理支票存款业务的银行，即第一要素是票据的银行名称，则可枚举的要素信息可以为中国建设银行、中国工商银行、中国农业银行、中国民生银行、招商银行和交通银行等，将可枚举的银行名称保存至第一要素集合中。

步骤103，对包括第一要素的目标区域进行光学字符识别OCR，确定第一要素的特征。

可选地，基于OCR技术对已经确定的第一要素的目标区域进行遍历，并将识别出的第一要素与要素数据库中存储的要素信息进行相似度分析和校验，从而确定第一要素的特征，其中，第一要素的特征可以是最后两个字符为“银行”，也可以是第一要素在票据中所处的位置是“顶部置中”等。

可选地，在对待处理图像的第一要素进行识别之前，也可以省略预先建立第一要素集合的操作，而是直接基于OCR技术对待处理图像进行遍历，以获取第一要素的特征。其中，第一要素的特征也可以是在第一要素获取前就已经确定的，假如第一要素是票据上的银行名称，则上述的第一要素的特征是可以根据经验而确定的，如最后两个字符为“银行”和所处的位置是“顶部置中”等，进而根据该特征对获取的第一要素进行校验。

步骤104，根据第一要素的特征和关联特征，确定目标区域中与第一要素关联的至少一个第二要素。

可选地，关联特征是指第一要素的位置和至少一个第二要素的位置之间的对应关系、第一要素的内容和第二要素的内容之间的对应关系。

示例性的，若当第一要素是票据的银行名称时，至少一个第二要素是票据的人民币金额(数字的大写形式)，可知的，在支票类票据中，票据的人民币金额通常位于银行名称的下部，即可以确定至少一个第二要素和第一要素的位置关系，其中，至少一个第二要素和第一要素的位置关系即为步骤104中的第一要素的关联特征。

其中，由步骤103可知，第一要素在待处理图像中所处位置为“顶部置中”，则根据第一要素在待处理图像中所处位置以及第一要素与至少一个第二要素之间的关联特征，确定待处理图像中的至少一个第二要素信息的目标区域。

可选地，至少一个第二要素可以与已确定的第一要素不存在关联特征，则确定至少一个第二要素的过程可以与上述第一要素的确定过程相同，即重复步骤102-103，以确定至少一个第二要素。

步骤105，根据第一要素和至少一个第二要素，识别票据图像中的要素语义信息。

可选地，基于光学字符识别OCR技术，对目标区域进行OCR识别，获得至少一个第二要素的语义信息。

其中，要素语义信息是指所获得的要素的具体要素信息，例如，当所获得的要素是银行的名称时，基于OCR技术对该要素所在的目标区域进行识别，识别结果为“中国人民银行”，则“中国人民银行”即为该要素的语义信息。

示例性的，当至少一个第二要素为票据中的人民币金额时，则此时存储至至少一个第二要素集合的可枚举的要素信息可以为“壹、贰、叁、肆、伍、陆、柒、捌、玖、拾、佰、仟、万、亿、元(圆)、角、分、零和整”。

具体的，基于OCR技术对已确定的至少一个第二要素的目标区域进行遍历，并将识别出的至少一个第二要素与要素数据库中存储的要素信息进行相似度分析和校验，从而确定至少一个第二要素的特征。以此类推，根据已获得的要素的特征、关联特征以及待识别要素自身的特征，确定剩余待识别要素信息的位置信息，根据待处理图像中的票据图像，识别该票据图像中的多个要素，以确定该票据图像中的票据类别及多种票据信息。本申请对步骤105中根据已知要素识别票据图像中的要素语义信息及其他信息的方式不做限定。

本实施例中，以票据图像中包括一个第一要素为例进行说明，可以理解的是，当票据图像中包括多个第一要素时，根据本实施例的方法，每个第一要素均可确定与其关联的至少一个第二要素。则步骤105中可以根据票据图像中所有第一要素，以及所有第一要素关联的第二要素，以确定待处理图像中的票据图像中的要素语义信息。

本实施例提供的图像处理方法，通过获取待处理图像，其中，待处理图像中包括票据图像，根据第一要素集合，确定待处理图像中包括的第一要素，对包括第一要素的目标区域进行光学字符识别OCR，确定第一要素的特征，根据第一要素的特征和关联特征，确定目标区域中与第一要素关联的至少一个第二要素，根据第一要素和至少一个第二要素，识别票据图像中的要素语义信息，可见，该图像处理方法无需提前建立票据模板数据库，有效减少了票据图像处理的前期准备工作的工作量，解决了现有技术中基于票据模板数据库对票据识别信息进行定位并识别的流程较为繁琐的技术问题，有效改善了票据图像处理技术的适应性。

实施例二

如图3所示，为本实施例提供的图像处理方法的流程示意图，作为一种可实施的方式，在上述实施例一的基础上，可选地，在步骤102之前，还可以对图像进行预处理，并通过预处理后的图像作为图2所示实施例一中的待处理图像进行处理，以提高实施例一中对图像处理的准确度，其中该方法包括：

步骤201，将待处理图像进行缩放处理。

具体的，根据实际需求及当前的图像处理设备的配置情况，将待处理图像进行缩放处理，以使待处理图像的大小适用于图像处理设备，其中，为了避免待处理图像发生变形，所进行的缩放操作是基于长宽比不变的原则进行操作的。

步骤202，基于设置图像的颜色通道的值，去除待处理图像的背景，获得去背景后的待处理图像。

其中，由于票据的背景颜色有白色、蓝色、红色等其他颜色，为了提高后续图像处理的准确度，则提前对待处理图像的背景颜色进行处理。

具体的，基于RGB通道对缩放后的待处理图像进行遍历，确定待处理图像的红色像素值、绿色像素值和蓝色像素值，并将确定的红色像素值、绿色像素值和蓝色像素值与提前预设的红色像素阈值、绿色像素阈值和蓝色像素阈值进行比较，并确定红色像素值大于红色像素阈值、绿色像素值大于绿色像素阈值且蓝色像素值大于蓝色像素阈值的像素所占待处理图像的全部像素的比例，将该比例记为白色像素所占比例。基于绿色通道对缩放后的待处理图像进行遍历，确定绿色像素通道图像的直方图，并将其进行归一化处理，以确定大于上述预设的绿色像素阈值的像素区间范围，该直方图是指在每个bin(像素区间的单位)内的像素个数。若确定的白色像素所占比例小于预设的比例阈值，则将确定的大于预设的绿色像素阈值的像素区间范围中的像素值的RGB通道像素值设置为255；否则不做处理。以实现将待处理图像中的文字信息和背景相分离，即将背景设置成白色。

步骤203，将去背景后的待处理图像进行去除红印处理，获得去红印后的待处理图像。

具体的，与步骤202相同，基于RGB通道对缩放后的待处理图像进行遍历，以确定红色像素值、红绿像素差值、红蓝像素差值、绿蓝像素差值，并根据实际需求设置红色像素阈值、红绿像素差值阈值、红蓝像素差值阈值、绿蓝像素差值阈值。若该像素点同时满足红色像素值大于红色像素阈值、红绿像素差值大于对应红绿像素差值阈值、红蓝像素差值大于对应红蓝像素差值阈值、绿蓝像素差值大于对应绿蓝像素差值阈值，则可确定该像素点为红色像素点，将待处理图像上的全部红色像素点的RGB通道像素值设置为255，以达到去除红印的效果，以便后续的图像处理操作，进一步提高了图像处理的准确度。

如图4所示，为本实施例提供的另一种图像处理方法的流程示意图，作为一种可实施的方式，可选地，在步骤102之前还包括：

步骤204，对去红印后的待处理图像进行灰度处理，获得灰度图像；

步骤205，对灰度图像进行高斯滤波处理，获得高斯滤波后的灰度图像；

步骤206，基于阈值图像，对高斯滤波后的灰度图像进行二值化操作，获得二值图像。

具体的，在将获取的去红印后的待处理图像进行灰度处理后，基于区域插值法将待处理图像的长和宽各缩小至原来的一半，并对缩小后的待处理图像进行高斯滤波处理，在完成高斯滤波处理后，基于线性插值法将高斯滤波后的灰度图像放大至原本待处理图片的大小，并基于将放大后的灰度图像的像素值与预设的像素值进行差值处理，以获得阈值图像，并基于该阈值图像对高斯滤波后的灰度图像进行自适应二值化操作。

可见，上述的高斯滤波处理是在小图上进行的操作，提高了高斯滤波处理的处理效率，而且避免了在滤波处理的过程中造成关键信息的丢失。同时这种自适应二值化操作的适应性较强，一般的二值化操作需要确定固定的阈值，所以普适性较差，对于背景比较复杂的待处理图像的二值化效果较差，本实施例提供的二值化操作方法可以提升待处理图像的二值化效果，且提高用于图像处理设备的运行速度，对背景噪声也有很好的鲁棒性。

如图5所示，为本实施例提供的再一种图像处理方法的流程示意图，作为一种可实施的方式，可选地，在步骤102之前还包括：

步骤207，基于直线分割检测法(Line Segment Detector，简称：LSD)，对灰度图像进行直线检测，获得直线图像；

步骤208，根据直线图像，确定待删除直线；

步骤209，对待删除直线进行删除处理。

具体的，在基于LSD直线分割检测法，对灰度图像进行直线检测后，首先根据直线图像中每条直线的线条方向区分横线和竖线，再根据直线的长度去除文字线及其他干扰直线，其中，文字线是指文字下方的下划线，最后剩余的直线添加到全为0的二值图上，并将其与S206获得的二值图像进行交集处理，从而获得二值化的直线图，基于S206获得的二值图像减去该二值化的直线图，获得去线后的二值图像。

可见，上述LSD直线分割检测法是一种局部提取直线的方法，与常用的霍夫变换方法相比，提取速度更快，且准确率较高。在对待处理图像进行要素信息识别前进行去线操作，有效提高了后续图像处理的准确度。

如图6所示，为本实施例提供的又一种图像处理方法的流程示意图，作为一种可实施的方式，可选地，在步骤102之前还包括：

步骤20(10)，在确定去线后的二值图像后，对二值图像进行去噪处理，获得去噪后的待处理图像。

其中，二值图像中的噪声主要包括：边界噪声(待处理图像左右两侧含有的装订产生的噪声)、二值化操作无法去除的噪声(例如待处理图像的背景由于打印或挤压产生的黑色噪声)和其他噪声，其中其他噪声是指当待处理图像中包含有多张票据图像，且多张票据图像中的票据信息一样，在这种情况下则需要对待处理图像进行剪裁处理，以去除其他噪声的干扰。

示例性的，若对边界噪声进行去噪处理，则对去线后的二值图像的左右两边进行垂直投影操作，并根据白色像素所占比例进行去噪区域定位，并将所定位的区域的值置为0，以实现对边界噪声的去除。若对二值化操作无法去除的噪声进行去噪处理，则首先确定去线后的二值图像的所有最小连通区域，基于遍历所确定的最小连通区域，并根据实际需求预设长、宽及长宽比的阈值，确定各连通区域的长、宽及长宽比和预设的阈值的大小关系，将长、宽及长宽比均大于阈值的连通区域的值置为0，否则不做处理，以实现对二值化操作无法去除的噪声的去除。若对其他噪声进行去噪处理，则首先确定整张去线后的二值图的水平投影值，根据水平投影值的大小对去线后的二值图像的主要部分进行剪裁，以实现对其他噪声的去除，从而获得去噪后的待处理图像。

可见，基于投影和连通区域的方法对待处理图像进行去噪处理，操作流程较为简单，且能够满足实际业务处理的需求，进一步提高了后续图像处理的准确度。

步骤20(11)，对去噪后的待处理图像进行形态学操作，获得第一要素的目标区域。

具体的，首先对去噪后的二值图像进行闭运算操作，使二值图像上的文字区域连接在一起，再基于两组不同的kernel参数，对闭运算操作后的二值图像进行开运算操作，以去除待处理图像中的毛刺，从而获得第一要素的候选区域，根据已获取的候选区域，确定第一要素的目标区域。

可选地，在对二值图像进行去噪处理后，基于垂直投影和行分析方法，判断去噪后的待处理图像是否需要进行旋转。

其中，不需要进行旋转的待处理图像的左半部分字符比较密集，且待处理图像中的文本行的最左侧是对齐的。

具体的，基于垂直投影方法确定待处理图像中的第一要素的候选区域的左半部分和右半部分的字符的密集程度；对第一要素的候选区域进行行分析操作，具体的，根据实际需求预设文本块的高度值的阈值，并将待处理图像中的文本块按行排序，若确定该文本块的高度值大于预设阈值，则将该文本块进行拆分，若确定该文本块的高度小于预设阈值，则将该文本块进行过滤处理，最终获得行分析后的文本块，并根据获得的行分析后的文本块，判断文本块中的每行字符区域的左边界是否对齐。综上，判断待处理图像在进行票据信息识别前是否需要进行旋转，若确定待处理图像需要进行旋转，则根据实际需求旋转适当角度。

其中，待处理图像旋转操作基于二值图像进行处理的，不受噪声因素的影响，从而提高了待处理图像的处理效率，且提高了后续图像处理的准确度。

如图7所示，为本实施例提供的图像处理方法的整体流程示意图，如图7所示的流程可以是如图1所示流程的一种具体实现方式。

示例性的，以某银行票据为例，首先获取一张待处理图像，并对待处理图像一次进行缩放处理，在进行缩放处理后进行去背景操作，以使待处理图像的底色调整为白色，再将待处理图像上的红色印章进行去除处理。基于去除红印后的待处理图像，对该待处理图像进行二值化操作，以有效减少待处理图像中的部分噪声干扰。在完成二值化操作后，基于LSD直线分割检测法，对二值化操作过程中获得的灰度图像进行直线检测操作，并去除其中的干扰直线。在完成去线操作后，对二值化图像进行去噪处理，以去除二值图中的边界噪声、二值化无法去除的噪声以及其他噪声，以提高图像处理的准确度。在完成待处理图像的去噪操作后，对去噪后的待处理图像进行形态学操作，获得待识别要素的候选区域，并对待处理图像进行垂直投影和行分析操作，以确定待处理图像在进行票据信息识别前是否需要进行旋转，若需要进行旋转，则根据实际情况进行适当旋转。最后根据已获取的要素信息的特征，以及该要素信息与待获取的要素信息的关联特征，确定待获取的要素信息的位置信息，并基于OCR技术对待获取的要素信息进行识别和校验，以实现对待处理图像中的票据信息进行获取，最后将获取的票据信息进行输出。

需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。

实施例三

本实施例提供一种基于位置模板与语义模板的票据图像字段定位方法。

其中，该票据图像字段定位方法是一种传统的票据处理方法，主要基于票据模板对待处理图像中的票据图像进行处理。

具体的，首先对不同票据类型的待处理图像预设不同的xml模板配置文件，在对待处理图像进行预处理之前，先基于票据分类系统分析票据图像的票据类型，根据分类结果加载与该票据图像具有相同类型的模板配置文件，再根据模板配置文件对所需要识别的信息进行定位并识别。

本实施例提供的基于位置模板与语义模板的票据图像字段定位方法，通过根据预设的不同的xml模板配置文件，根据待处理图像中的票据类别加载与该票据图像具有相同类型的模板配置文件，再根据模板配置文件对所需要识别的信息进行定位并识别，可见，当已知的票据类型种类较多时，则需要进行大量的预设xml模板配置文件的操作，当出现新的票据类型时，还需要建立新类型的票据模板，显然，这种票据图像处理技术的适应性相对较差。

实施例四

本实施例提供一种图像处理装置，用于执行上述实施例一的方法。

如图8所示，为本实施例提供的图像处理装置的结构示意图。该图像处理装置40包括获取模块401、确定模块402、第一识别模块403、定位模块404和第二识别模块405。

其中，获取模块，用于获取待处理图像；其中，待处理图像中包括票据图像；确定模块，用于根据第一要素集合，确定待处理图像中包括的第一要素；第一识别模块，用于对包括第一要素的目标区域进行光学字符识别OCR，确定第一要素的特征；定位模块，用于根据第一要素的特征和关联特征，确定目标区域中与第一要素关联的至少一个第二要素；第二识别模块，用于根据第一要素和至少一个第二要素，识别票据图像中的要素语义信息。

其中，关联特征是指，第一要素的位置和至少一个第二要素的位置之间的对应关系、第一要素的内容和第二要素的内容之间的对应关系。

可选地，第二识别模块，具体用于基于光学字符识别OCR技术，对目标区域进行OCR识别，获得至少一个第二要素的语义信息。

关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本实施例提供的基于识别图像的图像处理装置，可用于执行前述实施例中提供的图像处理方法，其实现方式与原理相同，不再赘述。

实施例五

作为一种可实施的方式，在上述实施例四的基础上，可选地，该装置还包括处理模块。

其中，处理模块用于将待处理图像进行缩放处理；

基于设置图像的颜色通道的值，去除待处理图像的背景，获得去背景后的待处理图像；

将去背景后的待处理图像进行去除红印处理，获得去红印后的待处理图像。

可选地，处理模块还用于对去红印后的待处理图像进行灰度处理，获得灰度图像；

对灰度图像进行高斯滤波处理，获得高斯滤波后的灰度图像；

基于阈值图像，对高斯滤波后的灰度图像进行二值化操作，获得二值图像。

可选地，处理模块还用于基于LSD直线分割检测法，对灰度图像进行直线检测，获得直线图像；

根据直线图像，确定待删除直线；

对待删除直线进行删除处理。

可选地，处理模块还用于对二值图像进行去噪处理，获得去噪后的待处理图像；

对去噪后的待处理图像进行形态学操作，获得第一要素的目标区域。

可选地，处理模块还用于基于垂直投影和行分析方法，判断去噪后的待处理图像是否需要进行旋转。

关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。

本实施例提供的基于识别图像的图像处理装置，可用于执行前述实施例中提供的图像处理方法，其实现方式与原理相同，不再赘述。

实施例六

本实施例提供一种电子设备，用于执行上述实施例提供的方法。

如图9所示，为本实施例提供的电子设备的结构示意图。该电子设备60包括：至少一个处理器61和存储器62；

所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上任一实施例提供的方法。

本实施例提供的电子设备，可用于执行前述实施例中提供的图像处理方法，其实现方式与原理相同，不再赘述。

实施例七

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上任一实施例提供的方法。

本实施例提供的计算机可读存储介质，可用于存储前述实施例中提供的图像处理方法的计算机执行指令，其实现方式与原理相同，不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种图像处理方法，用于票据信息识别，其特征在于，包括：

获取待处理图像；其中，所述待处理图像中包括票据图像；

根据第一要素集合，确定所述待处理图像中包括的第一要素；

对包括所述第一要素的目标区域进行光学字符识别OCR，确定所述第一要素的特征；

根据所述第一要素的特征和关联特征，确定所述目标区域中与所述第一要素关联的至少一个第二要素；

根据所述第一要素和所述至少一个第二要素，识别所述票据图像中的要素语义信息。

2.根据权利要求1所述的方法，其特征在于，所述关联特征，包括：

所述第一要素的位置和至少一个第二要素的位置之间的对应关系、所述第一要素的内容和所述第二要素的内容之间的对应关系。

3.根据权利要求1所述的方法，其特征在于，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

将所述待处理图像进行缩放处理；

基于设置所述图像的颜色通道的值，去除所述待处理图像的背景，获得去背景后的待处理图像；

将所述去背景后的待处理图像进行去除红印处理，获得去红印后的待处理图像。

4.根据权利要求3所述的方法，其特征在于，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

对所述去红印后的待处理图像进行灰度处理，获得灰度图像；

对所述灰度图像进行高斯滤波处理，获得高斯滤波后的灰度图像；

基于阈值图像，对所述高斯滤波后的灰度图像进行二值化操作，获得二值图像。

5.根据权利要求4所述的方法，其特征在于，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

基于直线分割检测法LSD，对所述灰度图像进行直线检测，获得直线图像；

根据所述直线图像，确定待删除直线；

对所述待删除直线进行删除处理。

6.根据权利要求4所述的方法，其特征在于，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

对所述二值图像进行去噪处理，获得去噪后的待处理图像；

对所述去噪后的待处理图像进行形态学操作，获得所述第一要素的目标区域。

7.根据权利要求6所述的方法，其特征在于，所述根据第一要素集合，确定所述待处理图像中包括的第一要素之前，还包括：

基于垂直投影和行分析方法，判断所述去噪后的待处理图像是否需要进行旋转。

8.根据权利要求1所述的方法，其特征在于，所述根据所述第一要素的特征和关联特征，确定所述目标区域中与所述第一要素关联的至少一个第二要素，包括：

基于光学字符识别OCR技术，对所述目标区域进行OCR识别，获得所述至少一个第二要素的语义信息。

9.一种图像处理装置，用于票据信息识别，其特征在于，包括：

获取模块，用于获取待处理图像；其中，所述待处理图像中包括票据图像；

确定模块，用于根据第一要素集合，确定所述待处理图像中包括的第一要素；

第一识别模块，用于对包括所述第一要素的目标区域进行光学字符识别OCR，确定所述第一要素的特征；

定位模块，用于根据所述第一要素的特征和关联特征，确定所述目标区域中与所述第一要素关联的至少一个第二要素；

第二识别模块，用于根据所述第一要素和所述至少一个第二要素，识别所述票据图像中的要素语义信息。

10.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至8任一项所述的方法。

Images