CN112200191B

CN112200191B - 图像处理方法、装置、计算设备及介质

Info

Publication number: CN112200191B
Application number: CN202011375173.3A
Authority: CN
Inventors: 谢树雷; 赖荣凤; 梅涛
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2021-07-20
Anticipated expiration: 2040-12-01
Also published as: CN112200191A

Abstract

本公开提供了一种图像处理方法。该方法包括获取待处理图像，待处理图像包含文本信息；利用经训练的卷积神经网络模型，对待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图；根据文本区域预测图和阈值预测图，确定目标区域；根据目标区域，在角点预测图中确定角点的位置坐标；根据角点的位置坐标，确定待处理图像中文本信息所在的区域；以及对文本信息所在的区域内的图像进行校正。本公开还提供了一种图像处理装置、计算设备及介质。

Description

图像处理方法、装置、计算设备及介质

技术领域

本公开涉及计算机视觉领域，更具体地，涉及一种图像处理方法、装置、计算设备及介质。

背景技术

光学符号识别技术（OCR）是利用计算机视觉技术将图像中的文字提取并转换为人和计算机可以理解的文本。利用OCR技术提取图像是目前计算机视觉领域的研究分支之一。利用OCR技术提取证件（例如车牌、身份证、银行卡、驾驶证等）图像中的关键字段信息，然后以结构化的结果返回给用户是OCR技术目前应用最广泛的场景，而文本定位方法是影响信息提取的关键，对文本进行精确定位和矫正有利于提高图像中文本信息的识别准确率。

在对证件进行拍摄过程中，由于拍摄角度的问题，会导致拍摄得到的图像中文本区域发生透视形变，这种透视形变是不规则的，会影响图像中文本的规范性，降低文字的识别效果。

然而，相关技术在对文本图像进行校正时，对于图像中文本区域的倾斜角度容忍能力有限，对于倾斜正/负角度30度以内的条形文本校正效果比较好，而对于更大的倾斜角度的文本效果较差。

发明内容

有鉴于此，本公开提供了一种图像处理方法、装置、计算设备及介质。

本公开的一个方面提供了一种图像处理方法，包括：获取待处理图像，所述待处理图像包含文本信息；利用经训练的卷积神经网络模型，对所述待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图；根据所述文本区域预测图和所述阈值预测图，确定目标区域；根据所述目标区域，在所述角点预测图中确定角点的位置坐标；根据所述角点的位置坐标，确定所述待处理图像中所述文本信息所在的区域；以及对所述文本信息所在的区域内的图像进行校正。

根据本公开的实施例，所述卷积神经网络模型包括n个第一卷积模块、n-1个反向卷积模块和至少一个第二卷积模块，其中，n为大于2的正整数；所述利用经训练的卷积神经网络模型，对所述待处理图像进行预处理，包括：利用所述n个第一卷积模块，对所述待处理图像进行n次下采样操作，以得到第一图像；利用所述n-1个反向卷积模块，对所述第一图像进行n-1次上采样操作，以得到第二图像；以及利用所述至少一个第二卷积模块，对所述第二图像进行卷积操作，以得到所述文本区域预测图、上述阈值预测图和所述角点预测图。

根据本公开的实施例，所述方法还包括，利用以下操作训练所述卷积神经网络模型：获取多个样本图像；确定分别与所述多个样本图像中的每个样本图像对应的文本区域标准图、阈值标准图和角点标准图；以及利用所述多个样本图像和与所述每个样本图像对应的文本区域标准图、阈值标准图和角点标准图，对卷积神经网络模型进行训练，以得到经训练的卷积神经网络模型。

根据本公开的实施例，所述确定与每个样本图像对应的角点标准图，包括：获取所述样本图像中多个标注角点的位置坐标；针对所述多个标注角点中的每个标注角点，确定各自的角点区域；以及根据确定的角点区域，生成角点标准图。

根据本公开的实施例，针对所述多个标注角点中的每个标注角点，确定各自的角点区域包括：确定所述标注角点周边预设范围内的像素，作为候选像素；根据每个候选像素到所述标注角点的欧式距离，确定所述候选像素属于角点区域的概率；以及根据每个候选像素属于角点区域的概率，确定与所述标注角点对应的角点区域。

根据本公开的实施例，所述文本区域预测图包括多个第一像素，所述阈值预测图包括多个第二像素，所述多个第一像素与所述多个第二像素一一对应，每个所述第一像素的像素值表示该第一像素属于文本区域的概率，每个所述第二像素的像素值表示针对与该第二像素对应的第一像素设置的概率阈值；所述根据所述文本区域预测图和所述阈值预测图，确定目标区域，包括：针对所述每个第一像素，将所述第一像素的像素值和与该第一像素对应的第二像素的像素值进行比较；若所述第一像素的像素值大于与所述第一像素对应的第二像素的像素值，则确定所述第一像素为目标像素；以及根据所述目标像素，确定目标区域。

根据本公开的实施例，所述根据所述目标区域，在所述角点预测图中确定角点的位置坐标，包括：以所述目标区域为查找范围，在所述角点预测图中查找连通区域，以得到多个角点区域；确定所述多个角点区域的外接圆；以及确定每个所述外接圆的圆心的位置坐标作为所述角点的位置坐标。

本公开的另一个方面提供了一种图像处理装置，包括：获取模块，用于获取待处理图像，所述待处理图像包含文本信息；预处理模块，用于利用经训练的卷积神经网络模型，对所述待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图；目标区域确定模块，用于根据所述文本区域预测图和所述阈值预测图，确定目标区域；角点确定模块，用于根据所述目标区域，在所述角点预测图中确定角点的位置坐标；文本区域确定模块，用于根据所述角点的位置坐标，确定所述待处理图像中所述文本信息所在的区域；以及校正模块，用于对所述文本信息所在的区域内的图像进行校正。

本公开的另一个方面提供了一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

根据本公开的实施例，利用卷积神经网络模型对待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图，然后根据文本区域预测图和阈值预测图，确定目标区域，根据目标区域，在角点预测图中确定角点的位置坐标，利用角点的位置坐标来定位文本信息所在区域，从而对该区域内的图像进行校正，提高了对倾斜度较大的文本区域的校正效果。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用图像处理方法的示例性应用场景；

图2示意性示出了根据本公开的实施例的图像处理方法的流程图；

图3A示意性示出了根据本公开的实施例的卷积神经网络模型的结构示意图；

图3B示意性示出了根据本公开的实施例的输入图像示意图；

图3C示意性示出了根据本公开的实施例的文本区域预测图；

图3D示意性示出了根据本公开的实施例的阈值预测图；

图3E示意性示出了根据本公开的实施例的角点预测图；

图4示意性示出了根据本公开另一实施例的图像处理方法的流程图；

图5示意性示出了根据本公开的实施例的图像处理装置的框图；以及

图6示意性示出了根据本公开实施例的适于实现本公开实施例的方法的计算机系统的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。

本公开的实施例提供了一种图像处理方法以及能够应用该方法的装置。该方法包括获取待处理图像（例如证件照片等），待处理图像包含文本信息；利用经训练的卷积神经网络模型，对待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图；根据文本区域预测图和阈值预测图，确定目标区域；根据目标区域，在角点预测图中确定角点的位置坐标；根据角点的位置坐标，确定待处理图像中文本信息所在的区域；以及对文本信息所在的区域内的图像进行校正。

图1示意性示出了根据本公开实施例的可以应用图像处理方法的示例性应用场景100。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的应用场景100，首先对包含文本信息的待处理图像进行图像预处理，以得到文本区域预测图、阈值预测图和角点预测图，然后根据文本区域预测图和阈值预测图，确定目标区域。接下来，根据目标区域，在角点预测图中确定角点的位置坐标，利用角点的位置坐标，进行文本区域定位，得到包含文本信息的文本区域。之后，对文件区域内的图像进行透视校正。后续可以对校正后的图像进行光学符号识别，以识别其中包含的文本信息。

图2示意性示出了根据本公开的实施例的图像处理方法的流程图。

如图2所示，该方法包括在操作S210，获取待处理图像，待处理图像包含文本信息。

然后，在操作S220，利用经训练的卷积神经网络模型，对待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图。

根据本公开的实施例，卷积神经网络（CNN）模型包括n个第一卷积模块、n-1个反向卷积模块和至少一个第二卷积模块，其中，n为大于2的正整数。基于此，操作S220例如可以包括：利用n个第一卷积模块，对待处理图像进行n次下采样操作，以得到第一图像，然后利用n-1个反向卷积模块，对第一图像进行n-1次上采样操作，以得到第二图像，接下来利用至少一个第二卷积模块，对第二图像进行卷积操作，以得到文本区域预测图、上述阈值预测图和角点预测图。

需要说明的是，上述卷积神经网络模型的结构仅为示例，在实际应用的过程中，还可以采用其他网络结构。

根据本公开的实施例，文本区域预测图包括多个第一像素，阈值预测图包括多个第二像素，多个第一像素与多个第二像素一一对应，每个第一像素的像素值表示该第一像素属于文本区域的概率，每个第二像素的像素值表示针对与该第二像素对应的第一像素设置的概率阈值。

在操作S230，根据文本区域预测图和阈值预测图，确定目标区域。

根据本公开的实施例，操作S230例如可以包括：针对每个第一像素，将第一像素的像素值和与该第一像素对应的第二像素的像素值进行比较；若第一像素的像素值大于与第一像素对应的第二像素的像素值，则确定第一像素为目标像素；以及根据目标像素，确定目标区域。

根据本公开的实施例，更具体地，可以确定目标像素所构成的连通区域，然后确定与该连通区域外接的预设图形。其中，预设图形的形状可以根据待处理文本区域的形状而确定。例如，若待处理文本区域呈长条状，则预设图形可以为长方形。接下来，将该预设图形扩大预设倍数，从而得到目标区域。其中，预设倍数可以根据实际需要确定，预设倍数越小，则目标区域越小，即后续查找角点时所需查找的范围越小，处理量越小，但是预设倍数若太小，可能会导致目标区域不能覆盖所有的角点。

在操作S240，根据目标区域，在角点预测图中确定角点的位置坐标。

根据本公开的实施例，可以以目标区域为查找范围，在角点预测图中查找连通区域，以得到多个角点区域，然后，确定多个角点区域的外接圆，确定每个外接圆的圆心的位置坐标作为角点的位置坐标。

在操作S250，根据角点的位置坐标，确定待处理图像中文本信息所在的区域。

根据本公开的实施例，在得到角点的位置坐标的情况下，可以确定各角点所围成的封闭区域作为文本信息所在的区域，即文本区域。

在操作S260，对文本信息所在的区域内的图像进行校正。

根据本公开的实施例，可以对文本区域内的图像进行透视变换，以对该图像进行校正，得到正向的文本区域图像。

下面参考图3A~图3E，结合具体实施例对图2所示的方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。

图3A示意性示出了根据本公开的实施例的卷积神经网络模型的结构示意图。

如图3A所示，input表示卷积神经网络模型的输入图像，O-1、O-2和O-3表示卷积神经网络模型的输出。其中，O-1表示输出特征图1，即文本区域预测图，用于预测文本区域概率，大小为输入图像的1/2。O-2表示输出特征图2，即阈值预测图，用于预测该区域为文本区域的阈值，大小为输入图像的1/2。O-3表示输出特征图3，即角点预测图，用于预测文本角点区域，大小为输入图像的1/2。卷积神经网络模型包括C-1、C-2、C-3、C-4、U-1、U-2、U-3和C-5。其中。C-1表示卷积模块1，用于对输入图像进行下采样，输出特征图大小为input层的1/2。C-2表示卷积模块2，用于对C-1的输出特征图进行下采样，C-2的输出特征图大小为C-1层的1/2。C-3表示卷积模块3，用于对C-2的输出特征图进行下采样，C-3的输出特征图大小为C-2层的1/2。C-4表示卷积模块4，用于对C-3的输出特征图进行下采样，C-4的输出特征图大小为C-3层的1/2。U-1表示反向卷机模块1，用于对C-4特征图进行上采样后同C-3的输出特征图进行合并输出，U-1的输出特征图大小为C-4的2倍。U-2表示反向卷机模块2，用于对U-1特征图进行上采样后同C-2的输出特征图进行合并输出，U-2的输出特征图大小为U-1的2倍。U-3表示反向卷机模块3，用于对U-2特征图进行上采样后同C-1的输出特征图进行合并输出，U-3的输出特征图大小为U-2的2倍。C-5表示卷积模块5，用于对U-3的输出特征图进行卷积，不改变特征图大小。

需要说明的是，根据本公开的其他实施例，对于从input到C-5之间的网络结构也可以使用其他任意的分割网络结构。

图3B示意性示出了根据本公开的实施例的输入图像示意图。如图3B所示，圆框区域为车牌文本的角点区域，方框为车牌框，即标注结果。需要说明的是，圆框和方框仅为方便说明而进行的标注，CNN的输入图像中不包括掉圆框和方框。

将上述图像输入CNN后，输出的图像如图3C~3E所示。其中，图3C示意性示出了根据本公开的实施例的文本区域预测图（O-1），图3D示意性示出了根据本公开的实施例的阈值预测图（O-2），图3E示意性示出了根据本公开的实施例的角点预测图（O-3）。

在输出的O-1中通过查找角点的方式得到车牌分割区域。然后针对O-1中的每个第一像素，在O-2中取与该第一像素相同的位置的第二像素，如果该第一像素的像素值大于该第二像素的像素值，则将该第一像素的像素值设置为1，否则设置为0。该像素值设置过程可以表示为以下公式：

其中，

为O-1中第i个像素，

为O-2中第i个像素，i为正整数。

在上述像素值设置后得到的图像中，确定像素值为1的连通区域，以及该连通区域的外接矩形。

然后，将该外接矩形的长和宽分别扩大1.5倍，得到目标区域。将该目标区域作为查找范围，在O-3中寻找连通域，从而得到该区域内的四个角点区域。接着使用拟合外接圆形的方法得到四个角点区域的外接圆形，四个圆形的圆心坐标即作为文本区域角点的坐标。

在得到四个角点的坐标后，确定四个角点所构成的四边形，即得文本区域。然后通过透视变换对文本区域进行透视矫正，得到正向的文本区域，从而可以提高后续文本识别的准确率。

图4示意性示出了根据本公开另一实施例的图像处理方法的流程图。

如图4所示，除了操作S210~S250之外，该方法还包括操作S410~S430。其中，操作S410~S430可以用于对卷积神经网络模型进行训练。

具体地，在操作S410，获取多个样本图像。

在操作S420，确定与多个样本图像中的每个样本图像对应的文本区域标准图、阈值标准图和角点标准图。

根据本公开的实施例，可以在样本图像中标注文本区域各角点的位置坐标，将根据这些标注的角点所围成的区域内的像素的像素值设置为1，其他区域的像素的像素值设置为0，从而得到文本区域标准图。

根据本公开的实施例，可以将样本图像中文本区域内部的像素的像素值设置为0，文本区域之外的像素的像素值设置为1，从而得到阈值标准图。

根据本公开的实施例，可以获取样本图像中多个标注角点的位置坐标，针对多个标注角点中的每个标注角点，确定各自的角点区域，然后根据确定的角点区域，生成角点标准图。

更具体地，角点区域可以通过以下操作确定，针对多个标注角点中的每个标注角点，确定标注角点周边预设范围内的像素，作为候选像素，根据每个候选像素到标注角点的欧式距离，确定候选像素属于角点区域的概率，然后根据每个候选像素属于角点区域的概率，确定与标注角点对应的角点区域。

示例性地，本实施例中，以角点C₀为圆心，R个像素点为半径的圆，作为预设范围。预设范围内的任意像素点C_i为角点区域的概率P_i可以为：

其中，dist(C_i,C₀)为像素半径R范围内像素位置C_i到圆心C₀的欧式距离。距离角点的距离超出半径R的点，即超出预设范围的点被认为不属于角点区域，不计算角点区域概率P_i。

以识别车牌为例，在训练模型之前先进行车牌号码四个角点位置进行标注，得到车牌号码区域四个角点在图像中的坐标，如四个角点坐标为：（100,100），（200,100），(200,150)，(100,150)。

分别将（100,100），（200,100），(200,150)，(100,150)作为圆心，以r为半径作圆，计算该圆内的各像素到圆心的欧式距离，根据各像素到圆心的欧式距离计算各像素为角点区域的概率。各像素根据各自的概率，随机被选为角点区域的组成像素，从而得到角点区域标准图。

在操作S430，利用多个样本图像和与每个样本图像对应的文本区域标准图、阈值标准图和角点标准图，对卷积神经网络模型进行训练，以得到经训练的卷积神经网络模型。

根据本公开的实施例，可以依次将每个样本图像输入卷积神经网络模型，得到输出结果，将输出结果与该样本图的文本标准图、阈值标准图和角点标准图进行对比，根据对比结果不断优化调节卷积神经网络模型的参数，以对卷积神经网络模型进行训练。

图5示意性示出了根据本公开的实施例的图像处理装置的框图。

如图5所示，图像处理装置500包括获取模块510、预处理模块520、目标区域确定模块530、角点确定模块540、文本区域确定模块550和校正模块560。该装置500可以执行如图2所示的方法。

获取模块510，可以用于获取待处理图像，待处理图像包含文本信息。

预处理模块520，可以用于利用经训练的卷积神经网络模型，对待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图。

目标区域确定模块530，可以用于根据文本区域预测图和阈值预测图，确定目标区域。

角点确定模块540，可以用于根据目标区域，在角点预测图中确定角点的位置坐标。

文本区域确定模块550，可以用于根据角点的位置坐标，确定待处理图像中文本信息所在的区域。

校正模块560，可以用于对文本信息所在的区域内的图像进行校正。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块510、预处理模块520、目标区域确定模块530、角点确定模块540、文本区域确定模块550和校正模块560中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块510、预处理模块520、目标区域确定模块530、角点确定模块540、文本区域确定模块550和校正模块560中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块510、预处理模块520、目标区域确定模块530、角点确定模块540、文本区域确定模块550和校正模块560中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图6示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，根据本公开实施例的计算机系统600包括处理器601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC）），等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 603中，存储有系统600操作所需的各种程序和数据。处理器 601、ROM 602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统600还可以包括输入/输出（I/O）接口605，输入/输出（I/O）接口605也连接至总线604。系统600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims

1.一种图像处理方法，包括：

获取待处理图像，所述待处理图像包含文本信息；

利用经训练的卷积神经网络模型，对所述待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图，其中，所述阈值预测图用于表示所述文本区域预测图中的像素属于文本区域的概率阈值；

根据所述文本区域预测图和所述阈值预测图，确定目标区域，其中，所述目标区域包括所述文本区域；

以所述目标区域为查找范围，在所述角点预测图中查找连通区域，以得到多个角点区域；

确定所述多个角点区域中的角点的位置坐标；

根据所述角点的位置坐标，确定所述待处理图像中所述文本信息所在的区域；以及

对所述文本信息所在的区域内的图像进行校正；

其中，所述卷积神经网络模型包括n个第一卷积模块、n-1个反向卷积模块和至少一个第二卷积模块，其中，n为大于2的正整数；

所述利用经训练的卷积神经网络模型，对所述待处理图像进行预处理，包括：

利用所述n个第一卷积模块，对所述待处理图像进行n次下采样操作，以得到第一图像；

利用所述n-1个反向卷积模块，对所述第一图像进行n-1次上采样操作，以得到第二图像；以及

利用所述至少一个第二卷积模块，对所述第二图像进行卷积操作，以得到所述文本区域预测图、所述阈值预测图和所述角点预测图。

2.根据权利要求1所述的方法，还包括，利用以下操作训练所述卷积神经网络模型：

获取多个样本图像；

确定分别与所述多个样本图像中的每个样本图像对应的文本区域标准图、阈值标准图和角点标准图；以及

利用所述多个样本图像和与所述每个样本图像对应的文本区域标准图、阈值标准图和角点标准图，对卷积神经网络模型进行训练，以得到经训练的卷积神经网络模型。

3.根据权利要求2所述的方法，其中，所述确定与每个样本图像对应的角点标准图，包括：

获取所述样本图像中多个标注角点的位置坐标；

针对所述多个标注角点中的每个标注角点，确定各自的角点区域；以及

根据确定的角点区域，生成角点标准图。

4.根据权利要求3所述的方法，其中，针对所述多个标注角点中的每个标注角点，确定各自的角点区域包括：

确定所述标注角点周边预设范围内的像素，作为候选像素；

根据每个候选像素到所述标注角点的欧式距离，确定所述候选像素属于角点区域的概率；以及

根据每个候选像素属于角点区域的概率，确定与所述标注角点对应的角点区域。

5.根据权利要求1所述的方法，其中，所述文本区域预测图包括多个第一像素，所述阈值预测图包括多个第二像素，所述多个第一像素与所述多个第二像素一一对应，每个所述第一像素的像素值表示该第一像素属于文本区域的概率，每个所述第二像素的像素值表示针对与该第二像素对应的第一像素设置的概率阈值；

所述根据所述文本区域预测图和所述阈值预测图，确定目标区域，包括：

针对所述每个第一像素，将所述第一像素的像素值和与该第一像素对应的第二像素的像素值进行比较；

若所述第一像素的像素值大于与该第一像素对应的第二像素的像素值，则确定所述第一像素为目标像素；以及

根据所述目标像素，确定目标区域。

6.根据权利要求1所述的方法，其中，所述确定所述多个角点区域中的角点的位置坐标包括：

确定所述多个角点区域中每个角点区域的外接圆；以及

确定每个所述外接圆的圆心的位置坐标作为所述角点的位置坐标。

7.一种图像处理装置，包括：

获取模块，用于获取待处理图像，所述待处理图像包含文本信息；

预处理模块，用于利用经训练的卷积神经网络模型，对所述待处理图像进行预处理，以得到文本区域预测图、阈值预测图和角点预测图，其中，所述阈值预测图用于表示所述文本区域预测图中的像素属于文本区域的概率阈值；

目标区域确定模块，用于根据所述文本区域预测图和所述阈值预测图，确定目标区域，其中，所述目标区域包括所述文本区域；

角点确定模块，用于以所述目标区域为查找范围，在所述角点预测图中查找连通区域，以得到多个角点区域；确定所述多个角点区域中的角点的位置坐标；

文本区域确定模块，用于根据所述角点的位置坐标，确定所述待处理图像中所述文本信息所在的区域；以及

校正模块，用于对所述文本信息所在的区域内的图像进行校正；

8.一种计算设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任一项的方法。

9.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至6中任一项的方法。