CN115063802A - 一种基于PSENet的圆形印章识别方法、设备及介质 - Google Patents

Abstract

本发明提出一种基于PSENet的圆形印章识别方法、设备及介质。属于人工智能技术领域。实现步骤为：首先通过HSV色彩空间提取图像中的红色印章；然后通过计算连通域定位印章区域，去处印章边框；再通过PSENet定位印章中的文字位置；之后对文字进行旋转矫正；再对矫正后的文字进行OCR识别；最后进行文字排版分析。HSV色彩空间中，通道间的独立性更强，能更好反映印章的颜色特征，因此能够有效提取文档图像中的圆形印章；对印章内文字采用先校正方向再OCR识别的方案，能够有效提高印章文字的识别的准确率。

Description

一种基于PSENet的圆形印章识别方法、设备及介质

技术领域

本发明属于人工智能技术领域，具体涉及一种基于PSENet的圆形印章识别方法、设备及介质。

背景技术

印章是最高法律效力的认证，是被用于官方公告、合同协议、证照文件等文档上的重要认证工具，包含发证机关等重要信息。印章识别是文档图像识别中的一个重要环节，准确提取并识别印章，对文档图像识别分析有着重要意义。而印章一般作为文档产生的最后一个环节，加印在文档空白区域或覆盖在文字区域之上，往往后者的情况更常见。因此，一方面，如何从文档图像，尤其是印章和文字重叠的图像中准确分离印章，是文档图像处理中的难点所在。另一方面，印章大多为圆形，其中的文字为环形排版，这也给印章文字识别带来了一定的难度。

常见的印章提取方式是基于图像色彩特征的方法，即利用印章的色彩特征。一种实现方式是，通过分析图像RGB色彩空间中红色通道与蓝、绿两通道间的差值，以提取构成印章的红色像素，但此方式比较依赖于差值阈值的选取。印章文字识别方面，常见的方式是对提取的印章进行特征点检测，与已有的印章模版进行匹配，或者将印章内的文字变换到极坐标空间后进行OCR识别。不足在于，特征匹配的方式适用范围较小，仅能识别已有模版的印章，而变换到极坐标的方式使文字产生畸变，不利于文字OCR识别。

发明内容

为解决上述问题，本发明提出一种基于PSENet的圆形印章识别方法、装置及系统。首先通过HSV色彩空间提取图像中的红色印章；然后通过计算连通域定位印章区域，去处印章边框；再通过PSENet定位印章中的文字位置；之后对文字进行旋转矫正；再对矫正后的文字进行OCR识别；最后进行文字排版分析。

本方法具体步骤为：

步骤一，印章提取：通过HSV色彩空间特征提取文档图像中的红色印章像素。

步骤二，印章定位，去除边框：通过计算红色像素区域的连通域范围定位印章区域，并去除印章边框。

步骤三，文字位置定位：对于提取的印章图像，通过PSENet网络定位印章区域文字的边界框信息。

步骤四，文字旋转矫正：根据步骤三的检测的文字边框信息，计算每个文字块的旋转角度，进行反向旋转，矫正文字的方向。

步骤五，OCR识别：对步骤四矫正的文字块结果进行OCR识别，识别出文字内容。

步骤六，文字排版分析：按照步骤三中得到的位置信息对文字块进行排版分析，分为两类：环形排版的发证机关内容，横向排版的印章名称内容，再组合步骤五的文字块识别结果。

进一步，步骤一具体为：将原始RGB色彩空间的图像转换为使用HSV色彩空间的表示，分析HSV分量的范围提取红色像素区域；其中，H通道的范围是0～10或156～180，S通道的范围是43～255，V通道的范围是46～255。

进一步，步骤二具体为：连通域是图像中相互连通的像素点所构成的最大区域，提取的红色区域中，边界范围最大的连通域即为印章边框所在区域，从而定位到印章区域，并得到印章的中心，在图像上的坐标信息表示为(x,y)，将边框去除，仅保留印章内的文字。

进一步，步骤三具体为：通过PSENet定位的印章内文字块边界框信息表示为(x1,y1,x2,y2,x3,y3,x4,y4),其中(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)分别为文字块边界框左上角点、右上角点、右下角点和左下角点的坐标表示；计算文字块的中心位置坐标，表示为(x5,y5)，其中：

进一步，所述文字块的旋转角度的计算方法为：

(1)每个文字块旋转角度的计算公式为：

其中，y1表示文字块边界框左上角点纵坐标；y4表示文字块边界框左下角点纵坐标；x1表示文字块边界框左上角点横坐标；x4表示文字块边界框左下角点横坐标；angle表示文字块旋转角度；

(2)此外，还需结合文字块中心位置坐标(x5,y5)和印章中心坐标(x,y)对计算得到的旋转角度进行二次判断：

进一步，步骤六具体为：结合步骤二中得到的印章中心的位置信息(x,y)，以及步骤三中得到的所有文字块中心的位置信息(x5,y5)，计算所有文字块中心与印章中心在x方向上的距离，即|x5-x|；对于距离小于设定阈值的文字块，如果文字块的y5>y，则为印章名称，如果文字块的y5<y，则是发证机关内容中心位置的文字块，其中阈值设定为所有文字块边界框中的最小宽度；对于距离大于设定阈值的文字块，即为发证机关内容的其他文字块；结合已确定的中心位置的文字块的中心坐标(x5,y5),按照x5从小到大的顺序将所有属于发证机关内容的文字块进行排序，从而确定发证机关内容文字顺序，根据此顺序对文字识别结果进行组合，得到最终的识别结果。

本发明提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时可实现基于PSENet的圆形印章识别方法中任一项所述方法的步骤。

本发明提供一种计算机可读存储介质，用于存储计算机指令，其特征在于：所述计算机指令被处理器执行时可实现基于PSENet的圆形印章识别方法任一项所述方法的步骤。

本发明的有益效果为：本发明提出一种基于PSENet的圆形印章识别方法，首先通过HSV色彩空间的处理提取印章，再通过PSENet对印章文字进行定位，对每个文字块进行矫正后再通过OCR模型识别。HSV色彩空间中，通道间的独立性更强，能更好反映印章的颜色特征，因此能够有效提取文档图像中的圆形印章；对印章内文字采用先校正方向再OCR识别的方案，能够有效提高印章文字识别的准确率。

附图说明

图1为方案流程；

图2为PSENet文字定位过程；

图3为检测结果中的连通域；

图4为文字块矫正结果。

具体实施方式

下面将结合实施例及附图对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明的方案流程图，本发明的流程包括：

步骤S1，印章提取：通过HSV色彩空间特征提取文档图像中的红色印章像素。

步骤S2，印章定位，去除边框：通过计算红色像素区域的连通域范围定位印章区域，并去除印章边框。

步骤S3，文字位置定位：对于提取的印章图像，通过PSENet网络定位印章区域文字的边界框信息。

步骤S4，文字旋转矫正：根据步骤S3的检测的文字边框信息，计算每个文字块的旋转角度，进行反向旋转，矫正文字的方向。

步骤S5，OCR识别：对步骤S4矫正的文字块结果进行OCR识别。

步骤S6，文字排版分析：按照步骤S3中得到的位置信息对文字块进行排版分析，分为两类：环形排版的发证机关内容，横向排版的印章名称内容，再组合步骤S5的文字块识别结果。

所述步骤S1中，HSV色彩空间特征：将原始RGB色彩空间的图像转换为使用HSV色彩空间的表示，分析HSV分量的范围提取红色区域。具体的，H通道的范围是0～10、156～180，S通道的范围是43～255，V通道的范围是46～255。

所述步骤S2中，连通域是图像中相互连通的像素点所构成的最大区域，提取的红色区域中，边界范围最大的连通域即为印章边框所在区域，从而定位到印章区域，并得到印章的中心，在图像上的坐标信息表示为(x,y)。为了提高后续识别的准确性，将边框去除，仅保留印章内的文字。

所述步骤S3中，PSENet能够实现对弯曲文本的定位，因此适用于印章内的环形文字检测与定位。基于PSENet的文字定位过程如附图2所示，主要由两部分组成，左侧是用于图像特征提取的特征金字塔网络部分，右侧是特征融合部分，实现分割结果的渐进式的扩展算法。

其中，特征金字塔网络产生四个不同尺度的特征图(特征图1～4)，每个特征图的维度均为256。模块C的处理为：对四组特征图分别尺度上采样(特征图2进行2倍上采样，特征图3进行4倍上采样，特征图4进行8倍上采样)统一调整为特征图1的尺寸后进行拼接，拼接后的维度是1024维。

模块F的处理为：首先通过一个卷积层将特征图的维度降为256，再通过一系列的卷积、上采样、Sigmoid计算得到n个分割结果。之后从分割结果1开始通过渐进式扩展算法逐层向上进行融合。

具体的，渐进式扩展算法是：从分割结果1开始，通过分割结果查找图像中的连通域，分配不同的标签，如附图3所示；再结合下一个分割结果，进行宽度优先搜索。如当前像素位置为(x0,y0)，标签为1，对于其邻域的像素，如果无标签且在分割结果中被认为是文本类别，则添加标签1。

所述步骤S4中，通过PSENet定位的印章内文字块边界框信息表示为(x1,y1,x2,y2,x3,y3,x4,y4),其中(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别为文字块边界框左上角点、右上角点、右下角点、左下角点的坐标表示。

计算文字块的中心位置坐标，表示为(x5,y5)，其中

每个文字块倾斜角度的计算为：

其中，y1表示文字块边界框左上角点纵坐标；y4表示文字块边界框左下角点纵坐标；x1表示文字块边界框左上角点横坐标；x4表示文字块边界框左下角点横坐标；angle表示文字块旋转角度。

此外，还需结合文字块中心位置坐标(x5,y5)和印章中心坐标(x,y)对计算得到的倾斜角度进行二次判断：

其中angle表示文字块倾斜角度。

最后根据每个文字块的倾斜角度进行反向倾斜矫正，文字块的矫正结果如图4所示。

所述步骤S6中，文字块的排版分析：

结合步骤S2中得到的印章中心的位置信息(x,y)，以及步骤S4中得到的所有文字块中心的位置信息(x5,y5)，计算所有文字块中心与印章中心在x方向上的距离，即|x5-x|。

对于距离小于设定阈值的文字块，如果文字块的y5>y，则为印章名称，如果文字块的y5<y，则是发证机关内容中心位置的文字块。其中阈值设定为所有文字块边界框中的最小宽度。

对于距离大于设定阈值的文字块，即为发证机关内容的其他文字块，结合已确定的中心位置的文字块的中心坐标(x5,y5),按照x5从小到大的顺序将所有属于发证机关内容的文字块进行排序，从而确定发证机关内容文字顺序，根据此顺序对文字识别结果进行组合，得到最终的识别结果。

Claims (8)

1.一种基于PSENet的圆形印章识别方法，其特征在于：所述识别方法的步骤包括：

步骤一，印章提取：通过HSV色彩空间特征提取文档图像中的红色印章像素；

步骤二，印章定位，去除边框：通过计算红色像素区域的连通域范围定位印章区域，并去除印章边框；

步骤三，文字位置定位：对于提取的印章图像，通过PSENet网络定位印章区域文字的边界框信息；

步骤四，文字旋转矫正：根据步骤三的检测的文字边框信息，计算每个文字块的旋转角度，进行反向旋转，矫正文字的方向；

步骤五，OCR识别：对步骤四矫正的文字块结果进行OCR识别，识别出文字内容；

步骤六，文字排版分析：按照步骤三中得到的位置信息对文字块进行排版分析，分为两类：环形排版的发证机关内容，横向排版的印章名称内容，再组合步骤五的文字块识别结果。

2.根据权利要求1所述的基于PSENet的圆形印章识别方法，其特征在于：所述步骤一具体为：将原始RGB色彩空间的图像转换为使用HSV色彩空间的表示，分析HSV分量的范围提取红色像素区域；其中，H通道的范围是0～10或156～180，S通道的范围是43～255，V通道的范围是46～255。

3.根据权利要求1所述的基于PSENet的圆形印章识别方法，其特征在于：所述步骤二具体为：连通域是图像中相互连通的像素点所构成的最大区域，提取的红色区域中，边界范围最大的连通域即为印章边框所在区域，从而定位到印章区域，并得到印章的中心，在图像上的坐标信息表示为(x,y)，将边框去除，仅保留印章内的文字。

4.根据权利要求1所述的基于PSENet的圆形印章识别方法，其特征在于：步骤三具体为：通过PSENet定位的印章内文字块边界框信息表示为(x1,y1,x2,y2,x3,y3,x4,y4),其中(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)分别为文字块边界框左上角点、右上角点、右下角点和左下角点的坐标表示；计算文字块的中心位置坐标，表示为(x5,y5)，其中：

5.根据权利要求1所述的基于PSENet的圆形印章识别方法，其特征在于：所述文字块的旋转角度的计算方法为：

(1)每个文字块旋转角度的计算公式为：

其中，y1表示文字块边界框左上角点纵坐标；y4表示文字块边界框左下角点纵坐标；x1表示文字块边界框左上角点横坐标；x4表示文字块边界框左下角点横坐标；angle表示文字块旋转角度；

(2)此外，还需结合文字块中心位置坐标(x5,y5)和印章中心坐标(x,y)对计算得到的旋转角度进行二次判断：

6.根据权利要求1所述的基于PSENet的圆形印章识别方法，其特征在于：步骤六具体为：结合步骤二中得到的印章中心的位置信息(x,y)，以及步骤三中得到的所有文字块中心的位置信息(x5,y5)，计算所有文字块中心与印章中心在x方向上的距离，即|x5-x|；对于距离小于设定阈值的文字块，如果文字块的y5>y，则为印章名称，如果文字块的y5<y，则是发证机关内容中心位置的文字块，其中阈值设定为所有文字块边界框中的最小宽度；对于距离大于设定阈值的文字块，即为发证机关内容的其他文字块；结合已确定的中心位置的文字块的中心坐标(x5,y5),按照x5从小到大的顺序将所有属于发证机关内容的文字块进行排序，从而确定发证机关内容文字顺序，根据此顺序对文字识别结果进行组合，得到最终的识别结果。

7.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1-6任一项所述方法的步骤。

8.一种计算机可读存储介质，用于存储计算机指令，其特征在于：所述计算机指令被处理器执行时实现权利要求1-6任一项所述方法的步骤。

Images