CN115862041B

CN115862041B - 一种基于神经网络的不动产证书识别方法

Info

Publication number: CN115862041B
Application number: CN202310105033.1A
Authority: CN
Inventors: 李怀沛; 吴颖; 唐坚强; 周慧明
Original assignee: Wuhan Tianheng Information Technology Co ltd
Current assignee: Wuhan Tianheng Information Technology Co ltd
Priority date: 2023-02-13
Filing date: 2023-02-13
Publication date: 2023-05-09
Anticipated expiration: 2043-02-13
Also published as: CN115862041A

Abstract

本发明涉及一种基于神经网络的不动产证书识别方法，方法包括以下步骤：制作不动产证书识别样本集；构建不动产证书字符识别神经网络；利用样本集训练所述不动产证书字符识别神经网络;获取待识别证书图片，对图片进行累加预处理、归一化处理，得到归一化图片；对归一化图片进行自动筛选裁剪，提取特征区域；自动获取特征区域图像明度，利用图像明度对特征区域进行初步筛选，得到粗区域；对粗区域进行形态学处理，得到精区域；对精区域进行二次形态学处理，得到字符区域；将字符区域输入至训练完成的网络，得到最终不动产证书编号。本发明有益效果是：能够适应各种不同情况和条件下的不动产证书识别，且识别精度高。

Description

一种基于神经网络的不动产证书识别方法

技术领域

本发明涉及图像识别领域，尤其涉及一种基于神经网络的不动产证书识别方法。

背景技术

目前市面上暂无公开且针对不动产证书编号的识别功能的技术方案。

不过目前来说，有一些可选的其他方案，即使用通用的字符提取工具，但这类工具由于要顾及更全面的场景，因此即便其在“文字识别”这一大类上识别率总体较好，但其在某个专项领域的识别率仍不能达到预期的识别精度。

另外，由于不动产证书是直接通过在闪光灯下拍照得来，因此，必然也面临着一些图像处理领域的常见问题，比如待识别的不动产证书图片的分辨率是不能确定的，因为拍照用的摄像头可能会更换，更换后分辨率可能不变，也可能变得更低或更高；

再比如，闪光灯可能会导致最终获取到的图片的明度发生变化；证书放置时间过长可能导致纸张本身泛黄发旧，因此图片的颜色可能会发生改变；证书上可能存在某些污渍；证书的常态是合着，因此打开后放进机器的证书可能是弯折的，等等。

从以上情况可以看到，即便是在专项领域内，仍有许多困难需要克服。

发明内容

针对不动产证书自动识别中因各种情况导致识别精度不高的技术问题，本发明供一种基于神经网络的不动产证书识别方法，其中方法具体包括以下步骤：

S1：制作不动产证书识别样本集；

S2：构建不动产证书字符识别神经网络；

S3：利用样本集训练所述不动产证书字符识别神经网络，得到训练完成的网络；

S4：获取待识别证书图片，对图片进行累加预处理，得到累加图片；

S5：对累加图片进行归一化处理，得到归一化图片；

S6：对归一化图片进行自动筛选裁剪，提取特征区域；

S7：自动获取特征区域图像明度，利用图像明度对特征区域进行初步筛选，得到粗区域；

S8：对粗区域进行形态学处理，得到精区域；

S9：对精区域进行二次形态学处理，得到字符区域；

S10：将字符区域输入至训练完成的网络，得到最终不动产证书编号。

本发明提供的有益效果是：能够适应各种不同情况和条件下的不动产证书识别，且识别精度高。

附图说明

图1是本发明方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，图1是本发明方法的流程图；本发明提供的一种基于神经网络的不动产证书识别方法、设备及存储设备，方法具体包括以下步骤：

S1：制作不动产证书识别样本集；

步骤S1中样本集制作过程如下：

S11、选取不动产证书字符识别区域；

需要说明的是，在样本集制作时，字符识别区域可通过人工进行选取，或将不动产证书固定位置，通过拍照后的固定区域筛选自动进行选取；

S12、将字符识别区域进行二值化处理，并缩放成统一大小；

作为一种实施例，本发明中将字符识别区域统一为16×20（像素），在一些其它实施例中，也可采用其它像素。

S13、将字符识别区域内的不同字符进行分割，并将不同字符对应单独存储路径，每个字符存储路径中的字符图片大于预设值，最终形成样本集；

例如，将所有字符为“1”的图片放入单独文件夹中，文件夹命名为“1”，以此类推对所有字符进行操作，直到保证每个文件夹中的图片超过900个。

S14、将样本集按比例划分为训练集、验证集和测试集；

本发明中，样本按照6:2:2的比例划分为训练集、验证集和测试集。

S2：构建不动产证书字符识别神经网络；

步骤S2中，所述不动产证书字符识别神经网络包括多个；

每个网络的结构均包括输入层、隐藏层和输出层；

每个网络的输入层均采用HOG特征；

各个网络的隐藏层层数不同；

每个网络的输出层层数相同。

作为一种实施例，本发明中选用普通的神经网络来完成机器学习的部分，选择字符图片的HOG特征作为神经网络的输入层，0~9的作为神经网络的输出层。

由于输入图片为16×20，因此，关于HOG特征中各参数值的设定如下，winSize设定为16×20，blockSize设定为8×10，blockStride设定为4×5，cellSize设定为4×5，梯度方向数nbins设定为9，

HOG描述子的维度按照以下公式计算

将上述参数代入公式，得描述子维度为324，即神经网络输入层参数维度为324维；由于0~9是神经网络的输出层，故神经网络的输出层维度为10。

神经网络的运行过程同经典神经网络相同，使用向前传播算法计算整个网络的代价函数值，在每轮传播中使用反向传播计算神经网络的偏置值和权重值。

至此，神经网络剩余的需要调试的参数为隐藏层层数以及每个隐藏层的激活项个数。

选择10层、20层、30层、50层、100层作为待测试的隐藏层层数；

2、步骤S3中对不动产证书字符识别神经网络的训练过程如下：

S31、输入训练集，采用向前传播算法计算各个网络的代价函数值，在每轮传播中使用反向传播计算神经网络的偏置值和权重值，得到训练好的各个网络，并选择训练误差最小的网络作为后续待验证网络；

S32、输入验证集，验证待验证网络，进一步调试，得到优化后的网络；

S33、输入测试集，测试优化后的网络，优化后的网络作为最终训练完成的网络。

仍以上述网络结构和参数为例，324、324*2、324*3、324*4以及324*5作为待测试的每层激活项个数。

因此，待测试的神经网络模型为5*5=25个，使用训练集得到各模型的训练误差，选择训练误差最小的那个模型进行后续测试；

然后，再测试选中的模型在验证集上的效果，如果此模型在验证集上表现不理想，出现过拟合的情况，尝试为模型引入正则化项来修正过拟合导致的误差，同样地，调试不同的正则化项参数得到最终的模型；最后，将这个最终的模型应用到测试集上，评估模型在测试集上的效果。

步骤S4中，得到累加图片的过程如下：

S41、将待识别证书图片进行中值滤波处理，得到去噪后的图片；

S42、将去噪后的图片进行HSV转换，得到第三个通道的分量值；

S43、将整个图片在每个像素上的值分别按行、列累加后，得到累加图片的一维行累加数组和一维列累加数组。

作为一种实施例，待识别不动产证书的图片有一明显特征，即图片带着红色的边框，本发明根据图片的边框线索将待识别区域进一步缩小。

具体操作如下：

首先将待识别的图片经过中值滤波处理来降低图片噪声，然后将图片转换到HSV颜色空间，获取第三通道的分量值，随后将整个图片在每个像素上的值分别按行、按列累加，分别得到两个数组，即图片按行累加和按列累加的结果值。

S5：对累加图片进行归一化处理，得到归一化图片；

需要说明的时，累加的过程可以看做是将二维图片通过累加的方式在行和列上分别一维化。为避免数据过大导致后续操作发生溢出，按照下列公式对数组中每个元素进行归一化：

S6：对归一化图片进行自动筛选裁剪，提取特征区域；

步骤S6中自动筛选裁剪的过程如下：

S61、获取归一化后数组的元素值；

S62、元素值为负数，则该元素属于特征区域外的元素；元素值为正数，则该元素属于特征区域内的元素；

S63、通过元素值对应的行列坐标，确定特征区域的四个顶点，根据特征区域四个顶点，完成图片裁剪，得到特征区域。

作为一种实施例，图片带着红色边框为图片的一明显特征，具体表现就是对元素归一化后，边框之外的元素值基本均为负数，而边框之内的元素值基本均为正数。

最后，根据获取到的边框点的坐标值，对图片进行裁剪，保留边框以内的图形区域。

随后获取数组中负数跟正数之间的交接值的元素下标即可获得图片中的边框对应的 x和 y轴坐标。

对于完整的证书来说，此时可以获取到四个点的坐标值，分别对应这矩形边框的四个点。对于只有部分区域的证书来说，也可以获得一个对应的点位。

步骤S7中得到粗区域的方法包括两种，分别为转换为LAB颜色空间法和转换为HSV颜色空间法，具体如下：

将特征区域转换为LAB颜色空间：获取特征区域在L通道的值，随后将每个像素点的值归一化；计算特征区域所有像素点上明度的平均值，将平均值与明度阈值比较，若超过明度阈值，则该特征区域不符合标准，予以剔除，否则该特征区域作为粗区域；

将特征区域转换为HSV颜色空间，则分别计算特征区域在转换后每个通道上像素点的平均值，得到三个通道平均值；再将三个通道平均值平均，得到一个图像明度值；将该图像明度值与明度阈值比较，若超过明度阈值，则该特征区域不符合标准，予以剔除，否则该特征区域作为粗区域。

需要特别说明的是，图像的明度将会影像图像在后续识别过程中阈值的选择，因此在对图片做进一步处理前先获取图像的明度。

此处本发明将图片的明度分为两类：普通和过亮。根据经验，将明度仅分为这两类即可对后续操作起到较好的权衡效果，类别过多会增加后续程序处理的复杂度。

本发明采用了两种方案计算图像的明度，并为这两种方案分别设定了对应的阈值，只要图像的明度经任意一种方案得到的值超过阈值，即判定图像明度为“过亮”，否则判定图像明度为“普通”。

第一种方案的具体步骤如下，首先将图像转入LAB颜色空间，然后获取图像在L通道的值，随后将图像在每个像素点的值归一化，归一化公式与前述公式相同，归一化后，通道值在[-1,1]之间。然后即计算图像在所有像素点上明度的平均值，然后将图像的明度平均值与阈值进行对比来判定明度类别。

第二种方案的具体步骤如下，将图像转入HSV颜色空间，分别计算整个图像在每个通道上的像素点的值对应的平均值，分别得到三个通道的像素点平均值后再对这三个平均值求平均，最终得到的一个值作为图像的明度值。

另外，两种方案中都涉及阈值的选取，本发明将通过如下方案确定图像的阈值，从样本中手动选取所有可以一眼看出明度明显过高的图片文件，根据两种不同的方案分别计算这些图片的明度值，然后将各自方案中的最小值设为判定图像是否过亮的阈值。

S8：对粗区域进行形态学处理，得到精区域；

步骤S8中形态学处理具体过程如下：

S81、将粗区域转换到HSV空间，并获取其第三通道的分量；

S82、设定结构块大小，对第三通道分量进行两次形态学开运算、一次形态学关运算，得到处理后的粗区域；

S83、对处理后的粗区域进行边缘检测，得到粗区域轮廓；

S84、将粗区域轮廓像素值按行累加，从区域上至下获取第一次出现的非0值的位置以及第一次从非0值变为0值的位置，两个位置之间的区间即为精区域的 y轴坐标区间；

S85、根据 y轴坐标区间对粗区域进行裁剪，得到精区域。

需要说明的是，由于不动产证书的排版基本简单，可以将证书编号所在区域看做是矩形图像中的一行，因此可以将编号所在的那一行所在的区域提取出来。

具体提取步骤如下，获取图像在HSV颜色空间的第三通道的图像分量，设定结构块大小后，对图像进行两次形态学的“开”操作，为避免两次开操作后引入了会影响最终识别效果的噪音，调整结构块大小，将结构块大小调小后再对图像进行一次形态学“关”操作。

随后，通过canny算法获取图形轮廓，此时查看获取到的图形轮廓，可见图形几乎是按行排列，且证书编号所在区域为最后一行。此时将轮廓图形的所有像素值按行累加，即对图形一维化，由于经过canny算法后图像整体非黑即白，非字符区域所在行对应的像素值整行累加结果依然是0，因此可以根据这一特性，从图像下方到图像上方获取第一次出现非0值的位置，以及第一次从非0值变为0值的位置，这两个位置对应的区间就是证书编号所在的行对应的 y轴坐标。

由此，根据这两个 y值再次对图像进行裁剪，进一步缩小待识别区域的范围。

S9：对精区域进行二次形态学处理，得到字符区域；

需要说明的是，此时操作的图像仅剩证书编号所在的行。

由于各字符之间存在间距，因此，如果可以将图像二值化且不会引入额外噪音的话，这些字符之间的间隔区域的列累加值将会是0。据此，可以得到每个字符对应的 x轴坐标。

获取字符区域的具体步骤如下。

首先设置结构块大小，对图像进行两次形态学“开”操作以及，调整结构块大小后的一次形态学“关”操作，再使用canny算法获取图形轮廓，随后获取图形轮廓对应的全体点集。将经过canny算法后的图形按列累加来对图形进行一维化，按照如上所述的方案，获取这个列累加值数组中，从非0到0以及从0到非0之间所有的坐标点，连续的0对应的区域视为字符之间的空白区域，至此可以获得所有字符对应的 x轴坐标，如果获取的区域小于11个，则判定此算法失败。如果获取的区域大于11个，则判定获取字符区域成功。

另外，由于获取了图形轮廓对应的全体点集，可以按字符区域的 x轴对整个点集进行分类，再按字符区域获取这个点集中的最大和最小 y值，作为当前字符区域的 y轴坐标。至此，已获取到所有字符对应的矩形区域的 x和 y轴坐标，即已获取了所有的字符区域。

最后需要说明的是，整个识别过程未必会像上述那样顺利，如果在某一步骤中没有得到期望的结果，需要调整当前步骤中的参数值进行重试。具体地如果在对图像进一步筛选失败了，需要调整结构块的大小和形态学操作的次数再重复当前步骤，直到当前步骤成功为止；如对字符区域获取失败，也需要调整结构块大小以及阈值大小重新对图像做处理；最后如果字符识别失败，识别结果不是11个数字，那么需要调整整个阈值范围重新对字符图像进行识别。

综合来看，本发明的有益效果是：能够适应各种不同情况和条件下的不动产证书识别，且识别精度高。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于神经网络的不动产证书识别方法，其特征在于：包括以下步骤：

S1：制作不动产证书识别样本集；

S2：构建不动产证书字符识别神经网络；

步骤S4中，得到累加图片的过程如下：

S42、将去噪后的图片进行HSV转换，得到第三个通道的分量值；所述第三个通道为V通道；

S43、将整个图片在每个像素上的值分别按行、列累加后，得到累加图片的一维行累加数组和一维列累加数组；

S5：对累加图片进行归一化处理，得到归一化图片；

步骤S5中归一化的计算公式如下：

；

S6：对归一化图片进行自动筛选裁剪，提取特征区域；

步骤S6中自动筛选裁剪的过程如下：

S61、获取归一化后数组的元素值；

S63、通过元素值对应的行列坐标，确定特征区域的四个顶点，根据特征区域四个顶点，完成图片裁剪，得到特征区域；

S8：对粗区域进行形态学处理，得到精区域；

S9：对精区域进行二次形态学处理，得到字符区域；

2.如权利要求1所述的一种基于神经网络的不动产证书识别方法，其特征在于：步骤S1中样本集制作过程如下：

S11、选取不动产证书字符识别区域；

S12、将字符识别区域进行二值化处理，并缩放成统一大小；

S14、将样本集按比例划分为训练集、验证集和测试集。

3.如权利要求1所述的一种基于神经网络的不动产证书识别方法，其特征在于：步骤S2中，所述不动产证书字符识别神经网络包括多个；

每个网络的结构均包括输入层、隐藏层和输出层；

每个网络的输入层均采用HOG特征；

各个网络的隐藏层层数不同；

每个网络的输出层层数相同。

4.如权利要求3所述的一种基于神经网络的不动产证书识别方法，其特征在于：步骤S3中对不动产证书字符识别神经网络的训练过程如下：

5.如权利要求1所述的一种基于神经网络的不动产证书识别方法，其特征在于：步骤S7中得到粗区域的方法包括两种，分别为转换为LAB颜色空间法和转换为HSV颜色空间法，具体如下：

6.如权利要求1所述的一种基于神经网络的不动产证书识别方法，其特征在于：步骤S8中形态学处理具体过程如下：

S81、将粗区域转换到HSV空间，并获取其第三通道的分量；所述第三通道为V通道；

S83、对处理后的粗区域进行边缘检测，得到粗区域轮廓；

S84、将粗区域轮廓像素值按行累加，从区域上至下获取第一次出现的非0值的位置以及第一次从非0值变为0值的位置，两个位置之间的区间即为精区域的y轴坐标区间；

S85、根据y轴坐标区间对粗区域进行裁剪，得到精区域。

7.如权利要求1所述的一种基于神经网络的不动产证书识别方法，其特征在于：步骤S9具体如下：

S91、对精区域进行二值化处理，设定结构块大小，进行两次形态学开运算、一次形态学关运算，得到处理后的精区域；

S92、对处理后的精区域进行边缘检测，得到精区域轮廓；

S93、将精区域轮廓像素值按列累加，从区域左至右获取第一次出现的非0值的位置以及第一次从非0值变为0值的位置，两个位置之间的区间即为精区域的x轴坐标区间；

S94、根据x轴坐标区间对精区域进行裁剪，得到字符区域。