CN112686237A - 一种证照ocr识别方法 - Google Patents

Abstract

本发明提供了图像识别技术领域的一种证照OCR识别方法，包括如下步骤：步骤S10、获取大量的证照样本图片以及证照信息，创建一训练字典以及若干证照背景图片，基于所述证照信息、训练字典以及证照背景图片生成证照训练图片集；步骤S20、创建一证照分类模型，利用所述证照样本图片对证照分类模型进行训练；步骤S30、基于证照类型创建若干个文本识别模型，利用所述证照训练图片集对文本识别模型进行训练；步骤S40、利用训练后的所述证照分类模型以及文本识别模型对待识别证照进行分类和识别。本发明的优点在于：实现对证照进行自动分类识别，并极大的提升了证照识别精度。

Description

一种证照OCR识别方法

技术领域

本发明涉及图像识别技术领域，特别指一种证照OCR识别方法。

背景技术

OCR(Optical Character Recognition，光学字符识别)技术是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机语言的输入技术。

随着图像传感器的不断发展，尤其是各种手机和专业(如安防)摄像头数目的指数增加，计算机图像数据在飞速增加；但图像质量则相对于传统的扫描仪或各种专业相机有所降低，使得传统汉字OCR技术面临源图像数据质量不高、污染严重，导致识别率剧烈下降。

计算机图像的汉字内容识别(汉字OCR)是图像识别中的难点问题，相对于英文字符识别，汉字由于数量众多、基本字符相似度高，导致易受干扰，分辨困难。对于证照，还会受到征照本身复杂底纹的影响，降低了识别的准确率。针对手机拍摄的各种票据，传统的OCR厂商识别效果均不理想，虽然以深度神经网络为基础的端到端的OCR识别方法对于西方字符取得了较好效果，但汉字由于基数庞大，需要的训练数据集远远超过西方字符集，因此至今开放AI平台上的汉字OCR在较差的图像上表现相当不理想，并且端到端的深度神经网络存在天然的误识别，易受到攻击。

针对证照的识别，目前只能对每一种证照识别场景单独定制模型和api接口，需要对每一种证照进行单独设计api接口甚至需要生产新的训练数据进行新的训练，增加了计算资源的浪费和内存占用的冗余程度，同时也增加了用户使用证照识别功能的复杂程度。

因此，如何提供一种证照OCR识别方法，实现对证照进行自动分类识别，并提升证照识别精度，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种证照OCR识别方法，实现对证照进行自动分类识别，并提升证照识别精度。

本发明是这样实现的：一种证照OCR识别方法，包括如下步骤：

步骤S10、获取大量的证照样本图片以及证照信息，创建一训练字典以及若干证照背景图片，基于所述证照信息、训练字典以及证照背景图片生成证照训练图片集；

步骤S20、创建一证照分类模型，利用所述证照样本图片对证照分类模型进行训练；

步骤S30、基于证照类型创建若干个文本识别模型，利用所述证照训练图片集对文本识别模型进行训练；

步骤S40、利用训练后的所述证照分类模型以及文本识别模型对待识别证照进行分类和识别。

进一步地，所述步骤S10具体包括：

步骤S11、获取大量的证照样本图片以及证照信息，创建一训练字典以及若干证照背景图片；所述证照信息至少包括姓名、地址、身份证号码以及民族；所述训练字典基于字符生成；

步骤S12、基于所述证照信息生成文本图片，将各所述文本图片利用泊松融合算法融合到各证照背景图片，生成各证照类型的证照训练图片；

步骤S13、对各所述证照训练图片进行随机处理；

步骤S14、基于各所述证照训练图片的字符在训练字典内的顺序，分别生成一对应的图片标签，基于各随机处理后的所述证照训练图片以及图片标签组成证照训练图片集。

进一步地，所述步骤S13具体为：

对各所述证照训练图片加入随机噪声，随机调整各所述证照训练图片的亮度值，利用透视变换法随机变换各所述证照训练图片内字符的倾斜角度。

进一步地，所述步骤S20具体包括：

步骤S21、基于深度神经网络创建一证照分类模型；

步骤S22、标记各所述证照样本图片的证照类型，将标记后的各所述证照样本图片随机划分为第一训练集以及第一验证集；

步骤S23、利用所述第一训练集对证照分类模型进行训练，训练过程中利用随机梯度下降法优化所述证照分类模型的权重；

步骤S24、利用所述第一验证集对训练后的证照分类模型进行验证。

进一步地，所述步骤S22还包括：

对标记后的各所述证照样本图片进行图像增强，并将图像增强后的所述证照样本图片随机加入第一训练集和第一验证集，以增加所述第一训练集和第一验证集的样本量。

进一步地，所述步骤S30具体包括：

步骤S31、基于深度神经网络创建一文本识别模型；

步骤S32、将各所述证照训练图片集基于证照类型，分别随机划分为第二训练集以及第二验证集；统一各所述第二训练集以及第二验证集内的证照训练图片的尺寸；

步骤S33、利用所述第二训练集对文本识别模型进行训练，训练过程中利用随机梯度下降法优化所述文本识别模型的权重；

步骤S34、利用所述第二验证集对训练后的文本识别模型进行验证。

进一步地，所述步骤S40具体包括：

步骤S41、将待识别证照输入训练后的所述证照分类模型，识别出所述待识别证照的证照类型；

步骤S42、基于所述待识别证照的证照类型，选择对应的训练后的所述文本识别模型对待识别证照进行识别，生成识别结果；

步骤S43、对所述识别结果进行格式化处理后进行输出。

进一步地，所述步骤S43具体为：

去除所述识别结果中多余的符号、纠正所述识别结果的语法错误后，将所述识别结果转换为JSON格式进行输出。

本发明的优点在于：

通过大量的证照样本图片对证照分类模型进行训练；通过证照信息、训练字典以及证照背景图片生成各类型的证照训练图片集，进而利用证照训练图片集对文本识别模型进行训练；最终利用训练后的证照分类模型对待识别证照先进行自动分类，再基于分类的证照类型选择对应的文本识别模型进行OCR识别，而证照训练图片集中的证照训练图片经过随机处理，使得证照训练图片的质量贴合实际的图片质量，使得训练后的文本识别模型的识别能力得到极大的提升，即实现对证照进行自动分类识别，并极大的提升了证照识别精度。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种证照OCR识别方法的流程图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：训练一用于识别证照类型的证照分类模型，训练若干个用于识别文本内容的文本识别模型，进而利用证照分类模型和文本识别模型对证照进行自动分类识别。

请参照图1所示，本发明一种证照OCR识别方法的较佳实施例，包括如下步骤：

步骤S10、获取大量的证照样本图片以及证照信息，创建一训练字典以及若干证照背景图片，基于所述证照信息、训练字典以及证照背景图片生成证照训练图片集；

步骤S20、创建一证照分类模型，利用所述证照样本图片对证照分类模型进行训练；

步骤S30、基于证照类型创建若干个文本识别模型，利用所述证照训练图片集对各文本识别模型进行训练；所述文本识别模型为OCR识别模型；所述文本识别模型的训练过程无需收集海量真实的证照照片，也无需人工对证照照片进行打标；

步骤S40、利用训练后的所述证照分类模型以及文本识别模型对待识别证照进行分类和识别。

所述步骤S10具体包括：

步骤S11、获取大量的证照样本图片以及证照信息，创建一训练字典以及若干证照背景图片；所述证照信息至少包括姓名、地址、身份证号码以及民族；所述训练字典基于字符生成；

步骤S12、基于所述证照信息生成文本图片，将各所述文本图片利用泊松融合算法融合到各证照背景图片，生成各证照类型的证照训练图片，省去了准备训练数据的人工成本和时间成本；

步骤S13、对各所述证照训练图片进行随机处理，以贴近实际的图片质量；

步骤S14、基于各所述证照训练图片的字符在训练字典内的顺序，分别生成一对应的图片标签，基于各随机处理后的所述证照训练图片以及图片标签组成证照训练图片集。所述图片标签用于标记每张证照训练图片的字符真值。

所述步骤S13具体为：

对各所述证照训练图片加入随机噪声，随机调整各所述证照训练图片的亮度值，利用透视变换法随机变换各所述证照训练图片内字符的倾斜角度。

所述步骤S20具体包括：

步骤S21、基于深度神经网络创建一证照分类模型；

步骤S22、标记各所述证照样本图片的证照类型，将标记后的各所述证照样本图片随机划分为第一训练集以及第一验证集；将所述第一训练集以及第一验证集内的证照样本图片的尺寸调整至预设大小；

步骤S23、利用所述第一训练集对证照分类模型进行训练，训练过程中利用随机梯度下降法优化所述证照分类模型的权重；

步骤S24、利用所述第一验证集对训练后的证照分类模型进行验证。

所述步骤S22还包括：

对标记后的各所述证照样本图片进行图像增强，并将图像增强后的所述证照样本图片随机加入第一训练集和第一验证集，以增加所述第一训练集和第一验证集的样本量，调整所述第一训练集和第一验证集的平衡性。

具体实施时，通过将所述证照分类模型的中间层的输出特征向量作为attention模型的输入向量，计算特征向量的权重值，将attention模型的输出与输入的特征向量做直积，对证照样本图片中的特征点进行排序；设定一个特征权重阈值用于筛选重要的特征值，将这些特征值和各类型证照的特征点进行比对，并对比对结果进行排序，排名最高的即为证照样本图片的证照类型。

所述步骤S30具体包括：

步骤S31、基于深度神经网络创建一文本识别模型；

步骤S32、将各所述证照训练图片集基于证照类型，分别随机划分为第二训练集以及第二验证集；统一各所述第二训练集以及第二验证集内的证照训练图片的尺寸；

步骤S33、利用所述第二训练集对文本识别模型进行训练，训练过程中利用随机梯度下降法优化所述文本识别模型的权重；

步骤S34、利用所述第二验证集对训练后的文本识别模型进行验证。

具体实施时，可选用DenseNet模型作为文本识别模型的特征提取器，首先加载基于coco2014训练的预训练模型，使用fine-tune训练方法冻结DenseNet模型的底层网络权重，只训练DenseNet模型的顶层网络，将第二训练集按batch尺度输入DenseNet模型中进行训练。

所述步骤S40具体包括：

步骤S41、将待识别证照输入训练后的所述证照分类模型，识别出所述待识别证照的证照类型；

步骤S42、基于所述待识别证照的证照类型，选择对应的训练后的所述文本识别模型对待识别证照进行识别，生成识别结果；

步骤S43、对所述识别结果进行格式化处理后进行输出。

所述步骤S43具体为：

去除所述识别结果中多余的符号、纠正所述识别结果的语法错误后，将所述识别结果转换为JSON格式进行输出。

对待识别证照进行分类和识别前，需要从原始图片中提取出待识别证照，具体为：将原始图片调整为预设的尺寸后，对原始图片进行高斯模糊去除噪音，将去除噪声后的原始图片输入DenseNet+Attention模型，将DenseNet的block3的输出作为Attention模型的输入计算局部特征的权重值，将权重值与block3的特征计算相加得到最终的特征向量；将特征向量通过一个全连接层和一个softmax层得到最终分类的概率值；将特征向量作为关键点，和对应类型证照的特征点进行匹配，通过仿射变换从原始图片中提取出待识别证照。

综上所述，本发明的优点在于：

通过大量的证照样本图片对证照分类模型进行训练；通过证照信息、训练字典以及证照背景图片生成各类型的证照训练图片集，进而利用证照训练图片集对文本识别模型进行训练；最终利用训练后的证照分类模型对待识别证照先进行自动分类，再基于分类的证照类型选择对应的文本识别模型进行OCR识别，而证照训练图片集中的证照训练图片经过随机处理，使得证照训练图片的质量贴合实际的图片质量，使得训练后的文本识别模型的识别能力得到极大的提升，即实现对证照进行自动分类识别，并极大的提升了证照识别精度。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (8)

1.一种证照OCR识别方法，其特征在于：包括如下步骤：

步骤S10、获取大量的证照样本图片以及证照信息，创建一训练字典以及若干证照背景图片，基于所述证照信息、训练字典以及证照背景图片生成证照训练图片集；

步骤S20、创建一证照分类模型，利用所述证照样本图片对证照分类模型进行训练；

步骤S30、基于证照类型创建若干个文本识别模型，利用所述证照训练图片集对文本识别模型进行训练；

步骤S40、利用训练后的所述证照分类模型以及文本识别模型对待识别证照进行分类和识别。

2.如权利要求1所述的一种证照OCR识别方法，其特征在于：所述步骤S10具体包括：

步骤S11、获取大量的证照样本图片以及证照信息，创建一训练字典以及若干证照背景图片；所述证照信息至少包括姓名、地址、身份证号码以及民族；所述训练字典基于字符生成；

步骤S12、基于所述证照信息生成文本图片，将各所述文本图片利用泊松融合算法融合到各证照背景图片，生成各证照类型的证照训练图片；

步骤S13、对各所述证照训练图片进行随机处理；

步骤S14、基于各所述证照训练图片的字符在训练字典内的顺序，分别生成一对应的图片标签，基于各随机处理后的所述证照训练图片以及图片标签组成证照训练图片集。

3.如权利要求2所述的一种证照OCR识别方法，其特征在于：所述步骤S13具体为：

对各所述证照训练图片加入随机噪声，随机调整各所述证照训练图片的亮度值，利用透视变换法随机变换各所述证照训练图片内字符的倾斜角度。

4.如权利要求1所述的一种证照OCR识别方法，其特征在于：所述步骤S20具体包括：

步骤S21、基于深度神经网络创建一证照分类模型；

步骤S22、标记各所述证照样本图片的证照类型，将标记后的各所述证照样本图片随机划分为第一训练集以及第一验证集；

步骤S23、利用所述第一训练集对证照分类模型进行训练，训练过程中利用随机梯度下降法优化所述证照分类模型的权重；

步骤S24、利用所述第一验证集对训练后的证照分类模型进行验证。

5.如权利要求4所述的一种证照OCR识别方法，其特征在于：所述步骤S22还包括：

对标记后的各所述证照样本图片进行图像增强，并将图像增强后的所述证照样本图片随机加入第一训练集和第一验证集，以增加所述第一训练集和第一验证集的样本量。

6.如权利要求1所述的一种证照OCR识别方法，其特征在于：所述步骤S30具体包括：

步骤S31、基于深度神经网络创建一文本识别模型；

步骤S32、将各所述证照训练图片集基于证照类型，分别随机划分为第二训练集以及第二验证集；统一各所述第二训练集以及第二验证集内的证照训练图片的尺寸；

步骤S33、利用所述第二训练集对文本识别模型进行训练，训练过程中利用随机梯度下降法优化所述文本识别模型的权重；

步骤S34、利用所述第二验证集对训练后的文本识别模型进行验证。

7.如权利要求1所述的一种证照OCR识别方法，其特征在于：所述步骤S40具体包括：

步骤S41、将待识别证照输入训练后的所述证照分类模型，识别出所述待识别证照的证照类型；

步骤S42、基于所述待识别证照的证照类型，选择对应的训练后的所述文本识别模型对待识别证照进行识别，生成识别结果；

步骤S43、对所述识别结果进行格式化处理后进行输出。

8.如权利要求7所述的一种证照OCR识别方法，其特征在于：所述步骤S43具体为：

去除所述识别结果中多余的符号、纠正所述识别结果的语法错误后，将所述识别结果转换为JSON格式进行输出。

Images