CN114792422B - 一种基于增强透视的光学文字识别方法 - Google Patents

Abstract

本发明公开了一种基于增强透视的光学文字识别方法，其步骤包括：1数据准备和标注；2对待处理图片集中的每张图片进行透视变换，得到透视变换后的图片；3建立并训练复杂场景下的图片文字识别模型，用于实现任意图片的OCR识别。本发明能提高对现实中复杂透视角度图像文字的识别率和准确度。

Description

一种基于增强透视的光学文字识别方法

技术领域

本发明涉及一种人工智能OCR识别领域，更涉及一种基于增强透视的人工智能的OCR识别方法。

背景技术

在对现实拍摄的图片文字进行识别时，由于其拍摄角度往往不是正对着文字进行拍摄，导致传统的人工智能OCR识别在文字透视角度过大时经常识别有误，甚至是识别不出，不能满足自然拍摄的识别准确率要求。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于增强透视的光学文字识别方法，以期能够支持自动识别透视角度大的图片中的文字，从而增加识别的准确率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于增强透视的光学文字识别方法的特点包括：

步骤1、数据准备：

获取透视角度为“0”的N张原图片作为待处理图片集，且所述待处理图片集包含10种数字0-9的原图片、26种小写字母a-z的原图片、26种大写字母A-Z的原图片；

步骤2、数据标注：

利用标注工具按照所述待处理图片集中每张图片的文字内容，对所述待处理图片集中每张图进行标注，得到每张图片对应的标签txt文件，所述标签txt文件包含每张图片的文字内容content及其所在矩形框的坐标位置；令所述矩形框的四个顶点的坐标记为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；由所述四个顶点的坐标和文字内容content构成每张图片的标注矩阵；

步骤3、对所述待处理图片集中的每张图片进行透视变换，得到透视变换后的图片；

步骤3.1、定义两个透视参数分别为a₁₃、a₂₃；定义循环增量为Δ；

步骤3.2、初始化a₁₃；

步骤3.3、初始化a₂₃；

步骤3.4、利用式(1)和式(2)对任意一张图片中的任意一个像素点[u v]进行透视变换，得到变换后的像素点[x y]，从而对每个像素点进行透视变换，并得到透视变换后的一张图片：

式(1)中，x表示透视变换后的横坐标，y表示透视变换的后纵坐标，u表示透视变换前的横坐标，v表示透视变换前的纵坐标；

步骤3.5、将a₂₃+Δ赋值给a₂₃后，判断a₂₃大于阈值A是否成立，若成立，则表示得到n张透视变换后的图片，并执行步骤3.6；否则，返回步骤3.4顺序执行；

步骤3.6、将a₁₃+Δ赋值给a₁₃后，判断a₁₃大于阈值A是否成立，若成立，则表示得到n×n张透视变换后的图片，并执行步骤3.7，否则，返回步骤3.3顺序执行；

步骤3.7、按照步骤3.2-步骤3.6的过程对所述待处理图片集中的所有图片进行处理，从而得到N×n×n张透视变换后的图片所构成的增强图片集；

步骤4、建立并训练复杂场景下的图片文字识别模型，包括：ResNet网络、conv5网络、GRU层、全连接层；

步骤4.1、使用ResNet网络作为模型首层，并对增强图片集进行特征提取，获得维度为[N₁,C,H,W]的特征矩阵M₁；其中，N₁＝N×n×n表示图片数量，C表示通道数，H表示图片的长度，W表示图片的宽度；

步骤4.2、利用所述conv5网络对特征矩阵M₁中的每一个特征点进行卷积核为k×k的滑动卷积操作，从而得到维度为[N₁,k×k×C,H,W]的特征向量矩阵M₂；

步骤4.3、利用Reshape操作将特征向量矩阵M₂转换为维度为[N₁×H,W,k×k×C]的三维特征向量矩阵M₃，从而将三维特征向量矩阵M₃输入所述GRU层进行特征挖掘，得到维度为[N₁×H,W,256]的向量序列特征M₄；

利用Reshape逆操作将向量序列特征M₄转换为维度为[N₁,256,H,W]的四维特征向量矩阵M₅；

步骤4.4、将四维特征向量矩阵M₅输入所述全连接层中，所述全连接层包括三个单元，每个单元为维度为512×4的矩阵，分别用于预测目标的横坐标、目标的纵坐标和目标的内容；

步骤4.5、利用Reshape操作将所述增强图片集中的一张图片x的标注矩阵转换为维度为3×512×4的矩阵；利用式(3)建立图片文字识别模型的损失函数Loss：

式(3)中，i表示全连接层中任意一个单元；p_i(x)表示所述增强图片集中的一张图片x经过所述全连接层中第i个单元后输出的预测值；q_i(x)表示一张图片x的标注矩阵所转换的3×512×4的矩阵中第i个矩阵；

步骤4.6、基于所述增强图片集，利用梯度下降法对所述图片文字识别模型进行训练，并计算损失函数Loss，用于更新模型的参数，直到达到最大训练次数或是损失函数Loss收敛为止，从而得到训练好的最优图片文字识别模型用于对待识别的图片进行光学文字识别。

与现有技术相比，本发明的有益效果在于：

本发明通过采用人工智能神经网络来训练透视增强数据集，解决了现有技术中对于透视角度大的图片中的文字无法识别的问题，提高了复杂场景下OCR识别的准确率。

具体实施方式

本实施例中，一种基于增强透视的光学文字识别方法，包括：

步骤1、数据准备：

获取透视角度为“0”的N张原图片作为待处理图片集，且待处理图片集包含10种数字0-9的原图片、26种小写字母a-z的原图片、26种大写字母A-Z的原图片；

步骤2、数据标注：

利用标注工具按照待处理图片集中每张图片的文字内容，对待处理图片集中每张图进行标注，得到每张图片对应的标签txt文件，标签txt文件包含每张图片的文字内容content及其所在矩形框的坐标位置；令矩形框的四个顶点的坐标记为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；由四个顶点的坐标和文字内容content构成每张图片的标注矩阵；

步骤3、对待处理图片集中的每张图片进行透视变换，得到透视变换后的图片；

步骤3.1、定义两个透视参数分别为a₁₃、a₂₃；定义循环增量为Δ；

步骤3.2、初始化a₁₃；

步骤3.3、初始化a₂₃；

步骤3.4、利用式(1)和式(2)对任意一张图片中的任意一个像素点[u v]进行透视变换，得到变换后的像素点[x y]，从而对每个像素点进行透视变换，并得到透视变换后的一张图片：

式(1)中，x表示透视变换后的横坐标，y表示透视变换的后纵坐标，u表示透视变换前的横坐标，v表示透视变换前的纵坐标；

步骤3.5、将a₂₃+Δ赋值给a₂₃后，判断a₂₃大于阈值A是否成立，若成立，则表示得到n张透视变换后的图片，并执行步骤3.6；否则，返回步骤3.4顺序执行；

步骤3.6、将a₁₃+Δ赋值给a₁₃后，判断a₁₃大于阈值A是否成立，若成立，则表示得到n×n张透视变换后的图片，并执行步骤3.7，否则，返回步骤3.3顺序执行；

步骤3.7、按照步骤3.2-步骤3.6的过程对待处理图片集中的所有图片进行处理，从而得到N×n×n张透视变换后的图片所构成的增强图片集；将增强图片集按照60％、30％、10％的比例将分别随机分为训练集、验证集和测试集。

步骤4、建立并训练复杂场景下的图片文字识别模型，包括：ResNet网络、conv5网络、GRU层、全连接层；

步骤4.1、使用ResNet网络作为模型首层，并对增强图片集进行特征提取，获得维度为[N₁,C,H,W]的特征矩阵M₁；其中，N₁＝N×n×n表示图片数量，C表示通道数，H表示图片的长度，W表示图片的宽度；

步骤4.2、利用conv5网络对特征矩阵M₁中的每一个特征点进行卷积核为k×k的滑动卷积操作，从而得到维度为[N₁,k×k×C,H,W]的特征向量矩阵M₂；

步骤4.3、利用Reshape操作将特征向量矩阵M₂转换为维度为[N₁×H,W,k×k×C]的三维特征向量矩阵M₃，从而将三维特征向量矩阵M₃输入GRU层进行特征挖掘，得到维度为[N₁×H,W,256]的向量序列特征M₄；

利用Reshape逆操作将向量序列特征M₄转换为维度为[N₁,256,H,W]的四维特征向量矩阵M₅；

步骤4.4、将四维特征向量矩阵M₅输入全连接层中，全连接层包括三个单元，每个单元为维度为512×4的矩阵，分别用于预测目标的横坐标、目标的纵坐标和目标的内容；

步骤4.5、利用Reshape操作将增强图片集中的一张图片x的标注矩阵转换为维度为3×512×4的矩阵；利用式(3)建立图片文字识别模型的损失函数Loss：

式(3)中，i表示全连接层中任意一个单元；p_i(x)表示增强图片集中的一张图片x经过全连接层中第i个单元后输出的预测值；q_i(x)表示一张图片x的标注矩阵所转换的3×512×4的矩阵中第i个矩阵；

步骤4.6、基于增强图片集，利用梯度下降法对图片文字识别模型进行训练，并计算损失函数Loss，用于更新模型的参数，直到达到最大训练次数或是损失函数Loss收敛为止，从而得到训练好的最优图片文字识别模型用于对待识别的图片进行OCR识别。

本实施例中，模型训练时batch_size设置为32。当完成一个bacth训练后，使用此时的最新的模型在验证集上进行测试，模型在训练过程中分别对模型预测的横坐标信息、纵坐标信息、内容进行模型的损失计算，本方法中该过程迭代100次后，保存在验证集上应用效果最好的模型文件，供模型应用时调用。

Claims (1)

1.一种基于增强透视的光学文字识别方法，其特征包括：

步骤1、数据准备：

获取透视角度为“0”的N张原图片作为待处理图片集，且所述待处理图片集包含10种数字0-9的原图片、26种小写字母a-z的原图片、26种大写字母A-Z的原图片；

步骤2、数据标注：

利用标注工具按照所述待处理图片集中每张图片的文字内容，对所述待处理图片集中每张图进行标注，得到每张图片对应的标签txt文件，所述标签txt文件包含每张图片的文字内容content及其所在矩形框的坐标位置；令所述矩形框的四个顶点的坐标记为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)；由所述四个顶点的坐标和文字内容content构成每张图片的标注矩阵；

步骤3、对所述待处理图片集中的每张图片进行透视变换，得到透视变换后的图片；

步骤3.1、定义两个透视参数分别为a₁₃、a₂₃；定义循环增量为Δ；

步骤3.2、初始化a₁₃；

步骤3.3、初始化a₂₃；

步骤3.4、利用式(1)和式(2)对任意一张图片中的任意一个像素点[u v]进行透视变换，得到变换后的像素点[x y]，从而对每个像素点进行透视变换，并得到透视变换后的一张图片：

式(1)中，x表示透视变换后的横坐标，y表示透视变换的后纵坐标，u表示透视变换前的横坐标，v表示透视变换前的纵坐标；

步骤3.5、将a₂₃+Δ赋值给a₂₃后，判断a₂₃大于阈值A是否成立，若成立，则表示得到n张透视变换后的图片，并执行步骤3.6；否则，返回步骤3.4顺序执行；

步骤3.6、将a₁₃+Δ赋值给a₁₃后，判断a₁₃大于阈值A是否成立，若成立，则表示得到n×n张透视变换后的图片，并执行步骤3.7，否则，返回步骤3.3顺序执行；

步骤3.7、按照步骤3.2-步骤3.6的过程对所述待处理图片集中的所有图片进行处理，从而得到N×n×n张透视变换后的图片所构成的增强图片集；

步骤4、建立并训练复杂场景下的图片文字识别模型，包括：ResNet网络、conv5网络、GRU层、全连接层；

步骤4.1、使用ResNet网络作为模型首层，并对增强图片集进行特征提取，获得维度为[N₁,C,H,W]的特征矩阵M₁；其中，N₁＝N×n×n表示图片数量，C表示通道数，H表示图片的长度，W表示图片的宽度；

步骤4.2、利用所述conv5网络对特征矩阵M₁中的每一个特征点进行卷积核为k×k的滑动卷积操作，从而得到维度为[N₁,k×k×C,H,W]的特征向量矩阵M₂；

步骤4.3、利用Reshape操作将特征向量矩阵M₂转换为维度为[N₁×H,W,k×k×C]的三维特征向量矩阵M₃，从而将三维特征向量矩阵M₃输入所述GRU层进行特征挖掘，得到维度为[N₁×H,W,256]的向量序列特征M₄；

利用Reshape逆操作将向量序列特征M₄转换为维度为[N₁,256,H,W]的四维特征向量矩阵M₅；

步骤4.4、将四维特征向量矩阵M₅输入所述全连接层中，所述全连接层包括三个单元，每个单元为维度为512×4的矩阵，分别用于预测目标的横坐标、目标的纵坐标和目标的内容；

步骤4.5、利用Reshape操作将所述增强图片集中的一张图片x的标注矩阵转换为维度为3×512×4的矩阵；利用式(3)建立图片文字识别模型的损失函数Loss：

式(3)中，i表示全连接层中任意一个单元；p_i(x)表示所述增强图片集中的一张图片x经过所述全连接层中第i个单元后输出的预测值；q_i(x)表示一张图片x的标注矩阵所转换的3×512×4的矩阵中第i个矩阵；

步骤4.6、基于所述增强图片集，利用梯度下降法对所述图片文字识别模型进行训练，并计算损失函数Loss，用于更新模型的参数，直到达到最大训练次数或是损失函数Loss收敛为止，从而得到训练好的最优图片文字识别模型用于对待识别的图片进行光学文字识别。