CN112183650B - 一种在相机失焦情况下的数字检测识别方法 - Google Patents

Abstract

本发明提供了一种在相机失焦情况下的数字检测识别方法，本发明通过构建带有数字位置和内容标注的数据集，并搭建二级卷积神经网络，使用构建好的数据集训练该网络，从而对数字进行识别检测，本发明充分利用图像序列中的信息，同时使用区域池化操作，使网络专注于学习数字位置处的图像特征，使网络能够更快收敛，且提高了识别率，另外使用二级网络结构，使数字位置和内容监督信息能够监督失焦修正网络的参数更新。

Description

一种在相机失焦情况下的数字检测识别方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种在相机失焦情况下的数字检测识别方法。

背景技术

图像作为信息交流的载体，获得了广泛的运用，因此从图像中提取信息成为图像处理领域的一个研究方向。其中，检测并识别图像中的数字是图像处理领域的应用之一。传统方法通常使用色彩空间变换、特征算子检测、霍夫变换等方法检测图像中数字的位置，使用模板匹配或者模式识别类的算法识别数字。近年来，随着深度学习的发展，一系列检测算法被提出，比如Faster-RCNN和YOLO等算法，都有着超出传统算法的性能。

然而，图像在采集过程中会遇到质量降低和失真的问题，在许多情况下，比如环境亮度较低或镜头与拍摄物体之间存在相对运动时，会出现相机失焦，获得的图像变模糊等问题，直接使用传统或基于深度学习的数字检测与识别方法处理失焦图像并不能得到较高的准确率，因此，需要针对失焦图像设计一种数字检测与识别方法。

例如使用超分辨率算法，如SRCNN，处理失焦图像并得到清晰图像，然后使用传统或基于深度学习的数字检测与识别算法处理清晰图像。但由于数字和背景的纹理和结构有较大的差异，超分辨率算法的网络参数量往往很大，且需要大量数据作为训练集。在这种情况下，该策略不仅对数字的纹理和结构特点做针对性训练，还耗费了大量计算资源去学习并不需要的背景信息，因此并不能满足数据集较小和处理器性能较差的场景。

发明内容

本发明的目的是提供一种在相机失焦情况下的数字检测识别方法，旨在解决现有技术中失焦情况下图像的数字检测存在参数量过大、计算复杂的问题，实现专注于数字位置处的图像特征提取，提高数字识别率。

为达到上述技术目的，本发明提供了一种在相机失焦情况下的数字检测识别方法，所述方法包括以下操作：

S1、构建带有数字位置和内容标注的数据集；

S2、搭建二级卷积神经网络，进行特征提取、特征融合以及失焦修正得到失焦修正后的图像，再提取位置特征，对位置特征进行修正，识别数字内容和位置；

S3、将采集和生成的数据集训练所述二级卷积神经网络；

S4、在应用时，将图像输入到二级网络中，得到网络输出的数字位置和内容。

优选地，所述步骤S1具体为：

每个场景下采集5张失焦图像和1张对焦正确的图像，并标注图像中数字的位置和内容；

对采集的数据集进行数据增强处理；

生成一串固定长度的随机数字，将随机数字转化为图像，拼接到随机背景上，同时生成图像中数字的位置和内容，并对每一张生成图像通过卷积操作进行失焦处理。

优选地，所述通过卷积操作进行失焦处理具体为：

生成1-7之间的随机整数R，R为卷积核的半径，并生成1-2之间的随机数σ，生成卷积核：

其中，r为(x,y)到卷积核中心的距离，G(x,y)为初步得到的卷积核，F(x,y)为进行归一化处理之后的卷积核，将F(x,y)和生成的图像进行卷积操作，得到失焦图像。

优选地，所述二级卷积神经网络中，第一级为失焦修正网络，第二级为数字定位与识别网络；所述失焦修正网络包括特征提取模块、特征融合模块以及失焦修正模块；所述数字定位与识别网络包括位置特征模块、位置参数模块、位置修正模块以及数字识别模块。

优选地，所述特征提取模块的输入为5张失焦图像，输出为各个失焦图像的特征图；所述特征融合模块的输入为5张失焦图像的特征图合并后的总特征图，输出为融合后的特征图；所述失焦修正模块的输入为5张失焦图像的平均值和融合后的特征图合并后的结果，输出为失焦图像平均值的修正值。

优选地，所述位置特征模块的输入为失焦修正网络的输出，输出位置特征图；所述位置参数模块的输入为位置特征图，输出维度为4的数字位置参数φ，通过使用区域池化操作根据数字位置参数截取位置特征图，生成位置修正特征图；所述位置修正模块的输入为位置修正特征图，输出维度为4的数字位置修正参数δφ，通过计算得到每个数字的位置参数，使用区域池化操作根据每个数字的位置参数截取合并特征图，生成数字特征图；所述数字识别模块的输入为数字特征图，输出为one-hot编码的预测向量。

优选地，所述使用区域池化操作根据数字位置参数截取位置特征图具体为：

根据输入的矩形框参数在特征图中截取相应的区域，并将区域划分为10*5C个感受野，在每个感受野中选取距离相等的4个点，坐标为(x_i,y_i),i＝1,2,3,4，对于每个点(x_i,y_i)根据以下公式计算该点的采样值：

其中，S_i为坐标(x_i,y_i)处的采样值，表示向上取整，/>表示向下取整，f(x,y)为特征图在坐标(x,y)处的值，感受野的输出根据以下公式计算：

S_output＝max{S₁,S₂.S₃,S₄}。

优选地，所述通过计算得到每个数字的位置参数具体为：

φ′＝φ+δφ

其中，φ′为修正后的数字位置，φ为数字位置参数，δφ为数字位置修正参数。

优选地，所述二级卷积神经网络的损失函数为：

L＝L₁+L₂+L₃+L₄

式中，L₁为失焦修正网络的损失函数，X_img为失焦修正网络的输出，Y_img为对焦正确的图像，⊙表示矩阵点乘，Y_mask为根据数字位置信息生成的掩码；

L₂＝IOU(Y_mask,X_mask)

其中，Y_mask为根据标注的数字位置信息生成的掩码，X_mask为根据位置参数模块输出的数字位置参数φ生成的掩码；

L₃＝IOU(Y_mask,X′_mask)

其中，Y_mask为根据标注的数字位置信息生成的掩码，X′_mask为根据修正后的数字位置φ′生成的掩码；

其中，Y_num为one-hot编码的数字标注真实值，X_num为one-hot编码的数字预测值。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

与现有技术相比，本发明通过构建带有数字位置和内容标注的数据集，并搭建二级卷积神经网络，使用构建好的数据集训练该网络，从而对数字进行识别检测，本发明充分利用图像序列中的信息，同时使用区域池化操作，使网络专注于学习数字位置处的图像特征，使网络能够更快收敛，且提高了识别率，另外使用二级网络结构，使数字位置和内容监督信息能够监督失焦修正网络的参数更新。

附图说明

图1为本发明实施例中所提供的一种在相机失焦情况下的数字检测识别方法流程图；

图2为本发明实施例中所提供的失焦修正网络流程示意图；

图3为本发明实施例中所提供的数字定位与识别网络流程示意图。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

下面结合附图对本发明实施例所提供的一种在相机失焦情况下的数字检测识别方法进行详细说明。

如图1-3所示，本发明实施例公开了一种在相机失焦情况下的数字检测识别方法，所述方法包括以下操作：

S1、构建带有数字位置和内容标注的数据集；

利用相机采集数据集，在每个场景下采集5张失焦图像和1张对焦正确的图像，并标注图像中数字的位置和内容。利用计算机对采集的数据集进行数据增强处理，数据增强处理包括平移、缩放、旋转以及添加高斯噪声和椒盐噪声。利用计算机生成一串固定长度的随机数字，将随机数字转化为图像，进行平移、缩放和旋转处理后拼接到随机背景上，同时生成图像中数字的位置和内容，并对每一张生成图像通过卷积操作进行5次不同程度的失焦处理。

其中，数字的位置信息由高40像素、宽20C像素的矩形框描述，其中C为数字个数，在本发明实施例中将C取值为15。矩形框参数为φ＝{x,y,θ,s}，其中(x,y)为中心坐标，θ为旋转角度，s为缩放比例。

通过卷积操作进行失焦处理的具体实现过程如下：

生成1-7之间的随机整数R，R为卷积核的半径，并生成1-2之间的随机数σ，生成卷积核：

其中，r为(x,y)到卷积核中心的距离，G(x,y)为初步得到的卷积核，F(x,y)为进行归一化处理之后的卷积核，将F(x,y)和生成的图像进行卷积操作，得到失焦图像。

S2、搭建二级卷积神经网络，进行特征提取、特征融合以及失焦修正得到失焦修正后的图像，再提取位置特征，对位置特征进行修正，识别数字内容和位置；

所述二级卷积神经网络中，第一级为失焦修正网络，第二级为数字定位与识别网络。

所述失焦修正网络包括特征提取模块、特征融合模块以及失焦修正模块，其中，特征提取模块由8个维度为3*3*16的卷积层组成，其中第3卷积层和第4卷积层的输出通过残差连接，第5卷积层和第6卷积层的输出通过残差连接，第7卷积层和第8卷积层的输出通过残差连接；特征融合模块由5个卷积层组成，第1个卷积层的维度为1*1*64，其余4个卷积层的维度为3*3*64，第2卷积层和第3卷积层的输出通过残差连接，第4卷积层和第5卷积层的输出通过残差连接；失焦修正模块由3个卷积层组成，第1个卷积层的维度为3*3*64，其余2个卷积层的维度为1*1*3。

所述特征提取模块的输入为5张维度为1024*1024*3的失焦图像，输出为各个失焦图像的特征图，每张特征图的维度为1024*1024*16；

所述特征融合模块的输入为5张失焦图像的特征图合并后的总特征图，总特征图的维度为1024*1024*80，输出为融合后的特征图，融合后的特征图的维度为1024*1024*64；

所述失焦修正模块的输入为5张失焦图像的平均值和融合后的特征图合并后的结果，维度为1024*1024*67，输出为失焦图像平均值的修正值，维度为1024*1024*3；

失焦修正模块的输出与失焦图像平均值的和即为失焦修正网络的输出，维度为1024*1024*3。

所述失焦修正网络的损失参数如下公式：

式中，L₁为失焦修正网络的损失函数，X_img为失焦修正网络的输出，Y_img为对焦正确的图像，⊙表示矩阵点乘，Y_mask为根据数字位置信息生成的掩码，若一个像素位于描述数字位置的矩形框内，则这个像素的值为1，否则为0。

数字定位与识别网络包括位置特征模块、位置参数模块、位置修正模块以及数字识别模块，其中位置特征模块由4个卷积组构成，前2个卷积组由4个维度为3*3*64的卷积层和1个步长为2的池化层组成，后2个卷积组由4个维度为3*3*128的卷积层组成，每个卷积组中，第1卷积层和第2卷积层通过残差连接，第3卷积层和第4卷积层通过残差连接。位置参数模块由3个全连接层组成，3个全连接层中的神经元数目分别为1024、1024、4。位置修正模块由2个维度为3*3*64的卷积层和3个全连接层组成，3个全连接层中的神经元数目分别为1024、1024、4。数字识别模块由3个卷积组和3个全连接层组成，3个卷积组均由1个维度为3*3*64的卷积层和1个步长为2的池化层构成，3个全连接层中的神经元数目分别为1024、2048、10。

所述位置特征模块的输入为失焦修正网络的输出，输出维度为256*256*128的位置特征图；

所述位置参数模块的输入为位置特征图，输出维度为4的数字位置参数φ；该模块的损失函数如下：

L₂＝IOU(Y_mask,X_mask)

其中，Y_mask为根据标注的数字位置信息生成的掩码，X_mask为根据位置参数模块输出的数字位置参数φ生成的掩码，通过使用区域池化操作根据数字位置参数截取位置特征图，生成位置修正特征图。

使用区域池化操作根据数字位置参数截取位置特征图的具体操作如下：

根据输入的矩形框参数在特征图中截取相应的区域，并将区域划分为10*5C个感受野，在每个感受野中选取距离相等的4个点，坐标为(x_i,y_i),i＝1,2,3,4，对于每个点(x_i,y_i)根据以下公式计算该点的采样值：

其中，S_i为坐标(x_i,y_i)处的采样值，表示向上取整，/>表示向下取整，f(x,y)为特征图在坐标(x,y)处的值，感受野的输出根据以下公式计算：

S_output＝max{S₁,S₂.S₃,S₄}。

所述位置修正模块的输入为位置修正特征图，维度为10*5C*128，其中C为数字个数，取值15，输出维度为4的数字位置修正参数δφ。

对失焦修正网络的输出进行下采样操作，得到维度为256*256*3的下采样图像，将下采样图像与位置特征图进行合并操作，得到维度为256*256*131的合并特征图。

修正后的数字位置为：

φ′＝φ+δφ

其中，φ′为修正后的数字位置，φ为数字位置参数，δφ为数字位置修正参数。

通过计算得到每个数字的位置参数，使用区域池化操作根据每个数字的位置参数截取合并特征图，生成维度为C*10*10*131数字特征图。

所述位置修正模块的损失函数为：

L₃＝IOU(Y_mask,X′_mask)

其中，Y_mask为根据标注的数字位置信息生成的掩码，X′_mask为根据修正后的数字位置φ′生成的掩码。

所述数字识别模块的输入为C*10*10*131的数字特征图，输出为C*10的one-hot编码的预测向量，该模块的损失函数为：

其中，Y_num为one-hot编码的数字标注真实值，X_num为one-hot编码的数字预测值。

所述二级卷积神经网络的损失函数为：

L＝L₁+L₂+L₃+L₄

S3、将采集和生成的数据集训练所述二级卷积神经网络；

S4、在应用时，将图像输入到二级网络中，得到网络输出的数字位置和内容。

本发明实施例通过构建带有数字位置和内容标注的数据集，并搭建二级卷积神经网络，使用构建好的数据集训练该网络，从而对数字进行识别检测，本发明充分利用图像序列中的信息，同时使用区域池化操作，使网络专注于学习数字位置处的图像特征，使网络能够更快收敛，且提高了识别率，另外使用二级网络结构，使数字位置和内容监督信息能够监督失焦修正网络的参数更新。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种在相机失焦情况下的数字检测识别方法，其特征在于，所述方法包括以下操作：

S1、构建带有数字位置和内容标注的数据集；具体为：每个场景下采集5张失焦图像和1张对焦正确的图像，并标注图像中数字的位置和内容；对采集的数据集进行数据增强处理；生成一串固定长度的随机数字，将随机数字转化为图像，拼接到随机背景上，同时生成图像中数字的位置和内容，并对每一张生成图像通过卷积操作进行失焦处理；所述通过卷积操作进行失焦处理具体为：

生成1-7之间的随机整数R，R为卷积核的半径，并生成1-2之间的随机数σ，生成卷积核：

其中，r为(x,y)到卷积核中心的距离，G(x,y)为初步得到的卷积核，F(x,y)为进行归一化处理之后的卷积核，将F(x,y)和生成的图像进行卷积操作，得到失焦图像；

S2、搭建二级卷积神经网络，进行特征提取、特征融合以及失焦修正得到失焦修正后的图像，再提取位置特征，对位置特征进行修正，识别数字内容和位置；

S3、将采集和生成的数据集训练所述二级卷积神经网络；

S4、在应用时，将图像输入到二级网络中，得到网络输出的数字位置和内容。

2.根据权利要求1所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述二级卷积神经网络中，第一级为失焦修正网络，第二级为数字定位与识别网络；所述失焦修正网络包括特征提取模块、特征融合模块以及失焦修正模块；所述数字定位与识别网络包括位置特征模块、位置参数模块、位置修正模块以及数字识别模块。

3.根据权利要求2所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述特征提取模块的输入为5张失焦图像，输出为各个失焦图像的特征图；所述特征融合模块的输入为5张失焦图像的特征图合并后的总特征图，输出为融合后的特征图；所述失焦修正模块的输入为5张失焦图像的平均值和融合后的特征图合并后的结果，输出为失焦图像平均值的修正值。

4.根据权利要求2所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述位置特征模块的输入为失焦修正网络的输出，输出位置特征图；所述位置参数模块的输入为位置特征图，输出维度为4的数字位置参数φ，通过使用区域池化操作根据数字位置参数截取位置特征图，生成位置修正特征图；所述位置修正模块的输入为位置修正特征图，输出维度为4的数字位置修正参数δφ，通过计算得到每个数字的位置参数，使用区域池化操作根据每个数字的位置参数截取合并特征图，生成数字特征图；所述数字识别模块的输入为数字特征图，输出为one-hot编码的预测向量。

5.根据权利要求4所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述使用区域池化操作根据数字位置参数截取位置特征图具体为：

根据输入的矩形框参数在特征图中截取相应的区域，并将区域划分为10*5C个感受野，在每个感受野中选取距离相等的4个点，坐标为(x_i，y_i)，i＝1,2,3,4，对于每个点(x_i，y_i)根据以下公式计算该点的采样值：

其中，S_i为坐标(x_i，y_i)处的采样值，表示向上取整，/>表示向下取整，f(x，y)为特征图在坐标(x，y)处的值，感受野的输出根据以下公式计算：

S_output＝max{S₁，S₂.S₃，S₄}。

6.根据权利要求4所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述通过计算得到每个数字的位置参数具体为：

φ′＝φ+δφ

其中，φ′为修正后的数字位置，φ为数字位置参数，δφ为数字位置修正参数。

7.根据权利要求2所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述二级卷积神经网络的损失函数为：

L＝L₁+L₂+L₃+L₄

式中，L₁为失焦修正网络的损失函数，X_img为失焦修正网络的输出，Y_img为对焦正确的图像，⊙表示矩阵点乘，Y_mask为根据数字位置信息生成的掩码；

L₂＝IOU(Y_mask，X_mask)

其中，Y_mask为根据标注的数字位置信息生成的掩码，X_mask为根据位置参数模块输出的数字位置参数φ生成的掩码；

L₃＝IOU(Y_mask，X′_mask)

其中，Y_mask为根据标注的数字位置信息生成的掩码，X′_mask为根据修正后的数字位置φ′生成的掩码；

其中，Y_num为one-hot编码的数字标注真实值，X_num为one-hot编码的数字预测值。