CN116433514A - 基于改进空间变换网络stn的车门缺陷图像校正方法 - Google Patents

Abstract

本发明公开了一种基于改进空间变换网络STN的车门缺陷图像校正方法，通过相机采集车门缺陷图像，将图像输入到已提前训练好的改进空间变换网络STN中，通过数据增强模块进行限制对比度自适应直方图均衡化，将经过数据增强模块处理后的图像送入参数预测模块，得到进行坐标变换所需要的K个基准点；基于参数预测模块得到的K个基准点，将基准点输入坐标变换模块，进行薄样板插值TPS变换，生成像素采集模块所需的特征采样窗格；将特征采样窗格和经过数据增强模块处理后的图像送入像素采集模块中，对输入图像进行校正，得到最终校正后的图像。本发明可使待检测图像中的条纹光背景校正为水平或者垂直方向，提升后续检测的准确性。

Description

基于改进空间变换网络STN的车门缺陷图像校正方法

技术领域

本发明涉及图像处理的技术领域，尤其是指一种基于改进空间变换网络STN的车门缺陷图像校正方法。

背景技术

在传统的车企车间里，对于车门乃至整车的缺陷检测，大多依赖经验丰富的技术人员用肉眼进行检测。这种方法费时费力，准确性无法得到有效保证，已经难以满足现代高速高质量的生产流程。因此，基于图像处理技术的缺陷检测技术应运而生。传统基于图像处理的缺陷检测技术常常直接使用相机对被测物体进行拍摄，再对得到的图像运用各种技术进行缺陷检测。对于钢材、玻璃等平面待测物体，这种方法有较好的效果。但对于车门这类高亮曲面型表面，常规光源无法使凹陷或凸起这类缺陷显现，因此需要引入条纹光背景。当条纹在缺陷位置发生畸变时，就可以将其作为特征来进行检测。然而，由于曲面车门的存在，条纹光背景会发生弯曲畸变，这会影响后续的检测工作精确度。因此，需要对条纹光背景进行校正，以降低缺陷检测的误检率，从而使得整个生产流程更加高速高质量。

本方法是一种基于改进空间变换网络STN的车门缺陷图像校正方法。改进前，空间变换网络STN使用仿射变换对图像进行校正。但是，仿射变换的自由度有限，无法完全适应车门的曲面特征，因此需要进一步改进。改进后的空间变换网络STN将仿射变换转化为薄样板插值TPS，从而实现更加灵活和精准的图像校正。该方法针对相机拍摄的车门缺陷图像进行校正，将图像中的条纹光背景校正为水平或垂直，以应对后续各种检测工作的顺利进行，提高检测结果的准确性。通过本方法，我们可以对车门缺陷图像进行更加精准和准确的校正处理。这样，就可以有效地降低图像校正对后续检测工作的干扰，从而提高检测结果的准确性和可靠性。同时，改进后的空间变换网络STN还可以适应更加复杂的曲面特征，具有更好的适应性和灵活性。

综合以上论述，发明一种满足增强图像质量的基于改进空间变换网络STN的车门缺陷图像校正方法具有较高的实际应用价值。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于改进空间变换网络STN的车门缺陷图像校正方法，能够使待检测图像中的条纹光背景校正为水平或者垂直方向，提升后续检测的准确性。

为实现上述目的，本发明所提供的技术方案为：基于改进空间变换网络STN的车门缺陷图像校正方法，该改进空间变换网络STN由数据增强模块、参数预测模块、坐标变换模块和像素采集模块组成，其改进之处是针对数据增强模块和坐标变换模块进行了优化，对于数据增强模块，增加了限制对比度自适应直方图均衡化来预处理图像，以提高图像的质量，对于坐标变换模块，使用了薄样板插值TPS变换来代替仿射变换作为坐标变换方法，以更好地适应车门缺陷图像的校正需求；

该车门缺陷图像校正方法的具体实施包括以下步骤：

1)通过相机采集车门缺陷图像，将图像输入到已经提前训练好的改进空间变换网络STN中，通过数据增强模块进行限制对比度自适应直方图均衡化，提高车门缺陷图像的清晰度和对比度，改善由于相机过度曝光以及聚焦欠佳带来的图像光照不均问题，增强图像质量；

2)将经过数据增强模块处理后的图像送入参数预测模块的CNN中，得到进行坐标变换所需要的K个基准点；其中，参数预测模块由参数预测网络localization network组成，使用卷积神经网络CNN来构建参数预测网络；

3)基于参数预测模块得到的K个基准点，将基准点输入坐标变换模块进行薄样板插值TPS变换，TPS变换能够对图像进行像素级的操作，生成像素采集模块所需的特征采样窗格；

4)将特征采样窗格和步骤1)中经过数据增强模块处理后的图像送入像素采集模块中，对输入图像进行校正，填充因薄样板插值TPS变换导致的图像空白区间，得到最终校正后的图像。

进一步，所述数据增强模块应用了一种限制对比度自适应直方图均衡化方法，该方法是首先将图像分割为多个子图像块，然后找到每个子图像块中处于中间的分界灰度值；根据这个分界灰度值，将图像分为高亮度区和低亮度区，并统计每个区域的像素点总数；通过高亮度区和低亮度区的像素点数量计算图像高、低亮度区的灰度调节参数，并对高、低亮度区域分别进行直方图均衡，有效解决由于相机过度曝光或聚焦欠佳所带来的图像光照不均问题。

进一步，所述参数预测模块执行以下操作：

对输入图像中的像素进行归一化处理，一个基准点c由(x,y)来定义，x代表基准点横坐标，y代表基准点纵坐标，参数预测网络通过回归K个基本基准点来定位，所以需要2K个输出，整体基准点坐标集合

其中/>

是实数集合，/>

是一个大小为2×K的矩阵，c₁,c₂,...,c_K是表示从第1到第K个基准点，使用一个归一化的坐标系，其坐标系原点是输入图像中心，基准点(x,y)数值在[-1,1]的区间范围内；

所述参数预测模块是由参数预测网络localization network构成，该网络是通过使用卷积神经网络CNN进行构建的，使用了pytorch库来搭建这个网络，卷积神经网络CNN包括Conv传统卷积层、Maxpool最大池化层以及FC全连接层，整个网络结构由四个卷积层、一个最大池化层和两个全连接层组成，这一结构能够高效地进行参数预测，并且在构建过程中考虑了卷积神经网络CNN的设计特点；

对于四个卷积层，第一个卷积层滤波器个数设置为64，滤波器尺寸设置为3*3大小，填充padding设置为1，步长stride设置为1，第二、第三、第四个卷积层的滤波器个数依次乘以2，即接下来的三个卷积层的滤波器个数依次是前一个卷积层的两倍，而它们的滤波器尺寸、填充padding、步长stride设置与第一个卷积层相同；最大池化层的滤波器个数设置为512，滤波器尺寸设置为2*2，填充padding设置为1，步长stride设置为1；全连接层使用tanh作为激活函数，使输出向量的值在[-1,1]的范围内；上述设计使得网络能够更加高效地进行参数预测，并提高了预测的准确性。

进一步，所述坐标变换模块执行以下操作：

第一步：定义基本基准点，在进行薄样板插值TPS变换之前，首先定义另一组基准点，称为基本基准点，用

来表示，C′代表基本基准点坐标集合，c₁′,c₂′...,c_K′表示是表示从第1到第K个基本基准点，基本基准点沿着校正图片的顶部边缘和底部边缘均匀分布，由于K是一个常数，而且坐标系进行过归一化操作，所以C′也总是一个常数；

第二步：计算转换矩阵，当从参数预测网络localization network得到整体基准点坐标集合C和基本基准点坐标集合C′之后，转换矩阵

的值能够确定：

上式中，

代表转换矩阵，T代表矩阵转置，^-1代表矩阵求逆，/>

代表大小为2×(K+3)矩阵，Δ_C′是由C′计算得到的中间矩阵：

上式中，1^K×1是一个K×1大小的值全部是1的向量矩阵，1^1×K是一个1×K大小的值全部是1的向量矩阵，

是一个由r_i,j组成的K×K大小的向量矩阵，其中：

d_i,j＝Euclidean(c_i′,c_j′)

上式中，r_i,j表示矩阵R的第i行第j列的元素，d_i,j表示基本基准点c_i′和c_j′两点之间的欧式距离；

第三步：生成特征采样窗格，在校正图像上的特征采样窗格用

表示，其中p_i′＝[x′_i,y′_i]^T表示校正网络上第i个像素，x′_i,y′分别代表横坐标和纵坐标，N是像素数，在校正图像上的特征采样窗格的每一个点p_i′，都能通过如下的薄样板插值TPS变换找到输入图像特征采样窗格对应的像素点p_i，p_i＝[x_i,y_i]^T表示输入图像特征采样窗格上的第i个像素点，x_i,y_i分别代表横坐标和纵坐标：

上式中，r′_i,k是p_i′和第k个基本基准点c′_k之间的平方欧式距离，r′_i，K是p_i′和第K个基本基准点c′_K之间的平方欧式距离，d_i,k是p_i′和第k个基本基准点c′_k之间的欧式距离，

是第i个基准点的拟合矩阵，通过遍历输入图像的特征采样窗格/>

中的所有点，生成输入图像的特征采样窗格，特征采样窗格是可微的，所以能够反向传播梯度。

进一步，所述像素采样模块执行以下操作：

p′_i的像素值从输入图像I上p_i的附近像素点进行双线性插值，它能够对目标像素点周围的四个邻近像素点进行插值计算，从而得到目标像素点的值，通过设置所有像素值，得到校正后的图像I′：

式中，V表示双线性采样器，它也是一个可微模块，薄样板插值TPS变换允许它能够根据输入图像的几何形状和特征，对图像进行灵活变化，从而实现更加灵活和精准的图像校正，通过薄样板插值TPS变换，能够对不同情况的缺陷图像进行校正，从而得到更加准确和可靠的图像结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、通过采用限制对比度自适应直方图均衡化，相比非限制对比度自适应直方图均衡化，可以避免过度放大图像相对均匀区域中的噪声，从而改善由于相机过度曝光以及聚焦欠佳带来的图像光照问题。

2、本方法采用改进空间变换网络STN对原始车门缺陷图像进行校正。不同于传统的仿射变换，改进后的薄样板插值TPS变换可以灵活转换不规则图像为条纹光背景水平或垂直的优质图像，对不同条纹光背景间隔、不同条纹光背景角度和不同摄像机拍摄角度都有较好的校正效果。

3、本方法采用卷积神经网络CNN构建参数预测网络localization network。作为最经典的卷积神经网络CNN，它具有速度快、准确性高和可扩展性强等特点，可以对本网络进行优化，以达到更好的效果。

4、本方法使用的坐标变换模块，不同于以往空间变换网络STN使用的仿射变换，薄样板插值TPS变换允许我们灵活地将不规则图像转换为条纹光背景水平或垂直的优质图像，从而实现更加精准和准确的图像校正。

5、本方法的像素采集模块是可微的，有了可微的定位网络和可微的网格生成器之后，改进空间变换网络STN可以进行反向传播误差微分进行训练，并且基准点和基本基准点可以双向进行变换，从而实现更加高效和精准的图像校正。

附图说明

图1为本发明方法逻辑流程示意图。

图2为本发明采集的带有条纹光背景的车门缺陷图像。

图3为经过限制对比度自适应直方图均衡化处理的车门缺陷图像。

图4为改进空间变换网络STN的结构图；图中，Input Image I换代表输入图像，C换代表基准点Fiducial Points，Rectified Image I′代表校正图像，Loalization Network代表参数预测模块，Grid Generator代表坐标变换模块，Sampler代表像素采集模块，

代表特征采样窗格。

图5为卷积神经网络CNN的结构图。

图6为基准点和基本基准点的转换示意图；图中，Input Image I换代表输入图像，Rectified Image I′代表校正图像，C换代表基准点，C′换代表基本基准点，p_i代表输入图像特征采样窗格像素点，p_i′代表校正图像特征采样窗格像素点，

代表转换矩阵。

图7为实际车门缺陷图像校正效果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1至图7所示，本实施例提供了一种基于改进空间变换网络STN的车门缺陷图像校正方法，该改进空间变换网络STN由数据增强模块、参数预测模块、坐标变换模块和像素采集模块组成，其改进之处是针对数据增强模块和坐标变换模块进行了优化，对于数据增强模块，增加了限制对比度自适应直方图均衡化来预处理图像，以提高图像的质量，对于坐标变换模块，使用了薄样板插值TPS变换来代替仿射变换作为坐标变换方法，以更好地适应车门缺陷图像的校正需求；

该车门缺陷图像校正方法的具体实施包括以下步骤：

1)机械臂携带相机对车门进行拍摄得到带有条纹光背景的缺陷图像，如图2所示，将图像输入到已经提前训练好的改进空间变换网络STN中，通过数据增强模块进行限制对比度自适应直方图均衡化，如图3所示，提高车门缺陷图像的清晰度和对比度，改善由于相机过度曝光以及聚焦欠佳带来的图像光照不均问题，增强图像质量。

所述数据增强模块应用了一种限制对比度自适应直方图均衡化方法，具体情况如下：将输入图像转换为亮度灰度图像，划分成多个子图像块，统计在每个子图像块中每个灰度级的像素点个数；找到将每个子图像块像素点总数分为最接近一半的分界灰度级，并统计图像高、低亮度区域的像素点总数；分别对每个子图像块的图像高、低亮度区域进行累计直方图均衡，计算图像高、低亮度区域的调节参数，其值为子图像块中图像高、亮度区域的像素点总数除以子图像块像素点总数，再乘以255；对于低亮度区域像素点，从0到该点灰度级累加每个灰度级的像素点个数，得到的像素点个数除以低亮度区域的像素点总数，再乘以低亮度区域的调节参数，得到该像素点的累计直方图均衡灰度值；对于高亮度区域像素点，从该点灰度级到255累加每个灰度级的像素点个数，得到的像素点个数除以高亮度区域的像素点总数，再乘以高亮度区域的调节参数，得到该像素点的累计直方图均衡灰度值；根据每个子图像块的像素点累计直方图均衡灰度值，进行权重线性插值，得到均衡化处理后的整个图像的亮度信息，如图3所示。

2)将经过数据增强模块处理后的图像送入参数预测模块，执行以下操作：

对输入图像中的像素进行归一化处理，一个基准点c由(x,y)来定义，x代表基准点横坐标，y代表基准点纵坐标，参数预测网络通过回归K个基本基准点来定位，所以需要2K个输出，整体基准点坐标集合

其中/>

是实数集合，/>

是一个大小为2×K的矩阵，c₁,c₂,...,c_K是表示从第1到第K个基准点，使用一个归一化的坐标系，其坐标系原点是输入图像中心，基准点(x,y)数值在[-1,1]的区间范围内。

参数预测模块是由参数预测网络localization network构成的。该网络是通过使用卷积神经网络CNN进行构建的，使用了pytorch库来搭建这个网络，如图5所示，卷积神经网络CNN的结构包含Conv传统卷积层、Maxpool最大池化层以及FC全连接层组成，整个网络主要由四个卷积层、一个最大池化层和两个全连接层组成，这一结构能够高效地进行参数预测，并且在构建过程中考虑了卷积神经网络CNN的设计特点。

对于四个卷积层，第一个卷积层滤波器个数设置为64，滤波器尺寸设置为3*3大小，填充padding设置为1，步长stride设置为1，第二，第三，第四个卷积层的滤波器个数依次乘以2，即接下来的三个卷积层的滤波器个数依次是前一个卷积层的两倍，而它们的滤波器尺寸、填充padding、步长stride设置与第一个卷积层相同；最大池化层的滤波器个数设置为512，滤波器尺寸设置为2*2，填充padding设置为1，步长stride设置为1；全连接层使用tanh作为激活函数，使输出向量的值在[-1,1]的范围内。上述设计使得网络能够更加高效地进行参数预测，并提高了预测的准确性。

3)基于参数预测模块得到的K个基准点，将基准点输入坐标变换模块，执行以下操作：

第一步：定义基本基准点，在进行薄样板插值TPS变换之前，首先定义另一组基准点，称为基本基准点，用

来表示，C′代表基本基准点坐标集合，c₁′,c₂′...,c_K′表示是表示从第1到第K个基本基准点，基本基准点沿着校正图片的顶部边缘和底部边缘均匀分布，需要注意的是，由于K是一个常数，而且坐标系进行过归一化操作，所以C′也总是一个常数。

第二步：计算转换矩阵，当从参数预测网络localization network得到整体基准点坐标集合C和基本基准点坐标集合C′之后，转换矩阵

的值可以确定：

上式中，

代表转换矩阵，T代表矩阵转置，^-1代表矩阵求逆，/>

代表大小为2×(K+3)矩阵，Δ_C′是由C′计算得到的中间矩阵：

上式中，1^K×1是一个K×1大小的值全部是1的向量矩阵，1^1×K是一个1×K大小的值全部是1的向量矩阵，

是一个由r_i,j组成的K×K大小的向量矩阵，其中：

d_i,j＝Euclidean(c_i′,c_j′)

上式中，r_i,j表示矩阵R的第i行第j列的元素，d_i,j表示基本基准点c_i′和c_i′两点之间的欧式距离。

第三步：如图6所示，生成特征采样窗格，在校正图像上的特征采样窗格用

表示，其中p_i′＝[x′_i,y′_i]^T表示校正网络上第i个像素，x′_i,y′分别代表横坐标和纵坐标，N是像素数，在校正图像上的特征采样窗格的每一个点p_i′，都能通过如下的薄样板插值TPS变换找到输入图像特征采样窗格对应的像素点p_i，p_i＝[x_i,y_i]^T表示输入图像特征采样窗格上的第i个像素点，x_i,y_i分别代表横坐标和纵坐标：

上式中，r′_i,k是p_i′和第k个基本基准点c′_k之间的平方欧式距离，r′_i,K是p_i′和第K个基本基准点c′_K之间的平方欧式距离，d_i,k是p_i′和第k个基本基准点c′_k之间的欧式距离，

是第i个基准点的拟合矩阵，通过遍历输入图像特征采样窗格/>

中的所有点，生成输入图像的特征采样窗格，特征采样窗格是可微的，所以可以反向传播梯度。

4)将特征采样窗格和步骤1)中经过数据增强模块处理后的图像送入像素采集模块，执行以下操作：

p′_i的像素值从输入图像I上p_i的附近像素点进行双线性插值，它可以对目标像素点周围的四个邻近像素点进行插值计算，从而得到目标像素点的值，通过设置所有像素值，得到校正后的图像I′:

其中，V表示双线性采样器，它也是一个可微模块，薄样板插值TPS变换允许它可以根据输入图像的几何形状和特征，对图像进行灵活变化，从而实现更加灵活和精准的图像校正，通过薄样板插值TPS变换，我们可以对不同情况的缺陷图像进行校正，从而得到更加准确和可靠的图像结果，如图7所示为校正后的图像。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (5)

1.基于改进空间变换网络STN的车门缺陷图像校正方法，其特征在于，该改进空间变换网络STN由数据增强模块、参数预测模块、坐标变换模块和像素采集模块组成，其改进之处是针对数据增强模块和坐标变换模块进行了优化，对于数据增强模块，增加了限制对比度自适应直方图均衡化来预处理图像，以提高图像的质量，对于坐标变换模块，使用了薄样板插值TPS变换来代替仿射变换作为坐标变换方法，以更好地适应车门缺陷图像的校正需求；

该车门缺陷图像校正方法的具体实施包括以下步骤：

1)通过相机采集车门缺陷图像，将图像输入到已经提前训练好的改进空间变换网络STN中，通过数据增强模块进行限制对比度自适应直方图均衡化，提高车门缺陷图像的清晰度和对比度，改善由于相机过度曝光以及聚焦欠佳带来的图像光照不均问题，增强图像质量；

2)将经过数据增强模块处理后的图像送入参数预测模块的CNN中，得到进行坐标变换所需要的K个基准点；其中，参数预测模块由参数预测网络localization network组成，使用卷积神经网络CNN来构建参数预测网络；

3)基于参数预测模块得到的K个基准点，将基准点输入坐标变换模块进行薄样板插值TPS变换，TPS变换能够对图像进行像素级的操作，生成像素采集模块所需的特征采样窗格；

4)将特征采样窗格和步骤1)中经过数据增强模块处理后的图像送入像素采集模块中，对输入图像进行校正，填充因薄样板插值TPS变换导致的图像空白区间，得到最终校正后的图像。

2.根据权利要求1所述的基于改进空间变换网络STN的车门缺陷图像校正方法，其特征在于，所述数据增强模块应用了一种限制对比度自适应直方图均衡化方法，该方法是首先将图像分割为多个子图像块，然后找到每个子图像块中处于中间的分界灰度值；根据这个分界灰度值，将图像分为高亮度区和低亮度区，并统计每个区域的像素点总数；通过高亮度区和低亮度区的像素点数量计算图像高、低亮度区的灰度调节参数，并对高、低亮度区域分别进行直方图均衡，有效解决由于相机过度曝光或聚焦欠佳所带来的图像光照不均问题。

3.根据权利要求2所述的基于改进空间变换网络STN的车门缺陷图像校正方法，其特征在于，所述参数预测模块执行以下操作：

对输入图像中的像素进行归一化处理，一个基准点c由(x,y)来定义，x代表基准点横坐标，y代表基准点纵坐标，参数预测网络通过回归K个基本基准点来定位，所以需要2K个输出，整体基准点坐标集合

其中/>

是实数集合，/>

是一个大小为2×K的矩阵，c₁,c₂,...,c_K是表示从第1到第K个基准点，使用一个归一化的坐标系，其坐标系原点是输入图像中心，基准点(x,y)数值在[-1,1]的区间范围内；

所述参数预测模块是由参数预测网络localization network构成，该网络是通过使用卷积神经网络CNN进行构建的，使用了pytorch库来搭建这个网络，卷积神经网络CNN包括Conv传统卷积层、Maxpool最大池化层以及FC全连接层，整个网络结构由四个卷积层、一个最大池化层和两个全连接层组成，这一结构能够高效地进行参数预测，并且在构建过程中考虑了卷积神经网络CNN的设计特点；

对于四个卷积层，第一个卷积层滤波器个数设置为64，滤波器尺寸设置为3*3大小，填充padding设置为1，步长stride设置为1，第二、第三、第四个卷积层的滤波器个数依次乘以2，即接下来的三个卷积层的滤波器个数依次是前一个卷积层的两倍，而它们的滤波器尺寸、填充padding、步长stride设置与第一个卷积层相同；最大池化层的滤波器个数设置为512，滤波器尺寸设置为2*2，填充padding设置为1，步长stride设置为1；全连接层使用tanh作为激活函数，使输出向量的值在[-1,1]的范围内；上述设计使得网络能够更加高效地进行参数预测，并提高了预测的准确性。

4.根据权利要求3所述的基于改进空间变换网络STN的车门缺陷图像校正方法，其特征在于，所述坐标变换模块执行以下操作：

第一步：定义基本基准点，在进行薄样板插值TPS变换之前，首先定义另一组基准点，称为基本基准点，用

来表示，C′代表基本基准点坐标集合，c₁′,c₂′...,c_K′表示是表示从第1到第K个基本基准点，基本基准点沿着校正图片的顶部边缘和底部边缘均匀分布，由于K是一个常数，而且坐标系进行过归一化操作，所以C′也总是一个常数；

第二步：计算转换矩阵，当从参数预测网络localization network得到整体基准点坐标集合C和基本基准点坐标集合C′之后，转换矩阵

的值能够确定：

上式中，

代表转换矩阵，T代表矩阵转置，^-1代表矩阵求逆，/>

代表大小为2×(K+3)矩阵，Δ_C′是由C′计算得到的中间矩阵：

上式中，1^K×1是一个K×1大小的值全部是1的向量矩阵，1^1×K是一个1×K大小的值全部是1的向量矩阵，

是一个由r_i,j组成的K×K大小的向量矩阵，其中：

d_i,j＝Euclidean(c_i′,c_j′)

上式中，r_i,j表示矩阵R的第i行第j列的元素，d_i,j表示基本基准点c_i′和c_j′两点之间的欧式距离；

第三步：生成特征采样窗格，在校正图像上的特征采样窗格用

表示，其中p′_i＝[x′_i,y′_i]^T表示校正网络上第i个像素，x′_i,y′分别代表横坐标和纵坐标，N是像素数，在校正图像上的特征采样窗格的每一个点p_i′，都能通过如下的薄样板插值TPS变换找到输入图像特征采样窗格对应的像素点p_i，p_i＝[x_i,y_i]^T表示输入图像特征采样窗格上的第i个像素点，x_i,y_i分别代表横坐标和纵坐标：

上式中，r′_i,k是p_i′和第k个基本基准点c′_k之间的平方欧式距离，r′_i,K是p_i′和第K个基本基准点c′_K之间的平方欧式距离，d_i,k是p_i′和第k个基本基准点c′_k之间的欧式距离，

是第i个基准点的拟合矩阵，通过遍历输入图像的特征采样窗格/>

中的所有点，生成输入图像的特征采样窗格，特征采样窗格是可微的，所以能够反向传播梯度。

5.根据权利要求4所述的基于改进空间变换网络STN的车门缺陷图像校正方法，其特征在于，所述像素采样模块执行以下操作：

p′_i的像素值从输入图像I上p_i的附近像素点进行双线性插值，它能够对目标像素点周围的四个邻近像素点进行插值计算，从而得到目标像素点的值，通过设置所有像素值，得到校正后的图像I′：

式中，V表示双线性采样器，它也是一个可微模块，薄样板插值TPS变换允许它能够根据输入图像的几何形状和特征，对图像进行灵活变化，从而实现更加灵活和精准的图像校正，通过薄样板插值TPS变换，能够对不同情况的缺陷图像进行校正，从而得到更加准确和可靠的图像结果。

Images