CN116433514A - 基于改进空间变换网络stn的车门缺陷图像校正方法 - Google Patents
基于改进空间变换网络stn的车门缺陷图像校正方法 Download PDFInfo
- Publication number
- CN116433514A CN116433514A CN202310311833.9A CN202310311833A CN116433514A CN 116433514 A CN116433514 A CN 116433514A CN 202310311833 A CN202310311833 A CN 202310311833A CN 116433514 A CN116433514 A CN 116433514A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- network
- transformation
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 71
- 230000007547 defect Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003702 image correction Methods 0.000 title claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000004807 localization Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进空间变换网络STN的车门缺陷图像校正方法,通过相机采集车门缺陷图像,将图像输入到已提前训练好的改进空间变换网络STN中,通过数据增强模块进行限制对比度自适应直方图均衡化,将经过数据增强模块处理后的图像送入参数预测模块,得到进行坐标变换所需要的K个基准点;基于参数预测模块得到的K个基准点,将基准点输入坐标变换模块,进行薄样板插值TPS变换,生成像素采集模块所需的特征采样窗格;将特征采样窗格和经过数据增强模块处理后的图像送入像素采集模块中,对输入图像进行校正,得到最终校正后的图像。本发明可使待检测图像中的条纹光背景校正为水平或者垂直方向,提升后续检测的准确性。
Description
技术领域
本发明涉及图像处理的技术领域,尤其是指一种基于改进空间变换网络STN的车门缺陷图像校正方法。
背景技术
在传统的车企车间里,对于车门乃至整车的缺陷检测,大多依赖经验丰富的技术人员用肉眼进行检测。这种方法费时费力,准确性无法得到有效保证,已经难以满足现代高速高质量的生产流程。因此,基于图像处理技术的缺陷检测技术应运而生。传统基于图像处理的缺陷检测技术常常直接使用相机对被测物体进行拍摄,再对得到的图像运用各种技术进行缺陷检测。对于钢材、玻璃等平面待测物体,这种方法有较好的效果。但对于车门这类高亮曲面型表面,常规光源无法使凹陷或凸起这类缺陷显现,因此需要引入条纹光背景。当条纹在缺陷位置发生畸变时,就可以将其作为特征来进行检测。然而,由于曲面车门的存在,条纹光背景会发生弯曲畸变,这会影响后续的检测工作精确度。因此,需要对条纹光背景进行校正,以降低缺陷检测的误检率,从而使得整个生产流程更加高速高质量。
本方法是一种基于改进空间变换网络STN的车门缺陷图像校正方法。改进前,空间变换网络STN使用仿射变换对图像进行校正。但是,仿射变换的自由度有限,无法完全适应车门的曲面特征,因此需要进一步改进。改进后的空间变换网络STN将仿射变换转化为薄样板插值TPS,从而实现更加灵活和精准的图像校正。该方法针对相机拍摄的车门缺陷图像进行校正,将图像中的条纹光背景校正为水平或垂直,以应对后续各种检测工作的顺利进行,提高检测结果的准确性。通过本方法,我们可以对车门缺陷图像进行更加精准和准确的校正处理。这样,就可以有效地降低图像校正对后续检测工作的干扰,从而提高检测结果的准确性和可靠性。同时,改进后的空间变换网络STN还可以适应更加复杂的曲面特征,具有更好的适应性和灵活性。
综合以上论述,发明一种满足增强图像质量的基于改进空间变换网络STN的车门缺陷图像校正方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于改进空间变换网络STN的车门缺陷图像校正方法,能够使待检测图像中的条纹光背景校正为水平或者垂直方向,提升后续检测的准确性。
为实现上述目的,本发明所提供的技术方案为:基于改进空间变换网络STN的车门缺陷图像校正方法,该改进空间变换网络STN由数据增强模块、参数预测模块、坐标变换模块和像素采集模块组成,其改进之处是针对数据增强模块和坐标变换模块进行了优化,对于数据增强模块,增加了限制对比度自适应直方图均衡化来预处理图像,以提高图像的质量,对于坐标变换模块,使用了薄样板插值TPS变换来代替仿射变换作为坐标变换方法,以更好地适应车门缺陷图像的校正需求;
该车门缺陷图像校正方法的具体实施包括以下步骤:
1)通过相机采集车门缺陷图像,将图像输入到已经提前训练好的改进空间变换网络STN中,通过数据增强模块进行限制对比度自适应直方图均衡化,提高车门缺陷图像的清晰度和对比度,改善由于相机过度曝光以及聚焦欠佳带来的图像光照不均问题,增强图像质量;
2)将经过数据增强模块处理后的图像送入参数预测模块的CNN中,得到进行坐标变换所需要的K个基准点;其中,参数预测模块由参数预测网络localization network组成,使用卷积神经网络CNN来构建参数预测网络;
3)基于参数预测模块得到的K个基准点,将基准点输入坐标变换模块进行薄样板插值TPS变换,TPS变换能够对图像进行像素级的操作,生成像素采集模块所需的特征采样窗格;
4)将特征采样窗格和步骤1)中经过数据增强模块处理后的图像送入像素采集模块中,对输入图像进行校正,填充因薄样板插值TPS变换导致的图像空白区间,得到最终校正后的图像。
进一步,所述数据增强模块应用了一种限制对比度自适应直方图均衡化方法,该方法是首先将图像分割为多个子图像块,然后找到每个子图像块中处于中间的分界灰度值;根据这个分界灰度值,将图像分为高亮度区和低亮度区,并统计每个区域的像素点总数;通过高亮度区和低亮度区的像素点数量计算图像高、低亮度区的灰度调节参数,并对高、低亮度区域分别进行直方图均衡,有效解决由于相机过度曝光或聚焦欠佳所带来的图像光照不均问题。
进一步,所述参数预测模块执行以下操作:
对输入图像中的像素进行归一化处理,一个基准点c由(x,y)来定义,x代表基准点横坐标,y代表基准点纵坐标,参数预测网络通过回归K个基本基准点来定位,所以需要2K个输出,整体基准点坐标集合其中/>是实数集合,/>是一个大小为2×K的矩阵,c1,c2,...,cK是表示从第1到第K个基准点,使用一个归一化的坐标系,其坐标系原点是输入图像中心,基准点(x,y)数值在[-1,1]的区间范围内;
所述参数预测模块是由参数预测网络localization network构成,该网络是通过使用卷积神经网络CNN进行构建的,使用了pytorch库来搭建这个网络,卷积神经网络CNN包括Conv传统卷积层、Maxpool最大池化层以及FC全连接层,整个网络结构由四个卷积层、一个最大池化层和两个全连接层组成,这一结构能够高效地进行参数预测,并且在构建过程中考虑了卷积神经网络CNN的设计特点;
对于四个卷积层,第一个卷积层滤波器个数设置为64,滤波器尺寸设置为3*3大小,填充padding设置为1,步长stride设置为1,第二、第三、第四个卷积层的滤波器个数依次乘以2,即接下来的三个卷积层的滤波器个数依次是前一个卷积层的两倍,而它们的滤波器尺寸、填充padding、步长stride设置与第一个卷积层相同;最大池化层的滤波器个数设置为512,滤波器尺寸设置为2*2,填充padding设置为1,步长stride设置为1;全连接层使用tanh作为激活函数,使输出向量的值在[-1,1]的范围内;上述设计使得网络能够更加高效地进行参数预测,并提高了预测的准确性。
进一步,所述坐标变换模块执行以下操作:
第一步:定义基本基准点,在进行薄样板插值TPS变换之前,首先定义另一组基准点,称为基本基准点,用来表示,C′代表基本基准点坐标集合,c1′,c2′...,cK′表示是表示从第1到第K个基本基准点,基本基准点沿着校正图片的顶部边缘和底部边缘均匀分布,由于K是一个常数,而且坐标系进行过归一化操作,所以C′也总是一个常数;
di,j=Euclidean(ci′,cj′)
上式中,ri,j表示矩阵R的第i行第j列的元素,di,j表示基本基准点ci′和cj′两点之间的欧式距离;
第三步:生成特征采样窗格,在校正图像上的特征采样窗格用表示,其中pi′=[x′i,y′i]T表示校正网络上第i个像素,x′i,y′分别代表横坐标和纵坐标,N是像素数,在校正图像上的特征采样窗格的每一个点pi′,都能通过如下的薄样板插值TPS变换找到输入图像特征采样窗格对应的像素点pi,pi=[xi,yi]T表示输入图像特征采样窗格上的第i个像素点,xi,yi分别代表横坐标和纵坐标:
上式中,r′i,k是pi′和第k个基本基准点c′k之间的平方欧式距离,r′i,K是pi′和第K个基本基准点c′K之间的平方欧式距离,di,k是pi′和第k个基本基准点c′k之间的欧式距离,是第i个基准点的拟合矩阵,通过遍历输入图像的特征采样窗格/>中的所有点,生成输入图像的特征采样窗格,特征采样窗格是可微的,所以能够反向传播梯度。
进一步,所述像素采样模块执行以下操作:
p′i的像素值从输入图像I上pi的附近像素点进行双线性插值,它能够对目标像素点周围的四个邻近像素点进行插值计算,从而得到目标像素点的值,通过设置所有像素值,得到校正后的图像I′:
式中,V表示双线性采样器,它也是一个可微模块,薄样板插值TPS变换允许它能够根据输入图像的几何形状和特征,对图像进行灵活变化,从而实现更加灵活和精准的图像校正,通过薄样板插值TPS变换,能够对不同情况的缺陷图像进行校正,从而得到更加准确和可靠的图像结果。
本发明与现有技术相比,具有如下优点与有益效果:
1、通过采用限制对比度自适应直方图均衡化,相比非限制对比度自适应直方图均衡化,可以避免过度放大图像相对均匀区域中的噪声,从而改善由于相机过度曝光以及聚焦欠佳带来的图像光照问题。
2、本方法采用改进空间变换网络STN对原始车门缺陷图像进行校正。不同于传统的仿射变换,改进后的薄样板插值TPS变换可以灵活转换不规则图像为条纹光背景水平或垂直的优质图像,对不同条纹光背景间隔、不同条纹光背景角度和不同摄像机拍摄角度都有较好的校正效果。
3、本方法采用卷积神经网络CNN构建参数预测网络localization network。作为最经典的卷积神经网络CNN,它具有速度快、准确性高和可扩展性强等特点,可以对本网络进行优化,以达到更好的效果。
4、本方法使用的坐标变换模块,不同于以往空间变换网络STN使用的仿射变换,薄样板插值TPS变换允许我们灵活地将不规则图像转换为条纹光背景水平或垂直的优质图像,从而实现更加精准和准确的图像校正。
5、本方法的像素采集模块是可微的,有了可微的定位网络和可微的网格生成器之后,改进空间变换网络STN可以进行反向传播误差微分进行训练,并且基准点和基本基准点可以双向进行变换,从而实现更加高效和精准的图像校正。
附图说明
图1为本发明方法逻辑流程示意图。
图2为本发明采集的带有条纹光背景的车门缺陷图像。
图3为经过限制对比度自适应直方图均衡化处理的车门缺陷图像。
图4为改进空间变换网络STN的结构图;图中,Input Image I换代表输入图像,C换代表基准点Fiducial Points,Rectified Image I′代表校正图像,Loalization Network代表参数预测模块,Grid Generator代表坐标变换模块,Sampler代表像素采集模块,代表特征采样窗格。
图5为卷积神经网络CNN的结构图。
图6为基准点和基本基准点的转换示意图;图中,Input Image I换代表输入图像,Rectified Image I′代表校正图像,C换代表基准点,C′换代表基本基准点,pi代表输入图像特征采样窗格像素点,pi′代表校正图像特征采样窗格像素点,代表转换矩阵。
图7为实际车门缺陷图像校正效果图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1至图7所示,本实施例提供了一种基于改进空间变换网络STN的车门缺陷图像校正方法,该改进空间变换网络STN由数据增强模块、参数预测模块、坐标变换模块和像素采集模块组成,其改进之处是针对数据增强模块和坐标变换模块进行了优化,对于数据增强模块,增加了限制对比度自适应直方图均衡化来预处理图像,以提高图像的质量,对于坐标变换模块,使用了薄样板插值TPS变换来代替仿射变换作为坐标变换方法,以更好地适应车门缺陷图像的校正需求;
该车门缺陷图像校正方法的具体实施包括以下步骤:
1)机械臂携带相机对车门进行拍摄得到带有条纹光背景的缺陷图像,如图2所示,将图像输入到已经提前训练好的改进空间变换网络STN中,通过数据增强模块进行限制对比度自适应直方图均衡化,如图3所示,提高车门缺陷图像的清晰度和对比度,改善由于相机过度曝光以及聚焦欠佳带来的图像光照不均问题,增强图像质量。
所述数据增强模块应用了一种限制对比度自适应直方图均衡化方法,具体情况如下:将输入图像转换为亮度灰度图像,划分成多个子图像块,统计在每个子图像块中每个灰度级的像素点个数;找到将每个子图像块像素点总数分为最接近一半的分界灰度级,并统计图像高、低亮度区域的像素点总数;分别对每个子图像块的图像高、低亮度区域进行累计直方图均衡,计算图像高、低亮度区域的调节参数,其值为子图像块中图像高、亮度区域的像素点总数除以子图像块像素点总数,再乘以255;对于低亮度区域像素点,从0到该点灰度级累加每个灰度级的像素点个数,得到的像素点个数除以低亮度区域的像素点总数,再乘以低亮度区域的调节参数,得到该像素点的累计直方图均衡灰度值;对于高亮度区域像素点,从该点灰度级到255累加每个灰度级的像素点个数,得到的像素点个数除以高亮度区域的像素点总数,再乘以高亮度区域的调节参数,得到该像素点的累计直方图均衡灰度值;根据每个子图像块的像素点累计直方图均衡灰度值,进行权重线性插值,得到均衡化处理后的整个图像的亮度信息,如图3所示。
2)将经过数据增强模块处理后的图像送入参数预测模块,执行以下操作:
对输入图像中的像素进行归一化处理,一个基准点c由(x,y)来定义,x代表基准点横坐标,y代表基准点纵坐标,参数预测网络通过回归K个基本基准点来定位,所以需要2K个输出,整体基准点坐标集合其中/>是实数集合,/>是一个大小为2×K的矩阵,c1,c2,...,cK是表示从第1到第K个基准点,使用一个归一化的坐标系,其坐标系原点是输入图像中心,基准点(x,y)数值在[-1,1]的区间范围内。
参数预测模块是由参数预测网络localization network构成的。该网络是通过使用卷积神经网络CNN进行构建的,使用了pytorch库来搭建这个网络,如图5所示,卷积神经网络CNN的结构包含Conv传统卷积层、Maxpool最大池化层以及FC全连接层组成,整个网络主要由四个卷积层、一个最大池化层和两个全连接层组成,这一结构能够高效地进行参数预测,并且在构建过程中考虑了卷积神经网络CNN的设计特点。
对于四个卷积层,第一个卷积层滤波器个数设置为64,滤波器尺寸设置为3*3大小,填充padding设置为1,步长stride设置为1,第二,第三,第四个卷积层的滤波器个数依次乘以2,即接下来的三个卷积层的滤波器个数依次是前一个卷积层的两倍,而它们的滤波器尺寸、填充padding、步长stride设置与第一个卷积层相同;最大池化层的滤波器个数设置为512,滤波器尺寸设置为2*2,填充padding设置为1,步长stride设置为1;全连接层使用tanh作为激活函数,使输出向量的值在[-1,1]的范围内。上述设计使得网络能够更加高效地进行参数预测,并提高了预测的准确性。
3)基于参数预测模块得到的K个基准点,将基准点输入坐标变换模块,执行以下操作:
第一步:定义基本基准点,在进行薄样板插值TPS变换之前,首先定义另一组基准点,称为基本基准点,用来表示,C′代表基本基准点坐标集合,c1′,c2′...,cK′表示是表示从第1到第K个基本基准点,基本基准点沿着校正图片的顶部边缘和底部边缘均匀分布,需要注意的是,由于K是一个常数,而且坐标系进行过归一化操作,所以C′也总是一个常数。
di,j=Euclidean(ci′,cj′)
上式中,ri,j表示矩阵R的第i行第j列的元素,di,j表示基本基准点ci′和ci′两点之间的欧式距离。
第三步:如图6所示,生成特征采样窗格,在校正图像上的特征采样窗格用表示,其中pi′=[x′i,y′i]T表示校正网络上第i个像素,x′i,y′分别代表横坐标和纵坐标,N是像素数,在校正图像上的特征采样窗格的每一个点pi′,都能通过如下的薄样板插值TPS变换找到输入图像特征采样窗格对应的像素点pi,pi=[xi,yi]T表示输入图像特征采样窗格上的第i个像素点,xi,yi分别代表横坐标和纵坐标:
上式中,r′i,k是pi′和第k个基本基准点c′k之间的平方欧式距离,r′i,K是pi′和第K个基本基准点c′K之间的平方欧式距离,di,k是pi′和第k个基本基准点c′k之间的欧式距离,是第i个基准点的拟合矩阵,通过遍历输入图像特征采样窗格/>中的所有点,生成输入图像的特征采样窗格,特征采样窗格是可微的,所以可以反向传播梯度。
4)将特征采样窗格和步骤1)中经过数据增强模块处理后的图像送入像素采集模块,执行以下操作:
p′i的像素值从输入图像I上pi的附近像素点进行双线性插值,它可以对目标像素点周围的四个邻近像素点进行插值计算,从而得到目标像素点的值,通过设置所有像素值,得到校正后的图像I′:
其中,V表示双线性采样器,它也是一个可微模块,薄样板插值TPS变换允许它可以根据输入图像的几何形状和特征,对图像进行灵活变化,从而实现更加灵活和精准的图像校正,通过薄样板插值TPS变换,我们可以对不同情况的缺陷图像进行校正,从而得到更加准确和可靠的图像结果,如图7所示为校正后的图像。
以上所述实施例只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。
Claims (5)
1.基于改进空间变换网络STN的车门缺陷图像校正方法,其特征在于,该改进空间变换网络STN由数据增强模块、参数预测模块、坐标变换模块和像素采集模块组成,其改进之处是针对数据增强模块和坐标变换模块进行了优化,对于数据增强模块,增加了限制对比度自适应直方图均衡化来预处理图像,以提高图像的质量,对于坐标变换模块,使用了薄样板插值TPS变换来代替仿射变换作为坐标变换方法,以更好地适应车门缺陷图像的校正需求;
该车门缺陷图像校正方法的具体实施包括以下步骤:
1)通过相机采集车门缺陷图像,将图像输入到已经提前训练好的改进空间变换网络STN中,通过数据增强模块进行限制对比度自适应直方图均衡化,提高车门缺陷图像的清晰度和对比度,改善由于相机过度曝光以及聚焦欠佳带来的图像光照不均问题,增强图像质量;
2)将经过数据增强模块处理后的图像送入参数预测模块的CNN中,得到进行坐标变换所需要的K个基准点;其中,参数预测模块由参数预测网络localization network组成,使用卷积神经网络CNN来构建参数预测网络;
3)基于参数预测模块得到的K个基准点,将基准点输入坐标变换模块进行薄样板插值TPS变换,TPS变换能够对图像进行像素级的操作,生成像素采集模块所需的特征采样窗格;
4)将特征采样窗格和步骤1)中经过数据增强模块处理后的图像送入像素采集模块中,对输入图像进行校正,填充因薄样板插值TPS变换导致的图像空白区间,得到最终校正后的图像。
2.根据权利要求1所述的基于改进空间变换网络STN的车门缺陷图像校正方法,其特征在于,所述数据增强模块应用了一种限制对比度自适应直方图均衡化方法,该方法是首先将图像分割为多个子图像块,然后找到每个子图像块中处于中间的分界灰度值;根据这个分界灰度值,将图像分为高亮度区和低亮度区,并统计每个区域的像素点总数;通过高亮度区和低亮度区的像素点数量计算图像高、低亮度区的灰度调节参数,并对高、低亮度区域分别进行直方图均衡,有效解决由于相机过度曝光或聚焦欠佳所带来的图像光照不均问题。
3.根据权利要求2所述的基于改进空间变换网络STN的车门缺陷图像校正方法,其特征在于,所述参数预测模块执行以下操作:
对输入图像中的像素进行归一化处理,一个基准点c由(x,y)来定义,x代表基准点横坐标,y代表基准点纵坐标,参数预测网络通过回归K个基本基准点来定位,所以需要2K个输出,整体基准点坐标集合其中/>是实数集合,/>是一个大小为2×K的矩阵,c1,c2,...,cK是表示从第1到第K个基准点,使用一个归一化的坐标系,其坐标系原点是输入图像中心,基准点(x,y)数值在[-1,1]的区间范围内;
所述参数预测模块是由参数预测网络localization network构成,该网络是通过使用卷积神经网络CNN进行构建的,使用了pytorch库来搭建这个网络,卷积神经网络CNN包括Conv传统卷积层、Maxpool最大池化层以及FC全连接层,整个网络结构由四个卷积层、一个最大池化层和两个全连接层组成,这一结构能够高效地进行参数预测,并且在构建过程中考虑了卷积神经网络CNN的设计特点;
对于四个卷积层,第一个卷积层滤波器个数设置为64,滤波器尺寸设置为3*3大小,填充padding设置为1,步长stride设置为1,第二、第三、第四个卷积层的滤波器个数依次乘以2,即接下来的三个卷积层的滤波器个数依次是前一个卷积层的两倍,而它们的滤波器尺寸、填充padding、步长stride设置与第一个卷积层相同;最大池化层的滤波器个数设置为512,滤波器尺寸设置为2*2,填充padding设置为1,步长stride设置为1;全连接层使用tanh作为激活函数,使输出向量的值在[-1,1]的范围内;上述设计使得网络能够更加高效地进行参数预测,并提高了预测的准确性。
4.根据权利要求3所述的基于改进空间变换网络STN的车门缺陷图像校正方法,其特征在于,所述坐标变换模块执行以下操作:
第一步:定义基本基准点,在进行薄样板插值TPS变换之前,首先定义另一组基准点,称为基本基准点,用来表示,C′代表基本基准点坐标集合,c1′,c2′...,cK′表示是表示从第1到第K个基本基准点,基本基准点沿着校正图片的顶部边缘和底部边缘均匀分布,由于K是一个常数,而且坐标系进行过归一化操作,所以C′也总是一个常数;
di,j=Euclidean(ci′,cj′)
上式中,ri,j表示矩阵R的第i行第j列的元素,di,j表示基本基准点ci′和cj′两点之间的欧式距离;
第三步:生成特征采样窗格,在校正图像上的特征采样窗格用表示,其中p′i=[x′i,y′i]T表示校正网络上第i个像素,x′i,y′分别代表横坐标和纵坐标,N是像素数,在校正图像上的特征采样窗格的每一个点pi′,都能通过如下的薄样板插值TPS变换找到输入图像特征采样窗格对应的像素点pi,pi=[xi,yi]T表示输入图像特征采样窗格上的第i个像素点,xi,yi分别代表横坐标和纵坐标:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310311833.9A CN116433514A (zh) | 2023-03-27 | 2023-03-27 | 基于改进空间变换网络stn的车门缺陷图像校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310311833.9A CN116433514A (zh) | 2023-03-27 | 2023-03-27 | 基于改进空间变换网络stn的车门缺陷图像校正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116433514A true CN116433514A (zh) | 2023-07-14 |
Family
ID=87078944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310311833.9A Pending CN116433514A (zh) | 2023-03-27 | 2023-03-27 | 基于改进空间变换网络stn的车门缺陷图像校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116433514A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117808737A (zh) * | 2023-11-02 | 2024-04-02 | 江阴市精成数控有限公司 | 轴承缺陷管理系统 |
-
2023
- 2023-03-27 CN CN202310311833.9A patent/CN116433514A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117808737A (zh) * | 2023-11-02 | 2024-04-02 | 江阴市精成数控有限公司 | 轴承缺陷管理系统 |
CN117808737B (zh) * | 2023-11-02 | 2024-05-14 | 江阴市精成数控有限公司 | 轴承缺陷管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109615653B (zh) | 基于深度学习与视场投影模型的渗漏水面积检测与识别方法 | |
CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
CN107369159B (zh) | 基于多因素二维灰度直方图的阈值分割方法 | |
CN111179233B (zh) | 基于激光切割二维零部件的自适应纠偏方法 | |
CN112819772A (zh) | 一种高精度快速图形检测识别方法 | |
CN109035170B (zh) | 基于单网格图分段映射的自适应广角图像校正方法及装置 | |
CN112561807B (zh) | 一种基于卷积神经网络的端到端径向畸变校正方法 | |
CN113313047B (zh) | 一种基于车道结构先验的车道线检测方法及系统 | |
CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
CN116433514A (zh) | 基于改进空间变换网络stn的车门缺陷图像校正方法 | |
CN111209858A (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
CN108921003A (zh) | 基于卷积神经网络和图像形态学的无人机障碍物检测方法 | |
CN113538378A (zh) | 一种基于深度学习的轴承尺寸在线检测系统 | |
CN111598775B (zh) | 基于lstm网络的光场视频时域超分辨重建方法 | |
CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
CN110111292B (zh) | 一种红外与可见光图像融合方法 | |
CN113223074A (zh) | 一种水下激光条纹中心提取方法 | |
CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
CN111203881B (zh) | 一种基于加权最小二乘法的在线反馈手眼标定方法 | |
CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
CN115775269B (zh) | 一种基于线特征的列车图像精确配准方法 | |
CN115194323A (zh) | 一种激光焊接机的定位焊接方法 | |
CN110223250B (zh) | 基于单应变换的sar几何校正方法 | |
CN113191959A (zh) | 一种基于退化标定的数字成像系统极限像质提升方法 | |
CN113592947A (zh) | 一种半直接法的视觉里程计实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |