CN117274111A - 一种基于多尺度特征融合的图像畸变矫正方法及系统 - Google Patents
一种基于多尺度特征融合的图像畸变矫正方法及系统 Download PDFInfo
- Publication number
- CN117274111A CN117274111A CN202311534049.0A CN202311534049A CN117274111A CN 117274111 A CN117274111 A CN 117274111A CN 202311534049 A CN202311534049 A CN 202311534049A CN 117274111 A CN117274111 A CN 117274111A
- Authority
- CN
- China
- Prior art keywords
- image
- distortion
- parameters
- distortion correction
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000007689 inspection Methods 0.000 claims description 62
- 238000012216 screening Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明属于图像畸变矫正领域，提供了一种基于多尺度特征融合的图像畸变矫正方法及系统，其创造性地提出了一种基于多尺度特征融合的图像畸变矫正方法，在AlexNet的基础上，提出了基于特征融合的首层宽卷积AlexNet，通过引入首层宽卷积核，利用其较大的感受野，从原始图像中提取完整的位置细节信息；同时，FFAWNet不同层次的特征进行融合，生成的多尺度融合特征结合了模型底层的高分辨率的细粒度特征和高层的语义特征，解决了传统的畸变矫正算法依赖于检测和处理特定的线索的问题，提高了特征的学习能力。
Description
技术领域
本发明属于图像畸变矫正领域，尤其涉及一种基于多尺度特征融合的图像畸变矫正方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
智能电表是智能电网数据采集的基本设备之一，承担着原始电能数据采集、计量和传输的任务，是实现信息集成、分析和优化信息展现的基础。近年来，随着人工智能的发展，基于图像和深度学习的电力计量装置故障智能化诊断逐渐成为保障电网稳定运行，提高电力计量工作的效率的发展趋势。图像是深度学习算法参数学习的重要信息源，其质量对算法获取信息的充分性和准确性起着决定性作用。然而，在获取巡检图像时，由于镜头光学成像不是理想的小孔成像，导致成像平面上的实际成像点与理想成像点有一定偏差，且两者间存在复杂的非线性关系，即镜头畸变。图像畸变会导致故障智能诊断模型无法准确的抓取到计量装置的特征从而产生诊断效率下降的情况。因此，在故障诊断之前对图像进行畸变校正也是电力计量装置故障智能化诊断的重要保障。
传统的畸变矫正算法采用基于几何特征的矫正方法，但该方法依赖于检测和处理特定的线索，如共线点、平行线，而在实际工作中，多数情况下无法满足这类标定物的需求，导致在定位像素点时的准确度较差，矫正效果不理想。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于多尺度特征融合的图像畸变矫正方法及系统，其在AlexNet的基础上，提出了基于特征融合的首层宽卷积AlexNet (Feature Fusion AlexNet with Wide First-layer Kernels，FFAWNet)。通过引入首层宽卷积核，利用其较大的感受野，从原始图像中提取完整的位置细节信息。同时，FFAWNet不同层次的特征进行融合，生成的多尺度融合特征结合了模型底层的高分辨率的细粒度特征和高层的语义特征，提高了特征的学习能力。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面提供一种基于多尺度特征融合的图像畸变矫正方法，包括如下步骤：
获取无畸变巡检图像数据，利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像；
基于径向畸变范围内的巡检图像对图像畸变矫正模型进行训练得到训练后的图像畸变矫正模型；其中，所述图像畸变矫正模型的构建过程为：
在AlexNet的基础上，引入首层宽卷积核，学习径向畸变范围内的巡检图像的畸变特征，并得到不同层次的特征；融合不同层次的特征生成多尺寸融合特征；将多尺寸融合特征映射为畸变参数，通过畸变参数矫正对应的图像；
通过训练后的图像畸变矫正模型对待矫正巡检图像矫正得到矫正后的巡检图像。
进一步地，所述利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像，包括：
确定物理坐标下的实际像点与理想像点之间的关系；
通过利用具有自校准的运动恢复结构重建图像序列，得到相机的相关参数；
通过相机的相关参数中的径向畸变系数拟合出畸变参数之间的函数关系；
基于物理坐标下的实际像点与理想像点之间的关系和畸变参数之间的函数关系，生成无畸变的巡检图像数据对应的径向畸变范围内的巡检图像。
进一步地，在生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像之前，还包括通过霍夫变换检测直线对巡检图像数据集进行筛选，具体包括：
通过霍夫变换提取直线从巡检图像数据集中筛选出包含设定数量直线的图像，通过辨别物体中的线条特征，并将其映射到另外一个坐标空间的一个点上形成峰值，从而将检测任意形状的问题转化为统计峰值的问题。
进一步地，利用相机参数拟合出畸变参数之间的函数关系时，将第一畸变系数的连续值离散化。
进一步地，所述畸变参数之间的函数关系为：
，其中，/>为第一径向畸变系数、/>为第二径向畸变系数。
进一步地，所述在AlexNet的基础上，引入首层宽卷积核，学习径向畸变范围内的巡检图像的畸变特征，并得到不同层次的特征，具体包括：
所述AlexNet包括多个卷积层和完全连接层，首层卷积层的卷积核大于其余卷积层的卷积核，通过首层卷积层提取的特征作为第一尺寸特征，通过第二卷积层提取的特征作为第二尺寸特征，合并第三卷积层和第四卷积层，通过合并的卷积层提取的特征作为第三尺寸特征，通过第五卷积层提取的特征作为第四尺寸特征，融合第一尺寸特征、第二尺寸特征、第三尺寸特征和第四尺寸特征，将融合后的特征输入至完全连接层，得到不同层次的特征。
进一步地，所述方法还包括对矫正结果进行评估，评价指标选择均方根误差：
，式中，/>、/>分别表示原始无畸变图像的真实坐标和校正后图像的理想坐标，m，n分别为横，纵方向提取的特征点个数。
本发明的第二方面提供一种基于多尺度特征融合的图像畸变矫正系统，包括：
数据集处理模块，其用于获取无畸变的巡检图像数据，利用相机参数拟合出畸变参数之间的函数关系，生成径向畸变范围内的巡检图像；
图像畸变矫正模型训练模块，其用于基于径向畸变范围内的巡检图像对图像畸变矫正模型进行训练得到训练后的图像畸变矫正模型；其中，所述图像畸变矫正模型的构建过程为：
在AlexNet的基础上，引入首层宽卷积核，学习径向畸变范围内的巡检图像的畸变特征，并得到不同层次的特征；融合不同层次的特征生成多尺寸融合特征；将多尺寸融合特征映射为畸变参数，通过畸变参数矫正对应的图像；
图像矫正模块，其用于通过训练后的图像畸变矫正模型对待矫正巡检图像矫正得到矫正后的巡检图像。
进一步地，数据集处理模块中，所述利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像，包括：
确定物理坐标下的实际像点与理想像点之间的关系；
通过利用具有自校准的运动恢复结构重建图像序列，得到相机的相关参数；
通过相机的相关参数中的径向畸变系数拟合出畸变参数之间的函数关系；
基于物理坐标下的实际像点与理想像点之间的关系和畸变参数之间的函数关系，生成无畸变的巡检图像数据对应的径向畸变范围内的巡检图像。
进一步地，所述系统还包括数据筛选模块，其用于在生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像之前，还包括通过霍夫变换检测直线对巡检图像数据集进行筛选，具体包括：
通过霍夫变换提取直线从巡检图像数据集中筛选出包含设定数量直线的图像，通过辨别物体中的线条特征，并将其映射到另外一个坐标空间的一个点上形成峰值，从而将检测任意形状的问题转化为统计峰值的问题。
与现有技术相比，本发明的有益效果是：
本发明创造性地提出了一种基于多尺度特征融合的图像畸变矫正方法，在AlexNet的基础上，提出了基于特征融合的首层宽卷积AlexNet (Feature Fusion AlexNetwith Wide First-layer Kernels, FFAWNet)，通过引入首层宽卷积核，利用其较大的感受野，从原始图像中提取完整的位置细节信息；同时，FFAWNet不同层次的特征进行融合，生成的多尺度融合特征结合了模型底层的高分辨率的细粒度特征和高层的语义特征，解决了传统的畸变矫正算法依赖于检测和处理特定的线索的问题，提高了特征的学习能力。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的基于多尺度特征融合的图像畸变矫正方法；
图2是本发明实施例提供的FFAWNet结构；
图3是本发明实施例提供的仿真图像，图3中（a）为标准图像，图3中（b）为畸变图像；
图4是本发明实施例提供的50次随机试验得到的角点坐标RMSE。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了解决本发明背景技术中提及的技术问题，本发明充分结合电力计量装置典型缺陷识别任务的特点，搭建电力营销计量设备巡检模拟平台，根据参数划分来构建失真图像数据集。采用基于深度学习框架的特征融合的首层宽卷积(Feature Fusion AlexNetwith Wide First-layer Kernels,FFAWNet)）模型，学习径向畸变的特征，并将输入图像映射为畸变参数，从而实现图像的畸变矫正。
实施例一
参照图1，本实施例提供一种基于多尺度特征融合的图像畸变矫正方法，包括如下步骤：
步骤1：获取无畸变巡检图像数据，利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像；
其中，步骤1具体包括：
步骤101：通过霍夫变换检测直线对巡检图像数据集进行筛选；
本实施例设计构建了营销计量设备巡检图像数据集，并在该数据集的基础上生成畸变图像数据集。考虑到基于几何的畸变矫正方法对包含一定特征，如直线的图像校正效果更好。因此通过霍夫变换提取直线从ImageNet数据集中筛选出包含一定数量直线的图像，使网络能更好地学习畸变特征。霍夫变换通过辨别物体中的线条特征，并将其映射到另外一个坐标空间的一个点上形成峰值，从而将检测任意形状的问题转化为统计峰值的问题。
通常镜头的畸变系数在/>到/>之内，因此为了将畸变系数的回归问题简化为分类问题，本实施例将畸变系数/>的连续值离散化，即设置标签整数集/>为,分别对应/>。
首先，通过霍夫变换检测直线对ImageNet原始数据集进行筛选；将合成数据集中的图像进行缩放和裁剪，将图像处理为224×224的色块。最后，生成54000张畸变图像，其中，一部分用来训练模型，另一部分用来测试模型。
本实施例中，49680张用来训练模型，4320张用来测试模型。
步骤102：对图像进行归一化操作，减小输入层的数值，便于学习率的选择，并提高训练速度，归一化方法如下：，其中，/>为图像像素点值，/>为图像像素最小值，/>为图像像素最大值。
步骤103：利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像，包括：
步骤1031：确定物理坐标下的实际像点与理想像点之间的关系；
在图像的各种畸变中，径向畸变占主导地位，实际相机中几乎不会引入明显的切向畸变。因此，本实施例只考虑二阶径向畸变系数、/>带来的误差，物理坐标系下的实际像点/>与理想像点/>之间的关系可表示为：/>，，式中，/>为理想像点与实际像点之间的相差，，/>为圆心的坐标，/>,/>,…/>为径向畸变系数。
步骤1032：利用具有自校准的运动恢复结构重建图像序列，得到相机的相关参数，并利用参数中的径向畸变系数,/>拟合出两者的函数关系如下：/>，径向畸变是一种沿透镜半径方向分布的畸变，对于真实的镜头，畸变系数/>异常时为正值，因此实验只关注畸变系数/>的负项。
步骤1033：基于物理坐标下的实际像点与理想像点之间的关系和畸变参数之间的函数关系，生成无畸变的巡检图像数据对应的径向畸变范围内的巡检图像。
步骤2：基于径向畸变范围内的巡检图像对图像畸变矫正模型进行训练得到训练后的图像畸变矫正模型；其中，所述图像畸变矫正模型的构建过程为：
在AlexNet的基础上，引入首层宽卷积核，学习径向畸变范围内的巡检图像的畸变特征，并得到不同层次的特征；融合不同层次的特征生成多尺寸融合特征；将多尺寸融合特征映射为畸变参数，通过畸变参数矫正对应的图像；
卷积神经网络是一种多层次监督学习神经网络，具有结构简单、权值共享等特点。卷积神经网络具有强大的特征提取能力，可以有效地提取和分类图像数据中的特征信息，具有极强的图像识别性能。
卷积神经网络由输入层，卷积层，池化层，全连接层和Softmax分类输出层组成。在网络运行时，CNN首先采用梯度下降算法将损失函数最小化，然后将权值进行反向传播，并对网络参数进行调整，经过反复迭代训练，提高网络的准确性。
AlexNet是一种卷积神经网络，其包括五个卷积层和三个完全连接层，部分卷积层后面含有池化层。
融合不同尺度的图像特征是提高网络性能的一个重要手段。浅层网络由于经过的卷积层更少，特征分辨率更高，因而对于位置、颜色、形状等几何信息具有更好的表达能力，适合捕捉小目标和细粒度的特征。随着网络的深入，下采样和卷积层数量增加，池化层会逐渐丢失大量有价值的信息，图像局部和整体之间的相关性被忽略，虽然无法捕捉空间相关的细节信息，但高层特征具有更好的语义表达能力。
基于以上考虑，本实施例在AlexNet的架构基础上进行改进，为了可以直接从原始图像中提取完整的位置细节信息，首层卷积层使用大卷积核提取特征，利用大的感受野抓取到图像中有用的细节信息，然后AlexNet的多卷积层被不断用于深化网络，将其多层特征编码在网络的每一层的特征图中。
并采用多尺度特征融合的方法，将高分辨率的底层特征，和多语义信息的高层特征相融合，进一步提升网络性能，得到适用于计量设备巡检图像质量异常检测的模型结构。FFAWNet中卷积层的具体参数如表1所示，本实施例构建的FFAWNet如图2所示，分别从FFAWNet的C1、C2、C3和C4层引出多级特征，最后将多级特征拼接融合,其中C1层包含第一卷积层，C2层包含第二卷积层，C3层包含第三和第四卷积层，C4层包含第五卷积层，C1层、C2层和C4层对应的卷积层后边设置池化层。
表1FFAWNet中卷积层的具体参数
首层卷积层的卷积核大于其余卷积层的卷积核，通过首层卷积层提取的特征作为第一尺寸特征，通过第二卷积层提取的特征作为第二尺寸特征，合并第三卷积层和第四卷积层，通过合并的卷积层提取的特征作为第三尺寸特征，通过第五卷积层提取的特征作为第四尺寸特征，融合第一尺寸特征、第二尺寸特征、第三尺寸特征和第四尺寸特征，将融合后的特征输入至完全连接层，得到不同层次的径向畸变特征。
步骤4：通过训练后的图像畸变矫正模型对待矫正巡检图像矫正得到矫正后的巡检图像。
实验结果分析
本实验构建的GRU网络有三个GRU层，隐藏单元的数量从32逐渐增加到128，最后一层是具有Softmax激活函数的全连接层。实验结果如表2所示。
表2本发明提出的模型和现有模型对比结果
从表2中可以得到，VGG16是所有对比模型中诊断效果最好的，但相比于本文提出的FFAWNet，在参数和计算时间小于VGG16的前提下，FFAWNet的准确率、精确度和召回值分别比VGG16高了4.50%、3.52%和4.98%。损失是用来衡量模型的预测值和真实值的差异程度，损失函数越小，曲线越收敛，则模型的性能就越好。
畸变矫正性能分析
对上述训练好的FFAWNet模型对棋盘格仿真图像进行试验，评价指标选择均方根误差（RMSE），数学描述如下：，式中，/>、分别表示原始无畸变图像的真实坐标和校正后图像的理想坐标，m,n分别为横，纵方向提取的特征点个数。
如图3所示，图3中（a）为标准图像，图3中（b）为畸变图像；首先利用标准棋盘格图像生成50张不同分辨率的原始棋盘格图像。实验考虑的图像畸变中心为图像中心，按照上文给出的畸变图像合成方法，在径向畸变系数时合成棋盘格的失真图像。
图4为50次随机试验得到的校正后的仿真棋盘格图像角点坐标与无畸变图像角点坐标的RMSE，可以发现，50次随机试验得到的交点坐标RMSE基本在1pixel以内，这表明本方法求解的稳定性较好，也证明实验中训练模型的有效性。
本发明针对营销计量设备巡检图像畸变矫正任务，提出了一种基于特征融合的首层宽卷积AlexNet (Feature Fusion AlexNet with Wide First-layer Kernels,FFAWNet)的畸变矫正方法，将基于特征融合的AlexNet网络引入到图像畸变矫正领域，该网络可以同时抓取到模型底层的高分辨率的细粒度特征和高层的语义特征，并生成多尺度融合特征，从而提高分类精度。针对实际计量设备工程巡检过程中由于镜头参数产生的径向畸变，本发明人工合成带有第一、第二径向畸变系数标记的图像，并用FFAWNet进行学习。以张定友标定法为基准，本方法的矫正误差在1pixel左右。实验证明，本方法的矫正误差在1pixel左右，可以有效地对畸变图像进行矫正，并在工业相机和广角镜头拍摄的图像上实现畸变矫正。
实施例二
本实施例提供一种基于多尺度特征融合的图像畸变矫正系统，包括：
数据集处理模块，其用于获取无畸变巡检图像数据，利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像；
图像畸变矫正模型训练模块，其用于基于径向畸变范围内的巡检图像对图像畸变矫正模型进行训练得到训练后的图像畸变矫正模型；其中，所述图像畸变矫正模型的构建过程为：
在AlexNet的基础上，引入首层宽卷积核，学习径向畸变范围内的巡检图像的畸变特征，并得到不同层次的特征；融合不同层次的特征生成多尺寸融合特征；将多尺寸融合特征映射为畸变参数，通过畸变参数矫正对应的图像；
图像矫正模块，其用于通过训练后的图像畸变矫正模型对待矫正巡检图像矫正得到矫正后的巡检图像。
其中，数据集处理模块中，所述利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像，包括：
确定物理坐标下的实际像点与理想像点之间的关系；
通过利用具有自校准的运动恢复结构重建图像序列，得到相机的相关参数；
通过相机的相关参数中的径向畸变系数拟合出畸变参数之间的函数关系；
基于物理坐标下的实际像点与理想像点之间的关系和畸变参数之间的函数关系，生成无畸变的巡检图像数据对应的径向畸变范围内的巡检图像。
所述系统还包括数据筛选模块，其用于在生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像之前，还包括通过霍夫变换检测直线对巡检图像数据集进行筛选，具体包括：
通过霍夫变换提取直线从巡检图像数据集中筛选出包含设定数量直线的图像，通过辨别物体中的线条特征，并将其映射到另外一个坐标空间的一个点上形成峰值，从而将检测任意形状的问题转化为统计峰值的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多尺度特征融合的图像畸变矫正方法，其特征在于，包括如下步骤：
获取无畸变巡检图像数据，利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像；
基于径向畸变范围内的巡检图像对图像畸变矫正模型进行训练得到训练后的图像畸变矫正模型；其中，所述图像畸变矫正模型的构建过程为：
在AlexNet的基础上，引入首层宽卷积核，学习径向畸变范围内的巡检图像的畸变特征，并得到不同层次的特征；融合不同层次的特征生成多尺寸融合特征；将多尺寸融合特征映射为畸变参数，通过畸变参数矫正对应的图像；
通过训练后的图像畸变矫正模型对待矫正巡检图像矫正得到矫正后的巡检图像。
2.如权利要求1所述的一种基于多尺度特征融合的图像畸变矫正方法，其特征在于，所述利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像，包括：
确定物理坐标下的实际像点与理想像点之间的关系；
通过利用具有自校准的运动恢复结构重建图像序列，得到相机的相关参数；
通过相机的相关参数中的径向畸变系数拟合出畸变参数之间的函数关系；
基于物理坐标下的实际像点与理想像点之间的关系和畸变参数之间的函数关系，生成无畸变的巡检图像数据对应的径向畸变范围内的巡检图像。
3.如权利要求1所述的一种基于多尺度特征融合的图像畸变矫正方法，其特征在于，在生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像之前，还包括通过霍夫变换检测直线对巡检图像数据集进行筛选，具体包括：
通过霍夫变换提取直线从巡检图像数据集中筛选出包含设定数量直线的图像，通过辨别物体中的线条特征，并将其映射到另外一个坐标空间的一个点上形成峰值，从而将检测任意形状的问题转化为统计峰值的问题。
4.如权利要求1所述的一种基于多尺度特征融合的图像畸变矫正方法，其特征在于，利用相机参数拟合出畸变参数之间的函数关系时，将第一畸变系数的连续值离散化。
5.如权利要求2所述的一种基于多尺度特征融合的图像畸变矫正方法，所述畸变参数之间的函数关系为：
，其中，/>为第一径向畸变系数、/>为第二径向畸变系数。
6.如权利要求1所述的一种基于多尺度特征融合的图像畸变矫正方法，其特征在于，所述在AlexNet的基础上，引入首层宽卷积核，学习径向畸变范围内的巡检图像的畸变特征，并得到不同层次的特征，具体包括：
所述AlexNet包括多个卷积层和完全连接层，首层卷积层的卷积核大于其余卷积层的卷积核，通过首层卷积层提取的特征作为第一尺寸特征，通过第二卷积层提取的特征作为第二尺寸特征，合并第三卷积层和第四卷积层，通过合并的卷积层提取的特征作为第三尺寸特征，通过第五卷积层提取的特征作为第四尺寸特征，融合第一尺寸特征、第二尺寸特征、第三尺寸特征和第四尺寸特征，将融合后的特征输入至完全连接层，得到不同层次的特征。
7.如权利要求1所述的一种基于多尺度特征融合的图像畸变矫正方法，其特征在于，所述方法还包括对矫正结果进行评估，评价指标选择均方根误差：
，式中，/>、/>分别表示原始无畸变图像的真实坐标和校正后图像的理想坐标，m，n分别为横，纵方向提取的特征点个数。
8.一种基于多尺度特征融合的图像畸变矫正系统，其特征在于，包括：
数据集处理模块，其用于获取无畸变的巡检图像数据，利用相机参数拟合出畸变参数之间的函数关系，生成径向畸变范围内的巡检图像；
图像畸变矫正模型训练模块，其用于基于径向畸变范围内的巡检图像对图像畸变矫正模型进行训练得到训练后的图像畸变矫正模型；其中，所述图像畸变矫正模型的构建过程为：
在AlexNet的基础上，引入首层宽卷积核，学习径向畸变范围内的巡检图像的畸变特征，并得到不同层次的特征；融合不同层次的特征生成多尺寸融合特征；将多尺寸融合特征映射为畸变参数，通过畸变参数矫正对应的图像；
图像矫正模块，其用于通过训练后的图像畸变矫正模型对待矫正巡检图像矫正得到矫正后的巡检图像。
9.如权利要求8所述的一种基于多尺度特征融合的图像畸变矫正系统，其特征在于，数据集处理模块中，所述利用相机参数拟合出畸变参数之间的函数关系，生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像，包括：
确定物理坐标下的实际像点与理想像点之间的关系；
通过利用具有自校准的运动恢复结构重建图像序列，得到相机的相关参数；
通过相机的相关参数中的径向畸变系数拟合出畸变参数之间的函数关系；
基于物理坐标下的实际像点与理想像点之间的关系和畸变参数之间的函数关系，生成无畸变的巡检图像数据对应的径向畸变范围内的巡检图像。
10.如权利要求8所述的一种基于多尺度特征融合的图像畸变矫正系统，其特征在于，所述系统还包括数据筛选模块，其用于在生成无畸变巡检图像数据对应的径向畸变范围内的巡检图像之前，还包括通过霍夫变换检测直线对巡检图像数据集进行筛选，具体包括：
通过霍夫变换提取直线从巡检图像数据集中筛选出包含设定数量直线的图像，通过辨别物体中的线条特征，并将其映射到另外一个坐标空间的一个点上形成峰值，从而将检测任意形状的问题转化为统计峰值的问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311534049.0A CN117274111A (zh) | 2023-11-17 | 2023-11-17 | 一种基于多尺度特征融合的图像畸变矫正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311534049.0A CN117274111A (zh) | 2023-11-17 | 2023-11-17 | 一种基于多尺度特征融合的图像畸变矫正方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117274111A true CN117274111A (zh) | 2023-12-22 |
Family
ID=89208371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311534049.0A Pending CN117274111A (zh) | 2023-11-17 | 2023-11-17 | 一种基于多尺度特征融合的图像畸变矫正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274111A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766083A (zh) * | 2019-10-25 | 2020-02-07 | 忻州师范学院 | 一种基于特征融合Alexnet壁画图像分类方法 |
| CN111260565A (zh) * | 2020-01-02 | 2020-06-09 | 北京交通大学 | 基于畸变分布图的畸变图像矫正方法及系统 |
| CN112699898A (zh) * | 2020-12-29 | 2021-04-23 | 山西大学 | 一种基于多层特征融合的图像方向识别方法 |
| CN113110562A (zh) * | 2021-05-25 | 2021-07-13 | 上海大学 | 一种基于多个广角摄像头的无人机避障装置及其避障方法 |
| CN114547358A (zh) * | 2022-02-10 | 2022-05-27 | 中国人民解放军战略支援部队信息工程大学 | 一种多尺度特征融合的图像检索方法 |
| CN116152121A (zh) * | 2023-04-20 | 2023-05-23 | 合肥高维数据技术有限公司 | 基于畸变参数的曲面屏生成方法、矫正方法 |
-
2023
- 2023-11-17 CN CN202311534049.0A patent/CN117274111A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766083A (zh) * | 2019-10-25 | 2020-02-07 | 忻州师范学院 | 一种基于特征融合Alexnet壁画图像分类方法 |
| CN111260565A (zh) * | 2020-01-02 | 2020-06-09 | 北京交通大学 | 基于畸变分布图的畸变图像矫正方法及系统 |
| CN112699898A (zh) * | 2020-12-29 | 2021-04-23 | 山西大学 | 一种基于多层特征融合的图像方向识别方法 |
| CN113110562A (zh) * | 2021-05-25 | 2021-07-13 | 上海大学 | 一种基于多个广角摄像头的无人机避障装置及其避障方法 |
| CN114547358A (zh) * | 2022-02-10 | 2022-05-27 | 中国人民解放军战略支援部队信息工程大学 | 一种多尺度特征融合的图像检索方法 |
| CN116152121A (zh) * | 2023-04-20 | 2023-05-23 | 合肥高维数据技术有限公司 | 基于畸变参数的曲面屏生成方法、矫正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN114627360A (zh) | 基于级联检测模型的变电站设备缺陷识别方法 | |
| CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| CN113673590A (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN111126433A (zh) | 一种工厂pcb板缺陷检测中正负样本数据平衡方法 | |
| CN114241422A (zh) | 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN115019302A (zh) | 一种改进型yolox目标检测模型构建方法及其应用 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN112488963A (zh) | 一种用于农作物病害数据的增强方法 | |
| CN115410087A (zh) | 一种基于改进YOLOv4的输电线路异物检测方法 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN115035381A (zh) | 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法 | |
| CN114627044A (zh) | 一种基于深度学习的太阳能光伏组件热斑检测方法 | |
| CN112837281B (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| CN114119987A (zh) | 基于卷积神经网络的特征提取和描述子生成方法及系统 | |
| Tao et al. | F-pvnet: Frustum-level 3-d object detection on point–voxel feature representation for autonomous driving | |
| CN114445615A (zh) | 基于尺度不变特征金字塔结构的旋转绝缘子目标检测方法 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN116503398A (zh) | 绝缘子污闪检测方法、装置、电子设备及存储介质 | |
| CN117274111A (zh) | 一种基于多尺度特征融合的图像畸变矫正方法及系统 | |
| CN113034432B (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
| CN113670268A (zh) | 基于双目视觉的无人机和电力杆塔距离测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |