CN116597184A - 最小二乘影像匹配方法 - Google Patents
最小二乘影像匹配方法 Download PDFInfo
- Publication number
- CN116597184A CN116597184A CN202310843992.3A CN202310843992A CN116597184A CN 116597184 A CN116597184 A CN 116597184A CN 202310843992 A CN202310843992 A CN 202310843992A CN 116597184 A CN116597184 A CN 116597184A
- Authority
- CN
- China
- Prior art keywords
- image
- parameter
- value
- target
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域，特别是涉及一种最小二乘影像匹配方法。该方法包括：构造消除偏差参数和增益参数的误差方程；设定形变参数的初值；对原始目标图像块采样；构造约束方程，使用高斯窗函数加权，联立影像窗口中所有像素的全部颜色通道的第二约束方程形成约束方程组；求解目标形变参数；调整匹配图像对中目标匹配点的图像坐标。本发明通过消除偏差参数和增益参数、计算全部颜色通道、使用高斯窗函数加权，提升了匹配的稳定性、效率和精度，实现了对传统最小二乘影像匹配方法的改进。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种最小二乘影像匹配方法。
背景技术
同名点匹配是计算机视觉和摄影测量领域的基础且重要问题。匹配精度在高精度应用场合中至关重要，如相机标定、位姿解算、空三测量、图像拼接、三维重建等，直接影响到应用的精度。尽管特征匹配，如SIFT特征匹配，已能处理旋转、尺度、亮度差异及透视变形的图像间的同名点自动匹配，但其匹配精度取决于特征描述子的定位精度，而这个精度有限。
为提高匹配精度，基于灰度平方差的最小二乘影像匹配被广泛应用于数字摄影测量的同名点精确匹配、计算机视觉的稠密运动估计等领域。该算法在初始匹配的同名点基础上，以最小化误差平方和能量函数为优化目标，可达到0.01到0.02像素的匹配精度，其中涉及到线性灰度模型的增益参数与偏差参数。
虽然最小二乘影像匹配能较好地提高匹配精度，但由于其引入的参数过多，可能导致迭代过程不稳定，减慢收敛速度，甚至导致无法收敛或朝错误方向收敛。特别是在参数初值精度较低或匹配窗口的纹理单一的情况下，问题尤其明显。此外，过多的参数也增加了解算的开销。现有的改进方法，如基于对极几何和单应映射双重约束的特征多尺度加权最小二乘匹配算法，以及基于局部形状估计的自适应窗口最小二乘匹配方法，尽管各有优势，但依然存在应用场景的局限性和匹配效果的不足。
发明内容
为此，本发明提供了一种最小二乘影像匹配方法，解决了现有技术中最小二乘影像匹配引入参数多、迭代过程不稳定、解算开销大的问题。
为实现上述目的，本发明提供一种最小二乘影像匹配方法，该方法包括：
获取已识别初始同名点的匹配图像对；
构造消除偏差参数和增益参数的第一误差方程；
根据所述匹配图像对的视角差异设定形变参数的初值；
将所述初值代入所述第一误差方程，得到第二误差方程，根据所述初值对所述匹配图像对中的原始目标图像块采样生成采样目标图像块；
基于第二误差方程构造第一约束方程，所第一述约束方程使用高斯窗函数进行加权处理得到第二约束方程，联立影像窗口中所有像素的全部颜色通道的所述第二约束方程形成约束方程组；
迭代求解所述约束方程组，计算得到目标形变参数；
根据所述目标形变参数调整所述匹配图像对中目标匹配点的图像坐标。
进一步地，构造消除偏差参数和增益参数的第一误差方程包括：
计算目标增益参数；
将所述目标增益参数代入不包含偏差参数的计算中心化像素亮度值差值的算式中；
采用平面仿射变换描述匹配图像对之间的几何变形关系，形成平面仿射变换的表达式，将平面仿射变换的表达式代入已经代入了目标增益参数且不包含偏差参数的计算中心化像素亮度值差值的算式中获得第一误差方程，所述第一误差方程的表达式为：
，
其中，为源图像块中的像素中心化处理之后的像素亮度值与目标图像块中的像素中心化处理之后的像素亮度值的差值，/>为源图像块中坐标为（x，y）的像素的像素亮度值，/>为目标图像块中坐标为的像素的像素亮度值，/>为像素的序数，n为像素总数，/>为源图像块中序数为/>的像素中心化处理之后的像素亮度值，/>为目标图像块中序数为/>的像素中心化处理之后的像素亮度值，a0、a1、a2、b0、b1、b2为从所述目标图像块映射至源图像块的形变参数。
进一步地，计算目标增益参数包括：
在匹配图像对的每个颜色通道分别计算匹配图像对像素的平均亮度值：
，
其中，为源图像块的平均亮度值，/>为源图像块中序数为/>的像素的像素亮度值；
目标图像块的平均亮度值为：
，
其中，为目标图像块的平均亮度值，/>为目标像中序数为/>的像素的像素亮度值；
根据所述平均亮度值将图像中的像素中心化处理：
；
在匹配图像对中引入线性亮度变换模型：
，
其中，为所述增益参数，/>为所述偏差参数；
对于所述匹配图像对，在任意两个在空间位置和内容特征上均有匹配的图像块中，设定所述图像块内全部像素的增益参数均值为目标增益参数：
；
采用平面仿射变换描述匹配图像对之间的几何变形关系，匹配图像对间的几何变形关系表示为：
，
其中x和y表示源图像块中的像素坐标，和/>表示目标图像块中的像素映射到源图像块中之后坐标。
进一步地，根据所述匹配图像对的视角差异设定形变参数的初值包括：
将所述初始同名点的预估匹配位置作为初始图像块的中心，平移参数a2、b2的初值始终设为0，a0、a1、b0、b1的确定方法包括：
匹配图像对之间的视角变化在预设阈值范围内，基于初始同名点，根据每个局部图像范围内不少于两个初始同名点拟合形变参数，获得参数的初值；
或，
匹配图像对之间的视角变化在预设阈值范围外，基于初始同名点，生成对应的水平核线影像，基于核线影像进行最小二乘匹配，匹配后的影像核线平行，形变参数初值设为。
进一步地，基于第二误差方程构造第一约束方程包括：对所述第二误差方程求每个未知量的偏导数，基于所述偏导数进行一阶泰勒展开，得到线性化的第一约束方程：
，
其中，，其中为目标图像块在x轴的方向上的梯度，/>为目标图像块在y轴的方向上的梯度。
进一步地，在得到所述第一约束方程后，采用索贝尔算子对匹配图像对执行边缘检测以获取像素的梯度信息。
进一步地，所述第一约束方程使用高斯窗函数进行加权处理得到第二约束方程包括：对影像窗口内各像素对应的第一约束方程进行高斯窗函数加权处理，其中，所述高斯窗函数的标准差σ与所述影像窗口的窗口半径相等。
进一步地，联立影像窗口中所有像素的全部颜色通道的所述第二约束方程形成约束方程组为：
，
为系数矩阵，/>为对角权重矩阵，/>为误差向量，为待求解的形变参数的校正量，t为颜色通道数。
进一步地，迭代求解所述约束方程组，计算得到目标形变参数包括：
求解所述约束方程组后，得到形变参数的校正量，根据所述校正量校正当前的所述形变参数，校正方法为：
，
其中，表示在第z轮迭代后的参数a0的值，/>表示在第z-1轮迭代后的参数a0的值，/>表示在第z轮迭代后的参数a1的值，/>表示在第z-1轮迭代后的参数a1的值，/>表示在第z轮迭代后的参数a2的值，/>表示在第z-1轮迭代后的参数a2的值，/>表示在第z轮迭代后的参数b0的值，/>表示在第z-1轮迭代后的参数b0的值，/>表示在第z轮迭代后的参数b1的值，/>表示在第z-1轮迭代后的参数b1的值，/>表示在第z轮迭代后的参数b2的值，/>表示在第z-1轮迭代后的参数b2的值，基于校正后的所述形变参数对匹配图像对重采样，从而生成校正形变参数后的约束方程组，使用更新后的所述约束方程组再次求解形变参数的校正量，根据所述校正量再次校正所述形变参数，上述过程迭代执行，直至满足梯度下降法的终止条件，得到目标形变参数。
进一步地，梯度下降法的终止条件为源图像块和目标图像块间的相关系数小于预设阈值，或平移改正量的长度。
与现有技术相比，本发明的有益效果在于，通过对匹配图像对的每个颜色通道分别构造优化后的误差方程，精确地消除了图像间的偏差和增益参数，从而避免了单一灰度值可能带来的信息缺失，提高了匹配的全面性和精度。
尤其，本发明根据视角差异设定形变参数的初值，有效地进行了初步的目标图像块采样。这个过程使得形变参数的校正更为精准，大大提升了匹配图像对重采样的效率。
尤其，本发明引入了高斯窗函数进行加权处理，并联立所有颜色通道的约束方程形成约束方程组，极大地提升了约束方程的稳定性和解的精确度，使得在迭代求解过程中更稳定，更准确地找到最佳匹配。
综上所述，本发明精确地消除了图像间的偏差参数和增益参数，全面考虑了颜色信息，准确地设定了形变参数的初值，巧妙地引入高斯窗函数进行加权处理，有效地控制了参数数量，降低了计算复杂度。这一系列优势为匹配图像对的高效重采样提供了可能，大大提升了匹配的稳定性、效率和精度，更好地满足了现代数字影像处理领域对于高精度、高效率和强鲁棒性的迫切需求。
附图说明
图1为本发明实施例提供的最小二乘影像匹配方法的流程图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，本发明的实施例提供的最小二乘影像匹配方法包括：
步骤S100：获取已识别初始同名点的匹配图像对；
步骤S200：构造消除偏差参数和增益参数的第一误差方程；
步骤S300：根据所述匹配图像对的视角差异设定形变参数的初值；
步骤S400：将所述初值代入所述第一误差方程，得到第二误差方程，根据所述初值对所述匹配图像对中的原始目标图像块采样生成采样目标图像块；
步骤S500：基于第二误差方程构造第一约束方程，所第一述约束方程使用高斯窗函数进行加权处理得到第二约束方程，联立影像窗口中所有像素的全部颜色通道的所述第二约束方程形成约束方程组；
步骤S600：迭代求解所述约束方程组，计算得到目标形变参数；
步骤S700：根据所述目标形变参数调整所述匹配图像对中目标匹配点的图像坐标。
具体而言，在步骤S100中，获取已识别初始同名点的匹配图像对涉及图像配准的预处理阶段。所述匹配图像对包括源图像的源图像块和目标图像的目标图像块。在这一步骤中，通过使用特征检测和匹配算法，例如SIFT（尺度不变特征变换）、SURF（加速鲁棒特征）或ORB（Oriented FAST and Rotated BRIEF）等，从匹配图像对中检测出一组同名点。这些同名点对应的是在源图像和目标图像中具有相似视觉特征的区域。例如，使用SIFT算法，首先会在源图像和目标图像中检测出关键点，并为这些关键点生成描述子。然后，通过描述子匹配，可以在源图像和目标图像中找到一组相对应的关键点，也就是同名点。得到的这组同名点，就构成了后续步骤所需要的源图像块和目标图像块。特征检测和匹配算法的选择并不限于SIFT，可以是FAST，可以是BRIEF，可以是BRISK等，还可以选择其他的算法，或者使用深度学习的方法，如卷积神经网络（CNN）进行特征检测和匹配。
具体而言，完成步骤S100后会得到一组在源图像和目标图像中相互对应的同名点。这些同名点是在两张图像中相同或相似区域的位置信息，它们将作为最小二乘影像匹配方法的初始输入。得到这样的结果是为了在接下来的步骤中进行更精确的图像配准。这个步骤处于整个操作过程的预处理阶段，其目的是确定源图像和目标图像中相同或相似区域的大致对应关系，进而获得源图像块和目标图像块。这是进行后续精确匹配的基础。对于整个发明来说，同名点的位置信息，将直接影响后续步骤中误差方程的构造和形变参数的求解，从而影响最终图像配准的精度。
具体而言，在步骤S200中，构造消除偏差参数和增益参数的第一误差方程涉及的是图像配准的误差函数构造阶段。这个步骤建立一种可以描述匹配图像对中源图像块和目标图像块的每个颜色通道中不同像素亮度差异的误差方程。这个误差方程可以使得对于同一颜色通道的像素值，两个图像间有一种统一的亮度度量，进而可以计算图像间可能存在的亮度差异。
具体而言，在步骤S200中，消除偏差参数和增益参数的过程中首先通过计算获得具体的增益参数：在匹配图像对的每个颜色通道分别计算匹配图像对像素的平均亮度值，其中源图像块的平均亮度值为：
，
其中，为源图像块的平均亮度值，/>为像素的序数，/>为源图像块中序数为/>的像素的像素亮度值，n为像素总数。
目标图像块的平均亮度值为：
，
其中，为目标图像块的平均亮度值，/>为像素的序数，/>为目标像中序数为/>的像素的像素亮度值，n为像素总数。
根据所述平均亮度值将图像中的像素中心化处理，得到中心化像素亮度值：
，
其中，为像素的序数，/>为源图像块中序数为/>的像素中心化处理之后的像素亮度值，/>为源图像块中序数为/>的像素的像素亮度值，/>为源图像块的平均亮度值，/>为目标图像块中序数为/>的像素中心化处理之后的像素亮度值，/>为目标图像块中序数为/>的像素的像素亮度值，/>为目标图像块的平均亮度值。
在匹配图像对中引入线性亮度变换模型：
，
其中，为像素的序数，/>为源图像块中序数为/>的像素的像素亮度值，/>为增益参数，/>为目标图像块中序数为/>的像素的像素亮度值，/>为偏差参数。
代入后可得：
，
进一步的：
，
最终得到匹配图像对之间的像素亮度值中心化以后的关系：
，
基于以上得到匹配图像对中源图像块的中心化像素亮度值与目标图像块的中心化像素亮度值的关系得到增益参数：
，
为线性亮度变换模型的增益参数，/>为像素的序数，/>为源图像块中序数为/>的像素中心化处理之后的像素亮度值，/>为目标图像块中序数为/>的像素中心化处理之后的像素亮度值。
取所述图像块内全部像素的增益参数均值作为最终增益参数：
，
为线性亮度变换模型的增益参数，/>为像素的序数，n为像素总数，/>为源图像块中序数为/>的像素中心化处理之后的像素亮度值，/>为目标图像块中序数为/>的像素中心化处理之后的像素亮度值。
至此得到了精确消去偏差参数和增益参数的初步误差方程：
，
其中，为源图像块中的像素中心化处理之后的像素亮度值与目标图像块中的像素中心化处理之后的像素亮度值的差值，/>为源图像块中坐标为（x，y）的像素的像素亮度值，/>为目标图像块中坐标为/>的像素的像素亮度值，/>为像素的序数，n为像素总数，/>为源图像块中序数为/>的像素中心化处理之后的像素亮度值，/>为目标图像块中序数为/>的像素中心化处理之后的像素亮度值。
具体而言，在匹配图像对中，两张图像可能存在一些复杂的区别，例如不同的曝光系数、光照差异等，这些变化会使得同一物体在两张图像中的像素亮度值发生变化，存在噪声和异常值，如果仅仅是使用几何变换，那么这些噪声和异常值可能会对结果产生较大的影响。通过线性亮度变换模型，可以根据亮度的线性变换关系，调整图片的亮度和对比度，一定程度上描述和模拟这些复杂变化带来的影响，进而减小这些噪声和异常值的影响，从而提高结果的稳定性。通过精确的消去亮度线性变换模型带入误差方程后的偏差参数和增益参数，在保留了去噪、提高稳定性的同时有效地控制了参数数量，降低了计算复杂度，提升了迭代稳定性，是本发明对传统最小二乘影像匹配最重要的改进之一。
具体而言，在步骤S200中，在获得增益参数之后，构造消除偏差参数和增益参数的第一误差方程，包括：
采用平面仿射变换描述匹配图像对间的几何变形关系：
，
其中x和y表示源图像块中的像素坐标，和/>表示目标图像块中的像素映射到源图像块中之后坐标，a0、a1、a2、b0、b1、b2为形变参数。
将仿射变换表达式代入初步误差方程后就获得了第一误差方程：
，
其中，为源图像块中的像素中心化处理之后的像素亮度值与目标图像块中的像素中心化处理之后的像素亮度值的差值，/>为源图像块中坐标为（x，y）的像素的像素亮度值，/>为目标图像块中坐标为的像素的像素亮度值，/>为像素的序数，n为像素总数，/>为源图像块中序数为/>的像素中心化处理之后的像素亮度值，/>为目标图像块中序数为/>的像素中心化处理之后的像素亮度值，a0、a1、a2、b0、b1、b2为从所述目标图像块映射至源图像块的形变参数。
具体而言，在步骤S300中，根据所述匹配图像对的视角差异设定形变参数的初值的操作是图像配准中参数初始化的一部分。在进行图像配准时，为了能够进行下一步的优化算法，需要对图像的形变参数设定一个初值，这个初值通常基于源图像块和目标图像块之间的视角差异来确定。例如，匹配图像对是从两个不同的角度拍摄的同一场景，源图像块和目标图像块之间存在旋转、缩放、透视的形变。
具体而言，在步骤S300中，根据所述匹配图像对的视角差异设定形变参数的初值包括：
将所述初始同名点的预估匹配位置作为初始图像块的中心，平移参数a2、b2的初值始终设为0，a0、a1、b0、b1的确定方法有两种：
匹配图像对之间的视角变化在预设阈值范围内，基于初始同名点，根据每个局部图像范围内不少于两个初始同名点拟合形变参数，获得参数的初值；
匹配图像对之间的视角变化在预设阈值范围外，基于初始同名点，生成对应的水平核线影像，基于核线影像进行最小二乘匹配，匹配后的影像核线平行，形变参数初值设为；
具体而言，完成设定后，这个初值将用于后续的优化步骤，提供了一个相对接近最优解的起点，以帮助优化算法更快地收敛，对于图像配准的速度与结果有重要的影响。
具体而言，在步骤S400中，涉及误差计算和图像采样两个环节。将初值代入步骤S200得到的第一误差方程后，得到第二误差方程，这个第二误差方程是一个更具体的误差方程；基于初值使用双线性插值对原始目标图像块采样得到初步匹配的目标图像块。
具体而言，第二误差方程与采样后得到的目标图像块将被用来构造第一约束方程。
具体而言，在步骤S500中，主要涉及到求偏导数一阶泰勒展开，高斯窗函数加权，以及联立方程组。
具体而言，在步骤S500中，基于第二误差方程构造第一约束方程包括：对所述第二误差方程求每个未知量的偏导数，基于所述偏导数进行一阶泰勒展开，得到线性化的第一约束方程：
，
其中，均源自第二误差方程，，其中/>为目标图像块在x方向上的梯度，/>为目标图像块在y方向上的梯度。
具体而言，使用泰勒展开法对误差方程进行一阶线性化，以简化问题的复杂度，并采用偏导数的计算来评估各个未知量（即形变参数）对于误差的影响。这个过程还涉及到从非线性的误差方程到线性化的约束方程的转化。
具体而言，得到线性化的第一约束方程后，这些方程描述了目标形变参数与误差之间的关系。这样的结果是为了简化问题的求解，也即将复杂的非线性优化问题转化为线性问题，进一步提升算法的求解效率。这一步骤在整个操作过程中处于中间阶段，是从对问题的抽象描述（误差方程）到实际求解（第一约束方程）的关键转化环节。对于整个发明来说，这一步骤非常重要，因为它实现了问题的简化，使得后续步骤能够更快、更准确地得到优化后的目标形变参数。
具体而言，在步骤S500中，在得到线性化的第一约束方程后，采用索贝尔算子对匹配图像对执行边缘检测以获取像素的梯度信息。
具体而言，除了线性化的第一约束方程的生成，还涉及到使用索贝尔算子进行边缘检测的技术。索贝尔算子是一种用于图像处理中的空间梯度测量工具，常用于高通滤波，以检测图像的边缘。在这个步骤中，索贝尔算子被用于获取匹配图像对中每个像素的梯度信息，以便在后续步骤中进行精确的优化。
具体而言，我们不仅得到了线性化的第一约束方程，而且还获得了匹配图像对的像素梯度信息。这样的结果有助于后续的优化过程，因为像素的梯度信息可以指示形变参数的优化方向。这一步骤在整个操作过程中处于中后阶段，主要是为了从匹配图像对中提取更多的信息，以增强后续优化的准确性。对于整个发明来说，这一步骤提供了关于匹配图像对特性的重要信息，这些信息可以帮助改进形变参数的优化过程，从而提高匹配精度。
具体而言，在步骤S500中，所述第一约束方程使用高斯窗函数进行加权处理得到第二约束方程包括：对影像窗口内各像素对应的第一约束方程进行高斯窗函数加权处理，其中，高斯窗函数的标准差σ与窗口半径相等。
具体而言，影像窗口在图像处理中是一个常用的概念，它指的是在处理图像时，选取的一块小区域或子图像，源图像块和目标图像块就是在源图像和目标图像上分别选取的影像窗口。高斯窗函数，是以高斯分布为基础的函数，用于对数据进行加权处理。在这个步骤中，高斯窗函数主要用于对影像窗口内各像素对应的第一约束方程进行加权处理，而高斯窗函数的标准差σ与窗口半径相等，意味着窗口内离中心更近的像素在加权处理中的权重更大。
具体而言，完加权处理后，我们会得到经过高斯窗函数加权处理的约束方程，即第二约束方程。这个加权处理可以使第二约束方程更加关注窗口中心附近的像素，从而在一定程度上减小远离窗口中心的像素引起的误差，提高形变参数优化的精度。此步骤在整个操作流程中，继续处于优化过程的准备阶段。对于整个发明来说，这个步骤可以帮助优化过程更加关注主要的特征区域，减少了边缘像素可能带来的噪声干扰，从而提高了匹配的准确性。
具体而言，在步骤S500中，联立影像窗口中所有像素的全部颜色通道的所述第二约束方程形成约束方程组为：
，
为系数矩阵，/>为对角权重矩阵，/>为误差向量，为待求解的形变参数的校正量，t为颜色通道数。
具体而言，约束方程组涉及到了线性代数和最优化理论。联立的约束方程组是通过将影像窗口中所有像素的全部颜色通道的第二约束方程联立而成的，该过程将问题转化为求解线性方程组，为接下来的形变参数求解做好了准备。
具体而言，得到已经建立好的约束方程组后，这个约束方程组已经准备好用于接下来的形变参数求解。获得这样的约束方程组的目的是为了能够通过求解这个方程组，得到待求解的变换参数向量X，从而得到形变参数。在整个操作过程中，这一步骤处于优化的准备阶段。对于整个发明来说，这个步骤将问题整理为标准的最优化问题，使得我们可以使用成熟的数学工具进行处理，大大提高了工作的效率，也为得到精确的校正变量提供了可能。
具体而言，完成步骤S500后，大致会得到一个针对目标形变参数的约束方程组。得到这样的结果主要是为了通过求解该约束方程组，计算得到最佳的目标形变参数，使得匹配图像对的亮度差最小。这一步骤在整个操作过程中是一个关键的转折点，标志着从描述和理解问题（即构建误差模型和设定初值）转向求解问题（即求解约束方程组）。对于整个发明来说，这一步骤的重要性在于，它是完成图像匹配的关键一步，通过它，我们可以得到优化后的目标形变参数，这将直接影响到后续步骤中目标图像块的调整结果。
具体而言，步骤S600涉及到最优化理论中的梯度下降法。这是一种用来求解最小值问题的迭代算法。在每一次迭代中，都会沿着负梯度方向，即当前位置的下降最快的方向，更新参数。通过反复迭代，可以逐渐逼近函数的最小值点，从而得到满足约束方程的解。
具体而言，迭代求解所述约束方程组，计算得到目标形变参数包括：
求解所述约束方程组后，得到形变参数的校正量，根据所述校正量校正当前的所述形变参数，校正方法为：
，
其中，表示在第z轮迭代后的参数a0的值，/>表示在第z-1轮迭代后的参数a0的值，/>表示在第z轮迭代后的参数a1的值，/>表示在第z-1轮迭代后的参数a1的值，/>表示在第z轮迭代后的参数a2的值，/>表示在第z-1轮迭代后的参数a2的值，/>表示在第z轮迭代后的参数b0的值，/>表示在第z-1轮迭代后的参数b0的值，/>表示在第z轮迭代后的参数b1的值，/>表示在第z-1轮迭代后的参数b1的值，/>表示在第z轮迭代后的参数b2的值，/>表示在第z-1轮迭代后的参数b2的值，基于校正后的所述形变参数对匹配图像对重采样，从而生成校正形变参数后的约束方程组，使用更新后的所述约束方程组再次求解形变参数的校正量，根据所述校正量再次校正所述形变参数，上述过程迭代执行，直至满足梯度下降法的终止条件，得到目标形变参数。
具体而言，求解约束方程组，得到形变参数的初值，然后根据这个初值校正当前的形变参数。然后，基于校正后的形变参数对匹配图像对进行重采样，生成校正形变参数后的约束方程组，使用更新后的约束方程组再次求解形变参数。这个过程会持续迭代，直到满足梯度下降法的终止条件，比如达到设定的最大迭代次数，或者误差变化小于设定的阈值，最后得到目标形变参数。
具体而言，得到目标形变参数为形变参数的最优解，这些参数能最大程度地减小匹配图像对之间的亮度差，从而改善了图像匹配的效果。这样的结果主要是为了使源图像块和目标图像块的对应区域尽可能相似，从而实现精确的图像配准。此步骤在整个操作过程中处于求解约束方程组和生成校正形变参数的阶段，是实现图像配准的关键步骤。对于整个发明来说，这个步骤的实现确保了图像配准的精度和效率，有助于在图像处理、计算机视觉等领域实现更多的应用。
具体而言，梯度下降法的终止条件为源图像块和目标图像块间的相关系数小于预设阈值，或平移改正量的长度。
具体而言，梯度下降法的终止条件有两个。首先，如果源图像块和目标图像块之间的相关系数小于预设阈值，那么可以认为两个图像已经足够配准，不需要进一步优化，阈值的设定要根据实际需求和应用环境来确定，通常，如果要求匹配精度高，可以设置一个比较接近1的阈值，比如0.95或者0.99。如果对匹配精度要求不那么严格，或者对计算效率要求更高，可以设置一个稍微小一点的阈值，比如0.9或者0.8。其次，如果形变中的平移参数的改正量的长度小于0.01，那么可以认为平移参数已经足够精确，没有必要继续优化。这两个条件任何一个满足都可以停止迭代，即停止梯度下降的过程。
具体而言，终止梯度下降后，将得到一组目标形变参数，这组参数可以使得源图像块和目标图像块之间的相关系数尽可能地大，即两者在像素亮度上尽可能地接近。这样的结果为了达到精确的图像配准的目的，以此来解决如影像拼接、目标追踪等问题。这个步骤在整个操作过程中，主要是利用优化算法求解形变参数的阶段。对于整个发明，这个步骤的实现提高了图像配准的精度和稳定性，能够在更大程度上保证配准结果的质量，对于图像处理、计算机视觉等应用场景有着重要的意义。
具体而言，步骤S600的最终目的是为了找到目标形变参数，以使得两图像块的全部对应像素的全部颜色通道的像素亮度值差平方之和达到最小。这一步骤是在整个操作过程中的优化阶段，对整个发明来说，是图像配准的核心任务。
具体而言，在步骤S700中，需要利用之前步骤求得的目标形变参数，调整匹配图像对中目标匹配点的图像坐标。这个步骤的主要技术特征在于利用已经获得的最优化参数对目标图像块进行相应的空间变换，以使其与源图像块尽可能地配准。
具体而言，完成步骤S700后，将得到新的目标匹配点的图像坐标，这些新的坐标已经过目标形变参数的调整，从而使得目标图像块与源图像块之间的差异最小。这样的结果是为了确保图像配准的精度，使得源图像块和目标图像块在空间位置上能够更好地对齐。这一步骤在整个操作过程中，主要是最后的图像对齐和微调阶段。对于整个发明，这个步骤的完成进一步确保了图像配准的精度和效果，对于相关图像处理、计算机视觉应用有着重要的推动作用。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种最小二乘影像匹配方法，其特征在于，包括：
获取已识别初始同名点的匹配图像对；
构造消除偏差参数和增益参数的第一误差方程；
根据所述匹配图像对的视角差异设定形变参数的初值；
将所述初值代入所述第一误差方程，得到第二误差方程，根据所述初值对所述匹配图像对中的原始目标图像块采样生成采样目标图像块；
基于第二误差方程构造第一约束方程，所第一述约束方程使用高斯窗函数进行加权处理得到第二约束方程，联立影像窗口中所有像素的全部颜色通道的所述第二约束方程形成约束方程组；
迭代求解所述约束方程组，计算得到目标形变参数；
根据所述目标形变参数调整所述匹配图像对中目标匹配点的图像坐标。
2.根据权利要求1所述的最小二乘影像匹配方法，其特征在于，构造消除偏差参数和增益参数的第一误差方程包括：
计算目标增益参数；
将所述目标增益参数代入不包含偏差参数的计算中心化像素亮度值差值的算式中；
采用平面仿射变换描述匹配图像对之间的几何变形关系，形成平面仿射变换的表达式，将平面仿射变换的表达式代入已经代入了目标增益参数且不包含偏差参数的计算中心化像素亮度值差值的算式中获得第一误差方程，所述第一误差方程的表达式为：
，
其中，为源图像块中的像素中心化处理之后的像素亮度值与目标图像块中的像素中心化处理之后的像素亮度值的差值，/>为源图像块中坐标为（x，y）的像素的像素亮度值，/>为目标图像块中坐标为的像素的像素亮度值，/>为像素的序数，n为像素总数，/>为源图像块中序数为/>的像素中心化处理之后的像素亮度值，/>为目标图像块中序数为的像素中心化处理之后的像素亮度值，a0、a1、a2、b0、b1、b2为从所述目标图像块映射至源图像块的形变参数。
3.根据权利要求2所述的最小二乘影像匹配方法，其特征在于，计算目标增益参数包括：
在匹配图像对的每个颜色通道分别计算匹配图像对像素的平均亮度值：
，
其中，为源图像块的平均亮度值，/>为源图像块中序数为/>的像素的像素亮度值；
目标图像块的平均亮度值为：
，
其中，为目标图像块的平均亮度值，/>为目标像中序数为/>的像素的像素亮度值；
根据所述平均亮度值将图像中的像素中心化处理：
；
在匹配图像对中引入线性亮度变换模型：
，
其中，为所述增益参数，/>为所述偏差参数；
对于所述匹配图像对，在任意两个在空间位置和内容特征上均有匹配的图像块中，设定所述图像块内全部像素的增益参数均值为目标增益参数：
；
采用平面仿射变换描述匹配图像对之间的几何变形关系，匹配图像对间的几何变形关系表示为：
，
其中x和y表示源图像块中的像素坐标，和/>表示目标图像块中的像素映射到源图像块中之后坐标。
4.根据权利要求3所述的最小二乘影像匹配方法，其特征在于，根据所述匹配图像对的视角差异设定形变参数的初值包括：
将所述初始同名点的预估匹配位置作为初始图像块的中心，平移参数a2、b2的初值始终设为0，a0、a1、b0、b1的确定方法包括：
匹配图像对之间的视角变化在预设阈值范围内，基于初始同名点，根据每个局部图像范围内不少于两个初始同名点拟合形变参数，获得参数的初值；
或，
匹配图像对之间的视角变化在预设阈值范围外，基于初始同名点，生成对应的水平核线影像，基于核线影像进行最小二乘匹配，匹配后的影像核线平行，形变参数初值设为。
5.根据权利要求4所述的最小二乘影像匹配方法，其特征在于，基于第二误差方程构造第一约束方程包括：对所述第二误差方程求每个未知量的偏导数，基于所述偏导数进行一阶泰勒展开，得到线性化的第一约束方程：
，
其中，
，其中/>为目标图像块在x轴的方向上的梯度，/>为目标图像块在y轴的方向上的梯度。
6.根据权利要求5所述的最小二乘影像匹配方法，其特征在于，在得到所述第一约束方程后，采用索贝尔算子对匹配图像对执行边缘检测以获取像素的梯度信息。
7.根据权利要求6所述的最小二乘影像匹配方法，其特征在于，所述第一约束方程使用高斯窗函数进行加权处理得到第二约束方程包括：对影像窗口内各像素对应的第一约束方程进行高斯窗函数加权处理，其中，所述高斯窗函数的标准差σ与所述影像窗口的窗口半径相等。
8.根据权利要求7所述的最小二乘影像匹配方法，其特征在于，联立影像窗口中所有像素的全部颜色通道的所述第二约束方程形成约束方程组为：
，
为系数矩阵，/>为对角权重矩阵，/>为误差向量，
，
为待求解的形变参数的校正量，t为颜色通道数。
9.根据权利要求8所述的最小二乘影像匹配方法，其特征在于，迭代求解所述约束方程组，计算得到目标形变参数包括：
求解所述约束方程组后，得到形变参数的校正量，根据所述校正量校正当前的所述形变参数，校正方法为：
，
其中，表示在第z轮迭代后的参数a0的值，/>表示在第z-1轮迭代后的参数a0的值，/>表示在第z轮迭代后的参数a1的值，/>表示在第z-1轮迭代后的参数a1的值，/>表示在第z轮迭代后的参数a2的值，/>表示在第z-1轮迭代后的参数a2的值，/>表示在第z轮迭代后的参数b0的值，/>表示在第z-1轮迭代后的参数b0的值，/>表示在第z轮迭代后的参数b1的值，/>表示在第z-1轮迭代后的参数b1的值，/>表示在第z轮迭代后的参数b2的值，/>表示在第z-1轮迭代后的参数b2的值，基于校正后的所述形变参数对匹配图像对重采样，从而生成校正形变参数后的约束方程组，使用更新后的所述约束方程组再次求解形变参数的校正量，根据所述校正量再次校正所述形变参数，上述过程迭代执行，直至满足梯度下降法的终止条件，得到目标形变参数。
10.根据权利要求9所述的最小二乘影像匹配方法，其特征在于，梯度下降法的终止条件为源图像块和目标图像块间的相关系数小于预设阈值，或平移改正量的长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843992.3A CN116597184B (zh) | 2023-07-11 | 2023-07-11 | 最小二乘影像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843992.3A CN116597184B (zh) | 2023-07-11 | 2023-07-11 | 最小二乘影像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116597184A true CN116597184A (zh) | 2023-08-15 |
| CN116597184B CN116597184B (zh) | 2023-09-22 |
Family
ID=87611979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310843992.3A Active CN116597184B (zh) | 2023-07-11 | 2023-07-11 | 最小二乘影像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597184B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107346550A (zh) * | 2017-07-05 | 2017-11-14 | 滁州学院 | 一种针对具有颜色信息的三维点云数据快速配准方法 |
| CN108052986A (zh) * | 2017-12-29 | 2018-05-18 | 黑龙江龙飞航空摄影有限公司 | 基于多通道的最小二乘匹配方法 |
| WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技（深圳）有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
| CN112233190A (zh) * | 2020-05-19 | 2021-01-15 | 同济大学 | 一种基于区域网平差的卫星遥感影像色彩均衡方法 |
| CN112419379A (zh) * | 2020-11-30 | 2021-02-26 | 北京农业智能装备技术研究中心 | 多光谱相机的多通道图像匹配方法及装置 |
| CN115719320A (zh) * | 2023-01-09 | 2023-02-28 | 中国人民解放军63921部队 | 基于遥感影像的倾斜校正稠密匹配方法 |
-
2023
- 2023-07-11 CN CN202310843992.3A patent/CN116597184B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107346550A (zh) * | 2017-07-05 | 2017-11-14 | 滁州学院 | 一种针对具有颜色信息的三维点云数据快速配准方法 |
| CN108052986A (zh) * | 2017-12-29 | 2018-05-18 | 黑龙江龙飞航空摄影有限公司 | 基于多通道的最小二乘匹配方法 |
| WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技（深圳）有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
| CN112233190A (zh) * | 2020-05-19 | 2021-01-15 | 同济大学 | 一种基于区域网平差的卫星遥感影像色彩均衡方法 |
| CN112419379A (zh) * | 2020-11-30 | 2021-02-26 | 北京农业智能装备技术研究中心 | 多光谱相机的多通道图像匹配方法及装置 |
| CN115719320A (zh) * | 2023-01-09 | 2023-02-28 | 中国人民解放军63921部队 | 基于遥感影像的倾斜校正稠密匹配方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张延波;杨艳玲;杨楠;: "基于多通道影像的最小二乘匹配算法", 测绘与空间地理信息, no. 05 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116597184B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106558080B (zh) | 一种单目相机外参在线标定方法 | |
| CN109598762B (zh) | 一种高精度双目相机标定方法 | |
| CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| JP5285619B2 (ja) | カメラシステムのキャリブレーション | |
| CN113920205B (zh) | 一种非同轴相机的标定方法 | |
| CN111523547B (zh) | 一种3d语义分割的方法及终端 | |
| CN112815843B (zh) | 一种3d打印过程中工件表面打印偏差的在线监测方法 | |
| CN111062966B (zh) | 基于l-m算法和多项式插值对相机跟踪进行优化的方法 | |
| CN108269289A (zh) | 一种相机参数标定的两步优化方法 | |
| CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN113920206A (zh) | 透视移轴相机的标定方法 | |
| KR20100091383A (ko) | 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법 | |
| CN110986998A (zh) | 一种基于有理函数模型的卫星视频相机在轨几何定标方法 | |
| CN113129384A (zh) | 基于一维编码靶标的双目视觉系统灵活标定方法 | |
| CN114071103A (zh) | 一种用于投影仪的自适应左右梯形校正方法 | |
| CN113034591B (zh) | 一种面向齿形结构装配的齿顶圆提取算法 | |
| CN114612412A (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
| CN116597184B (zh) | 最小二乘影像匹配方法 | |
| CN110458951B (zh) | 一种电网杆塔的建模数据获取方法及相关装置 | |
| JP7121936B2 (ja) | カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム | |
| CN113587904A (zh) | 一种融合机器视觉和激光参照点信息的目标位姿测量方法 | |
| CN110619664B (zh) | 基于激光图案辅助的摄像机距离姿态计算方法及服务器 | |
| CN114966238B (zh) | 一种天线相位中心的自动检测与对准方法 | |
| CN112767481B (zh) | 一种基于视觉边缘特征的高精度定位及建图方法 | |
| CN115131208A (zh) | 一种结构光3d扫描测量方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |