CN116883248A - 一种基于特征点匹配的红外全景图像拼接方法 - Google Patents
一种基于特征点匹配的红外全景图像拼接方法 Download PDFInfo
- Publication number
- CN116883248A CN116883248A CN202311146359.5A CN202311146359A CN116883248A CN 116883248 A CN116883248 A CN 116883248A CN 202311146359 A CN202311146359 A CN 202311146359A CN 116883248 A CN116883248 A CN 116883248A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- frame
- matching
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000009466 transformation Effects 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012805 post-processing Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000011033 desalting Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000001931 thermography Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于特征点匹配的红外全景图像拼接方法，首先对图像进行预处理，以抑制噪声和增强细节，其次对预处理后的图像进行特征点提取，然后对相邻帧的特征点进行匹配，接着根据提取到的特征点求解相邻帧图像的变换矩阵，之后利用变换矩阵将所有图像映射到同一个坐标系，然后计算相邻帧图像之间的拼接缝，接着对所有图像进行融合，以淡化拼接缝，最后，对横条状长方形拼接结果进行后处理，得到圆环形的首尾相接的显示结果。使用ORB特征点与GMS错误匹配剔除算法相结合的方法，提高了特征点匹配对的数量和正确率，从而提高配准的精度和鲁棒性。
Description
技术领域
本发明涉及红外图像处理技术领域，尤其涉及一种基于特征点匹配的红外全景图像拼接方法。
背景技术
红外热成像相机的视场角通常较小，通过水平旋转相机，并运用图像拼接技术对相机旋转过程中采集的多帧图像进行合成，可以得到一幅360度全景图像，大幅度扩大红外热成像相机的视野，有效解决红外热成像相机视野狭小的问题，从而在安防监控领域有着巨大的应用前景。
图像拼接主要包括图像配准和图像融合两个流程，基于模板匹配方法是基于空间域的图像配准方法，要求有两幅图像的重叠部分，选择参考图像的一块矩形区域作为配准时的模板，并利用这块模板在待配准图像中平移，去搜索相似的区域，由于这种基于灰度的配准算法，利用的是图像之间的灰度信息来进行的匹配，不需要对图像进行特征检测与提取一系列操作，所以使用起来效率很高。该算法对图像的灰度信息非常依赖，要求图像不能含有较大噪声、旋转、尺度缩放等问题，所以使用范围很窄；红外图像细节纹理较少、信噪较低的特点，给特征点的提取和匹配带来了极大的挑战，如何从红外图像上提取到更多的特征点、提高特征点匹配的正确率也是亟待解决的问题。
最佳缝合线融合算法是一种基于切割的算法，通过搜索一条使得两幅图像的能量强度值最小切割线，切割线左侧取左图的像素值，切割线右侧取右图的像素值，能量函数由叠区域中对应像素点颜色和结构的差异两部分构成，依据最佳缝合线融合的图像没有重影现象，但是最佳缝合线融合算法通常需要结合其他融合算法来进一步解决不同图像间的曝光差异,如泊松融合或多分辨率融合。
基于模板匹配和变换域的配准方法对待配准图像的尺度差异、旋转角度、重叠区域等有较高的要求，在通用性上有所欠缺。基于特征点匹配的方法对图像尺度变化、旋转、重叠面积等因素适应性更强，但是红外图像细节纹理较少、信噪比较低等特点，也给特征点提取、匹配带来了极大的挑战，使得配准精度和鲁棒性不高。综上，现有技术难以同时兼顾通用性、精度和鲁棒性。
发明内容
本发明提出了一种基于特征点匹配的红外全景图像拼接方法，用于提高图像拼接过程中的配准精度和鲁棒性，从而兼顾方法的通用性，精度和鲁棒性。
一种基于特征点匹配的红外全景图像拼接方法，将多帧图像拼接为全景图像，包括以下步骤：
步骤S1：对图像进行预处理；
步骤S2：对预处理后的图像进行特征点提取；
步骤S3：对相邻帧的特征点进行匹配；
步骤S4：根据提取到的特征点求解相邻帧图像的变换矩阵；
步骤S5：利用变换矩阵将所有图像映射到同一个坐标系；
步骤S6：计算相邻帧图像之间的拼接缝；
步骤S7：对所有图像进行融合，淡化拼接缝；
步骤S8：对横条状长方形拼接结果进行后处理，得到圆环形的首尾相接的拼接结果。
进一步，所述步骤S1图像预处理包括对图像进行去噪、细节增强和对比度增强。
进一步，所述步骤S2特征点包括图像角点、极亮点和极暗点，提取方法包括ORB算法，特征点提取的结果包含特征点的坐标和描述子，单个特征点表示为，其中，x和y分别表示特征点的横坐标和纵坐标，d表示描述子；第i帧图像中所有特征点的集合/>表示为:/>;/>表示第i帧图像中的特征点；所有图像的特征点集合表示为:/>，/>分别表示第1到N帧图像特征点集合。
进一步，所述步骤S3特征点匹配包括以下子步骤：
步骤S31：根据特征点描述子d特征向量之间的欧氏距离，使用暴力匹配算法，得到相邻两帧图像特征点之间的匹配关系/>，其中，/>表示表示第0帧到第N帧图像相邻帧之间的匹配关系 ，匹配关系通式/>，/>和/>分别表示相邻图像中左图和右图中一对匹配上的特征点；
步骤S32：使用GMS算法剔除错误的匹配关系，得到正确率更高的匹配关系，其中，所有相邻图像特征点集合最终的两两匹配关系为/>，/>表示剔除错误关系后的第i帧和第i+1帧图像特征点更高的匹配关系，/>为/>经算法剔除后的剩余匹配关系，所有相邻图像特征点集合最终的两两匹配关系为，/>表示第0帧到第N帧图像相邻帧之间剔除错误的匹配关系后得到的更高的匹配关系。
进一步，所述步骤S4变换矩阵的求解包括：获得相邻帧图像特征点之间的匹配关系后，使用最小二乘算法求解出相邻两帧图像的变换矩阵/>，所有相邻帧图像之间的变换矩阵的集合为/>，/>表示第i帧图像和第i+1帧图像的变换矩阵。
进一步，所述步骤S5图像投影具体包括：选取第0帧图像为参考坐标系，根据所有相邻帧图像之间的变换矩阵，将其他所有图像都投影到参考坐标系下，得到每一帧图像在参考坐标系下的坐标。
进一步，所述步骤S6拼接缝的计算包括以下子步骤：
步骤S61：将所有图像都投影到同一参考坐标系后，计算相邻两帧图像的重叠区域：
；
；
；
；
其中，为第i帧图像的左上角顶点坐标，/>为第i帧图像的右下角坐标，/>为第i+1帧图像的左上角顶点坐标，/>为第i+1帧图像的右下角坐标，/>表示重叠区域，/>、/>、/>、/>分别表示重叠区域左上角x坐标、左上角y坐标、右下角x坐标、右下角y坐标，w和h分别是图像的宽和高，下标表示图像帧序号；
步骤S62：得到相邻帧图像的重叠区域后，利用基于图的最小割算法找到相邻两帧图像之间的拼接缝，拼接缝左边像素点的值使用左图对应位置像素点的值，拼接缝右边像素点的值使用右图对应位置像素点的值。
进一步，所述步骤S7图像融合具体包括：根据预处理后的所有图像的集合、同一参考系下所有图像的左上角顶点坐标/>和所有图像帧的拼接缝掩码/>，/>表示预处理后的图像，/>表示同一参考系下图像的左上角顶点坐标，/>表示图像帧的拼接缝掩码；通过多频段融合算法对所有帧图像进行融合，得到拼接好的横条状长方形全景图像。
进一步，所述步骤S8后处理将横条状长方形全景图像使用圆环形首尾衔接的方式显示拼接结果，横条状长方形图像到圆环形图像的转换包括两个转换过程：
横条状长方形图像到中间过程的转换：设横条状长方形图像的坐标系为，圆环形图像的坐标系为/>，中间过程坐标系为/>，横条状长方形图像到中间过程的转换公式为：
；
其中，为横条状长方形图像坐标系的任意一点，/>为中间过程极坐标系中任意一点，（d，/>）为圆环形图像坐标系中/>所对应的极坐标系中的坐标点，横条状长方形图像的宽为w，高为h，圆环外径为R，内径为r，极坐标中/>，/>；
中间过程到圆环形图像的转换：转换公式为：
；
为圆环形图像的坐标系中与横条状长方形图像坐标系/>所对应的点坐标。
本发明的有益效果：本发明提出了一种基于特征点匹配的红外全景图像拼接方法，首先对图像进行预处理，以抑制噪声和增强细节，其次对预处理后的图像进行特征点提取，然后对相邻帧的特征点进行匹配，接着根据提取到的特征点求解相邻帧图像的变换矩阵，之后利用变换矩阵将所有图像映射到同一个坐标系，然后计算相邻帧图像之间的拼接缝，接着对所有图像进行融合，以淡化拼接缝，最后，对横条形拼接结果进行后处理，得到圆环形的首尾相接的显示结果。针对红外图像噪声强、细节纹理不突出的问题，提出去噪和增强相结合的预处理方法，抑制图像噪声和突出细节纹理，有利于特征点的提取和匹配；使用ORB特征点与GMS错误匹配剔除算法相结合的方法，可以提高特征点匹配对的数量和正确率，从而提高配准的精度和鲁棒性；将长条形图像转换为圆环形图像的方法，从而按圆环形的首尾衔接的方式显示全景拼接结果，有效解决横条状长方形拼接结果首尾不连续的问题。
附图说明
图1是本发明一种基于特征点匹配的红外全景图像拼接方法流程架构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
本发明提出了一种基于特征点匹配的红外全景图像拼接方法，将多帧图像拼接为全景图像，包括以下步骤：
步骤S1：对图像进行预处理；
步骤S2：对预处理后的图像进行特征点提取；
步骤S3：对相邻帧的特征点进行匹配；
步骤S4：根据提取到的特征点求解相邻帧图像的变换矩阵；
步骤S5：利用变换矩阵将所有图像映射到同一个坐标系；
步骤S6：计算相邻帧图像之间的拼接缝；
步骤S7：对所有图像进行融合，淡化拼接缝；
步骤S8：对横条状长方形拼接结果进行后处理，得到圆环形的首尾相接的拼接结果。
步骤S1图像预处理包括对图像进行去噪、细节增强和对比度增强。
步骤S2特征点包括图像角点、极亮点和极暗点，提取方法包括ORB算法，特征点提取的结果包含特征点的坐标和描述子，单个特征点表示为，其中，x和y分别表示特征点的横坐标和纵坐标，d表示描述子；第i帧图像中所有特征点的集合/>表示为:;/>表示第i帧图像中的特征点；所有图像的特征点集合表示为:/>，/>分别表示第1到N帧图像特征点集合。
步骤S3特征点匹配包括以下子步骤：
步骤S31：根据特征点描述子d特征向量之间的欧氏距离，使用暴力匹配算法，得到相邻两帧图像特征点之间的匹配关系/>，其中，/>表示表示第0帧到第N帧图像相邻帧之间的匹配关系 ，匹配关系通式/>，/>和/>分别表示相邻图像中左图和右图中一对匹配上的特征点；
步骤S32：使用GMS算法剔除错误的匹配关系，得到正确率更高的匹配关系，其中，所有相邻图像特征点集合最终的两两匹配关系为/>，/>表示剔除错误关系后的第i帧和第i+1帧图像特征点更高的匹配关系，/>为/>经算法剔除后的剩余匹配关系，所有相邻图像特征点集合最终的两两匹配关系为，/>表示第0帧到第N帧图像相邻帧之间剔除错误的匹配关系后得到的更高的匹配关系。
进一步，所述步骤S4变换矩阵的求解包括：获得相邻帧图像特征点之间的匹配关系后，使用最小二乘算法求解出相邻两帧图像的变换矩阵/>，所有相邻帧图像之间的变换矩阵的集合为/>，/>表示第i帧图像和第i+1帧图像的变换矩阵。
步骤S5图像投影具体包括：选取第0帧图像为参考坐标系，根据所有相邻帧图像之间的变换矩阵，将其他所有图像都投影到参考坐标系下，得到每一帧图像在参考坐标系下的坐标。
步骤S6拼接缝的计算包括以下子步骤：
步骤S61：将所有图像都投影到同一参考坐标系后，计算相邻两帧图像的重叠区域：
；
；
；
；
其中，为第i帧图像的左上角顶点坐标，/>为第i帧图像的右下角坐标，/>为第i+1帧图像的左上角顶点坐标，/>为第i+1帧图像的右下角坐标，/>表示重叠区域，/>、/>、/>、/>分别表示重叠区域左上角x坐标、左上角y坐标、右下角x坐标、右下角y坐标，w和h分别是图像的宽和高，下标表示图像帧序号；
步骤S62：得到相邻帧图像的重叠区域后，利用基于图的最小割算法找到相邻两帧图像之间的拼接缝，拼接缝左边像素点的值使用左图对应位置像素点的值，拼接缝右边像素点的值使用右图对应位置像素点的值。
步骤S7图像融合具体包括：根据预处理后的所有图像的集合、同一参考系下所有图像的左上角顶点坐标/>和所有图像帧的拼接缝掩码，通过多频段融合算法对所有帧图像进行融合，得到拼接好的长条形全景图像。
步骤S8后处理将长条形全景图像使用圆环形首尾衔接的方式显示拼接结果，长条形图像到圆环形图像的转换包括两个转换过程：
横条状长方形图像到中间过程的转换：设横条状长方形图像的坐标系为，圆环形图像的坐标系为/>，中间过程坐标系为/>，长方形图像到中间过程的转换公式为：
；
其中，为横条状长方形图像坐标系的任意一点，/>为中间过程坐标系中任意一点，（d，/>）为圆环形图像坐标系中/>所对应的极坐标系中的坐标点，横条图像的宽为w，高为h，圆环外径为R，内径为r，/>，/>；
中间过程到圆环形图像的转换：转换公式为：
；
为圆环形图像的坐标系中与横条状长方形图像坐标系/>所对应的点坐标。
在一种实施例中，图像的拼接包括以下几个步骤：
步骤1：使用去噪、细节增强、对比度增强算法对图像进行预处理。包含但不限于BM3D、DDE、CLAHE算法。
步骤2：使用ORB算法对预处理后的图像进行特征点提取，特征点数量3000个。
步骤3：结合暴力匹配算法与GMS错误匹配剔除算法对相邻帧的特征点进行匹配。
步骤4：使用最小二乘算法根据提取到的特征点求解相邻帧图像的变换矩阵，变换模型可以使用仿射变换或透视变换。
步骤5：利用变换矩阵将所有图像映射到同一个坐标系。
步骤6：计算相邻帧图像之间的拼接缝，找拼接缝算法包含但不限于最小割算法。
步骤7：使用多频段融合算法淡化拼接缝。
步骤8：对横条形拼接结果进行后处理，得到圆环形的首尾相接的拼接结果。
在本实施例中，各个处理步骤的详细内容包括以下：
（一）预处理
红外图像的信噪比较低、细节纹理较少，不利于特征点的提取和匹配，因此需要利用去噪、细节增强、对比度增强算法对图像进行预处理，达到抑制噪声和增强细节的效果，进而有利于特征点的提取和匹配，预处理后得到的N帧图像集合为。去噪方法包含但不限于BM3D算法，细节增强算法包含但不限于DDE算法，对比度增强算法包含但不限于CLAHE算法。
（二）特征点提取
特征点通常指图像中的角点、极亮点和极暗点，特征点的提取使用ORB算法，ORB特征点具有旋转和仿射不变性，具有更强的鲁棒性。特征点提取的结果包含特征点的坐标和描述子，单个特征点表示为，其中，x和y分别表示特征点的横坐标和纵坐标，d表示描述子；第i帧图像中所有特征点的集合/>表示为:/>;/>表示第i帧图像中的特征点；所有图像的特征点集合表示为:/>，/>分别表示第1到N帧图像特征点集合。
（三）特征点匹配
根据特征点描述子d特征向量之间的欧氏距离，使用暴力匹配算法，得到相邻两帧图像特征点之间的匹配关系/>，其中，表示表示第0帧到第N帧图像相邻帧之间的匹配关系 ，匹配关系通式/>，/>和/>分别表示相邻图像中左图和右图中一对匹配上的特征点；使用GMS算法剔除错误的匹配关系，得到正确率更高的匹配关系，其中，所有相邻图像特征点集合最终的两两匹配关系为/>，/>表示剔除错误关系后的第i帧和第i+1帧图像特征点更高的匹配关系，/>为/>经算法剔除后的剩余匹配关系，所有相邻图像特征点集合最终的两两匹配关系为，/>表示第0帧到第N帧图像相邻帧之间剔除错误的匹配关系后得到的更高的匹配关系。
（四）变换矩阵求解
获得相邻帧图像特征点之间的匹配关系后，使用最小二乘算法求解出相邻两帧图像的变换矩阵/>，所有相邻帧图像之间的变换矩阵的集合为/>，/>表示第i帧图像和第i+1帧图像的变换矩阵。
（五）图像投影
选取第0帧图像为参考坐标系，根据所有相邻帧图像之间的变换矩阵，可以将其他所有图像都投影到参考坐标系下，得到每一帧图像在参考坐标系下的坐标。假设第i帧图像中的任意一点在第0帧图像所在参考坐标系下的投影点坐标为/>，第i帧图像向第 0帧图像对齐的公式为：
；
根据上面公式，可以将每一帧图像都投影到第0帧图像所在的参考坐标系下，其中表示将第1帧图像向第0帧图像投影（使两幅图像共有的目标重叠“对齐”），/>表示将第2帧图像向第1帧图像投影；公式中/>两矩阵相乘，表示将第2帧图像先向第1帧图像投影，再将投影结果继续向第0帧图像投影，完成第2帧图像向第 0帧图像的对齐。
（六）找拼接缝
将所有图像都投影到同一参考坐标系后，需要计算相邻两帧图像的重叠区域。假设第i帧图像的左上角顶点坐标为，右下角坐标为/>，第i+1帧图像的左上角顶点坐标为/>，右下角坐标为/>，重叠区域表示为，/>分别表示重叠区域左上角x坐标、左上角y坐标、右下角x坐标、右下角y坐标，
；
；
；
；
其中，w和h分别是图像的宽和高，下标表示图像帧序号。得到相邻帧图像的重叠区域后，利用基于图的最小割算法找到相邻两帧图像之间的拼接缝，拼接缝左边像素点的值使用左图对应位置像素点的值，拼接缝右边像素点的值使用右图对应位置像素点的值，拼接缝可以用每帧图像的2进制掩码来表示。
和当前帧掩码白色区域相同位置的像素点使用当前帧的像素值，掩码黑色区域的像素点的像素值就置0，所有图像的拼接缝掩码表示为。
（七）融合
根据预处理后的所有图像的集合、同一参考系下所有图像的左上角顶点坐标/>和所有图像帧的拼接缝掩码/>，通过多频段融合算法对所有帧图像进行融合，得到拼接好的长条形全景图像。
（八）后处理
长条形的全景图像不具有首尾连续性，会造成刚好处于首尾接缝处的目标被分裂开，不利于人眼观看和其他目标检测等算法的处理，为此需要使用圆环形首尾衔接的方式显示拼接结果。
假设横条状图像的坐标系为，圆环状图像的坐标系为/>，中间过程坐标系为/>。横条到圆环的映射模型描述的是坐标系/>中任意一点/>和在坐标系中对应点/>的坐标转换关系。映射模型包含/>、/>、/>这三个坐标系的转换。
到/>假设坐标系/>中任意一点/>在圆环中的对应点在坐标系中的坐标为/>，（d，/>）为圆环形图像坐标系中/>所对应的极坐标系中的坐标点。假设横条图像的宽为w，高为h，圆环外径为R，内径为 r，根据几何关系可以得到/>和/>的转换公式如下：
其中，
到/>
经过上面两个转换过程，就可以得到坐标系中任意一点/>在坐标系中对应点/>的坐标。，从而完成从长条形结果到圆环形结果的变换。
本发明提出了一种基于特征点匹配的红外全景图像拼接方法，首先对图像进行预处理，以抑制噪声和增强细节，其次对预处理后的图像进行特征点提取，然后对相邻帧的特征点进行匹配，接着根据提取到的特征点求解相邻帧图像的变换矩阵，之后利用变换矩阵将所有图像映射到同一个坐标系，然后计算相邻帧图像之间的拼接缝，接着对所有图像进行融合，以淡化拼接缝，最后，对横条形拼接结果进行后处理，得到圆环形的首尾相接的显示结果。针对红外图像噪声强、细节纹理不突出的问题，提出去噪和增强相结合的预处理方法，抑制图像噪声和突出细节纹理，有利于特征点的提取和匹配；使用ORB特征点与GMS错误匹配剔除算法相结合的方法，可以提高特征点匹配对的数量和正确率，从而提高配准的精度和鲁棒性；将长条形图像转换为圆环形图像的方法，从而按圆环形的首尾衔接的方式显示全景拼接结果，有效解决长条形拼接结果首尾不连续的问题。
本发明以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种基于特征点匹配的红外全景图像拼接方法，其特征在于，将多帧图像拼接为全景图像，包括以下步骤：
步骤S1：对图像进行预处理；
步骤S2：对预处理后的图像进行特征点提取；
步骤S3：对相邻帧的特征点进行匹配；
步骤S4：根据提取到的特征点求解相邻帧图像的变换矩阵；
步骤S5：利用变换矩阵将所有图像映射到同一个坐标系；
步骤S6：计算相邻帧图像之间的拼接缝；
步骤S7：对所有图像进行融合，淡化拼接缝；
步骤S8：对横条状长方形拼接结果进行后处理，得到圆环形的首尾相接的拼接结果。
2.根据权利要求1所述的一种基于特征点匹配的红外全景图像拼接方法，其特征在于，所述步骤S1图像预处理包括对图像进行去噪、细节增强和对比度增强。
3.根据权利要求2所述的一种基于特征点匹配的红外全景图像拼接方法，其特征在于，所述步骤S2特征点包括图像角点、极亮点和极暗点，提取方法包括ORB算法，特征点提取的结果包含特征点的坐标和描述子，单个特征点表示为 ，其中，x和y分别表示特征点的横坐标和纵坐标，d表示描述子；第i帧图像中所有特征点的集合/>表示为:;/>表示第i帧图像中的特征点；所有图像的特征点集合表示为: />，/>分别表示第1到N帧图像特征点集合。
4.根据权利要求3所述的一种基于特征点匹配的红外全景图像拼接方法，其特征在于，所述步骤S3特征点匹配包括以下子步骤：
步骤S31：根据特征点描述子d特征向量之间的欧氏距离，使用暴力匹配算法，得到相邻两帧图像特征点之间的匹配关系，其中，/>表示表示第0帧到第N帧图像相邻帧之间的匹配关系 ，匹配关系通式，/>和/>分别表示相邻图像中左图和右图中一对匹配上的特征点；
步骤S32：使用GMS算法剔除错误的匹配关系，得到正确率更高的匹配关系，其中，所有相邻图像特征点集合最终的两两匹配关系为/>，/>表示剔除错误关系后的第i帧和第i+1帧图像特征点更高的匹配关系，/>为/>经算法剔除后的剩余匹配关系，所有相邻图像特征点集合最终的两两匹配关系为，/>表示第0帧到第N帧图像相邻帧之间剔除错误的匹配关系后得到的更高的匹配关系。
5.根据权利要求4所述的一种基于特征点匹配的红外全景图像拼接方法，其特征在于，所述步骤S4变换矩阵的求解包括：获得相邻帧图像特征点之间的匹配关系后，使用最小二乘算法求解出相邻两帧图像的变换矩阵/>，所有相邻帧图像之间的变换矩阵的集合为/>，/>表示第i帧图像和第i+1帧图像的变换矩阵。
6.根据权利要求5所述的一种基于特征点匹配的红外全景图像拼接方法，其特征在于，所述步骤S5图像投影具体包括：选取第0帧图像为参考坐标系，根据所有相邻帧图像之间的变换矩阵，将其他所有图像都投影到参考坐标系下，得到每一帧图像在参考坐标系下的坐标。
7.根据权利要求6所述的一种基于特征点匹配的红外全景图像拼接方法，其特征在于，所述步骤S6拼接缝的计算包括以下子步骤：
步骤S61：将所有图像都投影到同一参考坐标系后，计算相邻两帧图像的重叠区域：
；
；
；
；
其中，为第i帧图像的左上角顶点坐标，/>为第i帧图像的右下角坐标，/>为第i+1帧图像的左上角顶点坐标，/>为第i+1帧图像的右下角坐标，/>表示重叠区域，/>、/>、/>、分别表示重叠区域左上角x坐标、左上角y坐标、右下角x坐标、右下角y坐标，w和h分别是图像的宽和高，下标表示图像帧序号；
步骤S62：得到相邻帧图像的重叠区域后，利用基于图的最小割算法找到相邻两帧图像之间的拼接缝，拼接缝左边像素点的值使用左图对应位置像素点的值，拼接缝右边像素点的值使用右图对应位置像素点的值。
8.根据权利要求7所述的一种基于特征点匹配的红外全景图像拼接方法，其特征在于，所述步骤S7图像融合具体包括：根据预处理后的所有图像的集合、同一参考系下所有图像的左上角顶点坐标/>和所有图像帧的拼接缝掩码，/>表示预处理后的图像，/>表示同一参考系下图像的左上角顶点坐标，/>表示图像帧的拼接缝掩码；通过多频段融合算法对所有帧图像进行融合，得到拼接好的横条状长方形全景图像。
9.根据权利要求8所述的一种基于特征点匹配的红外全景图像拼接方法，其特征在于，所述步骤S8后处理将长条形全景图像使用圆环形首尾衔接的方式显示拼接结果，横条状长方形图像到圆环形图像的转换包括两个转换过程：
横条状长方形图像到中间过程的转换：设横条状长方形图像的坐标系为，圆环形图像的坐标系为/>，中间过程坐标系为/>，横条状长方形图像到中间过程的转换公式为：
；
其中，为横条状长方形图像坐标系的任意一点，/>为圆环形图像坐标系中任意一点，（d，/>）为圆环形图像坐标系中/>所对应的极坐标系中的坐标点，横条图像的宽为w，高为h，圆环外径为R，内径为r，极坐标系中/>，/>；
中间过程到圆环形图像的转换：转换公式为：
；
为圆环形图像的坐标系中与横条状长方形图像坐标系/>所对应的点坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311146359.5A CN116883248B (zh) | 2023-09-07 | 2023-09-07 | 一种基于特征点匹配的红外全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311146359.5A CN116883248B (zh) | 2023-09-07 | 2023-09-07 | 一种基于特征点匹配的红外全景图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116883248A true CN116883248A (zh) | 2023-10-13 |
| CN116883248B CN116883248B (zh) | 2023-11-14 |
Family
ID=88262597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311146359.5A Active CN116883248B (zh) | 2023-09-07 | 2023-09-07 | 一种基于特征点匹配的红外全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883248B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982516A (zh) * | 2012-10-25 | 2013-03-20 | 西安理工大学 | 一种基于半球环形全景镜头实现全景图像的方法 |
| WO2016086754A1 (zh) * | 2014-12-03 | 2016-06-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
| CN107784632A (zh) * | 2016-08-26 | 2018-03-09 | 南京理工大学 | 一种基于红外热成像系统的红外全景图的生成方法 |
| CN111507901A (zh) * | 2020-04-15 | 2020-08-07 | 中国电子科技集团公司第五十四研究所 | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 |
| CN114004840A (zh) * | 2021-10-29 | 2022-02-01 | 北京百度网讯科技有限公司 | 图像处理方法、训练方法、检测方法、装置、设备及介质 |
| CN115131213A (zh) * | 2022-07-27 | 2022-09-30 | 成都市晶林科技有限公司 | 一种实时红外双目图像拼接方法及系统 |
-
2023
- 2023-09-07 CN CN202311146359.5A patent/CN116883248B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982516A (zh) * | 2012-10-25 | 2013-03-20 | 西安理工大学 | 一种基于半球环形全景镜头实现全景图像的方法 |
| WO2016086754A1 (zh) * | 2014-12-03 | 2016-06-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
| CN107784632A (zh) * | 2016-08-26 | 2018-03-09 | 南京理工大学 | 一种基于红外热成像系统的红外全景图的生成方法 |
| CN111507901A (zh) * | 2020-04-15 | 2020-08-07 | 中国电子科技集团公司第五十四研究所 | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 |
| CN114004840A (zh) * | 2021-10-29 | 2022-02-01 | 北京百度网讯科技有限公司 | 图像处理方法、训练方法、检测方法、装置、设备及介质 |
| CN115131213A (zh) * | 2022-07-27 | 2022-09-30 | 成都市晶林科技有限公司 | 一种实时红外双目图像拼接方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 曹茂永 等: "基于前视钻孔摄像提取全景图像的方法", 《郑州大学学报(理学版)》, vol. 49, no. 02, pages 79 - 83 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116883248B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | RRSGAN: Reference-based super-resolution for remote sensing image | |
| CN110020985B (zh) | 一种双目机器人的视频拼接系统及方法 | |
| Cruz-Mota et al. | Scale invariant feature transform on the sphere: Theory and applications | |
| CN101276465B (zh) | 广角图像自动拼接方法 | |
| CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
| CN104732482B (zh) | 一种基于控制点的多分辨率图像拼接方法 | |
| CN105245841A (zh) | 一种基于cuda的全景视频监控系统 | |
| CN107016646A (zh) | 一种基于改进的逼近投影变换图像拼接方法 | |
| CN109858527B (zh) | 一种图像融合方法 | |
| CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
| CN102298779A (zh) | 全景辅助泊车系统的图像配准方法 | |
| CN112085659A (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| CN108257089A (zh) | 一种基于迭代最近点的大视场视频全景图拼接的方法 | |
| CN111861866A (zh) | 一种变电站设备巡检图像全景重建方法 | |
| Wan et al. | Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform | |
| CN115619623A (zh) | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 | |
| CN112163996B (zh) | 一种基于图像处理的平角视频融合方法 | |
| CN116883248B (zh) | 一种基于特征点匹配的红外全景图像拼接方法 | |
| CN109598675B (zh) | 多重复纹理图像的拼接方法 | |
| US20140055644A1 (en) | Apparatus and method for extracting object | |
| CN115393196B (zh) | 一种无人机面阵摆扫的红外多序列影像无缝拼接方法 | |
| CN111047513A (zh) | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 | |
| CN115619636A (zh) | 图像拼接方法、电子设备以及存储介质 | |
| CN113850905B (zh) | 一种用于周扫型光电预警系统的全景图像实时拼接方法 | |
| CN113516654A (zh) | 一种基于视觉识别芯孔内壁异常部位的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |