CN115035281B - 一种快速的红外全景图像拼接方法 - Google Patents
一种快速的红外全景图像拼接方法 Download PDFInfo
- Publication number
- CN115035281B CN115035281B CN202210591642.8A CN202210591642A CN115035281B CN 115035281 B CN115035281 B CN 115035281B CN 202210591642 A CN202210591642 A CN 202210591642A CN 115035281 B CN115035281 B CN 115035281B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- infrared
- octave
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000003331 infrared imaging Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 7
- 230000011218 segmentation Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种快速的红外全景图像拼接方法，可以快速的完成多幅图像的拼接，大大提高图像拼接的效率。本发明通过旋转式红外成像仪获取周围环境的信息，得到分散的红外图像。由于红外成像仪每次所拍摄的图像的像素大小是固定的，同时因为是旋转底座，每幅图像的最底端可以保证在同一水平线上。对所获取的这些图像进行预处理后，利用区域分割算法提取每幅图像左右边缘的重叠部分，之后仅对所提取的部分进行特征提取与匹配，这样可以大大降低特征提取的计算量，提高图像拼接的效率。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种快速的红外全景图像拼接方法。
背景技术
近些年来，随着数字图像处理应用领域的范围不断扩大，可见光图像已不能满足所有应用领域的需求，红外图像因其具有良好的穿透能力和抗干扰能力，能够不受昼夜更替以及恶劣环境的影响，可以实现全天候工作，因此被广泛运用于安全监测、目标搜救、车载夜视等领域，极大地扩展了图像处理的应用。
与可见光成像方式相比，红外热成像所得到的是一种温度图像。由于黑体辐射的存在，任何物体都依据温度的不同对外进行电磁波辐射。波长为2.0～1000微米的部分称为热红外线。热红外成像通过热红外敏感CCD对物体进行成像，能反映出物体表面的温度场。
随着科技的发展，人们对红外图像的要求不仅仅满足于普通的窄视场图像，对宽视场、高分辨率图像的应用需求越来越多。全景图像是一种能够为用户提供超过人眼视角的稳定分辨率的图像，它能够向用户提供更丰富的信息，可以解决传统设备视场规模与分辨率之间冲突的问题。
红外全景图像拼接技术是当前红外成像技术、数字图像处理、计算机技术中的一个热门方向，它是将一组含有重叠信息的窄视场、高分辨率图像，按照一定的配准技术与融合技术，合并成一幅宽视场的无缝、无重影的目标图像的过程。由于安保方面的需要，图像拼接的实时性一定要高。传统的图像拼接是利用特征匹配算法对整幅图像的特征点进行提取，然后将不同图像之间的特征点进行特征匹配，根据不同图像之间存在的相同特征点完成图像的拼接。这种方法需要对整幅图像的特征点进行提取，所耗费的时间较长，而且随着现在红外成像技术的发展，所得图像的分辨率越来越高，图像中的特征细节逐渐增加，整个图像拼接的耗时会变得更长，降低了系统的实时性，影响整个系统的工作性能。
发明内容
本发明提供了一种快速的红外全景图像拼接方法。
具体技术方案如下：
一种快速的红外全景图像拼接方法，包括以下步骤：
步骤1：利用红外图像采集装置获取最初的原始红外图像；
通过红外成像装置不断地旋转拍摄获得的，后一幅图像是对前一幅图像在水平方向上的扩展；
步骤2：对步骤1所获得的原始图像进行图像预处理操作；
红外图像的预处理为图像去噪和增强；
步骤3：使用ROI算法对步骤2预处理后的图像进行区域选定；
步骤4：根据步骤3提取出选定区域，采用SIFT算法对选定区域的红外图像进行特征点提取；
步骤5：采用RANSAC算法筛选出正确特征匹配对；
步骤6：基于特征匹配后的红外图像，采用自适应相似度算法对待拼接红外图像进行相似度计算，确定红外图像的拼接顺序；
步骤7：根据有效的特征匹配对，采用加权图像融合算法对图像进行融合实现对红外全景图像的拼接；
步骤8：全景图像拼接结束，优化处理拼接后的全景图像。
进一步地，步骤1中每幅图像的大小相同，并在同一水平高度上。
进一步地，步骤2具体包括以下步骤：
步骤2.1：读取已获得的原始红外图像；
步骤2.2：对已读取的图像采用低通高斯滤波器核进行平滑滤波，高斯核
是唯一可分离的圆对称核；
式中，K为一个普通常数，变量s和t是实数且通常是离散的，σ为标准差；
令r＝[s2+t2]1/2，可以得到通过调节变量r的大小获取不同大小的高斯核，调节标准差σ的大小调节图像处理的效果；
步骤2.3：利用二阶导数拉普拉斯算子来锐化图像，对于输入图像f(x,y)定义为：
在x方向有
在y方向有
所以两个变量的离散拉普拉斯算子是：
步骤2.4：将拉普拉斯图像与原图像相加，恢复背景特征，同时保留拉普拉斯的锐化效果；使用拉普拉斯锐化图像的基本方法为：
式中，f(x,y)为输入图像，g(x,y)为锐化后图像；
步骤2.5：将预处理完毕的图像输出。
进一步地，其中步骤3提取各个图像左右边缘区域的重叠区域，把相邻的重叠区域作为一组绑定图像，后续分别对每组绑定图像进行处理操作；
进一步地，其中步骤4具体有以下步骤：
步骤4.1:：输入图像f(x,y)的尺度空间L(x,y,σ)是f与一个可变尺度高斯核G(x,y,σ)的卷积：L(x,y,σ)＝G(x,y,σ)★f(x,y)，
式中，尺度由参数σ控制，G的形式为：
输入图像f(x,y)依次与标准差为σ，kσ，k2σ，k3σ，…的高斯核卷积，生成由一个常量因子k分割的高斯滤波图像；
步骤4.2：SIFT将尺度空间细分为倍频程，每个倍频程对应于σ的加倍；
第二个倍频程中的第一幅图像是首先对原图像进行下取样，即每隔一行和一列取样，然后用一个核来平滑得到的，使用的这个核的标准差是第一个倍频程中所用标准差的2倍；在后续的各个倍频程处理中，新倍频程的第一幅图像按以下方式形成：
对原图像进行下取样，使图像大小为前一个倍频程内的一半；
用前一个倍频程的标准差的2倍的新标准差来平滑下取样后的图像；
尺度空间中初始关键点的位置查找：首先检测一个倍频程中两幅相邻尺度空间图像的高斯差的极值，然后对应于这个倍频程的输入图像进行卷积，其表达式为：
D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]★f(x,y)
＝L(x,y,kσ)-L(x,y,σ)
式中，D(x,y,σ)是两幅相邻尺度空间图像高斯差的极值函数；
在D(x,y,σ)图像中的每个位置，将该位置像素值与其在当前图像中的8个相邻像素值及其在上方和下方图像中的9个相邻像素值进行比较，若该位置的值为范围内的最大值或最小值，则该位置被选为极值点；
通过泰勒级数展开对D(x,y,σ)的值进行内插运算，提高关键点位置的精度；删除低对比度和定位差的关键点；
通过公式：
M(x,y)＝[(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2]1/2和
θ(x,y)＝arctan[(L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))]，计算每个关键点的梯度幅度和方向角，式中M(x,y)为梯度幅度，θ(x,y)为方向角，其中关键点是用与这些公式相关联的基于直方图的步骤得到的。
进一步地，其中步骤5根据已得的匹配点对中抽取5-10对匹配点，计算变换矩阵，然后对所有匹配点计算映射误差；根据误差阈值，确定统计点的个数，最后针对最大统计点个数集合，重新计算单应矩阵H；使用RANSAC算法估计出图像间的单应性矩阵后，将所有的图像整合到一个公共的图像平面上。
进一步地，其中步骤6的具体步骤如下：
利用SIFT算法提取两幅图像的特征点，两幅图像重叠区域的特征点分别记为m(m＝1,2,3,…)和n(n＝1,2,3,…)，之后进行特征匹配，得到匹配特征点对，记为k(k＝1,2,3,…)，将参数m,n,k代入相似度公式：
相似度S的值越大，两幅图像越接近。
与现有技术相比，本发明的有益效果是：
1、本发明所述的快速红外全景图像拼接方法，将多幅窄视场、高空间分辨率的红外图像合成一幅宽视场、高空间分辨率的红外全景图像，将多幅图像信息整合到一幅图像中，便于系统监测。
2、本发明所述的快速红外全景图像拼接方法，采用高斯滤波的方法预先对图像进行去噪处理，降低了噪声点对后续特征匹配的影响。
3、本发明所述的快速红外全景图像拼接方法，采用拉普拉斯微分算子增强了图像中的边缘特征，通过将原始图像和拉普拉斯图像叠加在一起来保护拉普拉斯锐化处理的效果，同时又能复原背景信息，加强了图像整体的细节特征。
4、本发明所述的快速红外全景图像拼接方法，对预处理完毕后的红外图像进行区域划分，采用ROI算法自动选取出不同图像之间的重叠区域，去除了图像中的不相关信息，降低了图像特征整体的数据量，降低了计算复杂度。
5、本发明所述的快速红外全景图像拼接方法，将SIFT算法与RANSAC算法结合，提高特征匹配的正确率。
6、本发明所述的快速红外全景图像拼接方法，基于特征匹配筛选后的红外图像，采用自适应相似度算法对待拼接红外图像进行相似度计算，确定红外图像的拼接顺序，按照预设的拼接顺序进行拼接，极大的提高了拼接效率和准确率。
7、本发明所述的快速红外全景图像拼接方法，采用直方图均衡化等处理方法，对拼接后的图像进行处理，消除因光照等外部因素造成的图像亮度不均匀的现象。
8、本发明所述的快速红外全景图像拼接方法，采用渐进式图像融合方法，消除接缝对整体图像效果的影响。
下面通过附图和实施例程，对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明实施例提供的一种获取红外图像的装置示意图；
图2是本发明实施例提供的一种快速的红外全景图像拼接的流程示意图；
图3是本发明实施例提供的一种红外原始图像预处理流程示意图；
图4是本发明实施例提供的图像锐化中各种常见的拉普拉斯核；
图5是本发明实施例提供的相邻图像重叠区域提取的示意图；
图6是本发明实施例提供的基于SIFT算法的特征点提取流程图；
图7是本发明实施例提供的尺度空间图像高斯金字塔示意图；
图8是本发明实施例提供的尺度空间图像差分高斯金字塔示意图；
图9是本发明实施例提供的一种快速红外全景图像拼接系统的结构示意图。
具体实施方式
在下文中，将参考附图对本发明的具体实施例进行详细地描述。
下面结合说明书附图介绍本发明实施例提供的技术方案。
本发明将红外成像仪固定在旋转式水平底座上，保证成像仪拍摄的每幅图片的最底端都是处于同一水平线的；
红外成像仪单幅图像的水平视场为60°，镜头的单次旋转角度为40°，保证相邻两幅图像之间有着10°的重叠区域；
对获取的红外图像进行预处理，具体如下：
对图像进行图像平滑来去除图像中混杂的噪声，采用3×3或5×5的高斯卷积核实现对图像噪声的去除，根据具体情况来选择；
对平滑后的图像进行图像增强处理，采用直方图均衡化等方法提高图像对比度；
进一步的，采用拉普拉斯微分算子增强图像中的边缘特征，通过将原始图像和拉普拉斯图像叠加在一起来保护拉普拉斯锐化处理的效果，同时又能复原背景信息；
进一步的，对预处理完毕后的红外图像进行区域划分，利用ROI算法自动选取出重叠区域；
进一步的，对选定后的红外图像区域采用尺度不变特征变换(Scale-invariantfeature transform，SIFT)算法进行特征点的提取，采用RANSAC算法对特征提取后红外图像的特征匹配对进行筛选，具体如下：
对预处理后的选定区域的红外图像进行粗提取，得到多个特征点，将不同图像中的相同特征点进行特征匹配，形成初步的特征匹配对；
采用RANSAC算法，对初步的特征匹配对进行筛选，剔除错误特征匹配，保留有效的特征匹配对；
进一步的，利用图像融合算法，根据有效的特征匹配对，基于特征匹配后的红外图像，采用自适应相似度算法对待拼接红外图像进行相似度计算，确定红外图像的拼接顺序，按照预设的拼接顺序，采用加权图像融合算法对图像进行融合，实现对红外全景图像的拼接；
进一步的，由于光照不均等原因导致的拼接后的图像效果差的问题；
进一步的，针对拼接图像接缝明显的问题，采用渐进式图像融合方法，消除接缝对整体图像效果的影响。
如图1所示，将红外成像仪101安装在旋转底座102上，并按照一个指定的方向106旋转。每当成像仪旋转一定角度时，都会对当前视场进行拍照，最终形成一幅幅分散的图像103与图像104等。由于同一红外成像仪生成每幅图像的像素大小相同，保证了后续操作的一致性，另外旋转式的拍摄方式，使得每幅图像的最底端都在同一水平面上，降低了后续操作的复杂性。
红外成像仪所生成的各幅图像都是顺序排列的，相邻两幅图像之间均存在一定的重叠区域105，后续通过对重叠区域105的操作实现图像之间的拼接。相对于所述的图像103和图像104，利用重叠区域105拼接得到的图像包括更多的景物或更大的场景，这种通过多幅图像拼接得到全景图像的方式扩展了拍摄视角，提高了图像中蕴含的信息量，便于对整体区域的监测。
图2为本发明实施例提供的一种快速的红外全景图像拼接流程示意图，该方法可以适用于图1所示的场景，具体而言，该方法包含以下步骤：
步骤201：利用红外图像采集装置获取最初的原始红外图像，如图1所示，全景拼接所需的各种图像组成是通过红外成像装置不断地旋转拍摄获得的，后一幅图像是对前一幅图像在水平方向上的扩展。所述的红外成像仪型号选择没有硬性要求，像素的大小也没有规定，仅需保证每幅图像的大小相同，且均在同一水平高度上。
步骤202：对步骤201所获得的原始图像进行图像预处理操作。
由于仪器性能、探测距离等因素影响在获取的原始图像中会有噪声存在，另外，红外图像仪靠温差成像，图像的对比度较低，细节表现能力较差，因此，红外图像的预处理主要分为图像去噪与图像增强两部分。具体操作步骤如图3所示：
步骤301：读取已获得的原始红外图像。
步骤302：由于兼顾质量与效率，所以对已读取的图像采用低通高斯滤波器核进行平滑滤波。高斯核
是唯一可分离的圆对称核，它的计算优势不仅可以与盒式滤波器媲美，而且具有许多适合于图像处理的其他有用性质，便于后续处理，式中K为一个普通常数，变量s和t是实数且通常是离散的，σ为标准差，控制高斯函数关于其均值的展开度。
令r＝[s2+t2]1/2，可以得到通过调节变量r的大小获取不同大小的高斯核，同时调节标准差σ的大小调节图像处理的效果，最终得到平滑效果最佳的去噪图像。
步骤303：利用二阶导数拉普拉斯算子来锐化图像，对于图像f(x,y)定义为：
在x方向有
在y方向有
所以两个变量的离散拉普拉斯算子是：
这个公式可以用图4中的401核进行卷积运算来实现，另有其他拉普拉斯核如图4所示。
通过利用拉普拉斯核对图像的处理，就可以得到特征细节增强的拉普拉斯图像，为后续处理做好准备。
步骤304：拉普拉斯是导数算子，因此会突出图像中的急剧灰度过渡，并且不强调缓慢变化的灰度区域。这往往会产生具有灰度边缘线和其他不连续性的图像，它们都叠加在暗色无特征背景上。将拉普拉斯图像与原图像相加，就可恢复背景特征，同时保留拉普拉斯的锐化效果。
使用拉普拉斯锐化图像的基本方法是 式中f(x,y)和g(x,y)分别为输入图像和锐化后的图像。需要说明的是，如果使用的是图4-401或402中的拉普拉斯核，则c＝-1；若使用的是图4-403或404中的拉普拉斯核，则c＝1。
步骤305：将预处理完毕的图像输出，等待后续处理。
步骤203：使用ROI算法对预处理后的图像进行区域选定。将所获取的各个图像的重叠区域(图像左右边缘区域)提取出来，如图5所示，把相邻的重叠区域作为一组绑定图像，后续分别对每组绑定图像进行处理操作。
通过对图像的分区域提取，可大大降低待处理图像的像素大小，进而减少后续图像处理所需的时间，提高效率。
步骤204：提取出选定区域后，采用SIFT算法对选定区域的红外图像进行特征点提取，图6是SIFT算法的流程图，具体步骤如下：
SIFT算法的第一阶段是利用尺度空间函数搜索稳定的特征实现对图像中尺度变化不变位置的寻找，尺度空间将图像表示为平滑后的图像的一个参数簇，目的是模拟图像的尺度减小时出现的细节损失，控制平滑的参数称为尺度参数，在SIFT中高斯核用于实现平滑，尺度参数为标准差。
灰度图像f(x,y)的尺度空间L(x,y,σ)是f与一个可变尺度高斯核G(x,y,σ)的卷积：
L(x,y,σ)＝G(x,y,σ)★f(x,y)
式中尺度由参数σ控制，G的形式为：
输入图像f(x,y)依次与标准差为σ，kσ，k2σ，k3σ，…的高斯核卷积，生成一堆由一个常量因子k分割的高斯滤波图像。
SIFT将尺度空间细分为倍频程，图7为尺度空间图像高斯金字塔的示意图，每个倍频程对应于σ的加倍。第二个倍频程中的第一幅图像是首先对原图像进行下取样，即每隔一行和一列取样，然后用一个核来平滑得到的，使用的这个核的标准差是第一个倍频程中所用标准差的2倍。在后续的各个倍频程处理中，新倍频程的第一幅图像按如下方式形成：
对原图像进行足够次数的下取样，使图像大小为前一个倍频程内的一半；
用前一个倍频程的标准差的2倍的新标准差来平滑下取样后的图像；
尺度空间中初始关键点的位置查找：首先检测一个倍频程中两幅相邻尺度空间图像的高斯差的极值，然后对应于这个倍频程的输入图像进行卷积，其表达式为：
D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]★f(x,y)
＝L(x,y,kσ)-L(x,y,σ)
式中D(x,y,σ)是两幅相邻尺度空间图像高斯差的极值函数，图8为尺度空间图像差分高斯金字塔示意图。
在D(x,y,σ)图像中的每个位置，将该位置像素值与其在当前图像中的8个相邻像素值及其在上方和下方图像中的9个相邻像素值进行比较，若该位置的值为范围内的最大值或最小值，则该位置被选为极值点。
通过泰勒级数展开对D(x,y,σ)的值进行内插运算，提高关键点位置的精度；删除低对比度和定位差的关键点。
使用式
M(x,y)＝[(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1002]1/2
和
θ(x,y)＝arctan[(L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))]
计算每个关键点的幅度和方向，式中M(x,y)为梯度幅度，θ(x,y)为方向角，其中的关键点是用与这些公式相关联的基于直方图的步骤得到的。
围绕每个明显不同的关键点的一个局部区域计算一个描述子，同时对尺度、方向、光照和图像视点的变化尽可能是不变的，用这些描述子来识别不同图像中局部区域之间的匹配。
步骤205：采用RANSAC算法筛选出正确特征匹配对。SIFT是具有很强稳健性的描述子，比起其他匹配算法，它能产生更少的错误匹配，但仍然还是存在错误的对应点，所以需要用RANSAC算法，对SIFT算法产生的特征描述符进行剔除误匹配点。
从已求得的匹配点对中抽取5-10对匹配点，计算变换矩阵，然后对所有匹配点计算映射误差。根据误差阈值，确定统计点的个数，最后针对最大统计点个数集合，重新计算单应矩阵H。
使用RANSAC算法估计出图像间的单应性矩阵后，将所有的图像整合到一个公共的图像平面上。
步骤206：基于特征匹配后的红外图像采用自适应相似度算法对待拼接红外图像进行相似度计算来确定红外图像的拼接顺序。
各个红外图像是通过红外成像仪顺序输出的，但在处理过程中因为前期各幅图像处理速度不同等原因有可能会出现图片序列错误的现象，因此采用自适应相似度算法对待拼接红外图像进行相似度计算来确定红外图像的拼接顺序，具体步骤如下：
利用SIFT算法提取两幅图像的特征点，两幅图像重叠区域的特征点分别记为m(m＝1,2,3,…)和n(n＝1,2,3,…)，之后进行特征匹配，得到匹配特征点对，记为k(k＝1,2,3,…)，将参数m,n,k代入相似度公式：
相似度S的值越大，两幅图像越接近。
现假设有X张待拼接的红外图像，首先从待拼接的图像中选取一张图像A，以图像A为基准，计算这张图像与其他所有红外图像的相似度S，并进行相似度排序，从中选取相似度S最高的图像B，将这两张图像进行图像拼接。接着再以图像B为基准，计算图像B与剩余图像的相似度，并选取相似度最高的图像C进行拼接，以此类推，直到所有的图像都确定了拼接顺序。
步骤207：根据有效的特征匹配对，采用加权图像融合算法对图像进行融合实现对红外全景图像的拼接。
步骤208：当全景图像拼接结束后，可利用伽马变换或直方图均衡化等算法对拼接后的全景图像进行处理，以改善拼接后图像整体的显示效果，实现对整体图像的优化处理。
图9为本发明实施例提供的一种快速红外全景图像拼接系统的结构示意图，前面论述的各项流程分别在采集模块901，处理模块902和显示模块903中实现。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种快速的红外全景图像拼接方法，其特征在于：包括以下步骤：
步骤1：利用红外图像采集装置获取最初的原始红外图像；
通过红外成像装置不断地旋转拍摄获得的，后一幅图像是对前一幅图像在水平方向上的扩展；
步骤2：对步骤1所获得的原始图像进行图像预处理操作；
红外图像的预处理为图像去噪和增强；具体的步骤为：
步骤2.1：读取已获得的原始红外图像；
步骤2.2：对已读取的图像采用低通高斯滤波器核进行平滑滤波，高斯核
是唯一可分离的圆对称核；
式中，K为一个普通常数，变量s和t是实数且是离散的，σ为标准差；
令r＝[s2+t2]1/2，可以得到
通过调节变量r的大小获取不同大小的高斯核，调节标准差σ的大小调节图像处理的效果；
步骤2.3：利用二阶导数拉普拉斯算子来锐化图像，对于输入图像f(x，y)定义为：
在x方向有
在y方向有
所以两个变量的离散拉普拉斯算子是：
步骤2.4：将拉普拉斯图像与原图像相加，恢复背景特征，同时保留拉普拉斯的锐化效果；使用拉普拉斯锐化图像的基本方法为：
式中，f(x，y)为输入图像，g(x，y)为锐化后图像；
步骤2.5：将预处理完毕的图像输出；
步骤3：使用ROI算法对步骤2预处理后的图像进行区域选定；
步骤4：根据步骤3提取出选定区域，采用SIFT算法对选定区域的红外图像进行特征点提取；
步骤5：采用RANSAC算法筛选出正确特征匹配对；
根据已得的匹配点对中抽取5-10对匹配点，计算变换矩阵，然后对所有匹配点计算映射误差；根据误差阈值，确定统计点的个数，最后针对最大统计点个数集合，重新计算单应矩阵H；使用RANSAC算法估计出图像间的单应性矩阵后，将所有的图像整合到一个公共的图像平面上；具体步骤如下：
利用SIFT算法提取两幅图像的特征点，两幅图像重叠区域的特征点个数分别记为m和n，其中m＝1，2，3，...和n＝1，2，3，...，之后进行特征匹配，得到匹配特征点对个数记为k，其中k＝1，2，3，...，将参数m，n，k代入相似度公式：
相似度S的值越大，两幅图像越接近；
步骤6：基于特征匹配后的红外图像，采用自适应相似度算法对待拼接红外图像进行相似度计算，确定红外图像的拼接顺序；
步骤7：根据有效的特征匹配对，采用加权图像融合算法对图像进行融合实现对红外全景图像的拼接；
步骤8：全景图像拼接结束，优化处理拼接后的全景图像。
2.根据权利要求1所述的一种快速的红外全景图像拼接方法，其特征在于：步骤1中每幅图像的大小相同，并在同一水平高度上。
3.根据权利要求1所述的一种快速的红外全景图像拼接方法，其特征在于：其中步骤3提取各个图像左右边缘区域的重叠区域，把相邻的重叠区域作为一组绑定图像，后续分别对每组绑定图像进行处理操作。
4.根据权利要求1所述的一种快速的红外全景图像拼接方法，其特征在于：其中步骤4具体有以下步骤：
步骤4.1：输入图像f(x，y)的尺度空间L(x，y，σ)是f与一个可变尺度高斯核G(x，y，σ)的卷积：L(x，y，σ)＝G(x，y，σ)*f(x，y)，
式中，尺度由参数σ控制，G的形式为：
输入图像f(x，y)依次与标准差为σ，kσ，k2σ，k3σ，...的高斯核卷积，生成由一个常量因子k分割的高斯滤波图像；
步骤4.2：SIFT将尺度空间细分为倍频程，每个倍频程对应于σ的加倍；
第二个倍频程中的第一幅图像是首先对原图像进行下取样，即每隔一行和一列取样，然后用一个核来平滑得到的，使用的这个核的标准差是第一个倍频程中所用标准差的2倍；在后续的各个倍频程处理中，新倍频程的第一幅图像按以下方式形成：
对原图像进行下取样，使图像大小为前一个倍频程内的一半；
用前一个倍频程的标准差的2倍的新标准差来平滑下取样后的图像；
尺度空间中初始关键点的位置查找：首先检测一个倍频程中两幅相邻尺度空间图像的高斯差的极值，然后对应于这个倍频程的输入图像进行卷积，其表达式为：
D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*f(x，y)＝L(x，y，kσ)-L(x，y，σ)
式中，D(x，y，σ)是两幅相邻尺度空间图像高斯差的极值函数；
在D(x，y，σ)图像中的每个位置，将该位置像素值与其在当前图像中的8个相邻像素值及其在上方和下方图像中的9个相邻像素值进行比较，若该位置的值为范围内的最大值或最小值，则该位置被选为极值点；
通过泰勒级数展开对D(x，y，σ)的值进行内插运算，提高关键点位置的精度；删除低对比度和定位差的关键点；
通过公式：
M(x，y)＝[(L(x+1，y)-L(x-1，y))2+(L(x，y+1)-L(x，y-1))2]1/2和θ(x，y)＝arctan[(L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))]，计算每个关键点的梯度幅度和方向角，式中M(x，y)为梯度幅度，θ(x，y)为方向角，其中关键点是用与这些公式相关联的基于直方图的步骤得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210591642.8A CN115035281B (zh) | 2022-05-27 | 2022-05-27 | 一种快速的红外全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210591642.8A CN115035281B (zh) | 2022-05-27 | 2022-05-27 | 一种快速的红外全景图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115035281A CN115035281A (zh) | 2022-09-09 |
| CN115035281B true CN115035281B (zh) | 2023-11-07 |
Family
ID=83120753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210591642.8A Active CN115035281B (zh) | 2022-05-27 | 2022-05-27 | 一种快速的红外全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035281B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576519B (zh) * | 2024-01-15 | 2024-04-09 | 浙江航天润博测控技术有限公司 | 图像识别模型训练优化方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784632A (zh) * | 2016-08-26 | 2018-03-09 | 南京理工大学 | 一种基于红外热成像系统的红外全景图的生成方法 |
| CN111192194A (zh) * | 2019-12-05 | 2020-05-22 | 同济大学 | 一种针对幕墙建筑立面的全景图像拼接方法 |
| CN111967337A (zh) * | 2020-07-24 | 2020-11-20 | 电子科技大学 | 一种基于深度学习和无人机影像的管道线变化检测方法 |
| CN114520888A (zh) * | 2020-11-19 | 2022-05-20 | 信泰光学(深圳)有限公司 | 影像撷取系统 |
-
2022
- 2022-05-27 CN CN202210591642.8A patent/CN115035281B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784632A (zh) * | 2016-08-26 | 2018-03-09 | 南京理工大学 | 一种基于红外热成像系统的红外全景图的生成方法 |
| CN111192194A (zh) * | 2019-12-05 | 2020-05-22 | 同济大学 | 一种针对幕墙建筑立面的全景图像拼接方法 |
| CN111967337A (zh) * | 2020-07-24 | 2020-11-20 | 电子科技大学 | 一种基于深度学习和无人机影像的管道线变化检测方法 |
| CN114520888A (zh) * | 2020-11-19 | 2022-05-20 | 信泰光学(深圳)有限公司 | 影像撷取系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于BRISK算法的图像拼接技术研究;陈思聪;中国优秀硕士论文全文数据库;正文第8-14页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115035281A (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784576B (zh) | 一种基于改进orb特征算法的图像拼接方法 | |
| CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| CN109410207B (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
| US8494297B2 (en) | Automatic detection and mapping of symmetries in an image | |
| Trulls et al. | Dense segmentation-aware descriptors | |
| CN111369605B (zh) | 一种基于边缘特征的红外与可见光图像的配准方法和系统 | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN107967482A (zh) | 图标识别方法及装置 | |
| CN108564092A (zh) | 基于sift特征提取算法的向日葵病害识别方法 | |
| CN103902953B (zh) | 一种屏幕检测系统及方法 | |
| CN108447022A (zh) | 基于单个固定摄像头图像序列的运动目标拼接方法 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN113392856B (zh) | 图像伪造检测装置和方法 | |
| CN104899834A (zh) | 基于sift算法的模糊图像识别方法及装置 | |
| Wang et al. | Specular reflection removal of ocean surface remote sensing images from UAVs | |
| Asmare et al. | Image Enhancement by Fusion in Contourlet Transform. | |
| Ruan et al. | Image stitching algorithm based on SURF and wavelet transform | |
| CN110120013A (zh) | 一种点云拼接方法及装置 | |
| CN115035281B (zh) | 一种快速的红外全景图像拼接方法 | |
| CN116452995A (zh) | 基于机载任务机的航拍图像定位方法 | |
| CN115035466A (zh) | 一种用于安全监视的红外全景雷达系统 | |
| Bai | Overview of image mosaic technology by computer vision and digital image processing | |
| CN112669360B (zh) | 一种基于非封闭多维轮廓特征序列的多源图像配准方法 | |
| CN114266703A (zh) | 一种图像拼接方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |