CN106447607A - 一种图像拼接方法及装置 - Google Patents
一种图像拼接方法及装置 Download PDFInfo
- Publication number
- CN106447607A CN106447607A CN201610726477.7A CN201610726477A CN106447607A CN 106447607 A CN106447607 A CN 106447607A CN 201610726477 A CN201610726477 A CN 201610726477A CN 106447607 A CN106447607 A CN 106447607A
- Authority
- CN
- China
- Prior art keywords
- image
- splicing
- composograph
- short cycle
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000009466 transformation Effects 0.000 claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000003892 spreading Methods 0.000 abstract description 4
- 230000007480 spreading Effects 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供的图像拼接方法及装置，可用于降低拼接累积误差的航空视频图像自适应多级分层拼接，能够根据目标场景特性自适应选择合适的处理层次和配准算法，有效地解决了图像拼接误差随图像帧数增加而传播扩散的问题，同时采用渐入渐出法对配准后的图像进行融合处理，较好地消除了图像变换矩阵累积误差和图像亮度差异引起的拼接缝隙问题，得到一幅宽视场、高分辨率的合成图像，在图像拼接精度和鲁棒性方面有了明显提高；采用“特征堆栈”存储各帧图像特征，与后续图像进行配准拼接，能够有效减小计算量，节省重复提取图像特征的时间，进一步提高图像拼接速度。
Description
技术领域
本发明涉及机器视觉和图像处理领域，具体涉及一种图像拼接方法及装置。
背景技术
对于航空视频图像拼接，传统的逐帧(frame-to-frame)配准拼接方法导致相邻图像的配准误差在拼接过程中累积起来，并且这些误差随着图像数量的增加而逐渐变大，直接影响图像拼接的精度和效果。
航空视频序列图像拼接中的误差累积问题一直是图像拼接中的一个技术难点问题，国内外研究人员试图提出了一些解决方法，例如采用光束法平差、捆绑调整、直接稀疏Cholesky分解方法、卡尔曼滤波方法等全局最优配准方法来获得最优变换矩阵，可以在一定程度上减小多帧图像的全局拼接误差，但在一些实际应用场合(如航空侦察与应急灾害等)，采用全局配准算法又无法满足实时性要求。
发明内容
有鉴于此，本发明实施例提供了一种图像拼接方法及装置。
本发明实施例中提供一种图像拼接方法，包括：
获取连续帧图像中的任意帧图像作为第一基准图像；
根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；
将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；
将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；
获取第N+1帧图像，根据预设拼接策略，得到所有短周期拼接合成图像，并对所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像；
将所述长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。
可选地，所述根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，包括：
采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。
可选地，所述将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵，包括：
将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。
可选地，所述将所述长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像，包括：
采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；
利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。
可选地，所述获取第N+1帧图像之前，还包括：
将各图像的特征存储在基准图像特征堆栈或非基准图像特征堆栈。
可选地，所述长周期拼接合成图像作为新拼接周期中的第一个短周期拼接合成图像，与所述后续获取的图像进行拼接以得到完整的拼接合成图像之后，还包括：
根据图像配准得到图像空间变换模型，将两幅图像变换到同一参考坐标系并采用渐入渐出法对配准后的图像重叠区域进行融合处理，以消除图像亮度差异和配准误差得到无缝拼接图像。
本发明实施例中提供一种图像拼接装置，包括：
获取单元，用于获取连续帧图像中的任意帧图像作为第一基准图像；
处理单元，用于根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；
所述处理单元还用于将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；
所述处理单元还用于将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；
所述处理单元还用于获取所述各短周期内的所有拼接合成图像，并根据预设拼接策略，对所述所有短周期拼接合成图像进行拼接得到一个长周期拼接合成图像；
所述处理单元还用于将长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。
可选地，所述处理单元具体用于：
采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。
可选地，所述处理单元具体用于：
将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。
可选地，所述处理单元具体用于：
采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；
利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明提供的图像拼接方法及装置，可用于降低拼接累积误差的航空视频图像自适应多级分层拼接，能够根据目标场景特性自适应选择合适的处理层次和配准算法，有效地解决了图像拼接误差随图像帧数增加而传播扩散的问题，同时采用渐入渐出法对配准后的图像进行融合处理，较好地消除了图像变换矩阵累积误差和图像亮度差异引起的拼接缝隙问题，得到一幅宽视场、高分辨率的合成图像，在图像拼接精度和鲁棒性方面有了明显提高；采用“特征堆栈”存储各帧图像特征，与后续图像进行配准拼接，能够有效减小计算量，节省重复提取图像特征的时间，进一步提高图像拼接速度。
附图说明
图1-a是本发明实施例中提供的一种图像拼接方法的流程图；
图1-b是本发明实施例中提供的一种图像拼接方法的流程图；
图2是本发明实施例中提供的一种图像拼接方法的原理图；
图3是本发明实施例中提供的一种图像拼接方法的长周期图像多级拼接的原理图；
图4是本发明实施例中提供的一种图像拼接方法的原理图；
图5是本发明实施例中提供的一种图像拼接方法中FAST角点检测算法原理图；
图6是本发明实施例中提供的一种图像拼接方法中BRISK算法采样模式示意图；
图7是本发明实施例中提供的一种图像拼接装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
结合图1-a所示，本发明实施例中提供一种图像拼接方法，包括：
S1、获取连续帧图像中的任意帧图像作为第一基准图像；
S2、根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；
S3、将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；
S4、将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；
S5、获取第N+1帧图像，根据预设拼接策略，得到所有短周期拼接合成图像，并对所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像；
S6、将所述长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。
具体地说，在步骤S6中，将所述长周期拼接合成图像作为新拼接周期中的第一个短周期拼接合成图像，获取新的一帧图像并将该帧图像作为基准图像进行短周期拼接，得到第二个短周期拼接合成图像，进一步得到所有短周期拼接合成图像，并对各短周期拼接图像进行拼接得到一个长周期拼接合成图像，依此循环，直至所有图像拼接完毕，得到完整的拼接合成图像。
本发明提供的图像拼接方法，可用于降低拼接累积误差的航空视频图像自适应多级分层拼接，能够根据目标场景特性自适应选择合适的处理层次和配准算法，有效地解决了图像拼接误差随图像帧数增加而传播扩散的问题，同时采用渐入渐出法对配准后的图像进行融合处理，较好地消除了图像变换矩阵累积误差和图像亮度差异引起的拼接缝隙问题，得到一幅宽视场、高分辨率的合成图像，在图像拼接精度和鲁棒性方面有了明显提高；采用“特征堆栈”存储各帧图像特征，与后续图像进行配准拼接，能够有效减小计算量，节省重复提取图像特征的时间，进一步提高图像拼接速度。
可选地，所述根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，包括：
采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。
可选地，所述将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵，包括：
将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。
可选地，将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像。
可选地，获取第N+1帧图像，根据预设拼接策略，得到所有短周期拼接合成图像，并对所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像。
可选地，将所述长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像，包括：
采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；
利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。
可选地，所述获取第N+1帧图像之前，还包括：
将将各帧图像特征存储在基准图像特征堆栈或非基准图像特征堆栈。
可选地，所述长周期拼接合成图像作为新拼接周期中的第一个短周期拼接合成图像，与所述后续获取的图像进行拼接以得到完整的拼接合成图像之后，还包括：
根据图像配准得到图像空间变换模型，将两幅图像变换到同一参考坐标系并采用渐入渐出法对配准后的图像重叠区域进行融合处理，以消除图像亮度差异和配准误差得到无缝拼接图像。
结合图1-b至图6所示，下面提供一种应用场景对本发明提供的图像拼接方法加以解释说明，便于理解。
以8个短周期拼接合成图像为例，需要说明的是，为了方便描述，预先定义图像编号，后文不再赘述。
SDM：短周期图像拼接；
LDM：长周期图像拼接；
HL：长周期图像拼接中各图像之间的变换矩阵；
HS：短周期图像拼接中各图像之间的变换矩阵；
SDM1，SDM2，……，SDM8：第1，2，……，8个短周期拼接得到的合成图像；
SDM12：将短周期拼接图像SDM1和SDM2进行拼接得到的合成图像；
SDM34：将短周期拼接图像SDM3和SDM4进行拼接得到的合成图像；
SDM56：将短周期拼接图像SDM5和SDM6进行拼接得到的合成图像；
SDM78：将短周期拼接图像SDM7和SDM8进行拼接得到的合成图像；SDM1234：将短周期拼接图像SDM12和SDM34进行拼接得到的合成图像；
SDM5678：将短周期拼接图像SDM56和SDM78进行拼接得到的合成图像。
根据多级拼接策略，首先将图像SDM1和SDM2进行拼接得到合成图像SDM12，将图像SDM3和SDM4进行拼接得到合成图像SDM34，将图像SDM5和SDM6进行拼接得到合成图像SDM56，将图像SDM7和SDM8进行拼接得到合成图像SDM78；然后将图像SDM12和SDM34进行拼接得到合成图像SDM1234，将图像SDM56和SDM78进行拼接得到合成图像SDM5678，最后将图像SDM1234和图像SDM5678进行拼接得到长周期拼接合成图像LDM。
进一步地，采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数，图像中显著性特征越多，图像复杂度越高。
进一步地，在短周期拼接和长周期拼接流程中，根据场景的复杂度和特征不同，可选择不同的图像配准算法：
对于短周期图像拼接，由于视频图像重叠率高，相邻帧图像通常差异较小，对配准算法的鲁棒性要求不高，可选择速度较快的BRISK，FREAK等二进制特征匹配算法进行配准，得到各图像之间的变换矩阵HS进行拼接；
长周期图像拼接需要对多个短周期拼接合成图像SDM1，SDM2，SDM3，……进行配准，由于各合成图像时间间隔较长，重叠率低，场景变化大，并且输入的短周期拼接图像已经不可避免地包含一些配准误差，因此需要选择鲁棒性更强的SIFT，SURF等经典特征匹配算法对其进行配准，得到各短周期拼接图像之间变换矩阵HL完成拼接。
进一步地，将当前帧图像特征存储在“基准图像特征堆栈”或“非基准图像特征堆栈”中，用于与后续图像的配准拼接中，可以节省重复提取图像特征的时间，大大提高图像拼接的速度。
进一步地，在上述长周期拼接流程中，SDM2通过SDM2与SDM1之间的变换矩阵HL映射到SDM1，有时为了提高图像拼接速度，也可对SDM1最后一帧图像与SDM2的第一帧(基准帧)图像进行配准，得到它们之间的变换矩阵HS对SDM1与SDM2进行拼接。
进一步地，根据图像配准得到图像空间变换模型，将两幅图像变换到同一参考坐标系之后，采用渐入渐出法对配准后的图像重叠区域进行融合处理，以消除图像亮度差异和配准误差引起的拼接缝隙问题，得到一幅无缝拼接图像。
所述图像拼接方法将图像拼接分为短周期图像拼接(SDM)和长周期图像拼接(LDM)两个层次，分层拼接的主要目的是减小图像拼接过程中的误差扩散传播和实现快速拼接。
首先，进行短周期图像拼接，选择某帧图像作为基准图像，计算其场景复杂度值以确定该周期内进行拼接的图像帧数N。
将基准图像之后的N帧图像与前一帧图像进行配准，采用快速二进制特征匹配算法得到各图像之间的变换矩阵。
将各图像变换到基准图像坐标系中，采用渐入渐出法对图像重叠区域进行融合处理，得到一幅短周期拼接合成图像。
重复上述步骤，得到各短周期拼接合成图像SDM1，SDM2，SDM3，……。
然后，进行长周期图像拼接，根据多级拼接策略，利用SIFT(尺度不变特征变换，Scale-invariant feature transform))等经典鲁棒特征匹配算法对上述短周期拼接合成图像SDM1，SDM2，SDM3，……进行配准拼接，得到长周期拼接合成图像(LDM)。
当再输入新的一帧图像时，将上述长周期拼接合成图像LDM作为新的短周期拼接合成图像SDM1＇，然后对新输入的图像重复上述短周期图像拼接流程，得到多个短周期拼接合成图像SDM2＇，SDM3＇，……，再重复上述长周期图像拼接流程，得到长周期拼接合成图像LDM＇，依此循环，直至所有输入图像拼接完毕。
参照图1-b，本发明的优选实施例提供了一种降低拼接累积误差的航空视频图像自适应多级分层拼接方法，本实施例图像拼接方法包括：
所述图像拼接方法将图像拼接分为短周期图像拼接(SDM)和长周期图像拼接(LDM)两个层次。
步骤S101，进行短周期图像拼接，如图1-b，2所示，选择某帧图像作为基准图像，计算其场景复杂度值以确定该周期内进行拼接的图像帧数N；
采用显著性特征作为图像场景复杂度高低的评价依据，图像中显著性特征越多，图像复杂度越高，配准难度越大，可能引起的配准误差也越大，因此该周期内进行拼接的图像帧数N要按一定的百分比减少。
所述图像显著性特征分布的计算公式如下：
对于图像I(x)，计算其二维傅里叶变换，分别得到其振幅频谱A(f)和相位频谱P(f)，则其log频谱L(f)和频谱残差R(f)可按下式计算：
L(f)＝log(A(f)) (1)
R(f)＝L(f)-hn(f)*L(f) (2)
式中*为卷积运算，hn(f)表示n×n大小的均值滤波模板，按下式计算：
进一步得到图像显著性特征分布I′(x)如下式所示：
I′(x)＝g(x)*F-1[exp(R(f)+P(f))]2，I′(x)∈[0,1] (4)
如果原始图像尺寸较大，为了减小计算量，可以对其进行下采样后再计算其显著性特征分布，设下采样后图像的大小为Ppixel×Qpixel，图像显著性特征分布I′(x)大于某一阈值的像素个数为SI′，图像场景复杂度可表示为
步骤S102，将基准图像之后的N帧图像与前一帧图像进行配准，由于视频图像重叠率高，相邻帧图像通常差异较小，对配准算法的鲁棒性要求不高，可选择速度较快的二进制特征匹配算法进行配准，得到各图像之间的变换矩阵HS进行拼接；
本实施例中，步骤S102具体包括：
采用FAST(Features from Accelerated Segment Test，加速分割测试特征)角点检测算法对各图像提取特征点，该类算法中的特征点检测主要基于FAST判据：如图5所示，对于某一像素点p，若其离散包围圆上的16个点中至少有n个连续像素点的亮度值大于p的亮度值Ip加上一阈值t，或者小于p的亮度值Ip减去一阈值t，则判定p为角点，其中9≤n≤12。
采用BRISK(Binary Robust Invariant Scalable Keypoints)算子作为特征点描述符，BRISK算子是在对原图像进行高斯平滑滤波后，通过比较特征点位置附近服从同心圆采样模式的M对像素点亮度值，获得二进制字符串作为特征点描述符，如图6所示(M＝60)。
利用汉明距离计算相邻图像间特征点的相似度进行匹配，得到相邻图像之间的变换矩阵HS，其中汉明距离的计算可以通过逐位异或(XOR)附加一个位计数器来实现。
本实施例由于采用FAST算法进行特征点检测，检测速度远大于现有的Harris，DOG特征点检测算法，并且对平移、旋转、缩放变化保持高重复性，采用BRISK算子作为特征点描述符，用汉明距离代替欧几里得距离来评估特征点的相似度，计算速度约比经典的SURF，SIFT算法快两个数量级，但该类算法通过比较像素点亮度值的方法来检测特征点和构造特征描述符，对光照、噪声和模糊比较敏感。
步骤S103，将各图像变换到基准图像坐标系中，采用渐入渐出法对图像重叠区域进行融合处理，得到一幅短周期拼接合成图像。
对于待拼接的两幅图像G1(u,v)和G2(u,v)，根据渐入渐出图像融合算法的原理，按下述公式计算图像重叠区域的像素亮度值。
式中u1≤u≤u2，u1和u2分别表示重叠区域像素列坐标的最小值和最大值，当u从u1缓慢变化到u2时，从1变化到0，从0变化1，合成图像从图像G1(u,v)缓慢过渡到G2(u,v)。
步骤S104，重新选择一帧图像作为基准图像，重复步骤S101，S102，S103，得到各短周期拼接合成图像SDM1，SDM2，……，SDM8。
步骤S105，按图3所示多级拼接策略对上述短周期拼接合成图像SDM1，SDM2，……，SDM8进行配准拼接，得到长周期拼接合成图像LDM。长周期图像拼接需要对多个短周期拼接合成图像SDM1，SDM2，SDM3，……进行配准，由于各合成图像时间间隔较长，重叠率低，场景变化大，并且输入的短周期拼接图像已经不可避免地包含一些配准误差，因此选择鲁棒性更强的SIFT(Scale-Invariant Feature Transform)经典特征匹配算法对其进行配准，得到各短周期拼接图像之间变换矩阵HL完成拼接。
本实施例中，步骤S105具体包括：
将图像SDM1和SDM2进行拼接得到合成图像SDM12，将图像SDM3和SDM4进行拼接得到合成图像SDM34，将图像SDM5和SDM6进行拼接得到合成图像SDM56，将图像SDM7和SDM8进行拼接得到合成图像SDM78；
将图像SDM12和SDM34进行拼接得到合成图像SDM1234，将图像SDM56和SDM78进行拼接得到合成图像SDM5678；
将图像SDM1234和图像SDM5678进行拼接得到长周期拼接合成图像LDM。
步骤S106，当再输入新的一帧图像时，将上述长周期拼接合成图像LDM作为新的短周期拼接合成图像SDM1＇，然后对新输入的图像重复上述短周期图像拼接流程(步骤S101，S102，S103，S104)，得到多个短周期拼接合成图像SDM2＇，SDM3＇，……，再重复上述长周期图像拼接流程(步骤S105)，得到长周期拼接合成图像LDM＇，依此循环，直至所有输入图像拼接完毕。
本实施例中，将当前帧图像特征存储在“基准图像特征堆栈”或“非基准图像特征堆栈”中，用于与后续图像的配准拼接中，如图4所示，可以节省重复提取图像特征的时间，大大提高图像拼接的速度。
本实施例中，采用的“基准图像特征堆栈”的生命周期与整个长周期图像拼接环节一致，直至全部图像拼接完成。
本实施例中，采用的“非基准图像特征堆栈”的生命周期与短周期图像拼接的生命周期相同，当进入下一个短周期图像拼接环节时，将“非基准图像特征堆栈”清空，重新存储该周期内各待配准图像的特征。
结合图7所示，对应地，本发明实施例中提供一种图像拼接装置，包括：
获取单元701，用于获取连续帧图像中的任意帧图像作为第一基准图像；
处理单元702，用于根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；
所述处理单元702还用于将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；
所述处理单元702还用于将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；
所述处理单元702还用于获取所述各短周期内的所有拼接合成图像，并根据预设拼接策略，对所述所有短周期拼接合成图像进行拼接得到一个长周期拼接合成图像；
所述处理单元702还用于将长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。
可选地，所述处理单元702具体用于：
采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。
可选地，所述处理单元702具体用于：
将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。
可选地，所述处理单元702具体用于：
采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；
利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。
本发明提供的图像拼接装置，可用于降低拼接累积误差的航空视频图像自适应多级分层拼接，能够根据目标场景特性自适应选择合适的处理层次和配准算法，有效地解决了图像拼接误差随图像帧数增加而传播扩散的问题，同时采用渐入渐出法对配准后的图像进行融合处理，较好地消除了图像变换矩阵累积误差和图像亮度差异引起的拼接缝隙问题，得到一幅宽视场、高分辨率的合成图像，在图像拼接精度和鲁棒性方面有了明显提高；采用“特征堆栈”存储各帧图像特征，与后续图像进行配准拼接，能够有效减小计算量，节省重复提取图像特征的时间，进一步提高图像拼接速度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的一种图像拼接方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像拼接方法，其特征在于，包括：
获取连续帧图像中的任意帧图像作为第一基准图像；
根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；
将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；
将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；
获取第N+1帧图像，根据预设拼接策略，得到所有短周期拼接合成图像，并对所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像；
将长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，包括：
采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵，包括：
将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。
4.根据权利要求3所述的方法，其特征在于，所述将所述各短周期拼接图像进行拼接得到一个长周期拼接合成图像，包括：
采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；
利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。
5.根据权利要求4所述的方法，其特征在于，所述获取第N+1帧图像之前，还包括：
将各帧图像特征存储在“基准图像特征堆栈”或“非基准图像特征堆栈”中，用于与后续图像的配准拼接中。
6.根据权利要求1所述的方法，其特征在于，所述长周期拼接合成图像作为新拼接周期中的第一个短周期拼接合成图像，与所述后续获取的图像进行拼接以得到完整的拼接合成图像之后，还包括：
根据图像配准得到图像空间变换模型，将两幅图像变换到同一参考坐标系并采用渐入渐出法对配准后的图像重叠区域进行融合处理，以消除图像亮度差异和配准误差得到无缝拼接图像。
7.一种图像拼接装置，其特征在于，包括：
获取单元，用于获取连续帧图像中的任意帧图像作为第一基准图像；
处理单元，用于根据所述第一基准图像的场景复杂度值确定一个周期内拼接的图像帧数N，其中，所述N为大于0的自然数；
所述处理单元还用于将所述第一基准图像后的N帧图像与相邻的图像进行配准以获取各个图像之间的变换矩阵；
所述处理单元还用于将所述各个图像变换到基准图像坐标系中利用渐入渐出法对图像重叠区域进行融合处理得到短周期拼接合成图像；
所述处理单元还用于获取所述各短周期内的所有拼接合成图像，并根据预设拼接策略，对所述所有短周期拼接合成图像进行拼接得到一个长周期拼接合成图像；
所述处理单元还用于将长周期拼接合成图像作为新拼接流程中的第一个短周期拼接合成图像，与后续获取的图像进行拼接以得到完整的拼接合成图像。
8.根据权利要求7所述的装置，其特征在于，所述处理单元具体用于：
采用显著性特征作为图像场景复杂度高低的评价依据以确定短周期图像拼接的帧数N。
9.根据权利要求8所述的装置，其特征在于，所述处理单元具体用于：
将所述第一基准图像后的N帧图像与相邻的图像采用BRISK二进制特征匹配算法或FREAK二进制特征匹配算法进行配准以获取各个图像之间的变换矩阵。
10.根据权利要求9所述的装置，其特征在于，所述处理单元具体用于：
采用SIFT特征匹配算法或SURF特征匹配算法进行配准，得到各短周期拼接图像之间的第二变换矩阵；
利用所述第二变换矩阵进行拼接得到完整的拼接合成图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610726477.7A CN106447607B (zh) | 2016-08-25 | 2016-08-25 | 一种图像拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610726477.7A CN106447607B (zh) | 2016-08-25 | 2016-08-25 | 一种图像拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106447607A true CN106447607A (zh) | 2017-02-22 |
| CN106447607B CN106447607B (zh) | 2017-11-03 |
Family
ID=58182153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610726477.7A Active CN106447607B (zh) | 2016-08-25 | 2016-08-25 | 一种图像拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106447607B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507132A (zh) * | 2017-09-12 | 2017-12-22 | 成都纵横自动化技术有限公司 | 一种无人机航摄影像的实时拼接方法 |
| CN107577399A (zh) * | 2017-08-24 | 2018-01-12 | 上海与德科技有限公司 | 一种图片拼接方法及装置 |
| CN107919162A (zh) * | 2017-07-28 | 2018-04-17 | 广州华银医学检验中心有限公司 | 一种阅片信息分享方法及系统 |
| CN109829853A (zh) * | 2019-01-18 | 2019-05-31 | 电子科技大学 | 一种无人机航拍图像拼接方法 |
| CN110288528A (zh) * | 2019-06-25 | 2019-09-27 | 山东大学 | 一种面向微纳级视觉观测的图像拼接系统及方法 |
| CN110969594A (zh) * | 2019-11-29 | 2020-04-07 | 广东优世联合控股集团股份有限公司 | 图像拼接方法 |
| CN111325707A (zh) * | 2018-12-13 | 2020-06-23 | 深圳中科飞测科技有限公司 | 一种图像处理方法和系统、检测方法和系统 |
| CN115150525A (zh) * | 2022-09-05 | 2022-10-04 | 武汉精立电子技术有限公司 | 一种高精度运动误差补偿方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893595A (zh) * | 2011-03-18 | 2013-01-23 | 索尼公司 | 图像处理装置和方法以及程序 |
| CN103886569A (zh) * | 2014-04-03 | 2014-06-25 | 北京航空航天大学 | 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法 |
-
2016
- 2016-08-25 CN CN201610726477.7A patent/CN106447607B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893595A (zh) * | 2011-03-18 | 2013-01-23 | 索尼公司 | 图像处理装置和方法以及程序 |
| CN103886569A (zh) * | 2014-04-03 | 2014-06-25 | 北京航空航天大学 | 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107919162A (zh) * | 2017-07-28 | 2018-04-17 | 广州华银医学检验中心有限公司 | 一种阅片信息分享方法及系统 |
| CN107577399A (zh) * | 2017-08-24 | 2018-01-12 | 上海与德科技有限公司 | 一种图片拼接方法及装置 |
| CN107507132A (zh) * | 2017-09-12 | 2017-12-22 | 成都纵横自动化技术有限公司 | 一种无人机航摄影像的实时拼接方法 |
| CN107507132B (zh) * | 2017-09-12 | 2021-01-26 | 成都纵横自动化技术股份有限公司 | 一种无人机航摄影像的实时拼接方法 |
| CN111325707A (zh) * | 2018-12-13 | 2020-06-23 | 深圳中科飞测科技有限公司 | 一种图像处理方法和系统、检测方法和系统 |
| CN109829853A (zh) * | 2019-01-18 | 2019-05-31 | 电子科技大学 | 一种无人机航拍图像拼接方法 |
| CN109829853B (zh) * | 2019-01-18 | 2022-12-23 | 电子科技大学 | 一种无人机航拍图像拼接方法 |
| CN110288528A (zh) * | 2019-06-25 | 2019-09-27 | 山东大学 | 一种面向微纳级视觉观测的图像拼接系统及方法 |
| CN110969594A (zh) * | 2019-11-29 | 2020-04-07 | 广东优世联合控股集团股份有限公司 | 图像拼接方法 |
| CN115150525A (zh) * | 2022-09-05 | 2022-10-04 | 武汉精立电子技术有限公司 | 一种高精度运动误差补偿方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106447607B (zh) | 2017-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106447607A (zh) | 一种图像拼接方法及装置 | |
| Liang et al. | Swinir: Image restoration using swin transformer | |
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| RU2421814C2 (ru) | Способ формирования составного изображения | |
| Zomet et al. | Seamless image stitching by minimizing false edges | |
| CN101540046B (zh) | 基于图像特征的全景图拼接方法和装置 | |
| US20220148129A1 (en) | Image fusion method and portable terminal | |
| US20090262180A1 (en) | Apparatus for generating panoramic images and method thereof | |
| US20110150093A1 (en) | Methods and apparatus for completion of video stabilization | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| CN104252700A (zh) | 一种红外图像的直方图均衡化方法 | |
| CN103841298A (zh) | 一种基于颜色恒量和几何不变特征的视频稳像方法 | |
| US11875490B2 (en) | Method and apparatus for stitching images | |
| CN103238168A (zh) | 图像处理装置、图像处理方法及图像处理程序 | |
| CN111563517A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113298187A (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
| Li et al. | Optimal seamline detection in dynamic scenes via graph cuts for image mosaicking | |
| CN116016807B (zh) | 一种视频处理方法、系统、可存储介质和电子设备 | |
| JP5705391B1 (ja) | 画像処理装置及び画像処理方法 | |
| CN111242087B (zh) | 物体识别方法及装置 | |
| US9781357B2 (en) | Method and an apparatus for generating an approximate nearest neighbor field (ANNF) for images and video sequences | |
| CN111063001B (zh) | 图片合成方法、装置、电子设备以及存储介质 | |
| Tran et al. | Variational disparity estimation framework for plenoptic images | |
| Zhao et al. | Low-light image enhancement based on normal-light image degradation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |