CN105678721A - 一种全景拼接图像接缝处平滑的方法及装置 - Google Patents

一种全景拼接图像接缝处平滑的方法及装置 Download PDF

Info

Publication number
CN105678721A
CN105678721A CN201410667646.5A CN201410667646A CN105678721A CN 105678721 A CN105678721 A CN 105678721A CN 201410667646 A CN201410667646 A CN 201410667646A CN 105678721 A CN105678721 A CN 105678721A
Authority
CN
China
Prior art keywords
image
layer
gained
pixel value
block plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410667646.5A
Other languages
English (en)
Inventor
魏园波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infinova Ltd
Original Assignee
Shenzhen Infinova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Ltd filed Critical Shenzhen Infinova Ltd
Priority to CN201410667646.5A priority Critical patent/CN105678721A/zh
Publication of CN105678721A publication Critical patent/CN105678721A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域,尤其是一种全景拼接图像接缝处平滑的方法及装置。通过将每幅全景分区图分解为多层频带,图像的融合在不同的频带分别进行,能有效避免图像融合时产生鬼影,实现全景拼接图像接缝处的平滑,并且由于图像的多层频带分解和重构是一个互逆的过程,使用这种方法可以保证所得拼接图像的正确性。全景图的产生满足了大视场视频监控的要求,随着监控范围的不断扩大,需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控,大多数摄像机的视场达不到这样大的监控范围,逐渐形成了一种高端需求。全景拼接图像接缝处的平滑可以使全景图看起来更加的流畅。

Description

一种全景拼接图像接缝处平滑的方法及装置
技术领域
本发明涉及图像处理技术领域,尤其是一种全景拼接图像接缝处平滑的方法及装置。
背景技术
在监控系统快速发展的今天,系统规模越来越大,监控点越来越多,工作人员面对越来越多的监控图像已无暇顾及,随着监控范围的不断扩大,需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控,大多数摄像机的视场达不到这样大的监控范围,因此对大视场视频监控的要求逐渐增多,逐渐形成了一种高端需求。视频全景拼接作为一种解决方案,也得到了越来越多的关注。全景拼接接触处往往无法拼接的很平滑,因此,需要一种全景拼接图像接缝处平滑的方法及装置。
发明内容
本发明所要解决的技术问题是:提供一种全景拼接图像接缝处平滑的方法及装置,实现拼接接缝处平滑。
为了解决上述技术问题,本发明采用的技术方案为:
一种全景拼接图像接缝处平滑的方法,包括:
S101、采集两幅以上待拼接的全景分区图;
S102、将S101所得全景分区图进行图像特征提取;
S103、将S102所得全景分区图进行图像特征匹配;
S104、将S103所得全景分区图投影至同一坐标系下,对所得全景分区图采用多分辨率融合进行图像融合;所述多分辨率融合具体步骤为:
S1041、对每幅全景分区图进行低通滤波;
S1042、对步骤S1041所得每幅全景分区图进行降采样,分解为第1层、第2层、……、第N层的图像像素值,N>2,N为整数;
S1043、对步骤S1042所分解的各个层的图像像素值分别进行插值放大,获取插值放大后的图像像素值;
S1044、各个层分别将步骤S1043所得插值放大后的图像像素值与步骤S1042分解后所得的图像像素值进行相减;
S1045、将步骤S1044所得每幅全景分区图的图像像素值相减后的第1层、第2层、……、第N层的图像像素值分别进行融合;
S1046、将步骤S1045所得融合后的第1层、第2层、……、第N层的图像像素值进行重构,获取全景图像。
本发明采用的另一技术方案为:
一种全景拼接图像接缝处平滑的装置,包括依次连接的图像采集模块、特征提取模块、特征匹配模块和图像处理模块;
所述图像采集模块,用于采集两幅以上待拼接的全景分区图;
所述特征提取模块,用于将图像采集模块采集到的两幅以上待拼接的全景分区图进行图像特征提取;
所述特征匹配模块,用于将特征提取模块所得特征提取后的全景分区图进行图像特征匹配;
所述图像处理模块,用于将特征匹配模块所得全景分区图投影至同一坐标系下,对所得全景分区图采用多分辨率融合进行图像融合;
所述图像处理模块包括依次连接的低通滤波单元、降采样单元、插值放大单元、运算单元、融合单元和重构单元;
所述低通滤波单元,用于对每幅待拼接的全景分区图进行低通滤波;
所述降采样单元,用于对低通滤波单元所得每幅待拼接的全景分区图进行降采样,分解为第1层、第2层、……、第N层的图像像素值,N>2,N为整数;
所述插值放大单元,用于将降采样单元所分解的各层的图像像素值分别进行插值放大,获取对应插值放大后的图像像素值;
所述运算单元,用于各个层分别将插值放大单元所得的图像像素值与降采样单元所得的图像像素值进行相减;
所述融合单元,用于将运算单元所得每幅全景分区图的图像像素值相减后的第1层、第2层、……、第N层的图像像素值分别进行融合;
所述重构单元,用于将融合单元所得融合后的第1层、第2层、……、第N层的图像像素值进行重构,获取全景图像。
本发明的有益效果在于:通过将每幅全景分区图分解为多层频带,图像的融合在不同的频带分别进行,能有效避免图像融合时产生鬼影,实现全景拼接图像接缝处的平滑,并且由于图像的多层频带分解和重构是一个互逆的过程,使用这种方法可以保证所得拼接图像的正确性。全景图的产生满足了大视场视频监控的要求,随着监控范围的不断扩大,需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控,大多数摄像机的视场达不到这样大的监控范围,逐渐形成了一种高端需求。全景拼接图像接缝处的平滑可以使全景图看起来更加的流畅。
附图说明
图1为本发明具体实施方式的全景拼接图像接缝处平滑的方法的步骤图;
图2为本发明具体实施方式的尺度空间极值检测示意图;
图3为本发明具体实施方式的提取sift特征点生成本地特征描述符示意图;
图4为本发明具体实施方式的灰色区域积分示意图;
图5为本发明具体实施方式的提取surf特征点生成本地特征描述符示意图;
图6为本发明具体实施方式的提取到的harris角点示意图;
图7为本发明具体实施方式的平面投影模型示意图;
图8为本发明具体实施方式的柱面投影模型示意图;
图9为本发明具体实施方式的球面投影模型示意图;
图10为本发明具体实施方式的降采样过程的示意图;
图11为本发明具体实施方式中平均叠加法示意图;
图12为本发明具体实施方式中选取融合区域的示意图;
图13为本发明具体实施方式的实施例一的示意图;
图14为本发明具体实施方式的全景拼接图像接缝处平滑的装置的结构示意图;
标号说明:
10、图像采集模块;20、特征提取模块;30、特征匹配模块;40、图像处理模块;401、低通滤波单元;402、降采样单元;403、插值放大单元;404、运算单元;405、融合单元;406、重构单元。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
本发明最关键的构思在于:通过将每幅全景分区图分解为多层频带,图像的融合在不同的频带分别进行,能有效避免图像融合时产生鬼影,实现全景拼接图像接缝处的平滑。
请参照图1,是本发明具体实施方式的全景拼接图像接缝处平滑的方法的步骤图,具体如下:
一种全景拼接图像接缝处平滑的方法,包括:
S101、采集两幅以上待拼接的全景分区图;
S102、将S101所得全景分区图进行图像特征提取;
S103、将S102所得全景分区图进行图像特征匹配;
S104、将S103所得全景分区图投影至同一坐标系下,对所得全景分区图采用多分辨率融合进行图像融合;所述多分辨率融合具体步骤为:
S1041、对每幅全景分区图进行低通滤波;
S1042、对步骤S1041所得每幅全景分区图进行降采样,分解为第1层、第2层、……、第N层的图像像素值,N>2,N为整数;
S1043、对步骤S1042所分解的各个层的图像像素值分别进行插值放大,获取插值放大后的图像像素值;
S1044、各个层分别将步骤S1043所得插值放大后的图像像素值与步骤S1042分解后所得的图像像素值进行相减;
S1045、将步骤S1044所得每幅全景分区图的图像像素值相减后的第1层、第2层、……、第N层的图像像素值分别进行融合;
S1046、将步骤S1045所得融合后的第1层、第2层、……、第N层的图像像素值进行重构,获取全景图像。
从上述描述可知,本发明的有益效果在于:通过将每幅全景分区图分解为多层频带,图像的融合在不同的频带分别进行,能有效避免图像融合时产生鬼影,实现全景拼接图像接缝处的平滑,并且由于图像的多层频带分解和重构是一个互逆的过程,使用这种方法可以保证所得拼接图像的正确性。全景图的产生满足了大视场视频监控的要求,随着监控范围的不断扩大,需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控,大多数摄像机的视场达不到这样大的监控范围,逐渐形成了一种高端需求。全景拼接图像接缝处的平滑可以使全景图看起来更加的流畅。
进一步的,所述步骤S102中“特征提取”为提取sift、surf或harris特征点。
所述提取sift特征点步骤为:
1)尺度空间极值检测,初步确定关键点位置和所在尺度。通过高斯核函数与图像的卷积来实现二维图像的尺度空间。
G ( x , y , σ ) = 1 2 π σ 2 e - ( x 2 + y 2 ) / 2 σ 2 , L ( x , y , σ ) = G ( x , y , σ ) * I ( x , y ) ;
在检测尺度空间极值时,图2中标记为叉号的像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域9×2个像素总共26个像素进行比较,以确保在尺度空间和二维图像空间都检测到局部极值;
2)精确定位特征点的位置,通过拟合三维二次函数以精确确定关键点的位置和尺度,同时去除低对比度的关键点和不稳定的边缘响应点;
在关键点处用泰勒展开式得到:
D ( X ) = D + ∂ D T ∂ X X + 1 2 X T ∂ 2 D ∂ X 2 X ;
式中,X=(x,y,σ)T为关键点的偏移量,D是在D(x,y,σ)关键点处的值;
3)确定特征点的主方向;
m ( x , y ) = ( L ( x + 1 , y ) - L ( x - 1 , y ) ) 2 + ( L ( x , y + 1 ) - L ( x , y - 1 ) ) 2
θ(x,y)=atan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)));
4)生成本地特征描述符;
首先将坐标轴旋转为关键点的方向,以关键点为中心取4*4的窗口,如图3所示。如图3中左图的黑点为当前关键点的位置,每个小格代表关键点邻域所在尺度空间的一个像素,箭头方向代表该像素的梯度方向,箭头长度代表梯度的大小,圆圈代表高斯加权的范围(越靠近关键点的像素梯度方向信息贡献越大)。接下来在每个4*4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,即可形成一个种子点,一个关键点由4*4共16个种子点组成,每个种子点有8个方向向量信息,即最终形成128维的sift特征向量。
所述提取surf特征点步骤为:
1)IntegralImages(积分图);
积分图主要是计算图像内某一个区域的像素和,积分图在位置x处的定义如下:
I Σ ( x ) = Σ i = 0 i ≤ x Σ j = 0 j ≤ y I ( i , j ) ;
如图4中灰色区域积分图为:A-B-C+D;
2)近似Hessian矩阵;
给定图像I中一点X=(x,y),其Hessian矩阵为:
3)尺度空间描述;
surf中只是boxfilter的大小变化,而非图像缩放;
4)特征点定位;
根据Hessian矩阵求出尺度图像在(x,y)处的极值后,首先在极值点的3×3×3的立体邻域内进行非极大值抑制,在尺度空间和图像空间中进行插值,使用二次拟合函数进行插值:
D ( X ) = D + ∂ D T ∂ X X + 1 2 X T ∂ D ∂ X 2 X ;
对上式进行求导,并取得极值点处的极值为:
L xx = ∂ 2 g ( σ ) ∂ x 2 * I ( x , y ) ;
当极值≥0.03时,该点为特征点;
5)特征描述符;
如图5,以特征点为中心,沿着主方位构建一个边长为20的正方形,再分为4*4的子区域,在每个小区域内又分为5*5采样点,计算Haar小波在相对于主方位响应的水平和垂直方向上的响应;
所述提取harris特征点步骤为:
1)对每一像素点计算相关矩阵m;
m = I x 2 I x I y I x I y I y 2
I x 2 = I x * I x
I y 2 = I y * I y ;
2)对m的四个元素进行高斯平滑滤波,得到新的m,高斯函数为:
Gauss = exp ( - ( x 2 + y 2 ) 2 σ 2 ) ;
3)利用m计算每个像素的角点量cim;
cim = I x 2 * I y 2 - ( I x I y ) 2 I x 2 + I y 2 ;
4)cim满足大于某一个阈值和cim是某邻域局部极大值,满足条件的就是角点;
如图6为一幅图像中提取到的harris角点。
由上述描述可知,所述“特征提取”为提取sift特征点中“通过拟合三维二次函数以精确确定关键点的位置和尺度,同时去除低对比度的关键点和不稳定的边缘响应点”可增强匹配稳定性、提高抗噪声能力;所述“特征提取”为提取surf特征点中“在尺度空间和图像空间中进行插值”能够对候选特征点进行亚像素定位。
进一步的,所述步骤S104中“投影”采用平面投影模型或柱面投影模型或球面投影模型。
所述全景图,采用平面投影模型进行投影合成具体步骤为:
如图7,平面投影模型是先使用图像配准技术求得待拼接图像间的变换关系,再选定参考平面,并将图像逐个投影到参考平面,再使用图像融合技术生成全景图像。参考平面的选取可以是一幅参考图像所在平面,也可以是空间中的任意平面。由于是平面到平面的变换,用8个参数模型透视变换矩阵H。
H = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 1 ;
该透视变换矩阵是一个3×3的矩阵,最后一个参数固定为1,其余8个参数未知,需通过特征匹配对计算获取,通过至少4对特征匹配对,8个未知数,8个方程采用最小二乘法计算。
所述全景图,采用柱面投影模型进行投影合成具体步骤为:
如图8,把所有图像投影到圆柱体表面,建立以视点o为原点的柱面二维坐标系(Xc,Yc),定义圆柱体的截面半径为f,平面S为图像平面,点P,Q为平面S上的点,点M,N为圆柱面上的点,且M,N是只Q在圆柱面上的投影点,平面图像S以C为坐标原点。所述Xc,Yc公式如下:
X c = f × arctan x f
Y c = yf x 2 + f 2 ;
所述全景图,采用球面投影模型进行投影合成具体步骤为:
如图9,把所有图像投影到球体表面,建立以视点O为原点的球面二维坐标系(Xs,Ys),定义圆柱体的截面半径为f,平面S为图像平面,点P,Q为平面S上的点,点M,N为球面上的点,且M,N是P,Q在球面上的投影点,平面图像S以C为坐标原点。
定义球面原点坐标为(0,0),点P在球面坐标系下的对应点M的经纬坐标为:
X s = f × arctan x f
Y s = f × arctan y x 2 = f 2 ;
进一步的,所述步骤S1041具体为:对每幅待拼接的全景分区图采用加权函数进行低通滤波;所述步骤S1042的降采样具体为:对低通滤波后的全景分区图隔行隔列取点。
如图10,其中左边的图为原图,右边的图为降采样后图像,每一个图案可认为是一个像素。
进一步的,所述步骤S1045:将步骤S1044所得每幅全景分区图的图像像素值相减后的第1层、第2层、……、第N层的图像像素值分别进行融合;所述融合为对融合区域像素值进行运算的过程,如图11,其图中的图像1和图像2是原始图像经过分解后的图像。图像融合区域中像素点的像素值Pixel由两幅图像中对应点的像素值Pixel_L和Pixel_R加权平均得到,即:Pixel=k×Pixel_L+(1-k)×Pixel_R,其中k是可调因子。
通常情况下0≤k≤1,即在融合区域中,沿图像1向图像2的方向,k由1渐变为0,从而实现融合区域的平滑拼接。为使图像融合区域中的点与两幅图像建立更大的相关性,令k=d1/(d1+d2),如图12,其中:d1,d2分别表示融合区域中的点到两幅图像融合区域的左边界和右边界的距离。重叠区域并不等于融合区域,一旦2幅原始的图像确定,那么重叠区域宽肯定是固定的,但融合区域是人为控制的,可以在重叠区域范围内选择任意只要满足融合区域W1≤W2就可以。
即使用公式Pixel=d1/(d1+d2)×Pixel_L+d2/(d1+d2)×Pixel_R进行缝合线处理,非融合区域直接从原图映射获取。
进一步的,所述步骤S1046:将步骤S1045所得融合后的第1层、第2层、……、第N层的图像像素值进行重构,获取全景图像。所述重构为将不同频带上融合的图像重新组合成一幅完整的大图,融合公式如下:
I kσ multi ( θ , φ ) = Σ i = 1 n B kσ i ( θ , φ ) W kσ i ( θ , φ ) Σ i = 1 n W kσ i ( θ , φ ) ;
其中B为不同频带层融合后的图像,W为权重,不同频带权重不一样,不同频带融合过程,分别处理融合区域和非融合区域,融合区域采用渐入渐出的方法消除拼接接缝。
如图13,本发明具体实施例一为:
首先构建图像金字塔分层结构,将输入图像分解为一系列不同频带的带通层;然后对各带通层分别进行融合得到拼接图像的带通层:最后由拼接图像的带通层重构得到最终的拼接图像。因为图像融合在不同的频带分别进行,所以能有效避免图像融合产生鬼影;并且由于图像的多频带分解和重构是一个互逆的过程,使用这种方法可以保证所得拼接图像的正确性。具体步骤如下:
Step1:构建图像金字塔分层结构,得到每一幅图像的高斯金字塔G0以及分解得到的Gl,G2,……,GN;
其中G0为原始图像,w(m,n)=h(m)h(n)为5x5窗口的加权函数。
如上面提供的公式:G0(x,y)为原始图像,G1(x,y)为第一层,那么可以根据以下公式计算获取尺度1图像G1。
G 1 ( x , y ) = Σ m = - 2 m = 2 Σ n = - 2 n = 2 h ( m ) h ( n ) G 0 ( 2 x + m , 2 y + n ) ,
h的选取服从高斯密度分布函数,由公式中G0和G1的参数可以看出,G1的宽、高是G0的一半,序列中的每一级图像均为其前一级图像低通滤波后作隔行隔列降采样所得。高斯金字塔是一个在尺寸上逐层减半的一组图像序列。
同理,可根据以下公式计算获取尺度2图像G2;
G 2 ( x , y ) = Σ m = - 2 m = 2 Σ n = - 2 n = 2 w ( m ) w ( n ) G 1 ( 2 x + m , 2 y + n ) ;
其它尺度下图像依此类推。
Step2:利用所得图像的各低通层,分解得到该图像的带通层L0,L1,…LN-1;
L l ( x , y ) = G l ( x , y ) - 4 Σ Σ m , n = - 2 2 G l ( 2 x + m 2 , 2 y + n 2 ) ;
Step3:在各带通层中分别进行图像融合操作,这里使用加权法平均实现,针对当前的LK层,有:
L kout ( x , y ) = Σ i = 0 i = N - 1 L kii ( x ′ , y ′ ) w i ( x ′ ) w i ( y ′ ) Σ i = 0 i = N - 1 w i ( x ′ ) w i ( y ′ ) ;
经过该步操作,得到输出图像所对应的带通空间L0out,L1out,LN-1out。
Step4:将所得各带通层进行重构,得到最终的拼接图像;
G out = Σ k = 0 N L kout .
请参考图14,为本发明具体实施方式的全景拼接图像接缝处平滑的装置的结构示意图,具体如下:
一种全景拼接图像接缝处平滑的装置,包括依次连接的图像采集模块10、特征提取模块20、特征匹配模块30和图像处理模块40;
所述图像采集模块10,用于采集两幅以上待拼接的全景分区图;
所述特征提取模块20,用于将图像采集模块10采集到的两幅以上待拼接的全景分区图进行图像特征提取;
所述特征匹配模块30,用于将特征提取模块20所得特征提取后的全景分区图进行图像特征匹配;
所述图像处理模块40,用于将特征匹配模块30所得全景分区图投影至同一坐标系下,对所得全景分区图采用多分辨率融合进行图像融合;
所述图像处理模块40包括依次连接的低通滤波单元401、降采样单元402、插值放大单元403、运算单元404、融合单元405和重构单元406;
所述低通滤波单元401,用于对每幅待拼接的全景分区图进行低通滤波;
所述降采样单元402,用于对低通滤波单元401所得每幅待拼接的全景分区图进行降采样,分解为第1层、第2层、……、第N层的图像像素值,N>2,N为整数;
所述插值放大单元403,用于将降采样单元402所分解的各层的图像像素值分别进行插值放大,获取对应插值放大后的图像像素值;
所述运算单元404,用于各个层分别将插值放大单元403所得的图像像素值与降采样单元402所得的图像像素值进行相减;
所述融合单元405,用于将运算单元404所得每幅全景分区图的图像像素值相减后的第1层、第2层、……、第N层的图像像素值分别进行融合;
所述重构单元406,用于将融合单元405所得融合后的第1层、第2层、……、第N层的图像像素值进行重构,获取全景图像。
所述第1层为G1,所述第2层为G2,以此类推,所述第N层为GN。
从上述描述可知,本发明的有益效果在于:通过将每幅全景分区图分解为多层频带,图像的融合在不同的频带分别进行,能有效避免图像融合时产生鬼影,实现全景拼接图像接缝处的平滑,并且由于图像的多层频带分解和重构是一个互逆的过程,使用这种方法可以保证所得拼接图像的正确性。全景图的产生满足了大视场视频监控的要求,随着监控范围的不断扩大,需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控,大多数摄像机的视场达不到这样大的监控范围,逐渐形成了一种高端需求。全景拼接图像接缝处的平滑可以使全景图看起来更加的流畅。
综上所述,本发明提供的一种全景拼接图像接缝处平滑的方法及装置,通过将每幅全景分区图分解为多层频带,图像的融合在不同的频带分别进行,能有效避免图像融合时产生鬼影,实现全景拼接图像接缝处的平滑,并且由于图像的多层频带分解和重构是一个互逆的过程,使用这种方法可以保证所得拼接图像的正确性。全景图的产生满足了大视场视频监控的要求,随着监控范围的不断扩大,需要对整座桥梁、机场、很长一段公路或者高层建筑进行监控,大多数摄像机的视场达不到这样大的监控范围,逐渐形成了一种高端需求。全景拼接图像接缝处的平滑可以使全景图看起来更加的流畅,便于在生活中的应用。所述“特征提取”为提取sift特征点中“通过拟合三维二次函数以精确确定关键点的位置和尺度,同时去除低对比度的关键点和不稳定的边缘响应点”可增强匹配稳定性、提高抗噪声能力;所述“特征提取”为提取surf特征点中“在尺度空间和图像空间中进行插值”能够对候选特征点进行亚像素定位。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种全景拼接图像接缝处平滑的方法,其特征在于,包括:
S101、采集两幅以上待拼接的全景分区图;
S102、将S101所得全景分区图进行图像特征提取;
S103、将S102所得全景分区图进行图像特征匹配;
S104、将S103所得全景分区图投影至同一坐标系下,对所得全景分区图采用多分辨率融合进行图像融合;所述多分辨率融合具体步骤为:
S1041、对每幅全景分区图进行低通滤波;
S1042、对步骤S1041所得每幅全景分区图进行降采样,分解为第1层、第2层、……、第N层的图像像素值,N>2,N为整数;
S1043、对步骤S1042所分解的各个层的图像像素值分别进行插值放大,获取插值放大后的图像像素值;
S1044、各个层分别将步骤S1043所得插值放大后的图像像素值与步骤S1042分解后所得的图像像素值进行相减;
S1045、将步骤S1044所得每幅全景分区图的图像像素值相减后的第1层、第2层、……、第N层的图像像素值分别进行融合;
S1046、将步骤S1045所得融合后的第1层、第2层、……、第N层的图像像素值进行重构,获取全景图像。
2.根据权利要求1所述的全景拼接图像接缝处平滑的方法,其特征在于,所述步骤S102中“特征提取”为提取sift、surf或harris特征点。
3.根据权利要求1所述的全景拼接图像接缝处平滑的方法,其特征在于,所述步骤S104采用平面投影模型或柱面投影模型或球面投影模型进行投影。
4.根据权利要求1所述的全景拼接图像接缝处平滑的方法,其特征在于,所述步骤S1041具体为:对每幅待拼接的全景分区图采用加权函数进行低通滤波;所述步骤S1042的降采样具体为:对低通滤波后的全景分区图隔行隔列取点。
5.一种全景拼接图像接缝处平滑的装置,其特征在于,包括依次连接的图像采集模块、特征提取模块、特征匹配模块和图像处理模块;
所述图像采集模块,用于采集两幅以上待拼接的全景分区图;
所述特征提取模块,用于将图像采集模块采集到的两幅以上待拼接的全景分区图进行图像特征提取;
所述特征匹配模块,用于将特征提取模块所得特征提取后的全景分区图进行图像特征匹配;
所述图像处理模块,用于将特征匹配模块所得全景分区图投影至同一坐标系下,对所得全景分区图采用多分辨率融合进行图像融合;
所述图像处理模块包括依次连接的低通滤波单元、降采样单元、插值放大单元、运算单元、融合单元和重构单元;
所述低通滤波单元,用于对每幅待拼接的全景分区图进行低通滤波;
所述降采样单元,用于对低通滤波单元所得每幅待拼接的全景分区图进行降采样,分解为第1层、第2层、……、第N层的图像像素值,N>2,N为整数;
所述插值放大单元,用于将降采样单元所分解的各层的图像像素值分别进行插值放大,获取对应插值放大后的图像像素值;
所述运算单元,用于各个层分别将插值放大单元所得的图像像素值与降采样单元所得的图像像素值进行相减;
所述融合单元,用于将运算单元所得每幅全景分区图的图像像素值相减后的第1层、第2层、……、第N层的图像像素值分别进行融合;
所述重构单元,用于将融合单元所得融合后的第1层、第2层、……、第N层的图像像素值进行重构,获取全景图像。
CN201410667646.5A 2014-11-20 2014-11-20 一种全景拼接图像接缝处平滑的方法及装置 Pending CN105678721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410667646.5A CN105678721A (zh) 2014-11-20 2014-11-20 一种全景拼接图像接缝处平滑的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410667646.5A CN105678721A (zh) 2014-11-20 2014-11-20 一种全景拼接图像接缝处平滑的方法及装置

Publications (1)

Publication Number Publication Date
CN105678721A true CN105678721A (zh) 2016-06-15

Family

ID=56957271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410667646.5A Pending CN105678721A (zh) 2014-11-20 2014-11-20 一种全景拼接图像接缝处平滑的方法及装置

Country Status (1)

Country Link
CN (1) CN105678721A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934762A (zh) * 2017-03-09 2017-07-07 史鹏飞 一种图像拼接方法和设备
CN106960442A (zh) * 2017-03-01 2017-07-18 东华大学 基于单目红外的夜间机器人视觉大视场三维构建方法
CN107545541A (zh) * 2017-08-22 2018-01-05 浙江工商大学 一种面向vr场景的图像拼接方法
CN108022204A (zh) * 2016-10-31 2018-05-11 央视国际网络无锡有限公司 一种柱面全景视频转换为球面全景视频的方法
CN108040241A (zh) * 2016-10-31 2018-05-15 央视国际网络无锡有限公司 一种球面全景视频转换为柱面全景视频的方法
CN109671045A (zh) * 2018-12-28 2019-04-23 广东美电贝尔科技集团股份有限公司 一种多图像融合方法
CN109996069A (zh) * 2018-01-03 2019-07-09 华为技术有限公司 视频图像编解码方法及设备
CN112750155A (zh) * 2021-01-15 2021-05-04 福州大学 基于卷积神经网络的全景深度估计方法
US11343496B2 (en) 2019-09-18 2022-05-24 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding an image based on in-loop filter
TWI767330B (zh) * 2019-09-18 2022-06-11 南韓商B1影像技術研究所有限公司 解碼及編碼影像的方法及裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN102968777A (zh) * 2012-11-20 2013-03-13 河海大学 一种基于重叠区域sift特征点的图像拼接方法
CN103955888A (zh) * 2014-05-12 2014-07-30 中国人民解放军空军预警学院监控系统工程研究所 一种基于sift的高清视频图像拼接方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN102968777A (zh) * 2012-11-20 2013-03-13 河海大学 一种基于重叠区域sift特征点的图像拼接方法
CN103955888A (zh) * 2014-05-12 2014-07-30 中国人民解放军空军预警学院监控系统工程研究所 一种基于sift的高清视频图像拼接方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄成满: "基于CUDA并行计算的无人机遥感图像快速拼接", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040241B (zh) * 2016-10-31 2019-12-03 央视国际网络无锡有限公司 一种球面全景视频转换为柱面全景视频的方法
CN108040241A (zh) * 2016-10-31 2018-05-15 央视国际网络无锡有限公司 一种球面全景视频转换为柱面全景视频的方法
CN108022204B (zh) * 2016-10-31 2019-09-13 央视国际网络无锡有限公司 一种柱面全景视频转换为球面全景视频的方法
CN108022204A (zh) * 2016-10-31 2018-05-11 央视国际网络无锡有限公司 一种柱面全景视频转换为球面全景视频的方法
CN106960442A (zh) * 2017-03-01 2017-07-18 东华大学 基于单目红外的夜间机器人视觉大视场三维构建方法
CN106934762B (zh) * 2017-03-09 2020-08-04 北京星云环影科技有限责任公司 一种图像拼接方法和设备
CN106934762A (zh) * 2017-03-09 2017-07-07 史鹏飞 一种图像拼接方法和设备
CN107545541B (zh) * 2017-08-22 2020-05-19 浙江工商大学 一种面向vr场景的图像拼接方法
CN107545541A (zh) * 2017-08-22 2018-01-05 浙江工商大学 一种面向vr场景的图像拼接方法
CN109996069B (zh) * 2018-01-03 2021-12-10 华为技术有限公司 视频图像编解码方法及设备
CN109996069A (zh) * 2018-01-03 2019-07-09 华为技术有限公司 视频图像编解码方法及设备
US11800095B2 (en) 2018-01-03 2023-10-24 Huawei Technologies Co., Ltd. Video picture encoding and decoding method and device
CN109671045A (zh) * 2018-12-28 2019-04-23 广东美电贝尔科技集团股份有限公司 一种多图像融合方法
US11343496B2 (en) 2019-09-18 2022-05-24 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding an image based on in-loop filter
TWI767330B (zh) * 2019-09-18 2022-06-11 南韓商B1影像技術研究所有限公司 解碼及編碼影像的方法及裝置
US11876961B2 (en) 2019-09-18 2024-01-16 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding an image based on in-loop filter
CN112750155B (zh) * 2021-01-15 2022-07-01 福州大学 基于卷积神经网络的全景深度估计方法
CN112750155A (zh) * 2021-01-15 2021-05-04 福州大学 基于卷积神经网络的全景深度估计方法

Similar Documents

Publication Publication Date Title
CN105678721A (zh) 一种全景拼接图像接缝处平滑的方法及装置
Yin et al. A novel image fusion algorithm based on nonsubsampled shearlet transform
CN105608667A (zh) 一种全景拼接的方法及装置
CN105678722A (zh) 一种全景拼接图像弯曲矫正方法及装置
CN105678719A (zh) 一种全景拼接接缝处平滑方法及装置
KR101175097B1 (ko) 파노라마 영상 생성 방법
El-Mezouar et al. A pan-sharpening based on the non-subsampled contourlet transform: Application to worldview-2 imagery
Liu et al. Spatial-Hessian-feature-guided variational model for pan-sharpening
CN102789637B (zh) 基于改进的susan算子的显著性区域提取
CN104794692A (zh) 一种图像去锯齿的系统
CN105678720A (zh) 一种全景拼接判断图像匹配方法及装置
CN112651469A (zh) 一种红外与可见光图像融合方法及系统
Xiao et al. Image Fusion
WO2022233252A1 (zh) 图像处理方法、装置、计算机设备和存储介质
Adu et al. Image fusion based on visual salient features and the cross-contrast
CN105608689A (zh) 一种全景拼接消除图像特征误匹配方法及装置
CN103065291A (zh) 基于提升小波变换和像素区域相关性的图像融合方法
CN104899857A (zh) 使用颜色编码结构的相机标定方法及装置
Luo et al. Multi-modal image fusion via deep laplacian pyramid hybrid network
Choi et al. Performance analysis of contourlet-based hyperspectral image fusion methods
Yang et al. Superpixel based fusion and demosaicing for multi-focus Bayer images
Xu et al. Image sequence fusion and denoising based on 3D shearlet transform
Srivastava et al. Image fusion based on nonsubsampled contourlet transform
Karantzalos et al. Towards automatic detection of coastlines from satellite imagery
Pyka Detection of orthoimage mosaicking seamlines by means of wavelet transform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160615