CN110175011B - 一种全景影像无缝拼接方法 - Google Patents
一种全景影像无缝拼接方法 Download PDFInfo
- Publication number
- CN110175011B CN110175011B CN201910369949.1A CN201910369949A CN110175011B CN 110175011 B CN110175011 B CN 110175011B CN 201910369949 A CN201910369949 A CN 201910369949A CN 110175011 B CN110175011 B CN 110175011B
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- calculating
- model
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000011159 matrix material Substances 0.000 claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000013178 mathematical model Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 238000007500 overflow downdraw method Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007865 diluting Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种全景影像无缝拼接方法，主要包括包括步骤：步骤1、假设有若干个影像，每个影像分别由a1，a2，...，an；b1，b2，...，bn；...；d1，d2，...，dn；.....帧构成，分别对原始影像的a1～an帧图像进行预处理，对a1、b1、...、d1；a2、b2、...、d2；.....帧图像进行预处理并采用改进ORB算法对该帧图像进行图像配准；步骤2、PROSAC算法剔除虚假匹配；步骤3、计算上述步骤中已匹配特征点坐标关系的数学模型，即变换矩阵H；步骤4、计算接缝线；本发明实现将多段影像拼接成全景无缝影像，其拼接速度快，拼接质量良好，且有效的消除了重影。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种全景影像拼接方法。
背景技术
随着各方面技术发展越来越广泛和深入，对具有较大视域全景影像的需求也越来越大。全景影像拼接经过近几年的迅速发展，受到研究人员越来越多的关注。目前全景影像拼接已经成为计算机领域、图像处理领域、虚拟现实领域的关键技术，在地质勘探、军事侦察、医学微创手术及航空航天等领域发挥重要作用。
全景影像拼接即使用多个摄像机对同一场景在不同角度拍摄，把得到的影像无缝拼接成一段无缝连续的影像。其拼接过程主要是将影像分解为单帧图像，然后把具有重叠区域的每一帧图像对应拼接。图像拼接有三个主要部分：图像预处理、图像配准和图像融合。图像配准作为图像拼接的核心部分，是研究人员研究的重点，其方法基本包括两类：基于频域的方法和基于时域的方法，而后者又分为基于特征的方法和基于区域的方法，基于特征的方法是当前图像配准的主流方法。2011年提出了能够快速提取和描述特征点的ORB算法，该算法最大的特点就是计算速度快，且效果良好。
计算最佳接缝线是全景影像无缝拼接的重要步骤。确定了最佳的接缝线能有效消除重影和鬼影问题。理想的最佳接缝线应该具有如下特点：使接缝线上任意位置的两点的颜色差异最小化；要求曲线上的点在原始图像上有两个相似的几何结构。
图像融合是将两幅及多幅具有重叠区域的图像融合成为一张无缝的全景图像。一般情况下，图像融合由低到高分为：信号级融合、像素级融合、特征级融合、决策级融合，当前研究和应用最多的就是像素级融合。常用的图像融合算法包括：基于绝对值取大方法、基于金字塔变换的方法、基于小波变换的方法、加权平均融合方法等。基于绝对值取大方法优点在于边缘强度高，纹理清晰，但是拼接感强，结构不完整；基于金字塔变换方法重建过程存在不确定性，不稳定性，可能会导致融合结果的模糊；基于小波变换的方法拥有水平，垂直和对角三种高频子带，但是它难以反映线和面的奇异行，还缺乏对自然图像进行稀释表示的能力；加权平均融合方法是最简单、直接的图像融合方法。它具有简单易实现、运算速度快的优点，并能提高融合图像的信噪比，但是这种方法削弱了图像中的细节信息，降低了图像的对比度，在一定程度上使得图像中的边缘变模糊。
在摄像机捕捉运动目标时，很难保持特征点的时态帧间一致性，这样使用上述算法检测到的特征点可能导致其坐标发生变化或被遮挡，或者离开重叠区域，然后将导致在帧之间获得转换不规则性，并且检测每个帧中的特征点变得更加复杂和耗费时间。卡尔曼滤波结合交互式模型(IMM-FT)的方法能够跟踪前一帧的特征，找出其在当前帧中的位置，有效降低了特征检测的复杂度。
近几年，全景影像无缝拼接技术发展迅速，各种改进的拼接算法层出不穷，基本能够起到一定的效果。但是仍然存在如速度慢、效率低及拼接后存在重影和鬼影等问题和难题。
发明内容
本发明目的在于提供一种全景影像无缝拼接方法，在保证拼接图像质量的情况下大大提高了影像拼接的速度，并且对于消除拼接图像的重影和鬼影起到良好的效果。
本发明的技术方案通过如下步骤实现：
一种全景影像无缝拼接方法，步骤主要包括：
步骤1、假设有若干个影像，每个影像分别由a1，a2，...，an；b1，b2，...，bn；...；d1，d2，...，dn；.....帧构成，分别对原始影像的a1～an帧图像进行预处理，对a1、b1、...、d1；a2、b2、...、d2；.....帧图像进行预处理并采用改进ORB算法对该帧图像进行图像配准；所述的若干个影像的个数在3个以上，所述的每个影像包含的帧总数可以相同或不同。
步骤2、PROSAC算法剔除虚假匹配；
步骤3、计算上述步骤中已匹配特征点坐标关系的数学模型，即变换矩阵H；
步骤4、计算接缝线；
步骤5、改进的加权平均融合方法将a1、b1、...d1帧图像融合成全景无缝图像；
步骤6、当第一帧a1、b1、...d1的图像拼接完成后，利用卡尔曼滤波结合交互多模型(IMM-FT)对该帧检测到的特征点进行跟踪，以预测在下一帧a2、b2、..d2图像中特征点的位置并完成校正；
步骤7、重复上述步骤直至所有帧拼接完毕；
所述对原始影像的a1～an帧图像进行预处理方法包括：
步骤1、加权中值滤波对原始图像进行降噪；
步骤2、直方图匹配方法对原始图像进行调整，使其处于相同或相近的亮度水平；
所述采用改进的ORB算法进行图像配准，具体包括以下三个步骤：
步骤1、用Oriented FAST算法来进行特征点检测，并计算特征点主方向；
步骤2、利用改进的BRIEF算法进行特征点描述，生成RotatedBRIEF特征描述子；
步骤3、在特征点匹配中，改进原算法，以减少单一的Hamming距离可能造成的不正确匹配的数量，过程如下：
a.计算Hamming距离D，r1和r2是分别是两个二进制串形式的特征点描述子，则Hamming距离
b.计算两个特征点Hamming距离相似度：
式中n为r1和r2描述子的长度，SHamming越大则两个特征点相似度越高，本发明设置Hamming距离相似阈值SThr1＝0.8，若SHamming＞SThr1，则两个特征点匹配，否则不匹配；
c.计算上述步骤b中匹配的特征点对即满足SHamming＞SThr1的特征点对的余弦相似度Scos，
a1和a2是分别是两个向量形式的特征点描述子，Scos∈[-1,1]，Scos越大则两个特征点相似度越高；
d.将步骤b中计算的Scos与余弦相似阈值SThr2进行对比，若余弦相似度Scos＞SThr2，则为正确匹配，反之，则为错误匹配；
e.同时满足以下两个条件的匹配记为正确匹配：①SHamming＞SThr1，②Scos＞SThr2，否则为错误匹配，予以剔除；
f.重复以上步骤a-e直至所有特征点匹配完毕，
所述计算接缝线的步骤如下：
步骤1、计算Grdist矩阵，其计算过程如下：
GrImg＝|grImg1-grImg2|+mask，
数字彩色图像是M×N的三维矩阵，M×N表示图像尺寸，单位是像素，三维可以理解为M×N的矩阵有三个，分别是R、G、B域的值，上式中Img1和Img2是具有重叠区域的图像，即图像矩阵，Img1-Img2是图像矩阵的差值，maxr、minr、maxc、minc分别是图像矩阵行和列的最大值和最小值，meanr(RGB)和meanc(RGB)分别是图像矩阵行和列的平均值，T(RGB)是计算得到的一个阈值，mask是一个比较生成的逻辑矩阵，GrImg是求得的灰度图像，grImg1和grImg2是图像的梯度，|grImg1-grImg2|代表对求得的差值矩阵的每个元素取绝对值，再计算GrImg的每个像素点的灰度加权距离，把这些计算得到的灰度加权距离写入矩阵Grdist中，即得到Grdist矩阵；
步骤2、计算值矩阵Val，其计算方法如下：ImgDif＝|Img1-Img2|,
其中Imgi是带有重叠区域的图像，ImgDif是图像矩阵差值的绝对值，ImgDifmax和ImgDifmid表示对Img1-Img2图像矩阵的R、G、B三个矩阵的对应元素取最大值和中间值；
步骤3、确定满足最佳路径的点，在Grdist矩阵中选定一个中心点及其相邻的八个点组成的块，选择值小于中心点的相邻点，这些相邻点中，值矩阵中对应的值最小的点将被选为下一个点；
步骤4、对步骤3进行迭代计算，直到确定矩阵中所有满足上述条件的点，最后这些点可确定最佳接缝，
所述改进的加权平均融合方法，其计算方法如下：
f(x,y)＝α1f1(x,y)+α2f2(x,y),(x,y)∈(f1∩f2)，式中f是融合的图像，f1和f2是图像的重叠部分，
分别是f1和f2中像素对应的权重，α1+α2＝1，α1＜1,α2＜1，Wx为重叠区域的宽度，(x，y)是像素点的坐标；
所述利用卡尔曼滤波结合交互多模型方法对该帧检测到的特征点进行跟踪，步骤如下：
步骤1、输入交互：由上一个周期和协方差得到的状态估计S1P和S2P，在t-1时刻根据条件概率模型混合交互得到So1P和So2P；
步骤2、卡尔曼滤波器跟踪特征点位置，步骤如下：
a、卡尔曼滤波的预测阶段：
(a1)、计算状态模型：S(t)＝A(t)*S(t-1)+W(t-1)，式中S(t)表示位置状态模型，A(t)是状态转移矩阵，S(t-1)为上一帧的位置状态模型，W(t-1)是高斯白噪声；
(a2)、计算测量模型：M(t)＝H(t)*S(t)+V(t)，式中M(t)代表测量模型，H(t)为测量矩阵，V(t)为高斯白噪声(测量噪声)；
(a3)、计算先验位置：SPriori(t)＝A(t)*S(t-1)，式中SPriori(t)是先验位置；
(a4)、计算先验协方差：PPriori(t)＝A(t)*P(t-1)*A(t)T+Q(t)，式中PPriori(t)为先验协方差，P(t-1)表示上一帧的协方差，T代表变换，Q(t)是过程噪声的协方差。
b、卡尔曼滤波的校正阶段，校正上一步骤中预测的特征点位置，其计算过程如下：
(b1)、计算卡尔曼增益：K(t)＝PPriori(t)*C(t)T*(C(t)*PPriori(t)*C(t)T+R(t))-1，式中C(t)是状态模型和测量模型之间的转换关系，R(t)是测量噪声协方差，计算中已知；
(b2)、计算后验位置：SPosteriori(t)＝SPriori(t)*K(t)*(M(t)-H(t)*SPriori(t))，
(b3)、计算后验协方差：PPosteriori(t)＝(I-K(t)*H(t))*PPriori(t)，
(b4)、校正完成后，更新下一状态协方差噪声，以预测下一个特征点位置的下一个状态和协方差，
步骤3、更新模型概率；
步骤4、根据单个模型单独计算的跟踪结果和模型匹配得权重输出t时刻交互数据结果，
步骤5、使用当前帧的单个状态运动模型估计作为下一帧的状态估计，并且对每个后续帧继续处理，以完成所有帧的特征点位置预测和校正。
本发明中取余弦相似阈值SThr2＝0.97。
mask矩阵是将(Img1-Img2)矩阵逐个元素与T(RGB)比较后生成的只包含1和0元素的同型三维矩阵。
在卡尔曼滤波结合交互多模型方法中使用了运动模型，如恒速和恒加速模型，有效减小了预测误差。
通过以上步骤可以快速生成质量良好的无缝拼接的全景影像。
本发明的有益效果是：针对目前全景影像拼接的速度慢，拼接后出现重影等问题，本发明提出的全景影像无缝拼接方法，能够较快速完成全景影像拼接过程，并且拼接图像质量良好，很大程度上消除了重影问题，且没有明显的拼接缝痕迹。
该方法的优点是速度快、效率高，并且能够保障拼接图像的质量，消除图像中的重影。
附图说明
图1为本发明实施例的整体流程示意图。
具体实施方式
下面结合流程示意图及实施例对本发明进行进一步的描述。
本实施例提供一种全景影像无缝拼接方法，如图1所示，其具体步骤如下：
步骤1、假设有若干个影像，每个影像分别由a1，a2，...，an；b1，b2，...，bn；...；d1，d2，...，dn；.....帧构成，分别对原始影像的a1～an帧图像进行预处理，对a1、b1、...、d1；a2、b2、...、d2；.....帧图像进行预处理并采用改进ORB算法对该帧图像进行图像配准；
步骤2、PROSAC算法剔除虚假匹配；
步骤3、计算上述步骤中已匹配特征点坐标关系的数学模型，即变换矩阵H；
步骤4、计算接缝线；
步骤5、改进的加权平均融合方法将a1、b1、...d1帧图像融合成全景无缝图像；
步骤6、当第一帧a1、b1、...d1的图像拼接完成后，利用卡尔曼滤波结合交互多模型(IMM-FT)对该帧检测到的特征点进行跟踪，以预测在下一帧a2、b2、..d2图像中特征点的位置并完成校正；
步骤7、重复上述步骤直至所有帧拼接完毕；
在本实施例中，所述步骤1首先对原始影像进行预处理，通过摄相机获取的原始影像由于噪声和亮度不同等影响，会给图像拼接带来很大的困难并造成拼接结果的失真，所以在图像配准之前对图像进行加权中值滤波降噪和直方图匹配调节图像亮度，降低了图像配准的难度。
在本实施例中，所述步骤1通过改进ORB算法对图像进行配准，其方法如下：
首先用FAST算法检测特征点，针对FAST算法不具有很强的角点相应性质，利用Harris角点检测来产生FAST关键点。对于目标数量为N的关键点，首先设定低的阈值来获得多于N的关键点，然后根据Harris角点响应来排序，选择前N个点。
为了保证特征具备尺度不变性，采用图像金字塔，在图像金字塔上进行多尺度提取FAST特征，得到的特征具备尺度不变性。
采用灰度质心法计算特征点的主方向，其计算过程如下：首先定义(i+j)阶矩为
则计算零阶矩和一阶矩得：
可得图像的质心
最终计算特征点主方向：
进行特征描述，生成Rotated BRIEF特征描述子，详细步骤如下：
步骤2-1、将特征点检测步骤中提取的方向向量加入到BRIEF特征中，旋转得到有向的BRIEF，即SteerBRIEF；
步骤2-2、采用贪婪学习算法，对较高差异和较高不相关的SteerBRIEF进行筛选，得到rBRIEF；
步骤2-3、计算每个SteerBRIEF和0.5的差值排序，并创建向量T；
步骤2-4、将差值最小的SteerBRIEF放入向量R中，然后将距离第二近的SteerBRIEF与向量R中的所有元素进行相关度比较，如果其相关度小于某一阈值则将其放入R向量中，否则舍弃；
步骤2-5、重复以上步骤直到R中达到256个元素，若数量不足则提高阈值重复再以上步骤。
在特征点匹配部分，采用Hamming距离结合余弦相似度对特征点进行匹配，其计算过程如下：设r1和r2是分别两幅图像对应特征点的描述子，D为Hamming距离，则
D越小则两个特征点的相似度越高。
图像相似度高时单一的Hamming距离将导致高误匹配率，结合余弦相似度可降低误匹配率，其计算步骤：
a.计算Hamming距离D，r1和r2是分别是两个二进制串形式的特征点描述子，则Hamming距离
b.计算两个特征点Hamming距离相似度：
式中n为r1和r2描述子的长度，SHamming越大则两个特征点相似度越高，本发明设置Hamming距离相似阈值SThr1＝0.8，若SHamming＞SThr1，则两个特征点匹配，否则不匹配；
c.计算上述步骤b中匹配的特征点对即满足SHamming＞SThr1的特征点对的余弦相似度Scos，
a1和a2是分别是两个向量形式的特征点描述子，Scos∈[-1,1]，Scos越大则两个特征点相似度越高；
d.将步骤b中计算的Scos与余弦相似阈值SThr2进行对比，若余弦相似度Scos＞SThr2，则为正确匹配，反之，则为错误匹配,本发明中取余弦相似阈值SThr2＝0.97；
e.同时满足以下两个条件的匹配记为正确匹配：①SHamming＞SThr1，②Scos＞SThr2，否则为错误匹配，予以剔除；
f.重复以上步骤a-e直至所有特征点匹配完毕，
在本实施例中，所述步骤2采用PROSAC算法剔除错误匹配，具体计算过程如下：首先根据特征描述距离的大小对匹配特征点进行降序排序；然后选取前k个点，并在前k中随机抽取7个数据和第k个数据组成计算样本，采用八点法计算基础矩阵F；继而计算每特征点对到对应极限距离的平方和，并设定阈值，若前者小于阈值，则记为内点；最后进行算法循环，直到满足以下三者其一，即最大内点在样本中比例达到或超过设定的阈值、样本中内点数量不再增加或内点的增加没有减少模型的误差和时，算法循环终止。
在本实施例中，所述步骤3计算匹配特征点关系的坐标矩阵模型，即变换矩阵H，其计算方法如下：
(x′,y′,1)和(x,y,1)分别是一对特征点对应的坐标，H是变换矩阵，通过求解方程组可以得H的各个参数。
在本实施例中,所述步骤4计算接缝线，其具体步骤如下：
步骤4-1、计算Grdist矩阵，其计算过程如下：
GrImg＝|grImg1-grImg2|+mask，
上式中Img1和Img2是具有重叠区域的图像，即图像矩阵，Img1-Img2是图像矩阵的差值，maxr、minr、maxc、minc分别是图像矩阵行和列的最大值和最小值，meanr(RGB)和meanc(RGB)分别是图像矩阵行和列的平均值，T(RGB)是计算得到的一个阈值，mask是通过将Img1-Img2逐个元素与T(RGB)比较后生成的只包含1和0元素的同型三维矩阵，GrImg是求得的灰度图像，grImg1和grImg2是图像的梯度，|grImg1-grImg2|代表对求得的差值矩阵的每个元素取绝对值，再计算GrImg的每个像素点的灰度加权距离，把这些计算得到的灰度加权距离写入矩阵Grdist中，即得到Grdist矩阵；
步骤4-2、计算值矩阵Val，其计算方法如下：ImgDif＝|Img1-Img2|,
其中Imgi是带有重叠区域的图像，ImgDif是图像矩阵差值的绝对值，ImgDifmax和ImgDifmid表示对Img1-Img2图像矩阵的R、G、B三个矩阵的对应元素取最大值和中间值；
步骤4-3、确定满足最佳路径的点，在Grdist矩阵中选定一个中心点及其相邻的的八个点组成的块，选择值小于中心点的相邻点，这些相邻点中，值矩阵中对应的值最小的点将被选为下一个点；
步骤4-4、对步骤4-3进行迭代计算，直到确定矩阵中所有满足上述条件的点，最后可确定最佳接缝。
在本实施例中，所述步骤5全景影像无缝融合，具体过程如下：采用改进的加权平均融合方法进行图像融合，即
式中f是融合的图像，f1和f2是图像的重叠部分，
分别是f1和f2中像素对应的权重，α1+α2＝1，α1＜1,α2＜1，Wx为参考图像的宽度，该方法可以有效地消除重影，尤其是针对运动物体。
在本实施例中，所述步骤6跟踪帧中特征点位置，具体过程如下：
步骤6-1、输入交互：由上一个周期和协方差得到的状态估计S1P(t-1)和S2P(t-1)，在t-1时刻根据条件概率模型混合交互得到So1P(t-1)和So2P(t-1)；
步骤6-2、卡尔曼滤波器跟踪特征点位置，详细步骤如下：
步骤6-2-1、卡尔曼滤波的预测阶段：
(1)计算状态模型：S(t)＝A(t)*S(t-1)+W(t-1)，式中S(t)表示位置状态模型，A(t)是状态转移矩阵，S(t-1)为上一帧的位置状态模型，W(t-1)是高斯白噪声(过程噪声)；
(2)计算测量模型：M(t)＝H(t)*S(t)+V(t)，式中M(t)代表测量模型，H(t)为测量矩阵，V(t)为高斯白噪声(测量噪声)；
(3)计算先验位置：SPriori(t)＝A(t)*S(t-1)，式中SPriori(t)是先验位置；
(4)计算先验协方差：PPriori(t)＝A(t)*P(t-1)*A(t)T+Q(t)，式中PPriori(t)为先验协方差，P(t-1)表示上一帧的协方差，T代表变换，Q(t)是过程噪声的协方差。
步骤6-2-2、卡尔曼滤波的校正阶段，校正上一步骤中预测的特征点位置，其计算过程如下：
(1)计算卡尔曼增益：K(t)＝PPriori(t)*C(t)T*(C(t)*PPriori(t)*C(t)T+R(t))-1，式中C(t)是状态模型和测量模型之间的转换关系，R(t)是测量噪声协方差，计算中已知；
(2)计算后验位置：SPosteriori(t)＝SPriori(t)*K(t)*(M(t)-H(t)*SPriori(t))
(3)计算后验协方差：PPosteriori(t)＝(I-K(t)*H(t))*PPriori(t)，
(4)校正完成后，更新下一状态协方差噪声，以预测下一个特征点位置的下一个状态和协方差。
步骤6-3、更新模型概率，混合状态和协方差在这里完成更新；
步骤6-4、根据单个模型单独计算的跟踪结果和模型匹配得权重输出t时刻交互数据结果。
步骤6-5、使用当前帧的单个状态运动模型估计作为下一帧的状态估计，并且对每个后续帧继续处理，以完成所有帧的特征点位置预测和校正。
本发明的实验中分别对视角变换、模糊、亮度对比度变化和缩放旋转的图像的余弦相似阈值进行了测定，结果为：SThr1＝0.99SThr2＝0.98SThr3＝0.95SThr4＝0.98，最后取平均值SThr＝0.975。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解上述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，均应包含在本发明的保护范围之内。
Claims (6)
1.一种全景影像无缝拼接方法，其特征在于：主要包括：
步骤a1、假设有若干个影像，每个影像分别由a1，a2，...，an；b1，b2，...，bn；...；d1，d2，...，dn；.....帧构成，分别对原始影像的a1～an帧图像进行预处理，对a1、b1、...、d1；a2、b2、...、d2；.....帧图像进行预处理并采用改进ORB算法对该帧图像进行图像配准；
步骤a2、PROSAC算法剔除虚假匹配；
步骤a3、计算上述步骤中已匹配特征点坐标关系的数学模型，即变换矩阵H；
步骤a4、计算接缝线；
步骤a5、改进的加权平均融合方法将a1、b1、...d1帧图像融合成全景无缝图像；
步骤a6、当第一帧a1、b1、...d1的图像拼接完成后，利用卡尔曼滤波结合交互多模型(IMM-FT)对该帧检测到的特征点进行跟踪，以预测在下一帧a2、b2、..d2图像中特征点的位置并完成校正；
步骤a7、重复上述步骤直至所有帧拼接完毕；
所述对原始影像的a1～an帧图像进行预处理方法包括：
步骤b1、加权中值滤波对原始图像进行降噪；
步骤b2、直方图匹配方法对原始图像进行调整，使其处于相同或相近的亮度水平；
所述采用改进的ORB算法进行图像配准，具体包括以下三个步骤：
步骤c1、用Oriented FAST算法来进行特征点检测，并计算特征点主方向；
步骤c2、利用改进的BRIEF算法进行特征点描述，生成Rotated BRIEF特征描述子；
步骤c3、在特征点匹配中，改进原算法，以减少单一的Hamming距离可能造成的不正确匹配的数量，
过程如下：
a.计算Hamming距离D，r1和r2是分别是两个二进制串形式的特征点描述子，则Hamming距离
b.计算两个特征点Hamming距离相似度：
式中n为r1和r2描述子的长度，SHamming越大则两个特征点相似度越高，本发明设置Hamming距离相似阈值SThr1＝0.8，若SHamming＞SThr1，则两个特征点匹配，否则不匹配；
c.计算上述步骤b中匹配的特征点对即满足SHamming＞SThr1的特征点对的余弦相似度Scos，
a1和a2是分别是两个向量形式的特征点描述子，Scos∈[-1,1]，Scos越大则两个特征点相似度越高；
d.将步骤b中计算的Scos与余弦相似阈值SThr2进行对比，若余弦相似度Scos＞SThr2，则为正确匹配，反之，则为错误匹配；
e.同时满足以下两个条件的匹配记为正确匹配：①SHamming＞SThr1，②Scos＞SThr2，否则为错误匹配，予以剔除；
f.重复以上步骤a-e直至所有特征点匹配完毕，
所述计算接缝线的步骤如下：
步骤1、计算Grdist矩阵，其计算过程如下：
GrImg＝|grImg1-grImg2|+mask，
数字彩色图像是M×N的三维矩阵，M×N表示图像尺寸，单位是像素，三维可以理解为M×N的矩阵有三个，分别是R、G、B域的值，上式中Img1和Img2是具有重叠区域的图像，即图像矩阵，Img1-Img2是图像矩阵的差值，maxr、minr、maxc、minc分别是图像矩阵行和列的最大值和最小值，meanr(RGB)和meanc(RGB)分别是图像矩阵行和列的平均值，T(RGB)是计算得到的一个阈值，mask是一个比较生成的逻辑矩阵，GrImg是求得的灰度图像，grImg1和grImg2是图像的梯度，|grImg1-grImg2|代表对求得的差值矩阵的每个元素取绝对值，再计算GrImg的每个像素点的灰度加权距离，把这些计算得到的灰度加权距离写入矩阵Grdist中，即得到Grdist矩阵；
步骤2、计算值矩阵Val，其计算方法如下：ImgDif＝|Img1-Img2|,
其中Imgi是带有重叠区域的图像，ImgDif是图像矩阵差值的绝对值，ImgDifmax和ImgDifmid表示对Img1-Img2图像矩阵的R、G、B三个矩阵的对应元素取最大值和中间值；
步骤3、确定满足最佳路径的点，在Grdist矩阵中选定一个中心点及其相邻的八个点组成的块，选择值小于中心点的相邻点，这些相邻点中，值矩阵中对应的值最小的点将被选为下一个点；
步骤4、对步骤3进行迭代计算，直到确定矩阵中所有满足上述条件的点，最后这些点可确定最佳接缝，
所述改进的加权平均融合方法，其计算方法如下：
f(x,y)＝α1f1(x,y)+α2f2(x,y),(x,y)∈(f1∩f2)，式中f是融合的图像，f1和f2是图像的重叠部分，
分别是f1和f2中像素对应的权重，α1+α2＝1，α1＜1,α2＜1，Wx为重叠区域的宽度，(x，y)是像素点的坐标；
所述利用卡尔曼滤波结合交互多模型方法对该帧检测到的特征点进行跟踪，步骤如下：
步骤1-1、输入交互：由上一个周期和协方差得到的状态估计S1P和S2P，在t-1时刻根据条件概率模型混合交互得到So1P和So2P；
步骤1-2、卡尔曼滤波器跟踪特征点位置，步骤如下：
A、卡尔曼滤波的预测阶段：
(A1)、计算状态模型：S(t)＝A(t)*S(t-1)+W(t-1)，式中S(t)表示位置状态模型，A(t)是状态转移矩阵，S(t-1)为上一帧的位置状态模型，W(t-1)是高斯白噪声；
(A2)、计算测量模型：M(t)＝H(t)*S(t)+V(t)，式中M(t)代表测量模型，H(t)为测量矩阵，V(t)为高斯白噪声；
(A3)、计算先验位置：SPriori(t)＝A(t)*S(t-1)，式中SPriori(t)是先验位置；
(A4)、计算先验协方差：PPriori(t)＝A(t)*P(t-1)*A(t)T+Q(t)，式中PPriori(t)为先验协方差，P(t-1)表示上一帧的协方差，T代表变换，Q(t)是过程噪声的协方差；
B、卡尔曼滤波的校正阶段，校正上一步骤中预测的特征点位置，其计算过程如下：
(B1)、计算卡尔曼增益：K(t)＝PPriori(t)*C(t)T*(C(t)*PPriori(t)*C(t)T+R(t))-1，式中C(t)是状态模型和测量模型之间的转换关系，R(t)是测量噪声协方差，计算中已知；
(B2)、计算后验位置：SPosteriori(t)＝SPriori(t)*K(t)*(M(t)-H(t)*SPriori(t))，
(B3)、计算后验协方差：PPosteriori(t)＝(I-K(t)*H(t))*PPriori(t)，
(B4)、校正完成后，更新下一状态协方差噪声，以预测下一个特征点位置的下一个状态和协方差，
步骤1-3、更新模型概率；
步骤1-4、根据单个模型单独计算的跟踪结果和模型匹配得权重输出t时刻交互数据结果，
步骤1-5、使用当前帧的单个状态运动模型估计作为下一帧的状态估计，并且对每个后续帧继续处理，以完成所有帧的特征点位置预测和校正。
2.根据权利要求1所述的一种全景影像无缝拼接方法，其特征在于：步骤a1所述的若干个影像的个数在3个以上。
3.根据权利要求1所述的一种全景影像无缝拼接方法，其特征在于：步骤a1所述的每个影像包含的帧总数可以相同或不同。
4.根据权利要求1所述的一种全景影像无缝拼接方法，其特征在于：本发明中取余弦相似阈值SThr2＝0.97。
5.根据权利要求1所述的一种全景影像无缝拼接方法，其特征在于：mask矩阵是将(Img1-Img2)矩阵逐个元素与T(RGB)比较后生成的只包含1和0元素的同型三维矩阵。
6.根据权利要求1所述的一种全景影像无缝拼接方法，其特征在于：在卡尔曼滤波结合交互多模型方法中使用了运动模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910369949.1A CN110175011B (zh) | 2019-05-06 | 2019-05-06 | 一种全景影像无缝拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910369949.1A CN110175011B (zh) | 2019-05-06 | 2019-05-06 | 一种全景影像无缝拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110175011A CN110175011A (zh) | 2019-08-27 |
| CN110175011B true CN110175011B (zh) | 2022-06-03 |
Family
ID=67690916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910369949.1A Active CN110175011B (zh) | 2019-05-06 | 2019-05-06 | 一种全景影像无缝拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110175011B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179173B (zh) * | 2019-12-26 | 2022-10-14 | 福州大学 | 一种基于离散小波变换和坡度融合算法的图像拼接方法 |
| CN111739081A (zh) * | 2020-08-06 | 2020-10-02 | 成都极米科技股份有限公司 | 特征点匹配方法、拼接方法、装置、电子设备及存储介质 |
| CN112102215A (zh) * | 2020-09-03 | 2020-12-18 | 广州南沙联合集装箱码头有限公司 | 一种基于误差统计的图像快速拼接方法 |
| CN112991176B (zh) * | 2021-03-19 | 2022-03-01 | 南京工程学院 | 一种基于最佳缝合线的全景图像拼接方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106464811A (zh) * | 2015-03-10 | 2017-02-22 | 深圳市大疆创新科技有限公司 | 用于自适应全景图像生成的系统及方法 |
| US9973694B1 (en) * | 2014-08-21 | 2018-05-15 | Jaunt Inc. | Image stitching to form a three dimensional panoramic image |
| CN109376744A (zh) * | 2018-10-17 | 2019-02-22 | 中国矿业大学 | 一种surf和orb相结合的图像特征匹配方法及装置 |
| CN109688329A (zh) * | 2018-12-24 | 2019-04-26 | 天津天地伟业信息系统集成有限公司 | 一种针对高精度全景视频的防抖方法 |
-
2019
- 2019-05-06 CN CN201910369949.1A patent/CN110175011B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9973694B1 (en) * | 2014-08-21 | 2018-05-15 | Jaunt Inc. | Image stitching to form a three dimensional panoramic image |
| CN106464811A (zh) * | 2015-03-10 | 2017-02-22 | 深圳市大疆创新科技有限公司 | 用于自适应全景图像生成的系统及方法 |
| CN109376744A (zh) * | 2018-10-17 | 2019-02-22 | 中国矿业大学 | 一种surf和orb相结合的图像特征匹配方法及装置 |
| CN109688329A (zh) * | 2018-12-24 | 2019-04-26 | 天津天地伟业信息系统集成有限公司 | 一种针对高精度全景视频的防抖方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于CAVE的交互式全景视频显示方法;权巍 等;《微电子学与计算机》;20120531;第29卷(第5期);第1964-1970页 * |
| 基于改进最佳缝合线的图像拼接方法;张翔 等;《计算机工程与设计》;20180731;第39卷(第7期);第134-137页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110175011A (zh) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175011B (zh) | 一种全景影像无缝拼接方法 | |
| Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
| Chen et al. | Robust video content alignment and compensation for rain removal in a cnn framework | |
| CN111311666B (zh) | 一种融合边缘特征和深度学习的单目视觉里程计方法 | |
| Brox et al. | Large displacement optical flow | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| Yang et al. | Daisy filter flow: A generalized discrete approach to dense correspondences | |
| CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
| Ding et al. | Spatio-temporal recurrent networks for event-based optical flow estimation | |
| CN110992263B (zh) | 一种图像拼接方法及系统 | |
| CN111260738A (zh) | 基于相关滤波和自适应特征融合的多尺度目标跟踪方法 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| CN107609571B (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
| CN109102013A (zh) | 一种适于隧道环境特性的改进freak特征点匹配稳像方法 | |
| CN111931603A (zh) | 基于竞合网络的双流卷积网络的人体动作识别系统及方法 | |
| CN115883988A (zh) | 视频图像拼接方法、系统、电子设备及存储介质 | |
| Hadfield et al. | Hollywood 3d: what are the best 3d features for action recognition? | |
| Rozumnyi et al. | Fmodetect: Robust detection of fast moving objects | |
| Muddamsetty et al. | A performance evaluation of fusion techniques for spatio-temporal saliency detection in dynamic scenes | |
| Nie et al. | Parallax-tolerant unsupervised deep image stitching | |
| CN109462748B (zh) | 一种基于单应性矩阵的立体视频颜色校正算法 | |
| Abbadi et al. | A review over panoramic image stitching techniques | |
| CN111127353A (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
| CN110580715A (zh) | 一种基于照度约束和格网变形的图像对齐方法 | |
| Liu et al. | Unsupervised optical flow estimation for differently exposed images in LDR domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |