CN111127318B

CN111127318B - 一种机场环境下的全景图像拼接方法

Info

Publication number: CN111127318B
Application number: CN201911232738.XA
Authority: CN
Inventors: 邱文嘉; 苗锋; 朱伟; 王寿峰; 白俊奇; 王扬红; 王成成; 朱恒; 刘羽; 颜世博
Original assignee: Nanjing Laisi Electronic Equipment Co ltd
Current assignee: Nanjing Laisi Electronic Equipment Co ltd
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2023-04-07
Anticipated expiration: 2039-12-05
Also published as: CN111127318A

Abstract

本发明提供了一种机场环境下的全景图像拼接方法，首先对采集到的图像进行预处理；采用基于YUV空间的色差校正方法，实现多路相机间色彩一致性；将相机图像投影至柱平面上，对柱面投影后的图像采用特征点检测算法，实现对图像中特征点的检测；实现对相邻图像中的特征点对的粗略匹配；通过RANSAC算法剔除错误特征点对，计算出图像间准确的单应性矩阵，采用渐入渐出融合技术实现配准图像间的均匀过渡拼接；对全景图像采用Canny边缘检测，选取最长线段作为天际线位置，采用最小二乘法拟合出天际线圆滑曲线，消除因拼接造成的图像扭曲变形。采用分组迭代拼接的方法，消除多路图像拼接过程中误差的累积，提升拼接成功率与拼接效果。

Description

一种机场环境下的全景图像拼接方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种机场环境下的全景图像拼接方法。

背景技术

着国家民航产业的不断发展，机场数量不断增加，传统塔台在机场场面监控方面存在视场死角、场地占用、人员消耗、传统监控相机分辨率不足等诸多问题，能够一体化呈现机场场面实景的大视场甚至全景图像可以很好的解决这些问题。而随着图像领域技术的不断发展，各个领域对于图像分辨率的要求越来越高。专用特殊成像设备价格昂贵，且机场环境因各自环境及建筑的独特性，无法采用一种统一的成像设备实现场面视场无死角监视。全景图像拼接技术能够有效解决上述问题，且根据机场环境可制定能够最大程度无死角展现场面实景的摄像机组合方式及部署方式，可针对不同场景很好的实现机场场面全景的无死角覆盖，且能够解决传统成像设备无法同时兼顾视场角与分辨率的问题。

目前，全景图像拼接方法虽然已日趋完善和成熟，但是因拼接算法效果受图像内容影响较大，在处理机场等特殊场景时往往无法获得较好的拼接效果。此外，在图像采集过程中光照及颜色不均也会影响特征信息准确度而造成拼接成功率降低，而这种情况在实际场景中不可避免。因此，现有的拼接算法无法满足实际场景应用的需求。

发明内容

针对现有技术的不足，本发明公开了一种机场环境下的全景图像拼接方法，包括如下步骤：

步骤1，采用自适应Gamma(即灰度系数)校正(Poynton C.Digital Video andHDTV Algorithms and Interfaces[M].Morgan Kaufmann Publishers Inc.2003.)的色彩增强算法对输入图像进行色彩增强处理；

步骤2，采用基于YUV空间的局部均值统计方法对图像进行进一步的光照均衡处理；YUV是编译true-color颜色空间(color space)的种类，Y′UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

步骤3，在前述预处理步骤的基础上，采用柱面投影模型(Shengchang EricChen.QuickTime VR—An image-based approach to virtual environment navigation[A].In:Computer Graphics Proceedings of SIGGRAPH’95,Los Angeles California,1995,39-46.)将所有步骤2处理后的图像投影至柱平面上；

步骤4，对所有图像按照3个为一组进行分组，相邻组之间有一副图像完全相同，依次进行步骤5～步骤8的处理；

步骤5，对于柱面投影后的图像采用基于网格均匀化的shift-Tomasi(J.Shi和C.Tomasi提出的一种角点检测算法)(Shi J,Tomasi C.Good features to track.NewYork:Cornell University,1993.)与Sift(Scale-invariant feature transform，尺度不变特征变换)(David G.Lowe.Distinctive Image Features from Scale-InvariantKeypoints[J].International Journal of Computer Vision,2004,60(2):91-110.)相结合的特征点检测算法，对机场图像中建筑物及跑道特征点进行检测，并通过k-d(k维树的缩写)树的最临近搜索方法(张一,江刚武,狄亚南,et al.一种采用改进K-d树的无人机影像特征匹配搜索方法[J].测绘科学技术学报,2015(5):500-504.)对图像间检测出的特征点进行粗略匹配，得到匹配的特征点对；

步骤6，对步骤5得到的特征点对，采用RANSAC(Random Sample Consensus，随机抽样一致)算法(D.Capel,A.Zisserman.Automated mosaicing with super-resolutionzoom[C].Computer Vision and Pattern Recognition Conference on IEEE,Venice,1998:885-891)对其中的错误特征点对进行剔除，并利用剩余精确匹配的特征点对计算出图像间配准的单应性矩阵；

步骤7，利用得到的单应性矩阵对所有图像进行配准拼接处理，利用渐入渐出融合方法(袁杰.基于SIFT的图像配准与拼接技术研究[D].南京理工大学,2013.)处理图像间拼缝的均匀过渡；

步骤8，判断是否将所有分组均处理完成，若处理完成，则将拼接后生成的图像组作为输入重新从步骤3开始，直至只剩一个输出图像，此图像即为拼接生成的全景图像；

步骤9，对全景图像采用Canny(John F.Canny提出的一种边缘检测算子)边缘检测(Canny J.A Computational Approach to Edge Detection[J].IEEE Transactions onPattern Analysis and Machine Intelligence,2009,PAMI-8(6):679-698.)，根据机场场景特征检测出天际线位置，采用最小二乘法(孙彦清.最小二乘法线性拟合应注意的两个问题[J].汉中师范学院学报：自然科学版,2002(3):58-61.)拟合出天际线圆滑曲线，将所述曲线映射为直线，并以此映射关系作为全图映射关系，消除因拼接造成的图像扭曲变形，生成最终拼接全景图。

步骤1包括：

步骤1-1，将输入图像的RGB通道分离(RGB即红绿蓝)；

步骤1-2，分别计算RGB通道每个通道的均值mean；

步骤1-3，利用求得均值分别计算RGB通道每个通道的Gamma系数，计算公式如下：

其中gamma为当前通道的Gamma系数，mean为当前通道的像素均值；

步骤1-4，对通道中像素进行归一化，像素值转换为0～1之间的实数；

步骤1-5，对归一化后的像素值进行预补偿，计算公式如下：

其中

为预补偿后的像素值，value为步骤1-4归一化后的像素值，gamma为步骤1-3求得的该通道的Gamma系数；

步骤1-6，对预补偿后的像素值进行反归一化，反变换为0～255的整数值；

步骤1-7，将增强处理后的各通道重新合并，生成图像自适应Gamma校正色彩增强处理的结果。

步骤2包括：

步骤2-1，将步骤1经色彩增强后的图像由RGB空间转换至YUV空间(闫晶.基于VC++的YUV420与RGB24之间的视频图像格式相互转换[J].电脑与信息技术,2013(02):23-25+29.)，取其中的亮度分量，计算转换公式如下：

Y＝0.299R+0.587G+0.114B，

其中Y为YUV空间的亮度分量，R、G、B分别为RGB空间中的红色、绿色、蓝色分量；

步骤2-2，计算图像在亮度分量通道的均值meanY；

步骤2-3，将图像均等切割为block*block尺寸的小方块，分别计算每个小方块的均值，其中block为局部滑动窗口的宽度，一般取值为200～600；

步骤2-4，分别计算每个小方块均值与步骤2-2求得的整图均值间的差值，并将此差值作为RGB空间三个通道的差值，对图像进行差值处理，完成基于YUV空间的局部均值统计光照均衡方法。

步骤3包括：对所有经步骤1和步骤2预处理后的图像进行投影变换，将平面上的图像利用柱面投影映射至柱平面上，坐标映射公式如下：

其中H、W分别为平面图像的高度及宽度，(x,y)为输入图像上的像素坐标点，(x′,y′)为柱面投影后对应位置图像的像素坐标，f为相机焦距，焦距可由拍摄现场估计得出：

其中θ为相机视场角。

步骤4包括：

步骤4-1，判断本步骤输入图像数量是否大于1，若等于1则作为最终全景图像输出，若大于1则继续执行步骤4-2；

步骤4-2，将所有经过步骤1～3处理后的图像按顺序3个为一组进行分组，每相邻两组间包含一张相同图片，若剩余不足3个则单独划分为一组；

步骤4-3，分别对每一组图像组执行步骤5～步骤8的处理。

步骤5包括：

步骤5-1，将输入图像按K*K的尺寸进行网格化，K为网格化后的小方块宽度，一般取值为图像高度的1/2～1/8；

步骤5-2，检测输入图像中前后1/3处宽度范围每个网格中的shift-Tomasi角点，检测出的特征点基本为直线拐角处、两条直线交叉处或边界处两个主要方向不同的事物上等的强角点，保证各网格中保留角点数量基本一致；

步骤5-3，使用具有旋转不变性、尺度缩放不变性、亮度变化不变性的Sift特征描述符对步骤5-2检测出的shift-Tomasi角点进行描述，得到描述该角点周围图像区域特征信息的一个128维的特征向量；

步骤5-4，通过k-d树的最临近搜索方法对相邻图像间检测出的特征点进行粗略匹配，得到粗略匹配的特征点对，匹配的特征点对具有相似的特征描述符，本方法中取k-d树中距离最近的前4000个特征点对。

步骤6包括：

步骤6-1，采用RANSAC算法通过迭代方式对所有粗略匹配的特征点对进行筛选，

为待匹配图像对应的单应矩阵，h₃₃为单应矩阵中第3行第3列的元素，通过整个矩阵能够将一个平面上的点投射到另一个平面上，匹配图像间点坐标满足如下公式：

其中(x,y)为匹配目标图像上的像素坐标，(x′_i,y′_i)为待匹配目标图像中的像素坐标；因单应矩阵中共有9个参数，所以首先随机选取其中8个特征点对，从而计算出对应的9个参数值，以此矩阵对所有的特征点对进行筛选，仅留下满足单应矩阵H中9个参数的精确匹配的特征点对；

步骤6-2，利用筛选后得到的精确匹配的特征点对估算出最优的配准单应矩阵，评价模型所用的代价函数计算公式如下：

其中(x_i,y_i)为匹配目标图像中的特征点位置，(x′_i,y′_i)为待匹配目标图像中的特征点位置，所述代价函数最小时对应的为最优配准单应矩阵。

步骤7包括：

步骤7-1，利用步骤6所得到的单应矩阵分别对待匹配图像进行透视变换；

步骤7-2，对于图像间重叠区域采用渐入渐出的融合方式进行融合处理，并将两幅图像拼接在一起，渐入渐出融合公式如下所示：

img＝d*img1+(1-d)*img2，

其中，img是融合后的图像，img1和img2是待拼接的两幅图像，d为重叠区域中某一个像素点到边界的距离。

步骤8包括：判断是否完成了步骤4所划分的所有图像组的拼接，若未完成则继续完成未拼接的分组，若完成则判断所有图像组生成的全景图像个数，若个数大于1则将本轮生成的全景图作为输入重新回到步骤4，若个数等于1则结束拼接过程，输出的图像为拼接生成的全景图像。

步骤9包括：

步骤9-1，利用Canny边缘检测算法提取出全景图像的边缘图像，并采用膨胀的形态学处理(陆宗骐,朱煜.数学形态学腐蚀膨胀运算的快速算法[C]//第十三届全国图象图形学学术会议论文集.2006.)连接边缘断裂处并平滑边缘，将边缘处像素值置为255，其它区域像素值置为0；

步骤9-2，结合机场场面图像特征，用20*20的滑动窗由上而下遍历整幅图像，找到天际线位置，判定依据为由上而下第一个非零像素点数由0变为0.6窗口面积数量的滑动窗的中心点作为当列的天际线位置；

步骤9-3，采用最小二乘法对所有检测出的天际线位置坐标进行拟合，得到一条圆滑的天际线曲线，选取天际线曲线纵坐标的中位数计算出基准水平直线的方程，计算天际线曲线映射到基准水平直线的映射关系；

步骤9-4，将得到的映射关系应用到全景图像上，得到根据天际线形变消除全图扭曲变形后的最终拼接全景图像。

有益效果：本发明公开了一种机场环境下的全景图像拼接方法，解决了机场环境下多路相机图像的自动全景拼接问题。首先采用基于自适应Gamma校正的色彩增强算法和基于YUV空间的局部均值统计光照均衡方法对采集到的图像进行预处理，减少由于光照、色彩不均导致的特征信息检测错误或丢失；然后采用基于YUV空间的色差校正方法，实现多路相机间色彩一致性；接着采用柱面投影模型将相机图像投影至柱平面上，从而提升之后全景图像的展示视觉效果；然后针对机场环境中人造设施占主体的特征，对柱面投影后的图像采用基于网格均匀化的shift-Tomasi与Sift相结合的特征点检测算法，实现对图像中特征点的检测；再通过k-d树的最邻近搜索方法，实现对相邻图像中的特征点对的粗略匹配；接着通过RANSAC算法剔除错误特征点对，从而计算出图像间准确的单应性矩阵，并采用渐入渐出融合技术实现配准图像间的均匀过渡拼接；然后对全景图像采用Canny边缘检测，针对机场环境中天际线与跑道呈现明显分界且连续的特点，选取最长线段作为天际线位置，采用最小二乘法拟合出天际线圆滑曲线，将此曲线映射为直线，并以此映射关系作为全图映射关系，消除因拼接造成的图像扭曲变形。最后，采用分组迭代拼接的方法，有效消除多路图像拼接过程中误差的累积，有效提升拼接成功率与拼接效果。本发明在多个机场环境下进行了现场验证及性能测试，拼接成功率达95％以上，方法已于国内多个机场投入应用，充分验证了本发明的有效性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的系统流程示意图。

图2是柱面投影坐标映射关系示意图。

图3是方格化特征点检测与粗略匹配方法流程示意图。

图4是9个相机经本方法拼接后得到的全景图像。

具体实施方式

本发明公开了一种机场环境下的全景图像拼接方法，如图1所示，包括以下步骤：

S1：色彩增强：

待拼接图像的清晰度是影响特征点检测准确性的重要因素之一。通过对待拼接图像进行自适应Gamma校正的色彩增强处理，可以提高图像清晰度，提升图像在雾天、雨雪天等光照不足环境下的色彩对比度，有效提升特征点检测的准确度。

S2：光照均衡：

待拼接图像的光照不均匀会导致特征信息误检测、特征信息模糊或丢失等问题，对后期全景拼接的准确度及全景图像的呈现效果产生较大影响。通过采用基于YUV空间的局部均值统计方法对待拼接图像进行光照均衡处理，可以有效去除因光照不均导致的特征点提取错误，同时能够很好的提升全景图像的观感体验，从而为提升后续提升全景拼接准确度提供保障。

S3：柱面投影：

将待拼接图像投影至柱平面，消除不同相机间图像采集过程因视角差异导致的像平面误差。通过对待拼接图像进行投影变换，有效提升图像配准的准确度，提升图像拼接精度，且柱面投影模型具有转换公式简单、视觉一致性较好、应用广泛的优点，而机场环境下的全景拼接通常为水平方向的全景，因此选择柱面投影作为投影模型。柱面投影的水平和垂直方向坐标映射关系如图2所示，坐标映射公式如下：

其中H、W为平面图像的高度及宽度，P(x,y)为输入图像上的像素横纵坐标点，Q(x′,y′)为柱面投影后对应位置图像的像素横纵坐标，θ为P(x,y)点与相机镜头光轴间的夹角，f为相机焦距，焦距可由拍摄现场估计得出：

其中α为相机视场角。

S4：图像分组

对所有图像按照3个为一组进行分组。相邻组之间有一副图像完全相同，各组分别依次进行S5-S8的处理。首先判断输入图像数量是否大于1，若等于1则作为最终全景图像输出，若大于1则继续执行后续步骤；然后将所有经过图像预处理后的图像按顺序3个为一组进行分组，每相邻两组间包含一张相同图片，若剩余不足3个则单独划分为一组；接着分别对每一组图像组执行S5-S8的拼接处理。采用分组拼接的方式能够有效抑制拼接误差的累积叠加，从而极大提升拼接成功率及准确度。

S5：特征点检测与匹配

对各组图像采用基于网格均匀化的shift-Tomasi与Sift相结合的特征点检测算法，对机场图像中建筑物及跑道特征点进行检测，并通过k-d树的最临近搜索方法对图像间检测出的特征点进行粗略匹配，得到匹配的特征点对。角点检测方法与其它特征点检测方法相比更适合机场等人造场景的特征点描述，而各类角点检测方法中，shift-Tomasi方法能够更好的控制检测到的角点特性。Sift特征检测方法具有良好的旋转不变性、尺度不变性，然而存在计算量大的问题，因此仅选用Sift特征描述方法对检测出的shift-Tomasi特征点进行描述。此外，特征点分布不均匀会极大影响图像拼接的准确度，特征点较少的区域通常存在较大的匹配误差，因此采用网格均匀化的方法对图像特征点分布进行均衡，通过将图像网格化保证每个网格内都有一定数量的特征点分布，从而提升后续特征点匹配的准确度。

k-d树是一种二叉树，它是分割k维空间中数据的树形数据结构。因为实际的特征点数据都会呈现出簇状的聚类状态，通过使用k-d树的最邻近搜索方法可加速特征点匹配的过程，加快算法效率，进而得到一组特征点的匹配对，即特征点和最近邻目标特征点组成的特征点对的集合，实现特征点的粗略匹配。S5的整体结构流程如图3所示。

S6：因错误的匹配特征点对会导致单应矩阵的估计值误差变大，因此采用RANSANC(随机抽样一致性)算法对粗略匹配后的特征点对集合中的的错误特征点对进行剔除，并利用剩余精确匹配的特征点对计算出图像间配准的单应性矩阵。首先选取8个特征点对拟合出一个基础矩阵；然后利用该矩阵计算出所有满足这个模型的特征点及代价函数；重复上述步骤直至找到代价函数最小时保留下的特征点对，此时的特征点对即为精确匹配的特征点对，对应的矩阵即为最优单应矩阵。

计算代价函数的公式如下：

其中(x_i,y_i)为匹配目标图像中的特征点位置，(x′_i,y′_i)为待匹配目标图像中的特征点位置，

为待匹配图像对应的单应矩阵。

S7:利用得到的单应性矩阵对各图像依次进行配准拼接处理，利用渐入渐出融合方法处理图像间拼缝的均匀过渡。渐入渐出融合方法原理简单，计算量小，能够在有效消除拼缝的同时满足算法的实时性要求。

S8：判断是否完成了S4所划分的所有图像组的拼接，若未完成继续完成未拼接的分组，若完成则判断所有图像组生成的全景图像个数，若个数大于1则将本轮生成的全景图作为输入重新回到步骤4，若个数等于1则结束拼接过程，输出的图像为拼接生成的全景图像。

S9：全景图像去扭曲

因为Canny边缘检测算法具有较强的抗噪声能力，且采用双阈值策略分别检测强边缘和弱边缘，能够很好的检测出机场场景下的边缘线条，因此对全景图像采用Canny边缘检测，并对边缘图像采用膨胀的形态学处理连接边缘断裂处并平滑边缘；然后根据机场场景特征检测出天际线位置，结合机场场面图像特征，用20*20的滑动窗由上而下遍历整幅图像，找到天际线位置，判定依据为由上而下第一个非零像素点数由0变为0.6窗口面积数量的滑动窗的中心点作为当列的天际线位置；最后采用最小二乘法拟合出天际线圆滑曲线，将此曲线映射为直线，并以此映射关系作为全图映射关系，消除因拼接造成的图像扭曲变形，生成最终拼接全景图，9个相机经本方法处理拼接得到的全景图如图4所示。

本发明提供了一种机场环境下的全景图像拼接方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。