CN109754373B - 面向移动端的全景图像色彩纠正方法 - Google Patents

Abstract

本发明属于全景图像的色彩纠正领域。面向移动端的全景图像色彩纠正方法，提供了一种快速的参考图像选择方法。时间复杂度由Ibrahim等人提出方法的O(n²)降低到O(n)。实验证明，源图像数目越多，该方法相比Ibrahim等人方法时间消耗减少越明显。同时，针对色彩纠正后产生的光线一致性问题，首次提出加入简单点光源的思想。相比传统的色彩纠正方法更符合现实世界的主观感受，给用户更具真实感的体验。

Description

面向移动端的全景图像色彩纠正方法

技术领域

本发明属于全景图像的色彩纠正领域，具体是基于参考图像选择的色彩纠正以及局部光源加入方法。

背景技术

虚拟三维场景的生成技术主要分为基于图形的几何绘制技术(GBR)和基于图像的绘制技术(IBR)。相比GBR，应用IBR生成虚拟三维场景的过程中计算量小,不依赖于场景的复杂度,真实感强。全景图像拼接技术作为IBR的一个研究分支，直接对拍摄的图像进行处理，视觉上更具有丰富性，目前已广泛应用于遥感、摄影、医学、影视等领域。

全景图是一个场景的广角显示。目前，全景图的获取方式主要有两种。一种是采用专门的单反相机或者鱼眼镜头，但是该方法只能获取最大视角范围为180°的全景图。另一种是通过图像拼接的方法，其基本思想是将多幅同一位置拍摄的有重叠区域图像拼接成一副宽视角且高分辨率的大尺寸图像。采用该方法可以获得360°视角的全景图，因此成为当前全景图生成的主要途径。

全景图拼接技术的关键是在源图像的重叠区域中寻找最佳接缝，沿着接缝实现图像融合，同时保证拼接缝隙的最小化。由于拍摄设备、拍摄视角、拍摄环境以及拍摄时间等的不同，导致拍摄到的多幅图像的色彩不一致，对最终生成全景图的视觉效果产生影响。图像融合用于解决拼接线附近颜色的不自然过渡，但是，当输入的源图像色彩差异较大时仅依靠图像融合仍然会出现色彩差异。

因此，需要在图像融合前对图像进行预处理，即色彩纠正。色彩纠正可以减少图像间的色彩差异，使得最终生成的全景图有更强的真实感。同时，还可以提升后期最佳接缝寻找以及图像融合的速度。

随着移动设备处理能力的不断提升，当前的移动设备已不只是通讯工具。高分辨率相机，高质量显示设备以及强大的3D图形处理器的配置使得面向移动端的高质量全景图成为可能。但是，相对于台式机，在移动端进行全景图像拼接需要尽可能地减少计算、内存使用以及能量消耗。因此，面向移动端的快速有效的全景图拼接方法的提出有很大的必要性。

目前，色彩纠正分为参数化的色彩纠正方法和非参数的色彩纠正方法。其本质都是将一张图像的颜色板传送到另一张图像，从而实现两张图像颜色的一致。参数化的色彩纠正方法假设源图像和目标图像之间通过一个矩阵M实现色彩传递。M的选取决定了最终色彩纠正的质量。M可以是一个线性模型，也可以是对角模型。

非参数化方法的本质是首先根据两幅图像重叠区域的图像特征对应关系或像素对的二维联合直方图计算查找表，然后采用查找表对全部颜色或灰度级别的映射进行记录。

但是，上述两种色彩纠正方法中参考图像都是随机选择或者由用户手动选择。当随机选取的参考图像质量较差时就会导致最终全景图质量差的问题。因此，提出一种快速有效的参考图像选择方法具有很大的必要性。

近几年参考图像的选择获得国内外研究者的关注。Xiong等人提出选择RGB三通道的平均值最接近的图像作为参考图像，并且提出对光照和色彩分类处理的色彩纠正方法。但该方法对色彩差异较大的图像处理效果却不是很好。戴华阳等人提出利用“灰度世界假设方法”来选择最佳参考图像。算法的核心思想和Xiong算法类似。该方法简单快速，但是当图像场景颜色较少时常会失效。Ibrahim等人提出选择RGB三通道的归一化变换灰度值之和最小的图像作为参考图像。该方法色彩纠正效果相对较好，但对于参考图像的选择是否合理没有给出验证。针对上述存在的问题，Ibrahim等人进一步完善，提出了改进的参考图像选择标准并给出了对应的量化标准。但是在色彩纠正的过程中，参考图像的选择过程过于繁琐。

发明内容

为了克服Ibrahim等人参考图像选择过程计算量大的问题，本发明提供一种快速的基于参考图像的色彩纠正算法，以降低算法所需的时间。针对提出的参考图像选择方法，分别采用参数化和非参数化的色彩纠正方法进行验证。另外，针对色彩纠正导致的全景图像光线一致性问题，本发明提出加入局部光源进一步提升全景图像的真实感。

本发明所采用的技术方案是：1、面向移动端的全景图像色彩纠正方法，按照如下的步骤进行

步骤一、使用特征点匹配算法计算待拼接图像序列相邻图像的重叠区域；

步骤二、在图像的重叠区域，基于图像标准差计算每张图像作为参考图像的合适度；

步骤三、按照合适度大小降序对图像进行排列，依照此序列选择参考图像进行色彩纠正；

步骤四、对合适度最低的图像在色彩纠正前后的结构相似度进行度量，若满足给定阈值，则说明参考图像选择合理，把该图像作为参考图像执行步骤五，否则执行步骤六；

步骤五、利用选择的参考图像实现剩余图像的色彩纠正，然后执行步骤七；

步骤六、判断在当前阈值下是否所有的图像已被选为参考图像，若是，减少阈值，返回步骤三，否则在未作为参考图像的图像集中降序选择参考图像，返回步骤四；

步骤七、利用选择的参考图像对剩余图像分别采用参数化和非参数化的色彩纠正方法进行色彩纠正。

作为一种优选方式：步骤一的具体步骤为，利用SURF算法计算待匹配图像的R和T的特征点匹配集合

k为小于等于m的自然数，m为特征点对数；求当

取最小值时的变换矩阵tform，利用tform将两幅图像映射至同一平面，定义两个矩阵A₁,A₂分别存储两幅图像的位置信息；矩阵A₁和A₂的相同区域即为两幅图像的重叠区域。

作为一种优选方式：步骤二的具体步骤为，设待拼接的图像总数为n,每张图像作为参考图像的合适度计算公式为，

其中，2≤i≤n,j∈R,G,B,D_i-1和D_i分别代表第i-1和第i张图像作为参考图像的合适度，D₁初始化合适度为0，

和

分别代表

和

第j通道的标准差，

和

分别代表第i张和第i-1张图像的重叠区域,设置给定阈值。

作为一种优选方式：步骤三的具体步骤为，根据合适度的大小对图像降序排列，记合适度取最大值和最小值时对应的图像分别为I_max和I_min，以I_max为参考图像对I_min进行色彩纠正。

作为一种优选方式：步骤四的具体步骤为，定义

进行相似度评估，src和tar分别表示色彩纠正前后的最小值I_min，N是图像中滑块窗的数量，a_t和b_t分别表示色彩纠正前后图像当前窗口t的图像内容，若SS(src,tar)大于等于给定阈值，则说明参考图像选择合理，把该图像作为参考图像执行步骤五，否则执行步骤六。

作为一种优选方式：步骤六的具体步骤为，判断除了I_min外的所有图像是否均已被选为参考图像，若是，减少初始的给定阈值，返回步骤三，否则将从未作为参考图像的图像集中降序，选择合适度最大的图像为新的I_max为参考图像，返回步骤四。

本发明解决光照一致性问题所采用的技术方案是：设定光源点以及光源半径，构建圆形区域；对于圆形区域内的像素点，计算其叠加光照值。

本发明与其他色彩纠正算法相比，提供了一种快速的参考图像选择方法。时间复杂度由Ibrahim等人提出方法的O(n²)降低到O(n)。实验证明，源图像数目越多，该方法相比Ibrahim等人方法时间消耗减少越明显。同时，针对色彩纠正后产生的光线一致性问题，首次提出加入简单点光源的思想。相比传统的色彩纠正方法更符合现实世界的主观感受，给用户更具真实感的体验。

附图说明

图1是本发明基于参考图像选择的色彩纠正流程图。

具体实施方式

本发明根据质量差的图像在色彩纠正后更容易发生结构改变，提出改进的基于参考图像选择的色彩纠正方法，用于快速选取合理的参考图像。流程图如图1所示，具体步骤如下：

计算相邻图像的重叠区域；

图像拼接处理的是一系列有重叠区域的图像。由于拍摄场景、视角和焦距等的差异导致重叠区域的像素点并不是一一对应。传统的SIFT(Scale-invariant featuretransform)算法可以处理旋转，视角以及光照改变的图像，且特征提取过程鲁棒性强。但是处理过程复杂，检测和匹配速度慢。SURF(scale-and-rotation-invariant featuredescriptor)算法是SIFT算法的改进，速度相比SIFT有很大的提升。因此，本发明利用SURF算法找出相邻图像的匹配点集。

计算图像重叠区域的算法描述如下：

输入：R,T /*待匹配的两幅图像*/

输出：R°,T° /*两幅图像的重叠区域*/

开始

利用SURF算法计算待匹配图像R和T的特征点匹配集合

k为小于等于m的自然数，m为特征点对数；求当

取最小值时的变换矩阵tform,利用tform将两幅图像映射至同一平面，定义两个矩阵A₁,A₂分别存储两幅图像的位置信息；

矩阵A₁和A₂的相同区域即为两幅图像的重叠区域。

结束。

设待拼接的图像总数为n，则每张图像作为参考图像的合适度计算公式如下：

其中，D_i和D_i-1分别代表第i和第i-1张图像作为参考图像的合适度，D₁初始化为0。

和

分别代表

和

第j通道的标准差(

和

分别代表第i张和第i-1张图像的重叠区域)。

根据合适度的大小对图像降序排列，记合适度取最大值和最小值时对应的图像分别为I_max和I_min。以I_ma0为参考图像对I_min进行色彩纠正，并判断其色彩纠正前后的图像损失量。

本发明选择的相似度评估标准是SS(src,tar)，src和tar分别表示色彩纠正前后的I_min。SS(src,tar)的定义如下：

SSIM是结构，光照以及对比度三者的结合。N是图像中滑块窗的数量，a_t和b_t分别表示色彩纠正前后图像当前窗口t的图像内容。

若SS(src,tar)大于等于给定阈值，则以I_max为参考图像对剩余图像完成色彩纠正。若不满足，继续判断除了I_min外的所有图像是否均已被选为参考图像，若是，改变初始阈值的大小。阈值的初始值设为0.95，每次阈值减少0.05。若还有图像没有被选择，则在未选为参考图像的集合中选择D最大的图像为新的I_max，继续对I_min进行色彩纠正。

利用参数化和非参数的色彩纠正方法分别进行验证。本发明所述参数化方法选用的是文献[2]，非参数化方法选用的是文献[3]。

文献1，Ibrahim M T,Hafiz R,Khan M M,et al.Automatic selection of colorreference image for panoramic stitching[J].Multimedia Systems,2016,22(3):379-392.

文献2，Xiao X,Ma L.Color transfer in correlated color space[C]//ACMInternational Conference on Virtual Reality Continuum and ITSApplications.ACM,2006:305-309.提出将一幅图像的色彩特征转移到另一幅图像的色彩纠正方法。该方法将像素看作是三维随机变量，采用三维随机变量的协方差来表示两幅图像的相关性。三维随机变量对应三维色彩空间。然后采用SVD方法分解协方差矩阵并获得旋转矩阵。最后针对每个色彩空间，对目标图像的数据点进行缩放，旋转和平移以获得与源图像数据点簇基本保持一致的图像。

文献3，Pitie F,Kokaram A C,Dahyot R.N-dimensional probability densityfunction transfer and its application to color transfer[C]//Tenth IEEEInternational Conference on Computer Vision.IEEE Computer Society,2005:1434-1439.基于一维概率密度函数的迭代使用提出一种简单的色彩纠正方法。首先，对源图像和目标图像分别采样。然后根据采样数据求出其相应的概率密度函数，并完成映射过程。

为了保证色彩纠正方法的有效性，本发明采用文献[2]和文献[3]进行验证。若色彩纠正前后图像的结构相似度大于等于给定阈值，则证明有效。

色彩纠正后的图像基本实现了色彩的一致，但是一定程度上造成了原始图像光线的损失。为了进一步增强生成全景图像的真实感，本发明提出加入简单点光源的方法。具体步骤如下：

设定点光源位置，光源半径，以及光照系数。光源半径一般取min(row/2,col/2)，row和col分别代表图像的行数和列数。

以光源点为圆心，光源半径为半径，构建圆形区域。

对于圆形区域的像素点，根据光照系数以及距离光源点的距离计算叠加光照值。最终像素值为原始像素值与叠加光照值之和。距离选用的是欧氏距离：

d＝sqrt[(x-x₀)²+(y-y₀)²]

其中，(x₀,y₀)为光源点坐标，(x,y)为圆形区域内任意一个像素点的坐标。对于圆形区域内的像素点，其叠加光照值

add为叠加光照值。k为光照系数，用于控制光照强弱。R为光源半径，用于控制光源的照射范围。

对于圆形区域外的像素点，其像素保持原始值不变。

算法描述如下：

Claims (4)

1.面向移动端的全景图像色彩纠正方法，其特征在于：按照如下的步骤进行

步骤一、使用特征点匹配算法计算待拼接图像序列相邻图像的重叠区域，具体为，利用SURF算法计算待匹配图像的R和T的特征点匹配集合

其中k为小于等于m的自然数，m为特征点对数；求当

取最小值时的变换矩阵tform，利用tform将两幅图像映射至同一平面，定义两个矩阵A₁,A₂分别存储两幅图像的位置信息；矩阵A₁和A₂的相同区域即为两幅图像的重叠区域；

步骤二、在图像的重叠区域，基于图像标准差计算每张图像作为参考图像的合适度，具体步骤为，设待拼接的图像总数为n,每张图像作为参考图像的合适度计算公式为，

其中，2≤i≤n,j∈R,G,B，D_i-1和D_i分别代表第i-1和第i张图像作为参考图像的合适度，D₁初始化合适度为0，

和

分别代表

和

第j通道的标准差，

和

分别代表第i张和第i-1张图像的重叠区域,设置给定阈值；

步骤三、按照合适度大小降序对图像进行排列，依照此序列选择参考图像进行色彩纠正；

步骤四、对合适度最低的图像在色彩纠正前后的结构相似度进行度量，若满足给定阈值，则说明参考图像选择合理，把该图像作为参考图像执行步骤五，否则执行步骤六；

步骤五、利用选择的参考图像实现剩余图像的色彩纠正，然后执行步骤七；

步骤六、判断在当前阈值下是否所有的图像已被选为参考图像，若是，减少阈值，返回步骤三，否则在未作为参考图像的图像集中降序选择参考图像，返回步骤四；

步骤七、利用选择的参考图像对剩余图像分别采用参数化和非参数化的色彩纠正方法进行色彩纠正。

2.根据权利要求1所述的面向移动端的全景图像色彩纠正方法，其特征在于：步骤三的具体为，根据合适度大小的大小对图像降序排列，记合适度取最大值和最小值时对应的图像分别为I_max和I_min，以I_max为参考图像对I_min进行色彩纠正。

3.根据权利要求1所述的面向移动端的全景图像色彩纠正方法，其特征在于：步骤四的具体为，定义

进行相似度评估，src和tar分别表示色彩纠正前后的I_min,N是图像中滑块窗的数量，a_t和b_t分别表示色彩纠正前后图像当前窗口t的图像内容，若SS(src,tar)大于等于给定阈值，则说明参考图像选择合理，把该图像作为参考图像执行步骤五，否则执行步骤六。

4.根据权利要求1所述的面向移动端的全景图像色彩纠正方法，其特征在于：步骤六的具体为，判断除了I_min外的所有图像是否均已被选为参考图像，若是，减少初始的给定阈值，返回步骤三，否则将从未作为参考图像的图像集中降序，选择合适度最大的图像为新的I_max为参考图像，返回步骤四。

Images