CN105046643A - 一种基于亮度自适应配准的图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于亮度自适应配准的图像拼接方法，属于图像处理技术领域。本发明将待拼接图像转换到亮度空间下并初始化基准图像，然后从待拼接图像中选取一副与当前基准图像存在重叠的图像作为当前待调整图像，基于预设的各亮度区间的亮度增加值对待调整图像的各像素点的亮度值进行分区间亮度调整，接着对亮度调整后的图像进行亮度平滑处理后与基准图像进行图像拼接处理；若待拼接图像未处理完，则将当前拼接图像作为基准图像继续重复上述确定待调整图像、分区间亮度调整、亮度平滑处理和拼接处理。本发明计算简便，克服了不同曝光差异下，拼接图像亮度不一致的问题，极大地改善了拼接图像的视觉质量。

Description

一种基于亮度自适应配准的图像拼接方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于亮度自适应配准的图像拼接方法。

背景技术

图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术，其处理过程包括图像预处理、图像配准、建立变换模型、统一坐标变换和融合重构。而图像配准部分是整个图像拼接技术的核心部分，它直接关系到图像拼接算法的成功率和运行速度，所谓图像配准，即采用一定的匹配策略，找出待拼接图像中的模板或特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。

目前的图像配准基本是基于几何配准，但是由于待拼接图像因拍摄角度，曝光参数选择等不同，造成了对同一幅场景中各待拼接图片亮度不一致的现象。因此，直接拼接得到的整幅图像会产生由亮到暗或者间歇性产生亮暗交替的现象，与现实场景的视觉效果差异巨大，导致图像的拼接质量下降。

发明内容

本发明的发明目的在于：针对传统图像拼接中全景图像亮度不一致的技术问题，提供一种在图像拼接处中，基于亮度自适应来实现图像的亮度配准，以提高拼接图像视觉效果。

本发明的基于亮度自适应配准的图像拼接方法，包括下列步骤：

步骤1：将待拼接图像转换至亮度空间，比如HSV、HSL、YUV等包含亮度描述的色彩空间；

步骤2：初始化基准图像：从待拼接图像中确定一副图像为基准图像。为了进一步提高处理效果，也可以基于正常曝光亮度区间比例来初始化基准图像，即基于预设亮度区间(经验值，通常该区间设为固定值[80,200])，统计各图像中位于该亮度区间[80,200]的像素点与图像总像素点的比例，选取比例最大的图像作为基准图像；

步骤3：从待拼接图像中选取一副与当前基准图像存在重叠的任一一副图像作为当前待调整图像，并计算待调整图像与基准图像的亮度偏移量ΔV；

步骤4：对待调整图像进行分区间亮度调整：基于亮度值将亮度空间分为N个亮度区间(系统预设值N≥2，通常的取值范围为4≤N≤10)，即将亮度取值[0,255]分为N段，并为各亮度区间设置一个亮度增加值，根据待调整图像的像素点的亮度值所对应的亮度区间匹配的亮度增加值，调整各像素点的亮度值。即在待调整图像的像素点的原亮度值基础上加上所匹配的亮度增加值作为调整后的各像素点的亮度值。各亮度区间所对应的亮度增加值为预设值，可基于系统运行环境、处理要求基于经验值进行对应的设置。比如基于待调整图像与基准图像的亮度偏移量ΔV为各亮度区间设置亮度增加值V_i(下标i＝1,2,…,N为亮度区间标识)：

用T_i分别表示各亮度区间的起始值，其中T₁＝0且T_i≤T_i+1，T_N+1＝255，则各亮度区间的取值范围为[T_i,T_i+1)；分别为各亮度区间设置一个调整系数C_i，且亮度区间取值越大，调整系数C_i的取值则越大，其中C₁＝0，且0＜C_j≤1，C_j＜C_j+1，下标j＝2,3,…,N；当i取1时，亮度区间i所对应的亮度增加值V_i的取值设置为0；当i∈[2,N]时，亮度区间i所对应的亮度增加值V_i为：其中v'表示待调整图像的各像素点的原亮度值。为了简化计算，在该计算方式中，还可以设置T_N＝255-ΔV，并根据下式分别计算各亮度区间所对应的亮度增加值V_i：

$\left\{\begin{array}{cc}{V}_1=0& i=1\\ V_i=\frac{(C_i-C_{i-1})\mathrm{\Δ}V}{T_{i+1}-T_i}(v^{\′}-T_i)+C_{i-1}\mathrm{\Δ}V& i\∈\[2,N-2\]\\ \mathrm{\Δ}V& i=N-1\\ 255-v^{\′}& i=N\end{array}\right.$

即当待调整图像的像素点的原亮度值v'∈[T₁,T₂)时，所对应的亮度增加值为0；当v'∈[T₂,T₃),[T₃,T₄),…[T_N-3,T_N-2)时，根据计算各亮度区间所对应的亮度增加值V_i；当v'∈[T_N-2,255-ΔV)时，所对应的亮度增加值为ΔV；当v'∈[255-ΔV,255)时，所对应的亮度增加值为255-v'。

步骤5：对待调整图像进行亮度平滑处理后与当前基准图像进行图像拼接处理，得到图像P。亮度平滑处理可采用现有的任一方式，如采用如下所述的亮度修正函数实现对待调整图像的亮度平滑处理，其中V_in表示待调整图像在分区间亮度调整后各像素点的亮度值，V_out表示亮度平滑处理后各像素点(待调整图像的各像素点)的亮度值，参数z的取值范围为(0,1)，优选值为0.4。为了实现本发明的亮度调整自适应性，亮度平滑处理公式中的参数z的取值可以根据当前亮度偏移量ΔV进行设置，具体为： $z=\left\{\begin{array}{cc}1-\frac{2\mathrm{\Δ}V}{100}& \mathrm{\Δ}V\∈(0,50\]\\ 0& \mathrm{\Δ}V\∈(50,255)\end{array}\right..$

步骤6：将图像P作为基准图像并执行步骤3-5，直到处理完所有待拼接图像。

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明在图像拼接处理中，基于图像的亮度信息实现对待拼接图像的光学配准(亮度配准)，通过对待拼接图像进行分区间亮度调整，恢复了原来场景中的亮度，从而避免拼接后图像出现亮度不均匀的情况，提高了拼接图像的观赏质量。

附图说明

图1是本发明具体实施方式的处理流程图；

图2是本发明具体实施方式中，亮度偏移量计算示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

实施例

参见图1，基于本发明的图像拼接方法对待拼接图像序列(img1，img2,img3，…，imgn)进行图像拼接处理的具体过程为：

步骤S100：输入一系列待拼接图像序列(img1，img2,img3，…，imgn)，并将输入的待拼接图像转换到亮度空间，本实施例中将输入的待拼接图像转换到HSV色彩空间。

步骤S200：初始化基准图像：基于预设的亮度区间[80,200]，分别计算每幅图像中落在该亮度区间内的像素点个数占各图像的总像素点数目的比例大小，得到与图像序列(img1，img2,img3，…，imgn)对应的比例值：p₁，p₂，p₃，…，p_n，选取其中的最大者作为基准图像Image_s，即Image_s＝max(p₁，p₂，p₃，…，p_n)，并将Image_s从待拼接图像序列中删除。

步骤S300：基于基准图像Image_s确定当前待调整图像：从待拼接图像序列中选取一副与Image_s存在重叠的图像Image_t作为当前待调整图像。

步骤S400：计算Image_s与Image_t的亮度偏移量，本步骤可以采用现有的任何方式实现，本实施例中，基于图像特征点完成该亮度偏移量的计算，具体处理为：

步骤S401：对两幅图像Image_s与Image_t提取图像特征点，并且找出匹配的图像特征点对集合{(s1,t1),(s2,t2),(s3,t3)...}；

步骤S402：基于Image_s和Image_t的图像特征点对集合{(s1,t1),(s2,t2),(s3,t3)...}，计算各特征点对的亮度差值ΔX_i(i＝1,2,…,n)，基于所有ΔX_i计算平均值E和方差σ，若ΔX_i-E的绝对值小于k*σ(k大于0，其具体取值可以根据实际应用需求，进行调整，本实施例中设置为k＝3)，则保留对应的特征点对，否则，从特征点对集合中剔除该特征点对(可称为误差点)。剔除误差点的目的是为了防止这些特征点可能对最终处理结果的干扰，当然也可以不剔除误差点，直接基于匹配的特征点对集合{(s1,t1),(s2,t2),(s3,t3)...}执行步骤S403；

步骤S403：统计待调整图像Image_t和基准图像Image_s当前特征点对集合中各特征点对的亮度直方图，根据亮度直方图在5～12％比例(本实施例中取10％)处的位置的元素坐标的差值得到两幅图像的亮度偏移量ΔV，如图2所示，其中x1表示Image_s在其直方图10％比例处的位置的元素坐标，x2表示Image_t在其直方图10％比例处的位置的元素坐标。

步骤S500：根据步骤S400计算得到的亮度偏移量ΔV，对Image_t进行分区间亮度调整：遍历Image_t的所有像素点，提取每个像素点亮度值v'，根据v'属于某个亮度区间来对图像像素点进行不同的亮度值调整，同时保持其余颜色分量不变。

本实施例中，将亮度空间分为4个亮度区间：[0,30)、[30,80)、[80,255-ΔV)和[255-ΔV,255)，并设置亮度区间[0,30)所对应的亮度增加值为0，亮度区间[30,80)所对应的调整系数为1，基于公式 $V_i=\frac{(C_i-C_{i-1})\mathrm{\Δ}V}{T_{i+1}-T_i}(v^{\′}-T_i)+C_{i-1}\mathrm{\Δ}V,(i=1,2,...,N)$ 得到该区间所对应的亮度增加值为设置亮度区间[80,255-ΔV)所对应的亮度增加值为ΔV，设置亮度区间[255-ΔV,255)所对应的亮度增加值为255-v'。遍历待调整图像的每个像素点，提取每个像素点亮度值v'，根据其值属于上述4各亮度区间来对调整图像的各像素点进行不同的亮度值调整。

步骤S600：经过步骤S500的亮度调整的Image_t还要再进行一次亮度平滑处理，以提高图像的视觉平滑效果：遍历经步骤S500处理后的待调整图像的每个像素点，对于每个像素点的亮度值V_in进行如下映射，得到平滑处理后各像素点的亮度值V_out：其中参数z的取值根据当前亮度偏移量ΔV进行设置： $z=\left\{\begin{array}{cc}1-\frac{2\mathrm{\Δ}V}{100}& \mathrm{\Δ}V\∈(0,50\]\\ 0& \mathrm{\Δ}V\∈(50,255)\end{array}\right..$

经过上述对Image_t的处理之后，再对Image_s与Image_t进行拼接处理，可以得到亮度视觉效果非常一致的完整拼接图片Image_P。

步骤S700：判断当前待拼接图像序列中的待拼接图像是否处理完毕，若否，则执行步骤S800；否则，结束图像拼接处理。

步骤S800，将基准图像更新为步骤S600所拼接得到的Image_P，继续执行步骤S300。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (10)

1.一种基于亮度自适应配准的图像拼接方法，其特征在于，包括下列步骤：

步骤1：将待拼接图像转换至亮度空间；

步骤2：初始化基准图像：从待拼接图像中确定一副图像为基准图像；

步骤3：从待拼接图像中选取一副与当前基准图像存在重叠的图像作为当前待调整图像；

步骤4：对待调整图像进行分区间亮度调整：基于亮度值将亮度空间分为N个亮度区间，其中N≥2，并为各亮度区间设置一个亮度增加值，根据待调整图像的像素点的亮度值所对应的亮度区间匹配的亮度增加值，调整各像素点的亮度值；

步骤5：对待调整图像进行亮度平滑处理后与当前基准图像进行图像拼接处理，得到图像P；

步骤6：将图像P作为基准图像并执行步骤3-5，直到处理完所有待拼接图像。

2.如权利要求1所述的方法，其特征在于，所述步骤2中，初始化基准图像为：基于预设亮度区间，统计各图像中位于所述亮度区间的像素点与图像总像素点的比例，选取比例最大的图像作为基准图像。

3.如权利要求2所述的方法，其特征在于，所述预设亮度区间为[80,200]。

4.如权利要求1、2或3所述的方法，其特征在于，所述步骤4中，基于待调整图像与基准图像的亮度偏移量ΔV设置各亮度区间设置一个亮度增加值：

用T_i分别表示各亮度区间的起始值，其中T₁＝0且T_i≤T_i+1，下标i＝1,2,…,N为亮度区间标识符，且T_N+1＝255；

分别为各亮度区间设置一个调整系数C_i，且亮度区间取值越大，调整系数C_i的取值则越大，其中C₁＝0，且0＜C_j≤1，C_j＜C_j+1，下标j＝2,3,…,N；

当i取1时，亮度区间i所对应的亮度增加值V_i的取值设置为0；当i∈[2,N]时，亮度区间i所对应的亮度增加值V_i为：其中v'表示待调整图像的各像素点的原亮度值。

5.如权利要求4所述的方法，其特征在于，所述步骤4中，设置亮度区间个数N的取值范围为：4≤N≤10，并设置T_N＝255-ΔV，及设置亮度区间N-1所对应的亮度增加值为ΔV，亮度区间N所对应的亮度增加值为255-v'。

6.如权利要求5所述的方法，其特征在于，所述步骤4中，设置亮度区间个数N的取值为4，并设置T₂＝30，T₄＝80，亮度区间[30,80)的调整系数C₂设置为1。

7.如权利要求4、5或6所述的方法，其特征在于，步骤4中，计算待调整图像与基准图像的亮度偏移量ΔV为：

提取并匹配待调整图像与基准图像的特征点，根据匹配得到的特征点对的亮度直方图，取亮度直方图w％比例处的位置的元素坐标的差值为亮度偏移量ΔV，其中w的取值范围为5～12。

8.如权利要求7所述的方法，其特征在于，所述步骤3还包括，基于匹配得到的特征点对的亮度差值计算平均值E和方差σ，并剔除特征点对的亮度差值与平均值E的差值大于或等于k*σ的特征点对，其中预设值k大于0；根据待调整图像与基准图像的当前特征点对的亮度直方图计算亮度偏移量ΔV。

9.如权利要求4、5或6所述的方法，其特征在于，步骤5中，根据公式对待调整图像进行亮度平滑处理，其中V_in表示待调整图像在分区间亮度调整后各像素点的亮度值，V_out表示亮度平滑处理后各像素点的亮度值，参数z的取值范围为(0,1)。

10.如权利要求9所述的方法，其特征在于，步骤5中，基于当前亮度偏移量ΔV设置参数z的取值：若0＜ΔV≤50，则否则z的取值为0。