CN105005963A - 一种多相机图像拼接匀色方法 - Google Patents

Abstract

本发明提出了一种多相机图像拼接匀色方法，包括以下步骤：S1，利用Gamma校正提高每幅图像的亮度；S2，从提高亮度后的每幅图像中选取图像信息熵最大的为参考图像，其余图像为目标图像；S3，将每幅图像从RGB颜色空间变换到YC_bC_r颜色空间；S4，以参考图像为标准，在YC_bC_r颜色空间中将目标图像的色彩和亮度调整到与参考图像一致；S5，对每幅图进行颜色空间反变换，得到RGB空间的图像；S6，采用图像同名点匹配算法对图像进行拼接，得到初步全景图像；S7、对得到的初步图像进行增强对比度处理，得到亮度、色彩均衡的全景图像。本发明计算方法简单、速度快，能应用于彩色图像的匀色处理。

Description

一种多相机图像拼接匀色方法

技术领域

本发明涉及图像处理领域，具体涉及一种多相机图像拼接匀色方法。

背景技术

目前，随着计算机技术和图像处理技术的迅速发展，多摄像机图像拼接技术有了更广泛的应用，如虚拟现实、军事安防、测绘等。实时图像拼接一般要求非常多的摄像机同步获取视频图像，且相邻图像要有一定的重叠区域，再通过图像匹配的方法计算出图像变换矩阵，从而拼接成大场景的图像。然而，由于摄像机型号、成像性能、视角和工作时自然环境的差异，同一融合区域内来自不同摄像机的图像在亮度、色彩等方面会存在一定的差异，如果直接对这些视频图像进行配准，整个拼接场景在视觉上会出现不一致性，并且在融合部位也会形成比较明显的分隔线，从而严重影响拼接图像的视觉和美观效果。因此非常有必要对多摄像机拼接图像进行校正。

一般来讲，影响图像最终颜色质量的主要因素有两个，一是单幅图像内部的亮度分布不均匀问题，另一是相邻图像之间存在较大的色彩差异。导致单幅图像内部亮度不均的原因一般是虚光效应、摄影角度及特殊地物的强反射等，而造成相邻图像之间存在较大色彩差异的因素主要是光照和摄影角度等。对于全景图像，图像质量问题主要表现在相邻图像之间存在的色彩差异上。

目前国内外针对构成全景图像的相邻图像之间存在色彩差异的研究非常多，一般可以分为两类：一类是依赖于硬件的曝光校正，另一类是基于软件的曝光校正。基于软件校正的方法较多，例如直方图匹配、直方图规定化、MASK匀光算法、Wallis匀光算法、差值匀光算法和比值匀光算法等，虽然部分算法已经很成熟，但是其主要是针对灰度图像进行的匀光处理，对于彩色图像，匀光效果并不理想。

现有多相机图像拼接匀色方法主要存在以下问题：

①目前匀色算法在参考图像的选取上大多采用人工选取的方法，主观性较大，不能实现质量较高参考图像的自动选取；

②目前的匀色算法主要针对灰度图像进行，针对灰度图像的匀光算法不适用于彩色图像的匀光；

③相邻图像的重叠度是图像匀色中的重要信息，目前匀色算法往往是基于待匀色图像到参考图像的直接色彩匹配，忽略了相邻图像的重叠度信息；

④目前匀色算法对明暗反差较大的图像匀色效果较好，但是当图像上较暗区域的反差较弱，匀色处理后这些区域的反差依然较弱。因此，目前的匀色算法在对反差较弱图像的匀色处理上具有较大的局限性。

针对目前现有技术存在的不足，本发明的目的是提供一种能调节多幅图像之间亮度、色彩不一致问题的多相机图像的匀色方法，使最终拼接所得的全景图像具有均衡的亮度和色彩。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种计算方法简单、速度快，且能应用于彩色图像的匀色处理的多相机图像拼接匀色方法。

为了实现本发明的上述目的，本发明提供了一种多相机图像拼接匀色方法，包括以下步骤：

S1，利用Gamma校正提高每幅图像的亮度；

S2，从提高亮度后的每幅图像中选取图像信息熵最大的为参考图像,其余图像为目标图像；

S3，将每幅图像从RGB颜色空间变换到YC_bC_r颜色空间；

S4，以参考图像为标准，在YC_bC_r颜色空间中将目标图像的色彩和亮度调整到与参考图像一致；

S5，对每幅图进行颜色空间反变换，得到RGB空间的图像；

S6，采用图像匹配同名点对图像进行拼接，得到初步全景图像；

S7、对得到的初步图像进行增强对比度处理，得到亮度、色彩均衡的全景图像。

因受到图像获取环境因素的影响，多幅图像的亮度都比较暗，所以提高图像的亮度值是对图像进行匀色处理的基础，并且Gamma校正补偿了不同输出设备存在的颜色显示差异，从而使图像在不同的监视器上呈现出相同的效果。然后基于颜色空间转换，利用视觉归一化方法进行全景图像的匀色处理，处理方法简单，快速，能对彩色照片进行有效的匀色处理。

进一步的，所述步骤S1中利用Gamma校正提高每幅图像的亮度的公式为：I_out＝(I_in/max_gray)^1/γ*max_gray，

其中I_in表示输入图像的原始灰度值，I_out表示校正后的灰度值；max_gray表示输入最大灰度值；γ表示伽马校正的计量单位，为一个经验值，不同经验值的选择有不同的效果，需要根据图像效果，选择最佳的经验值,取值范围为[0.1,10]。

进一步的，步骤S2包括以下步骤：

S2-1，计算每个图像的信息熵，计算公式为其中：H表示图像信息熵；i表示灰度级；pⁱ表示第i灰度级出现的概率；n表示灰度级个数；

S2-2，选取信息熵最大的图像为参考图像。

在图像中，图像的信息熵越大，那么图像内部越均匀，图像的质量就越高。本方法中图像的灰度级以及该灰度级出现的概率均可以本技术领域已知的方法获得。

进一步的，所述步骤S3中将图像从RGB颜色空间变换到YC_bC_r颜色空间的计算公式为：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{256}\×\left[\begin{array}{ccc}65.738& 129.057& 25.064\\ -37.945& -74.494& 112.439\\ 112.439& -94.154& -18.285\end{array}\right]\×\left[\begin{array}{c}R\\ G\\ B\end{array}\right],$ 其中，Y表示亮度信号，Cb为蓝色色度信号、Cr为红色色度信号，R指红色亮度值，G指绿色亮度值，B指蓝色亮度值_。

进一步的，步骤S4包括以下步骤：

S4-1，将每幅图分为重叠区域I₀和其他区域I₁两个区域，将图像边缘15％区域作为重叠区域I₀，图像剩余部分作为其他区域I₁，重叠区域I₀的权值记为λ，其他区域I₁的权值记为1-λ，对图像进行加权平均，计算图像的亮度信号平均值Y_Avg、蓝色色度信号平均值和红色色度信号平均值计算公式为I_Avg＝λ×I₀+(1-λ)×I₁；

S4-2，计算目标图像与参考图像的平均亮度差值Y_Diff，计算公式为Y_Diff＝Y_{S_Avg}-Y_{D_Avg}，其中，Y_Diff表示目标图像与参考图像平均亮度差值；Y_{S_Avg}表示参考图像的平均亮度值；Y_{D_Avg}表示目标图像的平均亮度值；

S4-3，计算目标图像的亮度调节因子Y_factor，计算公式为其中，Y_factor表示目标图像的亮度调节因子；Y_curr表示目标图像中某一像素点的当前亮度值，为已知量；

S4-4，计算目标图像校正后的亮度值Y_new，计算公式为Y_new＝Y_curr+Y_Diff×Y_factor，其中，Y_new表示目标图像中某一像素点校正后的亮度值；

S4-5，根据S4-2至S4-4相同的方法，计算目标图像校正后的红色色度值和蓝色色度值

该方法计算简单，能快速准确计算得到目标图像校正后的亮度值Y_new以及红色色度值和蓝色色度值

进一步的，所述步骤S5中对每幅图进行颜色空间反变换，得到RGB空间的图像的变换公式为： $\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\frac{1}{256}\left[\begin{array}{ccc}298.082& 0& 408.583\\ 298.082& -100.291& -208.120\\ 298.082& 516.411& 0\end{array}\right]\×\[\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]-\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]\].$

进一步的，步骤S7包括以下步骤：

S7-1，分别统计各通道即红/绿/蓝的直方图；这里按照本领域已知的方法统计即可。

S7-2，分别计算通过各通道设定的截断参数所确定的上限值Max和下限值Min，计算方法为：首先，各通道中，分别从灰度0开始向上累加统计直方图，当累加值大于LowCut所有像素数时，将此时的灰度值计为Min；然后从灰度255开始向下累计直方图，如果累加值大于HighCut所有像素时，将此时的灰度值计为Max，其中LowCut和HighCut均截断参数，通常LowCut和HighCut默认值为0.1；

S7-3，从步骤S7-2中所得到的各通道的上限值Max和下限值Mix中获取三个通道上限值的最大值MMax，以及下限值的最小值MMin，然后以此为各通道新的上限值及下限值，将灰度依次从[MMin，MMax]映射到[0,255]，得到映射表，映射法则为I_new＝(I_old-MMin)/(MMax-MMin)*255，其中I_new为目标灰度值，I_old为初始灰度值，为已知量；

S7-4，以映射表为基础，目标灰度值I_new为灰度值调整目标，分别对红/绿/蓝通道灰度值进行调整，得到亮度、色彩均衡的全景图像。

该方法简单有效，通过对灰度值的调整，将初步图像处理成了亮度、色彩均衡的全景图像。

本发明的有益效果是：

1、在参考图像的选取上通过选用信息熵最大的图像为参考图像取代了人工选取的方法，使得在选取参考图像时更加客观，参考图像的质量得到保证；

2、本发明能对彩色图像进行匀色处理；

3、本发明利用相邻图像的重叠度信息，提高了对图像的Y、C_b和C_r的平均值计算的精度，进一步提高了对图像的匀色处理的质量；

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的流程示意图；

图2是本发明中处理前的图像；

图3是本发明中处理后的图像。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种多相机图像拼接匀色方法，如图1所示，包括以下步骤：

S1，利用Gamma校正提高每幅图像的亮度，采用以下公式计算：I_out＝(I_in/max_gray)^1/γ*max_gray，其中I_in表示输入图像的原始灰度值，I_out表示校正后的灰度值；max_gray表示输入最大灰度值；γ表示伽马校正的计量单位，为一个经验值，不同经验值的选择有不同的效果，需要根据图像效果，选择最佳的经验值,取值范围为[0.1,10]。其中，输入图像的原始灰度值I_in和输入最大灰度值max_gray均可通过本领域已知的方法计算得到。因受到图像获取环境因素的影响，多幅图像的亮度都比较暗，所以提高图像的亮度值是对图像进行匀色处理的基础。

S2，从提高亮度后的每幅图像中选取图像信息熵最大的为参考图像,其余图像为目标图像。

对每个图像信息熵的计算公式为其中：H表示图像信息熵；i表示灰度级；pⁱ表示第i灰度级出现的概率；n表示灰度级个数；

在图像中，图像的信息熵越大，那么图像内部越均匀，图像的质量就越高。本步骤中图像的灰度级i以及该灰度级出现的概率p_i均可以本技术领域已知的方法获得。

S3，通过公式 $\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{256}\×\left[\begin{array}{ccc}65.738& 129.057& 25.064\\ -37.945& -74.494& 112.439\\ 112.439& -94.154& -18.285\end{array}\right]\×\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$ 将每幅图像从RGB颜色空间变换到YCbCr颜色空间，其中，Y为图像亮度信号值，Cb、Cr为图像色度信号值，R指红色亮度值，G指绿色亮度值，B指蓝色亮度值。

S4，以参考图像为标准，在YC_bC_r颜色空间中将目标图像的色彩和亮度调整到与参考图像一致；

S5，通过公式 $\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\frac{1}{256}\left[\begin{array}{ccc}298.082& 0& 408.583\\ 298.082& -100.291& -208.120\\ 298.082& 516.411& 0\end{array}\right]\×\[\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]-\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]\]$ 对每幅图像进行颜色空间反变换，得到RGB空间的图像。

S6，采用图像同名点匹配算法对图像进行拼接，得到初步全景图像；

S7、对得到的初步图像进行增强对比度处理，得到亮度、色彩均衡的全景图像。包括以下步骤：

首先，分别统计各通道即红/绿/蓝的直方图,这里按照本领域已知的方法统计即可。

再分别计算通过各通道设定的截断参数所确定的上限值MAX和下限值MIX。计算方法为：首先，各通道中，分别从灰度0开始向上累加统计直方图，当累加值大于LowCut所有像素数时，将此时的灰度值计为Min；然后从灰度255开始向下累计直方图，如果累加值大于HighCut所有像素时，将此时的灰度值计为Max，其中LowCut和HighCut均截断参数，通常LowCut和HighCut默认值为0.1；

以蓝色通道为例，从灰度0开始向上累加统计直方图，当累加值大于LowCut所有像素数时，以此时的灰度值计为MinBlue。然后从灰度255开始向下累计直方图，如果累加值大于HighCut所有像素时，以此时的灰度值计为MaxBlue，其中LowCut和HighCut默认值为0.1，其它两个通道采用相同的方法确定其上限值和下限值即可。

然后，从上一步骤中所得到的各通道的上限值Max和下限值Mix中获取三个通道上限值的最大值MMax，以及下限值的最小值MMin，然后以此为各通道新的上限值及下限值，将灰度依次从[MMin，MMax]映射到[0,255]，得到映射表，映射法则为I_new＝(I_old-MMin)/(MMax-MMin)*255，其中I_new为目标灰度值，I_old为初始灰度值；

同样以蓝色通道为例，将灰度从[MinBlue，MaxBlue]映射到[0,255],则目标灰度值I_new＝(I_old-MMinBlue)/(MMaxBlue-MMinBlue)*255，将灰度依次从[MMinBlue，MMaxBlue]映射到[0,255]，得到新的映射表。其它两个通道采用相同的方法可计算其映射表。

最后，以映射表为基础，目标灰度值I_new为灰度值调整目标，分别对红/绿/蓝通道灰度值进行调整，得到亮度、色彩均衡的全景图像。

本发明基于颜色空间转换，利用视觉归一化方法进行全景图像的匀色处理，处理方法简单，快速，能对彩色照片进行有效的匀色处理。

作为本实施例的优选方案，步骤S4可以分为以下几个步骤：

第一步，将每幅图分为重叠区域I₀和其他区域I₁两个区域，将图像边缘15％区域作为重叠区域I₀，图像剩余部分作为其他区域I₁，重叠区域I₀的权值记为λ，其他区域I₁的权值记为1-λ，对图像进行加权平均，计算图像的亮度信号平均值Y_Avg、蓝色色度信号平均值和红色色度信号平均值计算公式为I_Avg＝λ×I₀+(1-λ)×I₁；

这里图像的亮度信号平均值Y_Avg、蓝色色度信号平均值和红色色度信号平均值均采用公式I_Avg＝λ×I₀+(1-λ)×I₁计算，当计算亮度信号平均值Y_Avg时，I_Avg对应为Y_Avg，λ对应为重叠区域I₀亮度信号的权值，1-λ对应为其他区域I₁亮度信号的权值；当计算蓝色色度信号平均值时，I_Avg对应为λ对应为重叠区域I₀蓝色色度信号的权值，1-λ对应为其他区域I₁蓝色色度信号的权值；当计算红色色度信号平均值时，I_Avg对应为λ对应为重叠区域I₀红色色度信号的权值，1-λ对应为其他区域I₁红色色度信号的权值。

第二步，计算目标图像与参考图像的平均亮度差值Y_Diff，计算公式为Y_Diff＝Y_{S_Avg}-Y_{D_Avg}，其中，Y_Diff表示目标图像与参考图像平均亮度差值；Y_{S_Avg}表示参考图像的平均亮度值；Y_{D_Avg}表示目标图像的平均亮度值；其中，参考图像的平均亮度值Y_{S_Avg}和目标图像的平均亮度值Y_{D_Avg}均由第一步的计算中得到。

第三步，计算目标图像的亮度调节因子Y_factor，计算公式为其中，Y_factor表示目标图像的亮度调节因子；Y_curr表示目标图像中某一像素点的当前亮度值；

第四步，计算目标图像校正后的亮度值Y_new，计算公式为Y_new＝Y_curr+Y_Diff×Y_factor，其中，Y_new表示目标图像中某一像素点校正后的亮度值；

第五步，根据S4-2至S4-4相同的方法，计算目标图像校正后的红色色度值和和蓝色色度值

该方法计算简单，能快速准确计算得到目标图像校正后的亮度值Y_new以及红色色度值和和蓝色色度值

图2为处理前的图像，图3为处理后的图像，通过对比可知，处理后的图像具有均衡的亮度和色彩，在这一点上比处理前的图像有明显的改善。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种多相机图像拼接匀色方法，其特征在于，包括以下步骤：

S1，利用Gamma校正提高每幅图像的亮度；

S2，从提高亮度后的每幅图像中选取图像信息熵最大的为参考图像，其余图像为目标图像；

S3，将每幅图像从RGB颜色空间变换到YC_bC_r颜色空间；

S4，以参考图像为标准，在YC_bC_r颜色空间中将目标图像的色彩和亮度调整到与参考图像一致；

S5，对每幅图进行颜色空间反变换，得到RGB空间的图像；

S6，采用图像同名点匹配算法对图像进行拼接，得到初步全景图像；

S7、对得到的初步图像进行增强对比度处理，得到亮度、色彩均衡的全景图像。

2.根据权利要求1所述的一种多相机图像拼接匀色方法，其特征在于，所述步骤S1中利用Gamma校正提高每幅图像的亮度的方法为：

I_out＝(I_in/max_gray)^1/γ*max_gray，

其中I_in表示输入图像的原始灰度值，I_out表示校正后的灰度值；max_gray表示输入最大灰度值；γ表示伽马校正的计量单位，取值范围为[0.1,10]。

3.根据权利要求1所述的一种多相机图像拼接匀色方法，其特征在于，所述步骤S2包括以下步骤：

S2-1，计算每个图像的信息熵，计算公式为其中：H表示 图像信息熵；i表示灰度级；pⁱ表示第i灰度级出现的概率；n表示灰度级个数；

S2-2，选取信息熵最大的图像为参考图像。

4.根据权利要求1所述的一种多相机图像拼接匀色方法，其特征在于，所述步骤S3中将图像从RGB颜色空间变换到YC_bC_r颜色空间的计算公式为：

其中，Y为亮度信号，Cb为蓝色色度信号、Cr为红色色度信号，R指红色亮度值，G指绿色亮度值，B指蓝色亮度值。

5.根据权利要求1所述的一种多相机图像拼接匀色方法，其特征在于，所述步骤S4包括以下几个步骤：

S4-1，将每幅图分为重叠区域I₀和其他区域I₁两个区域，将图像边缘15％区域作为重叠区域I₀，图像剩余部分作为其他区域I₁，重叠区域I₀的权值记为λ，其他区域I₁的权值记为1-λ，对图像进行加权平均，计算公式为I_Avg＝λ×I₀+(1-λ)×I₁；

S4-2，计算目标图像与参考图像的平均亮度差值Y_Diff，计算公式为Y_Diff＝Y_{S_Avg}-Y_{D_Avg}，其中，Y_Diff表示目标图像与参考图像平均亮度差值；Y_{S_Avg}表示参考图像的平均亮度值；Y_{D_Avg}表示目标图像的平均亮度值；

S4-3，计算目标图像的亮度调节因子Y_factor，计算公式为：

其中，Y_factor表示目标图像的亮度调节因子；Y_curr表示目标图像中某一像素点的当前亮度值；

S4-4，计算目标图像校正后的亮度值Y_new，计算公式为：

Y_new＝Y_curr+Y_Diff×Y_factor，其中，Y_new表示目标图像中某一像素点校正后的亮 度值；

S4-5，根据S4-2至S4-4相同的方法，计算目标图像校正后的红色色度值 和蓝色色度值。

6.根据权利要求1所述的一种多相机图像拼接匀色方法，其特征在于，所述步骤S5中对每幅图进行颜色空间反变换，得到RGB空间的图像的变换公式为：

7.根据权利要求1所述的一种多相机图像拼接匀色方法，其特征在于，所述步骤S7包括以下步骤：

S7-1，分别统计各通道即红/绿/蓝的直方图；

S7-2，分别计算通过各通道设定的截断参数所确定的上限值Max和下限值Min，计算方法为：首先，各通道中，分别从灰度0开始向上累加统计直方图，当累加值大于LowCut所有像素数时，将此时的灰度值计为Min；然后从灰度255开始向下累计直方图，如果累加值大于HighCut所有像素时，将此时的灰度值计为Max，其中LowCut和HighCut均截断参数；

S7-3，从步骤S7-2中所得到的各通道的上限值Max和下限值Mix中获取三个通道上限值的最大值MMax，以及下限值的最小值MMin，然后以此为各通道新的上限值及下限值，将灰度依次从[MMin，MMax]映射到[0,255]，得到映射表，映射法则为I_new＝(I_old-MMin)/(MMax-MMin)*255，其中I_new为目标灰度值，I_old为初始灰度值；

S7-4，以映射表为基础，目标灰度值I_new为灰度值调整目标，分别对红/绿/蓝通道灰度值进行调整，得到亮度、色彩均衡的全景图像。