CN107644403B - 恶劣环境条件下图像的非一致颜色校正方法 - Google Patents

Abstract

本发明公开了一种恶劣环境条件下图像的非一致颜色校正方法，包括：输入色偏图像的RGB三通道灰度图，统计三通道灰度图的灰度级和灰度概率密度函数；统计经直方图均衡化变换的三通道灰度图的灰度概率密度函数；分别计算三通道灰度图的像素平均值，并找出像素平均值与中值相等的通道的灰度图作为目标图像；统计目标图像和目标图像经直方图均衡化变换后图像的概率密度函数分别为P_m(m)和P_m'(m)；以P_m(m)为目标概率密度函数，分别将RGB三通道灰度图作为原图像进行直方图规定化操作，将直方图规定化后的灰度图作为RGB三通道的灰度图，组成校正后的图像。利用本发明校正方法对各类恶劣条件下获取的全局一致以及非一致色偏图像均能实现有效的颜色校正。

Description

恶劣环境条件下图像的非一致颜色校正方法

技术领域

本发明属计算机图像处理方法，尤其涉及一种恶劣环境条件下图像的非一致颜色校正方法。

背景技术

目前广泛使用的数字图像采集设备不具有颜色恒常性^[1]，拍摄图像易产生色偏，颜色校正技术是计算机视觉领域的重要课题^[2]。现有颜色校正技术主要针对由光源色温^[3]、相机感光系数^[4]等产生的色偏，不适用于在雾霾、夜间、水下等恶劣环境下拍摄的图像。近年来，对恶劣环境下采集图像的复原与增强技术的研究是图像处理领域的热点^[5,6]，而图像色偏严重影响图像增强与复原技术的有效性。因此，对恶劣环境下采集图像的颜色校正技术的研究具有重要意义。

当前的颜色校正算法基于颜色恒常性，典型的有基于灰度世界假设的Shade ofGray算法^[1]，基于镜面反射假设的完美反射法^[7]。这些算法由于受假设条件的限制，适应性较差。对此，文献[8]提出基于边缘检测的颜色校正算法，文献[9]提出基于有效区域颜色恒常性的颜色校正算法。以上算法对具有全局一致性色偏的图像具有较好的颜色校正效果。

而夜间图像光照不均匀，色偏具有非一致性；水下图像由于水体对不同波段光的吸收和散射系数不同存在色偏，且由于景深不同呈现非一致性。现有的颜色校正算法并不适用于这类场景。此外，雾霾、夜间、水下等环境下拍摄的图像存在严重失真，使现有颜色校正算法有效性降低。Meng等^[10]针对水下图像，提出改进的白平衡算法，但该算法不具有自适应性，参数选择对颜色校正结果有很大影响，且该算法不适用于夜间图像。

[参考文献]

[1]Finlayson G D,Trezzi E.Shades of Gray and Colour Constancy[C].Color and Imaging Conference.2004:37-41。

[2]王会.彩色图像色偏校正算法研究[D].吉林大学,2011。

[3]Datta R,Li J,Wang J Z.Content-based image retrieval:approaches andtrends of the new age[C].ACM Sigmm International Workshop on MultimediaInformation Retrieval.ACM,2005:253-262。

[4]Barnard K,Martin L,Coath A,et al.A comparison of computationalcolor constancy algorithms--part II:experiments with image data[J].IEEETransactions on Image Processing A Publication of the IEEE Signal ProcessingSociety,2002,11(9):985-996。

[5]Li Y,Tan R T,Brown M S.Nighttime Haze Removal with Glow andMultiple Light Colors[C].IEEE International Conference on ComputerVision.IEEE Computer Society,2015:226-234。

[6]Li C,Guo J,Cong R,et al.Underwater Image Enhancement by Dehazingwith Minimum Information Loss and Histogram Distribution Prior[J].IEEETransactions on Image Processing A Publication of the IEEE Signal ProcessingSociety,2016,25(12):5664-5677。

[7]Varsha Chikane C F.C.S.:Automatic white balance for digital stillcameras[J].2014。

[8]Lin J.An Automatic White Balance Method Based on Edge Detection[C].IEEE Tenth International Symposium on Consumer Electronics.IEEE,2006:1-4。

[9]Lu R,Xu D,Yang X,et al.Color Constancy Based on Effective Regions[J].Ieice Transactions on Information&Systems,2008,E91-D(7):2091-2094。

[10]Fu X,Zhuang P,Huang Y,et al.A retinex-based enhancing approachfor single underwater image[C].IEEE International Conference on ImageProcessing.IEEE,2015:4572-4576。

发明内容

针对上述问题，本发明提出一种对雾霾、夜间、水下等恶劣条件下的图像均能实现有效颜色校正的新方法。根据无色偏图像其R，G，B三通道直方图的分布规律具有高度相似性，而色偏图像三通道直方图的相似度较低，采用直方图规定化技术，将色偏图像的其中一个颜色通道作为目标图像，对另外两个颜色通道进行直方图规定化，实现对像素灰度级的调整，使其三通道具有较高的相似性，从而达到非一致颜色校正的目的。该方案对各类恶劣条件下获取的全局一致以及非一致色偏图像均能实现有效的颜色校正。

为了解决上述技术问题，本发明提出的一种恶劣环境条件下图像的非一致颜色校正方法，包括以下步骤：

步骤1：输入色偏图像I的R、G和B三通道灰度图分别为灰度图I_R、灰度图I_G和灰度图I_B；

步骤2：分别对上述灰度图I_R、灰度图I_G和灰度图I_B进行直方图统计，得到灰度图I_R、灰度图I_G和灰度图I_B的灰度级分别为灰度级r、灰度级g和灰度级b，与所述灰度级r、灰度级g和灰度级b分别对应的灰度分布的概率密度函数分别为概率密度函数P_r(r)，概率密度函数P_g(g)，概率密度函数P_b(b)；

步骤3：分别对灰度图I_R、灰度图I_G和灰度图I_B进行式(1)所示直方图均衡化变换得到图像I’_R、图像I’_G和图像I’_B；对图像I’_R、图像I’_G和图像I’_B进行直方图统计，得到图像I’_R、图像I’_G和图像I’_B的灰度分布的概率密度函数分别为概率密度函数P’_r(r)、概率密度函数P’_g(g)和概率密度函数P’_b(b)；

式(1)中，ω为形式积分变量，s为经直方图均衡化变换后的图像灰度级，x为未经直方图均衡化变换的图像灰度级，T为x到s的映射；

步骤4：分别计算灰度图I_R、灰度图I_G和灰度图I_B的像素平均值，分别记作像素平均值Rmean、像素平均值Gmean和像素平均值Bmean；计算上述像素平均值Rmean、像素平均值Gmean和像素平均值Bmean的中值，记为M，将M与像素平均值Rmean、像素平均值Gmean和像素平均值Bmean依次进行比较，将像素平均值与M值相等的通道的灰度图作为目标图像；

步骤5：对目标图像进行直方图统计，该目标图像的灰度级记为m，灰度级m的概率密度函数记为P_m(m)；对目标图像进行直方图均衡化变换，经均衡化变换后的图像的灰度概率密度函数为P’_m(m)；

步骤6：以概率密度函数P_m(m)为目标概率密度函数，分别将灰度图I_R、灰度图I_G和灰度图I_B作为原图像进行直方图规定化操作，直方图规定化的具体步骤如下：

步骤6-1：将原图像的灰度级赋予n，将所述原图像经直方图均衡化变换后的图像的灰度分布的概率密度函数赋予P’_n(n)；

步骤6-2：采用单映射规则，对原图像的灰度级n_i，i∈{n}，在P’_m(m)中查找最接近于

的值，记为p_i；在目标图像的灰度级m中，找到灰度分布的概率为p_i的灰度级，记为m_k，k∈{m}，则m_k的映射值为n_i；重复该步骤直至找到原图像的所有灰度级n_i，i∈{n}在P’_m(m)中的映射值，从而得到映射函数n＝H(m)；

步骤6-3：采用逆映射函数H^-1对原图像灰度级n进行逆映射，获得直方图规定化后的灰度图；

步骤7：将步骤6得到的与灰度图I_R、灰度图I_G和灰度图I_B分别对应的经直方图规定化的灰度图作为R、G和B三通道的灰度图，组成新的彩色图像I’，即为对色偏图像I颜色校正后的最终图像。

与现有技术相比，本发明的有益效果是：

本发明设计一种对各类恶劣环境条件下图像均适用的非一致颜色校正方法，求色偏图像三通道的像素平均值，将其中中间值对应通道作为目标图像，采用直方图规定化技术，对另外两个通道进行直方图规定化，达到颜色校正目的。

附图说明

图1(a1)至图1(a4)是与一“建筑”的色偏图像对应的灰度图、RGB三通道图像；其中，图1(a1)是灰度图，图1(a2)是R通道图，图1(a3)是G通道图，图1(a4)是B通道图；

图1(b1)至图1(b4)是利用Shade of Gray算法对“建筑”的色偏图像校正后的效果图；其中，图1(b1)是灰度图，图1(b2)是R通道图，图1(b3)是G通道图，图1(b4)是B通道图；

图1(c1)至图1(c4)是利用Meng算法对“建筑”的色偏图像校正后的效果图；其中，图1(c1)是灰度图，图1(c2)是R通道图，图1(c3)是G通道图，图1(c4)是B通道图；

图1(d1)至图1(d4)是利用本发明算法对“建筑”的色偏图像校正后的效果图；其中，图1(d1)是灰度图，图1(d2)是R通道图，图1(d3)是G通道图，图1(d4)是B通道图。

图2(a1)至图2(a4)是与一“道路”的色偏图像对应的灰度图、RGB三通道图像；其中，图2(a1)是灰度图，图2(a2)是R通道图，图2(a3)是G通道图，图2(a4)是B通道图；

图2(b1)至图2(b4)是利用Shade of Gray算法对“道路”的色偏图像校正后的效果图；其中，图2(b1)是灰度图，图2(b2)是R通道图，图2(b3)是G通道图，图2(b4)是B通道图；

图2(c1)至图2(c4)是利用Meng算法对“道路”的色偏图像校正后的效果图；其中，图2(c1)是灰度图，图2(c2)是R通道图，图2(c3)是G通道图，图2(c4)是B通道图；

图2(d1)至图2(d4)是利用本发明算法对“道路”的色偏图像校正后的效果图；其中，图2(d1)是灰度图，图2(d2)是R通道图，图2(d3)是G通道图，图2(d4)是B通道图。

图3(a1)至图3(a4)是与一“海底”的色偏图像对应的灰度图、RGB三通道图像；其中，图3(a1)是灰度图，图3(a2)是R通道图，图3(a3)是G通道图，图3(a4)是B通道图；

图3(b1)至图3(b4)是利用Shade of Gray算法对“海底”的色偏图像校正后的效果图；其中，图3(b1)是灰度图，图3(b2)是R通道图，图3(b3)是G通道图，图3(b4)是B通道图；

图3(c1)至图3(c4)是利用Meng算法对“海底”的色偏图像校正后的效果图；其中，图3(c1)是灰度图，图3(c2)是R通道图，图3(c3)是G通道图，图3(c4)是B通道图；

图3(d1)至图3(d4)是利用本发明算法对“海底”的色偏图像校正后的效果图；其中，图3(d1)是灰度图，图3(d2)是R通道图，图3(d3)是G通道图，图3(d4)是B通道图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

通过对大量清晰无色偏图像进行观测，发现其R，G，B三通道直方图的分布规律具有高度相似性。而色偏图像，三通道直方图分布差异较大。因此，通过调整色偏图像的直方图分布，使其三通道直方图分布趋于一致，可实现非一致颜色校正。

基于此，本发明提出的一种恶劣环境条件下图像的非一致颜色校正方法，其设计思路是：通过比较各颜色通道的像素平均值，选择色偏图像的某一颜色通道作为目标图像，对另外两个颜色通道进行直方图规定化，将处理后的R，G，B三个颜色通道组合为新的彩色图像，即为颜色校正后的图像。

直方图规定化的目的就是调整输入图像直方图，使之具有目标图像直方图所表示的形状。令x和z分别表示原始图像与目标图像的灰度级，P_x(x)和P_z(z)分别表示原始图像和目标图像灰度分布的概率密度函数。对原始图像的灰度级进行直方图均衡化变换，如式(1)所示：

其中ω为形式积分变量，s为经直方图均衡化变换后的图像灰度级，T为x到s的映射。

假设变量z具有属性：

即目标图像与直方图均衡化变换以后的图像灰度级相似，H为z到s的映射。则，若将灰度级x映射为z，且具有指定概率密度函数P_z(z)。由式(1)和式(2)可得：

z＝H^-1(s)＝H^-1(T(x))

(3)

即，只要找到逆映射函数H^-1，就可以由直方图均衡化变换后图像的灰度级来求出目标图像的灰度级z。

现有颜色校正算法不适用于夜间、水下等恶劣环境条件下获取的非一致性色偏图像，且对雾霾条件下获取的严重色偏图像校正效果很不理想。因此，本发明设计一种恶劣环境条件下图像的非一致颜色校正方法，以实现对各类恶劣条件下采集到的图像进行颜色校正，该方法具有较强的适应性，其具体步骤如下：

步骤1：输入色偏图像I的R、G和B三通道灰度图分别为灰度图I_R、灰度图I_G和灰度图I_B；

步骤2：分别对上述灰度图I_R、灰度图I_G和灰度图I_B进行直方图统计，得到灰度图I_R、灰度图I_G和灰度图I_B的灰度级分别为灰度级r、灰度级g和灰度级b，与所述灰度级r、灰度级g和灰度级b分别对应的灰度分布的概率密度函数分别为概率密度函数P_r(r)，概率密度函数P_g(g)，概率密度函数P_b(b)；

步骤3：分别对灰度图I_R、灰度图I_G和灰度图I_B进行式(1)所示直方图均衡化变换得到图像I’_R、图像I’_G和图像I’_B；对图像I’_R、图像I’_G和图像I’_B进行直方图统计，得到图像I’_R、图像I’_G和图像I’_B的灰度分布的概率密度函数分别为概率密度函数P’_r(r)、概率密度函数P’_g(g)和概率密度函数P’_b(b)；

步骤4：分别计算灰度图I_R、灰度图I_G和灰度图I_B的像素平均值，分别记作像素平均值Rmean、像素平均值Gmean和像素平均值Bmean；计算上述像素平均值Rmean、像素平均值Gmean和像素平均值Bmean的中值，记为M，将M与像素平均值Rmean、像素平均值Gmean和像素平均值Bmean依次进行比较，将像素平均值与M值相等的通道的灰度图作为目标图像；

步骤5：对目标图像进行直方图统计，该目标图像的灰度级记为m，灰度级m的概率密度函数记为P_m(m)；对目标图像进行直方图均衡化变换，经均衡化变换后的图像的灰度概率密度函数为P’_m(m)；

步骤6：以概率密度函数P_m(m)为目标概率密度函数，分别将灰度图I_R、灰度图I_G和灰度图I_B作为原图像进行直方图规定化操作，直方图规定化的具体步骤如下：

对灰度图I_R进行直方图规定化操作：

步骤6-1：采用单映射规则，对灰度图I_R的灰度级r_i，i∈{r}，在P’_m(m)中查找最接近于

的值，记为p_i；在目标图像的灰度级m中，找到灰度分布的概率为p_i的灰度级，记为m_k，k∈{m}，则m_k的映射值为r_i；重复该步骤直至找到原图像的所有灰度级r_i，i∈{r}在P’_m(m)中的映射值，从而得到映射函数r＝H(m)；

步骤6-2：采用逆映射函数H^-1对灰度级r进行逆映射，获得直方图规定化后的灰度图

对灰度图I_G进行直方图规定化操作，步骤与上述的对灰度图I_R进行直方图规定化操作基本相同，仅是将其中的灰度图I_R替换为灰度图I_G，灰度级r替换为灰度级g，概率密度函数P’_r(r)替换为概率密度函数P’_g(g)，最终获得直方图规定化后的灰度图

对灰度图I_B进行直方图规定化操作，步骤与上述的对灰度图I_R进行直方图规定化操作基本相同，仅是将其中的灰度图I_R替换为灰度图I_B，灰度级r替换为灰度级b，概率密度函数P’_r(r)替换为概率密度函数P’_b(b)，最终获得直方图规定化后的灰度图

步骤7：将上述得到的灰度图

灰度图

和灰度图

作为R、G和B三通道的灰度图，组成新的彩色图像I^f，即为对色偏图像I颜色校正后的最终图像。

为验证本发明方法的有效性，选取雾霾、夜间、水下图像，在Matlab平台下进行颜色校正实验，同公认较为优秀的颜色校正算法，Shade of Gray算法，以及Meng等提出的对水下图像处理效果突出的白平衡算法进行比较。

图1(a1)至图1(a4)、图1(b1)至图1(b4)、图1(c1)至图1(c4)和图1(d1)至图1(d4)为雾霾图像‘建筑’以及对‘建筑’图像颜色校正的结果。从图1(a1)至图1(a4)可以看出，‘建筑’图的R通道的像素值较高，G通道的像素值偏低，B通道的像素值最低，图像偏橙色。从图1(c1)至图1(c4)可以看出，Meng算法的颜色校正结果较差，图像整体过于灰暗；从图1(b1)至图1(b4)和图1(d1)至图1(d4)可以看出，Shade of Gray算法和本发明算法实现了较好的颜色校正效果，有效提升了G、B两个通道的像素值，且从图1(d1)所示灰度图可以看出，颜色校正后的图像相比于色偏原图，细节更清晰，整体亮度更高。

图2(a1)至图2(a4)、图2(b1)至图2(b4)、图2(c1)至图2(c4)和图2(d1)至图2(d4)为夜间色偏图像‘道路’以及对‘道路’图像颜色校正的结果。从图2(a1)至图2(a4)可以看出，‘道路’图的G通道的像素值偏高，B通道的像素值过低，图像偏绿色。从图2(b1)至图2(b4)可以看出，Shade of Gray算法对夜间图像失效，虽然B通道的像素值有一定提高，但G通道的像素值仍然过高，图像整体仍表现为绿色；从图2(c1)至图2(c4)可以看出，Meng算法的处理结果整体泛白，三通道值均过高，出现了严重失真；从图2(d1)至图2(d4)可以看出，本发明算法对夜间色偏图像实现了较好的颜色校正效果，G通道的像素值得到有效降低，B通道的像素值得到有效提升，且图像天空部分三通道的值均接近于0，呈现出夜间天空应有的黑色，此外，从图2(d1)所示灰度图可以看出，校正后图像的细节更清晰。

图3(a1)至图3(a4)、图3(b1)至图3(b4)、图3(c1)至图3(c4)和图3(d1)至图3(d4)为水下色偏图像‘海底’以及对‘海底’图像颜色校正的结果。从图3(a1)至图3(a4)可以看出，‘海底’图的G通道的像素值偏高，R、B通道的像素值过低，图像偏绿色。从从图3(b1)至图3(b4)可以看出，经Shade of Gray算法校正后的图像，G通道仍然偏高，图像呈现偏绿色；从图3(c1)至图3(c4)和3(d1)至图3(d4)可以看出，Meng算法和本发明算法对水下图像均能实现有效颜色校正，G通道的像素值得到有效降低，R、B通道的像素值得到有效提升，此外，从图3(d1)所示灰度图可以看出，本发明算法校正结果的细节更清晰，不同景深的物体层次分明。

实验结果表明，本发明提出的算法对各类环境下获取的色偏图像均能实现有效的颜色校正，校正后的图像颜色真实，具有更好的视觉效果，且本发明算法简单易行，适应性强。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种恶劣环境条件下图像的非一致颜色校正方法，其特征在于，包括以下步骤：

步骤1：输入色偏图像I的R、G和B三通道灰度图分别为灰度图I_R、灰度图I_G和灰度图I_B；

步骤2：分别对上述灰度图I_R、灰度图I_G和灰度图I_B进行直方图统计，得到灰度图I_R、灰度图I_G和灰度图I_B的灰度级分别为灰度级r、灰度级g和灰度级b，与所述灰度级r、灰度级g和灰度级b分别对应的灰度分布的概率密度函数分别为概率密度函数P_r(r)，概率密度函数P_g(g)，概率密度函数P_b(b)；

步骤3：分别对灰度图I_R、灰度图I_G和灰度图I_B进行式(1)所示直方图均衡化变换得到图像I'_R、图像I'_G和图像I'_B；对图像I'_R、图像I'_G和图像I'_B进行直方图统计，得到图像I'_R、图像I'_G和图像I'_B的灰度分布的概率密度函数分别为概率密度函数P'_r(r)、概率密度函数P'_g(g)和概率密度函数P'_b(b)；

式(1)中，ω为形式积分变量，s为经直方图均衡化变换后的图像灰度级，x为未经直方图均衡化变换的图像灰度级，T为x到s的映射；

步骤4：分别计算灰度图I_R、灰度图I_G和灰度图I_B的像素平均值，分别记作像素平均值Rmean、像素平均值Gmean和像素平均值Bmean；计算上述像素平均值Rmean、像素平均值Gmean和像素平均值Bmean的中值，记为M，将M与像素平均值Rmean、像素平均值Gmean和像素平均值Bmean依次进行比较，将像素平均值与M值相等的通道的灰度图作为目标图像；

步骤5：对目标图像进行直方图统计，该目标图像的灰度级记为m，灰度级m的概率密度函数记为P_m(m)；对目标图像进行直方图均衡化变换，经均衡化变换后的图像的灰度概率密度函数为P'_m(m)；

步骤6：以概率密度函数P_m(m)为目标概率密度函数，分别将灰度图I_R、灰度图I_G和灰度图I_B作为原图像进行直方图规定化操作，直方图规定化的具体步骤如下：

步骤6-1：将原图像的灰度级赋予n，将所述原图像经直方图均衡化变换后的图像的灰度分布的概率密度函数赋予P'_n(n)；

步骤6-2：采用单映射规则，对原图像的灰度级n_i，i∈{n}，在P'_m(m)中查找最接近于

的值，记为p_i；在目标图像的灰度级m中，找到灰度分布的概率为p_i的灰度级，记为m_k，k∈{m}，则m_k的映射值为n_i；重复该步骤直至找到原图像的所有灰度级n_i，i∈{n}在P'_m(m)中的映射值，从而得到映射函数n＝H(m)；

步骤6-3：采用逆映射函数H^-1对原图像灰度级n进行逆映射，获得直方图规定化后的灰度图；

步骤7：将步骤6得到的与灰度图I_R、灰度图I_G和灰度图I_B分别对应的经直方图规定化的灰度图作为R、G和B三通道的灰度图，组成新的彩色图像I'，即为对色偏图像I颜色校正后的最终图像。

Images