CN101729911A - 一种基于视觉感知的多视点图像颜色校正方法 - Google Patents

Abstract

本发明公开了一种基于视觉感知的多视点图像颜色校正方法，首先提取目标图像和源图像的显著性分布图，并通过估计高斯混合模型提取出目标图像和源图像的视觉注意力区域，利用视差匹配算法获得源图像和目标图像精确匹配的像素点对集合，通过线性回归算法得到各视觉注意力区域的校正矩阵，并采用线性加权得到最终的校正矩阵，最后对校正图像的视觉敏感性区域进行进一步的精炼，优点在于本发明在保证多视点图像颜色校正精确性的同时，提高了颜色校正方法的鲁棒性以及校正图像的视觉舒适度。

Description

一种基于视觉感知的多视点图像颜色校正方法

技术领域

本发明涉及一种多视点图像的处理方法，尤其是涉及一种基于视觉感知的多视点图像颜色校正方法。

背景技术

多视点视频系统能够给用户提供多个视角的视频内容，用户可以根据个人的喜好选择不同的视角，并在观看过程中随意改变欣赏视角，因此多视点视频系统被国际标准组织MPEG(Moving Picture Experts Group，运动图像专家组)称为下一代视频系统的发展方向。通常，多视点视频系统如图1所示，由以下几个部分组成：视频捕获、预处理、多视点视频编码器、多视点视频解码器、虚拟视点绘制和显示部分。视频捕获通常由具有n+1个相机(或摄像机)的多视点平行相机系统实现，图2给出了多视点平行相机系统成像示意图，n+1个相机(或摄像机)被平行地放置。由于在多视点视频捕获过程中各个相机的场景光照、相机标定、CCD噪声、快门速度和曝光等要素不一致，会导致采集的各视点间可能存在亮度或色度差异，将会给后续的多视点视频编码、虚拟视点绘制和多视点视频三维显示带来极大的困难。因此，为了得到更好的编码性能和虚拟视点绘制效果，需要在进行多视点视频编码前加入颜色校正作为预处理过程。

目前，相关业内研究人员已提出了多种颜色校正方法，但绝大多数的研究只是集中在全局的图像间或在图像的局部区域间，通过区域匹配、特征匹配或直方图匹配建立颜色映射关系，并以此映射关系对源图像进行校正。区域匹配需要将目标图像和源图像进行聚类分割，在最相似的区域间建立颜色映射关系，并以此映射关系对源图像进行校正；特征匹配通过提取目标图像和源图像的尺度不变的特征信息，在最相似的特征间建立颜色映射关系，并以此映射关系对源图像进行校正；直方图匹配通过计算目标图像和源图像的累计直方图，只要满足源图像和目标图像具有相同的直方图分布，就可以将目标图像的直方图映射到源图像。但由于上述颜色校正方法对不同的视觉感知区域采用了相同的映射关系，这样会导致校正图像在主观视觉上存在较大的偏差，从而导致校正图像的视觉舒适度差；此外，上述颜色校正方法的鲁棒性较差。

发明内容

本发明所要解决的技术问题是提供一种在保证多视点图像颜色校正精确性的同时，提高颜色校正方法的鲁棒性以及校正图像的视觉舒适度的基于视觉感知的多视点图像颜色校正方法。

本发明解决上述技术问题所采用的技术方案为：一种基于视觉感知的多视点图像颜色校正方法，包括以下步骤：

①将同一时刻由多视点平行相机系统拍摄的多视点图像中的一个视点图像定义为目标图像，记为T，而将其它视点图像定义为源图像，记为S，定义目标图像T的平面坐标系为x′y′平面坐标系，定义源图像S的平面坐标系为xy平面坐标系，记目标图像T中的所有像素点构成的集合为{^(T)P(x₁′，y₁′)}，记源图像S中的所有像素点构成的集合为{^(S)P(x₁，y₁)}；

②分别提取目标图像T的显著性分布图和源图像S的显著性分布图，记目标图像T的显著性分布图为{^(T)S}，记源图像S的显著性分布图为{^(S)S}；

③利用期望最大算法分别估计目标图像T的显著性分布图{^(T)S}和源图像S的显著性分布图{^(S)S}的高斯混合模型，记目标图像T的显著性分布图{^(T)S}的高斯混合模型为^(T)Θ，记源图像S的显著性分布图{^(S)S}的高斯混合模型为^(S)Θ， ${}^{\left(T\right)}\mathrm{\Θ}={\{{\mathrm{\ω}}_i,{\mathrm{\μ}}_i{,\mathrm{\σ}}_i\}}_{i=1}^K,$ ${}^{\left(S\right)}\mathrm{\Θ}={\{{\mathrm{\ω}}_i,{\mathrm{\μ}}_i,{\mathrm{\σ}}_i\}}_{i=1}^K,$ 其中，K表示高斯混合模型中高斯分量的总个数，ω_i表示第i个高斯分量的加权系数，μ_i表示第i个高斯分量的均值，σ_i表示第i个高斯分量的标准差；

④根据目标图像T的显著性分布图{^(T)S}及显著性分布图{^(T)S}的高斯混合模型^(T)Θ，提取目标图像T的视觉注意力区域，根据源图像S的显著性分布图{^(S)S}及显著性分布图{^(S)S}的高斯混合模型^(S)Θ，提取源图像S的视觉注意力区域；

⑤通过视差匹配方法获取源图像S中的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点^(T)P(x₁′，y₁′)，并获取目标图像T中的像素点^(T)P(x₁′，y₁′)在源图像S上的最佳候选匹配像素点^(S)P(x₂，y₂)，然后通过双向校验从源图像S到目标图像T的视差和从目标图像T到源图像S的视差，确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))是否为最佳候选匹配的像素点对，再通过判断最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))中的像素点^(T)P(x₁′，y₁′)和像素点^(S)P(x₁，y₁)是否属于相同的视觉注意力区域，确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))是否为匹配的像素点对；

⑥根据所有属于第i个视觉注意力区域的匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))的亮度分量、第一色度分量和第二色度分量，通过线性回归算法计算得到第i个视觉注意力区域的校正矩阵，记为 $\left\{a_q^i\right|q=\mathrm{1,2,3}\},$ $\left\{a_q^i\right|q=\mathrm{1,2,3}\}=\underset{a_q^i}{\arg \min }\underset{(x_1,y_1)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{({}^{\left(T\right)}{I}_q({x_1}^{\′},{y_1}^{\′})-a_q^i\mathrm{\Ψ})}^2,$ 其中，Ω表示所有属于第i个视觉注意力区域的匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))构成的集合，^(T)I_q(x₁′，y₁′)表示目标图像T的像素点^(T)P(x₁′，y₁′)的第q个分量的像素值，第1个分量为亮度分量，第2个分量为第一色度分量，第3个分量为第二色度分量，ψ＝[^(S)I₁(x₁，y₁)，^(S)I₂(x₁，y₁)，^(S)I₃(x₁，y₁)，1]，^(S)I₁(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第1个分量的像素值，第1个分量为亮度分量，^(S)I₂(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第2个分量的像素值，第2个分量为第一色度分量，^(S)I₃(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第3个分量的像素值，第3个分量为第二色度分量；

⑦采用线性加权方法获取源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量的校正矩阵，记为

${\hat{a}}_q=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\β}}_i(x_1,y_1)a_q^i,$ 其中，q＝1，2，3，β_i(x₁，y₁)为加权系数，其值通过计算源图像S的像素点^(S)P(x₁，y₁)属于第i个视觉注意力区域的概率得到， ${\mathrm{\β}}_i(x_1,y_1)=\frac{{\mathrm{\ω}}_i\·e^{-{({}^{\left(S\right)}S(x_1,y_1)-{\mathrm{\μ}}_i)}^2/2{\mathrm{\σ}}_i^2}}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_j\·e^{-{({}^{\left(S\right)}S(x_1,y_1)-{\mathrm{\μ}}_j)}^2/2{\mathrm{\σ}}_j^2}},$ 其中，1≤i≤K；

⑧利用源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量的校正矩阵

对源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量进行颜色校正，得到颜色校正处理后的校正图像，记颜色校正处理后的校正图像的像素点为^(C)P(x₁，y₁)，记颜色校正处理后的校正图像的各个像素点^(C)P(x₁，y₁)的第q个分量的像素值为^(C)I_q(x₁，y₁)， ${}^{\left(C\right)}{I}_q(x_1,y_1)={\hat{a}}_q\mathrm{\Ψ},$ 其中，

ψ＝[^(S)I₁(x₁，y₁)，^(S)I₂(x₁，y₁)，^(S)I₃(x₁，y₁)，1]，^(S)I₁(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第1个分量的像素值，第1个分量为亮度分量，^(S)I₂(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第2个分量的像素值，第2个分量为第一色度分量，^(S)I₃(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第3个分量的像素值，第3个分量为第二色度分量，q＝1，2，3。

所述的步骤②中源图像S的显著性分布图{^(S)S}的提取过程为：

②-1、在xy平面坐标系中，通过双高斯差算子D(x₁，y₁，σ₁，σ₂)＝(G(x₁，y₁，σ₁)-G(x₁，y₁，σ₂))*I(x₁，y₁)，计算得到源图像S中的各个像素点^(S)P(x₁，y₁)在尺度空间不同尺度下的双高斯差算子的响应值D(x₁，y₁，σ₁，σ₂)，其中，符号“*”表示卷积操作符号，σ₁和σ₂均为尺度空间因子，σ₁＞σ₂，G(x₁，y₁，σ₁)和G(x₁，y₁，σ₂)均为二维高斯函数， $G(x_1,y_1,{\mathrm{\σ}}_1)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_1^2}{e}^{-({x_1}^2+{y_1}^2)/2{\mathrm{\σ}}_1^2},$ $G(x_1,y_1,{\mathrm{\σ}}_2)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_2^2}{e}^{-({x_1}^2+{y_1}^2)/2{\mathrm{\σ}}_2^2},$ x₁和y₁分别为源图像S中的各个像素点^(S)P(x₁，y₁)的横坐标和纵坐标，I(x₁，y₁)表示源图像S中的各个像素点^(S)P(x₁，y₁)的像素值；

②-2、将源图像S的所有像素点在尺度空间不同尺度下的双高斯差算子的响应值构成的图像作为源图像S对应的响应值图像；

②-3、提取源图像S中的各个像素点^(S)P(x₁，y₁)的亮度分量、第一色度分量和第二色度分量，计算源图像S中的所有像素点的亮度分量、第一色度分量和第二色度分量的平均特征向量，记为I_μ，I_μ＝[Y_μ，U_μ，V_μ]，其中，Y_μ表示源图像S中的所有像素点的亮度分量，U_μ表示源图像S中的所有像素点的第一色度分量，V_μ表示源图像S中的所有像素点的第二色度分量；提取源图像S对应的响应值图像中的各个像素点的亮度分量、第一色度分量和第二色度分量，计算源图像S对应的响应值图像中的各个像素点的特征向量，记为I_ωhc(x₁，y₁)，I_ωhc(x₁，y₁)＝[Y_ωhc(x₁，y₁)，U_ωhc(x₁，y₁)，V_ωhc(x₁，y₁)]，其中，Y_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的亮度分量，U_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的第一色度分量，V_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的第二色度分量；根据源图像S中的所有像素点的亮度分量、第一色度分量和第二色度分量的平均特征向量I_μ和源图像S对应的响应值图像中的各个像素点的特征向量I_ωhc(x₁，y₁)，计算源图像S中的各个像素点^(S)P(x₁，y₁)的显著性分布值，记为^(S)S(x₁，y₁)，^(S)S(x₁，y₁)＝||I_μ-I_ωhc(x₁，y₁)||，其中，符号“||||”表示欧式距离计算符号；

②-4、将源图像S中的所有像素点的显著性分布值构成的分布图作为源图像S的显著性分布图{^(S)S}；

所述的步骤②中对目标图像T的显著性分布图{^(T)S}的提取，在x′y′平面坐标系中采用与提取源图像S的显著性分布图{^(S)S}相同的操作。

所述的步骤④中源图像S的视觉注意力区域的提取过程为：

④-1、在xy平面坐标系中，对于源图像S中的各个像素点^(S)P(x₁，y₁)，通过最大化概率密度函数分别获取各个像素点属于高斯混合模型^(S)Θ中的第i个高斯分量的分类标记，记为^(S)γ(x₁，y₁)， ${}^{\left(S\right)}\mathrm{\γ}(x_1,y_1)=\arg \underset{\mathrm{\Γ}}{\max }\left[\frac{e^{-{({}^{\left(S\right)}S(x_1,y_1)-{\mathrm{\μ}}_i)}^2/2{\mathrm{\σ}}_i^2}}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{e}^{-{({}^{\left(S\right)}S(x_1,y_1)-{\mathrm{\μ}}_j)}^2/2{\mathrm{\σ}}_j^2}}\right],$ 其中，1≤i≤K，^(S)γ(x₁，y₁)∈[1，K]，Γ表示高斯混合模型^(S)Θ中的所有高斯分量的集合，Γ＝{i|1≤i≤K}，

表示最大化概率密度函数，

表示源图像S中的各个像素点^(S)P(x₁，y₁)的显著性分布值^(S)S(x₁，y₁)属于高斯混合模型^(S)Θ中的第i个高斯分量的概率；

④-2、将源图像S中属于高斯混合模型^(S)Θ中的第i个高斯分量的所有像素点构成的区域作为源图像S的第i个视觉注意力区域；

所述的步骤④中目标图像T的视觉注意力区域的提取，在x′y′平面坐标系中采用与提取源图像S的视觉注意力区域相同的操作。

所述的步骤⑤中视差匹配方法的具体过程为：

⑤-1、记目标图像T和源图像S中匹配的像素点对构成的集合为{^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁)}，分别确定源图像S与目标图像T中的最大水平和垂直视差搜索范围；

⑤-2、对于源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)，首先在目标图像T中的最大水平和垂直视差搜索范围内获取与源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)匹配的所有像素点，其次在源图像S中的最大水平和垂直视差搜索范围内以像素点^(S)P(x₁，y₁)为左上角像素点确定N×N窗口，在目标图像T中的最大水平和垂直视差搜索范围内以与像素点^(S)P(x₁，y₁)匹配的各个像素点为左上角像素点分别确定N×N窗口，分别计算像素点^(S)P(x₁，y₁)与与其匹配的各个像素点在N×N窗口内的匹配成本，记为MRSAD， $\mathrm{MRSAD}=\underset{N}{\mathrm{\Σ}}|({}^{\left(S\right)}Y(x_1,y_1)-{\mathrm{\μ}}_1)-({}^{\left(T\right)}Y({x_1}^{\′},{y_1}^{\′})-{{\mathrm{\μ}}_1}^{\′})|,$ 其中，^(S)Y(x₁，y₁)表示源图像S中的各个像素点^(S)P(x₁，y₁)的亮度分量，^(T)Y(x₁′，y₁′)表示目标图像T中的各个像素点^(T)P(x₁′，y₁′)的亮度分量，μ₁表示源图像S中的最大水平和垂直视差搜索范围内以像素点^(S)P(x₁，y₁)为左上角像素点的N×N窗口中的所有像素点的亮度分量的均值，μ₁′表示目标图像T中的最大水平和垂直视差搜索范围内以与像素点^(S)P(x₁，y₁)匹配的像素点为左上角像素点的N×N窗口中的所有像素点的亮度分量的均值，N为窗口的大小；

⑤-3、根据计算得到的像素点^(S)P(x₁，y₁)与与其匹配的各个像素点在N×N窗口内的匹配成本，获取所有匹配成本中的最小匹配成本，将该最小匹配成本对应的目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)作为源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点；

⑤-4、对于目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)，以与获取源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点相同的方法，获取目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)在源图像S上的最佳候选匹配像素点^(S)P(x₂，y₂)；

⑤-5、将从源图像S到目标图像T的视差记为d_sou→tar，d_sou→tar＝(x₁′-x₁，y₁′-y₁)，将从目标图像T到源图像S的视差记为d_tar→sou，d_tar→sou＝(x₂-x₁′，y₂-y₁′)，对d_sou→tar和d_tar→sou进行双向校验，判断|d_sou→tar+d_tar→sou|＜2是否成立，如果成立，则确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为最佳候选匹配的像素点对，否则，确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为非最佳候选匹配的像素点对，并对该像素点对不进行处理；

⑤-6、判断最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))中的像素点^(T)P(x₁′，y₁′)和像素点^(S)P(x₁，y₁)是否属于相同的视觉注意力区域，如果是，则确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为匹配的像素点对，否则，确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为非匹配的像素点对，并对该像素点对不进行处理。

对颜色校正处理后的校正图像进行精练后处理，精练后处理的处理过程为：

a.采用最小可察觉变化步长模型获取源图像S的像素点^(S)P(x₁，y₁)的最小可察觉变化步长门限，记为JND(x₁，y₁)；

b.计算源图像S的像素点^(S)P(x₁，y₁)的第一个分量与颜色校正处理后的校正图像的像素点^(C)P(x₁，y₁)的第一个分量的残差值，记为dis，dis＝|^(S)Y(x₁，y₁)-^(C)Y(x₁，y₁)|，其中，^(S)Y(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第一个分量，^(C)Y(x₁，y₁)表示颜色校正处理后的校正图像的像素点^(C)P(x₁，y₁)的第一个分量；

c.判断dis≤η×JND(x₁，y₁)是否成立，如果是，则认为源图像S的像素点^(S)P(x₁，y₁)为视觉敏感的像素点，否则，认为源图像S的像素点^(S)P(x₁，y₁)为非视觉敏感的像素点，其中，η为控制因子，η∈[0，1]；

d.将由所有视觉敏感的像素点构成的区域作为源图像S的视觉敏感区域；

e.采用与步骤⑤相同的操作获取所有属于视觉敏感区域的目标图像T和颜色校正处理后的校正图像匹配的像素点对(^(T)P(x₁′，y₁′)，^(C)P(x₁，y₁))；

f.采用与步骤⑥相同的操作计算源图像S的视觉敏感区域的校正矩阵，然后以该校正矩阵对颜色校正处理后的校正图像中属于视觉敏感区域的像素点^(C)P(x₁，y₁)的第q个分量进行进一步颜色校正，得到精练后的校正图像。

所述的控制因子η＝0.6。

与现有技术相比，本发明的优点在于：

1)根据人类视觉注意力进行颜色校正，更加符合人眼的视觉习惯，大大提高了颜色校正的鲁棒性；

2)根据高斯混合模型来提取视觉注意力区域，并通过视差匹配算法确定目标图像源图像所有匹配的像素点对，大大提高了映射的精度；

3)采用线性加权得到的校正矩阵，可以消除对每个视觉注意力区域分别进行颜色校正引起的边缘失真现象，提高了颜色校正的精度；

4)采用最小可察觉变化步长(Just Noticeable Difference，JND)模型提取出视觉敏感区域，并对视觉敏感区域进行进一步的精炼，可以充分去除视频信号中的冗余，提高校正图像的视觉舒适度。

附图说明

图1为多视点视频系统的组成示意图；

图2为多视点平行相机系统成像示意图；

图3为本发明基于视觉感知的多视点图像颜色校正方法的流程框图；

图4a为“flamencol”多视点测试集的显著性分布图；

图4b为“flamencol”多视点测试集的显著性分布图的直方图；

图4c为“flamencol”多视点测试集的显著性分布图的高斯混合模型；

图5a为“flamencol”多视点测试集的源图像；

图5b为“flamencol”多视点测试集的第1个视觉注意力区域；

图5c为“flamencol”多视点测试集的第2个视觉注意力区域；

图6a为“flamencol”多视点测试集的目标图像；

图6b为“flamencol”多视点测试集的源图像；

图6c为“flamencol”多视点测试集的不采用线性加权处理的校正图像；

图6d为“flamencol”多视点测试集的经本发明方法颜色校正处理的校正图像；

图7a为“fuzzy”多视点测试集的目标图像；

图7b为“fuzzy”多视点测试集的源图像；

图7c为“fuzzy”多视点测试集的不采用线性加权处理的校正图像；

图7d为“fuzzy”多视点测试集的经本发明方法颜色校正处理的校正图像；

图8a为“rena”多视点测试集的目标图像；

图8b为“rena”多视点测试集的源图像；

图8c为“rena”多视点测试集的不采用线性加权处理的校正图像；

图8d为“rena”多视点测试集的经本发明方法颜色校正处理的校正图像；

图9a为图6b的局部细节放大图；

图9b为图6c的局部细节放大图；

图9c为图6d的局部细节放大图；

图10a为图7b的局部细节放大图；

图l0b为图7c的局部细节放大图；

图10c为图7d的局部细节放大图；

图11a为图8b的局部细节放大图；

图11b为图8c的局部细节放大图；

图11c为图8d的局部细节放大图；

图12a为“flamencol”多视点测试集的采用本发明未经精炼的校正图像；

图12b为“flamencol”多视点测试集的最小可察觉变化步长示意图；

图12c为“flamencol”多视点测试集的视觉敏感区域示意图；

图12d为“flamencol”多视点测试集的采用本发明经精炼的校正图像；

图13a为“fuzzy”多视点测试集的采用本发明未经精炼的校正图像；

图13b为“fuzzy”多视点测试集的最小可察觉变化步长示意图；

图13c为“fuzzy”多视点测试集的视觉敏感区域示意图；

图13d为“fuzzy”多视点测试集的采用本发明经精炼的校正图像；

图14a为“rena”多视点测试集的采用本发明未经精炼的校正图像；

图14b为“rena”多视点测试集的最小可察觉变化步长示意图；

图14c为“rena”多视点测试集的视觉敏感区域示意图；

图14d为“rena”多视点测试集的采用本发明经精炼的校正图像；

图15为“flamencol”多视点测试集的采用本发明未经精炼和经精炼的峰值信噪比比较结果；

图16为“flamencol”多视点测试集的采用本发明未经精炼和经精炼的结构相似度比较结果。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

现有的各类颜色校正方法如区域匹配、特征匹配或直方图匹配等并没有充分考虑到人眼对亮度和色度的敏感型以及人眼对不同区域的关注程度，而是对不同的视觉感知区域采用了相同的映射关系，这样会导致校正图像在主观视觉上存在较大的偏差。然而，实际上对图像最终结果进行评价的主体是人眼，图像的主观感知实验表明，人眼对图像的感知是有局限性、非均匀性和非线性的，它对图像中的一些变化是不能感知的，但对图像中若干显著对象区域却很注意。人眼不能感知的变化称为人眼的屏蔽效应，人眼只能察觉超过某一阈值的噪声，该阈值就是最小可察觉变化步长(Just NoticeableDifference，JND)。而人眼对若干显著对象区域却很注意的生理感知过程可用视觉注意力(Visual Attention，VA)来描述。人眼的视觉特性常用JND模型和VA模型来表征。

基于上述分析，本发明提出了一种基于视觉感知的多视点图像颜色校正方法，流程如图3所示，该颜色校正方法包括以下步骤：

①将同一时刻由多视点平行相机系统拍摄的多视点图像中的一个视点图像定义为目标图像，记为T，而将其它视点图像定义为源图像，记为S，定义目标图像T的平面坐标系为x′y′平面坐标系，定义源图像S的平面坐标系为xy平面坐标系，记目标图像T中的所有像素点构成的集合为{^(T)P(x₁′，y₁′)}，记源图像S中的所有像素点构成的集合为{^(S)P(x₁，y₁)}。

②分别提取目标图像T的显著性分布图和源图像S的显著性分布图，记目标图像T的显著性分布图为{^(T)S}，记源图像S的显著性分布图为{^(S)S}。

视觉注意力线索研究主要分为两个方面：自顶向下(Top-down)的注意力线索和自底向上(Bottom-up)的注意力线索，其中自顶向下的注意力线索主要来自复杂的心理过程，而自底向上的注意力线索主要来自视频场景的视觉特征因素对视皮层引起的直接刺激，自底向上的视觉注意力模型，通过从输入图像中提取图像亮度、色度和方向的特征，然后分析、融合得到显著性分布图。通过分析，本发明方法提出的源图像S的显著性分布图{^(S)S}的提取过程如下：

②-1、在xy平面坐标系中，通过双高斯差算子D(x₁，y₁，σ₁，σ₂)＝(G(x₁，y₁，σ₁)-G(x₁，y₁，σ₂))*I(x₁，y₁)，计算得到源图像S中的各个像素点^(S)P(x₁，y₁)在尺度空间不同尺度下的双高斯差算子的响应值D(x₁，y₁，σ₁，σ₂)，其中，符号“*”表示卷积操作符号，σ₁和σ₂均为尺度空间因子，σ₁＞σ₂，G(x₁，y₁，σ₁)和G(x₁，y₁，σ₁)均为二维高斯函数， $G(x_1,y_1,{\mathrm{\σ}}_1)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_1^2}{e}^{-({x_1}^2+{y_1}^2)/2{\mathrm{\σ}}_1^2},$ $G(x_1,y_1,{\mathrm{\σ}}_2)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_2^2}{e}^{-({x_1}^2+{y_1}^2)/2{\mathrm{\σ}}_2^2},$ x₁和y₁分别为源图像S中的各个像素点^(S)P(x₁，y₁)的横坐标和纵坐标，I(x₁，y₁)表示源图像S中的各个像素点^(S)P(x₁，y₁)的像素值。在本实施例中，尺度空间因子σ₁可取无穷大，σ₂可取1，实际应用过程中，只需保证两个尺度空间因子的差值的绝对值较大即可，当两者相差较大时，能够保留较多的源图像的高频信息，并能够去除高频信息中的高频噪声和细纹理。

②-2、将源图像S的所有像素点在尺度空间不同尺度下的双高斯差算子的响应值构成的图像作为源图像S对应的响应值图像。

②-3、提取源图像S中的各个像素点^(S)P(x₁，y₁)的亮度分量、第一色度分量和第二色度分量，计算源图像S中的所有像素点的亮度分量、第一色度分量和第二色度分量的平均特征向量，记为I_μ，I_μ＝[Y_μ，U_μ，V_μ]，其中，Y_μ表示源图像S中的所有像素点的亮度分量，U_μ表示源图像S中的所有像素点的第一色度分量，V_μ表示源图像S中的所有像素点的第二色度分量；提取源图像S对应的响应值图像中的各个像素点的亮度分量、第一色度分量和第二色度分量，计算源图像S对应的响应值图像中的各个像素点的特征向量，记为I_ωhc(x₁，y₁)，I_ωhc(x₁，y₁)＝[Y_ωhc(x₁，y₁)，U_ωhc(x₁，y₁)，V_ωhc(x₁，y₁)]，其中，Y_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的亮度分量，U_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的第一色度分量，V_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的第二色度分量；根据源图像S中的所有像素点的亮度分量、第一色度分量和第二色度分量的平均特征向量I_μ和源图像S对应的响应值图像中的各个像素点的特征向量I_ωhc(x₁，y₁)，计算源图像S中的各个像素点^(S)P(x₁，y₁)的显著性分布值，记为^(S)S(x₁，y₁)，^(S)S(x₁，y₁)＝||I_μ-I_ωhc(x₁，y₁)||，其中，符号“||||”表示欧式距离计算符号。

②-4、将源图像S中的所有像素点的显著性分布值构成的分布图作为源图像S的显著性分布图{^(S)S}。

在此，对目标图像T的显著性分布图{^(T)S}的提取，在x′y′平面坐标系中采用与提取源图像S的显著性分布图{^(S)S}相同的操作。

③利用期望最大算法分别估计目标图像T的显著性分布图{^(T)S}和源图像S的显著性分布图{^(S)S}的高斯混合模型，记目标图像T的显著性分布图{^(T)S}的高斯混合模型为^(T)Θ，记源图像S的显著性分布图{^(S)S}的高斯混合模型为^(S)Θ， ${}^{\left(T\right)}\mathrm{\Θ}={\{{\mathrm{\ω}}_i,{\mathrm{\μ}}_i,{\mathrm{\σ}}_i\}}_{i=1}^K,$ ${}^{\left(S\right)}\mathrm{\Θ}={\{{\mathrm{\ω}}_i,{\mathrm{\μ}}_i,{\mathrm{\σ}}_i\}}_{i=1}^K,$ 其中，K表示高斯混合模型中高斯分量的总个数，ω_i表示第i个高斯分量的加权系数，μ_i表示第i个高斯分量的均值，σ_i表示第i个高斯分量的标准差。

④根据目标图像T的显著性分布图{^(T)S}及显著性分布图{^(T)S}的高斯混合模型^(T)Θ，提取目标图像T的视觉注意力区域，根据源图像S的显著性分布图{^(S)S}及显著性分布图{^(S)S}的高斯混合模型^(S)Θ，提取源图像S的视觉注意力区域。

在此，源图像S的视觉注意力区域的提取过程为：

④-1、在xy平面坐标系中，对于源图像S中的各个像素点^(S)P(x₁，y₁)，通过最大化概率密度函数分别获取各个像素点属于高斯混合模型^(S)Θ中的第i个高斯分量的分类标记，记为^(S)γ(x₁，y₁)， ${}^{\left(S\right)}\mathrm{\γ}(x_1,y_1)=\arg \underset{\mathrm{\Γ}}{\max }\left[\frac{e^{-{({}^{\left(S\right)}S(x_1,y_1)-{\mathrm{\μ}}_i)}^2/2{\mathrm{\σ}}_i^2}}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{e}^{-{({}^{\left(S\right)}S(x_1,y_1)-{\mathrm{\μ}}_j)}^2/2{\mathrm{\σ}}_j^2}}\right],$ 其中，1≤i≤K，^(S)γ(x₁，y₁)∈[1，K]，Γ表示高斯混合模型^(S)Θ中的所有高斯分量的集合，Γ＝{i|1≤i≤K}，表示最大化概率密度函数，

表示源图像S中的各个像素点^(S)P(x₁，y₁)的显著性分布值^(S)S(x₁，y₁)属于高斯混合模型^(S)Θ中的第i个高斯分量的概率。

④-2、将源图像S中属于高斯混合模型^(S)Θ中的第i个高斯分量的所有像素点构成的区域作为源图像S的第i个视觉注意力区域。

在此，目标图像T的视觉注意力区域的提取，在x′y′平面坐标系中采用与提取源图像S的视觉注意力区域相同的操作。

⑤通过视差匹配方法获取源图像S中的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点^(T)P(x₁′，y₁′)，并获取目标图像T中的像素点^(T)P(x₁′，y₁′)在源图像S上的最佳候选匹配像素点^(S)P(x₂，y₂)，然后通过双向校验从源图像S到目标图像T的视差和从目标图像T到源图像S的视差，确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))是否为最佳候选匹配的像素点对，再通过判断最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))中的像素点^(T)P(x₁′，y₁′)和像素点^(S)P(x₁，y₁)是否属于相同的视觉注意力区域，即判断像素点^(T)P(x₁′，y₁′)的分类标记^(T)γ(x₁′，y₁′)与像素点^(S)P(x₁，y₁)的分类标记^(S)γ(x₁，y₁)是否相同，确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))是否为匹配的像素点对；

在此，视差匹配方法的具体过程为：

⑤-1、记目标图像T和源图像S中匹配的像素点对构成的集合为{^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁)}，分别确定源图像S与目标图像T中的最大水平和垂直视差搜索范围。

⑤-2、对于源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)，首先在目标图像T中的最大水平和垂直视差搜索范围内获取与源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)匹配的所有像素点，其次由于提取的目标图像T的视觉注意力区域和源图像S的视觉注意力区域之间并不存在必然的联系，为了获取源图像S中的像素点^(S)P(x₁，y₁)在目标图像T中属于相同视觉注意力区域的最佳候选匹配像素点，在源图像S中的最大水平和垂直视差搜索范围内以像素点^(S)P(x₁，y₁)为左上角像素点确定N×N窗口，在目标图像T中的最大水平和垂直视差搜索范围内以与像素点^(S)P(x₁，y₁)匹配的各个像素点为左上角像素点分别确定N×N窗口，分别计算像素点^(S)P(x₁，y₁)与与其匹配的各个像素点在N×N窗口内的匹配成本，记为MRSAD， $\mathrm{MRSAD}=\underset{N}{\mathrm{\Σ}}|({}^{\left(S\right)}Y(x_1,y_1)-{\mathrm{\μ}}_1)-({}^{\left(T\right)}Y({x_1}^{\′},{y_1}^{\′})-{{\mathrm{\μ}}_1}^{\′})|,$ 其中，^(S)Y(x₁，y₁)表示源图像S中的各个像素点^(S)P(x₁，y₁)的亮度分量，^(T)Y(x₁′，y₁′)表示目标图像T中的各个像素点^(T)P(x₁′，y₁′)的亮度分量，μ₁表示源图像S中的最大水平和垂直视差搜索范围内以像素点^(S)P(x₁，y₁)为左上角像素点的N×N窗口中的所有像素点的亮度分量的均值，μ₁′表示目标图像T中的最大水平和垂直视差搜索范围内以与像素点^(S)P(x₁，y₁)匹配的像素点为左上角像素点的N×N窗口中的所有像素点的亮度分量的均值，N为窗口的大小。由于窗口大小N与目标图像T和源图像S匹配的像素点对的质量有关，窗口大小N可取4、8和16，如果窗口大小N过大或过小均不能获得较为精确的匹配，经过大量实验表明当N＝8时匹配的结果较为精确。

⑤-3、根据计算得到的像素点^(S)P(x₁，y₁)与与其匹配的各个像素点在N×N窗口内的匹配成本，获取所有匹配成本中的最小匹配成本，将该最小匹配成本对应的目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)作为源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点。

⑤-4、对于目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)，以与获取源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点相同的方法，获取目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)在源图像S上的最佳候选匹配像素点^(S)P(x₂，y₂)。

⑤-5、将从源图像S到目标图像T的视差记为d_sou→tar，d_sou→tar＝(x₁′-x₁，y₁′-y₁)，将从目标图像T到源图像S的视差记为d_tar→sou，d_tar→sou＝(x₂-x₁′，y₂-y₁′)，对d_sou→tar和d_tar→sou进行双向校验，判断|d_sou→tar+d_tar→sou|＜2是否成立，如果成立，则确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为最佳候选匹配的像素点对，否则，确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为非最佳候选匹配的像素点对，并对该像素点对不进行处理。

⑤-6、判断最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))中的像素点^(T)P(x₁′，y₁′)和像素点^(S)P(x₁，y₁)是否属于相同的视觉注意力区域，即判断像素点^(T)P(x₁′，y₁′)的分类标记^(T)γ(x₁′，y₁′)与像素点^(S)P(x₁，y₁)的分类标记^(S)γ(x₁，y₁)是否相同，如果是，则确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为匹配的像素点对，否则，确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为非匹配的像素点对，并对该像素点对不进行处理。

⑥根据所有属于第i个视觉注意力区域的匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))的亮度分量、第一色度分量和第二色度分量，通过线性回归算法计算得到第i个视觉注意力区域的校正矩阵，记为 $\left\{a_q^i\right|a=\mathrm{1,2,3}\},$ $\left\{a_q^i\right|q=\mathrm{1,2,3}\}=\underset{a_q^i}{\arg \min }\underset{(x_1,y_1)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{({}^{\left(T\right)}{I}_q({x_1}^{\′},{y_1}^{\′})-a_q^i\mathrm{\Ψ})}^2,$ 其中，Ω表示所有属于第i个视觉注意力区域的匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))构成的集合，^(T)I_q(x₁′，y₁′)表示目标图像T的像素点^(T)P(x₁′，y₁′)的第q个分量的像素值，第1个分量为亮度分量，第2个分量为第一色度分量，第3个分量为第二色度分量，ψ＝[^(S)I₁(x₁，y₁)，^(S)I₂(x₁，y₁)，^(S)I₃(x₁，y₁)，1]，^(S)I₁(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第1个分量的像素值，第1个分量为亮度分量，^(S)I₂(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第2个分量的像素值，第2个分量为第一色度分量，^(S)I₃(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第3个分量的像素值，第3个分量为第二色度分量。

⑦采用线性加权方法获取源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量的校正矩阵，记为

${\hat{a}}_q=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\β}}_i(x_1,y_1)a_q^i,$ 其中，q＝1，2，3，β_i(x₁，y₁)为加权系数，其值通过计算源图像S的像素点^(S)P(x₁，y₁)属于第i个视觉注意力区域的概率得到， ${\mathrm{\β}}_i(x_1,y_1)=\frac{{\mathrm{\ω}}_i\·e^{-{({}^{\left(S\right)}S(x_1,y_1)-{\mathrm{\μ}}_i)}^2/2{\mathrm{\σ}}_i^2}}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_j\·e^{-{({}^{\left(S\right)}S(x_1,y_1)-{\mathrm{\μ}}_j)}^2/2{\mathrm{\σ}}_j^2}},$ 其中，1≤i≤K。

⑧利用源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量的校正矩阵

对源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量进行颜色校正，得到颜色校正处理后的校正图像，记颜色校正处理后的校正图像的像素点为^(C)P(x₁，y₁)，记颜色校正处理后的校正图像的各个像素点^(C)P(x₁，y₁)的第q个分量的像素值为^(C)I_q(x₁，y₁)， ${}^{\left(C\right)}{I}_q(x_1,y_1)={\hat{a}}_q\mathrm{\Ψ},$ 其中，ψ＝[^(S)I₁(x₁，y₁)，^(S)I₂(x₁，y₁)，^(S)I₃(x₁，y₁)，1]，^(S)I₁(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第1个分量的像素值，第1个分量为亮度分量，^(S)I₂(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第2个分量的像素值，第2个分量为第一色度分量，^(S)I₃(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第3个分量的像素值，第3个分量为第二色度分量，q＝1，2，3。

为得到更为精确的校正图像，可对上述颜色校正处理后的校正图像进行精练后处理，精练后处理的处理过程为：

a.采用最小可察觉变化步长模型获取源图像S的像素点^(S)P(x₁，y₁)的最小可察觉变化步长门限，记为JND(x₁，y₁)；

b.计算源图像S的像素点^(S)P(x₁，y₁)的第一个分量与颜色校正处理后的校正图像的像素点^(C)P(x₁，y₁)的第一个分量的残差值，记为dis，dis＝|^(S)Y(x₁，y₁)-(C)Y(x₁，y₁)|，其中，^(S)Y(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第一个分量，^(C)Y(x₁，y₁)表示颜色校正处理后的校正图像的像素点^(C)P(x₁，y₁)的第一个分量；

c.判断dis≤η×JND(x₁，y₁)是否成立，如果是，则认为源图像S的像素点^(S)P(x₁，y₁)为视觉敏感的像素点，否则，认为源图像S的像素点^(S)P(x₁，y₁)为非视觉敏感的像素点，其中，η为控制因子，η∈[0，1]，η过大或过小都会影响所提取的视觉敏感区域的精确性，因此选取η时应综合考虑，经实验表明η＝0.6时提取的视觉敏感区域的精确度最好；

d.将由所有视觉敏感的像素点构成的区域作为源图像S的视觉敏感区域；

e.采用与步骤⑤相同的操作获取所有属于视觉敏感区域的目标图像T和颜色校正处理后的校正图像匹配的像素点对(^(T)P(x₁′，y₁′)，^(C)P(x₁，y₁))；

f.采用与步骤⑥相同的操作计算源图像S的视觉敏感区域的校正矩阵，然后以该校正矩阵对颜色校正处理后的校正图像中属于视觉敏感区域的像素点^(C)P(x₁，y₁)的第q个分量进行进一步颜色校正，得到精练后的校正图像。

以下就本发明进行多视点图像颜色校正的主观和客观性能比较。

对由KDDI公司提供的“flamencol”、Nagoya大学提供的“fuzzy”，“rena”三组多视点视频测试集采用本发明的多视点图像颜色校正方法进行颜色校正。图4a、图4b和图4c分别给出了“flamencol”多视点测试集的源图像的显著性分布图、显著性分布图的直方图和显著性分布图的高斯混合模型，根据该高斯混合模型得到高斯分量的个数为2个。图5a、图5b和图5c分别给出了“flamencol”多视点测试集的源图像、第1个视觉注意力区域和第2个视觉注意力区域。从图4a至图5c中可以看出，经期望最大算法估计得到的高斯混合模型能很好地拟合显著性分布图的分布趋势，说明本发明方法中的高斯混合模型的估计方法是可行有效地，且为视觉注意力区域的提取提供了有效的保障。

图6a、图7a和图8a分别给出了“flamencol”，“fuzzy”和“rena”多视点测试集的目标图像，图6b、图7b和图8b分别给出了“flamencol”，“fuzzy”和“rena”多视点测试集的源图像，其中“flamencol”目标图像和源图像大小均为320×240，“fuzzy”和“rena”目标图像和源图像大小均为640×480。“flamencol”多视点视频测试集的最大水平和垂直视差搜索范围为30和5，“fuzzy”多视点视频测试集的最大水平和垂直视差搜索范围为20和0，“rena”多视点视频测试集的最大水平和垂直视差搜索范围为20和0。图6b、图7b和图8b所示的源图像中的各个像素点的各个分量(亮度分量、第一色度分量及第二色度分量)的校正矩阵不采用线性加权时，最终获得的校正图像分别如图6c、图7c和图8c所示，而采用本发明进行颜色校正处理后得到的校正图像如图6d、图7d和图8d所示。图9a、图9b和图9c分别为图6b、图6c和图6d的局部细节放大图，图10a、图10b和图10c分别为图7b、图7c和图7d的局部细节放大图，图11a、图11b和图11c分别为图8b、图8c和图8d的局部细节放大图。从图6d、图7d、图8d及图9a至图11c可以看出，采用本发明颜色校正处理后得到的校正图像其颜色外表与目标图像非常相近，并且本发明方法能够较好地消除图6c、图7c和图8c中存在的边缘失真现象。

图12a、图13a和图14a分别给出了“flamencol”，“fuzzy”和“rena”采用本发明未经精炼后处理的校正图像，图12b、图13b和图14b分别给出了“flamencol”，“fuzzy”和“rena”的最小可察觉变化步长示意图，图12c、图13c和图14c分别给出了“flamencol”，“fuzzy”和“rena”的视觉敏感区域示意图，图12c、图13c和图14c中黑色区域表示提取的视觉敏感区域，图12d、图13d和图14d分别给出了“flamencol”，“fuzzy”和“rena”采用本发明经精炼后处理后得到的校正图像，对比图12a与图12d、对比图13a与图13d及对比图14a与14d，可以看出经精炼后处理和未经精炼的校正图像，主观视觉差别并不是很大。

为了客观说明本发明未经精炼处理和经精炼后处理得到的校正图像的差别，将采用现有的全局校正方法进行颜色校正后的图像作为基准图像，与采用本发明进行颜色校正后的图像进行比较。图15给出了本发明未经精炼和经精炼后处理的峰值信噪比(PeakSignal to Noise Ratio，PSNR)比较结果，图16给出了本发明未经精炼和经精炼后处理的结构相似度(Structural Similarity Image Metric，SSIM)比较结果。从峰值信噪比和结构相似度的比较结果可以看出，本发明经精炼后处理后，大大提高了PSNR和SSIM的性能，说明本发明方法中采用的精炼后处理方法是可行有效的。

Claims (6)

1.一种基于视觉感知的多视点图像颜色校正方法，其特征在于包括以下步骤：

①将同一时刻由多视点平行相机系统拍摄的多视点图像中的一个视点图像定义为目标图像，记为T，而将其它视点图像定义为源图像，记为S，定义目标图像T的平面坐标系为x′y′平面坐标系，定义源图像S的平面坐标系为xy平面坐标系，记目标图像T中的所有像素点构成的集合为{^(T)P(x₁′，y₁′)}，记源图像S中的所有像素点构成的集合为{^(s)P(x₁，y₁)}；

②分别提取目标图像T的显著性分布图和源图像S的显著性分布图，记目标图像T的显著性分布图为{^(T)S}，记源图像S的显著性分布图为{^(S)S}；

③利用期望最大算法分别估计目标图像T的显著性分布图{^(T)S}和源图像S的显著性分布图{^(S)S}的高斯混合模型，记目标图像T的显著性分布图{^(T))S}的高斯混合模型为^(T)Θ，记源图像S的显著性分布图{^(S)S}的高斯混合模型为^(S)Θ， $\mathrm{\Θ}_{\left(T\right)}={\{{\mathrm{\ω}}_i,{\mathrm{\μ}}_i,{\mathrm{\σ}}_i\}}_{i=1}^K,$ $\mathrm{}\mathrm{\Θ}_{\left(S\right)}={\{{\mathrm{\ω}}_i,{\mathrm{\μ}}_i,{\mathrm{\σ}}_i\}}_{i=1}^K,$ 其中，K表示高斯混合模型中高斯分量的总个数，ω_i表示第i个高斯分量的加权系数，μ_i表示第i个高斯分量的均值，σ_i表示第i个高斯分量的标准差；

④根据目标图像T的显著性分布图{^(T)S}及显著性分布图{^(T)S}的高斯混合模型^(T)Θ，提取目标图像T的视觉注意力区域，根据源图像S的显著性分布图{^(S)S}及显著性分布图{^(S)S}的高斯混合模型^(S)Θ，提取源图像S的视觉注意力区域；

⑤通过视差匹配方法获取源图像S中的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点^(T)P(x₁′，y₁′)，并获取目标图像T中的像素点^(T)P(x₁′，y₁′)在源图像S上的最佳候选匹配像素点^(S)P(x₂，y₂)，然后通过双向校验从源图像S到目标图像T的视差和从目标图像T到源图像S的视差，确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))是否为最佳候选匹配的像素点对，再通过判断最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，t₁))中的像素点^(T)P(x₁′，y₁′)和像素点^(S)P(x₁，y₁)是否属于相同的视觉注意力区域，确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))是否为匹配的像素点对；

⑥根据所有属于第i个视觉注意力区域的匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))的亮度分量、第一色度分量和第二色度分量，通过线性回归算法计算得到第i个视觉注意力区域的校正矩阵，记为其中，Ω表示所有属于第i个视觉注意力区域的匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))构成的集合，^(T)I_q(x₁′，y₁′)表示目标图像T的像素点^(T)P(x₁′，y₁′)的第q个分量的像素值，第1个分量为亮度分量，第2个分量为第一色度分量，第3个分量为第二色度分量，ψ＝[^(S)I₁(x₁，y₁)，^(S)I₂(x₁，y₁)，^(S)I₃(x₁，y₁)，₁]，^(S)I₁(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第1个分量的像素值，第1个分量为亮度分量，^(S)I₂(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第2个分量的像素值，第2个分量为第一色度分量，^(S)I₃(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第3个分量的像素值，第3个分量为第二色度分量；

⑦采用线性加权方法获取源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量的校正矩阵，记为其中，q＝1，2，3，β_i(x₁，y₁)为加权系数，其值通过计算源图像S的像素点^(S)P(x₁，y₁)属于第i个视觉注意力区域的概率得到，其中，1≤i≤K；

⑧利用源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量的校正矩阵

对源图像S的各个像素点^(S)P(x₁，y₁)的第q个分量进行颜色校正，得到颜色校正处理后的校正图像，记颜色校正处理后的校正图像的像素点为^(C)P(x₁，y₁)，记颜色校正处理后的校正图像的各个像素点^(C)P(x₁，y₁)的第q个分量的像素值为^(C)I_q(x₁，y₁)，

其中，ψ＝[^(S)I₁(x₁，y₁)，^(S)I₂(x₁，y₁)，^(S)I₃(x₁，y₁)，1]，^(S)I₁(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第1个分量的像素值，第1个分量为亮度分量，^(S)I₂(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第2个分量的像素值，第2个分量为第一色度分量，^(S)I₃(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第3个分量的像素值，第3个分量为第二色度分量，q＝1，2，3。

2.根据权利要求1所述的一种基于视觉感知的多视点图像颜色校正方法，其特征在于所述的步骤②中源图像S的显著性分布图{^(S)S}的提取过程为：

②-1、在xy平面坐标系中，通过双高斯差算子D(x₁，y₁，σ₁，σ₂)＝(G(x₁，y₁，σ₁)-G(x₁，y₁，σ₂))*I(x₁，y₁)，计算得到源图像S中的各个像素点^(S)P(x₁，y₁)在尺度空间不同尺度下的双高斯差算子的响应值D(x₁，y₁，σ₁，σ₂)，其中，符号“*”表示卷积操作符号，σ₁和σ₂均为尺度空间因子，σ₁＞σ₂，G(x₁，y₁，σ₁)和G(x₁，y₁，σ₂)均为二维高斯函数， $G(x_1,y_1,{\mathrm{\σ}}_1)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_1^2}{e}^{-({x_1}^2+{y_1}^2)/2{\mathrm{\σ}}_1^2},$ $G(x_1,y_1,{\mathrm{\σ}}_2)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_2^2}{e}^{-({x_1}^2+{y_1}^2)/2{\mathrm{\σ}}_2^2},$ x₁和y₁分别为源图像S中的各个像素点^(S)P(x₁，y₁)的横坐标和纵坐标，I(x₁，y₁)表示源图像S中的各个像素点^(S)P(x₁，y₁)的像素值；

②-2、将源图像S的所有像素点在尺度空间不同尺度下的双高斯差算子的响应值构成的图像作为源图像S对应的响应值图像；

②-3、提取源图像S中的各个像素点^(S)P(x₁，y₁)的亮度分量、第一色度分量和第二色度分量，计算源图像S中的所有像素点的亮度分量、第一色度分量和第二色度分量的平均特征向量，记为I_μ，I_μ＝[Y_μ，U_μ，V_μ]，其中，Y_μ表示源图像S中的所有像素点的亮度分量，U_μ表示源图像S中的所有像素点的第一色度分量，V_μ表示源图像S中的所有像素点的第二色度分量；提取源图像S对应的响应值图像中的各个像素点的亮度分量、第一色度分量和第二色度分量，计算源图像S对应的响应值图像中的各个像素点的特征向量，记为I_ωhc(x₁，y₁)，I_ωhc(x₁，y₁)＝[Y_ωhc(x₁，y₁)，U_ωhc(x₁，y₁)，V_ωhc(x₁，y₁)]，其中，Y_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的亮度分量，U_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的第一色度分量，V_ωhc(x₁，y₁)表示源图像S对应的响应值图像中的像素点的第二色度分量；根据源图像S中的所有像素点的亮度分量、第一色度分量和第二色度分量的平均特征向量I_μ和源图像S对应的响应值图像中的各个像素点的特征向量I_ωhc(x₁，y₁)，计算源图像S中的各个像素点^(S)P(x₁，y₁)的显著性分布值，记为^(S)S(x₁，y₁)，^(S)S(x₁，y₁)＝||I_μ-I_ωhc(x₁，y₁)||，其中，符号“|| ||”表示欧式距离计算符号；

②-4、将源图像S中的所有像素点的显著性分布值构成的分布图作为源图像S的显著性分布图{^(S)S}；

所述的步骤②中对目标图像T的显著性分布图{^(T)S}的提取，在x′y′平面坐标系中采用与提取源图像S的显著性分布图{^(S)S}相同的操作。

3.根据权利要求1或2所述的一种基于视觉感知的多视点图像颜色校正方法，其特征在于所述的步骤④中源图像S的视觉注意力区域的提取过程为：

④-1、在xy平面坐标系中，对于源图像S中的各个像素点^(S)P(x₁，y₁)，通过最大化概率密度函数分别获取各个像素点属于高斯混合模型^(S)Θ中的第i个高斯分量的分类标记，记为^(S)γ(x₁，y₁)， $\mathrm{\γ}_{\left(S\right)}(x_1,y_1)=\arg \underset{\mathrm{\Γ}}{\max }\left[\frac{e^{-{\left(S(x_1,y_1)-{\mathrm{\μ}}_i_{\left(S\right)}\right)}^2/{2\mathrm{\σ}}_i^2}}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{e}^{-{(S_{\left(S\right)}(x_1,y_1)-{\mathrm{\μ}}_j)}^2/{2\mathrm{\σ}}_j^2}}\right],$ 其中，1≤i≤K，^(S)γ(x₁，y₁)∈[1，K]，Γ表示高斯混合模型^(S)Θ中的所有高斯分量的集合，Γ＝{i|1≤i≤K}，

[]表示最大化概率密度函数，

表示源图像S中的各个像素点^(S)P(x₁，y₁)的显著性分布值^(S)S(x₁，y₁)属于高斯混合模型^(S)Θ中的第i个高斯分量的概率；

④-2、将源图像S中属于高斯混合模型^(S)Θ中的第i个高斯分量的所有像素点构成的区域作为源图像S的第i个视觉注意力区域；

所述的步骤④中目标图像T的视觉注意力区域的提取，在x′y′平面坐标系中采用与提取源图像S的视觉注意力区域相同的操作。

4.根据权利要求3所述的一种基于视觉感知的多视点图像颜色校正方法，其特征在于所述的步骤⑤中视差匹配方法的具体过程为：

⑤-1、记目标图像T和源图像S中匹配的像素点对构成的集合为{^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁)}，分别确定源图像S与目标图像T中的最大水平和垂直视差搜索范围；

⑤-2、对于源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)，首先在目标图像T中的最大水平和垂直视差搜索范围内获取与源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)匹配的所有像素点，其次在源图像S中的最大水平和垂直视差搜索范围内以像素点^(S)P(x₁，y₁)为左上角像素点确定N×N窗口，在目标图像T中的最大水平和垂直视差搜索范围内以与像素点^(S)P(x₁，y₁)匹配的各个像素点为左上角像素点分别确定N×N窗口，分别计算像素点^(S)P(x₁，y₁)与与其匹配的各个像素点在N×N窗口内的匹配成本，记为MTSAD  ， $\mathrm{MRSAD}=\underset{N}{\mathrm{\Σ}}|(Y_{\left(S\right)}(x_1,y_1)-{\mathrm{\μ}}_1)-(Y_{\left(T\right)}(x_1\text{'},y_1\text{'})-{\mathrm{\μ}}_1\text{'})|,$ 其中，^(S)Y(x₁，y₁)表示源图像S中的各个像素点^(S)P(x₁，y₁)的亮度分量，^(T)Y(x₁′，y₁′)表示目标图像T中的各个像素点^(T)P(x₁′，y₁′)的亮度分量，μ₁表示源图像S中的最大水平和垂直视差搜索范围内以像素点^(S)P(x₁，y₁)为左上角像素点的N×N窗口中的所有像素点的亮度分量的均值，μ₁′表示目标图像T中的最大水平和垂直视差搜索范围内以与像素点^(S)P(x₁，y₁)匹配的像素点为左上角像素点的N×N窗口中的所有像素点的亮度分量的均值，N为窗口的大小；

⑤-3、根据计算得到的像素点^(S)P(x₁，y₁)与与其匹配的各个像素点在N×N窗口内的匹配成本，获取所有匹配成本中的最小匹配成本，将该最小匹配成本对应的目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)作为源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点；

⑤-4、对于目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)，以与获取源图像S中的最大水平和垂直视差搜索范围内的像素点^(S)P(x₁，y₁)在目标图像T上的最佳候选匹配像素点相同的方法，获取目标图像T中的最大水平和垂直视差搜索范围内的像素点^(T)P(x₁′，y₁′)在源图像S上的最佳候选匹配像素点^(S)P(x₂，y₂)；

⑤-5、将从源图像S到目标图像T的视差记为d_sou→tar，d_sou→tar＝(x₁′-x₁，y₁′-y₁)，将从目标图像T到源图像S的视差记为d_tar→sou，d_tar→sou＝(x₂-x₁′，y₂-y₁′)，对d_sou→tar和d_tar→sou进行双向校验，判断|d_sou→tar+d_tar→sou|＜2是否成立，如果成立，则确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为最佳候选匹配的像素点对，否则，确定像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为非最佳候选匹配的像素点对，并对该像素点对不进行处理；

⑤-6、判断最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))中的像素点^(T)P(x₁′，y₁′)和像素点^(S)P(x₁，y₁)是否属于相同的视觉注意力区域，如果是，则确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为匹配的像素点对，否则，确定最佳候选匹配的像素点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为非匹配的像素点对，并对该像素点对不进行处理。

5.根据权利要求4所述的一种基于视觉感知的多视点图像颜色校正方法，其特征在于对颜色校正处理后的校正图像进行精练后处理，精练后处理的处理过程为：

a.采用最小可察觉变化步长模型获取源图像S的像素点^(S)P(x₁，y₁)的最小可察觉变化步长门限，记为JND(x₁，y₁)；

b.计算源图像S的像素点^(S)P(x₁，y₁)的第一个分量与颜色校正处理后的校正图像的像素点^(C)P(x₁，y₁)的第一个分量的残差值，记为dis，dis＝|^(S)Y(x₁，y₁)-^(C)Y(x₁，y₁)|，其中，^(S)Y(x₁，y₁)表示源图像S的像素点^(S)P(x₁，y₁)的第一个分量，^(C)Y(x₁，y₁)表示颜色校正处理后的校正图像的像素点^(C)P(x₁，y₁)的第一个分量；

c.判断dis≤η×JND(x₁，y₁)是否成立，如果是，则认为源图像S的像素点^(S)P(x₁，y₁)为视觉敏感的像素点，否则，认为源图像S的像素点^(S)P(x₁，y₁)为非视觉敏感的像素点，其中，η为控制因子，η∈[0，1]；

d.将由所有视觉敏感的像素点构成的区域作为源图像S的视觉敏感区域；

e.采用与步骤⑤相同的操作获取所有属于视觉敏感区域的目标图像T和颜色校正处理后的校正图像匹配的像素点对(^(T)P(x₁′，y₁′)，^(C)P(x₁，y₁))；

f.采用与步骤⑥相同的操作计算源图像S的视觉敏感区域的校正矩阵，然后以该校正矩阵对颜色校正处理后的校正图像中属于视觉敏感区域的像素点^(C)P(x₁，y₁)的第q个分量进行进一步颜色校正，得到精练后的校正图像。

6.根据权利要求5所述的一种基于视觉感知的多视点图像颜色校正方法，其特征在于所述的控制因子η＝0.6。

Images