CN1894721A - 用于创建图像的显著图的设备和方法 - Google Patents

Abstract

本发明涉及一种创建图像的显著图的设备和方法。其包括步骤：－根据亮度(A)分量、如果所述图像是彩色图像则根据亮度(A)分量并且根据色度分量(Cr1、Cr2)，来投影(E1)所述图像；－根据人眼的可见度阈值，对所述分量(A、Cr1、Cr2)进行感知子波段分解(E3、T2、T’2、T”2)；－提取(E7)与亮度(A)分量相关联的子波段的显著单元；－在与亮度(A)分量相关联的每一个子波段中，针对所述显著单元进行轮廓增强(E8、T7)；－针对与亮度(A)分量相关联的每一个子波段，根据轮廓增强来计算(T7)显著图。－作为针对每一个子波段所获得的显著图的函数来创建(T8)显著图。

Description

用于创建图像的显著图的设备和方法

技术领域

本发明涉及一种用于创建图像的显著图的设备和方法。

背景技术

人类信息处理系统本质上是一种受限系统，尤其是对于视觉系统而言。尽管我们的认知资源的限制，该系统必须面对包含在视觉环境中的大量信息。然而，人类似乎似是而非地成功地解决了该问题，这是因为我们能够理解我们的视觉环境。

通常，设定特定视觉属性对于视觉系统是基本的，因此它们不需要感知受注意的资源。这些视觉属性被称为前注意(pre-attentive)属性。

根据该视觉研究原则，人类注意行为参与了前注意和注意处理。如以上所解释的，所谓自下而上处理(bottom-up processing)的前注意处理与无意(involuntary)注意相连接。我们的注意力容易关注于我们看到的显著部分。当考虑所谓自上而下处理(top-downprocessing)的注意处理时，证明我们的注意力与我们所想的特定任务相连接。因为这种注意形式需要努力使我们向特定方向注视，因此该第二种注意形式是更精密且有用的。

图像中显著点的检测能够改善其它步骤，例如编码或图像索引、加水印、视频质量估计。

公知方法或多或少是基于非视觉心理属性。与这种方法相反，此处所提出的方法依赖于模型是完全基于例如早期视觉属性的计算的人类视觉系统(HVS)的事实。

发明内容

在第一方面，本发明提出一种用于创建图像的显著图的方法，包括步骤：

-根据亮度分量、如果所述图像是彩色图像则根据亮度分量并且根据色度分量，来投影所述图像；

-根据人眼的可见度阈值，对所述分量进行感知子波段分解；

-提取与亮度分量相关联的子波段的显著单元；

-在与亮度分量相关联的每一个子波段中针对所述显著单元进行轮廓增强；

-针对与亮度分量相关联的每一个子波段，根据轮廓增强来计算显著图；

-作为针对每一个子波段所获得的显著图的函数来创建显著图。

在第二方面，本发明提出一种用于创建图像的显著图的设备，其特征在于包括装置，所述装置用于：

-根据亮度分量、如果所述图像是彩色图像则根据亮度分量并且根据色度分量，来投影所述图像；

-将所述亮度和色度信号转换到频域；

-根据人眼的可见度阈值，对频域的所述分量进行感知子波段分解；

-提取与亮度分量相关联的子波段的显著单元；

-在与亮度分量相关联的每一个子波段中针对所述显著单元进行轮廓增强；

-针对与亮度分量相关联的每一个子波段，根据轮廓增强来计算显著图；

-作为针对每一个子波段所获得的显著图的函数来创建显著图。

附图说明

在所附附图的帮助下，通过示出的本发明非限制性的实施例的说明，本发明的其它特征和优点变得显而易见，其中：

图1表示根据应用于黑和白图像的本发明方法的优选实施例的概括流程图；

图2表示根据应用于黑和白图像的本发明方法的优选实施例的概括流程图；

图3表示针对无色分量的视觉心理空间频率划分；

图4表示针对色度分量的视觉心理空间频率划分；

图5表示Dally对比度灵敏度函数；

图6a和6b分别表示视觉掩蔽和掩蔽的非线性模型；

图7表示根据优选实施例的正常步骤的流程图；

图8表示抑制/激励步骤；

图9表示用于对θ＝0的辅助相互作用建模的滤波器的曲线图(profile)；

图10表示算子D(z)的演示；

图11表示色度加强步骤；

图12表示由CRF侧面的相邻区域引起的非CRF展示；

图13表示对于特定取向和径向频率的归一化加权函数的曲线图示例。

具体实施方式

图1表示根据应用于黑和白图像的本发明方法的优选实施例的概括流程图。

算法被划分为三个主要部分。

第一个被称为可见度，基于人类视觉系统(HVS)具有有限灵敏度的事实。例如，HVS不能以良好的准确度真实环境中的所有信号，并且不能感知较小的刺激。该第一步骤的目的是通过使用感知分解、对比度灵敏度函数(CSF)和掩蔽函数来考虑这些固有限制。

第二部分致力于感知概念。感知是从外部世界的图像中产生对于观察者有用且不与非相关信息混杂的描绘的处理。为了选择相关信息，根据生物证据，尤其使用中心周围机制(center surround mechanism)。

最后的步骤涉及感知分组领域的一些方面。感知分组是指不需要图像内容的任何知识、从低级原始图像属性中提取显著图像关系且将它们分组以获得有意义的高级结构的人类视觉能力。所提出的方法仅关注于轮廓积分和边缘连接。

对频域的信号执行步骤E3、E4。

在空间域进行步骤E1、E6和E9。

在频域或空域进行步骤E7和E8。如果在频域进行，则在步骤E7之前必须执行傅立叶变换，且在步骤E9之前必须执行傅立叶逆变换。

在步骤E1中，从考虑的图像中提取亮度分量。

在步骤E2中，通过使用例如傅立叶变换的公知变换，将亮度分量转换到频域，以便能够在步骤E3中对图像应用感知子波段分解。

在步骤E3中，对亮度分量应用感知分解。该分解是受皮层转换的启发，并且基于在文献“The computation of visual bandwidths andtheir impact in image decomposition and coding”，InternationalConference and Signal Processing Applications and Technology，Santa-Clara，California，pp.776-770，1993中提出的分解。根据人眼的可见度阈值来进行该分解。

根据不同心理物理学实验，通过在空间径向频率和取向(orientation)中分割频域，获得分解。分量A的感知分解产生了分布在4个轮周(crown)的17个视觉心理子波段，如图3所示。

图3上的阴影区域表示属于第三轮周且具有从15至45度的30度角度选择性的子波段的谱支持(spectral support)。

从I至IV标记空间频率的四个域(轮周)：

I：从每度0至1.5周的空间频率；

II：从每度1.5至5.7周的空间频率；

III：从每度5.7至14.2周的空间频率；

IV：从每度14.2至28.2周的空间频率。

角度选择性基于所考虑的频域。对于较低频率，不存在角度选择性。

这些分解的主要性质以及与皮层转换的主要差别是随径向频率而增加的非并矢(non-dyadic)径向选择性和取向选择性。

可以将产生的每一个子波段看作是与调谐到空间频率范围和特定取向的视觉细胞群相对应的神经系统图像。实际上，这些细胞属于初级视皮层(对于可视区域1，也被称为纹状皮质或V1)。它由总共大约200百万神经元组成，且从横向膝状细胞核(lateral geniculatenucleus)接收输入。大约80％细胞对于视觉刺激的取向和空间频率具有选择性。

在图像空间谱上，应用公知为对比度灵敏度函数(CSF)的HVS公知属性。应用的CSF是一种主要基于空间频率、取向和观看距离的多元函数。

生物证据表明视觉细胞响应于关于特定对比度的刺激。视觉细胞所响应的对比度值被称为可见度阈值(该阈值以上，刺激是可见的)。该阈值随着各种参数而变化，例如刺激的空间频率、刺激的取向、观看距离、…。该变化将产生以多元函数来表示人眼的灵敏度(该灵敏度等于对比度阈值的倒数)的CSF概念。因此，CSF可以估计人眼对于给定刺激的灵敏度。

在步骤E4中，应用由Dally设计的2D各向异性CSF。在文献“thevisible different predictor：an algorithm for the assessment ofimage fidelity”，in proceedings of SPIE Human vision，visualprocessing and digital display III，volume 1666，pages 2-15，1992中描述了这种CSF。

CSF使得能够建立人眼的重要属性的模型，因此SVH细胞对于空间频率非常灵敏。

在图5中，示出了Dally CSF。

一旦应用了Dally函数，在步骤E5中，对信号应用傅立叶逆变换，以便能够应用下一步骤E6。

对于自然画面，可以由另一个刺激的存在来调整灵敏度(增加或减少可见度阈值)。这种人眼的灵敏度的调整被称为视觉掩蔽，如在步骤E6中所做的。

在图6a和6b上示出了掩蔽效果的演示。考虑两个因素：目标和掩蔽体(masker)，其中C_T和C_M分别是存在掩蔽体时目标的对比度阈值和掩蔽体的对比度。此外，C_TO是由CSF所测量的对比度阈值(没有掩蔽效应)。

当C_M变化时，可以定义三个区域：

·在C_M的较小值处，检测阈值保持恒定。目标的可见度未由掩蔽体修改。

·当C_M趋向于C_TO时，掩蔽体通过降低可见度阈值，使目标的检测容易。该现象被称为辅助(facilitative)或吸收时延(pedestal)效应。

·当C_M增加时，目标由掩蔽体掩蔽。其对比度阈值增加。

视觉掩蔽方法基于按照正弦图样的简单信号的检测。

存在多种其它方法来实现基于心理物理学实验的视觉掩蔽建模：例如，一种最佳方法是指量化噪声的检测。

显而易见的是，优选方法是关于自然画面的固有复杂性的极大简化。然而，与复杂性相比，关于具有有趣结果的这种原则建立多种应用(加水印、视频质量估计)。

在子波段分解的上下文中，彻底地研究掩蔽以定义三种掩蔽：通道内掩蔽、通道间掩蔽和分量间掩蔽。

通道内掩蔽出现在具有相同特征(频率和取向)并因此属于同一通道的信号之间。这是最重要的掩蔽效应。

通道间掩蔽出现在属于同一分量的不同通道的信号之间。

分量间掩蔽出现在不同分量的通道间(例如，分量A和一个色度分量)。下文中，这后两个视觉掩蔽组成整体并被称为间掩蔽。

对于无色分量，使用在题为“A visual model for Optimizing theDesign of Image Processing Algorithms”，in IEEE internationalconferences on image processing，pages 16-20，1994的文献中由Dally设计的掩蔽函数，尽管该模型没有考虑吸收时延效应。该模型的有效性在于利用大量实验结果优化了该模型的事实。

可见度阈值的变化由下式给出：

$T_{i,j,A}^{\mathrm{intra}}(m,n)={(1+{\left(k_1{\left(k_2\right|R_{i,j}(m,n)\left|\right)}^s\right)}^b)}^{1/b}$

其中，R_i，j是来源于感知通道分解的视觉心理通道(例如在图2.1上的阴影区域产生通道R_III，2)。值k₁、k₂、s、b由下式给出：

k1＝0.0153

k2＝392.5

下表给出根据所考虑子波段的s和b值。

子波段	S	b
			I	0.75	4
II	1	4
			III	0.85	4
IV	0.85	4

在掩蔽步骤的输出获得信号R_i，j′(x，j)。

R_i，j′(x，y)＝R_i，j(x，y)/T_i，j(x，y)

然后，在步骤E7中，归一化的步骤能够从子波段中提取最重要信息。在图7上详细示出了步骤E7。

在步骤S1中，选择第一子波段R’_i，j(x，y)。对于17个子波段的每一个子波段R’_i，j(x，y)继续执行步骤S2至S4以及S8。

对于第二轮周(II)进行步骤S5至S7。

I表示空间径向频率波段，I属于{I，II，III，IV)。

J表示取向，j属于{1，2，3，4，5，6}。

(x，y)表示空间坐标。

在其它实施例中，可以对所有子波段执行不同的步骤。

步骤S2和S3目的在于对经典感受域(CRF)的行为进行建模。

CRF的概念允许在场景的眼膜图象和全局感知之间建立连接。CRF被定义为在其中适当刺激(具有优选取向和频率)会引起来源于视觉细胞的相关响应的视野的特定区域。因此，通过定义，外部区域(称为周围)中的刺激不能够直接激活细胞。

由对于取向和频率灵敏的Gabor滤波器实现步骤S2和S3中的抑制和激励。

Gabor滤波器可以由下式表示：

$\mathrm{gabor}(x,y,{\mathrm{\σ}}_x,{\mathrm{\σ}}_y,f,\mathrm{\θ})=G_{{\mathrm{\σ}}_x,{\mathrm{\σ}}_y}(x_{\mathrm{\θ}},y_{\mathrm{\θ}})\cos \left(2f{\mathrm{\πx}}_{\mathrm{\θ}}\right)$

F是每度周(cy/°)单位的余弦调制的空间频率。

由原始坐标(x₀，y₀)的平移和θ的旋转获得(x_θ，y_θ)，

$\left[\begin{array}{c}{x}_{\mathrm{\θ}}\\ y_{\mathrm{\θ}}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x-x_0\\ y-y_0\end{array}\right]$

A表示幅度，

σ_x和σ_y分别表示沿x和y周的高斯包络的宽度。

为了获得椭圆形，取不同的方差σ_x＜σ_y。

最后，获得输出：

$R_{i,j}^{\mathrm{Exc}}(x,y)={R^{\′}}_{i,j}(x,y)*\mathrm{excitation}(x,y,{\mathrm{\σ}}_x,{\mathrm{\σ}}_y,f,\mathrm{\θ})$

在步骤S3中，由下式计算抑制：

$\mathrm{inhibition}(x,y,{\mathrm{\σ}}_x,{\mathrm{\σ}}_y,f,\mathrm{\θ})=\left\{\begin{array}{c}0\mathrm{si}-1/\left(4f\right)\≤x_{\mathrm{\θ}}\≤1/\left(4f\right)\\ \left|\mathrm{gabor}(x,y,{\mathrm{\σ}}_x,{\mathrm{\θ}}_y,f,\mathrm{\θ})\right|\sin \mathrm{on}.\end{array}\right.$

且最后：

$R_{i,j}^{\mathrm{Inh}}(x,y)={R^{\′}}_{i,j}(x,y)*\mathrm{inhibition}(x,y,{\mathrm{\σ}}_x,{\mathrm{\σ}}_y,f,\mathrm{\θ})$

在步骤S4中，获得了激励和抑制之间的差。保持正分量，将负分量设置为“0”。这是以下操作。

$R_{i,j}^{\′\′}(x,y)={|R_{i,j}^{\mathrm{Exc}}(x,y)-R_{i,j}^{\mathrm{Inh}}(x,y)|}_{>0}$

在步骤S5中，对于第二域的每一个取向、每一个子波段，计算两个卷积：

$L_{i,j}^0(x,y)=R_{i,j}^{\′\′}(x,y)*B_{i,j}^0(x,y)$

$L_{i,j}^1(x,y)=R_{i,j}^{\′\′}(x,y)*B_{i,j}^1(x,y)$

B_i，j ⁰(x，y)和B_i，j ¹(x，y)是2个半蝶式滤波器。这些滤波器的曲线图可以对图9上给定的θ＝0的辅助相互作用进行建模。通过使用双极性/蝶式滤波器来定义这些滤波器。

它包括方向项D_θ(x，y)和由高斯滤波器使圆C_r模糊(blur)所产生的近似项G_σx，σy(x，y)。

$B_{{\mathrm{\θ}}_{i,j},\mathrm{\α},r,\mathrm{\σ}}(x,y)=D_{{\mathrm{\θ}}_{i,j}}(x,y)\·C_r*G_{{\mathrm{\σ}}_x,{\mathrm{\σ}}_y}(x,y)$

其中 以及＝arctan(y′/x′)

其中，(x′，y′)^T是旋转了θ_i，j的矢量(x，y)^T。参数α定义了双极性滤波器的孔径角2α。其取决于所考虑的子波段的角度选择性γ。取α＝0.4×γ。双极性滤波器的大小大约是视觉细胞的CRF的大小的两倍。

在步骤S6中，计算辅助系数：

$f_{i,j}^{\mathrm{iso}}(x,y)=D\left(\frac{L_{i,j}^1(x,y)+L_{i,j}^0(x,y)}{\max (\mathrm{\β},|L_{i,j}^1(x,y)-L_{i,j}^0(x,y)\left|\right)}\right)$

其中

β是常数，

$D\left(z\right)=\left\{\begin{array}{c}0,z\≤s_1,\\ {\mathrm{\α}}_1,z\≤s_2,\\ \·\·\·\\ {\mathrm{\α}}_{N-1},z{\≤s}_{N-1}\end{array}\right.$ 其中α₁≤1，i∈[0...N-1]

在图9上给出了算子D(z)的演示。

为了使辅助系数的应用简易，算法D(z)利用图9所示的分片(piece)确保辅助系数为常数。

在步骤S7中，将辅助系数应用于在步骤S4中获得的归一化结果。

$R_{i,j}^{\′\′\′}(x,y)=R_{i,j}^{\′\′}(x,y)\×(1+f_{i,j}^{\mathrm{iso}}(x,y))$

在图7的步骤S7之后，回到图1的步骤E8，根据下式组合对于域II所获得的四个显著图，以获得整个显著图：

$\mathrm{fixation}(x,y)=\mathrm{\α}\×R_{\mathrm{II},0}^{\′\′\′}(x,y)+\mathrm{\β}\×R_{\mathrm{II},1}^{\′\′\′}(x,y)+\mathrm{\χ}\×R_{\mathrm{II},2}^{\′\′\′}(x,y)+\mathrm{\δ}\×R_{\mathrm{II},3}^{\′\′\′}(x,y)$

α、β、χ、δ表示基于应用(加水印、编码…)的加权系数。

在其它实施例中，可以通过使用整个17个子波段而不仅仅是域II的子波段的计算，获得显著图。

图2表示根据应用于彩色图的本发明方法的优选实施例的概括流程图。

在空域进行步骤T1、T4、T’4、T”4、T5和T8。

在频域进行步骤T2、T’2、T”2、T3、T’3、T”3。

在步骤T1和步骤T2、T’2、T”2之间对三个分量应用傅立叶变换。

分别在T3、T’3、T”3以及T4、T’4和T”4之间应用傅立叶逆变换。

可以在频域或空域进行步骤T6和T7。如果在频域进行，在步骤T5和T6中间对信号进行傅立叶变换，并在步骤T7和T8之间进行傅立叶逆变换。

步骤T1是将RGB亮度变换到由基本方向(cardinal direction)A、Cr1和Cr2组成的Krauskopf对抗彩色(opponent-color)空间。

到对抗色彩空间的变换是一种使色彩信息解相关的方式。实际上，大脑使用3种不同路径来解码信息：首先传递亮度信号(A)、其次传递红色和绿色分量(Cr1)且第三传递蓝色和黄色分量(Cr2)。

这些基本方向与来源于三种锥体(L，M，S)的信号精密地一致。

三个分量RGB的每一个首先经过γ≈2.4的形式x^γ的幂律非线性(称为伽马定律)。为了考虑显示系统的转移函数，该步骤是必须的。然后，按照下式计算形成变换到HVS色彩空间的基础CIE(“commissioninternationale de l’éclairage”的法语首字母简略词)XYZ三色刺激值：

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{ccc}0.412& 0.358& 0.18\\ 0.213& 0.715& 0.072\\ 0.019& 0.119& 0.95\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$

(L，M，S)锥体的响应计算如下：

$\left(\begin{array}{c}L\\ M\\ S\end{array}\right)=\left(\begin{array}{ccc}0.240& 0.854& -0.0448\\ -0.389& 1.160& 0.085\\ -0.001& 0.002& 0.573\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)$

从LMS空间，必须获得对抗色彩空间。存在多种对抗色彩空间，其不同在于组合不同锥体响应的方式不同。从实验中，证实了由Krauskopf设计的色彩空间且它由下面的变换给出：

$\left(\begin{array}{c}A\\ \mathrm{Cr}1\\ \mathrm{Cr}2\end{array}\right)=\left(\begin{array}{ccc}1& 1& 0\\ 1& -1& 0\\ -0.5& -0.5& 1\end{array}\right)\left(\begin{array}{c}L\\ M\\ S\end{array}\right)$

然后，在步骤T2中，对亮度分量应用感知分解。在步骤T2之前且在步骤T1之后，通过使用例如傅立叶变换的公知变换，将亮度分量变换到频域，以便能够在步骤T2中对图像应用感知子波段分解。

如以上所述，步骤T2的感知子波段分解与图1的步骤E3相同，因此在此处不进行描述。

关于图4上所示的步骤T’2和T”2的色度分量Cr2和Cr1的分解，分解对于分布在2个轮周上的这些分量的每一个产生5个视觉心理子波段。在步骤T’2和T”2之后且在步骤T1之后，通过使用例如傅立叶变换的公知变换，将色度分量变换到频域，以便能够在步骤T’2和T”2中对图像应用感知子波段分解。

从I至II标记空间频率的两个域：

I：从每度0至1.5周的空间频率；

II：从每度1.5至5.7周的空间频率。

在步骤T3、T’3和T”3中，应用对比度灵敏度函数(CSF)。

在步骤T3中，对亮度分量执行与图1的步骤E4相同的对比度灵敏度，并因此在此处不进行描述。

在步骤T’3和T”3中，对两个色度分量Cr1和Cr2应用相同的CSF。对两个色度分量，应用由Le Callet设计的二维各向异性CSF。在Mr Le Callet，university of Nantes，2001的《critèresobjectifs avec références de qualitévisuelle des imagescouleurs》中描述了该CSF。

该CSF使用两个低通滤波器，其中对于Cr1和Cr2分量截止频率分别为大约每度5.5周和每度4.1周。

为了允许在来源于不同视觉形态(无色和色度分量)的早期视觉属性之间进行直接比较，加权与可见度相关的子波段。可见度阈值被定义为在刺激刚好变为可见的特定点处的刺激的对比度。

然后，对不同分量应用傅立叶逆变换(图2上未示出)，以便能够在空间域中应用掩蔽。

然后，在步骤T’4和T”4期间对色度分量Cr1和Cr2的不同子波段应用内掩蔽，且在步骤T4中对无色分量应用内掩蔽。在图1的步骤E6的说明中已经解释了后一步骤。因此，此处不再次进行说明。

采用内通道掩蔽，作为CSF函数的输出的加权。掩蔽在感知中是一种非常重要的现象，因为它描述了刺激之间的相互作用。实际上，可以由另一个刺激的存在影响刺激的可见度阈值。

掩蔽在位于同一感知通道或位于同一子波段的刺激之间最强。对无色分量应用Dally设计的内掩蔽函数，如图1的步骤E6所述，且对色彩分量应用在P.Le Callet和D.Barba，“Frequency and spatialpooling of visual differences for still image qualityassessment”，in Proc.SPIE Human Vision and Electronic ImagingConference，San Jose，CA，Vol.3959，January 2000的文献中所述的内掩蔽函数。

这些掩蔽函数由如在文献Legge和Foley，“Contrast Maskingin Human Vision”，Journal of the Optical Society of America，Vol.70，，N°12，pp.1458-1471，December 1980中所述的非线性换能器组成。

视觉掩蔽在位于同一感知通道中的刺激之间最强(内通道掩蔽)。然而，如各种研究所表明，存在提供掩蔽或吸收时延效应的所谓间分量掩蔽的多种相互作用。从心理物理学实验中，选择涉及色度分量的显著的间分量相互作用。因此，可以使无色分量的灵敏度增加或减少Cr1分量。Cr2对无色分量的影响被认为不明显。最后，Cr1还可以调整Cr2分量的灵敏度(反之亦然)。

然后，在步骤T5中，进行色度加强。

色彩是注意力的最强吸引物之一，并且本发明希望通过提出下面的属性来利用该吸引物有效性：存在表现出鲜明色彩并完全在具有完全不同色彩的区域周围的区域，暗示了对该区域的边界的特定吸引。

为了避免来源于无色和色度分量的聚集测量的困难问题，色彩辅助是通过使用在色度分量的低频上计算的辅助系数来增强无色结构的显著性。

在优选实施例中，仅加强无色通道集的子集。该子集包括具有角度选择性等于π/4和空间径向频率(表示为cyc/deg)属于[1.5，5.7]的4个通道。注意，这些通道R_i，j中，i表示空间径向频率，且j与取向相关。在示例中，j等于{0，π/4，π/2，3π/4}。为了计算辅助系数，针对Cr1和Cr2的低频的每一个象素确定与相邻区域的内容以及加强的无色通道的当前取向相关联的对比度值，如图11所示。在图11上，通过计算集A的平均值和集B的平均值之间的绝对差来获得对比度值。集A和B属于Cr1和Cr2的低频，且朝向所考虑的无色通道的优选取向。

对于无色(亮度)通道R_i，j(x，y)，通过下式实现无色加强。

$R_{i,j}^{\left(1\right)}(x,y)=R_{i,j}(x,y)\×(1+{|A-B|}_{\mathrm{Cr}1}+{|A-B|}_{\mathrm{Cr}2}){|}_{i=\mathrm{II}}$

其中，

R_i，j ⁽¹⁾(x，y)表示加强的无色子集，

R_i，j(x，y)表示无色子波段，

|A-B|_k表示关于色度分量k，沿子波段R_i，j(x，y)的优选取向的当前点所计算的对比度值，如图7所示。在实施例中，集A和B属于取向等于^π/₄的色度分量k的第一轮周(低频子波段)的子波段。

在其它实施例中，考虑所有的子波段。

在步骤T6中，继续中心/周围抑制相互作用。

该操作首先是抑制/激励步骤。

使用二维高斯函数差(DoG)来建模细胞的非CRF抑制行为。由下式给出DoG_{σxex，σyex，σxinh，σyinh}(x，y)。

${\mathrm{DoG}}_{{\mathrm{\σ}}_x^{\mathrm{ex}},{\mathrm{\σ}}_y^{\mathrm{ex}},{\mathrm{\σ}}_x^{\mathrm{inh}},{\mathrm{\σ}}_y^{\mathrm{inh}}}(x,y)=G_{{\mathrm{\σ}}_x^{\mathrm{inh}},{\mathrm{\σ}}_y^{\mathrm{inh}}}(x,y)-G_{{\mathrm{\σ}}_x^{\mathrm{ex}},{\mathrm{\σ}}_y^{\mathrm{ex}}}(x,y)$

其中， $G_{{\mathrm{\σ}}_x,{\mathrm{\σ}}_y}(x,y)=\frac{1}{2{\mathrm{\π}\left({\mathrm{\σ}}_x{\mathrm{\σ}}_y\right)}^2}\exp (-\frac{x^2}{2{\mathrm{\σ}}_x^2}-\frac{y^2}{2{\mathrm{\σ}}_y^2}),$ 二维高斯函数。

参数(σ_x ^ex，σ_y ^ex)和(σ_x ^inh，σ_y ^inh)分别与沿中心高斯(CRF中心)的x和y的高斯包络和抑制高斯(周围)的空间延伸相对应。根据第二轮周的径向频率(以周/度表示径向频率f∈[1.5，5.7])实验地确定了这些参数。最后，可以通过由下式给出的归一化加权函数w_{σxex，σyex，σxinh，σyinh}(x，y)来建模非经典周围抑制。

$w_{{\mathrm{\σ}}_x^{\mathrm{ex}},{\mathrm{\σ}}_y^{\mathrm{ex}},{\mathrm{\σ}}_x^{\mathrm{inh}},{\mathrm{\σ}}_y^{\mathrm{inh}}}(x,y)=\frac{1}{{\left|\right|H\left({\mathrm{DoG}}_{{\mathrm{\σ}}_x^{\mathrm{ex}},{\mathrm{\σ}}_y^{\mathrm{ex}},{\mathrm{\σ}}_x^{\mathrm{inh}},{\mathrm{\σ}}_y^{\mathrm{inh}}}\right)\left|\right|}_1}H\left({\mathrm{DoG}}_{{\mathrm{\σ}}_x^{\mathrm{ex}},{\mathrm{\σ}}_y^{\mathrm{ex}},{\mathrm{\σ}}_x^{\mathrm{inh}},{\mathrm{\σ}}_y^{\mathrm{inh}}}(x^{\′},y^{\′})\right)$

其中， $H\left(z\right)=\left\{\begin{array}{cc}0,& z\≤0\\ z,& z\≥0\end{array}\right.$

通过使原始坐标系统平移(x₀，y₀)且旋转以弧度表示的θ_i，j，获得(x′，y′)。

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\cos {\mathrm{\θ}}_{i,j}& \sin {\mathrm{\θ}}_{i,j}\\ -\sin {\mathrm{\θ}}_{i,j}& \cos {\mathrm{\θ}}_{i,j}\end{array}\right]\left[\begin{array}{c}x-x_0\\ y-y_0\end{array}\right]$

‖·‖₁表示L₁范数，即绝对值。

图12示出了非CRF抑制的结构。

图13示出了归一化加权函数w_{σxex，σyex，σxinh，σyinh}(x，y)的曲线图示例。

由子波段R_i，j ⁽¹⁾(x，y)与加权函数w_{σxex，σyex，σxinh，σyinh}(x，y)的卷积来计算皮层细胞对特定子波段R_i，j ⁽¹⁾(x，y)的响应R_i，j ⁽²⁾(x，y)：

$R_{i,j}^{\left(2\right)}(x,y)=H(R_{i,j}^{\left(1\right)}(x,y)-R_{i,j}^{\left(1\right)}(x,y)*w_{{\mathrm{\σ}}_x^{\mathrm{ex}},{\mathrm{\σ}}_y^{\mathrm{ex}},{\mathrm{\σ}}_x^{\mathrm{inh}},{\mathrm{\σ}}_y^{\mathrm{inh}}}(x,y)){|}_{i=\mathrm{II}}$

其中，H(z)按照上面所述来定义。

在步骤T7中，继续辅助相互作用。

该辅助相互作用通常被称为轮廓增强或轮廓积分。

辅助相互作用出现在CRF之外，沿优选取向轴。当周围刺激具有相同取向且共同对准时，这种相互作用最大。换句话说，如多个心理物理观察所表明，当CRF中的刺激和周围中的刺激连接以形成轮廓时，细胞的活动被增强。

使用两个半蝶式滤波器B_i，j ⁰和B_i，j ¹来模拟早期视觉预处理中的轮廓积分。在图9上示出了这些滤波器的曲线图，并且通过使用双极性/蝶式滤波器来定义这些滤波器。它由方向项D_θ(x，y)以及由高斯滤波器G_σx，σy(x，y)使圆C_r模糊所产生的近似项组成。

$B_{{\mathrm{\θ}}_{i,j},\mathrm{\α},r,\mathrm{\σ}}(x,y)=D_{{\mathrm{\θ}}_{i,j}}(x,y)\·C_r*G_{{\mathrm{\σ}}_x,{\mathrm{\σ}}_y}(x,y)$

其中

以及＝arctan(y′/x′)

其中，(x′，y′)^T是旋转了θ_i，j的矢量(x，y)^T。参数α定义了双极性滤波器的孔径角2α。其取决于所考虑的子波段的角度选择性γ。取α＝0.4×γ。双极性滤波器的大小大约是视觉细胞的CRF的大小的两倍。

其后，使用适当的窗从蝶式滤波器中推导出半蝶式滤波器B_i，j ⁰和B_i，j ¹。

对于每一个取向、子波段和位置，计算辅助系数：

$f_{i,j}^{\mathrm{iso}}(x,y)=D\left(\frac{L_{i,j}^1(x,y)+L_{i,j}^0(x,y)}{\max (\mathrm{\β},|L_{i,j}^1(x,y)-L_{i,j}^0(x,y)\left|\right)}\right),$

其中

β是常数，

$L_{i,j}^0(x,y)=R_{i,j}^{\left(2\right)}(x,y)*B_{i,j}^0(x,y),$

$L_{i,j}^1(x,y)=R_{i,j}^{\left(2\right)}(x,y)*B_{i,j}^1(x,y),$

$D\left(z\right)=\left\{\begin{array}{c}0,z\≤s_1,\\ {\mathrm{\α}}_1,z\≤s_2,\\ \·\·\·\\ {\mathrm{\α}}_{N-1},z{\≤s}_{N-1}\end{array}\right.$ 其中

在图9上给出了算子D(z)的演示。

通过利用辅助系数f_i，j ^iso(x，y)的局部极大值与基于在属于空间频率的同一范围的所有子波段上计算的辅助系数的全局极大值的比率的因子对子波段R_i，j ⁽²⁾进行加权，最终获得从辅助相互作用中产生的子波段R_i，j ⁽³⁾：

$R_{i,j}^{\left(3\right)}(x,y)=R_{i,j}^{\left(2\right)}(x,y)\×(1+{\mathrm{\η}}^{\mathrm{iso}}\×\frac{\underset{(x,y)}{\max }\left(f_{i,j}^{\mathrm{iso}}(x,y)\right)}{\underset{j}{\max }\left(\underset{(x,y)}{\max }\left(f_{i,j}^{\mathrm{iso}}(x,y)\right)\right)}{f}_{i,j}^{\mathrm{iso}}(x,y)){|}_{i=\mathrm{II}}$

从标准蝶形中，该辅助因子可以增进孤立直线的显著。η^iso可以控制该辅助相互作用的有效性。

在步骤E8中，通过对在步骤E7中获得的所有结果子波段进行求和，获得显著图。

$S(x,y)=\underset{i=\mathrm{II},j}{\mathrm{\Σ}}{R}_{i,j}^{\left(3\right)}(x,y)$

在本发明的其它实施例中，可以使用所有子波段而不仅是第二轮周的子波段。

尽管调整到水平和垂直取向的皮层细胞几乎与调整到其它取向的细胞一样多，并不引入任何加权。HVS的这种属性由2D各向异性CSF的应用隐式地模拟。

Claims (9)

1.一种创建图像的显著图的方法，其特征在于包括步骤：

-根据亮度(A)分量、如果所述图像是彩色图像则根据亮度(A)分量并且根据色度分量(Cr1、Cr2)，来投影(E1)所述图像；

-根据人眼的可见度阈值，对所述分量(A、Cr1、Cr2)进行感知子波段分解(E3、T2、T’2、T”2)；

-提取(E7)与亮度(A)分量相关联的子波段的显著单元；

-在与亮度(A)分量相关联的每一个子波段中针对所述显著单元进行轮廓增强(E8、T7)；

-针对与亮度(A)分量相关联的每一个子波段，根据轮廓增强来计算(T7)显著图；

-作为针对每一个子波段所获得的显著图的函数来创建(T8)显著图。

2.根据权利要求1所述的方法，其特征在于，在感知子波段分解之后，包括：

-针对亮度(A)分量的无色对比度灵敏度函数(CSF)的步骤，以及如果所述图像是彩色图像，则

-针对色度分量(Cr1、Cr2)的色度灵敏度函数的步骤。

3.根据权利要求2所述的方法，其特征在于，在对比度灵敏度函数的步骤之后，包括针对亮度(A)分量和色度(Cr1、Cr2)分量的每一个子波段所进行的视觉掩蔽步骤(E6、T4、T’4、T”4)。

4.根据权利要求3所述的方法，其特征在于，当所述图像是彩色图像时，包括步骤(T5)：加强亮度(A)子波段的色度。

5.根据前述权利要求之一所述的方法，其特征在于，通过在空间径向频率和取向中划分频域，实现感知子波段分解。

6.根据权利要求5所述的方法，其特征在于，亮度(A)分量的感知分解产生分布在四个轮周上的17个视觉心理子波段。

7.根据权利要求5或6所述的方法，其特征在于，色度分量(Cr1、Cr2)的感知分解针对每一个色度分量(Cr1、Cr2)产生分布在两个轮周上的5个视觉心理子波段。

8.根据权利要求4至7之一所述的方法，其特征在于，在第二轮周的子波段上，基于色度分量(Cr1、Cr2)的第一轮周的子波段，进行亮度(A)分量的色度加强。

9.一种用于创建图像的显著图的设备，其特征在于包括装置，所述装置用于：

-根据亮度(A)分量、如果所述图像是彩色图像则根据亮度(A)分量并且根据色度分量(Cr1、Cr2)，来投影所述图像；

-将所述亮度和色度信号转换到频域；

-根据人眼的可见度阈值，对频域的所述分量进行感知子波段分解；

-提取与亮度分量相关联的子波段的显著单元；

-在与亮度分量相关联的每一个子波段中针对所述显著单元进行轮廓增强；

-针对与亮度分量相关联的每一个子波段，根据轮廓增强来计算显著图；

-作为针对每一个子波段所获得的显著图的函数来创建显著图。

Images