CN105069475B

CN105069475B - 基于视觉注意机制模型的图像处理方法

Info

Publication number: CN105069475B
Application number: CN201510476896.5A
Authority: CN
Inventors: 许文波; 范肖肖
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2015-08-06
Filing date: 2015-08-06
Publication date: 2018-12-18
Anticipated expiration: 2035-08-06
Also published as: CN105069475A

Abstract

本发明涉及图像处理领域，提供一种基于视觉注意机制模型的图像处理方法，以解决目前的自顶向下的视觉注意模型的难度和复杂性较高的问题，该方法包括：通过自底向上的视觉注意模型得到原始图像的总显著图；采用自顶向下的视觉注意模型得到感兴趣区域。本发明提出的技术方案将自底向上的视觉注意模型的显著图应用于自顶向下的视觉注意模型，降低了自顶向下的视觉注意模型的复杂度，提高了整个方法的检测精度，最终得到的显著图更接近人眼视觉注意。

Description

基于视觉注意机制模型的图像处理方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于视觉注意机制模型的图像处理方法。

背景技术

目前，视觉注意机制主要从两种模型进行研究，一种是自底向上的视觉注意模型，另一种是自顶向下的视觉注意模型。

自底向上的视觉注意模型主要由图像自身驱动，现在的算法主要从四个方面出发。层次性方法、谱分析方法、对比度方法、基于信息熵的方法。层次性方法主要代表模型是Itti模型，GBVS模型；谱分析方法主要代表模型是SR模型，FT模型，PQRT模型；对比度方法主要代表模型有CA模型；基于信息熵的方法主要代表模型是AIM模型。Itti模型能够检测到的显著图分辨率较低，和图像分辨率有着很大关系，不容易检测到图像中主要目标。CA模型有时会过分强调边缘，无法达到全局对比度的效果。目前的自底向上的模型没有加入目标的先验知识，在目标检测时并没有排除非目标的干扰。

自顶向下的模型加入了目标的先验知识，是高级认知到低级认知的过程，现有的研究方法中，有的方法通过引入低秩结构建立自顶向下的模型，有的方法基于样本训练分类器建立自顶向下的模型，但是这些方法都是通过建立独立的模型进行图形处理，方法的难度和复杂性较高。

发明内容

【要解决的技术问题】

本发明的目的是提供一种基于视觉注意机制模型的图像处理方法，以解决目前的自顶向下的视觉注意模型的难度和复杂性较高的问题。

【技术方案】

本发明是通过以下技术方案实现的。

本发明涉及一种基于视觉注意机制模型的图像处理方法，该方法包括以下步骤：

A、分别提取原始图像的颜色特征、纹理特征和方向特征，将颜色特征的显著图、纹理特征的显著图和方向特征的显著图进行合成得到原始图像的底层显著图；

B、选择样本数据库，在样本数据库中随机选择训练样本及训练样本的Ground-truth图像，确定训练特征，所述训练样本包括正样本和负样本；

C、根据训练样本和训练特征得到训练特征矩阵，根据正样本的索引、负样本的索引得到标签矩阵，采用SVM训练得到SVM分类器；

D、将原始图像通过SVM分类器进行分类得到感兴趣区域。

作为一种优选的实施方式，所述训练特征由1个纹理特征、4个方向特征、1个原始图像的底层显著图、11个颜色特征、13个图像金字塔特征组成。

作为另一种优选的实施方式，所述步骤A中颜色特征的显著图的计算方法为：

对原始图像进行DCT变换：

对进行DCT反变换：

分别对HSV颜色空间的三个波段进行重建得到原始图像的颜色特征的显著图：

其中，x为原始图像，g为高斯核函数，sign为符号函数，j为HSV颜色空间的波段。

作为另一种优选的实施方式，所述纹理特征和方向特征的特征图的计算方法为：

对原始图像的纹理特征和方向特征进行DOG滤波得到方向特征和纹理特征的滤波响应：其中Г为Gamma函数，θ为形状参数，σ为尺度参数，f为各个特征对应的DOG滤波响应；

分别根据下式对纹理特征和方向特征进行取对数操作得到：

logp(F_i＝f_i)＝logθ_i-log2-logσ_i

通过下式计算得到纹理特征和方向特征的显著图：

其中i为纹理特征和方向特征的显著图的维数，const为不依赖图像特征的常数。

作为另一种优选的实施方式，所述步骤A中通过将颜色特征的显著图、方向特征的显著图、纹理特征的显著图线性相加得到总的显著图。

作为另一种优选的实施方式，所述图像金字塔为高斯金字塔。

作为另一种优选的实施方式，所述样本数据库为Judd数据库。

【有益效果】

本发明提出的技术方案具有以下有益效果：

(1)本发明分别建立了自顶向下的视觉注意模型和自底向上的视觉注意模型，自底向上的模型主要从图像本身特征出发，自顶向下的模型加入了显著性目标的先验知识，本发明通过将两个模型进行结合，将自底向上的视觉注意模型的显著图应用于自顶向下的视觉注意模型，降低了自顶向下的视觉注意模型的复杂度，提高了整个方法的检测精度，最终得到的显著图更接近人眼视觉注意。

(2)本发明主要针对视觉注意模型，能够快速发现目标的位置并增强目标的位置，可以应用于目标检测、图像分割、目标检测、目标识别预处理阶段，减少了全图处理的复杂度和时间。

附图说明

图1为实施例一中的底层显著图与Itti模型、CA模型、rgb-signature模型、GBVS模型、AIM模型的显著图的PR曲线。

图2为实施例一中不同特征组合下的PR曲线。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图，对本发明的具体实施方式进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例，也不是对本发明的限制。基于本发明的实施例，本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

实施例一提供一种基于视觉注意机制模型的图像处理方法。该方法包括以下步骤：

(一)通过自底向上的视觉注意模型得到原始图像的底层显著图

自底向上的视觉注意模型从待处理的原始图像的底层特征出发，首先提取图像的颜色特征、纹理特征、方向特征，采用DCT获得颜色特征的显著图，采用DOG滤波和song算法获得方向特征和纹理特征的显著图，最后将各个特征的显著图进行线性相加得到总的显著图，得到的总的显著图记为原始图像的底层显著图。

(1)颜色特征的显著图

待处理的原始图像可以表示为：

x＝f+b，

f代表前景图像，b代表背景。通常只对图像前景感兴趣，对于一个可以分解为上述式子的图像，可以通过对图像进行DCT变换然后反变换到空间上，计算重建后的图像的显著性。假设图像的前景和背景相关，通过平滑重建图像生成显著图。

图像显著性定义为：

saliency(x)＝sign(DCT(x))

图像显著图表示为：

基于上述理论，颜色特征的显著图的计算方法为：

对原始图像进行DCT变换：

对进行DCT反变换：

(2)方向特征和纹理特征的显著图

纹理特征和方向特征的特征图的计算方法为：

对原始图像的纹理特征和方向特征进行DOG滤波得到方向特征和纹理特征的滤波响应：其中Г为Gamma函数，θ为形状参数，σ为尺度参数，f为纹理特征或方向特征对应的DOG滤波响应；

分别根据下式对纹理特征和方向特征进行取对数操作得到：

通过下式计算得到纹理特征和方向特征的显著图：

其中i为纹理特征和方向特征的显著图的维数(i＝1,2,3…,20)，const为不依赖图像特征的常数。需要说明，由于纹理特征是 1维矩阵，方向特征是四个方向的4维矩阵，总共是5维矩阵，在4个尺度下进行DOG滤波得到 20维矩阵，每一维矩阵代表一层特征。

(二)采用自顶向下的视觉注意模型得到感兴趣区域

自顶向下的视觉注意模型主要从目标的先验知识出发，将样本库中显著性区域和非显著区域的特征作为训练对象。

为了构建本发明实施例的自顶向下的视觉注意模型，在Judd数据库随机选择100幅图像作为训练样本和100幅作为测试样本。从每个训练图像中选择10个正样本和10个负样本，10个正样本选择的条件是从训练样本中Ground-truth图像中显著度值在前10％的像素点，负样本选择条件是训练样本对应图像Ground-truth图像中显著值在后30％的像素点。随机选择200幅图像并得到该200幅图像的索引，然后对200幅图像提取30种训练特征组成训练特征矩阵，具体地，训练特征由1个纹理特征、4个方向特征、1个原始图像的底层显著图(由步骤(一)得到)、11个颜色特征、13个图像金字塔特征组成。从每个图像的Ground-truth图像中选取显著度值在前10％的像素点的10个索引值，显著度值在整个图像中占后30％的像素点的10个索引值，根据正样本的索引值、负样本的索引值得到标签矩阵。需要说明，也可以采用不同的训练特征组合方式构成训练特征矩阵，具体的组合方式可以参见表1，表2为各个特征的命名，表1共列出了13种不同的组合方式。

表1图像特征组合

序号	1	2	3	4	5
						组合	Cs	o	t	C	Su
序号	6	7	8	9	10
						组合	Cs+o	Cs+t	Cs+c	Cs+su	o+t
序号	11	12	13
						组合	Cs+o+t	o+t+su	Cs+o+c+t+su

表2各个特征的命名

然后采用SVM训练得到SVM分类器，最后将原始图像通过SVM分类器进行分类得到感兴趣区域，即为最终的显著图。

仿真试验

仿真试验的评价指标包括PR曲线和ROC曲线。

PR(precision-recall)曲线是评价显著性重要标准，横坐标为召回率(Recall)，纵坐标为精度(precision)。Precision代表实际为正类预测也为正类。精度和召回率表达式如下：

True positive(TP)表示实际为正类预测为正类，False positive(FP)表示实际为负类预测为正类，False negative(FN)表示实际为正类预测为负类，True Negative(TN)表示实际为负类预测为正类。

ROC曲线是评价显著图性能经典标准，经典的模型都借助此标准对算法的性能进行评价，它能够表示图像的敏感度，ROC曲线横坐标表示实际为负类被预测为正类用Falsepositive rata(FPR)表示，纵坐标表示实际为正类被预测为正类用true positive rata(TPR)表示。

ROC曲线下的面积为AUC。

(1)实施例一与现有技术的对比

将实施例一得到的底层显著图与Itti模型的显著图、CA模型的显著图、rgb-signature模型的显著图、GBVS模型的显著图、AIM模型的显著图进行对比。

图1为六种模型的PR曲线，图中的processed代表实施例一模型得到的底层显著图，六种模型的AUC的取值如表3所示。

表3六种模型的AUC的取值

图1中的PR曲线，右极限是取值阈值为0，召回率最大。所有算法的精度趋近于0.05，认为5％的像素为显著性区域。左极限是召回率最低时，每种算法的精度。从图1可以看到实施例一的模型的精度最高，算法精度从高到低依次为实施例一中模型、AIM模型、rgb-signature模型、CA模型、Itti模型、GBVS模型。实施例一中模型的底层显著图的ROC曲线相对于其他模型的高，Itti模型和AIM模型的ROC曲线最低。ROC曲线越高，曲线下的面积越大，表示该模型下的结果更接近Ground-truth图像。

从各个模型的AUC的值可以看出，从大到小依次为实施例一、Rgb-signature，CA、Itti、AIM、GBVS，即采用实施例一方法得到的底层显著图更接近Ground-truth图像。

(2)改变实施例一中的训练特征，选择不同的训练特征进行仿真

改变实施例一中的训练特征，选择不同的训练特征进行仿真，得到最终的显著图，图1为不同特征组合下的PR曲线，不同特征组合下的AUC的值如表4所示，表4中的序号与表1中的序号对应。

表4各种特征组合下的AUC值

序号	1	2	3	4	5
						AUC	0.9627	0.9205	0.8656	0.7633	0.8705
序号	6	7	8	9	10
						AUC	0.9646	0.9288	0.8593	0.9264	0.9340
序号	11	12	13
						AUC	0.9119	0.8159	0.9041

从图2中的PR曲线看出，左极限精度从大到小排名前五的特征组合分别为Cs+o、Cs、Cs+t、Cs+o+t、Cs+o+c+t+su，这五种特征的组合作为训练特征时相对于其他特征组合检测到目标位置的正确率较大，即原始图像的底层显著图与方向特征作为组合特征时的左极限精度最高。需要说明，图2中的Cso、Cst、Csc、Cssu、ot、Csot、otsu、Csoctsu分别表示特征组合Cs+o、Cs+t、Cs+c、Cs+su、o+t、Cs+o+t、o+t+su、Cs+o+c+t+su。

从表4看出，AUC值排名前三的分别为Cs+o、Cs、o+t，即Cs+o的组合更接近Ground-truth图像。

从以上实施例及仿真试验可以看出，本发明实施例分别建立了自顶向下的视觉注意模型和自底向上的视觉注意模型，自底向上的模型主要从图像本身特征出发，自顶向下的模型加入了显著性目标的先验知识，本发明通过将两个模型进行结合，将自底向上的视觉注意模型的显著图应用于自顶向下的视觉注意模型，降低了自顶向下的视觉注意模型的复杂度，提高了整个方法的检测精度，最终得到的显著图更接近人眼视觉注意。

另外，本发明实施例主要针对视觉注意模型，能够快速发现目标的位置并增强目标的位置，可以应用于目标检测、图像分割、目标检测、目标识别预处理阶段，减少了全图处理的复杂度和时间。

Claims

1.一种基于视觉注意机制模型的图像处理方法，其特征在于包括步骤：

D、将原始图像通过SVM分类器进行分类得到感兴趣区域；

所述训练特征由1个纹理特征、4个方向特征、1个原始图像的底层显著图、11个颜色特征、13个图像金字塔特征组成；

所述步骤A中颜色特征的显著图的计算方法为：

对原始图像进行DCT变换：

对进行DCT反变换：

其中，x为原始图像，g为高斯核函数，sign为符号函数，j为HSV颜色空间的波段；

所述纹理特征和方向特征的特征图的计算方法为：

分别根据下式对纹理特征和方向特征进行取对数操作得到：

通过下式计算得到纹理特征和方向特征的显著图：

2.根据权利要求1所述的基于视觉注意机制模型的图像处理方法，其特征在于所述步骤A中通过将颜色特征的显著图、方向特征的显著图、纹理特征的显著图线性相加得到总的显著图。

3.根据权利要求1所述的基于视觉注意机制模型的图像处理方法，其特征在于所述样本数据库为Judd数据库。