CN102568016B - 基于视觉注意的压缩感知图像目标重构方法 - Google Patents

Abstract

本发明公开了一种基于视觉注意的压缩感知图像目标重构方法，它涉及自然图像处理技术领域，主要解决现有方法不能有效结合压缩感知的理论来提取图像中的感兴趣目标并对目标进行重构的问题。其实现步骤为：首先用视觉注意的方法提取出图像中可能存在目标的区域，得到目标显著图；再根据得到的目标显著图对观测矩阵进行加权，得到针对目标的加权观测矩阵；最后用加权观测矩阵对待观测图像进行观测得到观测向量，对观测向量进行重构得到重构图像。该发明能够准确得到图像中目标的位置，并且重构图像中只含有目标，可用于一个大场景的目标检测。

Description

基于视觉注意的压缩感知图像目标重构方法

技术领域

本发明属于图像处理技术领域，涉及自然图像的目标重构，具体地说是一种基于视觉注意的压缩感知图像目标重构方法，该方法可用于自然图像的目标检测。

背景技术

过去的几十年间，传感系统获取数据的能力不断地得到增强。需要处理的数据量也不断增多，而传统的奈奎斯特采样定理要求信号的采样率不得低于信号带宽的2倍，这无疑给信号处理的能力提出了更高的要求，也给相应的硬件设备带来了极大的挑战。近年来，由Candes等人和Donoho提出的压缩感知理论CS为该问题的解决提供了契机。压缩感知理论与传统奈奎斯特采样定理不同，它指出，只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息。

当获取一幅图像时，往往不是对图像中所有的内容都感兴趣，对图像所做的处理也是针对图像中的某一个特定的目标。因此，如果能够在获取图像时用压缩感知的知识把图像中的背景部分去掉，只保留感兴趣的目标部分，就可以减少很多工作量。

视觉注意是人类信息加工中一项重要的心理调节机制，是人类从外界输入的大量信息中选择和保持有用信息，拒绝无用信息的意识活动，是人类视感知过程中高效性和可靠性的保障。Hsuan-Ying Chen等在文章“A new visual attention modelusing texture and object features”中提出了一种采用图像的纹理特征和目标特征的新的视觉注意模型，该模型能够简单有效地描绘出图像中的感兴趣目标区域。

目前用压缩感知来做目标重构的方法主要有：

Abhijit Mahanobis等在文章“Object specific image reconstruction using acompressive sensing architecture for application in Surveillance Systems”中提出了一种加权L-2范数的方法。作者认为把信号投影到稀疏域中得到的稀疏系数，其承载的信息量是不同的，因此，可以通过给稀疏系数加权，使包含较多信息的系数所占的比重更大。文章中用特定目标的离散余弦变换DCT系数对整幅图像的稀疏系数进行加权，然后得到加权的L-2范数解，作为最终结果。实验结果表明，该方法只是对L-2范数进行改进，得到整幅图像的重构，没有达到特定目标的重构，从而不能够检测出场景中所包含的目标。另外文中所用的DCT系数是用多幅目标图像训练出来的，训练过程需要占用很多的资源和时间，在实际应用中很难实现。

Ying Yu等人在文章“Saliency-based compressive sampling for image signals”中提出了一种把视觉注意模型与压缩感知理论相结合的方法来重构图像。该方法实现了压缩感知理论与视觉注意模型的结合。由于该方法实现的是对整幅图像进行重构，它需要对整幅图像进行采样和压缩，因此既不能检测出图像中的目标，也造成了资源的浪费。

综上所述，现有技术存在以下不足：

一是均不能有效地应用压缩感知理论检测出图像中所包含的目标，不能实现图像中的目标与背景的有效分离，不能够得到只包含有目标的重构图像。

二是在应用过程中对内存的需求量比较大，时间复杂度较高，不易实现。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出了一种基于视觉注意的压缩感知图像目标重构方法，以实现图像中的目标与背景的有效分离，得到只包含有目标的重构图像。

本发明的技术方案是：首先得到图像的显著图，用显著图对观测矩阵加权，使得到的观测向量中只有包含目标的信息，然后对观测向量进行重构。其具体步骤包括如下：

(1)输入大小为256×256的包含有目标的彩色图像，用视觉注意模型得到大小为32×32的纹理显著图S；

(2)选择经验阈值s为50～100，将纹理显著图S中大于经验阈值s的像素设为1，其余像素设为0，得到一个新的显著图，大小也为32×32，将新的显著图均匀插值为256×256的最终显著图，并将其分为32×32的显著块；

(3)将输入的原彩色图像灰度化，并分成大小为32×32的小块，得到待观测图像块，每个待观测图像块与同位置的显著块相对应；

(4)由计算机程序生成一个大小为512×1024的随机观测矩阵，将各显著块拉成一个列向量，生成一个以该向量为对角线的对角矩阵，用对角矩阵对观测矩阵进行加权，由此得到与显著块相同数量的加权观测矩阵，而且每一个加权观测矩阵对应一个待观测图像块；

(5)用每一个加权观测矩阵观测与其对应的待观测图像块，得到各个待观测图像块的观测向量；

(6)对各个待观测图像块的观测向量进行重构，得到待观测图像块的重构图像块，将这些图像块再拼接成一幅完整的重构图像。

本发明由于结合了压缩感知和视觉注意模型，所以能够很好地提取出图像的显著图，并且得到的显著图中检测出了图像中目标区域的位置，得到的重构图像中只包含目标，实现了目标和背景的分离，对图像进行后续处理的时候有更强的针对性；同时由于用观测矩阵加权的方法，将背景区域的像素设为零，减少计算量，对内存需求量较少，容易实现。

实验证明，本发明能精确表示出图像中目标的位置，并且重构出只包含有目标的图像。

附图说明

图1是本发明的整体实现流程图；

图2是本发明中获取显著图的子流程图；

图3是本发明仿真使用的原始彩色图像；

图4是本发明仿真实验得到的原始彩色图像的显著图；

图5是本发明将原始彩色图像灰度化后的灰度图；

图6是本发明仿真实验得到的重构图像。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，输入原始彩色图像，用视觉注意模型得到该彩色图像的显著图T。

本步骤中所使用的视觉注意模型由H.Y.Chen，和J.J.Leou在文章《A newattention model using texture and object features》IEEE 8^th International Conferenceon Computer and Information Technology Workshops，2008中提出。

参照图2，本步骤的具体实现如下：

(1a)由输入彩色图像的红色r、绿色g、蓝色b这三个分量得到四个宽协调的颜色通道：

R＝r-(g+b)/2    G＝g-(r+b)/2

                                            1)

B＝b-(r+g)/2    Y＝(r+g)/2-|r-g|/2-b

其中R是红色通道，G是绿色通道，B是蓝色通道，Y是黄色通道；

(1b)计算红色通道与绿色通道的差值图：I_RG＝|R-G|，并将该插值图分成8×8的红绿通道小块，计算每个红绿通道小块的标准差：

${\mathrm{\σ}}_i=\sqrt{\left(\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}{(M_i(x,y)-{\mathrm{\μ}}_i)}^2\right)/64}---2)$

其中σ_i表示第i个红绿通道小块的标准差，M_i(x，y)表示第i个红绿通道小块中位置为(x，y)的像素，μ_i表示第i个红绿通道小块中像素的均值，定义为： ${\mathrm{\μ}}_i=\left[\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}{M}_i(x,y)\right]/64;$

(1c)将每个红绿通道小块的标准差σ_i作为像素组成大小为32×32的红绿通道标准差表示图I′_RG；

(1d)设定显著性阈值t，t取值为20，若I′_RG中的像素大于t，则用该像素减去t后得到一个新的像素值，若I′_RG中的像素小于t，则该像素置为0，由此得到红绿通道纹理差值图T′_RG，表示为：

其中T_RG′(x，y)表示红绿通道纹理差值图T′_RG中的像素，I_RG′(x，y)表示红绿通道标准差表示图I′_RG中的像素，将T′_RG归一化，得到红绿通道纹理图T_RG：

T_RG(x，y)＝T′_RG(x，y)×255/max(RG)        4)

其中T_RG(x，y)表示红绿通道纹理图T_RG中的像素，T′_RG(x，y)表示红绿通道纹理差值图T′_RG中的像素，max(RG)表示T′_RG中的最大像素值；

(1e)计算蓝色通道与黄色通道的差值图：I_BY＝|B-Y|，并将该插值图分成8×8的蓝黄通道小块，计算每个蓝黄通道小块的标准差：

${\mathrm{\σ}}_j=\sqrt{\left(\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}{(N_j(x,y)-{\mathrm{\α}}_j)}^2\right)/64}---5)$

其中ε_j表示第j个蓝黄通道小块的标准差，N_j(x，y)表示第j个蓝黄通道小块中位置为(x，y)的像素，α_j表示第j个蓝黄通道小块中像素的均值，定义为： ${\mathrm{\α}}_j=\left[\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}{N}_j(x,y)\right]/64;$

(1f)将每个蓝黄通道小块的标准差ε_j作为像素组成大小为32×32的蓝黄通道标准差表示图I′_BY；

(1g)若所述I′_BY中的像素大于t，则用该像素减去t后得到一个新的像素值，若I′_BY中的像素小于t，则该像素置为0，得到蓝黄通道纹理差值图T′_BY，表示为：

其中T_BY′(x，y)表示蓝黄通道纹理差值图T′_BY中的像素，I_BY′(x，y)表示蓝黄通道标准差表示图I′_BY中的像素，将T′_BY归一化，得到蓝黄通道纹理图T_BY：

T_BY(x，y)＝T′_BY(x，y)×255/max(BY)    7)

其中T_BY(x，y)表示蓝黄通道纹理图T_BY中的像素，T′_BY(x，y)表示蓝黄通道纹理插值图T′_BY中的像素，max(BY)表示T′_BY中的最大像素值；

(1h)将红绿通道纹理T_RG与蓝黄通道纹理图T_BY相加，得到大小为32×32的显著图：S＝T_RG+T_BY；

(1i)选择经验阈值s为50～100，将纹理显著图S中大于经验阈值s的像素设为1，其余像素设为0，得到一个新的显著图，大小也为32×32，将新的显著图均匀插值为256×256的最终显著图，即把图像中的每一个像素点扩充为4×4的小块，每个小块中的每个像素与原来的像素相等，将最终显著图分为32×32的显著块，共有64个显著块，按顺序将每个显著块标记为1，2……64。

步骤2，将输入的原彩色图像灰度化，并分成大小为32×32的小块，将这些小块作为待观测图像块，一共有64个待观测图像块，按顺序将每个待观测图像块标记为1，2……64，每个待观测图像块与标号相同的显著块相对应。

步骤3，由计算机程序随机生成一个大小为512×1024的随机观测矩阵，将各显著块拉成一个列向量，生成一个以该向量为对角线的对角矩阵，用对角矩阵对观测矩阵进行加权，即用随机观测矩阵乘以对角矩阵，由此得到与显著块相同数量的加权观测矩阵，按顺序将每个加权观测矩阵标记为1，2……64，每一个待观测图像块与标号相同的加权观测矩阵相对应。

步骤4，按标号顺序对待观测图像块进行观测，设当前的待观测图像块标号为k，1≤k≤64，用第k个加权观测矩阵乘以用待观测图像块拉成的列向量，得到第k个待观测图像块的观测向量，对其余的待观测图像块进行相同的处理，得到64个待观测图像块的观测向量。

步骤5，对64个观测向量进行重构，得到64个重构图像块，将这些图像块按顺序拼接成一幅完整的重构图像。

现有技术中对观测向量进行重构的方法有很多，如J.A.Tropp在文章《Greedis good：Algorithmic results for sparse approximation》IEEE Trans.Inform.Theory，vol.50，pp.2231-2242，Oct.2004.中提出的匹配追踪算法OMP，S.Chen，D.Donoho，和M.Saunders在文章《Atomic decomposition by basis pursuit》SIAM J.Sci Comp.，vol.20，Jan.1999.中提出的基追踪算法BP，Lu Gan在文章《Blockcompressed sensing of natural images》Digital Signal Processing，pp.403-406.July，2007.中提出的最小均方误差MMSE线性估计方法，利用这些方法均可实现对观测向量的重构，本发明用的是最后一种方法。

本发明的效果可以通过仿真实验具体说明：

1.实验条件

实验所用微机CPU为Intel Core22.33GHz内存1.99GB，编程平台是Matlab7.0.1。实验中采用的图像数据为用型号为IXUS 870IS Canon照相机拍摄的图像，图像中含有一个卡车模型，作为感兴趣的目标，原图像大小为640×480，根据实验需要将其调整为256×256。

2.实验内容

本实验分为三个部分：

首先输入原始彩色图像如图3(a)和图3(b)所示，用视觉注意模型提取显著图，其结果图4所示，其中图4(c)是图3(a)的显著图，图4(d)是图3(b)的显著图；

然后将彩色图像灰度化，得到灰度图像，结果如图5所示，其中图5(e)是图3(a)的灰度图，图5(f)是图3(b)的灰度图；

再根据得到的显著图对随机生成的随机观测矩阵进行加权，得到加权观测矩阵，用加权观测矩阵对图5(e)和图5(f)中的灰度图像进行观测得到观测向量，对观测向量进行重构得到重构图像，结果如图6(g)和图6(h)所示，其中图6(g)是图3(a)的重构图像，图6(h)是图3(b)的重构图像。

3.实验结果

从图4(c)和图4(d)可以看出，本发明可以很好地提取出图像的显著图，而且背景越复杂的图像，得到的显著图中显著区域也越多。

从图6(g)和图6(h)可以看出，本发明能检测出图像中目标区域的位置，得到的重构图像中只包含目标，实现了目标和背景的分离。

Claims (3)

1.一种基于视觉注意的压缩感知图像目标重构方法，包括如下步骤：

（1）输入大小为256×256的包含有目标的彩色图像，用视觉注意模型得到大小为32×32的纹理显著图S：

（1a）由输入彩色图像的红色r、绿色g、蓝色b这三个分量得到四个宽协调的颜色通道：

R＝r-(g+b)/2                  G＝g-(r+b)/2         1）

B＝b-(r+g)/2                  Y＝(r+g)/2-|r-g|/2-b

其中R是红色通道，G是绿色通道，B是蓝色通道，Y是黄色通道；

（1b）计算红色通道与绿色通道的差值图：I_RG＝|R-G|，并将该插值图分成8×8的红绿通道小块，计算每个红绿通道小块的标准差：

${\mathrm{\σ}}_i=\sqrt{\left(\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}{(M_i(x,y)-{\mathrm{\μ}}_i)}^2\right)/64}---2)$

其中σ_i表示第i个红绿通道小块的标准差，M_i(x,y)表示第i个红绿通道小块中位置为(x,y)的像素，μ_i表示第i个红绿通道小块中像素的均值，定义为： ${\mathrm{\μ}}_i=\left[\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}{M}_i(x,y)\right]/64;$

（1c）将每个红绿通道小块的标准差σ_i作为像素组成大小为32×32的红绿通道标准差表示图I'_RG；

（1d）设定显著性阈值t，t取值为20，若I'_RG中的像素大于t，则用该像素减去t后得到一个新的像素值，若I'_RG中的像素小于t，则该像素置为0，由此得到红绿通道纹理差值图T'_RG，表示为：

其中T_RG'(x,y)表示红绿通道纹理差值图T'_RG中的像素，I_RG'(x,y)表示红绿通道标准差表示图I'_RG中的像素，将T'_RG归一化，得到红绿通道纹理图T_RG：

T_RG(x,y)＝T'_RG(x,y)×255/max(RG)              4）

其中T_RG(x,y)表示红绿通道纹理图T_RG中的像素，T'_RG(x,y)表示红绿通道纹理差值图T'_RG中的像素，max(RG)表示T'_RG中的最大像素值；

（1e）计算蓝色通道与黄色通道的差值图：I_BY＝|B-Y|，并将该插值图分成8×8的蓝黄通道小块，计算每个蓝黄通道小块的标准差：

${\mathrm{\ϵ}}_j=\sqrt{\left(\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}{(N_j(x,y)-{\mathrm{\α}}_j)}^2\right)/64}---5)$

其中ε_j表示第j个蓝黄通道小块的标准差，N_j(x,y)表示第j个蓝黄通道小块中位置为(x,y)的像素，α_j表示第j个蓝黄通道小块中像素的均值，定义为： ${\mathrm{\α}}_i=\left[\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}{N}_j(x,y)\right]/64;$

（1f）将每个蓝黄通道小块的标准差ε_j作为像素组成大小为32×32的蓝黄通道标准差表示图I'_BY；

（1g）若所述I'_BY中的像素大于t，则用该像素减去t后得到一个新的像素值，若I'_BY中的像素小于t，则该像素置为0，得到蓝黄通道纹理差值图T'_BY，表示为：

其中T_BY'(x,y)表示蓝黄通道纹理差值图T'_BY中的像素，I_BY'(x,y)表示蓝黄通道标准差表示图I'_BY中的像素，将T'_BY归一化，得到蓝黄通道纹理图T_BY：

T_BY(x,y)＝T'_BY(x,y)×255/max(BY)           7）

其中T_BY(x,y)表示蓝黄通道纹理图T_BY中的像素，T'_BY(x,y)表示蓝黄通道纹理插值图T'_BY中的像素，max(BY)表示T'_BY中的最大像素值；

（1h）将红绿通道纹理T_RG与蓝黄通道纹理图T_BY相加得到大小为32×32的显著图：S＝T_RG+T_BY；

（2）选择经验阈值s为50～100，将纹理显著图S中大于经验阈值s的像素设为1，其余像素设为0，得到一个新的显著图，大小也为32×32，将新的显著图均匀插值为256×256的最终显著图，并将其分为32×32的显著块；

（3）将输入的原彩色图像灰度化，并分成大小为32×32的小块，得到待观测图像块，每个待观测图像块与同位置的显著块相对应；

（4）由计算机程序生成一个大小为512×1024的随机观测矩阵，将各显著块拉成一个列向量，生成一个以该向量为对角线的对角矩阵，用对角矩阵对观测矩阵进行加权，由此得到与显著块相同数量的加权观测矩阵，而且每一个加权观测矩阵对应一个待观测图像块；

（5）用每一个加权观测矩阵观测与其对应的待观测图像块，得到各个待观测图像块的观测向量；

（6）对各个待观测图像块的观测向量进行重构，得到待观测图像块的重构图像块，将这些图像块再拼接成一幅完整的重构图像。

2.根据权利求要1所述的基于视觉注意的压缩感知图像目标重构方法，其中步骤（4）所述的用对角矩阵对观测矩阵进行加权，是指用随机观测矩阵乘以对角矩阵。

3.根据权利求要1所述的基于视觉注意的压缩感知图像目标重构方法，其中步骤（5）所述的用每一个加权观测矩阵观测与其对应的待观测图像块，是用加权的观测矩阵乘以用待观测图像块拉成的列向量。

Images