CN111199538B - 一种针对多层压缩感知图像的隐私保护度评价方法 - Google Patents

Abstract

本发明公开了一种针对多层压缩感知图像的隐私保护度评价方法，针对多层压缩感知图像，本发明包括分别采用CAAME算法、GCS‑LBP算子和GBVS视觉显著性算法提取图像的对比度特征、显著性结构特征；将训练图像的特征与对应的主观图像质量分数送入支持向量机训练，建立图像质量模型；最后利用模糊C均值算法对预测的质量分数聚类，由类别统计平均得到待测各图像的隐私保护度分数，本发明提出的方法提取符合人眼视觉特性的对比度特征和显著性结构特征，使得图像隐私保护度评价结果更加接近人眼的主观观测，具有很好的准确度和鲁棒性，能够满足多层压缩感知图像处理和模式识别实际应用中对于隐私保护度评价的要求。

Description

一种针对多层压缩感知图像的隐私保护度评价方法

技术领域

本发明涉及压缩感知图像领域，特别是涉及一种针对多层压缩感知图像的隐私保护度评价方法。

背景技术

在当今大数据时代，海量的图像和视频使得隐私信息和隐私保护的概念不断得到重视。针对图像与视频的模式识别任务一直是计算机视觉和人工智能领域的研究热点，而在考虑隐私保护的情况下做到高精度识别在近年来受到极大关注。但是如何做到针对图像或视频数据的内容隐私保护度评价成为了该领域亟待解决的问题。

Wright等人将压缩感知(Compressed Sensing，CS)应用到人脸识别中，将其称为稀疏表示下的分类识别(Sparse Representation-Based Classification，SRC)，该算法对于被遮挡或者受损坏退化的人脸图像识别具有非常好的鲁棒性。Liu等提出了单层CS采样编码模型，实现了利用基于混沌元胞自动机和原信号阈值(Cellular Automata Chaos andOriginal Signal Thresholding，CAC-OST)模型的CS采样编码。由此，可将单层CS采样模型进行多层扩展，通过CS采样编码得到多层CS态下的图像。而由于CS欠采样的特点，各层图像的分辨率及像素值大小等会发生变化，导致图像质量退化，图像内容会随采样层数的增加而逐渐变得不可见或不可辨，这就为隐私保护及隐私保护下的模式识别提供了可能。

因此，为了衡量多层压缩感知隐私保护的性能、指导图像采样编码等目的，希望计算机能自动评价一幅图像的隐私保护程度。于是，需要设计一种和人眼视觉特性一致的针对多层压缩感知图像的隐私保护度评价算法显得至关重要。

发明内容

本发明的目的是解决现有技术的不足，提供一种针对多层压缩感知图像的隐私保护度评价方法，结构简单，使用方便。

一种针对多层压缩感知图像的隐私保护度评价方法，包括如下步骤：

步骤1：从总图集选取设定张数图像的多层压缩感知图像，构成训练集图像；总图集中剩余的图像作为待测图像；

步骤2：提取训练集图像的对比度特征，记为f_c；

步骤3：提取训练集图像的显著性结构特征，记为f_s；

步骤4：将训练集所有图像的特征[f_c,f_s]和对应的主观质量分数送入支持向量机模型中训练，得到一个图像质量评价模型；

步骤5：对于待测图像，按照步骤2、步骤3相同的方法提取待测图像的特征，然后输入步骤4训练好的模型中，得到待测图像的预测质量分数；

步骤6：将待测图像预测质量分数与训练集所有图像的质量分数进行分类；

步骤7：计算待测图像的所属类别中训练集图像的主观隐私保护度分数的统计平均；所述主观隐私保护度分数的统计平均为预测的隐私保护度分数。

进一步的，所述步骤1中的训练集图像为总图集图像数量的80％，剩余20％作为待测图像；所述多层压缩感知图像为五层压缩感知采样。

进一步的，所述训练集图像以主观图像质量分数和主观隐私保护度分数作为训练标签。

进一步的，所述步骤2中利用CAAME算法，提取图像的对比度特征；

提取图像对比度特征包括如下步骤：

步骤2.1：将图像I按照RGB色彩空间进行分解，分解后的R、G和B三种颜色分量的图像分别记为I_R、I_G和I_B；

步骤2.2：对图像I_R进行D×D大小的图像分块操作，其中D＝2r+1,r∈N^*，得到k₁×k₂个图像块，其中

每个图像块

的中心像素记为I_Rc：

步骤2.3：计算第(x,y)个图像块关于R颜色分量的非对称修正α统计均值

其中0≤x≤k₁，0≤y≤k₂：

其中，K＝D×D，K是每个图像块包含的像素个数；I_Ri表示像素点i的像素值；将每个图像块中的所有像素点按照从小到大的顺序排列：I_R1≤I_R2≤...≤I_RK；T_αH＝[α_HK]、T_αL＝[α_LK]是从该排序序列中丢弃的最大和最小像素值的个数；α_H、α_L∈[0,0.5]，α_H是用于调整设定丢弃最大像素值个数的参数，α_L是用于调整设定丢弃最小像素值个数的参数；

步骤2.4：按照步骤2.2-2.3相同的方法，I_Gc、I_Bc表示得到G、B颜色分量图像I_G、I_B中第(x,y)个图像块

的中心像素，

表示第(x,y)个图像块关于G颜色分量的非对称修正α统计均值，

表示第(x,y)个图像块关于B颜色分量的非对称修正α统计均值；

步骤2.5：计算第(x,y)个图像块中心像素的加权平均值I_x,y：

I_x,y＝λ₁I_Rc+λ₂I_Gc+λ₃I_Bc

其中，λ₁＝0.299，λ₂＝0.587，λ₃＝0.114；

步骤2.6：计算第(x,y)个图像块参数β_x,y，包括如下步骤：

步骤2.6.1：计算每个图像块中每个像素点的背景亮度B_i：

其中，Q表示待处理像素i上下左右方向的4个邻域像素组成的集合，Q′表示待处理像素i对角线方向的4个邻域像素组成的集合；

步骤2.6.2：根据B_i对对应像素点参数L_i进行赋值：

其中，其中x₁表示暗区域和德弗里斯区域交界处的log B_i值；x₂表示德弗里斯区域和韦伯区域交界处的log B_i值，x₃表示韦伯区域和饱和区域交界处的log B_i值；

步骤2.6.3：根据第(x,y)个图像块中所有L_i组成的向量集L_x,y，根据向量集L_x,y对该图像块参数β_x,y进行赋值：

其中，算子mode(L_x,y)表示括号内的向量集L_x,y中出现次数最多的元素；

步骤2.7：计算得到图像的对比度特征f_c：

进一步的，所述步骤3中利用GCS-LBP算子和GBVS视觉显著性算法，提取图像的显著性结构特征，包括如下步骤：

步骤3.1：利用GCS-LBP_R,P,T算子对图像I进行编码，得到GCS-LBP编码图I_GL；

步骤3.2：利用GBVS视觉显著性算法，计算图像I的显著图I_GB；

步骤3.3：计算被I_GB加权的I_GL的统计直方图H：

H＝{h(0),h(1),...h(k)...,h(2^P/2-1)}

其中，

h(k)＝∑_i∑_jI_GB(i,j)·Δ(I_GL(i,j),k)

其中，P为GCS-LBP窗口中包含的像素点个数，I_GB(i,j)表示显著图I_GB中第(i,j)个像素，I_GL(i,j)表示编码图I_GL中第(i,j)个像素；v表示I_GL(i,j)，u表示k，k表示式LBP模式的类型序号，k∈(0，2^P/2-1)；

步骤3.4：计算得到图像的显著性结构特征f_s：

进一步的，所述步骤6中利用模糊C均值聚类算法，将待测图像预测质量分数与训练集所有图像的质量分数进行分类。

采用本发明的有益效果在于：

本发明中过提供的一种针对多层压缩感知图像的隐私保护度评价方法，解决了现有图像质量评价方法不直接适用于图像视觉隐私保护领域的问题。

本发明通过提取图像对比度特征，结构显著性特征实现图像的内容在多层提取后仍然能够保持较高的分辨性。

附图说明

图1为本发明的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例1：

如图1所示，一种针对多层压缩感知图像的隐私保护度评价方法，包括以下步骤：

步骤1：从总图集选取设定张数图像的多层压缩感知图像，构成训练集图像；总图集中剩余的图像作为待测图像；

步骤2：提取训练集图像的对比度特征，记为f_c；

步骤3：提取训练集图像的显著性结构特征，记为f_s；

步骤4：将训练集所有图像的特征[f_c,f_s]和对应的主观质量分数送入支持向量机模型中训练，得到一个图像质量评价模型；

步骤5：对于待测图像，按照步骤2-3相同的方法提取待测图像的特征，然后输入步骤4训练好的模型中，得到待测图像的预测质量分数；

步骤6：将待测图像预测质量分数与训练集所有图像的质量分数进行分类；

步骤7：计算待测图像的所属类别中训练集图像的主观隐私保护度分数的统计平均；所述主观隐私保护度分数的统计平均为预测的隐私保护度分数。

在本实施例中，训练集图像和测试原图像来源于公开的图像质量评价TID2013数据集。所述TID2013数据集包含25张尺寸大小均为384×512的参考图像。

在步骤1中，利用压缩感知算法对上述TID2013数据集中的图像进行5层采样，得到包括原图在内共150张图像，从中随机选取其中80％的图像作为训练集图像,训练集图像共120张；剩余的图像作为测试集图像，测试集图像共30张。为训练集、测试集图像制作主观图像质量分数和主观隐私保护度分数的训练、测试标签。

由于人眼视觉系统的对比度敏感度特性，所以使得图像对比度能够直接较大程度影响图像质量和人眼视觉感受。在步骤2中，采用对比度测量模型CAAME用于提取图像的对比度特征，简称CAAME算法。所述对比度测量模型CAAME由CRME算法(Panetta K,Gao C,Agaian S.No reference color image contrast and quality measures[J].IEEEtransactions on Consumer Electronics,2013,59(3):643-651)改进的彩色图像获得。其中提取图像对比度特征的具体实施步骤如下：

步骤2.1：从训练集图像中选取一张图像I，按照RGB色彩空间进行分解，分解后的R、G和B三种颜色分量的图像分别记为I_R、I_G和I_B；

步骤2.2：对图像I_R进行D×D大小的图像分块操作,其中D＝2r+1,r∈N^*，得到k₁×k₂个图像块，其中

在本实施例中D的值取为3。每个图像块

的中心像素记为I_Rc，所述中心像素为图像块中坐标为

的像素点的像素值。I_Rc表示为：

步骤2.3：计算第(x,y)个图像块关于R颜色分量的非对称修正α统计均值

其中0≤x≤k₁，0≤y≤k₂：

其中，K＝D×D，K是每个图像块包含的像素点个数，本实施例中K＝9。将每个图像块中的所有像素点按照像素值从小到大的顺序排列：I_R1≤I_R2≤...≤I_RK，T_αH＝[α_HK]、T_αL＝[α_LK]是从该排序序列中丢弃的最大和最小像素值的个数。α_H、α_L∈[0,0.5]，α_H是用于调整设定丢弃最大像素值个数的参数，α_L是用于调整设定丢弃最小像素值个数的参数。I_Ri表示像素点i的像素值。

步骤2.4：按照步骤2.2-2.3相同的方法，得到G、B颜色分量图像I_G、I_B中第(x,y)个图像块

的中心像素I_Gc、I_Bc，以及第(x,y)个图像块关于G颜色分量的非对称修正α统计均值

关于B颜色分量的非对称修正α统计均值

步骤2.5：计算第(x,y)个图像块中心像素的加权平均值I_x,y：

I_x,y＝λ₁I_Rc+λ₂I_Gc+λ₃I_Bc (3)

其中，λ₁＝0.299，λ₂＝0.587，λ₃＝0.114；

步骤2.6：按如下步骤计算第(x,y)个图像块参数β_x,y：

步骤2.6.1：计算每个图像块中每个像素点的背景亮度B_i：

其中，Q表示待处理像素i上下左右方向的4个邻域像素组成的集合，Q′表示待处理像素i对角线方向的4个邻域像素组成的集合；I_i表示像素点i的像素值；

步骤2.6.2：根据B_i给对应像素点参数L_i进行赋值：

其中，人眼视觉划分为4个区域，分别为暗区域，德弗里斯区域，韦伯区域和饱和区域，其中x₁表示暗区域和德弗里斯区域交界处的log B_i值；x₂表示德弗里斯区域和韦伯区域交界处的log B_i值，x₃表示韦伯区域和饱和区域交界处的log B_i值。

步骤2.6.3：将第(x,y)个图像块中所有L_i组成的向量集L_x,y，根据向量集L_x,y对该图像块参数β_x,y进行赋值：

其中，算子mode(L_x,y)表示括号内的向量集L_x,y中出现次数最多的元素；

步骤2.7：计算得到图像的对比度特征f_c：

其中k₁、k₂表示步骤2.2中分块操作得到的图像块的行数和列数，k₁×k₂为得到的图像块数量。

在步骤3，提取显著性结构特征的过程中，由于自然图像是高度结构化的，所以其像素点之间具有很强的相关性，而且当这些像素点在空间上相邻时，它们之间的极强的相关性往往包含着有关自然场景中视觉对象结构的重要信息。图像这种结构包含了图像场景中主要视觉信息，人眼视觉系统也是通过提取结构信息，用于图像感知和理解。在本实施例中，采用GCS-LBP算子(Dai T,Gu K,Niu L,et al.Referenceless quality metric ofmultiply-distorted images based on structural degradation[J].Neurocomputing,2018,290:185-195)结合GBVS显著性算法(Harel J,Koch C,Perona P.Graph-basedvisual saliency[C]//Proc of Advances in neural information processingsystems.Cambridge,MA:MIT Press,2007:545-552)来提取图像的显著性结构特征，具体实施步骤如下：

步骤3.1：利用GCS-LBP_R,P,T算子对图像I进行编码，得到GCS-LBP编码图I_GL；

步骤3.2：利用GBVS视觉显著性算法，计算图像I的显著图I_GB；

步骤3.3：计算被I_GB加权的I_GL的统计直方图H：

H＝{h(0),h(1),...h(k)...,h(2^P/2-1)} (8)

其中，

h(k)＝∑_i∑_jI_GB(i,j)·Δ(I_GL(i,j),k) (9)

其中，P为GCS-LBP窗口中包含的像素点个数，I_GB(i,j)表示显著图I_GB中第(i,j)个像素，I_GL(i,j)表示编码图I_GL中第(i,j)个像素；v表示I_GL(i,j)，u表示k，k表示式(8)中LBP模式的类型序号，k∈(0，2^P/2-1)。

步骤3.4：计算得到图像的显著性结构特征f_s：

在步骤6中，利用模糊C均值聚类算法，将待测图像预测质量分数与训练集所有图像的质量分数进行分类。

实验验证：算法性能

为了验证本发明所提出方法的有效性，本发明选择了四个国际上常用的图像质量算法评估指标，分别是SROCC(Spearman Rank-Order Correlation Coefficient，斯皮尔曼秩相关系数)、KROCC(Kendall Rank-Order Correlation Coefficient，肯德尔秩相关系数)、PLCC(Pearson Linear Correlation Coefficient，皮尔森线性相关系数)和RMSE(Root Mean Squared Error,均方根误差)。如果算法性能越好，那么相应的PLCC、SRCC和KRCC的值就会越接近于1，RMSE的值越接近于0，说明算法客观评价图像的隐私保护度分数与人眼主观评分比较一致。

预测隐私保护度分数时，为了避免非线性的影响，在计算PLCC和RMSE前使用五参数逻辑回归函数来减少这种影响：

其中，q是输入的客观隐私保护度分数，P可经逻辑函数运算后得到的隐私保护度分数，{λ₁,λ₂,λ₃,λ₄,λ₅}是逻辑回归函数的拟合参数。

将训练集、测试集随机分割1000次，并取1000次测试结果的中间值作为最终结果。实验结果见表1。

表1实验结果

如表1所示，可以看出，本发明所提出的无参考图像质量评估方法有比较大的SRCC、KRCC和PLCC值，同时RMSE也比较小，表明所提出的算法与人眼主观判断图像的隐私保护度有很高的一致性。因此，只要给定一张测试图，输入到训练好的模型中，经过特征提取，就可以预测其隐私保护度分数，且实验结果表明预测分数与主观分数有比较高的一致性。

通过实验验证，本实施例中的隐私保护度评价算法通过提取符合人眼视觉系统的对比度特征和显著性结构特征，利用支持向量机训练和模糊C均值聚类算法的结合方法，实现了较高的图像隐私保护度预测精度，对多层压缩感知图像在隐私保护领域的应用具有重要的指导意义。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种针对多层压缩感知图像的隐私保护度评价方法，其特征在于，包括如下步骤：

步骤1：从总图集选取设定张数图像的多层压缩感知图像，构成训练集图像；

总图集中剩余的图像作为待测图像；

步骤2：提取训练集图像的对比度特征，记为f_c；

步骤3：提取训练集图像的显著性结构特征，记为f_s；

步骤4：将训练集所有图像的特征[f_c,f_s]和对应的主观质量分数送入支持向量机模型中训练，得到一个图像质量评价模型；

步骤5：对于待测图像，按照步骤2、步骤3相同的方法提取待测图像的特征，然后输入步骤4训练好的模型中，得到待测图像的预测质量分数；

步骤6：将待测图像预测质量分数与训练集所有图像的质量分数进行分类；

步骤7：计算待测图像的所属类别中训练集图像的主观隐私保护度分数的统计平均；所述主观隐私保护度分数的统计平均为预测的隐私保护度分数。

2.根据权利要求1所述的一种针对多层压缩感知图像的隐私保护度评价方法，其特征在于，所述步骤1中的训练集图像为总图集图像数量的80％，剩余20％作为待测图像；所述多层压缩感知图像为五层压缩感知采样。

3.根据权利要求2所述的一种针对多层压缩感知图像的隐私保护度评价方法，其特征在于，所述训练集图像以主观图像质量分数和主观隐私保护度分数作为训练标签。

4.根据权利要求1所述的一种针对多层压缩感知图像的隐私保护度评价方法，其特征在于，所述步骤2中利用CAAME算法，提取图像的对比度特征；

提取图像对比度特征包括如下步骤：

步骤2.1：将图像I按照RGB色彩空间进行分解，分解后的R、G和B三种颜色分量的图像分别记为I_R、I_G和I_B；

步骤2.2：对图像I_R进行D×D大小的图像分块操作，其中D＝2r+1,r∈N^*，得到k₁×k₂个图像块，其中

每个图像块

的中心像素记为I_Rc：

步骤2.3：计算第(x,y)个图像块关于R颜色分量的非对称修正α统计均值

其中0≤x≤k₁，0≤y≤k₂：

其中，K＝D×D，K是每个图像块包含的像素个数；I_Ri表示像素点i的像素值；将每个图像块中的所有像素点按照从小到大的顺序排列：I_R1≤I_R2≤...≤I_RK；T_αH＝[α_HK]、T_αL＝[α_LK]是从该排序序列中丢弃的最大和最小像素值的个数；α_H、α_L∈[0,0.5]，α_H是用于调整设定丢弃最大像素值个数的参数，α_L是用于调整设定丢弃最小像素值个数的参数；

步骤2.4：按照步骤2.2-2.3相同的方法，I_Gc、I_Bc表示得到G、B颜色分量图像I_G、I_B中第(x,y)个图像块

的中心像素，

表示第(x,y)个图像块关于G颜色分量的非对称修正α统计均值，

表示第(x,y)个图像块关于B颜色分量的非对称修正α统计均值；

步骤2.5：计算第(x,y)个图像块中心像素的加权平均值I_x,y：

I_x,y＝λ₁I_Rc+λ₂I_Gc+λ₃I_Bc

其中，λ₁＝0.299，λ₂＝0.587，λ₃＝0.114；

步骤2.6：计算第(x,y)个图像块参数β_x,y，包括如下步骤：

步骤2.6.1：计算每个图像块中每个像素点的背景亮度B_i：

其中，Q表示待处理像素i上下左右方向的4个邻域像素组成的集合，Q'表示待处理像素i对角线方向的4个邻域像素组成的集合；

步骤2.6.2：根据B_i对对应像素点参数L_i进行赋值：

其中，其中x₁表示暗区域和德弗里斯区域交界处的log B_i值；x₂表示德弗里斯区域和韦伯区域交界处的log B_i值，x₃表示韦伯区域和饱和区域交界处的log B_i值；

步骤2.6.3：根据第(x,y)个图像块中所有L_i组成的向量集I_x,y，根据向量集L_x,y对该图像块参数β_x,y进行赋值：

其中，算子mode(L_x,y)表示括号内的向量集L_x,y中出现次数最多的元素；

步骤2.7：计算得到图像的对比度特征f_c：

5.根据权利要求1所述的一种针对多层压缩感知图像的隐私保护度评价方法，其特征在于，所述步骤3中利用GCS-LBP算子和GBVS视觉显著性算法，提取图像的显著性结构特征，包括如下步骤：

步骤3.1：利用GCS-LBP_R,P,T算子对图像I进行编码，得到GCS-LBP编码图I_GL；

步骤3.2：利用GBVS视觉显著性算法，计算图像I的显著图I_GB；

步骤3.3：计算被I_GB加权的I_GL的统计直方图H：

H＝{h(0),h(1),...h(k)...,h(2^P/2-1)}

其中，

h(k)＝∑_i∑_jI_GB(i,j)·Δ(I_GL(i,j),k)

其中，P为GCS-LBP窗口中包含的像素点个数，I_GB(i,j)表示显著图I_GB中第(i,j)个像素，I_GL(i,j)表示编码图L_GL中第(i,j)个像素；v表示L_GL(i,j)，u表示k，k表示式LBP模式的类型序号，k∈(0，2^P/2-1)；

步骤3.4：计算得到图像的显著性结构特征f_s：

6.根据权利要求1所述的一种针对多层压缩感知图像的隐私保护度评价方法，其特征在于，所述步骤6中利用模糊C均值聚类算法，将待测图像预测质量分数与训练集所有图像的质量分数进行分类。

Images