CN113486791B - 针对隐私保护视频关键帧提取的视觉评价关联模型方法 - Google Patents

Abstract

本发明所述的针对隐私保护视频关键帧提取的视觉评价关联模型方法，步骤为：1.利用改进型非负高斯观测矩阵对视频进行多层压缩感知采样编码，2.利用显著性均匀等价LBP(SUP‑LBP)特征算子和改进型对比度(IRME)算法提取视频帧的LBP特征和对比度特征，3.最后通过SVR将上述两种特征映射为视频帧隐私保护质量分数，加权综合成视频隐私保护质量分数，4.对视隐态视频进行基于AP和稀疏子空间双层聚类的关键帧提取工作，提出CF指标来衡量关键帧有效性,最后将上述的两模块组合成一个关联模型，来验证视频隐私保护质量分数和关键帧提取性能的相关性，权衡视频隐私保护质量分数与关键帧提取算法的性能提供基础，从而选择合适的编码层。

Description

针对隐私保护视频关键帧提取的视觉评价关联模型方法

技术领域

本发明涉及视频处理技术领域，具体涉及一种针对隐私保护视频关键帧提取的视觉评价关联模型方法。

背景技术

当今社会，随着人工智能和大数据等科技技术的发展，人们在网络上活动越来越多，这些活动所带来的的问题也就越多，个人信息面临的不安全性也随之增加，尤其是一些涉及个人隐私信息会被不法分子所关注并窃取，会对被泄露信息的人们造成不好的个人和社会影响，在此背景下对于隐私信息的保护显得格外重要，而加密是保护隐私内容的一项最常见的手段。加密保护方法解决了涉及隐私内容的图像和视频在网络中传输问题，但是加密方法的考虑不足之处是忽略图像视频具体处理工作过程中所涉及的隐私泄露问题。传统视频隐私保护是通过加密方式，虽然能对隐私内容进行保护进行完全的保护，但是给后续的图像处理带来更加大量和繁琐的计算工作。

在对隐私保护过程的同时，我们需要考虑深层次的过度隐私保护，加之成像系统，处理方法，传输介质的不完善导致受压缩感知编码的图像视频信息丢失等问题，尤其是现在面向家庭智能监控所产生的智能应用种类众多，其中监控产生的大量视频图像数据的问题也是不可忽视，这些数据所带来的存储管理成本高，并且对于大量数据的进行直接检索工作是极其耗费人力物力。视频提取的关键帧既能简洁明确地表达视频的内容并且能节约存储成本，而现在的关键帧提取针对的是没有经过隐私保护的原始视频。

CN111429330A提供了一种监控视频隐私保护方法和系统，通过依次采集监控视频的帧图像作为原数据，对采集到的原数据应用检测算法，在帧图像中找到需要保护的敏感隐私区域所在位置信息，并将所述敏感隐私区域作为目标区域，对检测到的目标区域运行特征提取算法，得到代表所述目标区域特征的特征向量，对所述帧图像中目标区域的图像进行脱敏处理，得到脱敏数据，保护目标区域的隐私，但是这种方法只考虑存储过程的隐私保护，而在智能应用方面的隐私保护仍有欠缺，并在隐私保护的程度上缺乏相关参数进行度量。

发明内容

为解决上述技术问题，本发明提供了一种针对隐私保护视频关键帧提取的视觉评价关联模型方法，通过确定相关隐私保护程度衡量指标，来与关键帧提取算法性能建立关联模型，进而验证视频隐私保护质量分数和关键帧提取性能的相关性，最后为权衡视频隐私保护质量分数与关键帧提取算法的性能提供基础，从而选择合适的编码层。

本发明所述的一种针对隐私保护视频关键帧提取的视觉评价关联模型方法，包括以下步骤：

步骤1、对数据集中的视频进行多层压缩感知编码，使其处于视觉隐私保护态；步骤2、利用改进的SUP-LBP特征算子和改进的IRME算法对视觉隐私保护态视频进行特征提取；

步骤3、构建主观评价模型，将主观评价模型及步骤2提取的特征输入SVR，得到视频隐私保护质量分数；

步骤4、采用无监督双层的聚类算法对视觉隐私保护态视频进行关键帧提取，并提出一种CF指标对所述关键帧提取性能进行评价，从而进行关联模型的建立。

进一步的，步骤1的具体实施步骤为：

步骤1-1、利用压缩感知理论中的观测降维，使用改进型非负高斯观测矩阵直接对数据集里的视频进行采样：

其中φ是高斯观测矩阵，φ'是改进型非负高斯观测矩阵；

步骤1-2：将采样后的视频帧图片以及改进型非负高斯观测矩阵按顺序依次分成多个2×2的矩阵块，然后分别求二者对应的矩阵块的内积，实现压缩感知编码；

步骤1-3：重复步骤1-1及步骤1-2，实现多层压缩感知编码，直至形成视觉上屏蔽效果。

进一步的，步骤2中，提取各编码层的隐私保护态视频进行LBP和对比度双特征提取，并使其并联组合，得到SUP-LBP特征直方图：

其中k是SUP-LBP特征的维度，{h(0),h{1},…,h(58)}代表的是特征的统计直方图。

进一步的，步骤3的具体实施步骤为：

步骤3-1、邀请50位图像视频领域的专业人员根据视频帧是否清晰，内容是否可辩对视频帧的质量进行评估，得到相关主观分数；

步骤3-2、将主观评价模型、提取的特征输入SVR，进行训练和测试得到视频帧隐私保护质量分数；

步骤3-3、将步骤3-2得到的视频帧隐私保护质量分数加权平均得到视频隐私保护质量分数。

进一步的，步骤4的所述的无监督双层的聚类算法的具体实施步骤为：

步骤4-1、对编码后的视频提取PHOG特征，并且用仿射传播聚类进行首次聚类，聚类中心产生过程如公式下方所示，得到关键帧提取的中间结果：

r^(t)(i,j)←λr^(t-1)(i,j)+(1-λ){s(i,j)-max_j≠j'[a^t-1(i,j')+s(i,j')]}

其中r(i,j)是代表矩阵元素，代表第j个样本适合作为第i个样本的类代表点的代表程度,a(i,j)是适选矩阵元素，第i个样本选择第j个样本作为类代表样本的适合程度，λ是阻尼系数，s(i,j)是相似矩阵，t是最大迭代系数。

步骤4-2、对上所述中间结果提取PHOG-HSV特征，进行稀疏子空间聚类，得到最终关键帧结果；

步骤4-3、利用压缩率和保真度进行指数加权得到CF值，来衡量关键帧提取的无监督双层的聚类算法的性能；

步骤4-4、将视频隐私保护质量分数与CF值进行Polynomial拟合，得到最终的所需的关联模型。

本发明的有益效果为：

(1)本发明基于压缩感知技术理论的视频隐私保护，提出一种改进型非负高斯观测矩阵，相较于普通的高斯观测矩阵，其能有效的避免特征的丢失问题，且满足RIP条件；

(2)实现视频隐私保护质量评价：本发明就图像特征，提出一种基于图论的视觉显著性的均匀等价模式LBP(Uniform pattern LBP)特征提取算法；以及提出基于非对称的修正α滤波器统计均值的对比度特征提取算法(IRME)，基于SUP-LBP和IRME的特征以及相关的主观评价模型输入到支持回归向量，输出视频隐私保护质量分数，能更加客观规律的反映出在隐私保护的过程中视频质量的变化。

(3)实现关键帧提取以及性能评价：本发明提出一种基于仿射传播聚类(AP)和稀疏子空间双层聚类的无监督关键帧提取算法以及性能评价指标CF值，将视频隐私保护质量分数与CF值建立关联统计模型，以平衡视频隐私保护程度以及关键帧提取的性能；其中上述的双层聚类无监督关键帧提取算法更加适合本发明中视频数据，能更简洁的反映视频中的信息。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。

图1为本发明的流程示意图；

图2为改进型非负高斯观测矩阵编码示意图；

图3为视频帧的视觉显著图；

图4为改进型LBP特征值随编码层增加的趋势柱状图；

图5为提取关键帧的示意图。

具体实施方式

如图1所示，本发明所述的本发明所述的一种针对隐私保护视频关键帧提取的视觉评价关联模型方法，包括以下步骤：

步骤1、基于公开的家庭监控数据集，基于改进型非负高斯观测矩阵对视频进行多层压缩感知编码，使其处于视觉隐私保护的状态如图2，具体为；

步骤1-1、利用压缩感知理论中的观测降维，使用改进型非负高斯观测矩阵直接对数据集里的视频进行采样：

其中φ是高斯观测矩阵，φ'是改进型非负高斯观测矩阵；

在实际应用中往往是直接对原始信号进行采样编码，普通的高斯观测矩阵往往包含负值元素，因此这些观测矩阵若直接应用于多层CS采样编码，会使得采样编码过程中像素点与像素点之间产生抵消，从而导致特征丢失，即采样编码得到的图像不能最佳地表征原始图像数据；通过公式(1)所得非负高斯观测矩阵不包含负值，很好解决特征的丢失问题。

步骤1-2：将采样后的视频帧图片以及改进型非负高斯观测矩阵按顺序依次分成多个2×2的矩阵块，然后分别求二者对应的矩阵块的内积，实现压缩感知编码；

步骤1-3：重复步骤1-1及步骤1-2，实现多层压缩感知编码，直至形成视觉上屏蔽效果。

步骤2、利用改进型的SUP-LBP特征算子和IRME算法，对各编码层的隐私保护态视频进行LBP和对比度双特征提取；

自然图像中包含众多的图像处理中所需的特征，LBP特征是现有一种比较常用有效的特征，反映了图像中纹理特征，因其具有旋转不变性和灰度不变性等显著的优点被广泛使用；通过公式(2)和(3)提取视频帧的均匀等价模式LBP(Uniform pattern LBP)特征I_UP，基于图论的视觉显著性算法如图3I_GB的加权，最终通过公式(4)得到的改进型LBP特征直方图的变化趋势值，如图4所示；

其中k是SUP-LBP特征的维度，{h(0),h{1},…,h(58)}代表的是特征的统计直方图，I_UP是均匀等价模LBP特征，I_GB是视觉显著性特征。

灰度梯度在视觉上反应图像的模糊程度，且与对比度呈现是正相关的关系，即随着视隐态层数的增加，图像越模糊灰度梯度值越大，对比度特征值也就越大。现有的对比度特征要么是基于韦伯对比度或者是基于迈克尔逊对比度，韦伯是用于测量在均匀背景看到的单一目标的对比度，而迈克尔逊是用于周期模式的对比度，因此上述的两种方法在复杂的图像中不适用，并且对视频帧样本进行隐私保护处理，发现样本中的噪声会影响对比度测量结果，基于非对称的修正α滤波器对于噪声图像的去噪效果好的优点，采用公式(5)非对称修正α滤波器的统计均值代替一般统计均值，即；

其中，K为MxN大小图像的像素点个数和，按图像的像素点的大小从小到大排列：I₁≤I₂≤…≤I_K，[T_aH]，[T_aL]是在该排列序列中丢弃最大和最小的像素值个数，aH,aL∈[0,0.5]是用于调整设定丢弃最大和最小像素值个数的参数。

结合上述结合对比度模型RME的思想，如公式(6)本实施例中提出了一种基于非对称修正α滤波器对比度测量模型(IRME)，其中I_i,j是图像像素块，是图像像素均值，k₁k₂为图像分块的数目：

步骤3、构建主观评价模型，将主观评价模型及步骤2提取的特征输入支持向量回归(SVR)，得到视频隐私保护质量分数；具体为：

步骤3-1、邀请50位图像视频领域的专业人员根据视频帧是否清晰，内容是否可辩对视频帧的质量进行评估，得到相关主观分数；

步骤3-2、将主观评价模型、提取的LBP特征、对比度特征输入支持向量回归(SVR)，进行训练和测试得到视频帧隐私保护质量分数；

步骤3-3、将步骤3-2得到的视频帧隐私保护质量分数加权平均得到视频隐私保护质量分数。

SVR是一种基于统计学习理论的支持向量算法适用于回归估计以及二元分类的工作，近年来，由于SVR凭借着适用范围广，鲁棒性，以及优秀的泛化能力的优点，其被认为是针对小样本的统计工作以及预测学习的最佳理论，因此被广泛地用于图像的质量评价工作，即从一张图像以及视频帧提取特征向量映射到单一视频帧隐私保护质量分数，在一定范围内，分数越大，隐私保护程度越好。

视频是由众多视频帧进行时序的组合，因此可以看成视频帧即图视频帧来代替原有的视频进行质量评价工作，本发明提出一种使用径向基函数作为核函数的SVR模型回归如公式(7)，输入特征以及模型得到视频帧隐私保护质量分数，再对所得视频帧隐私保护质量分数进行加权平均处理得到视频隐私保护质量分数的方法。

其中，K(v_i,v)为内核函数，其中拉格朗日算符a_i,以及参数b是在训练过程中确定的。

步骤4、采用无监督双层的聚类算法对视觉隐私保护态视频进行关键帧提取，并提出一种CF指标对所述关键帧提取性能进行评价，从而进行关联模型的建立，具体为：

步骤4-1、对编码后的视频提取PHOG特征，并且用仿射传播聚类进行首次聚类，聚类中心产生过程如公式(8)和(9)，所示得到关键帧提取的中间结果：

r^(t)(i，j)←λr^(t-1)(i，j)+(1-λ){s(i，j)-max_j≠j′[a^t-1(i，j′)+s(i，j′)]} (8)

其中r(i,j)是代表矩阵元素，代表第j个样本适合作为第i个样本的类代表点的代表程度,a(i,j)是适选矩阵元素，第i个样本选择第j个样本作为类代表样本的适合程度，s代表的是相似矩阵，如公式(10)所示，j＝arc max{r(i,j)+a(i,j)}时，选择j点为聚类中心，得到τ₁个聚类中心，对应τ₁帧关键帧keyF1＝keyF1_i，i∈[1,...,τ₁]；

b_i是需要计算相似度的视频帧特征，矩阵p(i)是相似度矩阵均值。

步骤4-2、对上所述中间结果提取PHOG-HSV特征，进行稀疏子空间聚类得到最终关键帧结果如图5；

将首层仿射传播聚类(AP)的结果，输入稀疏子空间聚类算法，得到最终关键帧结果，所述稀疏子空间聚类算法模型如公式(11)所示；

稀疏子空间聚类使用l₁范数约束Z,同时避免Z_ii＝0来避免每个数据仅用它自己表示的特殊情况；

步骤4-3、利用压缩率和保真度进行指数加权得到CF值大小来衡量关键帧提取的算法性能；

所述评价指标CF值，如公式(12)所示；

CF＝CR·e^-Fidel (12)

其中CR代表的是压缩率，Fidelity代表的是保真度，K是关键帧数目，N是整个视频的帧数，e为指数加权，如公式(13)和公式(14)所示：

CR(f,kf)＝1-K/N (13)

其中表示原始视频帧序列KF与关键帧序列F中两帧的最大距离，K为关键帧的数目，N是整个视频的帧数；

步骤4-4、将视频隐私保护质量分数与CF值进行Polynomial拟合，得到最终的所需的关联模型。

本发明利用改进型非负高斯观测矩阵对视频进行多层压缩感知采样编码，然后利用显著性均匀等价LBP(SUP-LBP)特征算子和改进型对比度(IRME)算法提取视频帧的LBP特征和对比度特征，最后通过SVR将上述两种特征映射为视频帧隐私保护质量分数，加权综合成视频隐私保护质量分数，形成视频隐私保护质量评价模块；对视隐态视频进行基于AP和稀疏子空间双层聚类的关键帧提取工作，提出CF指标来衡量关键帧有效性，最后将其与视频隐私保护质量评价模块组合成一个关联模型。

利用多层压缩感知编码对视频进行隐私保护，编码层数虽然能对视频隐私保护质量进行一个宏观的评价，但是视频帧的初始质量会随着设备等客观因素发生变化，当前过少的压缩感知编码层数，隐私保护质量的分数较低，衡量提取关键帧算法的CF值相较于原始视频的变化不大，则认为视频不符合隐私保护的要求，同时，过多的压缩感知编码层数，衡量提取关键帧算法的CF值发生显著的变化，这样对于提取关键帧算法的也无实际意义，因此，本发明采用统计模型的方法，来建立视频隐私保护质量与CF值的模型，来平衡二者的关系。本发明在保护视频的隐私同时，同时也不影响后续关键帧的提取工作，具有比较高的实际应用价值。

以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。

Claims (3)

1.针对隐私保护视频关键帧提取的视觉评价关联模型方法，其特征在于，包括以下步骤：

步骤1、对数据集中的视频进行多层压缩感知编码，使其处于视觉隐私保护态；

步骤2、利用改进的SUP-LBP特征算子和改进的IRME算法对视觉隐私保护态视频进行特征提取；具体为：

提取各编码层的隐私保护态视频进行LBP和对比度双特征提取，并使其并联组合，得到SUP-LBP特征直方图：

其中k是SUP-LBP特征的维度，{h(0),h{1},…,h(58)}代表的是特征的统计直方图；

步骤3、构建主观评价模型，将主观评价模型及步骤2提取的特征输入SVR，得到视频隐私保护质量分数；

步骤4、采用无监督双层的聚类算法对视觉隐私保护态视频进行关键帧提取，并提出一种CF指标对所述关键帧提取性能进行评价，从而进行关联模型的建立；

其中，所述的无监督双层的聚类算法的具体实施步骤为：

步骤4-1、对编码后的视频提取PHOG特征，并且用仿射传播聚类进行首次聚类，聚类中心产生过程如公式下方所示，得到关键帧提取的中间结果：

r^(t)(i,j)←λr^(t-1)(i,j)+(1-λ){s(i,j)-max_j≠j'[a^t-1(i,j')+s(i,j')]}

其中r(i,j)是代表矩阵元素，代表第j个样本适合作为第i个样本的类代表点的代表程度,a(i,j)是适选矩阵元素，第i个样本选择第j个样本作为类代表样本的适合程度，λ是阻尼系数，s(i,j)是相似矩阵，t是最大迭代系数；

步骤4-2、对上所述中间结果提取PHOG-HSV特征，进行稀疏子空间聚类得到最终关键帧结果；

步骤4-3、利用压缩率和保真度进行指数加权得到CF值，来衡量关键帧提取的无监督双层的聚类算法的性能；

步骤4-4、将视频隐私保护质量分数与CF值进行Polynomial拟合，得到最终的所需的关联模型。

2.根据权利要求1所述的针对隐私保护视频关键帧提取的视觉评价关联模型方法，其特征在于，步骤1的具体实施步骤为：

步骤1-1、利用压缩感知理论中的观测降维，使用改进型非负高斯观测矩阵直接对数据集里的视频进行采样：

其中φ是高斯观测矩阵，φ'是改进型非负高斯观测矩阵：

步骤1-2：将采样后的视频帧图片以及改进型非负高斯观测矩阵按顺序依次分成多个2×2的矩阵块，然后分别求二者对应的矩阵块的内积，实现压缩感知编码；

步骤1-3：重复步骤1-1及步骤1-2，实现多层压缩感知编码，直至形成视觉上屏蔽效果。

3.根据权利要求1所述的针对隐私保护视频关键帧提取的视觉评价关联模型方法，其特征在于，步骤3的具体实施步骤为：

步骤3-1、若干位评估人员对视频帧的质量进行评估，得到相关主观分数，构建主观评价模型；

步骤3-2、将主观评价模型、提取的特征输入SVR，进行训练和测试得到视频帧隐私保护质量分数；

步骤3-3、将步骤3-2得到的视频帧隐私保护质量分数加权平均得到视频隐私保护质量分数。