CN103686178A - 一种基于hvs的视频感兴趣区域提取方法 - Google Patents

Abstract

本发明公开了一种基于HVS的视频感兴趣区域提取方法，首先根据视频的帧间相关性和帧内相关性分别度量视频的时域信息量和空域信息量，然后采用特征融合策略将分别代表视频时域特征和空域特征的时域信息量和空域信息量融合获得视频信息量分布，再以基于人眼视觉系统（HVS）的视觉迟滞映射模型将视频信息量映射为视觉显著度，最后将视频的视觉显著度经过自适应阈值判断获得视频的感兴趣区域。本发明提出的基于HVS特性映射模型能将视频特征转化为符合人眼视觉特性的视频显著度，同时采用信息量度量视频的时域和空域特征，算法复杂度低且精度较高。

Description

一种基于HVS的视频感兴趣区域提取方法

技术领域

本发明涉及一种视频信号的处理方法，特别涉及一种基于HVS的视频感兴趣区域提取方法。 

背景技术

视频服务的终端用户对视频质量的评价是最可靠的结果。然而这种主观评价方法，因其不具备实时性、耗时长并且过程繁琐。实际研究和工程中会使用多种结合了人眼视觉特性的客观评价方法来模拟主观评价效果。通过这样的途径获得与主观评价相匹配的结果。 

人眼视觉特性包括视觉空间特性和时间特性，这是由人眼的结构特性决定的。神经生物学的观点认为，人眼视觉敏感度决定了图像和视频在人眼中的感官质量变化。在静止的图像中，人眼视觉敏感度主要体现在空间特性上，常用的人眼视觉特性为视觉非线性、对比敏感度、多通道结构和掩盖效应等。而对时间连续的视频序列，人眼视觉会还有时间特性上的敏感性，视频质量评价中用运动检测等方法来体现这种时间上的敏感性。同时，这些人眼视觉系统（HVS）的生理的和心理视觉的显著特征，决定了人眼对视频序列中多个场景的感兴趣程度会不同。换言之，人眼会将注意力集中在少数几个显著的视觉对象上，这些视觉对象被称为感兴趣区域（ROI）。我们认为视频中感兴趣区域的存在，是人眼视觉特性的时间和空间特性的综合体现。首先，将ROI这种HVS特性加入客观评价方法，能显著提高评价结果的可靠性和真实性，即更符合主观评价结果。其次，基于ROI加权策略的客观评价方法，只对ROI内的视觉对象进行质量评估，能大大降低算法复杂度。因此，如何提取ROI是一个很值得关注的问题。 

视频感兴趣区域是视觉感兴趣程度大于某个阈值的视觉对象的集合。现有很多方法用于表示视觉感兴趣程度。为了获得视觉感兴趣映射图，有些方法采用了运动检测，有些方法计算视频帧的空间特性。然而，ROI是HVS的时间和空间特征的综合体现。仅计算了空间或者时间感兴趣程度的方法，所获得的感兴趣区域精确度较低。另外，有的方法采用综合了多种视觉特征的概率密度函数来表示视觉感兴趣程度，这类方法需要在高维空间中计算，十分复杂。 

视频或图像中一个区域的视觉信息量大小能影响其视觉显著程度。1991年T.N.Topper提出用香农自信息量来度量静止图像的显著度。而图像的显著度只是空间性的显著度，对于 视频来说，需要加入时域显著度，并且将时域空域显著度恰当结合才能提取到更准确的感兴趣区域。已有一种基于视觉信息量的ROI提取方法，其模型中将视频表示为时空域块的集合，巧妙地表示了每块区域的时空显著度，从而能得到基于视觉信息的ROI映射。然而，视觉显著度与感兴趣程度的映射并非为线性的，比如两个重要的人眼视觉特性：运动敏感性和视觉迟滞性，这两个特性将对视频显著度造成影响。 

本发明从信息论的角度，基于视频的帧间相关性和帧内相关性，提取出视频的时域信息量和空域信息量，并以一定策略加权获得视频视觉信息量。同时，采用了基于HVS的非线性映射，将视觉信息量映射为视觉显著度。最后，使用自适应阈值对视觉显著度进行判断，获得的感兴趣区域与主观结果一致性较高。 

发明内容

本发明所要解决的技术问题是提供一种以较低的算法复杂度、提取的感兴趣区域精度较高的基于HVS的视频感兴趣区域提取方法。 

本发明所述的一种基于HVS的视频感兴趣区域提取方法，该方法至少包括如下的步骤： 

步骤1：将视频时域特征和空域特征分别表示为视频的时域信息量和空域信息量，根据视频的帧间相关性和帧内相关性计算出时域信息量I_temporal和空域信息量I_spatial； 

步骤2：采用特征融合策略将视频时域信息与空域信息加权，如下式计算视频信息量； 

I＝αI_temporal+βI_spatial

其中系数α与β取决于视频序列的运动复杂度和空间复杂度的相对强度； 

步骤3：定义视频特征为视频信息量，定义人眼实际观察到的视频特征为视觉显著度，根据下式的视觉迟滞性映射模型可以由视频信息量获得视频的视觉显著度； 

S＝F(I) 

步骤4：依据视频序列当前帧的视觉显著度分布，获取一个自适应阈值，将该帧视觉显著度二值化，从而提取当前帧的视觉感兴趣区域。 

本发明所述的一种基于HVS的视频感兴趣区域提取方法，步骤1中的视频时域信息量的计算其步骤为： 

步骤11：将视频序列中出现在t时刻的视频帧分为R×C个尺寸为8×8的视频子块，其中空间位置为(x,y)的子块定义为B(x,y,t)，将空间位置相同的具有相关性的N个视频子块组 成的集合表示为V(x,y,t)＝{B(x,y,t),B(x,y,t-1),...,B(x,y,t-N+1)}； 

步骤12：将连续V(x,y,t)的N个元素进行DCT变换得矩阵E，则块B(x,y,t)的一个DCT分量可表示为E(i,j,t)，t＝1,2,...,N； 

步骤13：N个块的第(i,j)个分量组成的矩阵为E(i,j,:)，求该矩阵的概率矩阵P_i,j，块B(x,y,t)的第(i,j)个分量取值的概率为P_i,j(t)； 

步骤14：视频子块B(x,y,t)在t时刻这一帧视频中出现的概率为条件概率  $P\left(B(x,y,t)\right|V(x,y,t-1))=\underset{i=1}{\overset{R}{\mathrm{\Π}}}\underset{j=1}{\overset{C}{\mathrm{\Π}}}{P}_{i,j}\left(t\right),$ 根据香农信息论块B(x,y,t)包含的时域信息量为  $I_{\mathrm{temporal}}\left(B(x,y,t)\right)=-{\log }_2\left(P\left(B(x,y,t)\right|V(x,y,t-1))\right)=-{\log }_2\underset{i=1}{\overset{R}{\mathrm{\Π}}}\underset{j=1}{\overset{C}{\mathrm{\Π}}}{P}_{i,j}\left(t\right).$

本发明所述的一种基于HVS的视频感兴趣区域提取方法，步骤1中的视频空域信息量计算其步骤为： 

步骤15：将t时刻的这一帧视频所包含的时间事件表示为F(t)，解释为视频帧F(t)上所有其他位置视频子块的集合； 

步骤16：将t时刻帧F(t)逐块进行DCT变换得矩阵D，块B(x,y,t)的一个DCT分量可表示为D(x,y,i,j)，其中(x,y)表示块的帧内空间位置，(i,j)表示块内DCT分量位置，i＝1,2,...,R;j＝1,2,...,C； 

步骤17：所有块的第(i,j)个分量组成的矩阵为D(:,:,i,j)，求该矩阵的概率矩阵P_i,j（即矩阵值的概率值组成的新矩阵），块B(x,y,t)的第(i,j)个分量取值的概率为P_i,j(x,y)； 

步骤18：这一帧视频中视频子块B(x,y,t)出现的概率表示为条件概率 块B(x,y,t)包含的空域信息量表示为下式。 

$I_{\mathrm{spatial}}\left(B(x,y,t)\right)=-{\log }_2\left(P\left(B(x,y,t)\right|F\left(t\right))\right)=-{\log }_2\underset{i=1}{\overset{R}{\mathrm{\Π}}}\underset{j=1}{\overset{C}{\mathrm{\Π}}}{P}_{i,j}(x,y)$

本发明所述的一种基于HVS的视频感兴趣区域提取方法，步骤2中的采用特征融合策略将视频时域信息与空域信息加权，计算视频信息量其步骤为： 

步骤21：分别按照如下公式将所求得时域和空域信息量进行线性归一化； 

$I_{\mathrm{norm}}=255\frac{I-I_{\min }}{I_{\max }-I_{\min }}$

步骤22：如下式将归一化后的时域信息和空域信息进行加权； 

I＝αIt_emporal+βI_spatial

本发明所述的一种基于HVS的视频感兴趣区域提取方法，步骤3中的根据视觉迟滞性映射模型，由视频信息量获得视频视觉显著度其步骤为： 

步骤31：定义人眼所能察觉的信息量下限为L_lower，最大信息量为L_upper； 

步骤32：根据双曲正切函数的特征和人眼视觉敏感性，我们采用映射模型S＝λ*th(μ·I-ξ)+γ,L_lower＜I＜L_upper，将视频信息量映射为视觉显著度。 

本发明所述的一种基于HVS的视频感兴趣区域提取方法，步骤4中的根据视频视觉显著度提取感兴趣区域其步骤为： 

步骤41：通过视觉显著度自适应的方法来获取阈值

步骤42：将视频帧中视觉显著度值大于自适应阈值Th的区域取为感兴趣区域 

与现有的技术相比，本发明的优点在于考虑到了视频的相关性以及人眼视觉特性，能够有效地提取出视频中的人眼感兴趣区域，首先在计算视频的视觉信息量时，充分考虑了视频的帧间相关性和帧内相关性，算法复杂度较低，然后提出了时域和空域的特征融合策略，将视觉显著度统计从图像扩展到视频中，最后本发明采用的视觉迟滞性映射模型将信息量与显著度的映射变得更符合人眼视觉特性，能获得更符合主观感受的感兴趣程度。 

附图说明

图1为本发明方法的总体流程框图； 

图2为视频当前帧时域信息量的计算方法流程图； 

图3为视频当前帧空域信息量的计算方法流程图； 

图4为由视频信息量求视觉显著度的映射曲线图； 

图5a为测试序列“Grandma”彩色视频中的第100帧彩色视频帧； 

图5b为测试序列“Grandma”彩色视频中的第100帧彩色视频帧本发明时域特征提取后的时域信息量分布图； 

图5c为测试序列“Grandma”彩色视频中的第100帧彩色视频帧本发明空域特征提取后的空域信息量分布图； 

图5d为测试序列“Grandma”彩色视频中的第100帧彩色视频帧本发明特征融合后的视频信息量分布图； 

图6a为测试序列“Claire”彩色视频中的第40帧彩色视频帧； 

图6b为测试序列“Claire”彩色视频中的第40帧彩色视频帧本发明时域特征提取后的时域信息量分布图； 

图6c为测试序列“Claire”彩色视频中的第40帧彩色视频帧本发明空域特征提取后的空域信息量分布图； 

图6d为测试序列“Claire”彩色视频中的第40帧彩色视频帧本发明特征融合后的视频信息量分布图； 

图7a为测试序列“News”彩色视频中的第110帧彩色视频帧； 

图7b为测试序列“News”彩色视频中的第110帧彩色视频帧本发明未经过视觉迟滞性映射提取的感兴趣区域； 

图7c为测试序列“News”彩色视频中的第110帧彩色视频帧本发明经过视觉迟滞性映射提取的感兴趣区域； 

图8a为测试序列“Highway”彩色视频中的第450帧彩色视频帧； 

图8b为测试序列“Highway”彩色视频中的第450帧彩色视频帧本发明未经过视觉迟滞性映射提取的感兴趣区域； 

图8c为测试序列“Highway”彩色视频中的第450帧彩色视频帧本发明经过视觉迟滞性映射提取的感兴趣区域。 

具体实施方式

以下结合附图实施例对本发明做进一步详细描述。 

本发明的基于HVS的视频感兴趣区域的提取方法，主要联合利用了视频的时域特征和空域特征，并用信息量来度量视频特征，同时采用视觉迟滞性模型来将视频特征映射为人眼的视觉显著度，以此作为视频感兴趣区域提取的依据。以视频序列“Grandma”和“Claire”为例，分别说明本发明步骤1的时域特征和空域特征度量方法，以及特征融合方法。以视频序列“News”和“Highway”为例，说明本发明步骤5所述的视觉迟滞性映射模型，以及感兴 趣区域提取结果。本发明的总体处理流程框图如图1所示，具体包括以下步骤： 

步骤1：将视频时域特征和空域特征分别表示为视频的时域信息量和空域信息量，根据视频的帧间相关性和帧内相关性计算出时域信息量I_temporal和空域信息量I_spatial，视频特征度量方法，如图2和图3所示分别为时域特征和空域特征的计算流程。 

步骤11：如图2所示，将视频当前帧分为R×C个尺寸为8×8的视频子块，取空间位置为(x,y)的子块为B(x,y,t)，将空间位置相同的具有相关性的N个视频子块组成的集合表示为V(x,y,t)＝{B(x,y,t),B(x,y,t-1),...,B(x,y,t-N+1)}； 

步骤12：将连续V(x,y,t)的N个元素进行DCT变换得矩阵E，则块B(x,y,t)的一个DCT分量可表示为E(i,j,t)，t＝1,2,...,N； 

步骤13：N个块的第(i,j)个分量组成的矩阵为E(i,j,:)，求该矩阵的概率矩阵P_i,j，块B(x,y,t)的第(i,j)个分量取值的概率为P_i,j(t)； 

步骤14：视频子块B(x,y,t)在t时刻这一帧视频中出现的概率为条件概率 

根据香农信息论块B(x,y,t)包含的时域信息量为  $I_{\mathrm{temporal}}\left(B(x,y,t)\right)=-{\log }_2\left(P\left(B(x,y,t)\right|V(x,y,t-1))\right)=-{\log }_2\underset{i=1}{\overset{R}{\mathrm{\Π}}}\underset{j=1}{\overset{C}{\mathrm{\Π}}}{P}_{i,j}\left(t\right),$ 得到每个视频子块的时间信息量，即能得到当前视频帧的时间信息分布图，图5a为测试序列“Grandma”彩色视频中的第100帧彩色视频帧，图6a为测试序列“Claire”彩色视频中的第40帧彩色视频帧，图5b给出了测试序列“Grandma”彩色视频中的第100帧彩色视频帧本发明时域特征提取后的时域信息量分布图，图6b给出了测试序列“Claire”彩色视频中的第40帧彩色视频帧本发明时域特征提取后的时域信息量分布图； 

步骤15：如图3所示，将t时刻的这一帧视频所包含的时间事件表示为F(t)，解释为视频帧F(t)上所有其他位置视频子块的集合； 

步骤16：将t时刻帧F(t)逐块进行DCT变换得矩阵D，块B(x,y,t)的一个DCT分量可表示为D(x,y,i,j)，其中(x,y)表示块的帧内空间位置，(i,j)表示块内DCT分量位置，i＝1,2,...,R;j＝1,2,...,C； 

步骤17：所有块的第(i,j)个分量组成的矩阵为D(:,:,i,j)，求该矩阵的概率矩阵P_i,j（即矩阵值的概率值组成的新矩阵），块B(x,y,t)的第(i,j)个分量取值的概率为P_i,j(x,y)； 

步骤18：块B(x,y,t)的空间条件概率块B(x,y,t)的空间信息量为

图5c给出了测试序列“Grandma”彩色视频中的第100帧彩色视频帧本发明空域特征提取后的空域信息量分布图，图6c给出了测试序列“Claire”彩色视频中的第40帧彩色视频帧本发明空域特征提取后的空域信息量分布图。 

步骤2：采用特征融合策略将视频时域信息与空域信息加权，如下式计算视频信息量； 

I＝αI_temporal+βI_spatial

其中系数α与β取决于视频序列的运动复杂度和空间复杂度的相对强度； 

步骤21：分别按照如下公式将所求得时域和空域信息量进行线性归一化； 

$I_{\mathrm{norm}}=255\frac{I-I_{\min }}{I_{\max }-I_{\min }}$

步骤22：如下式将归一化后的时域信息和空域信息进行加权，实例中系数取为0.5，0.5，图5d给出了测试序列“Grandma”彩色视频中的第100帧彩色视频帧本发明特征融合后的视频信息量分布图，图6d给出了测试序列“Claire”彩色视频中的第40帧彩色视频帧本发明特征融合后的视频信息量分布图。 

I＝αI_temporal+βI_spatial

步骤3：根据视觉迟滞性映射模型如图4，由视频信息量获得视频视觉显著度其步骤为： 

步骤31：定义人眼所能察觉的信息量下限为L_lower，最大信息量为L_upper，实例中分别取为20和200； 

步骤32：根据双曲正切函数的特征和人眼视觉敏感性，我们采用映射模型S＝λ*th(μ·I-ξ)+γ,L_lower＜I＜L_upper，将视频信息量映射为视觉显著度。 

步骤4：根据视频视觉显著度提取感兴趣区域其步骤为： 

步骤41：通过视觉显著度自适应的方法来获取阈值

步骤42：将视频帧中视觉显著度值大于自适应阈值Th的区域取为感兴趣区域，图7a为 测试序列“News”彩色视频中的第110帧彩色视频帧，图8a为测试序列“Highway”彩色视频中的第450帧彩色视频帧，图7b给出了测试序列“News”彩色视频中的第110帧彩色视频帧本发明未经过视觉迟滞性映射提取的感兴趣区域，图8b给出了测试序列“Highway”彩色视频中的第450帧彩色视频帧本发明未经过视觉迟滞性映射提取的感兴趣区域，图7c给出了试序列“News”彩色视频中的第110帧彩色视频帧本发明经过视觉迟滞性映射提取的感兴趣区域，8c给出了测试序列“Highway”彩色视频中的第450帧彩色视频帧本发明经过视觉迟滞性映射提取的感兴趣区域，图7c相比7b，图8c相比8b，所提取的感兴趣区域冗余度降低，精度更高。 

Claims (6)

1.一种基于HVS的视频感兴趣区域提取方法，其特征在于，该方法至少包括如下的步骤： 

步骤1：将视频时域特征和空域特征分别表示为视频的时域信息量和空域信息量，根据视频的帧间相关性和帧内相关性计算出时域信息量I_temporal和空域信息量I_spatial； 

步骤2：采用特征融合策略将视频时域信息与空域信息加权，如下式计算视频信息量； 

I＝αI_temporal+βI_spatial

其中系数α与β取决于视频序列的运动复杂度和空间复杂度的相对强度； 

步骤3：定义视频特征为视频信息量，定义人眼实际观察到的视频特征为视觉显著度，根据下式的视觉迟滞性映射模型可以由视频信息量获得视频的视觉显著度； 

S＝F(I) 

步骤4：依据视频序列当前帧的视觉显著度分布，获取一个自适应阈值，将该帧视觉显著度二值化，从而提取当前帧的视觉感兴趣区域。 

2.根据权利要求1所述的一种基于HVS的视频感兴趣区域提取方法，其特征在于，步骤1中的视频时域信息量的计算，其步骤为： 

步骤11：将视频序列中出现在t时刻的视频帧分为R×C个尺寸为8×8的视频子块，其中空间位置为(x,y)的子块定义为B(x,y,t)，将空间位置相同的具有相关性的N个视频子块组成的集合表示为V(x,y,t)＝{B(x,y,t),B(x,y,t-1),...,B(x,y,t-N+1)}； 

步骤12：将连续V(x,y,t)的N个元素进行DCT变换得矩阵E，则块B(x,y,t)的一个DCT分量可表示为E(i,j,t)，t＝1,2,...,N； 

步骤13：N个块的第(i,j)个分量组成的矩阵为E(i,j,:)，求该矩阵的概率矩阵P_i,j，块B(x,y,t)的第(i,j)个分量取值的概率为P_i,j(t)； 

步骤14：视频子块B(x,y,t)在t时刻这一帧视频中出现的概率为条件概率 

根据香农信息论块B(x,y,t)包含的时域信息量为 

3.根据权利要求1所述的一种基于HVS的视频感兴趣区域提取方法，其特征在于，步骤1中的视频空域信息量计算，其步骤为： 

步骤15：将t时刻的这一帧视频所包含的时间事件表示为F(t)，解释为视频帧F(t)上所有其他位置视频子块的集合； 

步骤16：将t时刻帧F(t)逐块进行DCT变换得矩阵D，块B(x,y,t)的一个DCT分量可表示为D(x,y,i,j)，其中(x,y)表示块的帧内空间位置，(i,j)表示块内DCT分量位置，i＝1,2,...,R;j＝1,2,...,C； 

步骤17：所有块的第(i,j)个分量组成的矩阵为D(:,:,i,j)，求该矩阵的概率矩阵P_i,j（即矩阵值的概率值组成的新矩阵），块B(x,y,t)的第(i,j)个分量取值的概率为P_i,j(x,y)； 

步骤18：这一帧视频中视频子块B(x,y,t)出现的概率表示为条件概率 

块B(x,y,t)包含的空域信息量表示为下式。 

。

4.根据权利要求1所述的一种基于HVS的视频感兴趣区域提取方法，其特征在于，步骤2中的采用特征融合策略将视频时域信息与空域信息加权，计算视频信息量，其步骤为：步骤21：分别按照如下公式将所求得时域和空域信息量进行线性归一化； 

步骤22：如下式将归一化后的时域信息和空域信息进行加权； 

I＝αIt_emporal+βI_spatial。

5.根据权利要求1所述的一种基于HVS的视频感兴趣区域提取方法，其特征在于，步骤3中的根据视觉迟滞性映射模型，由视频信息量获得视频视觉显著度，其步骤为： 

步骤31：定义人眼所能察觉的信息量下限为L_lower，最大信息量为L_upper； 

步骤32：根据双曲正切函数的特征和人眼视觉敏感性，我们采用映射模型S＝λ*th(μ·I-ξ)+γ,L_lower＜I＜L_upper，将视频信息量映射为视觉显著度。 

6.根据权利要求1所述的一种基于HVS的视频感兴趣区域提取方法，其特征在于，步骤4中的根据视频视觉显著度提取感兴趣区域，其步骤为： 

步骤41：通过视觉显著度自适应的方法来获取阈值

步骤42：将视频帧中视觉显著度值大于自适应阈值Th的区域取为感兴趣区域。 

Images