CN1975782A - 视频内容分析中感兴趣区域轨迹的校正方法 - Google Patents

Abstract

本发明揭示一种视频内容分析中感兴趣区域轨迹的校正方法。该方法包括：提取视频序列中每一帧的感兴趣区域的步骤，一帧中的每个感兴趣区域可选择性地作为其它帧的参考；将参考感兴趣区域投影到当前帧的步骤；以及通过集中和合并所有投影感兴趣区域以及当前帧的原始感兴趣区域，确定当前帧的一个增强的感兴趣区域，来校正视频序列的感兴趣区域轨迹，使感兴趣区域轨迹平滑的步骤。有利的是，忽略了短期感兴趣区域或噪声，同时还丰富了感兴趣区域，因而，感兴趣区域轨迹的平滑可以改善人们的主观观看感受。

Description

视频内容分析中感兴趣区域轨迹的校正方法

技术领域

本发明涉及视频内容分析技术，且特别是涉及视频内容分析中感兴趣区域轨迹的校正方法。

背景技术

在视频内容分析技术领域中，视觉感兴趣区域是能够快速检测给定场景中令人感兴趣部分的能力。在典型的时空视觉感兴趣区域计算模型中，提取出低级别的空域/时域特征，通过完全以自底向上的方式填充所有特征图来生成有助于识别视觉感兴趣区域的主“显著性图”。识别出图像序列中每帧图像的视觉感兴趣区域，然后找出感兴趣区域轨迹。但是，现有的计算感兴趣区域的方法会出现几个固有的缺陷：1)因为在显著性图中有多个特征在竞争，这些特征的任何轻微变化都会导致结果不同，这意味着这样计算出来的感兴趣区域轨迹会不稳定，不时会闪动；2)感兴趣区域会因为特殊时隙中遮蔽、关键显著程度的位置、或者感兴趣区域边界等原因而完全或部分被忽略；3)会产生噪声或者很短时期的感兴趣区域，当在基于感兴趣区域的视频压缩/流传输或其他应用中采用这些计算感兴趣区域的方法时，这种不平滑的感兴趣区域会导致主观质量下降。

如图1所示，说明的是Itti感兴趣区域模型的总体结构。在L.Itti、C.Koch和E.Niebur“A Model of Saliency-Based Visual Attention for Rapid SceneAnalysis”，IEEE Transactions on Pattern Analysis and MachineIntelligence，Vol.20，No.11，Nov.1998，提出的Itti感兴趣区域模型中，视觉输入首先被分解为一组形态特征图。随后每幅图中的不同空间位置会竞争显著性，这样使得只有局部地突出于其周围环境的空间位置可以继续存在。所有的特征图完全以自底向上的方式填充到主“显著性图”中，用于对整个视觉场景中的局部显著区域进行形态编码。

作为Itti感兴趣区域模型的扩属Y.F.Ma等人考虑了时域特征如Y.F.Ma，L.Lu，H.J.Zhang和M.J.Li，在“A User Attention Model for VideoSummarization”，ACM Multimedia’02，pp.533-542，Dec.2002，所公开的。在这个模型中，提取当前帧和下一帧之间的运动场，并且提取一组运动特征，例如，运动强度、空间连贯性和时间连贯性特征。

用以上方法建立的视觉模型对于特征的变化很敏感，这会导致如下所述感兴趣区域轨迹随着时间变化会不平滑：

(1)图像序列中连续的图像非常类似，观看者在一个时隙期间不会改变他们的视觉焦点，遗憾的是，这些连续图像之间的轻微变化会使计算出的感兴趣区域差别很大；

(2)当一个感兴趣对象变为非感兴趣对象或者被一个非感兴趣对象短期遮蔽时，由于观看者的记忆知识，他不会改变其视觉焦点，而再一次，感兴趣区域模型不能指出这一点；以及

(3)感兴趣区域模型总是会产生短期的感兴趣区域或者噪声，而实际上，短期的感兴趣区域或噪声不能够吸引观看者的注意。

在基于感兴趣区域的视频应用中，例如基于感兴趣区域(“Region ofInterest”(ROI))的视频编码，这种不平滑会导致主观视觉质量下降。在基于兴趣区域的视频编码中，较多的资源被分配给较有吸引力的兴趣区域，因而得到较为清楚的兴趣区域和相对模糊的非兴趣区域。使用不平滑的兴趣区域轨迹，关注于兴趣区域的观看者会注意到变化的质量(不时地变得清楚或模糊)，而导致有不愉快的感受。

因而需要提出一种改善的感兴趣区域轨迹校正方法，减少上述缺陷的影响并使产生的感兴趣区域平滑。

发明内容

为了使通过各种感兴趣区域模型获得的感兴趣区域轨迹平滑，本发明提供了一种基于时域的视频内容分析中感兴趣区域轨迹的校正方法。

在一个方面，本发明提供了一种视频内容分析中感兴趣区域轨迹的校正方法，包括提取视频序列中每一帧的感兴趣区域，一帧中的每个感兴趣区域可选择性地作为其它帧的参考，特征在于该方法进一步包括将每个参考感兴趣区域投影到当前帧；以及通过集中所有投影感兴趣区域以及当前帧的原始感兴趣区域确定当前帧的一个增强感兴趣区域，来校正视频序列的感兴趣区域轨迹，使视频序列的感兴趣区域轨迹平滑。

有利的是，通过时域校正有效地使视频序列的感兴趣区域轨迹平滑，短期的感兴趣区域或噪声被忽略，同时还丰富了感兴趣区域，因而获得基于感兴趣区域的应用中改善的主观观看感受。

在本发明的另一个方面，感兴趣区域轨迹校正方法的进一步特征在于其投影步骤，包括将参考感兴趣区域成像到当前帧；根据估计的运动向量，将成像感兴趣区域移到一个新位置。要被投影到当前帧的参考包括与当前帧最邻近的多个前向参考和多个后向参考。

有利的是，感兴趣区域轨迹的平滑性校正是通过集中和合并所有从多个前向参考和后向参考获得的投影区域以及当前帧的原始感兴趣区域来实现的。

附图说明

图1所示为Itti感兴趣区域模型的大致结构；

图2描述的是根据本发明基于时域的感兴趣区域轨迹校正实施例；

图3描述的是根据本发明从前一帧估计一帧中的感兴趣区域模型；以及

图4描述的是根据本发明前向参考和后向参考的投影过程。

具体实施方式

本发明提供了一种基于时域的视频内容分析中感兴趣区域轨迹的校正方法，目的是使通过各种感兴趣区域模型获得的感兴趣区域轨迹平滑，本发明提出一种随时间变化产生稳定感兴趣区域的方案。

当图像的感兴趣区域被找到时，可以用估计的运动来投影它在连续图像中的相应区域，预测区域用于增强由已知的感兴趣区域模型计算出的这些连续图像的感兴趣区域。在这种情况下，第一个被找到的感兴趣区域作为参考，而连续图像从参考感兴趣区域预测出它们的感兴趣区域，很显然，这种预测是前向参考。我们可以用同样的方式定义后向参考。这样通过集中和合并所有投影感兴趣区域以及前向参考和后向参考的原始感兴趣区域进行时域校正，使感兴趣区域平滑。

根据本发明的一种模式，要解决的问题可以表示为：

输入：具有已知的感兴趣区域模型M的视频序列V＝{V0，V1，V2…Vn-1，Vn}；

输出：具有平滑的轨迹的感兴趣区域A＝{A0，A1，A2…An-1，An}。

用给定的感兴趣区域模型M，我们可以用A’k＝M(Vk)计算出感兴趣区域A’＝{A’0，A’1，A’2…A’n-1，A’n}的初始值。本发明的目的旨在使不稳定的A’平滑。

图2说明的是简化示例中本发明感兴趣区域轨迹的校正方法。V_i表示当前帧，V_i-1是V_i的前向参考，V_i+1是V_i的后向参考。如图2所示，每一帧中的黑色实线对象是由已知的感兴趣区域模型M计算出来的相对帧，即，V_i-1的感兴趣区域是脸+圆圈+月亮，V_i的感兴趣区域为脸+太阳，V_i+1的感兴趣区域为脸+圆圈+心。对于每个参考，本发明采取以下的步骤：首先，使感兴趣区域从参考V_i-1和V_i成像到当前帧V_i中，如当前帧V_i中虚线对象所示；随后，根据估计的运动向量将这个成像感兴趣区域移到新的位置，如图2的箭头所示，当前帧V_i中的接收区域称为参考感兴趣区域的投影。最后，所有参考感兴趣区域的投影感兴趣区域与当前帧的原始感兴趣区域被集中和合并及优化，以便获得当前帧增强后的V_i感兴趣区域。如图2中所描述的，校正的结果在右上角显示，其中在原先的当前帧中丢掉的“圆圈”被在增强后的当前帧V_i中找到，而所有的噪声/短期感兴趣区域，例如，“月亮”“太阳”和“心”被忽略。

通过前面的描述，本发明可以被分成两个步骤：首先将用于每个参考的感兴趣区域投影到当前帧；随后，通过集中和合并所有投影感兴趣区域和当前帧V_i原先的感兴趣区域，确定当前帧中增强后的的感兴趣区域，以便使感兴趣区域轨迹平滑。

图3描述的是从MV(j，i-1)到MV(j，i)的前向参考估计。如图3中所示，从当前帧V_i中的宏块MB(阴影块)来看，该MB是根据MV(i-1，i)从前向参考帧V_i-1的新位置得到的。在该新位置中，该MB会覆盖V_i-1四个MB。将四个被覆盖的MB表示为MB_k，t、MB_k+1，t、MB_k，t+1和MB_k+1，t+1，而p_k，t、p_k+1，t、p_k，t+1和p_k+1，t+1分别表示前向参考帧V_i-1中原始MB覆盖相关MB的比例。随后阴影块MB的运动向量被定义为四个被覆盖的MB的加权组合(j＜i)，如下所示，

MV(j，i)[k₀，t₀]＝p_k，t*MV(j，i-1)[k，t]+p_k+1，t*MV(j，i-1)[k+1，t]+p_k，t+1*MV(j，i-1)[k，t+1]+p_k+1，t+1*MV(j，i-1)[k+1，t+1]；

k＝ceil(k₀+MV_x(i-1，i)[k₀，t₀)；

t＝ceil(t₀+MV_y(i-1，i)[k₀，t₀])；

P_m，n＝abs(m-(k₀+MV_x(i-1，i)[k₀，t₀]))*abs(n-(t₀+MV_y(i-1，i)[k₀，t₀]))；

其中，MV_x、MV_y分别表示MV在x轴和y轴的投影值，MV(j，i)[k，t]表示MV(j，i)中的第t行和第k列。由此类推，运动向量场MV(j，i)被定义为j＜i，MV(i，i)＝0。

如此定义的运动向量场MV(j，i)，可以将每个参考感兴趣区域投影到当前帧V_i。前向参考和后向参考的投影过程与图4中所示的不同(V_i是当前帧，而V_i-det1是前向参考，V_i+det2是后向参考)。

如此处理前向参考投影，使V_i的每个MB都来自于V_i-det1的位置，根据MV(i-det₁，i)，可以覆盖V_i-det1的4个MB。每个用适当的加权增强了V_i中被考虑的MB。如图4所示的一个例子中，方块B的参考分别以p₁，p₂，p₃，p₄的比例覆盖B₁、B₂、B₃和B₄。其中f(B，i)表示B是当前帧V_i的感兴趣区域的概率，f(B，i)通过用参考帧V_i-det1和 $\mathrm{\α}\·\mathrm{\ρ}\left({\det }_1\right)\·\underset{j=1}{\overset{4}{\mathrm{\Σ}}}(p_j\·f(B_j,i-{\det }_1))$ 来增强，其中α是一个常数，ρ(d)是衰减比，如下一段所描述。

如此处理后向参考投影，使根据MV(i，i+det2)从当前帧V_i的位置得到的V_i+det2中的每个MB会覆盖V_i的4个MB，由V_i+det2的MB每个用适当的加权增强。如图4所示，B’是V_i中相关阴影块的参考，分别以p₁’，p₂’，p₃’，p₄’的比例覆盖块B₁’，B₂’，B₃’和B₄’。然后f(B_j’，i)通过用参考V_i+det2和α·ρ(det₂)·P_j′·f(B′，i+det₂)来增强，其中j＝1，2，3，4。

图4描述前向/后向参考投影的过程，参考的所有投影感兴趣区域用于以衰减比率ρ(d)来增强当前帧，其中d是从参考到当前帧的距离。参考帧与当前帧越靠近，投影感兴趣区域对当前帧的感兴趣区域影响越大。从而，ρ(d₁)＜ρ(d₂)时，d₁＞d₂，一种可能的解决方案是ρ(d)＝1-d/k，适用于某个常数K。这种增强的感兴趣区域可以产生所要的结果。

较好的参数选择会产生较好的感兴趣区域平滑。的确，较好的是在视频序列中选择参考。我们不需要应用其他镜头边界检测方法。我们需要一种用由已知的感兴趣区域模型M计算出不同感兴趣区域的显著性来表示我们需要的镜头边界。优选的是，在视频序列中，选择与当前帧最接近的多个前向参考和后向参考。

本发明的视频内容分析中感兴趣区域的校正方法具有以下优点：

-提供了一种简单但有效的方法生成具有平滑轨迹的感兴趣区域；

-通过时域校正，忽略了短期感兴趣区域或噪声；并且

-因为采用了时域信息，所以还丰富了感兴趣区域。

根据本发明的视频内容分析中运动轨迹的平滑方法会大大改善基于感兴趣区域的应用(例如比特分配)中的视觉感受。

Claims (3)

1、视频序列中感兴趣区域轨迹的校正方法，包括提取视频序列中每一帧的感兴趣区域的步骤，一帧中的每个感兴趣区域可选择性地作为其他帧的参考；

将每个参考感兴趣区域投影到当前帧的步骤；以及

确定当前帧的增强的感兴趣区域的步骤，

特征在于该投影步骤包括以下子步骤：

将感兴趣区域从参考帧映射到当前帧的步骤；以及

根据参考感兴趣区域的估计运动向量，将当前感兴趣区域移到一个新位置的步骤；

确定当前帧的增强的感兴趣区域的确定步骤是通过，集中和合并所有投影感兴趣区域以及当前帧的原始区域，来校正视频序列的感兴趣区域轨迹，使视频序列的感兴趣区域轨迹平滑来完成的。

2、权利要求1的方法，特征在于被投影到当前帧的参考包括前向参考和后向参考。

3、权利要求2的方法，特征在于与当前帧最靠近的多个前向参考和多个后向参考被选择投影到当前帧。