CN101621636B - 基于视觉注意力模型的广告标志自动插入和变换方法及系统 - Google Patents

Abstract

一种基于视觉注意力模型的广告标识自动插入和变换方法及系统，其包括：首先，基于所构建的视觉注意力模型预测用户对视频每帧各区域的兴趣区域和对各帧的关注程度；然后，根据用户对各帧的关注程度曲线来确定插入广告的时间点，并通过基于预测出的注意力分布来评价在各区域插入广告的合适程度，进而获取可供广告插入的候选区域序列，并将广告插入到对视频内容影响不大的区域；最后，根据预测出的注意力分布将广告标志插入到合适的时间点和位置，并对其进行多种特征变换，以使其能够重复吸引用户或观众的注意力。根据本发明可以有效进行广告标识的自动插入和变换，并使所插入的广告标识在不影响正常观看的情况下能够重复吸引人的注意力。

Description

基于视觉注意力模型的广告标志自动插入和变换方法及系统

技术领域

本发明涉及一种图像和视频处理方法，尤其涉及一种基于视觉注意力模型的广告标志自动插入和变换方法及系统。

背景技术

随着视频广播技术的迅速发展，视频广播以及视频文件出现了爆炸式的增长；与此同时，在视频广播和视频文件中插入相应的广告标志进行广告宣传的方法也得到了广泛应用。例如，在常见的视频广播网站(如“优酷网”、“土豆网”等)浏览视频广播时，一般会在视频节目的右下角或右上角里添加相应的广告网站标志。在观看电视节目时，也会经常看到叠加在电视视频节目上的有关节目赞助商的标志。然而，如附图1(a)所示，这种标志一般叠加在视频节目的固定位置，而且常常只在刚开始观看该视频节目的时候能够吸引用户的注意力。由于这些广告标志无法提供更多的观众感兴趣信息，随着视频观看时间的增长，往往作为背景区域被观众忽略掉，因此，很难起到充分的广告宣传作用。为了增强叠加广告标志的宣传作用，需要根据视频内容选择广告标志的插入时间、插入内容以及插入方式，以使广告标志能够不断引起观众注意，从而获得更加有效的宣传效果。如附图1(b)，图1(c)和图1(d)所示，通过对插入的广告标志进行平移、缩放和颜色变换，可以起到在不影响观众对主要内容观看的前提下，吸引观众的注意力。

目前，在视频序列中插入广告标志主要是通过检测预定义的区域并在其上叠加广告标识的方法实现的。例如，专利申请“基于事件检测的体育节目中虚拟广告自动插入方法”(申请号：200310116045.7)中，针对体育比赛进行事件检测，通过该事件检测进行比赛场地分割，并在不同的事件场景下对不同的预定义的区域插入虚拟广告。专利申请“将附加内容插入视频的方法和装置”(申请号：200510084584.6)中，则是以在体育比赛中插入广告内容为实施例描述了一种在视频中插入附加内容的方法和系统。在现有的这些插入广告标识的方法中，通常是通过检测镜头边缘来确定各镜头的镜头属性，从而计算单帧或镜头的相关参考值，并根据所计算出的相关参考值来确定插入广告的时间；然后，根据对区域分割的结果确定广告插入的位置，并根据目标区域的大小来确定插入标志、字幕或者视频片段。

这些现有技术通常是通过检测预定义的场景来确定插入广告的时间，并通过预定的规则来确定广告插入的位置和内容。一般来说，现有广告插入方法存在以下不足：

1)基于预定义的场景确认插入时间和位置的方法难以具有推广性。对于有固定模式的视频，如体育比赛等，容易定义有限的场景选择性地进行广告插入；但对泛化的视频来说，如电视剧、新闻等，很难预先定义适合广告插入的场景。因此，需要一种确定广告插入时间和位置的普适方法。

2)不能保证广告能够重复吸引观众的注意力。一般来说，直接的广告插入并不能保证能够重复多次吸引用户的注意力。例如，如果在一个静态场景中仅仅插入静态的标志、字幕等，那么就只能在视频广播开始时吸引用户的注意力；随着观众对广告区域的熟悉，就会逐渐忽略掉这些广告区域。总的来说，突发的变换或者能够持续提供新信息的位置更能吸引用户的注意力，这就需要通过对所插入的广告标志进行自动变换，以便引起观众的持续关注。

由以上分析可知，为了在不影响用户观看的条件下对任意内容的视频确定插入广告标志的时间和位置，需要构建符合用户的视觉心理学特征的用户兴趣模型，以便实现观众对任意视频内容的关注程度与关注位置的预测。此外，为了确保在观众对视频原始内容不感兴趣的情况下，广告标志能够持续地吸引观众的注意力，需要一种广告标志自动插入和变换方法。

发明内容

为了克服现有技术的不足，本发明所解决的技术问题是：在不影响用户观看的条件下将广告标志自动插入到任意内容的视频中；同时在观众对视频原始内容不感兴趣的情况下对广告标志进行自动变换以使其能够持续地吸引观众的注意力。

本发明提供一种基于视觉注意力模型的广告标志自动插入和变换方法。该方法主要包括以下几个步骤：

步骤1根据用户的视觉注意力模型，预测用户对视频每帧各区域的感兴趣程度以及对各帧的关注程度；

步骤2根据预测出的各帧的关注程度曲线，确定广告插入的时间点，所述广告插入的时间点具体是通过下述方法得到：根据预定义的广告宣传效果要求来计算阈值，然后选取所有所受关注程度小于此阈值的帧来作为候选的广告插入时间点；

步骤3对可以插入广告的帧，根据预测出的对每帧各区域的感兴趣程度，选择可供广告插入的候选区域序列，其中，所述可供广告插入的候选区域序列生成是：通过关键帧中各区域的面积、位置以及预测出的对各区域的注意力分布来计算出各区域插入广告标志的合适程度，进而对各区域根据其插入广告标志合适程度进行排序，从而得到可供广告插入的候选区域序列；

步骤4根据用户的视觉注意力模型，对广告标志进行变换以确保其为最显著区域，并将变换后的广告标志叠加到视频帧上。

通过上述步骤1至步骤3中视觉注意力模型的构建，可以基于对关注程度的预测来选择广告的插入时间和插入位置，进而确保只在用户对视频内容不感兴趣的时候进行广告插入，以达到不影响用户对视频的正常观看的目的。其中，视觉注意力模型的构建主要包括以下几个步骤：

21)短时注意力预测：通过计算视频帧中多种特征的显著性分布，来预测每一视频帧中各区域的短时注意力。具体地，对每一视频帧，使用其前、后帧作参考，提取前、后帧各区域的运动显著性、帧间颜色变化显著性以及单帧颜色显著性等特性，通过线性加权算法预测出用户对每帧各区域的短时注意力。

22)长时注意力预测：通过计算视频帧中所包含各区域的熟悉程度，来预测每一视频帧中各区域的长时注意力。具体地，提取每一视频帧之前若干帧中各物体的颜色信息和运动方向信息，应用混合高斯模型建模等方法学习出当前视频帧的颜色模式和运动模式，并依此计算出当前视频帧各物体的颜色熟悉程度和运动熟悉程度，进而预测出用户对每一视频帧各区域的长时注意力。

23)总体注意力融合：用每一视频帧的长时注意力对每一视频帧的短时注意力的结果进行修正，并预测各区域的总体注意力分布。具体地，所述总体注意力融合是通过使用各区域的长时注意力作为权重，对短时注意力进行加权相乘所得。

24)注意力曲线生成：根据每一视频帧各区域的总体注意力分布情况，预测用户对每一视频帧可能的关注程度。具体地，在所述注意力曲线生成中，各视频帧的可能关注程度是将各视频帧中所有物体的总体注意力相加所得。

在插入广告标志时，需要对广告标志进行变换以使其能够吸引用户的注意力。其中所述步骤4的广告标志变换方法主要包括以下几个步骤：

自动广告标志变化：对关键帧，根据广告插入的合适程度选择候选区域进行广告插入，并尝试通过运动变化或/和颜色变化使得广告标志成为视频帧中多种特征的最显著区域或使其在各特征的显著性达到最大；否则，选择使广告标志的运动显著性最大的显示尺度、运动方向和强度，并选择使广告标志的单帧颜色显著性与帧间闪烁显著性之和最大的颜色偏移量；

对关键帧叠加广告标志后，计算包括广告标志在内各物体的总体显著性，如果广告标志不是最显著区域，则尝试在其他候选区域内插入广告标志；

对非关键帧，根据其最近邻的两个关键帧上的相应广告标志的属性进行插值，进而插入广告标志。

所述步骤4的广告标志变换方法还有以下特征：

所述的运动变化是指在关键帧中选择广告标志的运动方向和强度，并尝试由区域面积决定的所有可行尺度，直至广告标志为运动显著性图中的最显著区域，或使广告标志运动的显著性达到最大；所述的颜色变化是指在关键帧中对广告标志尝试多种可能的颜色偏移量，直至广告标志同时为单帧颜色显著图和帧间颜色变化图内的最显著区域，或使广告标志的单帧颜色显著性与帧间颜色变化显著性之和达到最大。

所述广告标志的运动方向和强度是通过求取所有象素的运动方向显著性直方图，并选择最显著的方向和最大可行强度来实现的，所述广告标志尺度变化是通过尝试由当前候选区域的尺寸决定的所有可行尺度来实现的；所述广告标志颜色变化是通过保持广告标志各部分的相对亮度、色调、饱合度不变，而对亮度、色调、饱合度分别进行整体偏移得到的。

所述候选区域更改是通过在候选区域序列中选择合适程度仅小于当前区域的候选区域来实现的；所述非关键帧广告标志属性是通过对其最近邻两个关键帧中，广告标志的各种可变化的特征，如颜色、形状尺度、空间位置等进行插值来确定的。

一种基于视觉注意力模型的广告标志自动插入和变换系统，其包括：

视觉注意力建模模块：根据用户的视觉注意力模型，预测用户对每一视频帧不同区域的感兴趣程度以及对各帧的总体关注程度；广告标志插入时间点选择模块：根据对各帧的总体关注程度曲线，确定广告标志插入的时间点；广告标志插入候选区域生成模块：对可以插入广告标志的帧，根据预测出的对所述每帧各区域的感兴趣程度，选择允许所述广告标志插入的候选区域序列；广告标志变换模块：根据用户的视觉注意力模型，对广告标志进行变换以确保其为最显著区域，并将变换后的广告标志叠加到视频帧上。

所述视觉注意力建模模块包括如下子模块：

短时注意力预测子模块：通过预测视频帧中多种特征的显著性分布，来预测每一视频帧中各区域的短时注意力；长时注意力预测子模块：通过计算视觉注意所包含各区域的熟悉程度，来预测每一视频帧中各区域的长时注意力；总体注意力融合子模块：根据每帧的长时注意力对每帧的短时注意力结果进行修正，并预测各区域的总体注意力；注意力曲线生成子模块：根据每帧各区域的注意力分布情况，预测用户对每帧可能的关注程度。

所述广告标志变换模块包括如下子模块：自动广告标志变化子模块，对关键帧，尝试通过运动变化或/和颜色变化使得广告标志成为最显著区域或其显著性达到最大；变换显著性计算子模块，对关键帧叠加广告标志后，计算包括广告标志在内各物体的总体显著性，如果广告标志不是最显著区域，则尝试在其他候选区域内插入广告标志；后处理子模块：对非关键帧，由其最近邻的两个关键帧上的相应广告标志各种属性进行插值，进而插入广告标志。

根据本发明的基于视觉注意力模型的广告标志自动插入和变换系统，其具有如下连接关系：

将待插入广告标志的视频帧输入到视觉注意力建模模块中，并由该建模模块中的短时注意力预测子模块和长时注意力预测子模块进行短时注意力和长时注意力预测；然后经总体注意力融合子模块预测各区域的总体注意力并将其结果输入到注意力曲线生成模块，生成注意力分布曲线；

根据所述注意力分布曲线，通过广告标志插入时间点选择模块确定广告插入标志的时间点；根据预测出的对所述每帧各区域的感兴趣程度，通过广告标志插入候选区域生成模块选择允许所述广告标志插入的候选区域序列；在所选时间点在所选候选区域序列插入所述广告标志；

根据用户的视觉注意力模型，应用广告标志变换模块对所述广告标志进行变换，首先在关键帧处进行广告插入尝试，将叠加在关键帧上的所述广告标志在经自动广告标志变化子模块变换；再将该变换结果输入到变换显著性计算子模块进一步进行变换，以确保广告标志为最显著区域；最后，将变换后的广告标志经后处理子模块在非关键帧处对相邻关键帧的广告标志进行插值，以达到平滑的观看效果。

本发明的技术方案是：本发明在构建用户注意力模型时，同时考虑了短时的视觉注意力以及长时的视觉记忆引起的注意力分布；根据预测出的用户对视频的关注程度自动选择插入广告标志的时间，并自动产生可供广告插入的候选区域序列；提出了多种使广告区域成为最显著区域的广告标志变换方法，从而吸引用户的注意力。

本发明的有益效果：给定任意视频文件，本发明所述的基于视觉注意模型的广告标志自动插入和变换方法可以根据广告宣传的需求，在不影响用户观看视频主要内容的情况下，自动插入能够吸引用户注意力的广告标志，并对广告标识进行有效进而达到比较好的广告宣传效果。

附图说明

图1是根据本发明的基于视觉注意力模型的广告标志自动插入和变换方法示例图，其中图(a)为直接插入广告示例图，图(b)-(d)是插入广告标志并进行颜色、位置、尺度的变换的示例图；

图2是根据本发明的基于视觉注意力模型的广告标志自动插入和变换方法流程图，其中箭头表示执行方向；

图3是根据本发明的视觉注意力模型构建方法流程图，其中流程图中的箭头表示执行方向；

图4是根据本发明的视觉心理学与直观经验规则示例图，其中，图(a)为在同样情况下，用户倾向于注意到较大的物体(区域)；图(b)为在同样情况下，用户倾向于注意到内容复杂的物体(区域)；图(c)为在同样情况下，用户倾向于注意到颜色特殊的物体(区域)；图(d)为在同样情况下，用户倾向于注意到接近中心的物体(区域)；图(e)为在同样情况下，用户倾向于注意到帧间颜色变化较大的物体(区域)；图(f)为在同样情况下，用户倾向于注意到前景上物体的颜色变化(区域)；图(g)为在同样情况下，用户倾向于注意到具有较强运动的物体(区域)；图(h)为在同样情况下，用户倾向于注意到具有特殊运动方向的物体(区域)；

图5是根据本发明的基于视觉注意力模型的广告插入时间点选择方法示例图，其中箭头表示执行方向；

图6是根据本发明的基于视觉注意力模型的广告标志自动插入及变化方法流程图，其中箭头表示执行方向；

图7是根据本发明的基于视觉注意力模型的广告标志自动插入和变换方法示例图，其中，图(a)是广告插入候选区域序列，依次尝试区域1至区域5，图(b)确定广告标志中心位置所在直线，图(c)调整广告标志的尺度及其中心位置，图(d)改变广告标志颜色。

图8是根据本发明的基于视觉注意力模型的广告标志自动插入和变化方法及系统的模块图，其中箭头表示数据流方向。

具体实施方式

以下通过实施例并结合附图对本发明的各方面进行详细描述。

实施例1发明的方法流程图如图2所示，一般来说，在视频内容中自动插入广告标志主要需要解决三个问题。即(1)确定广告插入的时间点；(2)检测适合广告插入的位置；(3)寻找合适的广告标志变换方法。为了确定插入时间点，需要首先预测用户对视频各帧的关注程度，其目的在于降低插入的广告标志对用户观看的影响，即只在用户无感兴趣内容或者相对关注程度不高的帧插入广告标志。为此，需要首先构建一个视觉注意力模型，以预测用户对各帧的关注程度以及感兴趣区域的位置。

实施例2图3是根据本发明的对用户注意力预测的流程图。从心理学研究结果及直观经验来看，用户的注意力变化主要受两方面的影响：短时注意力和长时注意力，其中短时注意力主要是受到单帧或短时间特征变化的影响，如颜色对比度、颜色变化等。本发明首先使用图像分割算法，将各帧分割为多个区域，并根据心理学研究结果以及直观经验，对各物体定义了如下的注意力提取规则，以进行短时注意力的计算：

1)在同样情况下，用户倾向于注意到较大的物体(区域)；

2)在同样情况下，用户倾向于注意到内容复杂的物体(区域)；

3)在同样情况下，用户倾向于注意到颜色特殊的物体(区域)；

4)在同样情况下，用户倾向于注意到接近中心的物体(区域)；

5)在同样情况下，用户倾向于注意到帧间颜色变化较大的物体(区域)；

6)在同样情况下，用户倾向于注意到前景上物体的颜色变化(区域)；

7)在同样情况下，用户倾向于注意到具有较强运动的物体(区域)；

8)在同样情况下，用户倾向于注意到具有特殊运动方向的物体(区域)。

与上述8种规则相对应的示例图如图4的视觉心理学与直观经验示例图所示。基于这些规则，可以从颜色复杂度、颜色对比度、帧间颜色变化、运动方向和运动强度等五种特征来反应一个物体的短时显著性。其中，物体颜色复杂度的显著性可由规则(1)和规则(2)决定：

$S_{\mathrm{Comp}}\left(O_i\right)=-\frac{\underset{n=1}{\overset{{\left(N_H\right)}^3}{\mathrm{\Σ}}}{H}_i\left(n\right){\log }_2\left(H_i\left(n\right)\right)}{3{\log }_2\left(N_H\right)}\×\exp (-\frac{A\left(O_i\right)}{\underset{j}{\mathrm{\Σ}}A\left(O_j\right)}),---\left(1\right)$

其中，A(O_i)和H_i分别表示物体O_i的面积和颜色直方图。在颜色直方图的计算中，每个颜色通道都被量化为N_H级。本发明所述的物体都是从基于颜色相似性对各帧进行图像分割所得到的区域，物体内各象素的颜色都具有相似性。通过在物体分割时取一个较大的容忍阈值，可以保证既能分割出颜色单一的简单物体，又能分割出颜色跨度较大的复杂物体。通过公式(1)可以计算出颜色“相对”复杂的物体注意力较高，其短时显著性也较大。

颜色对比度的显著性可由规则(3)和规则(4)来决定：

$S_{\mathrm{Cont}}\left(O_i\right)=[\underset{n=1}{\overset{{\left(N_H\right)}^3}{\mathrm{\Σ}}}\max (H_i\left(n\right),H_j\left(n\right))-1)]\×\exp \left(\frac{-{|B_i-B_j|}^2}{L_D^2}\right),---\left(2\right)$

其中B_i和B_j分别为物体O_i和O_j的重心位置，L_D为该帧的对角线长度。公式(2)中，两个物体的重心越接近，对比度的相互影响就越大。同样，两个物体的颜色直方图差别越大，则其颜色对比度就越大。由公式(2)可以计算出，与周边物体颜色差别较大的物体其短时显著性较高。

帧间颜色变化的显著性主要是由规则(5)和规则(6)决定的。一般来说，前景区域上的颜色变化容易被用户感知，背景上的颜色变化常常被忽略，而心理学研究结果也证明了这一点。因此，某物体与前一帧同一区域间的颜色变化被注意到的概率，首先取决于该物体是属于前景物体还是背景物体，其次还取决于该物体的颜色变化是否强烈。本发明首先通过简单的基于象素累积变化的方法，判断出每个象素是前景象素还是背景象素。假设物体O_i中总象素个数为T_i，属于前景的象素个数为T_i，f，，则该物体属于前景物体或背景物体的概率分别可表示为：

$\left\{\begin{array}{c}P(O_i\∈f)=T_{i,f}/T_i\\ P(O_i\∈b)=1-P(O_i\∈f)\end{array},---\left(3\right)\right.$

此外，假设该物体在LAB颜色空间内的平均颜色为(L_j，a_j，b_j)，而在前帧相同位置的平均颜色为(L_i，a_i，b_i)，则颜色变化剧烈程度可定义为：

X_i，j＝MAX(|L_i-L_j|，|a_i-a_j|，|b_i-b_j|)                        (4)

进而，可将帧间颜色变化的显著性定义为：

$S_{\mathrm{CV}}\left(O_i\right)=X_{i,j}\left[(P_f\frac{T_{i,f}}{T_i}+P_b\frac{T_i-T_{i,f}}{T_i})\right],---\left(5\right)$

其中P_f(P_b)表示某物体在前景(背景)上发生对色变化(红-绿、蓝-紫)时被注意到的概率。在心理学实验结果中，可发现P_f≈0.88，P_b≈0.57。

在运动显著性估计中，很多情况下物体表现为非刚体运动，因此很难描述一个物体的整体运动情况。为了克服运动显著性估计的上述不足，本发明首先通过宏块匹配的方法计算每帧各宏块的运动情况，得到各象素的运动情况；然后依此计算各象素的运动显著性。而各物体的运动显著性可定义为其所含全部象素的运动显著性的均值。根据规则(7)和规则(8)，各象素的运动方向显著性可定义为：

S_MP(x，y，K)＝1-PH_K(θ(x，y))，                            (6)

其中，PH_K表示第K帧各象素的归一化运动方向直方图，而θ(x，y)表示象素点(x，y)量化后的运动方向。直观的理解即为：如果向某个方向运动的象素数较少，则该种运动就越显著。此外，象素(x，y)运动强度显著性定义为：

$S_{\mathrm{MS}}(x,y,K)=\left|V(x,y)\right|/\sqrt{2N^2},---\left(7\right)$

其中，V(x，y)表示象素点(x，y)的运动强度，而N为通过宏块匹配估计运动强度时最大的搜索距离，即可能的最大运动强度。基于公式(6)和公式(7)，假设物体O_i含有N_i个象素，则其运动方向显著性和运动强度显著性可分别定义为：

$\left\{\begin{array}{c}{S}_{\mathrm{MP}}\left(O_i\right)=\frac{1}{N_i}\underset{(x,y)\∈O_i}{\mathrm{\Σ}}{S}_{\mathrm{MP}}(x,y,K)\\ S_{\mathrm{MS}}\left(O_i\right)=\frac{1}{N_i}\underset{(x,y)\∈O_i}{\mathrm{\Σ}}{S}_{\mathrm{MS}}(x,y,K)\end{array},---\left(8\right)\right.$

经由上述计算方法，可以得到从五种特征来描述的物体短时显著性。为了得到一个物体总体显著性，需要将各种短时显著性进行加权平均。由于用户常常倾向于观测包含集中的显著物体以及大面积的非显著物体的特征，则某物体总的短时显著性可记为：

$S_{\mathrm{Short}}\left(O_i\right)=\stackrel{\‾}{W}\·\stackrel{\‾}{\left[\begin{array}{ccccc}{S}_{\mathrm{Comp}}\left(O_i\right)& S_{\mathrm{Cont}}\left(O_i\right)& S_{\mathrm{CV}}\left(O_i\right)& S_{\mathrm{MP}}\left(O_i\right)& S_{\mathrm{MS}}\left(O_i\right)\end{array}\right]},---\left(9\right)$

其中

为各特征显著性分布图的权重向量。假设N个特征的显著性分布图分别为S₁，S₂，...，S_N，则显著性分布图S_i的权重W_i可通过下式进行计算：

$W_i=\frac{\max \left(S_i\right)-\mathrm{median}\left(S_i\right)}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\max \left(S_i\right)-\mathrm{median}\left(S_i\right)},---\left(10\right)$

实施例3上述短时显著性通常可以等同于对用户短时注意力的预测。此外，用户的注意力分布除短时注意力影响外，还受到长时注意力的影响。例如在图1(a)中，广告标志的颜色显著性等短时显著性相对较大，但实际上用户常常会忽略这些广告标志；这是因为该广告标志出现时间较长，而在这段较长时间内该广告标志的颜色模式及运动模式却保持不变，而当用户熟悉这种颜色模式和运动模式后，就会忽略这些广告标志。为了说明这种长时注意力的影响，本发明通过对运动模式和颜色模式的熟悉程度来描述用户的长时注意力。在长时注意力中，运动模式主要表现在特殊的运动方向上，其定义如下：

$H_{\mathrm{MP}}^K=(1-\mathrm{\α})H_{\mathrm{MP}}^{K-1}+\mathrm{\αP}{H}_K,---\left(11\right)$

其中是第K帧累积的运动方向直方图，而PH_K为第K帧的运动方向直方图。α为一个学习因子，用于描述对曾经出现过的运动方向的记忆程度。如果α的取值较大，则表明对过去各帧出现过的运动方向记忆依赖较少。反之，则会通过累积更新获取对过往运动方向的一个长时记忆。在本文中，α取0.1。对每象素点运动方向的熟悉程度可定义为：

$L_{\mathrm{MP}}(x,y,K)=H_{\mathrm{MP}}^K(x,y),---\left(12\right)$

则对某物体O_i的运动模式熟悉程度可通过下式计算：

$L_{\mathrm{MP}}(O_i,K)=\frac{1}{N_c}\underset{(x,y)\∈O_i}{\mathrm{\Σ}}{L}_{\mathrm{MP}}(x,y,K),---\left(13\right)$

此外，对物体颜色模式记忆的目的是为了计算该物体的出现频率。如果一个物体频繁的出现，则其长时显著性就较低，如台标、静态背景等，因此用户更容易忽略这个物体。本发明使用一个具有有限项的混合高斯模型来计算第K帧中各物体的熟悉程度，并基于颜色直方图对过往N帧中的所有物体进行统计：

$\mathrm{MoG}\left(k\right)=\underset{n=1}{\overset{N_G}{\mathrm{\Σ}}}{\mathrm{\α}}_{n}g(x;u_n,{\mathrm{\Σ}}_n)=\underset{n=1}{\overset{N_G}{\mathrm{\Σ}}}{\mathrm{\α}}_n\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|{\mathrm{\Σ}}_n\right|}}\exp [-\frac{1}{2}{(x-{\mathrm{\μ}}_n)}^T{\mathrm{\Σ}}_n^{-1}(x-{\mathrm{\μ}}_n)],---\left(14\right)$

其中由参数(α_n，μ_n，∑_n)所描述的加权高斯项α_ng(x；u_n，∑_n)表示：在所有已出现的物体中，某类物体的平均颜色μ_n及颜色分布特征∑_n，以及具有相似颜色物体出现的概率α_n。上式中，N_G为预定义的高斯项个数。假设过往N帧中共有N_T个物体，则对于第K帧中任意一个具有颜色直方图H_i的物体O_i，其在过往N帧中出现的频率f(O_i)可计算为：

$f\left(O_i\right)=N_T\×\underset{n=1}{\overset{N_G}{\mathrm{\Σ}}}{\mathrm{\α}}_{n}g(H_i;u_n,{\mathrm{\Σ}}_n),---\left(15\right)$

而对该物体的熟悉程度可定义为：

L_Color(O_i，K)＝1-exp[-f(O_i)/N_f]，                    (16)

其中N_f为预定义的阈值，用于控制计算出对各物体熟悉程度的分布。由前述对运动模式及颜色模式熟悉程度的定义，物体O_i的长时显著性可计算如下：

S_Long(O_i)＝LMP(O_i，K)×(1-L_Color(O_i，K))，           (17)

该长时显著性计算表达式表明对具有常见运动模式以及常见颜色模式运动物体的忽略。通过对短时显著性和长时显著性的综合考虑，第K帧中物体O_i的总体显著性可定义为：

S(O_i)＝S_Short(O_i)×S_Long(O_i)，                        (18)

则用户对第K帧的总体关注程度可定义为该帧各物体的显著性叠加，即为：

A(k)＝∑S(O_i)，                                       (19)

实施例4经过计算对原始视频每一帧(未叠加广告)的关注程度，即可获得对原始视频的关注程度曲线，如图5所示。为了不影响用户的观看，在关注程度较高的帧中可以直接插入静止的广告标志。关注程度的高低是通过寻找一个全局阈值来判断的，这个全局阈值可以通过预先设定的广告宣传需求确定。如图4所示，广告提供商要求插入的广告标志只要在整个视频播放时间的10％以内吸引用户的注意力，就可以通过所有帧的关注程度的直方图计算出一个阈值，进而取其中关注程度最小的10％的视频帧内进行广告插入。

实施例5为了保证广告插入的效果，本发明首先对可以进行广告插入的各视频片段进行帧采样，即每隔D帧选择一帧作为关键帧，并在关键帧中尝试插入广告标志。如果一个视频片段的长度小于D，则不在此视频片段进行广告插入。在一个实施例中，D取30。

实施例6具体的广告插入与变换方法流程的如图6所示，在广告插入过程中，首先在关键帧处进行广告插入尝试，以使广告能够吸引用户的注意力；然后在非关键帧处对相邻关键帧的广告标志进行插值，以达到平滑的观看效果。在对关键帧进行广告插入时，首先要选择可插入广告的候选区域。由于在前述的视觉显著性计算中已经计算了各区域的总体显著性；因此，只需综合考虑各区域的面积A(O_i)、各区域的重心位置B_i、各区域的显著程度S(O_i)，便可按照如下方法计算在区域O_i插入广告标志的合适程度PFI(O_i)：

$\mathrm{PFI}\left(O_i\right)=A{\left(O_i\right)}^{-1}\×S{\left(O_i\right)}^{-1}\×\exp \left(\frac{-{|B_i-B_c|}^2}{L_D^2}\right)---\left(20\right)$

其中B_c为整个视频帧的中心位置。在同样的情况下，本发明的实施例倾向于在小区域、边缘区域以及显著性低的区域里插入广告。通过将各区域的合适程度进行排序，可以得到一个合适程度从高到低排序的候选区域序列。同时，为了保证广告标志的宣传效果，本发明的实施例设定了一个区域面积及区域长宽的下限，并移除候选序列中最大外接矩形面积及长、宽小于下限的候选区域。

实施例7在插入广告标志时，如图7(a)所示，首先根据合适程度的高低在候选区域序列中选择各候选区域，并依次求取其最大外接矩形。具体来说，插入广告标志要解决的问题为：

1)在其最大外接矩形区域内选择合适的位置；

2)将合适尺度的广告置于此位置并进行缩放，以便所置广告大小合适；

3)为所置广告选择合适的颜色。

其中，选择合适的位置即为与前一关键帧中广告标志相比较，选择一个广告插入位置，以便其具有能够吸引用户注意力的运动方向和强度。在进行广告插入时，首先根据当前帧各象素的运动方向直方图，随机尝试当前帧中非常见的运动方向，而广告标志的中心则从候选区域的中心与该方向相对的边缘点之间的连线上选择，如图7(b)所示。此后，如图7(c)所示，从该广告标志的最小尺度开始，每次将广告标志的长和宽同时扩大d倍(本文中，d取1.2，即长宽每次扩大至原来的1.2倍)，并在该连线上选择使该广告标志运动强度最大的可行插入位置。当尝试插入广告标志后，重新计算组成广告标志的所有物体的平均运动方向显著性及运动强度显著性。重复上述尝试过程，直至插入广告标志的平均运动方向显著性及运动强度显著性之和最大。

实施例8如图7(d)所示，当确定广告插入的位置和尺度后，需要改变广告标志的颜色，使之与颜色相关的显著性增大。在改变颜色的过程中，需要保证组成广告标志的各物体的相对颜色保持不变，即只可进行整体的颜色偏移。在一个实施例中，颜色偏移在HSI颜色空间中进行(H：色调，S：饱合度，I：亮度)。首先，计算原始广告标志各颜色通道的动态范围；然后，在保持任意两个颜色通道的属性不变的情况下，对第三个颜色通道进行偏移，偏移步长的大小由预先确定的参数决定；此外，在对任意通道尝试添加偏移量后，更改叠加的广告标志颜色，重新计算组成该广告标志所有物体的平均颜色复杂度、颜色对比度以及帧间闪烁的显著性；重复上述尝试过程，直至插入广告标志的平均颜色复杂度、颜色对比度以及帧间闪烁的显著性之和最大。

通过改变位置、尺度、颜色，使广告标志对视频帧多种特征可能的显著性达到最大；然后，按照前述规则，重新计算该帧的短时注意力及长时注意力，并计算出组成该广告标志所有物体的相应的平均总体注意力。如果此平均总体注意力大于当前帧的其他所有物体的总体注意力，则说明插入的广告标志可以有效吸引用户的注意力，该变换方法可行；否则，尝试在候选区域序列里合适程度更低的区域中进行广告标志插入。

当在关键帧中插入广告标志后，记录此广告标志的位置、尺度、各颜色通道的偏移量等属性。对非关键帧，其广告标志的位置和尺度由其最近邻的两个关键帧中相应广告标志的位置和尺度进行插值得到。相应地，其它各个颜色通道的偏移量也由其最近邻的两个关键帧中相应广告标志各通道颜色偏移量插值得出。通过插值的方法，即可实现从一种位置、尺度或颜色到另外一种位置、尺度或颜色的平滑过渡，从而使广告标志在吸引用户注意力的同时达到一个较好的观看效果。

实施例9图8是根据本发明的基于视觉注意力模型的广告标志插入及变化方法所实现的广告标志的自动插入和变换系统的模块图，其中箭头表示数据流方向。首先，将待插入广告标志的视频帧输入到视觉注意力建模模块中，并由该建模模块中的短时注意力预测子模块和长时注意力预测子模块进行短时注意力和长时注意力预测；然后经总体注意力融合子模块预测各区域的总体注意力并将其结果输入到注意力曲线生成模块，生成注意力分布曲线；然后，根据所述注意力分布曲线，通过广告标志插入时间点选择模块确定广告插入标志的时间点；根据预测出的对所述每帧各区域的感兴趣程度，通过广告标志插入候选区域生成模块选择允许所述广告标志插入的候选区域序列；在所选时间点在所选候选区域序列插入所述广告标志；之后，根据用户的视觉注意力模型，应用广告标志变换模块对所述广告标志进行变换，首先在关键帧处进行广告插入尝试，将叠加在关键帧上的所述广告标志在经自动广告标志变化子模块变换；再将该变换结果输入到变换显著性计算子模块进一步进行变换，以确保广告标志为最显著区域；最后，将变换后的广告标志经后处理子模块在非关键帧处对相邻关键帧的广告标志进行插值，以达到平滑的观看效果。

Claims (10)

1.一种基于视觉注意力模型的广告标志自动插入和变换方法，其特征包括以下步骤：

步骤1根据用户的视觉注意力模型，预测用户对视频每帧不同区域的感兴趣程度以及对各帧的关注程度；

步骤2根据对各帧的关注程度曲线，确定广告标志插入的时间点；

步骤3对可以插入广告标志的帧，根据预测出的对每帧各区域的感兴趣程度，选择允许广告标志插入的候选区域序列；

步骤4根据用户的视觉注意力模型，对广告标志进行变换以确保其为最显著区域，并将变换后的广告标志叠加到视频帧上；其中，

所述步骤1中所述视觉注意力模型的构建包括：

11)短时注意力预测，通过预测视频帧中多种特征的显著性分布，来预测每一视频帧中各区域的短时注意力；

12)长时注意力预测，通过计算视觉注意所包含各区域的熟悉程度，来预测每一视频帧中各区域的长时注意力；

13)总体注意力融合，根据每帧的长时注意力对每帧的短时注意力结果进行修正，并预测各区域的总体注意力；

14)注意力曲线生成，根据每帧各区域的注意力分布情况，预测用户对每帧可能的关注程度。

2.如权利要求1所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：

所述短时注意力预测是对每一视频帧使用其前、后帧作参考，提取其中各区域的运动显著性、帧间颜色变化显著性以及单帧颜色显著性，进而通过线性加权预测出用户对每帧各区域的短时注意力；

所述长时注意力预测是对每一视频帧使用其之前若干帧所有物体的颜色信息和运动信息，学习出常见的颜色模式和运动模式，并依此计算对当前帧各物体的颜色熟悉程度和运动熟悉程度，进而预测出用户对每帧各区域的长时注意力；

所述总体注意力融合是通过使用各区域的长时注意力作为权重，对短时注意力进行加权相乘所得；

所述注意力曲线生成中，各帧的可能关注程度是将各帧中所有物体的总体注意力相加所得。 

3.如权利要求1所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：

所述步骤2中的所述广告标志插入的时间点具体通过下述方法得到：根据预定义的广告宣传效果要求来计算关注度阈值，然后选取所有所受关注程度小于此阈值的帧来作为广告标志插入的候选时间点；

所述步骤3中的所述广告标志插入的候选区域序列生成进一步通过下述方法得到：通过关键帧中各区域的面积、位置以及预测出的对各区域的注意力分布来计算出各区域插入广告标志的合适程度，进而对各区域根据其插入广告标志合适程度进行排序，从而得到可供广告标志插入的候选区域序列。

4.如权利要求1所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：所述步骤4具体包括以下几个步骤：

41)自动广告标志变化：对关键帧，尝试通过运动变化或/和颜色变化使得广告标志成为最显著区域或其显著性达到最大；

42)对关键帧叠加广告标志后，计算包括广告标志在内各物体的总体显著性，如果广告标志不是最显著区域，则尝试在其他候选区域内插入广告标志：

43)对非关键帧，由其最近邻的两个关键帧上的相应广告标志各种属性进行插值，进而插入广告标志。

5.如权利要求4所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：所述的运动变化是指在关键帧中选择广告标志的运动方向和强度，并尝试由区域面积决定的所有可行尺度，直至广告标志为运动显著性图中的最显著区域，或使广告标志运动的显著性达到最大；所述的颜色变化是指在关键帧中尝试多种可能的颜色，直至广告标志同时为单帧颜色显著图和帧间颜色变化图内的最显著区域，或使广告标志的单帧颜色显著性与帧间颜色变化显著性之和达到最大。

6.如权利要求5所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：所述广告标志的运动方向和强度是通过求取所有象素的运动方向显著性直方图，并选择最显著的方向和最大可行强度来实现的，所述广告标志尺度变化是通过尝试由当前候选区域的尺寸决定的所有可行尺度来实现的；所述广告标志颜色变化是通过保持广告标志各部分的相对亮度、色调、饱合度不变，而对亮度、色调、饱合度分别进行整体偏移得到的。

7.如权利要求4所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：所述步骤42)的候选区域更改是通过在候选区域序列中选择合适程度仅小于当前区域的候选区域来实现的；所述步骤43)的非关键帧广告标志属性是通过对其最近邻两个关键帧中广告标志的可变化的特征进行插值来确定的，所述可变化的特征包括颜色、形状尺度和空间位置。

8.一种基于视觉注意力模型的广告标志自动插入和变换系统，其特征包括以下模块

视觉注意力建模模块：根据用户的视觉注意力模型，预测用户对视频每一帧不同区域的感兴趣程度以及对各帧的关注程度；

广告标志插入时间点选择模块：根据对各帧的关注程度曲线，确定广告标志插入的时间点；

广告标志插入候选区域生成模块：对可以插入广告标志的帧，根据预测出的对所述每帧各区域的感兴趣程度，选择允许所述广告标志插入的候选区域序列；

广告标志变换模块：根据用户的视觉注意力模型，对广告标志进行变换以确保其为最显著区域，并将变换后的广告标志叠加到视频帧上；其中，

所述视觉注意力建模模块包括如下子模块：

短时注意力预测子模块：通过预测视频帧各种特征的显著性分布，来预测每一视频帧中各区域的短时注意力；

长时注意力预测子模块：通过计算视觉注意所包含各区域的熟悉程度，来预测每一视频帧中各区域的长时注意力；

总体注意力融合子模块：根据每帧的长时注意力对每帧的短时注意力结果进行修正，并预测各区域的总体注意力；

注意力曲线生成子模块：根据每帧各区域的注意力分布情况，预测用户对每帧可能的关注程度。

9.如权利要求8所述的基于视觉注意力模型的广告标志自动插入和变换系统，其特征在于所述广告标志变换模块包括如下子模块：

自动广告标志变化子模块：对关键帧，尝试通过运动变化或/和颜色变化使得广告标志成为最显著区域或其显著性达到最大；

变换显著性计算子模块：对关键帧叠加广告标志后，计算包括广告标志在内各物体的总体显著性，如果广告标志不是最显著区域，则尝试在其他候选区域内插入广告标志；

后处理子模块：对非关键帧，由其最近邻的两个关键帧上的相应广告标 志各种属性进行插值，进而插入广告标志。

10.如权利要求9所述的基于视觉注意力模型的广告标志自动插入和变换系统，其特征在于所述系统具有如下连接关系：

将待插入广告标志的视频帧输入到视觉注意力建模模块中，并由该建模模块中的短时注意力预测子模块和长时注意力预测子模块进行短时注意力和长时注意力预测；然后经总体注意力融合子模块预测各区域的总体注意力并将其结果输入到注意力曲线生成模块，生成注意力分布曲线；

根据所述注意力分布曲线，通过广告标志插入时间点选择模块确定广告插入标志的时间点；根据预测出的对所述每帧各区域的感兴趣程度，通过广告标志插入候选区域生成模块选择允许所述广告标志插入的候选区域序列；在所选时间点在所选候选区域序列插入所述广告标志；

根据用户的视觉注意力模型，应用广告标志变换模块对所述广告标志进行变换，首先在关键帧处进行广告插入尝试，将叠加在关键帧上的所述广告标志在经自动广告标志变化子模块变换；再将该变换结果输入到变换显著性计算子模块进一步进行变换，以确保广告标志为最显著区域；最后，将变换后的广告标志经后处理子模块在非关键帧处对相邻关键帧的广告标志进行插值，以达到平滑的观看效果。 

Images