CN104573671A - 一种从视频序列中发现主题目标的方法 - Google Patents

Abstract

本发明涉及一种从视频序列中的主题目标发现方法，属于图像处理技术领域。首先训练分类器、增益系数和偏置系数，每一秒从待处理视频中随机抽取两帧图像，得到一个视频图像序列；从图像序列中选取候选主题目标，对候选主题目标进行特征表示，用隐狄利克雷分配模型，从候选主题目标中寻找主题目标。发明用窗口的方法得到候选目标，在很大程度上避免了由分割带来的经常将目标分离的情况；由于窗口当中往往都包含目标，因此图片当中的背景在后面的模型训练的时候已经很大程度上剔除了，这样就使隐狄利克雷分布得到的主题更加准确；软编码的方法使特征点在模型迭代过程中能够找到更加准确的聚类中心。

Description

一种从视频序列中发现主题目标的方法

技术领域

本发明涉及一种从视频序列中的主题目标发现方法，属于图像处理技术领域。

背景技术

近年来，随着网络和电视的流行，人们面对着越来越多的视频片段。视频当中包含着丰富的内容，人们是很难去直观地总结的。自动地去发现和视频主题相符的目标，从而帮助人们快速地了解视频的主要内容，变得越来越重要。在保留原始视频主要内容的前提下，如何去有效地抽取视频当中的目标，是当前研究的主要困难。

之前的一项工作是大量的图片当中发现目标，将每一张图片在不同的设置之下进行分割，并且假设这些分割当中就包含了我们想要的目标。然后再用隐狄利克雷分配的方法得到一些主题。最后用和这些主题最相似的分割当作主题目标。视频片段也是由一张张图片组成的，因此这种方式可以拓展到视频片段的主题目标发现当中。和隐狄利克雷分配的方法一样，非负矩阵分解也可以用来解决类似的问题。但是这些方法都是基于图像分割，分割常常会把一些本来完整的目标分离到多个分割当中，这样得到的分割往往都不是完整的物体，除此之外，很多分割其实包含了大量的背景，这是不需要的。

发明内容

本发明的目的是提出一种视频序列中的主题目标发现方法，以克服现有方法的缺点；用方框先将图像中可能是目标的区域自动框出，然后用主题模型去挖掘中视频中的主题目标。

本发明提出的从视频序列中发现主题目标的方法，包括以下步骤：

(1)训练一个用于对待处理视频图像中包含主题目标的候选区域进行选取的分类器w、增益系数v_i和偏置系数t_i，具体过程如下：

(1-1)将一个包含已知目标的图像集作为训练样本，通过插值方法，将训练样本中的图像调整成长、宽分别为W和H的图像，其中W,H∈{10,20,40,80,160,320}，计算调整后的图像的梯度范数；

(1-2)设T为图像中所有包含已知目标的图像窗口，S为图像中的任意图像窗口，则窗口t∈T和窗口s∈S的叠加面积o(t,s)为：

$o(t,s)=\frac{t\∩s}{t\∪s},$

采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样，得到多个8×8滑动窗口，计算与8×8滑动窗口相对应的o(t,s)，并计算该8×8滑动窗口相对应的64维梯度范数，记为g_train，将与o(t,s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本，与o(t,s)＜0.5的8×8滑动窗口相对应的64维梯度范数作为负样本，利用线性支持向量机，计算得到分类器w；

(1-3)利用下述公式，计算训练样本的排序得分score_train：

score_train＝<w,g_train>

l＝(i,x,y)

其中，<·,·>表示内积，g_train、i和(x,y)分别为64维梯度范数、与8×8滑动窗口相对应的调整大小之前的图像窗口的大小以及位置；

(1-4)利用非极大抑制方法，从每个大小为i的图像窗口中选择多个窗口作为训练样本，将上述score_train作为图像窗口的一维特征，利用线性支持向量机，计算得到增益系数v_i及偏置系数t_i；

(2)每一秒从待处理视频中随机抽取两帧图像，得到一个视频图像序列；

(3)从上述得到的图像序列中选取候选主题目标，具体过程如下：

(3-1)通过插值方法，将步骤(2)得到的视频图像序列中的每幅视频图像调整成长、宽分别为W和H的视频图像，其中W,H∈{10,20,40,80,160,320}，计算每幅视频图像的梯度范数；

(3-2)采用8×8大小的窗口对调整大小后的视频图像进行滑动采样，得到多个8×8大小的滑动窗口，并分别计算多个8×8滑动窗口的64维梯度范数g_l，l＝(i,x,y)，其中i为与8×8滑动窗口相对应的调整大小之前的视频图像的大小，(x,y)为8×8滑动窗口在调整大小之前的视频图像中的位置；

(3-3)通过下述公式，分别计算每个8×8大小的滑动窗口的得分：

score_l＝<w,g_l>

其中，w为上述步骤(1)得到的分类器；

(3-4)通过下式，分别计算与8×8大小的滑动窗口相对应的调整大小之前的视频图像的目标性得分o_l：

o_l＝v_i·score_l+t_i

其中v_i、t_i分别为上述步骤(1)得到的增益系数和偏置系数；

(3-5)按照视频图像窗口的目标性得分从高到低进行排序，目标性得分越高，则包含主题目标的可能性越大；从排序后的视频图像窗口中选取前n个视频图像窗口，作为候选主题目标区域，n的取值与要求发现主题目标的精度有关，一般可以取10-1000；

(4)对候选主题目标进行特征表示，具体过程如下：

(4-1)对上述步骤(2)的图像序列中的各视频图像进行特征点提取，得到特征点集合{d_p}，采用K均值算法，对特征点集合{d_p}进行聚类，得到V个聚类中心，记为{c_q}，V为设定参数，取值为100～2000；

(4-2)用向量f＝R^V表示上述特征点集合{d_p}中的每一个特征点d_p，其中f_q表示从V个聚类中心中的第q个聚类中心c_q产生特征点d_p的概率，σ²为方差，σ的取值为10⁴～10⁵；

(4-3)用F表示候选主题目标，用上述向量f＝R^V表示候选主题目标中的特征点，特征点的集合为F＝{f₁,f₂,...,f_N}，其中N为候选主题目标区域中的特征点个数；

(5)用隐狄利克雷分配模型，从步骤(3)的候选主题目标中寻找主题目标，具体过程如下：

(5-1)设为属于候选主题目标中第m个候选主题目标且属于隐狄利克雷分配模型中的第k个主题的特征点数目，n_m为属于第m个候选主题目标的特征点数目，为属于第k个主题并且由第v个聚类中心产生的特征点数目，n_k为属于第k个主题的特征点数目，初始化时，使n_m、n_k分别为0；

(5-2)根据多项分布Mult(1/V)得到与第m个候选主题目标中的第n个特征点相对应的聚类中心的序号w_m,n＝v，以及根据多项分布Mult(1/K)得到隐狄利克雷分配模型中主题序号z_m,n＝k，并分别使n_m+＝1，n_k+＝1；

(5-3)根据第m个候选目标中的第n个特征点对应的聚类中心序号和主题序号，n_m-＝1,n_k-＝1。然后，根据分布p(w_i＝v)得到与第m个候选主题目标中的第n个特征点相对应的新的聚类中心的序号以及根据分布p(z_i＝k)得到新的隐狄利克雷分配模型中主题序号其中，

$p(w_i=v)\&Proportional;f_{\mathrm{iv}}\&CenterDot;\frac{n_k^{\left(v\right)}+\mathrm{\&beta;}}{n_k+\mathrm{V\&beta;}}$

$p(z_i=k)\&Proportional;\frac{n_k^{\left(v\right)}+\mathrm{\&beta;}}{n_k+\mathrm{V\&beta;}}\&CenterDot;(n_m^{\left(k\right)}+\mathrm{\&alpha;})$

其中α，β为正实数，并分别使n_m+＝1，

(5-4)按照(5-3)中的步骤进行迭代，直到迭代次数达到1000。此时，就可以按照下式算出每个主题的分布：

其中，为K×V的矩阵。

(5-5)用的每一列分别去与每一个候选目标计算KL距离，公式如下：

与该列有最小KL距离的候选目标，作为视频序列的一个主题目标。

本发明提出的从视频序列中的主题目标发现方法，其优点是：

本发明用窗口的方法得到候选目标，在很大程度上避免了由分割带来的经常将目标分离的情况；由于窗口当中往往都包含目标，因此图片当中的背景在后面的模型训练的时候已经很大程度上剔除了，这样就使隐狄利克雷分布得到的主题更加准确；软编码的方法使特征点在模型迭代过程中能够找到更加准确的聚类中心。

具体实施方式

本发明提出的从视频序列中发现主题目标的方法，包括以下步骤：

(1)训练一个用于对待处理视频图像中包含主题目标的候选区域进行选取的分类器w、增益系数v_i和偏置系数t_i，具体过程如下：

(1-1)将一个包含已知目标的图像集作为训练样本，通过插值方法，将训练样本中的图像调整成长、宽分别为W和H的图像，其中W,H∈{10,20,40,80,160,320}，计算调整后的图像的梯度范数；

(1-2)设T为图像中所有包含已知目标的图像窗口，S为图像中的任意图像窗口，则窗口t∈T和窗口s∈S的叠加面积o(t,s)为：

$o(t,s)=\frac{t\&cap;s}{t\&cup;s},$

采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样，得到多个8×8滑动窗口，计算与8×8滑动窗口相对应的o(t,s)，并计算该8×8滑动窗口相对应的64维梯度范数，记为g_train，将与o(t,s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本，与o(t,s)＜0.5的8×8滑动窗口相对应的64维梯度范数作为负样本，利用线性支持向量机，计算得到分类器w；

(1-3)利用下述公式，计算训练样本的排序得分score_train：

score_train＝<w,g_train>

l＝(i,x,y)

其中，<·,·>表示内积，g_train、i和(x,y)分别为64维梯度范数、与8×8滑动窗口相对应的调整大小之前的图像窗口的大小以及位置；

(1-4)利用非极大抑制方法，从每个大小为i的图像窗口中选择多个窗口作为训练样本，将上述score_train作为图像窗口的一维特征，利用线性支持向量机，计算得到增益系数v_i及偏置系数t_i；

(2)每一秒从待处理视频中随机抽取两帧图像，得到一个视频图像序列；

(3)从上述得到的图像序列中选取候选主题目标，具体过程如下：

(3-1)通过插值方法，将步骤(2)得到的视频图像序列中的每幅视频图像调整成长、宽分别为W和H的视频图像，其中W,H∈{10,20,40,80,160,320}，计算每幅视频图像的梯度范数；

(3-2)采用8×8大小的窗口对调整大小后的视频图像进行滑动采样，得到多个8×8大小的滑动窗口，并分别计算多个8×8滑动窗口的64维梯度范数g_l，l＝(i,x,y)，其中i为与8×8滑动窗口相对应的调整大小之前的视频图像的大小，(x,y)为8×8滑动窗口在调整大小之前的视频图像中的位置；

(3-3)通过下述公式，分别计算每个8×8大小的滑动窗口的得分：

score_l＝<w,g_l>

其中，w为上述步骤(1)得到的分类器；

(3-4)通过下式，分别计算与8×8大小的滑动窗口相对应的调整大小之前的视频图像的目标性得分o_l：

o_l＝v_i·score_l+t_i

其中v_i、t_i分别为上述步骤(1)得到的增益系数和偏置系数；

(3-5)按照视频图像窗口的目标性得分从高到低进行排序，目标性得分越高，则包含主题目标的可能性越大；从排序后的视频图像窗口中选取前n个视频图像窗口，作为候选主题目标区域，n的取值与要求发现主题目标的精度有关，一般可以取10-1000；

(4)对候选主题目标进行特征表示，具体过程如下：

(4-1)对上述步骤(2)的图像序列中的各视频图像进行特征点提取，得到特征点集合{d_p}，采用K均值算法，对特征点集合{d_p}进行聚类，得到V个聚类中心，记为{c_q}，V为设定参数，取值为100～2000；

(4-2)用向量f＝R^V表示上述特征点集合{d_p}中的每一个特征点d_p，其中f_q表示从V个聚类中心中的第q个聚类中心c_q产生特征点d_p的概率，σ²为方差，σ的取值为10⁴～10⁵；

(4-3)用F表示候选主题目标，用上述向量f＝R^V表示候选主题目标中的特征点，特征点的集合为F＝{f₁,f₂,...,f_N}，其中N为候选主题目标区域中的特征点个数；

(5)用隐狄利克雷分配模型，从步骤(3)的候选主题目标中寻找主题目标，具体过程如下：

(5-1)设为属于候选主题目标中第m个候选主题目标且属于隐狄利克雷分配模型中的第k个主题的特征点数目，n_m为属于第m个候选主题目标的特征点数目，为属于第k个主题并且由第v个聚类中心产生的特征点数目，n_k为属于第k个主题的特征点数目，初始化时，使n_m、n_k分别为0；

(5-2)根据多项分布Mult(1/V)得到与第m个候选主题目标中的第n个特征点相对应的聚类中心的序号w_m,n＝v，以及根据多项分布Mult(1/K)得到隐狄利克雷分配模型中主题序号z_m,n＝k，并分别使n_m+＝1，n_k+＝1；

(5-3)根据第m个候选目标中的第n个特征点对应的聚类中心序号和主题序号，n_m-＝1,n_k-＝1。然后，根据分布p(w_i＝v)得到与第m个候选主题目标中的第n个特征点相对应的新的聚类中心的序号以及根据分布p(z_i＝k)得到新的隐狄利克雷分配模型中主题序号其中，

$p(w_i=v)\&Proportional;f_{\mathrm{iv}}\&CenterDot;\frac{n_k^{\left(v\right)}+\mathrm{\&beta;}}{n_k+\mathrm{V\&beta;}}$

$p(z_i=k)\&Proportional;\frac{n_k^{\left(v\right)}+\mathrm{\&beta;}}{n_k+\mathrm{V\&beta;}}\&CenterDot;(n_m^{\left(k\right)}+\mathrm{\&alpha;})$

其中α，β为正实数，并分别使n_m+＝1，

(5-4)按照(5-3)中的步骤进行迭代，直到迭代次数达到1000。此时，就可以按照下式算出每个主题的分布：

其中，为K×V的矩阵。

(5-5)用的每一列分别去与每一个候选目标计算KL距离，公式如下：

与该列有最小KL距离的候选目标，作为视频序列的一个主题目标。

Claims (1)

1.一种从视频序列中发现主题目标的方法，其特征在于该方法包括以下步骤：

(1)训练一个用于对待处理视频图像中包含主题目标的候选区域进行选取的分类器w、增益系数v_i和偏置系数t_i，具体过程如下：

(1-1)将一个包含已知目标的图像集作为训练样本，通过插值方法，将训练样本中的图像调整成长、宽分别为W和H的图像，其中W,H∈{10,20,40,80,160,320}，计算调整后的图像的梯度范数；

(1-2)设T为图像中所有包含已知目标的图像窗口，S为图像中的任意图像窗口，则窗口t∈T和窗口s∈S的叠加面积o(t,s)为：

$o(t,s)=\frac{t\&cap;s}{t\&cup;s},$

采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样，得到多个8×8滑动窗口，计算与8×8滑动窗口相对应的o(t,s)，并计算该8×8滑动窗口相对应的64维梯度范数，记为g_train，将与o(t,s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本，与o(t,s)＜0.5的8×8滑动窗口相对应的64维梯度范数作为负样本，利用线性支持向量机，计算得到分类器w；

(1-3)利用下述公式，计算训练样本的排序得分score_train：

score_train＝<w,g_train>

l＝(i,x,y)

其中，<·，·>表示内积，g_train、i和(x,y)分别为64维梯度范数、与8×8滑动窗口相对应的调整大小之前的图像窗口的大小以及位置；

(1-4)利用非极大抑制方法，从每个大小为i的图像窗口中选择多个窗口作为训练样本，将上述score_train作为图像窗口的一维特征，利用线性支持向量机，计算得到增益系数v_i及偏置系数t_i；

(2)每一秒从待处理视频中随机抽取两帧图像，得到一个视频图像序列；

(3)从上述得到的图像序列中选取候选主题目标，具体过程如下：

(3-1)通过插值方法，将步骤(2)得到的视频图像序列中的每幅视频图像调整成长、宽分别为W和H的视频图像，其中W,H∈{10,20,40,80,160,320}，计算每幅视频图像的梯度范数；

(3-2)采用8×8大小的窗口对调整大小后的视频图像进行滑动采样，得到多个8×8大小的滑动窗口，并分别计算多个8×8滑动窗口的64维梯度范数g_l，l＝(i,x,y)，其中i为与8×8滑动窗口相对应的调整大小之前的视频图像的大小，(x,y)为8×8滑动窗口在调整大小之前的视频图像中的位置；

(3-3)通过下述公式，分别计算每个8×8大小的滑动窗口的得分：

score_l＝<w,g_l>

其中，w为上述步骤(1)得到的分类器；

(3-4)通过下式，分别计算与8×8大小的滑动窗口相对应的调整大小之前的视频图像的目标性得分o_l：

o_l＝v_i·score_l+t_i

其中v_i、t_i分别为上述步骤(1)得到的增益系数和偏置系数；

(3-5)按照视频图像窗口的目标性得分从高到低进行排序，目标性得分越高，则包含主题目标的可能性越大；从排序后的视频图像窗口中选取前n个视频图像窗口，作为候选主题目标区域，n的取值与要求发现主题目标的精度有关，一般可以取10-1000；

(4)对候选主题目标进行特征表示，具体过程如下：

(4-1)对上述步骤(2)的图像序列中的各视频图像进行特征点提取，得到特征点集合{d_p}，采用K均值算法，对特征点集合{d_p}进行聚类，得到V个聚类中心，记为{c_q}，V为设定参数，取值为100～2000；

(4-2)用向量f＝R^V表示上述特征点集合{d_p}中的每一个特征点d_p，其中f_q表示从V个聚类中心中的第q个聚类中心c_q产生特征点d_p的概率，σ²为方差，σ的取值为10⁴～10⁵；

(4-3)用F表示候选主题目标，用上述向量f＝R^V表示候选主题目标中的特征点，特征点的集合为F＝{f₁,f₂,...,f_N}，其中N为候选主题目标区域中的特征点个数；

(5)用隐狄利克雷分配模型，从步骤(3)的候选主题目标中寻找主题目标，具体过程如下：

(5-1)设为属于候选主题目标中第m个候选主题目标且属于隐狄利克雷分配模型中的第k个主题的特征点数目，n_m为属于第m个候选主题目标的特征点数目，为属于2 --> 第k个主题并且由第v个聚类中心产生的特征点数目，n_k为属于第k个主题的特征点数目，初始化时，使nm、n_k分别为0；

(5-2)根据多项分布Mult(1/V)得到与第m个候选主题目标中的第n个特征点相对应的聚类中心的序号w_m,n＝v，以及根据多项分布Mult(1/K)得到隐狄利克雷分配模型中主题序号z_m,n＝k，并分别使 $n_m^{\left(k\right)}+=1,n_m+=1,$ $n_k^{\left(v\right)}+=1,n_k+=1;$

(5-3)根据第m个候选目标中的第n个特征点对应的聚类中心序号和主题序号， 然后，根据分布p(w_i＝v)得到与第m个候选主题目标中的第n个特征点相对应的新的聚类中心的序号以及根据分布p(z_i＝k)得到新的隐狄利克雷分配模型中主题序号其中，

$p(w_i=v)\&Proportional;f_{\mathrm{iv}}\&CenterDot;\frac{n_k^{\left(v\right)}+\mathrm{\&beta;}}{n_k+\mathrm{V\&beta;}}$

$p(z_i=k)\&Proportional;\frac{n_k^{\left(v\right)}+\mathrm{\&beta;}}{n_k+\mathrm{V\&beta;}}\&CenterDot;(n_m^{\left(k\right)}+\mathrm{\&alpha;})$

其中α，β为正实数，并分别使n_m+＝1，

(5-4)按照(5-3)中的步骤进行迭代，直到迭代次数达到1000。此时，就可以按照下式算出每个主题的分布：

其中，为K×V的矩阵。

(5-5)用的每一列分别去与每一个候选目标计算KL距离，公式如下：

与该列有最小KL距离的候选目标，作为视频序列的一个主题目标。

本发明提出的视频序列中的主题目标发现方法具有以下优点，用窗口的方法选择候选目标使得到的主题目标相比于其他方法得到的主题目标更加完整，用软编码的方法进行推理使得到的主题目标相比于其他方法得到的主题目标更加准确。3 -->