CN105138953A - 一种基于连续的多实例学习的视频中动作识别的方法 - Google Patents

Abstract

本发明公开了一种基于连续的多实例学习的视频中动作识别的方法。本发明包括如下步骤：1、从视频网站上收集电影数据作为训练数据样本集，同时对网站上收集字幕和剧本进行预处理，将剧本中的动作描述作为训练数据的视频级别的弱标记；2、通过弱标记将视频切分成多个视频片段，每个视频片段由一个动作组成；对于每个动作，利用视频片段训练基于连续的多实例学习的动作分类器；3、用户将待识别视频输入至训练好的多个动作分类器，计算待识别视频的每一帧属于该动作的概率；4、通过视频切割模型得到每一帧的动作类别，将动作类别返回给用户。本发明减少了人工标记费时费力的问题，同时减少了弱标记和转折帧带来的二义性问题。

Description

一种基于连续的多实例学习的视频中动作识别的方法

技术领域

本发明属于识别与检测领域，涉及一种基于连续的多实例学习的视频中动作识别的方法，一种利用弱标记的训练数据，从视频中识别与检测人的动作的方法。

背景技术

近年来，人的动作识别在很多计算机视觉应用上面体现着越来越重要的作用。例如视频监控，基于内容的视频检索，标记和视觉交互。如何解决人的动作识别这一实用价值高，但又富有挑战性的任务成为现阶段各视频网站花费大笔财力人力关注的问题。

一般的动作识别系统将该任务看作分类或检测问题。利用全标记的训练数据来训练一个有效的分类器或者检测器是目前常用的方法，它们利用准确的时间戳将一段视频分割为多个片段。但是想要获得全标记的训练数据是非常费时费力的，这也是目前实际应用所遇到的最大问题。

为了解决标记的费时费力问题，可以利用弱标记的视频训练动作分类器。比如视频字幕中的时间戳和剧本中的动作描述可以用作视频级别的弱标记。然而，由于弱标记的不准确性和动作视频中的一些转折帧，弱标记的训练数据有一定的二义性，可以利用多实例学习来解决这一问题。多实例学习是有监督学习的一个变种，它的训练数据是以“包”的形式提供的，标签也是“包”级别的。多实例学习可以通过判断正样本包中的实例是否真的是正样本来解决二义性问题。但是，普通的多实例学习并不适用于视频数据，因为视频数据带有时间维度的信息。

连续的多实例学习与普通多实例学习的不同之处是，连续的多实例学习根据视频时间连续性的特点，加入了时间连续的约束项，通过该项的约束，相邻的视频帧应该尽可能属于同一个动作类别，因为视频是时间上连续的，动作类别的变化不应过于频繁。通过加入该项约束，可以较好的解决弱标记及转折帧所引起的二义性。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于连续的多实例学习的视频中动作识别的方法。

本发明解决其技术问题所采用的技术方案包括如下步骤：

为实现上述目的，本发明所述的基于连续的多实例学习的视频中动作识别的方法包括如下步骤：

步骤1、从视频网站上收集电影数据作为训练数据样本集，同时从网站上收集字幕和剧本，对字幕和剧本进行预处理，将剧本中的动作描述作为训练数据的视频级别的弱标记；

步骤2、通过弱标记将视频切分成多个视频片段，每个视频片段由一个动作组成。对于每个动作，利用视频片段训练基于连续的多实例学习的动作分类器；

步骤3、用户将待识别视频输入至训练好的多个动作分类器，计算待识别视频的每一帧属于该动作的概率；

步骤4、利用所述步骤3)得到的概率，利用视频切割模型，得到每一帧的动作类别，将动作类别结果返回给用户。

所述的训练数据样本集包含由14个动作组成的937个视频，每个视频由2到11个动作组成。所述的14个动作为打电话、开车、吃、打人、握手、拥抱、亲吻、打开车门、开门、跑、坐下、端坐、起立和威胁。

所述的字幕和剧本的预处理如下：利用动态时间规整算法对字幕和剧本中的对话进行对齐，通过对齐将剧本和视频进行同步；对于同步后的剧本，将其中的动作描述作为视频对应片段的弱标记。

所述的视频片段定义为其中C_k包含N_k帧其中f_i ^k是视频片段第k帧的特征，使用ImageNet数据集预训练的深度卷积网络的第六层节点值作为特征f_i ^k；表示该动作中的这一帧是正样本，反之表示该动作中的这一帧是负样本。

所述的动作分类器的定义如公式(1)：

$\begin{array}{c}\underset{{\left\{y^k\right\}}_{k=1}^K,w,b}{\min }\frac{1}{2}\left|\right|w|{|}^2+\mathrm{\γ}\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N_k}{\Σ}}L(y_i^k,w^T{f}_i^k+b)+{\mathrm{\γ}}_p\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N_k}{\Σ}}|I_{(y_i^k=1)}-I_{(Y_k=1)}|\\ +{\mathrm{\γ}}_n\underset{k=1}{\overset{K}{\Σ}}\underset{\{p,q\}\∈N}{\Σ}\mathrm{\δ}(y_p^k,y_q^k)s.t.\mathrm{\δ}(y_p^k,y_q^k)=\left\{\begin{array}{c}1,y_p^k\≠y_q^k\\ 0,y_p^k=y_q^k\end{array}\right.\end{array}$ 公式(1)

式中：第一项是经典的支持向量机，w是权值向量，最小化该项能够找到两类的最大分类间隔；第二项中的L是标签与预测结果的经验损失函数，b是函数的偏置，γ是第二项的权重；第三项中Y_k是视频级别的标签，I是指示函数，当等式为真的时候，其值为1，反之为0，第三项是帧标签与视频标签不同时的惩罚项，γ_p是第三项的权重；第四项是保证视频时间连续性的约束项，N是视频中相邻帧的集合，γ_n是第四项的权重。所述的对于用户输入的待识别视频利用训练得到的动作分类器，计算待识别视频的每一帧属于某一动作的概率p(y_m＝1|F_m)：

$p(y_m=1|F_m)\≈P_{D,B}\left(g\right)=\frac{1}{\exp \left(Gg\right(F_m)+B)}$ 公式(2)

其中g(x)是训练分类器得到的支持向量机的决策函数。P_D,B(g)表示以D和B为参数的函数；D和B是两个参数，其最优值通过下面的公式求解：

$\begin{array}{c}\underset{z=(D,B)}{\min }F\left(z\right)=-\underset{i=1}{\overset{I}{\Σ}}\left(t_i\log \right(p_i)+(1-t_i\left)\log \right(1-p_i\left)\right)\\ s.t.p_i=p_{D,B}\left(g\right),t_i=\{\begin{array}{c}\frac{N_{+}+1}{N_{+}+2},y_i=1\\ \frac{1}{N_{-}+2},y_i=-1\end{array},i=1,\mathrm{...},I\end{array}$ 公式(3)

所述的公式(3)参看文献：Probabilisticoutputsforsupportvectormachinesandcomparisonstoregularizedlikelihoodmethods。

所述的利用动作分类器得到的概率，通过视频切割模型，即可识别出每一帧的动作类别，该动作类别限于训练数据所包含的14种常见的动作类别。

所述的视频切割模型是基于马尔科夫随机场的视频切割模型：

$E\left\{A_m\right\}=-\mathrm{\λ}\underset{m=1}{\overset{M}{\Σ}}\left(\log p\right(A_m|F_m)+U(\left\{A_m\right\})$ 公式(4)

其中，p(A_m|F_m)的值等于公式(2)所得的结果p(y_m＝1|F_m)，λ为第一项的权重，U({A_m})的定义如下：

$U\left(\right\{A_m\left\}\right)={\Σ}_{m=1}^M\min (F_m,F_{m+1})\·\mathrm{\δ}(A_m,A_{m+1})$

$s.t.\mathrm{\δ}(A_m,A_{m+1})=\left\{\begin{array}{cc}1,& A_m\≠A_{m+1}\\ 0,& A_m=A_{m+1}\end{array}\right.$ 公式(5)

该视频切割模型的输出A_m即为每一帧的动作识别结果。

本发明的有益效果如下：

本发明方法是一种基于连续的多实例学习的视频中动作识别的方法，该方法利用弱标记的视频片段作为输入，训练多个基于连续的多实例学习的动作分类器，该分类器可以减少由于弱标记及转折帧引起的二义性。对于用户给定的视频，利用训练得到的分类器计算每一帧属于某一动作的概率，最后用视频切割模型来检测视频帧最终的动作类别。由于该方法解决了二义性的问题，在很大程度上提高了最终检测结果的准确性。

与传统方法相比，本发明通过使用视频的字幕和剧本作为弱标记，减少了人工标记的费时费力问题，使该方法的实际应用价值提高。同时，本发明通过使用连续的多实例学习方法，减少了弱标记和转折帧带来的二义性问题，并且使该模型适用于视频这种带有时间维度的数据。

附图说明

图1是本发明方法的流程示意图。

具体实施方式

下面将结附图对本发明作进一步描述。

本发明提出了一种基于连续的多实例学习的视频中动作识别的方法。该方法首先从视频网站上收集电影数据作为训练数据，同时从网站上面收集字幕和剧本，通过字幕和剧本中的对话匹配，将字幕和剧本进行同步，并利用剧本中的动作描述作为对应视频片段的弱标记。通过视频级别的弱标记，训练数据中的每个视频被切分成若干视频片段。然后，对于每一种标记，训练一个基于连续的多实例学习的动作分类器。在测试的过程中，首先利用训练好的动作分类器计算用户输入的视频的每一帧属于该动作的概率。然后，每一帧的识别最终结果通过视频切割模型得到。

如图1所示，本发明基于连续的多实例学习的视频中动作识别的方法，包括以下步骤：

步骤1、从视频网站上收集电影数据作为训练数据样本集，同时从网站上收集字幕和剧本，对字幕和剧本进行预处理，将剧本中的动作描述作为训练数据的视频级别的弱标记；

所述的训练数据样本集包含由14个动作组成的937个视频，每个视频由2到11个动作组成。所述的14个动作为打电话、开车、吃、打人、握手、拥抱、亲吻、打开车门、开门、跑、坐下、端坐、起立和威胁。

所述的字幕和剧本的预处理如下：利用动态时间规整算法对字幕和剧本中的对话进行对齐，通过对齐将剧本和视频进行同步；对于同步后的剧本，将其中的动作描述作为视频对应片段的弱标记。

步骤2、通过弱标记将视频切分成多个视频片段，每个视频片段由一个动作组成。对于每个动作，利用视频片段训练基于连续的多实例学习的动作分类器；

所述的视频片段定义为其中C_k包含N_k帧其中f_i ^k是视频片段第k帧的特征，使用ImageNet数据集预训练的深度卷积网络的第六层节点值作为特征f_i ^k；表示该动作中的这一帧是正样本，反之表示该动作中的这一帧是负样本。

所述的动作分类器的定义如公式(1)：

$\begin{array}{c}\underset{{\left\{y^k\right\}}_{k=1}^K,w,b}{\min }\frac{1}{2}\left|\right|w|{|}^2+\mathrm{\γ}\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N_k}{\Σ}}L(y_i^k,w^T{f}_i^k+b)+{\mathrm{\γ}}_p\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N_k}{\Σ}}|I_{(y_i^k=1)}-I_{(Y_k=1)}|\\ +{\mathrm{\γ}}_n\underset{k=1}{\overset{K}{\Σ}}\underset{\{p,q\}\∈N}{\Σ}\mathrm{\δ}(y_p^k,y_q^k)s.t.\mathrm{\δ}(y_p^k,y_q^k)=\left\{\begin{array}{c}1,y_p^k\≠y_q^k\\ 0,y_p^k=y_q^k\end{array}\right.\end{array}$ 公式(1)

式中：第一项是经典的支持向量机，w是权值向量，最小化该项能够找到两类的最大分类间隔；第二项中的L是标签与预测结果的经验损失函数，b是函数的偏置，γ是第二项的权重；第三项中Y_k是视频级别的标签，I是指示函数，当等式为真的时候，其值为1，反之为0，第三项是帧标签与视频标签不同时的惩罚项，γ_p是第三项的权重；第四项是保证视频时间连续性的约束项，N是视频中相邻帧的集合，γ_n是第四项的权重。

步骤3、用户将待识别视频输入至训练好的多个动作分类器，计算待识别视频的每一帧属于该动作的概率；

所述的对于用户输入的待识别视频利用训练得到的动作分类器，计算待识别视频的每一帧属于某一动作的概率p(y_m＝1|F_m)：

$p(y_m=1|F_m)\≈P_{D,B}\left(g\right)=\frac{1}{\exp \left(Dg\right(F_m)+B)}$ 公式(2)

其中g(x)是训练分类器得到的支持向量机的决策函数。P_D,B(g)表示以D和B为参数的函数；D和B是两个参数，其最优值通过下面的公式求解：

$\begin{array}{c}\underset{z=(D,B)}{\min }F\left(z\right)=-\underset{i=1}{\overset{I}{\Σ}}\left(t_i\log \right(p_i)+(1-t_i\left)\log \right(1-p_i\left)\right)\\ s.t.p_i=p_{D,B}\left(g\right),t_i=\{\begin{array}{c}\frac{N_{+}+1}{N_{+}+2},y_i=1\\ \frac{1}{N_{-}+2},y_i=-1\end{array},i=1,\mathrm{...},I\end{array}$ 公式(3)

所述的公式(3)参看文献：Probabilisticoutputsforsupportvectormachinesandcomparisonstoregularizedlikelihoodmethods。

所述的利用动作分类器得到的概率，通过视频切割模型，即可识别出每一帧的动作类别，该动作类别限于训练数据所包含的14种常见的动作类别。

步骤4、利用所述步骤3)得到的概率，利用视频切割模型，得到每一帧的动作类别，将动作类别结果返回给用户。

所述的视频切割模型是基于马尔科夫随机场的视频切割模型，利用alpha-expansion算法来求解该模型，得到视频每一帧的标签：

$E\left\{A_m\right\}=-\mathrm{\λ}\underset{m=1}{\overset{M}{\Σ}}\left(\log p\right(A_m|F_m)+U(\left\{A_m\right\})$ 公式(4)

其中，p(A_m|F_m)的值等于公式(2)所得的结果p(y_m＝1|F_m)，λ为第一项的权重，U({A_m})的定义如下：

$U\left(\right\{A_m\left\}\right)={\Σ}_{m=1}^M\min (F_m,F_{m+1})\·\mathrm{\δ}(A_m,A_{m+1})$

$s.t.\mathrm{\δ}(A_m,A_{m+1})=\left\{\begin{array}{cc}1,& A_m\≠A_{m+1}\\ 0,& A_m=A_{m+1}\end{array}\right.$ 公式(5)

该视频切割模型的输出A_m即为每一帧的动作识别结果。

Claims (7)

1.一种基于连续的多实例学习的视频中动作识别的方法，其特征在于包括如下步骤：

步骤1、从视频网站上收集电影数据作为训练数据样本集，同时从网站上收集字幕和剧本，对字幕和剧本进行预处理，将剧本中的动作描述作为训练数据的视频级别的弱标记；

步骤2、通过弱标记将视频切分成多个视频片段，每个视频片段由一个动作组成；对于每个动作，利用视频片段训练基于连续的多实例学习的动作分类器；

步骤3、用户将待识别视频输入至训练好的多个动作分类器，计算待识别视频的每一帧属于该动作的概率；

步骤4、根据所述步骤3得到的概率，通过视频切割模型得到每一帧的动作类别，将动作类别结果返回给用户。

2.如权利要求1所述的一种基于连续的多实例学习的视频中动作识别的方法，其特征在于步骤1中所述的训练数据样本集包含由14个动作组成的937个视频，每个视频由2到11个动作组成；所述的14个动作为打电话、开车、吃、打人、握手、拥抱、亲吻、打开车门、开门、跑、坐下、端坐、起立和威胁。

3.如权利要求1所述的一种基于连续的多实例学习的视频中动作识别的方法，其特征在于步骤1中所述的字幕和剧本的预处理如下：利用动态时间规整算法对字幕和剧本中的对话进行对齐，通过对齐将剧本和视频进行同步；对于同步后的剧本，将其中的动作描述作为视频对应片段的弱标记。

4.如权利要求1所述的一种基于连续的多实例学习的视频中动作识别的方法，其特征在于步骤2中所述的视频片段定义为其中C_k包含N_k帧其中f_i ^k是视频片段第k帧的特征，使用ImageNet数据集预训练的深度卷积网络的第六层节点值作为特征f_i ^k；表示该动作中的这一帧是正样本，反之表示该动作中的这一帧是负样本；

所述的动作分类器的定义如公式(1)：

$\begin{array}{c}\underset{{\left\{y^k\right\}}_{k=1}^K,w,b}{\min }\frac{1}{2}\left|\right|w|{|}^2+\mathrm{\γ}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_k}{\mathrm{\Σ}}}L(y_i^k,w^T{f}_i^k+b)+{\mathrm{\γ}}_p\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_k}{\mathrm{\Σ}}}|I_{(y_i^k=1)}-I_{(Y_k=1)}|\\ \begin{array}{cc}+{\mathrm{\γ}}_n\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{\{p,q\}\∈N}{\mathrm{\Σ}}\mathrm{\δ}(y_p^k,y_q^k)& s.t.\mathrm{\δ}(y_p^k,y_q^k)=\left\{\begin{array}{c}1,y_p^k\≠y_q^k\\ 0,y_p^k=y_q^k\end{array}\right.\end{array}\end{array}$ 公式(1)

式中：第一项是经典的支持向量机，w是权值向量，最小化该项能够找到两类的最大分类间隔；第二项中的L是标签与预测结果的经验损失函数，b是函数的偏置，γ是第二项的权重；第三项中Y_k是视频级别的标签，I是指示函数，当等式为真的时候，其值为1，反之为0，第三项是帧标签与视频标签不同时的惩罚项，γ_p是第三项的权重；第四项是保证视频时间连续性的约束项，是视频中相邻帧的集合，γ_n是第四项的权重。

5.如权利要求1所述的一种基于连续的多实例学习的视频中动作识别的方法，其特征在于步骤3中待识别视频的每一帧属于该动作的概率的计算如下：

所述的对于用户输入的待识别视频利用训练得到的动作分类器，计算待识别视频的每一帧属于某一动作的概率p(y_m＝1|F_m)：

$p(y_m=1|F_m)\≈P_{D,B}\left(g\right)=\frac{1}{\exp \left(D_g\right(F_m)+B)}$ 公式(2)

其中g(x)是训练分类器得到的支持向量机的决策函数；P_D,B(g)表示以D和B为参数的函数；D和B是两个参数，其最优值通过下面的公式求解：

$\begin{array}{c}\underset{z=(D,B)}{\min }F\left(z\right)=-\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\left(t_i\log \right(p_i)+(1-t_i\left)\log \right(1-p_i\left)\right)\\ s.t.p_i=p_{D,B}\left(g\right),t_i=\{\begin{array}{c}\frac{N_{+}+1}{N_{+}+2},y_i=1\\ \frac{1}{N_{-}+2},y_i=1\end{array},i=1,...,I\end{array}$ 公式(3)

所述的公式(3)参看文献：Probabilisticoutputsforsupportvectormachinesandcomparisonstoregularizedlikelihoodmethods。

6.如权利要求1所述的一种基于连续的多实例学习的视频中动作识别的方法，其特征在于步骤4中所述的利用动作分类器得到的概率，通过视频切割模型，即可识别出每一帧的动作类别，该动作类别限于训练数据所包含的14种常见的动作类别。

7.如权利要求1所述的一种基于连续的多实例学习的视频中动作识别的方法，其特征在于步骤4中所述的视频切割模型是基于马尔科夫随机场的视频切割模型：

$E\left\{A_m\right\}=-\mathrm{\λ}\underset{m=1}{\overset{M}{\Σ}}\left(\log p\right(A_m\left|F_m\right)+U\left(\right\{A_m\left\}\right)$ 公式(4)

其中，p(A_m|F_m)的值等于公式(2)所得的结果p(y_m＝1|F_m)，λ为第一项的权重，U({A_m})的定义如下：

$U\left(\right\{A_m\left\}\right)={\mathrm{\Σ}}_{m=1}^M\min (F_m,F_{m+1})\·\mathrm{\δ}(A_m,A_{m+1})$ 公式(5)

$s.t.\mathrm{\δ}(A_m,A_{m+1})=\left\{\begin{array}{cc}1,& A_m\≠A_{m+1}\\ 0,& A_m=A_{m+1}\end{array}\right.$

该视频切割模型的输出A_m即为每一帧的动作识别结果。