CN105205145A - 一种轨迹建模与检索方法 - Google Patents

Abstract

本发明公开了一种基于粘性多模态对偶分层狄利克雷过程隐马尔可夫模型(SMD-HDP-HMM)的轨迹建模方法，该方法包括：将每条轨迹表示成视觉文档，形成包括多个视觉文档的训练集；以及用训练集中的视觉文档学习SMD-HDP-HMM模型。本发明还公开了一种轨迹检索方法，该轨迹检索方法使用以上轨迹建模方法生成的SMD-HDP-HMM模型，该轨迹检索方法包括：将新输入的轨迹表示成视觉文档；以及将新输入的轨迹的视觉文档与SMD-HDP-HMM模型进行匹配，判断其是否异常并且/或者检索出SMD-HDP-HMM模型中与之最相似的轨迹。

Description

一种轨迹建模与检索方法

技术领域

本发明涉及计算机视觉领域，特别涉及行为理解技术。

背景技术

在计算机视觉领域中，尤其是在基于视频分析的行为理解中，轨迹是一种重要的特征，轨迹建模可以应用于视觉监控和动作识别等领域。通过对运动轨迹建模，可以实现很多有用的功能，例如发现典型的轨迹模式、检测新的运动轨迹是否异常、检索与新轨迹相似的运动轨迹或视频片断等。

由于不同场景中包含的轨迹模式各不相同，因此开发无监督的轨迹建模方法、为不同场景下的应用提供统一方便的解决方案是十分重要的。后文中提到的轨迹建模方法都是无监督的。目前已有的轨迹建模方法可以粗略地划分为基于相似度的方法和基于概率模型的方法。基于相似度的方法根据不同样本之间的相似度来完成聚类的任务，其关键在于定义轨迹相似度的计算方式。目前已存在多种不同的轨迹相似度的计算方法，如插值后的欧氏距离、基于DFT系数的欧氏距离、动态时间规整(DTW)距离、最大公共子串(LCSS)距离等。基于相似度的方法的优点是模型简单且容易实现，但它的缺点也是很明显的：a)它不能以一种普适的原则化的方法来确定类别的个数；b)用于异常检测时缺乏概率解释；c)难以充分利用轨迹内部的时空结构获得更高的聚类准确度。概率模型大多属于产生式模型，即假设训练好的模型能很好地解释数据的生成机制。由于包含运动信息的数据表示形式多样，而且对于同样形式的数据其产生机制也存在多种假设，因此概率模型运用广泛，形式繁多，常用的概率模型包括混合高斯模型(GMM)、隐马尔可夫模型(HMM)、潜在狄利克雷分配(LDA)、分层狄利克雷过程(HDP)等。与基于相似度的模型相比，概率模型明显更加复杂，但它具有更强的表达能力，可以更准确地对运动数据建模，并且其中HDP等贝叶斯非参数模型可以自动确定合理的轨迹模式的数目。

目前存在的轨迹建模与检索方法无法同时兼具以下优点：a)同时利用轨迹的时间和空间结构，提高学习准确度和检索性能；b)自动确定轨迹模式数目以及时空模型的结构复杂度，避免繁琐耗时的模型选择过程；c)学习可以在各轨迹类别间共享的原子轨迹模式，减少模型参数并发现更多轨迹模式的知识；d)联合优化轨迹聚类和轨迹时空模型的学习过程，使二者相互促进；e)高效地实现轨迹检索，避免遍历数据库。

发明内容

(一)要解决的技术问题

本发明的目的在于提出一种基于无监督学习的轨迹建模和检索方法，解决自动发现轨迹模式以及/或者高效准确地实现轨迹检索的技术问题。

(二)技术方案

为实现上述目的，本发明提出一种基于粘性多模态对偶分层狄利克雷过程隐马尔可夫模型(SMD-HDP-HMM)的轨迹建模方法，该方法包括以下步骤：

步骤S1：将每条轨迹表示成视觉文档，形成包括多个视觉文档的训练集；以及

步骤S2：用训练集中的视觉文档学习SMD-HDP-HMM模型。

优选地，所述步骤S1包括：

步骤S1a：将每条轨迹分割成子轨迹序列；

步骤S1b：从每条子轨迹中提取一个特征向量；以及

步骤S1c：对子轨迹特征向量聚类生成视觉词典，根据该视觉词典把每条子轨迹编码成视觉单词，从而把每条轨迹表示成视觉文档。

优选地，所述步骤S2包括：

步骤S2a：为SMD-HDP-HMM中的各个参数随机地生成初始值；以及

步骤S2b：用Gibbs采样法采样SMD-HDP-HMM中的各个参数，采样足够多次直至模型收敛。

本发明还提供了一种轨迹检索方法，该轨迹检索方法使用根据权利要求1-7中的任一项所述的轨迹建模方法生成的SMD-HDP-HMM模型，该轨迹检索方法包括以下步骤：

步骤S3：将新输入的轨迹表示成视觉文档；以及

步骤S4：将新输入的轨迹的视觉文档与SMD-HDP-HMM模型进行匹配，判断其是否异常并且/或者检索出SMD-HDP-HMM模型中与之最相似的轨迹。

优选地，所述步骤3包括：

步骤S3a：将新轨迹分割成子轨迹序列；

步骤S3b：从新轨迹的每条子轨迹中提取一个特征向量；以及

步骤S3c：根据视觉词典把新轨迹的每条子轨迹编码成视觉单词，从而把新轨迹表示成视觉文档。

优选地，所述步骤S4包括：

步骤S4a：计算新轨迹关于SMD-HDP-HMM模型中各轨迹模式的条件似然，将其中最大者与一个事先确定的阈值进行比较，如果小于该阈值，则判定新轨迹为异常轨迹；以及/或者

步骤S4b：计算新轨迹属于SMD-HDP-HMM模型中各轨迹模式的后验概率，后验概率最大的轨迹模式中与该新轨迹的条件似然最大的轨迹即为SMD-HDP-HMM模型中与新轨迹最相似的轨迹。

(三)有益效果

本发明所提出的基于SMD-HDP-HMM的轨迹建模与检索方法，通过学习SMD-HDP-HMM模型，能够充分利用轨迹的时空结构以较高的准确度学习轨迹模式，自动确定轨迹模式的数目，并高效地实现轨迹检索。

附图说明

图1为基于SMD-HDP-HMM的轨迹建模方法流程图；

图2为图1中步骤S1的流程图；

图3为图1中步骤S2的流程图；

图4为使用SMD-HDP-HMM的轨迹检索方法流程图；以及

图5为SMD-HDP-HMM的概率图模型。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明的方法并不受具体硬件和编程语言的限制，用任何语言编写都可以实现本发明的方法。根据本发明的实施例，采用一台具有2.83G赫兹中央处理器和2G字节内存的计算机，并用Matlab语言实现根据本发明的方法。

图1示出了根据本发明的实施例的一种基于SMD-HDP-HMM的轨迹建模方法，该方法包括：

步骤S1：将轨迹表示成视觉文档，形成包括多个视觉文档的训练集；以及

步骤S2：用训练集中的视觉文档学习SMD-HDP-HMM模型。

图2示出了根据本发明的实施例的一种使用根据如上轨迹建模方法生成的SMD-HDP-HMM模型的轨迹检索方法，包括：

步骤S3：将新输入的轨迹表示成视觉文档；以及

步骤S4：将新输入的轨迹的视觉文档与SMD-HDP-HMM模型进行匹配，判断其是否异常并且/或者检索出SMD-HDP-HMM模型中与之最相似的轨迹。

下面根据本发明的实施例，详细说明上文所描述的各个步骤。

如图3所示，步骤S1包含如下步骤：

步骤S1a：将一条原始轨迹s记为其中x_t和y_t分别表示轨迹中第t个点的X轴坐标和Y轴坐标，S是该轨迹中的总点数。用谱聚类算法对带时间标签的点集进行聚类，聚出的每个团簇即一条子轨迹，一条轨迹被分割成一个子轨迹序列。

步骤S1b：首先对所有子轨迹进行重采样使之具有相同的点数，再对子轨迹中每个相邻的点对作差分运算以获得每个点的速度特征，例如该点的X轴速度分量和Y轴速度分量。然后把每条子轨迹中各点的X轴位置坐标、Y轴位置坐标、X轴速度分量和Y轴速度分量拼接成一个特征向量，最后对它们进行主成分分析(PCA)并取每条子轨迹的前D个主成分系数作为它的特征向量，其中D可取为使前D个主成分的能量占总能量的98％。

步骤S1c：用K-means算法对所有子轨迹的特征向量聚类得到一个V维的视觉词典，然后根据该词典将每条子轨迹编码成一个视觉单词。相应地，每条轨迹就被自然地表示为一个包含时序关系的视觉文档其中T为步骤S1a中对该轨迹分割出的子轨迹数，y_t∈{1，…，V}，V应为一个较大的值。可以根据要分析的轨迹数据的分布复杂程度来确定V的值。例如，根据本发明的实施例，其取值为200。

如图4所示，步骤S2包含如下步骤：

步骤S2a：

在该步骤中，为SMD-HDP-HMM中的各个参数随机地生成初始值。这里，SMD-HDP-HMM中的各个参数包括第j(j＝1，2，…)篇文档的隐状态序列第j篇文档的模态标签集合模态权重向量{ψ_k}、全局主题先验分布β₀、第c类文档的主题先验{β_c}、第c类文档的状态转移矩阵第j篇文档的类别标签{c_j}以及主题参数集合{θ_ks}。

图5示出了该SMD-HDP-HMM模型中的各参数及这些参数之间的关系。具体而言，从L维狄利克雷分布Dir(γ₀/L，…，γ₀/L)中采样L维向量β₀，它是一个全局主题分布。从狄利克雷分布Dir(γβ₀)中采样L维向量β_c，其中β_c是第c类文档的主题分布。从狄利克雷分布Dir(αβ_c+κδ_k)中采样L维向量其中k∈{1，…，L}，δ_k是一个L维向量，其中第k个元素为1，其余元素皆为0，是第c类文档的第k个主题转移分布，形成第c类文档的主题转移矩阵。从维狄利克雷分布中采样维向量ψ_k，其中k∈{1，…，L}，ψ_k是主题k的多模态混合权重。从V维狄利克雷分布Dir(λ/V，…，λ/V)中采样V维向量θ_ks，其中k∈{1，…，L}，θ_ks是主题k的第s个模态的分布参数。从维狄利克雷分布中采样维向量ω，它是文档类别分布。从类别分布ω中采样第j个文档(轨迹)的类别标签c_j，其中j∈{1，…，M}，M是文档数目。对于第j个文档，根据主题转移矩阵采样生成主题序列其中T_j是第j个文档的单词数目。从分布中采样模态标签其中t∈{1，…，T_j}。

超参数γ₀、γ、α、κ、σ、λ、ξ均为大于0的正实数，根据本发明的实施例，κ的取值为100.0，其余参数均为1.0。L、和为正整数，应分别大于文档主题、模态和文档(轨迹)类别的估计值。根据本发明的实施例，L、和分别为100、5和50。

步骤S2b：

在该步骤中，用Gibbs采样法迭代地采样SMD-HDP-HMM中的参数{ψ_k}，β₀，{β_c}，{c_j}，{θ_ks}，直至SMD-HDP-HMM模型收敛。具体的采样算法如下：

采样

递归地计算出文档j中各时刻的后向消息：

$m_t\left(k\right)\&Proportional;\{\begin{array}{cc}\underset{k^{\&prime;}=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_{{\mathrm{kk}}^{\&prime;}}^c\underset{s=1}{\overset{\tilde{L}}{\&Sigma;}}p\left(s\right|{{\mathrm{\&psi;}}_k}^{\&prime;})p\left(y_t^j\right|{\mathrm{\&theta;}}_{k^{\&prime;}s})m_{t+1}\left(k^{\&prime;}\right),& t<T_j,\\ 1,& t=T_j,\end{array},k=1,\mathrm{...},L$

然后从的条件分布

$p\left(z_t^j\right|z_{t-1}^j,\left\{y_t^j\right\},\left\{{\mathrm{\&pi;}}_k^j\right\},\left\{{\mathrm{\&theta;}}_{ks}\right\},\left\{{\mathrm{\&psi;}}_k\right\})=p\left(z_t^j\right|{\mathrm{\&pi;}}_{z_{t-1}}^{c_j})\underset{s=1}{\overset{\tilde{L}}{\&Sigma;}}p\left(s_t^j\right|{\mathrm{\&psi;}}_{z_t^j})p\left(y_t^j\right|{\mathrm{\&theta;}}_{z_t^j,s_t^j})m_t^j\left(z_t^j\right)$

中依次采样

采样

从分布

$p\left(s_t^j\right|\left\{{\mathrm{\&psi;}}_k\right\},\left\{{\mathrm{\&theta;}}_{ks}\right\},y_t^j,z_t^j)\&Proportional;p\left(s_t^j\right|{\mathrm{\&psi;}}_{z_t^j})p\left(y_t^j\right|{\mathrm{\&theta;}}_{z_t^j,s_t^j})$

中采样变量

采样{ψ_k}：

从维狄利克雷分布中采样变量ψ_k，其中表示所有文档中属于主题k且模态标签为s的单词数。

采样β₀，{β_c}，

令表示第c类文档中相邻单词的主题从k到l的转移次数，对于l＝1，…，L，根据算法1采样辅助变量

根据算法2采样辅助变量

根据和计算得到辅助变量

令根据算法1采样辅助变量

${\tilde{m}}_l^c=randNumTable({\stackrel{\&OverBar;}{m}}_{\&CenterDot;l}^c,{\mathrm{\&gamma;\&beta;}}_{0l}).$

令 $m_l^{\&CenterDot;}={\mathrm{\&Sigma;}}_c{m}_l^c,$ 从狄利克雷分布中采样变量β₀。

从狄利克雷分布采样变量βc。

从狄利克雷分布中采样变量

采样{c_j}：

对于j＝1，…，M，从条件分布

$p(c_j=c|c^{-j},z^j,\left\{{\mathrm{\&pi;}}_k^c\right\},\mathrm{\&xi;})\&Proportional;\frac{\mathrm{\&xi;}/\stackrel{\&OverBar;}{L}+{\hat{n}}_c^{-j}}{\mathrm{\&xi;}+M-1}\underset{k=1}{\overset{L}{\&Pi;}}\underset{l=1}{\overset{L}{\&Pi;}}{\mathrm{\&pi;}}_{kl}^{{\mathrm{cn}}_{kl}^j},c=1,\mathrm{...},\stackrel{\&OverBar;}{L}$

中采样第j个文档(轨迹)的类别标签c_j，其中表示除文档j以外的类别标签为c的文档数目。

采样{θ_ks}：

从V维狄利克雷分布中采样变量θ_ks，其中表示所有文档中属于主题k且模态为s的单词w的个数。

迭代进行以上采样步骤，直到SMD-HDP-HMM模型收敛。

采样完成后，去除那些没有数据关联的主题和文档类，把最终确定的主题和文档类的数目分别记为K和C，并把有数据关联的主题标签和文档类标签分别重新映射到{1，…，K}和{1，…，C}。

步骤S3包含如下步骤：

按照步骤S1a和步骤S1b将新输入的轨迹表示成特征向量序列，再根据步骤S1c中得到的视觉词典将特征向量序列编码成视觉文档

步骤S4包括如下步骤S4a和/或步骤S4b。

在步骤S4a中，对于c＝1，…，C，根据第c类文档(即，第c类轨迹模式)的状态转移矩阵多模态混合权重向量{ψ_k}以及分布参数{θ_ks}，用隐马尔可夫模型(HMM)的前向-后向算法计算y关于类别c的条件似然 $l_c\left(y\right)=p\left(y\right|\left\{{\mathrm{\&pi;}}_k^c\right\},\left\{{\mathrm{\&psi;}}_k\right\},\left\{{\mathrm{\&theta;}}_{ks}\right\}):$

递归地计算y中各时刻的后向消息：

$m_t\left(k\right)\&Proportional;\{\begin{array}{cc}\underset{k^{\&prime;}=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_{{\mathrm{kk}}^{\&prime;}}^c\underset{s=1}{\overset{\tilde{L}}{\&Sigma;}}p\left(s\right|{\mathrm{\&psi;}}_k)p\left(y_t\right|{\mathrm{\&theta;}}_{k^{\&prime;}s})m_{t+1}\left(k^{\&prime;}\right),& t<T,\\ 1,& t=T,\end{array},k=1,...,K$

其中m₀(0)即l_c(y)。

寻找使得l_c(y)最大的类别c^*：

$c^{*}=\arg \underset{c}{\max }{l}_c\left(y\right),$

如果小于一个阈值那么y表示的轨迹就被认为是异常的。计算学习到的第c^*类训练轨迹的条件似然，并用其最小值作为阈值

在步骤S4b中：

计算y属于各类别c的后验概率：

$p(c_y=c|y,{\left\{c_j\right\}}_{j=1}^M,\left\{{\mathrm{\&pi;}}_k^c\right\},\left\{{\mathrm{\&theta;}}_{ks}\right\},\mathrm{\&xi;})\&Proportional;{\hat{n}}_c{l}_c\left(y\right),$

其中是学习到的属于类别c的训练轨迹的数目。然后按各类别的后验概率从大到小的顺序输出各类别的轨迹，每个类别的轨迹则按照它们在该类别的条件似然从大到小的顺序输出，其中条件似然由步骤S4a中的方法来计算。后验概率最大的类别中与该新轨迹的条件似然最大的轨迹即为与新输入的轨迹最相似的轨迹。

步骤S4a和S4b可以并行执行或依次执行，也可以在执行步骤S4a后，对属于非异常轨迹的轨迹执行步骤S4b。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于粘性多模态对偶分层狄利克雷过程隐马尔可夫模型SMD-HDP-HMM的轨迹建模方法，该方法包括：

步骤S1：将每条轨迹表示成视觉文档，形成包括多个视觉文档的训练集；以及

步骤S2：用训练集中的视觉文档学习SMD-HDP-HMM模型。

2.根据权利要求1所述的轨迹建模方法，其特征在于，所述步骤S1包括：

步骤S1a：将每条轨迹分割成子轨迹序列；

步骤S1b：从每条子轨迹中提取一个特征向量；以及

步骤S1c：对子轨迹特征向量聚类生成视觉词典，根据该视觉词典把每条子轨迹编码成视觉单词，从而把每条轨迹表示成视觉文档。

3.根据权利要求1所述的轨迹建模方法，其特征在于，所述步骤S2包括：

步骤S2a：为SMD-HDP-HMM中的各个参数随机地生成初始值；以及

步骤S2b：用Gibbs采样法采样SMD-HDP-HMM中的各个参数，采样足够多次直至模型收敛。

4.根据权利要求2所述的轨迹建模方法，其特征在于，步骤S1a包括：针对每条轨迹，对该轨迹的带时间标签的点集进行聚类，聚出的每个团簇即为一条子轨迹。

5.根据权利要求2所述的轨迹建模方法，其特征在于，步骤S1b包括，针对每条子轨迹：

对该子轨迹进行重采样使之具有相同的点数；

获得每个点的速度特征；以及

将每个点的位置坐标和速度特征进行拼接，以得到该子轨迹的特征向量。

6.根据权利要求2所述的轨迹建模方法，其特征在于，在步骤S1c中，使用K-means算法对子轨迹特征向量聚类。

7.根据权利要求3所述的轨迹建模方法，其特征在于，SMD-HDP-HMM中的各个参数包括第j(j＝1，2，...)篇文档的隐状态序列第j篇文档的模态标签集合模态权重向量{ψ_k}、全局主题先验分布β₀、第c类文档的主题先验{β_c}、第c类文档的状态转移矩阵第j篇文档的类别标签{c_j}以及主题参数集合{θ_ks}。

8.一种轨迹检索方法，该轨迹检索方法使用根据权利要求1-7中的任一项所述的轨迹建模方法生成的SMD-HDP-HMM模型，该轨迹检索方法包括以下步骤：

步骤S3：将新输入的轨迹表示成视觉文档；以及

步骤S4：将新输入的轨迹的视觉文档与SMD-HDP-HMM模型进行匹配，判断其是否异常并且/或者检索出SMD-HDP-HMM模型中与之最相似的轨迹。

9.根据权利要求8在引用权利要求2时所述的方法，其特征在于，所述步骤3包括：

步骤S3a：将新轨迹分割成子轨迹序列；

步骤S3b：从新轨迹的每条子轨迹中提取一个特征向量；以及

步骤S3c：根据视觉词典把新轨迹的每条子轨迹编码成视觉单词，从而把新轨迹表示成视觉文档。

10.根据权利要求8所述的方法，其特征在于，所述步骤S4包括：

步骤S4a：计算新轨迹关于SMD-HDP-HMM模型中各轨迹模式的条件似然，将其中最大者与一个事先确定的阈值进行比较，如果小于该阈值，则判定新轨迹为异常轨迹；以及/或者

步骤S4b：计算新轨迹属于SMD-HDP-HMM模型中各轨迹模式的后验概率，后验概率最大的轨迹模式中与该新轨迹的条件似然最大的轨迹即为SMD-HDP-HMM模型中与新轨迹最相似的轨迹。

11.根据权利要求10所述的方法，其特征在于，在所述步骤S4a中，对于每个轨迹模式，根据该轨迹模式的状态转移矩阵、多模态混合权重向量以及分布参数，用隐马尔可夫模型的前向-后向算法来计算新轨迹关于该轨迹模式的条件似然。