CN110188608B - 一种基于自适应阶数的交互行为分析方法 - Google Patents

一种基于自适应阶数的交互行为分析方法 Download PDF

Info

Publication number
CN110188608B
CN110188608B CN201910331755.2A CN201910331755A CN110188608B CN 110188608 B CN110188608 B CN 110188608B CN 201910331755 A CN201910331755 A CN 201910331755A CN 110188608 B CN110188608 B CN 110188608B
Authority
CN
China
Prior art keywords
behavior
causal
order
steps
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910331755.2A
Other languages
English (en)
Other versions
CN110188608A (zh
Inventor
樊亚文
周全
康彬
白晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910331755.2A priority Critical patent/CN110188608B/zh
Publication of CN110188608A publication Critical patent/CN110188608A/zh
Application granted granted Critical
Publication of CN110188608B publication Critical patent/CN110188608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应阶数的交互行为分析方法，包括以下步骤：步骤一：视频特征提取与表示；步骤二：利用分层狄利克雷过程模型对视频序列进行建模，检测出场景中包含的行为，并利用K‑means算法进行分类，实现多变量时间序列提取与分类；步骤三：进行多变量自回归模型阶数选择；步骤四：基于频域的多向量过程因果测量的组间交互行为分析；步骤五：基于频域的多标量过程因果测量的组内交互行为分析；步骤六：基于组间和组内因果测量的全局和局部行为交互网络构建。本发明的优点是：不仅能检测出场景中全局和局部交互行为，而且可以构建全局和局部行为交互网络。

Description

一种基于自适应阶数的交互行为分析方法
技术领域
本发明涉及计算机视频处理技术领域，具体涉及一种基于自适应阶数的交互行为分析方法。
背景技术
视频监控通常面向通一些人流大、车流大、密度高的公共场所，如地铁、广场、公共交通路口等。识别场景中的行为模式，是智能视频监控中的一个重要问题，目的是尽可能的采用无监督的方法检测出多个行为，并建立它们之间的交互关系。通常视频中行为可以被视为多个时间变量，那么分析行为之间的交互，就是要分析多变量时序数据间的相互作用。作为时序数据分析的强大工具，基于多变量自回归的格兰杰因果测量在理解多变量时间序列的依赖结构上有重要作用(参见：Kumar K.Introduction to Modern Time SeriesAnalysis by G.Kirchgassner；J.Wolters[M].Introduction to modern time seriesanalysis.2008.)。对于行为分析来说，行为之间的交互状态通常具有多尺度的结构性。例如，一个行为紧随着另个一行为发生，从全局来看，二者可视为同时发生；但从局部来看，二者可视为序列发生的。因此，从不同时滞尺度的角度来看，行为交互的模式是不同的。对应于多变量自回归模型，就是模型的阶数不同会导致变量间产生不同的依赖关系。为了利用多变量时序数据中隐含的结构性，一般有两类方法：一种是基于最小绝对收缩和选择算子(LASSO)的方法，以及它们的组合和其它变体(参见：Basu S,Shojaie A,MichailidisG.Network Granger Causality with Inherent Grouping Structure[M].The Journalof Machine Learning Research,2015,16(1)：417-453.)另一种是：基于后向时间选择(BTS)及其变体的方法，用于估计阶数。(参见：Siggiridou E,Kugiumtzis D.GrangerCausality in Multivariate Time Series Using a Time-Ordered Restricted VectorAutoregressive Model[J].IEEE Transactions on Signal Processing,2016,64(7):1759-1773.)上述两种方法实质上都是利用降维实现多变量中小组结构的检测，但是难以同时实现全局和局部的交互行为分析。
发明内容
本发明的目的是提供一种能检测出场景中全局和局部交互行为、并能构建全局和局部行为交互网络的基于自适应阶数的交互行为分析方法。
为实现上述目的，本发明采用了如下技术方案：一种基于自适应阶数的交互行为分析方法，包括以下步骤：
步骤一：视频特征提取与表示；
步骤二：利用分层狄利克雷过程模型对视频序列进行建模，检测出场景中包含的行为，并利用K-means算法进行分类，实现多变量时间序列提取与分类；
步骤三：进行多变量自回归模型阶数选择；
步骤四：基于频域的多向量过程因果测量的组间交互行为分析；
步骤五：基于频域的多标量过程因果测量的组内交互行为分析；
步骤六：基于组间和组内因果测量的全局和局部行为交互网络构建。
进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤一中，视频特征提取与表示，具体步骤如下：
步骤(1.1)：利用光流算法计算视频序列中相邻帧之间的光流特征并对光流进行幅度去噪；
步骤(1.2)：对去噪后的光流特征进行位置和方向的量化；
步骤(1.3)：将视频序列分割成N个片段，并表示成词袋模式。
进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤二中，多变量时间序列提取与分类，具体步骤如下：
步骤(2.1)：基于分层狄利克雷过程模型对N个片段进行建模，提取场景中的M个行为，整个视频场景可以表示成一个M×N维的矩阵，其中行向量代表行为发生的离散时间序列X1,...,XM；
步骤(2.2)：基于K-means算法对多变量时间序列X1,...,XM进行聚类，将其分成H个小组Y1,...,YH；
步骤(2.3)：对多变量时间序列X1,...,XM进行去噪声，去趋势化，零均值以及一阶差分处理。
进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤三中，进行多变量自回归模型阶数选择，具体步骤如下：
步骤(3.1)：对于M个时间序列X1,...,XM建立p阶多变量自回归模型：
Figure BDA0002036629730000021
其中,X(n)是M×1维的列向量，表示多变量过程在时刻n的值，p表示模型的阶数，0＜p≤pmax；A(k)表示M×M维的模型预测系数，U1(n)是M×1维的白噪声；pmax表示最大阶数；
步骤(3.2)：利用最小二乘法估计模型的预测系数A(k)；
步骤(3.3)：计算p阶模型的残差平方和RSS(p)；
步骤(3.4)：计算贝叶斯信息准则：
mBIC(p)＝Nlog(RSS(p))+λlog(N)M2p,
其中，N表示行为样本长度；λ表示惩罚因子，其取值自适应于组间和组内交互行为分析；
步骤(3.5)：重复步骤(3.1)～步骤(3.3)，直到遍历完所有阶数；
步骤(3.6)：选择最佳阶数p0，具体为：
Figure BDA0002036629730000031
进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤四中，基于频域的多向量过程因果测量，具体步骤如下：
步骤(4.1)：对H个行为小组构建向量过程Y(n)＝[Y1(n),...,YH(n)]T；
步骤(4.2)：基于步骤三的算法选择M个变量的自回归模型最佳阶数po；
步骤(4.3)：对向量过程进行pg阶回归，并利用最小二乘法进行参数估计：
Figure BDA0002036629730000032
其中，Y(n)是M×1维的列向量，表示多向量过程在时刻n的值，pg＝po表示模型的阶数；B(k)表示M×M维的模型预测系数，U2(n)是M×1维的白噪声；
步骤(4.4)：进行频域变换:
Figure BDA0002036629730000033
其中，B(w)表示普矩阵,w∈[-π,π),T表示时间序列的采样周期；
步骤(4.5)：计算频率w处，行为组Yj对行为组Yi的直接因果测量gj-＞i(w)，具体为：
Figure BDA0002036629730000034
Figure BDA0002036629730000035
其中，Bij表示B(w)中第i-j块，Σii表示噪声协方差矩阵Σ的第i-i块，1≤i≤H，1≤j≤H；
步骤(4.6)：重复步骤(4.5)，直到计算完所有频率点处的因果测量；
步骤(4.7)：计算行为Yj对行为Yi的总体直接因果测量：
Figure BDA0002036629730000041
步骤(4.8)：重复步骤(4.5)～步骤(4.7)，直到遍历完所有的行为组。
进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤五中，基于频域的多标量过程因果测量，具体步骤如下：
步骤(5.1)：对于包含L个行为的小组构建标量过Yh(n)＝[Xh1(n),...XhL(n)]T,1≤h≤H；
步骤(5.2)：基于步骤三的算法选择L个行为的多变量自回归模型最佳阶数po，此时pmax＝pg；
步骤(5.3)：对标量过程进行pl阶回归，利用最小二乘法进行参数估计:
Figure BDA0002036629730000042
其中，Yh(n)是L×1维的列向量，表示多标量过程在时刻n的值，pl＝po表示模型的阶数；C(k)表示L×L维的模型预测系数，U3(n)是M×1维的白噪声；
步骤(5.4)：进行频域变换：
Figure BDA0002036629730000043
Figure BDA0002036629730000044
其中，C(w)表示普矩阵，Σ表示噪声协方差矩阵，w∈[-π,π),T表示时间序列的采样周期；
步骤(5.5)：计算频率w处，行为Xhv对行为Xhu的直接因果影响，具体为：
Figure BDA0002036629730000045
其中，pvv(w)表示P(w)的第v-v个元素，
Figure BDA0002036629730000046
表示Σ的u-u元素，
Figure BDA0002036629730000047
表示
Figure BDA0002036629730000048
的第u-v个元素,1≤u≤L,1≤v≤L；
步骤(5.6)：重复步骤(5.5)，直到计算完所有频率点处的因果测量；
步骤(5.7)：计算行为Xhv对行为Xhv的总体直接影响：
Figure BDA0002036629730000051
步骤(5.8)：重复步骤(5.5)～步骤(5.7)，直到遍历完小组内所有行为；
步骤(5.9)：重复步骤(5.1)～步骤(5.8)，直到遍历完所有行为小组。
进一步地，前述的一种基于自适应阶数的交互行为分析方法，其中：在步骤六中，构建全局和局部行为交互网络，具体步骤如下：
步骤(6.1)：计算组间平均因果测量：
Figure BDA0002036629730000052
步骤(6.2)：基于平均因果测量对组间因果测量进行去噪：
Figure BDA0002036629730000053
步骤(6.3)：计算每个组内平均因果测量：
Figure BDA0002036629730000054
步骤(6.4)：基于平均因果测量对组内行为的因果测量进行去噪：
Figure BDA0002036629730000055
步骤(6.5)：重复步骤(6.3)～步骤(6.4)，直到遍历完所有小组；
步骤(6.6)：以小组行为作为顶点，因果测量作为边，构建全局行为交互网络；
步骤(6.7)：在小组内以每个行为作为顶点，行为之间的因果测量作为边，构建局部行为交互网络。
通过上述技术方案的实施，本发明的有益效果是：(1)提出了一种新的行为交互检测框架，能检测出场景中全局和局部交互行为；(2)提出一种基于贝叶斯信息准则的多变量自回归模型阶数选择；(3)可以构建全局和局部行为交互网络。
附图说明
图1为本发明所述的一种基于自适应阶数的交互行为分析方法的流程示意图。
图2为本发明具体实施例中组间和组内行为因果测量值。
图3为根据图2中的组间和组内行为因果测量值构建的全局和局部行为交互网络以及对应的场景。
具体实施方式
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施采用的视频序列来自数据库QMUL(The Queen Mary UniversityofLondon)交通数据库，帧率为25pfs,分辨率为360×288；QMUL数据库来自于伦敦大学玛丽皇后学院，是专门用于复杂视频监控场景分析的数据库。
如图1、图2、图3所示，所述的一种基于自适应阶数的交互行为分析方法，包括以下步骤：
步骤一：视频特征提取与表示，具体步骤如下：
步骤(1.1)：利用光流算法计算视频序列中相邻帧之间的光流特征，并对光流进行幅度去噪，即若光流特征的幅度值小于阈值Thra，则将该光流去除；本实施例Thra＝0.8；
步骤(1.2)：对去噪后的光流特征进行位置和方向的量化；为了对位置进行量化，整个场景被分割成36×29的网格，每个网格单元大小10×10；然后运动方向均匀量化为8个；因此，可以构建出一个规模为36×29×8的视觉词典；每个光流特征根据其所在的位置和方向映射成一个视觉单词；
步骤(1.3)：将视频序列分割成时长3s的不重叠的N＝1246个视频片段,每个视频文档由其所包含的视觉单词累积而成；
步骤二：利用分层狄利克雷过程模型对视频序列进行建模，检测出场景中包含的行为，并利用K-means算法进行分类，实现多变量时间序列提取与分类，具体步骤如下：
步骤(2.1)：基于分层狄利克雷过程模型对1246个片段进行建模，提取场景中行为；本实施例中，选取占主导作用的七个行为，即M＝7，整个视频场景可以表示成一个7×1246维的矩阵，其中行向量代表行为发生的时间序列X1,...X7；
步骤(2.2)：基于K-means算法对多变量时间时间序列X1,...XM进行聚类，将其分成H个小组Y1,...YH；
本实施例中，H＝3，Y1包含3个行为，Y2包含2个行为，Y3包含2个行为；
步骤(2.3)：对多变量时间序列X1,...XM进行去噪声，去趋势化，零均值以及一阶差分处理；
步骤三：进行多变量自回归模型阶数选择，具体步骤如下：
步骤(3.1)：对于M个时间序列X1,...XM建立p阶多变量自回归模型，
Figure BDA0002036629730000071
其中，X(n)是M×1维的列向量，表示多变量过程在时刻n的值，p表示模型的阶数，0＜p≤pmax；A(k)表示M×M维的模型预测系数，U1(n)是M×1维的白噪声，pmax表示最大阶数；当分析组间交互行为时pmax按经验确定，当分析组内交互行为时pmax等于选出的组间最优阶数；
步骤(3.2)：利用最小二乘法估计模型的预测系数A(k)；
步骤(3.3)：计算p阶模型的残差平方和RSS(p)；
步骤(3.4)：计算贝叶斯信息准则：
mBIC(p)＝Nlog(RSS(p))+λlog(N)M2p,
其中，N表示行为样本长度，λ表示惩罚因子，本实施例中，N＝1246，λ＝1；
步骤(3.5)：重复步骤(3.1)～步骤(3.3)，直到遍历完所有阶数；
步骤(3.6)：选择最佳阶数p0，具体为：
Figure BDA0002036629730000072
步骤四：H个行为组间的交互分析，采用基于频域的多向量过程因果测量，具体步骤如下：
步骤(4.1)：对H个行为小组构建向量过程Y(n)＝{Y1 T(n),...YH T(n)}T；
步骤(4.2)：基于步骤三的算法选择M个变量的自回归模型最佳阶数po，本实施例中，pmax＝20，λ＝1，po＝7。
步骤(4.3)：对向量过程进行pg阶回归，并利用最小二乘法进行参数估计：
Figure BDA0002036629730000073
其中，Y(n)是M×1维的列向量，表示多向量过程在时刻n的值，pg＝po表示模型的阶数；B(k)表示M×M维的模型预测系数，U2(n)是M×1维的白噪声；在本实施例中，pg＝7；
步骤(4.4)：进行频域变换，
Figure BDA0002036629730000081
其中，B(w)表示普矩阵，w∈[-π,π)；在本实施例中，T＝30，采用512点的快速傅里叶变换计算；
步骤(4.5)：计算频率w处，行为组Yj对行为组Yi的直接因果测量gj-＞i(w)，具体为：
Figure BDA0002036629730000082
其中，Bij表示B(w)中第i-j块，Σii表示噪声协方差矩阵Σ的第i-i块，
Figure BDA0002036629730000083
在本实施例中，1≤i≤3，1≤j≤3；
步骤(4.6)：重复步骤(4.5)，直到计算完所有频率点处的因果测量；
步骤(4.7)：计算行为Yj对行为Yi的总体直接因果测量：
Figure BDA0002036629730000084
步骤(4.8)：重复步骤(4.5)～步骤(4.7)，直到遍历完所有的行为组；
步骤五：组内行为的交互分析，采用基于频域的多标量过程因果测量，具体步骤如下：
步骤(5.1)：对于包含Lh个行为的小组进行构建标量过程Yh(n)＝[Xh1(n),...XhL(n)]T；在本实施例中，对于行为组Y1，L＝3；对于行为组Y2，L＝2；对于行为组Y3，L＝2；
步骤(5.2)：基于步骤三的算法选择L个行为的多变量自回归模型最佳阶数po，此时pmax＝pg；在本实施例中，pmax＝7，λ＝1.7，po＝4；
步骤(5.3)：对标量过程进行pl阶回归，利用最小二乘法进行参数估计：
Figure BDA0002036629730000085
其中，Yh(n)是L×1维的列向量，表示多标量过程在时刻n的值，pl＝po表示模型的阶数；C(k)表示L×L维的模型预测系数，U3(n)是M×1维的白噪声；在本实施例中，pl＝4；
步骤(5.4)：进行频域变换：
Figure BDA0002036629730000091
Figure BDA0002036629730000092
其中，C(w)表示普矩阵，Σ表示噪声协方差矩阵，w∈[-π,π)，T表示离散信号的采样周期，在本实施例中T＝30，采用512点的快速傅里叶变换计算；
步骤(5.5)：计算频率w处，行为Xhv对行为Xhu的直接因果影响，具体为：
Figure BDA0002036629730000093
其中，pvv(w)表示P(w)的第v-v个元素，
Figure BDA0002036629730000094
表示Σ的u-u元素，
Figure BDA0002036629730000095
表示
Figure BDA0002036629730000096
的第u-v个元素，1≤u≤L，1≤v≤L；
步骤(5.6)：重复步骤(5.5)，直到计算完所有频率点处的因果测量；
步骤(5.7)：计算行为Xhv对行为Xhv的总体直接影响：
Figure BDA0002036629730000097
步骤(5.8)：重复步骤(5.5)～步骤(5.7)，直到遍历完小组内所有行为；
步骤(5.9)：重复步骤(5.1)～步骤(5.8)，直到遍历完所有行为小组。
步骤六：基于组间和组内因果测量的全局和局部行为交互网络构建，构建行为交互网络的具体步骤如下：
步骤(6.1)：计算组间平均因果影响
Figure BDA0002036629730000098
步骤(6.2)：基于平均因果影响对组间因果影响进行去噪；
Figure BDA0002036629730000099
步骤(6.3)：计算每个组内平均因果影响：
Figure BDA00020366297300000910
步骤(6.4)：基于平均因果影响对组内行为的因果影响进行去噪；
Figure BDA0002036629730000101
步骤(6.5)：重复步骤(6.3)～步骤(6.4)，直到遍历完所有小组；
步骤(6.6)：以小组行为作为顶点，因果测量作为边，构建全局行为交互网络；
步骤(6.7)：在小组内以每个行为作为顶点，行为之间的因果测量作为边，构建局部行为交互网络。
图2为组间和组内行为因果测量值，其中灰色背景部分表示的是组内行为间因果测量，白色背景部分表示的是组间行为因果测量。
本发明的优点是：(1)提出了一种新的行为交互检测框架，能检测出场景中全局和局部交互行为；(2)提出一种基于贝叶斯信息准则的多变量自回归模型阶数选择；(3)可以构建全局和局部行为交互网络。

Claims (5)

1.一种基于自适应阶数的交互行为分析方法，其特征在于：包括以下步骤：
步骤一：视频特征提取与表示；
步骤二：利用分层狄利克雷过程模型对视频序列进行建模，检测出场景中包含的行为，并利用K-means算法进行分类，实现多变量时间序列提取与分类；
步骤三：进行多变量自回归模型阶数选择；
其中，进行多变量自回归模型阶数选择，具体步骤如下：
步骤(3.1)：对于M个时间序列X1,...,XM建立p阶多变量自回归模型：
Figure FDA0003728587080000011
其中,X(n)是M×1维的列向量，表示多变量过程在时刻n的值，p表示自回归模型的阶数，0＜p≤pmax；A(k)表示M×M维的模型预测系数，U1(n)是M×1维的白噪声；pmax表示最大阶数；M表示变量的个数；k表示滞后时刻数；
步骤(3.2)：利用最小二乘法估计模型的预测系数A(k)；
步骤(3.3)：计算p阶模型的残差平方和RSS(p)；
步骤(3.4)：计算贝叶斯信息准则：
mBIC(p)＝Nlog(RSS(p))+λlog(N)M2p；
其中，N表示行为样本长度；λ表示惩罚因子，其取值自适应于组间和组内交互行为分析；
步骤(3.5)：重复步骤(3.1)～步骤(3.3)，直到遍历完所有阶数；
步骤(3.6)：选择最佳阶数p0，具体为：
Figure FDA0003728587080000012
步骤四：基于频域的多向量过程因果测量的组间交互行为分析；
步骤五：基于频域的多标量过程因果测量的组内交互行为分析；
步骤六：基于组间和组内因果测量的全局和局部行为交互网络构建；
其中，构建全局和局部行为交互网络，具体步骤如下：
步骤(6.1)：计算组间平均因果测量：
Figure FDA0003728587080000021
步骤(6.2)：基于平均因果测量对组间因果测量进行去噪：
Figure FDA0003728587080000022
步骤(6.3)：计算每个组内平均因果测量：
Figure FDA0003728587080000023
步骤(6.4)：基于平均因果测量对组内行为的因果测量进行去噪：
Figure FDA0003728587080000024
步骤(6.5)：重复步骤(6.3)～步骤(6.4)，直到遍历完所有小组；
步骤(6.6)：以小组行为作为顶点，因果测量作为边，构建全局行为交互网络；
步骤(6.7)：在小组内以每个行为作为顶点，行为之间的因果测量作为边，构建局部行为交互网络。
2.根据权利要求1所述的一种基于自适应阶数的交互行为分析方法，其特征在于：在步骤一中，视频特征提取与表示，具体步骤如下：
步骤(1.1)：利用光流算法计算视频序列中相邻帧之间的光流特征并对光流进行幅度去噪；
步骤(1.2)：对去噪后的光流特征进行位置和方向的量化；
步骤(1.3)：将视频序列分割成N个片段，并表示成词袋模式。
3.根据权利要求2所述的一种基于自适应阶数的交互行为分析方法，其特征在于：在步骤二中，多变量时间序列提取与分类，具体步骤如下：
步骤(2.1)：基于分层狄利克雷过程模型对N个片段进行建模，提取场景中的M个行为，整个视频场景可以表示成一个M×N维的矩阵，其中行向量代表行为发生的离散时间序列X1,...,XM；
步骤(2.2)：基于K-means算法对多变量时间序列X1,...,XM进行聚类，将其分成H个小组Y1,...,YH；
步骤(2.3)：对多变量时间序列X1,...,XM进行去噪声，去趋势化，零均值以及一阶差分处理。
4.根据权利要求1所述的一种基于自适应阶数的交互行为分析方法，其特征在于：在步骤四中，基于频域的多向量过程因果测量，具体步骤如下：
步骤(4.1)：对H个行为小组构建向量过程Y(n)＝[Y1(n),...,YH(n)]T；
步骤(4.2)：基于步骤三的算法选择M个变量的自回归模型最佳阶数po；
步骤(4.3)：对向量过程进行pg阶回归，并利用最小二乘法进行参数估计：
Figure FDA0003728587080000031
其中，Y(n)是M×1维的列向量，表示多向量过程在时刻n的值，pg＝po表示模型的阶数；B(k)表示M×M维的模型预测系数，U2(n)是M×1维的白噪声；
步骤(4.4)：进行频域变换:
Figure FDA0003728587080000032
其中，B(w)表示普矩阵,w∈[-π,π),T表示时间序列的采样周期；
步骤(4.5)：计算频率w处，行为组Yj对行为组Yi的直接因果测量gj-＞i(w)，具体为：
Figure FDA0003728587080000033
Figure FDA0003728587080000034
其中，Bij表示B(w)中第i-j块，Σii表示噪声协方差矩阵Σ的第i-i块，1≤i≤H，1≤j≤H；
步骤(4.6)：重复步骤(4.5)，直到计算完所有频率点处的因果测量；
步骤(4.7)：计算行为Yj对行为Yi的总体直接因果测量：
Figure FDA0003728587080000041
步骤(4.8)：重复步骤(4.5)～步骤(4.7)，直到遍历完所有的行为组。
5.根据权利要求4所述的一种基于自适应阶数的交互行为分析方法，其特征在于：在步骤五中，基于频域的多标量过程因果测量，具体步骤如下：
步骤(5.1)：对于包含L个行为的小组构建标量过Yh(n)＝[Xh1(n),...XhL(n)]T,1≤h≤H；
步骤(5.2)：基于步骤三的算法选择L个行为的多变量自回归模型最佳阶数po，此时pmax＝pg；
步骤(5.3)：对标量过程进行pl阶回归，利用最小二乘法进行参数估计:
Figure FDA0003728587080000042
其中，Yh(n)是L×1维的列向量，表示多标量过程在时刻n的值，pl＝po表示模型的阶数；C(k)表示L×L维的模型预测系数，U3(n)是M×1维的白噪声；
步骤(5.4)：进行频域变换：
Figure FDA0003728587080000043
Figure FDA0003728587080000044
其中，C(w)表示普矩阵，Σ表示噪声协方差矩阵，w∈[-π,π),T表示时间序列的采样周期；
步骤(5.5)：计算频率w处，行为Xhv对行为Xhu的直接因果影响，具体为：
Figure FDA0003728587080000051
其中，pvv(w)表示P(w)的第v-v个元素，
Figure FDA0003728587080000052
表示Σ的u-u元素，
Figure FDA0003728587080000053
表示
Figure FDA0003728587080000054
的第u-v个元素,1≤u≤L,1≤v≤L；
步骤(5.6)：重复步骤(5.5)，直到计算完所有频率点处的因果测量；
步骤(5.7)：计算行为Xhv对行为Xhv的总体直接影响：
Figure FDA0003728587080000055
步骤(5.8)：重复步骤(5.5)～步骤(5.7)，直到遍历完小组内所有行为；
步骤(5.9)：重复步骤(5.1)～步骤(5.8)，直到遍历完所有行为小组。
CN201910331755.2A 2019-04-23 2019-04-23 一种基于自适应阶数的交互行为分析方法 Active CN110188608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910331755.2A CN110188608B (zh) 2019-04-23 2019-04-23 一种基于自适应阶数的交互行为分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910331755.2A CN110188608B (zh) 2019-04-23 2019-04-23 一种基于自适应阶数的交互行为分析方法

Publications (2)

Publication Number Publication Date
CN110188608A CN110188608A (zh) 2019-08-30
CN110188608B true CN110188608B (zh) 2022-09-06

Family

ID=67714915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910331755.2A Active CN110188608B (zh) 2019-04-23 2019-04-23 一种基于自适应阶数的交互行为分析方法

Country Status (1)

Country Link
CN (1) CN110188608B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100034448A (ko) * 2008-09-24 2010-04-01 한국과학기술원 시나리오 기반 요구사항 명세서에서 의도되지 않은 행위 검출 방법 및 이를 수행하기 위한 알고리즘이 수록된 전자기록매체
CN103839086A (zh) * 2014-03-25 2014-06-04 上海交通大学 视频监控场景中的交互行为检测方法
CN107194322A (zh) * 2017-04-28 2017-09-22 南京邮电大学 一种视频监控场景中的行为分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100034448A (ko) * 2008-09-24 2010-04-01 한국과학기술원 시나리오 기반 요구사항 명세서에서 의도되지 않은 행위 검출 방법 및 이를 수행하기 위한 알고리즘이 수록된 전자기록매체
CN103839086A (zh) * 2014-03-25 2014-06-04 上海交通大学 视频监控场景中的交互行为检测方法
CN107194322A (zh) * 2017-04-28 2017-09-22 南京邮电大学 一种视频监控场景中的行为分析方法

Also Published As

Publication number Publication date
CN110188608A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN107832787B (zh) 基于双谱自编码特征的雷达辐射源识别方法
Kavukcuoglu et al. Fast inference in sparse coding algorithms with applications to object recognition
CN113344295B (zh) 基于工业大数据的设备剩余寿命预测方法、系统及介质
CN109919032B (zh) 一种基于动作预测的视频异常行为检测方法
CN111785329A (zh) 基于对抗自动编码器的单细胞rna测序聚类方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN111080675A (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN107301382B (zh) 基于时间依赖约束下深度非负矩阵分解的行为识别方法
CN107330412B (zh) 一种基于深度稀疏表示的人脸年龄估计方法
CN108846852B (zh) 基于多示例和时间序列的监控视频异常事件检测方法
CN111259366A (zh) 一种基于自监督学习的验证码识别器的训练方法和装置
Yin et al. Two steps for fingerprint segmentation
CN107424174B (zh) 基于局部约束非负矩阵分解的运动显著区域提取方法
CN114722892A (zh) 基于机器学习的持续学习方法及装置
CN110795599B (zh) 基于多尺度图的视频突发事件监测方法及系统
CN112613583B (zh) 一种针对低频噪声人脸图像的高频信息提取聚类方法
CN113610735A (zh) 一种面向电力设备红外图像的混合噪声去除方法
CN110188608B (zh) 一种基于自适应阶数的交互行为分析方法
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
CN116955947A (zh) 一种降雨诱发的输电线路边坡位移非线性预测方法及系统
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN115909016A (zh) 基于GCN分析fMRI图像的系统、方法、电子设备及介质
WO2014188659A1 (en) Latent feature models estimation device, method, and program
Ramachandra Causal inference for climate change events from satellite image time series using computer vision and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant