CN103839049B

CN103839049B - 一种双人交互行为识别和主动角色确定方法

Info

Publication number: CN103839049B
Application number: CN201410066149.XA
Authority: CN
Inventors: 章东平; 孙敏; 陶玉婷; 李艳洁
Original assignee: China Jiliang University
Current assignee: China Jiliang University
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2017-04-26
Anticipated expiration: 2034-02-26
Also published as: CN103839049A

Abstract

本发明提出一种双人交互行为识别和主动角色确定方法。日常生活中人与人的交往必不可少，但是一些异常的交互行为也无疑产生很多麻烦。但是如今所提交互行为识别方案识别时间过长，方法繁琐。对险情也不能做出准确的判断，为解决上述问题，本发明的方法包括如下步骤：（1）采用改进的基于梯度方向直方图特征(HOG)的行人检测算法进行行人检测，获取图像上行人的位置信息；（2）根据多目标跟踪方法提取行人的轨迹；（3）双人相向而行、同行、尾随、追赶、加入、互相远离、相遇同行、相遇追赶、相遇远离、赶上同行、赶上远离、赶超这些交互行为的识别；（4）双人所有交互行为主动角色的确定。

Description

一种双人交互行为识别和主动角色确定方法

技术领域

本发明属于视频监控中交互行为识别和角色确定方面，具体是对双人交互行为的识别，以及一种新型的确定主动角色的方法。

背景技术

随着社会的不断发展，人们生活水平也不断提高，参加一些社会活动无疑使人们交往愈发密切，但是一些异常的交互行为也常令人头疼，如抢劫行为，若能及时发现并制止，便可减少财物损失。因此，交互行为的识别是视频监控领域中重要的一部分。但是传统的视觉监控主要研究行人检测，事件检测，人脸指纹识别，对交互行为的识别尤其是对主动角色的识别较少。而确定交互行为中的主动角色能更有效地跟踪目标，缩短解决险情的时间。我们说的双人交互行为的识别是对日常生活中常见的相遇同行、赶超、尾随、抢劫等行为的识别，并对这些交互行为进行主动角色的确定。

发明内容

为了能有效地减少抢劫等异常交互行为的发生及其带来的财产损失，本发明提供了一种双人交互行为识别和主动角色确定的方法，其中双人交互行为包括双人基本交互行为和双人复杂交互行为，所述双人基本交互行为是互相趋近、同行、尾随、赶上、加入、远离六种行为，双人复杂交互行为是相遇同行、相遇追赶、相遇远离、赶上同行、赶上远离、赶超六种交互行为，包括如下步骤：

步骤一：从视频中提取两人的运动轨迹

（1）行人检测：对视频的每一帧采用改进的基于梯度方向直方图特征(HOG)的行人检测算法进行行人检测；

（2）行人跟踪及轨迹提取：根据多目标跟踪方法得到两个目标、的轨迹、；

步骤二:双人交互行为的识别

（1）取为时刻目标的位置，为时刻目标的位置，表示在时刻两个目标间的距离，则在至这段时间与在时刻的距离关系可表示为：（为帧数，）。当时，表示趋近;，远离;，在这段时间处于静止状态；同理，在至这段时间与在时刻的距离关系可表示为：。，表示趋近;，远离;，处于静止状态；

（2）所述双人基本交互行为的识别：双人交互行为在这段时间存在一个时刻满足条件：。若，表示两人互相趋近；且（），表示两人为同行行为；且（），表示一人趋近，一人远离，而且两人距离相对保持不变，表示有人尾随；且（），一人趋近，一人远离，但是两人距离缩短，为追赶行为；且，一人静止，一人趋近，表示加入；，表示两人互相远离；

（3）所述双人复杂交互行为的识别：双人交互行为在（为帧数，）时间段内存在一个时刻满足条件：（很小，一般）；用表示在至这段时间与在时刻的距离关系，表示在至这段时间与在时刻的距离关系。若，，（），表示两人在这段时间互相趋近，这段时间同行，为相遇同行行为；，，，表示两人前一段时间互相趋近，后一段时间追赶；，，表示两人前一段时间互相趋近，后一段时间互相远离，为相遇远离行为；，（），，（），表示两人在前一段时间追赶，后一段时间同行，为赶上同行行为；，（），，表示两人在前一段时间是追赶行为，后一段时间是互相远离，为赶上远离行为；，，，（），（），表示有人追上前面一个人并超过，为赶超行为。

步骤三：所述双人交互行为主动角色确定。

进一步的，还包括抢劫行为识别：抢劫行为第一种情况是前一段时间两人互相趋近,后一段时间发生追赶；第二种情况是前一段时间一个人静止，另一个人趋近，后一段时间静止的人以极快的速度追赶另一个人；第三种情况是发生快速赶超行为；

计算抢劫相对速率阈值（为常数）；

若，则为抢劫行为。

进一步的，步骤三中所述双人交互行为主动角色确定包括如下步骤：

（1）所述双人基本交互行为主动角色确定：在已知双人交互行为的前提下，进行主动角色的确定。若为互相趋近和互相远离行为中，速率大的人为主动角色，令判别式，判别结果：；在尾随、加入、追赶三种行为中，趋近的人为主动角色，令判别式，判别结果：。若为同行，两者角色相同。

（2）所述双人复杂交互行为主动角色确定：在已知双人交互行为的前提下，进行主动角色的确定；若为相遇同行行为，令判别式，判别结果：；若为相遇追赶行为，令判别式为，若为赶上同行，赶上远离，赶超三种行为令判别式：，这四种行为的判别结果：；若为相遇远离行为，令两个判别式，判别结果：,为主角；,为主角；,前一段时间为主角，后一段时间为主角；,前一段时间为主角，后一段时间为主角；，两者角色相同。若为抢劫行为，令判别式，判别结果：。

本发明的双人交互行为识别和主动角色确定的方法能够有效识别监控视频中的双人交互行为识和确定主动角色，以便对突发异常情况进行处理。

附图说明

图1是本发明双人交互行为识别和主动角色确定的方法的流程示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明的双人交互行为识别和主动角色确定的方法，包括的步骤如下：

本发明所指的双人基本交互行为是互相趋近、同行、尾随、赶上、加入、远离六种行为，双人复杂交互行为是相遇同行、相遇追赶、相遇远离、赶上同行、赶上远离、赶超六种交互行为。

步骤一：从视频中提取两人的运动轨迹

（1）行人检测：对视频的每一帧采用改进的基于梯度方向直方图特征(HOG)的行人检测算法进行行人检测，该方法使用人体对称性检测筛选出行人候选区域，再结合HOG特征和SVM分类器对候选区域进行验证。这样可以加快检测速度，同时减少误检率，从而获取每帧图像上行人的位置信息。

（2）行人跟踪及轨迹提取：这里用一种多目标跟踪方法，定义一个能量函数来奖励合理的轨迹，惩罚不合理的轨迹。由轨迹的观察一致性、速度守恒性、位置互斥性、轨迹连续性等一系列的特征，使用一个合理的优化方法来找到能量函数的最小值。从而得到两个目标、的轨迹、。

步骤二:双人交互行为的识别

（1）取为时刻目标的位置，为时刻目标的位置，表示在时刻两个目标间的距离，则在至这段时间与在时刻的距离关系可表示为：（为帧数，）。当时，表示趋近;，远离;，在这段时间处于静止状态。同理，在至这段时间与在时刻的距离关系可表示为：。，表示趋近;，远离;，处于静止状态。

（2）双人基本交互行为的识别：双人交互行为在这段时间存在一个时刻满足条件：。若，表示两人互相趋近；且（，下同），表示两人为同行行为；且，一人趋近，一人远离，而且两人距离相对保持不变，表示有人尾随；且，一人趋近，一人远离，但是两人距离缩短，为追赶行为；且，一人静止，一人趋近，表示加入；，表示两人互相远离。

（3）双人复杂交互行为的识别：双人复杂交互行为是由基本交互行为组成的。双人交互行为在（为帧数，）时间段内存在一个时刻满足条件：（很小，一般取）。用表示在至这段时间与在时刻的距离关系，表示在至这段时间与在时刻的距离关系。若，，，表示两人在这段时间互相趋近，这段时间同行，为相遇同行行为；，，，表示两人前一段时间互相趋近，后一段时间追赶；，，表示两人前一段时间互相趋近，后一段时间互相远离，为相遇远离行为；，，，，表示两人在前一段时间追赶，后一段时间同行，为赶上同行行为；，，，表示两人在前一段时间是追赶行为，后一段时间是互相远离，为赶上远离行为；，，，，：表示有人追上前面一个人并超过，为赶超行为。

（4）抢劫行为识别：抢劫行为第一种情况是前一段时间两人互相趋近,后一段时间发生追赶；第二种情况是前一段时间一个人静止，另一个人趋近，后一段时间静止的人以极快的速度追赶另一个人；第三种情况是发生快速赶超行为。

计算抢劫相对速率阈值（为常数）。

若，则为抢劫行为。

步骤三：交互行为主动角色确定：

（1）如表1所示，双人基本行为主动角色确定：

表1 步骤三（1）中所述双人交互行为主动角色确定。

在已知双人交互行为的前提下，进行主动角色的确定。若为互相趋近和互相远离行为中，速度大的人为主动角色，令判别式，判别结果：；若为尾随、加入、追赶三种行为中，趋近的人为主动角色，令判别式，判别结果：。若为同行，两者角色相同。

（2）双人复杂行为主动角色确定：

表2 步骤三（2）中双人交互行为主动角色确定。

如表2所示，在已知双人复杂交互行为的前提下，进行主动角色的确定。若为相遇同行行为，令判别式，判别结果：。若为相遇追赶行为，令判别式为，若为赶上同行，赶上远离，赶超三种行为令判别式：，这四种行为的判别结果：。若为相遇远离行为，令两个判别式，判别结果：时,为主角；时,为主角；时,前一段时间为主角，后一段时间为主角；时,前一段时间为主角，后一段时间为主角；，两者角色相同。若为抢劫行为，令判别式，判别结果：。

Claims

1.一种双人交互行为识别和主动角色确定的方法，其中双人交互行为包括双人基本交互行为和双人复杂交互行为，所述双人基本交互行为是互相趋近、同行、尾随、赶上、加入、远离六种行为，双人复杂交互行为是相遇同行、相遇追赶、相遇远离、赶上同行、赶上远离、赶超六种交互行为，包括如下步骤：

步骤一：从视频中提取两人的运动轨迹

(1)行人检测：对视频的每一帧采用改进的基于梯度方向直方图特征(HOG)的行人检测算法进行行人检测；

(2)行人跟踪及轨迹提取：根据多目标跟踪方法得到两个目标A、B的轨迹k、f；

步骤二:双人交互行为的识别

(1)取k_t为t时刻目标A的位置，f_t为t时刻目标B的位置，d(k_t，f_t)表示在t时刻两个目标间的距离，则A在t至t+η这段时间与B在t时刻的距离关系可表示为：k_f＝d(k_t，f_t)-d(k_t+η，f_t)，η为帧数，η∈[3，8]；当k_f＞0时，表示A趋近B；k_f＜0，A远离B；k_f＝0，A在η这段时间处于静止状态；同理，B在t至t+η这段时间与A在t时刻的距离关系可表示为：f_k＝d(f_t，k_t)-d(f_t+η，k_t)；f_k＞0，表示B趋近A；f_k＜0，B远离A；f_k＝0，B处于静止状态；

(2)所述双人基本交互行为的识别：双人交互行为在[t，t+η]这段时间存在一个时刻τ满足条件：若k_f＞0，f_k＞0，表示两人互相趋近；k_f＜0，f_k＜0且ε∈(0.3，0.5)，表示两人为同行行为；k_f·f_k＜0且ε∈(0.3，0.5)，表示一人趋近，一人远离，而且两人距离相对保持不变，表示有人尾随；k_f·f_k＜0且ε∈(0.3，0.5)，一人趋近，一人远离，但是两人距离缩短，为追赶行为；k_f·f_k＝0且k_f+f_k＞0，一人静止，一人趋近，表示加入；k_f＜0，f_k＜0，表示两人互相远离；

(3)所述双人复杂交互行为的识别：双人交互行为在[t，t+ω]，ω为帧数，ω∈[7，12]，时间段内存在一个时刻μ满足条件：|d(k_μ，f_μ)|＝λ，λ很小，λ∈[0，0.7]；用表示A在t至μ这段时间与B在t时刻的距离关系，表示A在μ至t+ω这段时间与B在t时刻的距离关系；若 ε∈(0.3，0.5)，表示两人在[t，μ]这段时间互相趋近，[μ，t+ω]这段时间同行，为相遇同行行为；表示两人前一段时间互相趋近，后一段时间追赶；表示两人前一段时间互相趋近，后一段时间互相远离，为相遇远离行为；ε∈(0.3，0.5)ε∈(0.3，0.5)，表示两人在前一段时间追赶，后一段时间同行，为赶上同行行为；ε∈(0.3，0.5)表示两人在前一段时间是追赶行为，后一段时间是互相远离，为赶上远离行为； ε∈(0.3，0.5)ε∈(0.3，0.5)，表示有人追上前面一个人并超过，为赶超行为；

步骤三：双人交互行为主动角色确定；

还包括抢劫行为识别：抢劫行为第一种情况是前一段时间两人互相趋近,后一段时间发生追赶；第二种情况是前一段时间一个人静止，另一个人趋近，后一段时间静止的人以极快的速度追赶另一个人；第三种情况是发生快速赶超行为；

计算抢劫相对速率阈值α，β为常数；

若则为抢劫行为；

步骤三中所述双人交互行为主动角色确定包括如下步骤：

(1)所述双人基本交互行为主动角色确定：在已知双人交互行为的前提下，进行主动角色的确定；若为互相趋近和互相远离行为中，速率大的人为主动角色，令判别式P＝|k_f|-|f_k|，判别结果：在尾随、加入、追赶三种行为中，趋近的人为主动角色，令判别式P＝k_f，判别结果：若为同行，两者角色相同；

(2)所述双人复杂交互行为主动角色确定：在已知双人交互行为的前提下，进行主动角色的确定；若为相遇同行行为，令判别式判别结果：若为相遇追赶行为，令判别式为若为赶上同行，赶上远离，赶超三种行为令判别式：这四种行为的判别结果：若为相遇远离行为，令两个判别式判别结果：P′₁≥0，P′₂≥0且P′₁，P′₂不同为0,A为主角；P′₁≥0，P′₂≤0且P′₁，P′₂不同为0,B为主角；P′₁≥0，P′₂≤0且P′₁，P′₂不同为0,前一段时间A为主角，后一段时间B为主角；P′₁≤0，P′₂≥0且P′₁，P′₂不同为0,前一段时间B为主角，后一段时间A为主角；P′₁＝0且P′₂＝0，两者角色相同；若为抢劫行为，令判别式判别结果：