CN110956647A - 基于行为动线模型的视频中对象行为动态追踪系统及方法 - Google Patents

Abstract

一种基于行为动线模型的视频中对象行为动态追踪系统及方法，包括：依次连接的数据接收与转换模块、角点提取模块、光流计算模块、角点距离检测模块、图像绘制模块与结果输出模块，本发明通过角点检测算法获取视频中第一帧图像的初始角点，进而迭代地将前一帧、当前帧图像及前一帧的角点作为光流追踪算法的输入计算得到当前帧图像的对应角点，根据连续两帧图像对应角点间的距离进行筛选，根据前后帧角点画线，实现光流的追踪；通过循环得到角点画线实现目标的动态追踪。本发明能够在对象无意识参与实验的条件下记录行为动线轨迹，不需要主观地挑选实验参与群体，在工作量与人力物力消耗上都有了极大减轻。应用场景可以很方便地迁移，理论上可用于任何视频运动目标的行为动线追踪。

Description

基于行为动线模型的视频中对象行为动态追踪系统及方法

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于光流跟踪算法的行为动线模型，对于固定场景的视频中对象，尤其是行人的运动轨迹线的捕捉、追踪和提取的系统及方法。

背景技术

大多数的实证研究都依赖于通过控制实验室实验收集数据，来推导出与不同的几何规划设计，模拟瓶颈形状的路径，交叉形状的路径，分叉道合并路径和弯道路径的一些相关研究。除了在正常条件下行走，有一些研究中模拟加入在不同压力水平条件下行走，如在较高的续航速度下行走，以及在出口条件下行走等条件，也通过这种基于对照实验的人体试验进行了研究。但这些通过控制变量实验数据收集手段的一个关键缺点是生态逻辑有效性。也就是说，这些数据可能并不代表真实的行人行为，因为实验被试者意识到他们正在被视频记录和监控。此外，实验参与者通常是学生，他们可能不能代表真实世界人口的平均样本。因此，在这种实验室数据集合中可能存在一定的偏差。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于行为动线模型的视频中对象行为动态追踪系统及方法。

本发明是通过以下技术方案实现的：

本发明涉及一种基于行为动线模型的视频中对象行为动态追踪系统，包括：依次连接的数据接收与转换模块、角点提取模块、光流计算模块、角点距离检测模块、图像绘制模块与结果输出模块，其中：数据接收与转换模块采集视频数据并输出视频初始图帧信息，角点提取模块从视频图帧中提取角点信息以及视频图帧信息，光流计算模块根据角点信息与前一帧的图像计算得到当前帧的角点信息并将连续两帧图像中对应的角点信息输出至角点距离检测模块，角点距离检测模块根据预设值的距离参数评估对应角点距离并将筛查后的连续两帧图像中对应的角点信息输出至图像绘制模块，图像绘制模块根据对应的角点信息将连续两帧图像中的对应角点进行连线绘制并生成角点行为动线，结果输出模块根据连续多帧的角点行为动线生成视频对象动态追踪的结果图像。

本发明涉及上述系统的基于行为动线模型的视频中对象行为动态追踪方法，通过角点检测算法获取视频中第一帧图像的初始角点，进而迭代地将前一帧、当前帧图像及前一帧的角点作为光流追踪算法的输入计算得到当前帧图像的对应角点，根据连续两帧图像对应角点间的距离进行筛选，根据前后帧角点画线，实现光流的追踪；通过循环得到角点画线实现目标的动态追踪。

所述的角点检测算法，采用但不限于现有的基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测实现。

所述的光流追踪算法，具体步骤包括：

i根据连续两帧图像相对应位置点处的灰度值不变假设得到：

由泰勒展开公式，当：

则得到光流方程：f_xu+f_yv+f_t＝0，其中：图像可以看成时间t的函数 I(t)，在t时刻，图像中在(x,y)位置处的像素点的灰度值可表示为I(x,y,t)。在t+dt时刻，t时刻的(x,y)位置处的像素点运动到了(x+dx,y+dy)处，其灰度值可表示为I(x+dx,y+dy,t+dt)。

ii利用Lucas-Kanade方法，使用最小二乘法对一特定大小的邻域中的所有像素点构造光流方程，以求解光流方程中的未知参数u、v，即像素点在x和y方向上的运动速度，

其中：fx和fy分别是图像灰度在x和y 方向上的梯度，ft是图像灰度沿着时间的梯度。u、v是像素点在x和y方向上的运动速度，是待求的未知量。

iii通过连续使用LK算法求得从视频第一帧图像到最后一帧图像关键点的位置变化，从而实现光流追踪。

所述的光流追踪算法，当检测出的角点多于最大角点数，将取出最强，即角点检测算法计算的角点灰度梯度变化最大的最大角点数个角点。

所述的筛查是指：当得到相邻两帧图像对应角点信息之后，通过检测相邻两帧图像的对应角点间的欧氏距离，当小于阈值时删除当前帧对应角点。

为了实现稳定的跟踪，优选每隔一定间隔重新进行一次角点检测；优选为每5帧重新初始化图像的角点。

技术效果

与现有技术相比，本发明能够在对象无意识参与实验的条件下记录行为动线轨迹，不需要主观地挑选实验参与群体，在工作量与人力物力消耗上都有了极大减轻。应用场景可以很方便地迁移，理论上可用于任何视频运动目标的行为动线追踪。

附图说明

图1为本发明系统结构示意图；

图2为实施例中行人轨迹线示意图；

图中：a为最大角点数maxCorners＝100时视频截图，b为最大角点数maxCorners＝100 时行人轨迹线绘制结果，c为最大角点数maxCorners＝200时视频截图，d为最大角点数maxCorners＝200时行人轨迹线绘制结果，e为相邻两帧图像对应角点距离d＝1时视频截图，f 为相邻两帧图像对应角点距离d＝1时行人轨迹线绘制结果，g为相邻两帧图像对应角点距离d＝5 时视频截图，h为相邻两帧图像对应角点距离d＝5时行人轨迹线绘制结果，i为相邻两帧图像对应角点距离d＝10时视频截图，j为相邻两帧图像对应角点距离d＝10时行人轨迹线绘制结果， k为不采取每隔一定间隔重新检测角点的视频截图，l为不采取每隔一定间隔重新检测角点的行人轨迹线绘制结果，m为间隔数interval＝5时视频截图，n为间隔数interval＝5时行人轨迹线绘制结果，o为间隔数interval＝50时视频截图，p为间隔数interval＝50时行人轨迹线绘制结果；

图3为实施例效果示意图；

图中：a为最大角点数maxCorners＝100时行人轨迹线绘制结果，b为最大角点数maxCorners＝200时行人轨迹线绘制结果，c为相邻两帧图像对应角点距离d＝1时行人轨迹线绘制结果，d为相邻两帧图像对应角点距离d＝5时行人轨迹线绘制结果，e为相邻两帧图像对应角点距离d＝10时行人轨迹线绘制结果，f为不采取每隔一定间隔重新检测角点的行人轨迹线绘制结果，g为间隔数interval＝5时行人轨迹线绘制结果，h为间隔数interval＝50时行人轨迹线绘制结果。

图4为实施例效果示意图；

图中：a为邮轮甲板游客行为视频截图，b为不进行特征点刷新时的邮轮甲板游客轨迹线绘制结果，c为特征点刷新间隔数interval＝10时邮轮甲板游客轨迹线绘制结果。

具体实施方式

如图1所示，本实施例涉及的对象行为动态追踪系统，具体包括：数据接收与转换模块、角点提取模块、光流计算模块、角点距离检测模块、图像绘制模块与结果输出模块。

所述的数据接收与转换模块包括：视频数据接收单元、视频数据图帧抽取单元，其中：视频数据接收单元与视频图帧抽取单元相连并传输视频信息，视频图帧抽取单元对视频数据抽取初始图帧并传输图帧信息。

所述的角点提取模块包括：图帧接收单元、角点计算单元，其中：图帧接收单元接收上一模块传入的视频图帧信息，与角点计算单元相连并传输视频图帧信息，角点计算单元根据预设值的角点计算参数计算接收的视频图帧上的角点信息。

所述的光流计算模块包括：图帧接收单元、角点接收单元、光流计算单元，其中：图帧接收单元接收上一模块传入的图帧信息，角点接收单元接收上一模块传入的角点信息，图帧接收单元与角点接收单元共同与光流计算单元相连并传输图帧和角点信息，光流计算单元根据前一帧、当前帧图像及前一帧角点信息计算当前帧角点信息。

所述的角点距离检测模块能够对检测到的角点根据预设值的距离阈值进行筛选，更适合应用于场景中人流密集、镜头有晃动的视频图像。同时采取了每隔一定间隔重新检测角点的方式，有效弥补最初角点检测时遗漏的场景中关键角点；该角点距离检测模块包括：角点信息接收单元、角点距离计算单元、角点保存单元，其中：角点信息接收单元接收上一模块传入的连续两帧图像上的角点信息，与角点距离计算单元相连并传输连续两帧对应角点位置信息，角点距离单元与角点保存单元相连并传输对应位置角点的距离信息，角点保存单元根据对应位置的角点距离信息选择需要保存下来的角点。

所述的图像绘制模块包括：角点信息接收单元、图帧接收单元、角点连线绘制单元，其中：角点信息接收单元与图帧接收单元接收上一模块传入的角点信息和图帧，共同与角点连线绘制单元相连并传输角点位置信息，角点连线单元根据对应角点位置绘制连线。

所述的结果输出模块包括：角点连线接收单元、图像生成单元、图像保存单元，其中：角点连线接收单元接收图像绘制模块传入的角度绘制连线，与图像生成单元相连并传输角点连线绘制信息，图像生成单元将角点绘制连线生成如图2所示的轨迹线绘制结果图像，与图像保存单元相连并传输结果图像信息，图像保存单元保存轨迹线绘制结果图像。

本实施例涉及上述系统的视频中对象行为动态追踪方法，利用传感器数据中解析出邮轮室内与室外开放空间环境中的行为流线，实现对行人在邮轮空环境中单独导航的动态追踪以及识别描述这种导航行为的广义行人向量场，具体包括以下步骤：

步骤1)构建基于光流法的行为动线模型，针对视频数据进行画面动态目标追踪，获取人流等目标的行为轨迹，具体流程如下：

1.1)构建模型的数据接收部分，导入视频文件，获取视频文件的第一帧图像；

1.2)根据预设置的最大角点数(maxCorners)、角点间的最小欧几里得距离(minDistance)等参数，使用角点检测算法获取图像中的初始角点；

1.3)将前一帧、当前帧图像及前一帧角点输入光流追踪算法，获取当前帧图像的对应角点；

1.4)计算连续两帧图像对应角点间的距离，通过预设置的相邻两帧对应角点的距离(d)，删除不符合距离约束的角点；

1.5)保存符合要求的角点，并根据前后帧角点画线，实现光流的追踪；

1.6)循环步骤1.3～1.4，并每隔一定间隔(interval)重新进行图像的角点检测，防止重要角点由于光照、背景等因素没检测到而产生轨迹的遗漏。循环直至视频结束或达到迭代停止条件，完成目标的动态追踪，绘制出目标人流轨迹线。每当系统循环迭代次数达到该值时，系统重新连接角点提取模块，进行当前视频图帧角点的重新检测。

步骤2)基于光流追踪算法构建人流行为动线模型，利用角点检测算法捕捉视频图像中关键特征点，通过逐帧迭代，实现视频中关键特征点追踪与绘制过程。本节选择广场游客行走视频和游轮甲板游客观光视频对所建立的行为动线模型进行验证。

步骤2.1)广场游客行走视频

游客广场的人数量较多，行为模式较复杂，包含排队买票、进出大厅、离开广场等行为。但也因为存在障碍物、路标、固定建筑等因素，人流总体的行为会有一定的重复性和规律性。通过所提出的行为动线模型对视频进行分析，追踪人流的行为轨迹，并绘制人流轨迹线，初步获得广场上人流的行为规律。

关键参数设置：maxCorners＝200；minDistance＝50；d＝5interval＝50人流轨迹线的绘制如图3(h)所示。

最大角点数(maxCorners)对检测结果的影响。

其他关键参数设置为minDistance＝50；d＝5；interval＝None maxCorners＝100

由对比结果可以看出，最大角点数(maxCorners)影响图像初始特征点的数目，初始角点数越多，最终绘制出的人流轨迹线越多，maxCorners＝200比maxCorners＝100得到的人流轨迹线更多。可以通过控制该参数影响角点的数量进而影响最终的绘制线条的疏密。

相邻两帧对应角点的距离(d)对检测结果的影响实施例：

其他关键参数设置为maxCorners＝200；minDistance＝50；interval＝None

由对比结果可以看出，由于镜头存在运动，或者场景中一些目标的轻微动作(而这些并不是我们的捕捉目标)，如果d值设置过小，最终的绘制结果会因为把所有镜头中晃动的目标轨迹进行绘图而显得很杂乱(如d＝1)；而设置得过大，则因为前后两帧相应角点的运动距离达不到设置值而无法绘制。(如d＝10)；本例中d＝5是一个相对合适的取值。

(interval)角点初始化对检测结果的影响实施例

其他关键参数设置为maxCorners＝200；minDistance＝50；d＝5

如果没有采用每隔一定间隔(interval)重新进行一次角点检测的操作，则可能存在初始化的角点对一些重要的特征点由于光照、背景等因素无法检测到的问题，之后的光流绘制都是根据初始特征点进行的，则可能产生目标轨迹的遗漏。而使用每隔一定间隔(interval)重新进行一次角点检测的操作，则能够实时更新图像的特征点，有助于查缺补漏，也可能更符合实际情况。由对比结果可以看出，进行间隔(interval)重新角点检测的操作最终会绘制出更密集的人流轨迹线，但同时轨迹线可能存在不连续的情况(如interval＝5)，说明太频繁刷新特征点可能会使得图像前后帧的特征点变动较大。相对来说，将interval值设置大一些，这种情况会得到较好缓解。

通过对广场游客行动轨迹的绘制，可以看出视频的人流整体呈现一定的运动规律。结果中有比较明显的轨迹重叠路线，也有比较稀疏的轨迹线，符合视频中人流的移动和行为，说明基于光流法的行为动线模型能够处理这类人流密集场所的轨迹追踪与绘制任务。

步骤2.2)邮轮甲板截取视频片段动态目标追踪

邮轮甲板因其场地设计，游客通行的路线受到限制，集中在两侧的通道。由于视频场景不断大范围切换，甲板上背景较为复杂，而人流较为稀疏，故截取其中的一段场景较为固定的视频片段，检测其中的人流轨迹。

关键参数设置：maxCorners＝250；minDistance＝50；d＝5；interval＝10

步骤3)人流轨迹线的绘制，具体包括：

不进行特征点的刷新(interval＝None)(2)进行特征点刷新(interval＝10)

视频片段中只在泳池两侧有少许人走动，故最终使用行为动线模型绘制的结果只是左侧有明显的人流轨迹，右侧有单人的一个行走轨迹。结果符合视频中人流稀疏、受中间泳池限制只在两侧通道走动的特点，同时能够捕捉右侧通道单人行走的轨迹，说明所提出的模型能够较好地对固定场景进行目标追踪。

本实施例使用光流追踪算法，对视频图像进行目标检测与追踪，构建基于光流法的行为动线模型。采用角点检测法获取视频图帧中的特征点，通过视频图像的逐帧光流迭代获取特征点的光流轨迹。利用光流轨迹的追踪与绘制，获得人流密集场地或特定场景中行人的运动规律。

实验将构建的行为动线模型应用于广场游客行走视频与游轮甲板游客观光视频中，绘制游客的行为轨迹线。结果表明，所提模型能够较好地提取场景中的行人特征点，所绘制的轨迹线符合视频中游客的真实行为，能够反映出游客运动的重复性和规律性。因此本模型对于固定场景中行人运动轨迹线的捕捉、追踪和提取具有较好地适用性，能够为后续的人流行为模式的分析提供参考。

本实施例通过从传感器数据库中获得自由流动的个体轨迹(每个行人不与其他行人互动) 数据，对比轨迹数据来实施例和比较几个行为流线向量场。该数据集包含了超过1000个行人导航选项，可用于调查游客如何与周围的物理和社会空间互动的相关信息。与其他行为实验的行为数据集相比，这组行为数据具有较高的信度效度，因为(1)游客没有参与实验，(2)游客没有意识到被记录。

目标对象及探测器在运动时产生图像，并在相邻两帧图像中的位置运动形成二维的向量场，被定义为光流。即从第一帧到第二帧呈现图像运动。如图4所示，图中呈现了五帧图像间的一个点在连续运动，箭头代表光流场向量。

经过具体实际实验，在邮轮甲板的具体环境设置下，以maxCorners＝250；minDistance ＝50；d＝5；interval＝10参数启动/运行上述装置/方法，能够得到的实验数据是：邮轮甲板的人流轨迹，如图4。

与现有技术相比，本方法通过在光流计算之后增加角点距离检测模块，可以根据视频场景中人流密度以及镜头晃动程度，预先设置相应的角点距离阈值，角点距离检测模块根据这个距离阈值可以有选择地保留或删除光流计算出的角点，保证最终行为动线的绘制不至于受人流密集、镜头晃动等因素影响太大。同时，每隔一定间隔进行角点重新检测的流程可以优化视频图帧中关键点的检测全面程度，弥补了由于视频图像初始帧光照、背景等因素而遗漏关键目标点的缺陷。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种基于行为动线模型的视频中对象行为动态追踪系统，其特征在于，包括：依次连接的数据接收与转换模块、角点提取模块、光流计算模块、角点距离检测模块、图像绘制模块与结果输出模块，其中：数据接收与转换模块采集视频数据并输出视频初始图帧信息，角点提取模块从视频图帧中提取角点信息以及视频图帧信息，光流计算模块根据角点信息与前一帧的图像计算得到当前帧的角点信息并将连续两帧图像中对应的角点信息输出至角点距离检测模块，角点距离检测模块根据预设值的距离参数评估对应角点距离并删除不符合要求的角点并将筛查后的连续两帧图像中对应的角点信息输出至图像绘制模块，图像绘制模块根据对应的角点信息将连续两帧图像中的对应角点进行连线绘制并生成角点行为动线，结果输出模块根据连续多帧的角点行为动线生成视频对象动态追踪的结果图像。

2.根据权利要求1所述的视频中对象行为动态追踪系统，其特征是，所述的数据接收与转换模块包括：视频数据接收单元、视频数据图帧抽取单元，其中：视频数据接收单元与视频图帧抽取单元相连并传输视频信息，视频图帧抽取单元对视频数据抽取初始图帧并传输图帧信息。

3.根据权利要求1所述的视频中对象行为动态追踪系统，其特征是，所述的角点提取模块包括：图帧接收单元、角点计算单元，其中：图帧接收单元接收上一模块传入的视频图帧信息，与角点计算单元相连并传输视频图帧信息，角点计算单元根据预设值的角点计算参数计算接收的视频图帧上的角点信息。

4.根据权利要求1所述的视频中对象行为动态追踪系统，其特征是，所述的光流计算模块包括：图帧接收单元、角点接收单元、光流计算单元，其中：图帧接收单元接收上一模块传入的图帧信息，角点接收单元接收上一模块传入的角点信息，图帧接收单元与角点接收单元共同与光流计算单元相连并传输图帧和角点信息，光流计算单元根据前一帧、当前帧图像及前一帧角点信息计算当前帧角点信息。

5.根据权利要求1所述的视频中对象行为动态追踪系统，其特征是，所述的角点距离检测模块包括：角点信息接收单元、角点距离计算单元、角点保存单元，其中：角点信息接收单元接收上一模块传入的连续两帧图像上的角点信息，与角点距离计算单元相连并传输连续两帧对应角点位置信息，角点距离单元与角点保存单元相连并传输对应位置角点的距离信息，角点保存单元根据对应位置的角点距离信息选择需要保存下来的角点。

6.根据权利要求1所述的视频中对象行为动态追踪系统，其特征是，所述的图像绘制模块包括：角点信息接收单元、图帧接收单元、角点连线绘制单元，其中：角点信息接收单元与图帧接收单元接收上一模块传入的角点信息和图帧，共同与角点连线绘制单元相连并传输角点位置信息，角点连线单元根据对应角点位置绘制连线。

7.根据权利要求1所述的视频中对象行为动态追踪系统，其特征是，所述的结果输出模块包括：角点连线接收单元、图像生成单元、图像保存单元，其中：角点连线接收单元接收图像绘制模块传入的角度绘制连线，与图像生成单元相连并传输角点连线绘制信息，图像生成单元将角点绘制连线生成轨迹线绘制结果图像，与图像保存单元相连并传输结果图像信息，图像保存单元保存轨迹线绘制结果图像。

8.一种基于上述任一权利要求所述系统的视频中对象行为动态追踪方法，其特征在于，通过角点检测算法获取视频中第一帧图像的初始角点，进而迭代地将前一帧、当前帧图像及前一帧的角点作为光流追踪算法的输入计算得到当前帧图像的对应角点，根据连续两帧图像对应角点间的距离进行筛选，根据前后帧角点画线，实现光流的追踪；通过循环得到角点画线实现目标的动态追踪。

9.根据权利要求8所述的方法，其特征是，所述的光流追踪算法，具体步骤包括：

i根据连续两帧图像相对应位置点处的灰度值不变假设得到：

由泰勒展开公式，当：

则得到光流方程：f_xu+f_yv+f_t＝0，其中：图像可以看成时间t的函数I(t)，在t时刻，图像中在(x,y)位置处的像素点的灰度值可表示为I(x,y,t)，在t+dt时刻，t时刻的(x,y)位置处的像素点运动到了(x+dx,y+dy)处，其灰度值可表示为I(x+dx,y+dy,t+dt)；

ii利用Lucas-Kanade方法，使用最小二乘法对一特定大小的邻域中的所有像素点构造光流方程，以求解光流方程中的未知参数u、v，即像素点在x和y方向上的运动速度，

其中：fx和fy分别是图像灰度在x和y方向上的梯度，ft是图像灰度沿着时间的梯度，u、v是像素点在x和y方向上的运动速度，是待求的未知量；

iii通过连续使用LK算法求得从视频第一帧图像到最后一帧图像关键点的位置变化，从而实现光流追踪。

10.根据权利要求8所述的方法，其特征是，所述的光流追踪算法，当检测出的角点多于最大角点数，将取出最强，即角点检测算法计算的角点灰度梯度变化最大的最大角点数个角点。

Images