CN115035543A - 一种基于大数据的移动轨迹预测系统 - Google Patents

Abstract

本申请公开了一种基于大数据的移动轨迹预测系统，该系统包括：所述图像获取模块用于获取图像采集区域与预警区域内的视频帧图像；所述亮度补偿模块用于对所述视频帧图像中像素的亮度进行补偿；所述网络构建模块用于基于样本视频帧图像，构建超图神经网络；所述目标识别模块用于根据所述超图神经网络，对亮度补偿后的视频帧图像进行行人目标识别；所述轨迹预测模块用于当判定识别出的所述行人由图像采集区域进入预警区域内时，根据所述视频帧图像中所述行人的移动速度和移动方向，对所述行人的移动轨迹进行预测。通过本申请中的技术方案，有助于减少智能安防监控系统对行人数据的运算量，提高了智能安防监控系统预警的可靠性。

Description

一种基于大数据的移动轨迹预测系统

技术领域

本申请涉及数据处理的技术领域，具体而言，涉及一种基于大数据的移动轨迹预测系统。

背景技术

在智能安防监控领域中，通常都是基于摄像头和图像识别技术，对监控区域内的行人进行监控、识别、预警等措施，以提供相应的安全服务。

而现有技术中，大多数的智能安防监控系统通常是一种被动触发式的监控系统，只有当行人进入预警区域内，才会对进入该区域的行人进行监控和识别，导致需要对预警区域内大量的行人数据进行处理，占用了大量的数据处理资源。

并且，还存在无法对误入预警区域内的行人进行识别的问题，无法对行人的蓄意行为和误入行为的判定提供依据，导致预警信息可靠性、准确性偏低。

发明内容

本申请的目的在于：通过对行人移动轨迹的预测，减少智能安防监控系统对行人数据的运算量，为误入行为的判定提供依据，提高智能安防监控系统预警信息的可靠性和准确性。

本申请的技术方案是：提供了一种基于大数据的移动轨迹预测系统，该移动轨迹预测系统适用于智能安防监控系统中对行人是否将进入警戒区域进行预测，移动轨迹预测系统包括：图像获取模块，亮度补偿模块，网络构建模块，目标识别模块以及轨迹预测模块；图像获取模块用于获取图像采集区域与预警区域内的视频帧图像，其中，警戒区域的外侧依次被划分为预警区域和图像采集区域；亮度补偿模块用于对视频帧图像中像素的亮度进行补偿；网络构建模块用于基于样本视频帧图像，构建超图神经网络；目标识别模块用于根据超图神经网络，对亮度补偿后的视频帧图像进行行人目标识别；轨迹预测模块用于当判定识别出的行人由图像采集区域进入预警区域内时，根据视频帧图像中行人的移动速度和移动方向，对行人的移动轨迹进行预测。

上述任一项技术方案中，进一步地，移动轨迹预测系统还包括：警示模块；警示模块用于当判定预测出的行人的移动轨迹进入警戒区域时，生成并发送安全警示信息。

上述任一项技术方案中，进一步地，网络构建模块包括：观测点确定单元，集合确定单元，权重计算单元以及网络生成单元；观测点确定单元用于确定各个样本视频帧图像中行人的观测点，其中，观测点为行人在样本视频帧图像中对应标注框的中心点；集合确定单元用于采用遍历的方式，根据观测点的编号，按照样本视频帧图像的帧顺序，依次确定各个观测点的邻居节点集合；权重计算单元用于计算各个观测点与邻居节点集合中各邻居节点之间的邻接权重；网络生成单元用于根据各个观测点的邻接权重和邻居节点集合，生成超图神经网络。

上述任一项技术方案中，进一步地，集合确定单元确定邻居节点集合的具体过程包括：对于第i个观测点，按照样本视频帧图像的帧顺序，依次提取除当前帧外其余样本视频帧图像中，与第i个观测点编号相同的观测点，组成第一集合；提取前一帧样本视频帧图像中与第i个观测点的空间几何距离小于距离阈值的观测点，记作第二集合；在当前帧样本视频帧图像中，依次判断第二集合中各观测点与第i个观测点的空间几何距离是否小于距离阈值，且偏移角度差值是否小于角度阈值，若是，将相应的观测点增加至第一集合，若否，将相应的观测点从第二集合中删除，直至第二集合为空，其中，偏移角度差值为两个观测点偏移角度的差值；将增加观测点后的第一集合，记作第i个观测点的邻居节点集合。

上述任一项技术方案中，进一步地，权重计算单元中计算邻接权重的计算公式为：

式中，

为第i个观测点与第j个邻居节点之间的邻接权重，j=1,2,…,m，

为第i个观测点与第j个邻居节点之间归一化后的欧氏距离，

为第i个观测点与第j个邻居节点之间的权重参数，

为第一随机参数，

为第二随机参数，

为第i个观测点与第n个邻居节点之间的欧氏距离。

上述任一项技术方案中，进一步地，亮度补偿模块包括：灰度计算单元，梯度计算单元以及补偿计算单元；灰度计算单元用于对获取到的视频帧图像进行灰度值处理，并将各帧图像灰度均值记作灰度分量；梯度计算单元用于分别计算各帧视频帧图像中水平方向亮度梯度和竖直方向亮度梯度；补偿计算单元用于根据灰度分量、水平方向亮度梯度和竖直方向亮度梯度，对当前帧视频帧图像中像素的亮度进行补偿。

上述任一项技术方案中，进一步地，补偿计算单元中对当前帧视频帧图像中像素的亮度补偿的计算公式为：

式中，

为补偿后像素点b的亮度，b=1,2,…,B，B为像素点总数，

为当前帧视频帧图像的灰度分量，

为补偿前像素点b的亮度值，

为当前帧视频帧图像的水平方向亮度梯度，

为当前帧视频帧图像的竖直方向亮度梯度，

为当前帧视频帧图像的曝光强度值，

为预设曝光强度均值。

本申请的有益效果是：

本申请中的技术方案，将视频帧图像中的行人作为观测点，利用编号相同的观测点以及上一帧中与观测点存在交互情形的观测点，组成邻居节点集合，并结合计算出的邻接权重，构建超图神经网络，以便对视频帧图像中存在交互的多名行人进行识别，使得该超图神经网络在行人目标识别过程中具有普适性，提高了行人目标识别及轨迹预测的准确性，特别是存在交互情形（如遮挡、跟随）的行人的移动轨迹预测的准确性，使得智能安防监控系统仅需对预测出移动轨迹符合条件的行人进行监控，减少了数据处理资源的占用，并为行人行为模式（蓄意、误入）的判定提供依据，有助于提高智能安防监控系统预警信息的可靠性和准确性。

在本申请的优选实现方式中，将灰度分量和亮度梯度作为亮度补偿的依据，对用于行人移动轨迹预测的视频帧图像进行亮度补偿，以提高当前帧视频图像中行人目标的图像特征，克服复杂光照的影响，与构建出的超图神经网络相结合，准确识别视频帧图像中的行人目标，提高行人移动轨迹预测数据依据的可靠性，进而提高了轨迹预测的准确性。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的基于大数据的移动轨迹预测系统的示意框图；

图2是根据本申请的一个实施例的一种行人移动轨迹的示意图；

图3是根据本申请的一个实施例的另一种行人移动轨迹的示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本实施例提供了一种基于大数据的移动轨迹预测系统，该系统基于大数据对搭建的超图神经网络进行训练和验证，以使得训练好的超图神经网络能够对智能监控系统中摄像头探测范围内的行人进行移动轨迹预测。该超图神经网络主要是将视频帧数据中的行人作为节点，构成超图中的节点集合，并根据视频中提取的信息，确定各节点之间的超边集合、超边权重，以便对图像采集区域内的行人进行识别。当判定图像采集区域内的行人进入预警区域时，基于该行人的速度和移动方向等信息，对行人的移动轨迹进行预测，判断行人是否将进入警戒区域，进而实现安全预警的功能。。

本实施例中，该移动轨迹预测系统适用于智能安防监控系统中对行人是否将进入警戒区域进行预测，包括：图像获取模块10，亮度补偿模块20，网络构建模块30，目标识别模块40以及轨迹预测模块50；

其中，图像获取模块10用于获取图像采集区域与预警区域内的视频帧图像，其中，警戒区域的外侧依次被划分为预警区域和图像采集区域；

其中，亮度补偿模块20用于对视频帧图像中像素的亮度进行补偿；

其中，网络构建模块30用于基于样本视频帧图像，构建超图神经网络；

其中，目标识别模块40用于根据超图神经网络，对亮度补偿后的视频帧图像进行行人目标识别；

其中，轨迹预测模块50用于当判定识别出的行人由图像采集区域进入预警区域内时，根据视频帧图像中行人的移动速度和移动方向，对行人的移动轨迹进行预测。

具体的，如图2和图3所示，将智能监控系统中摄像头的探测范围依次划分为图像采集区域、预警区域和警戒区域。

图像获取模块10可以由摄像头及相关设备实现，以对图像采集区域内的行人移动视频图像进行采集，并基于超图神经网络进行行人目标识别，当判定行人移动进行预警区域时，根据图像采集区域中行人的移动速度和移动方向，如图2和图3中实线部分所示，基于曲线拟合的方式，对预警区域内该行人的移动轨迹进行预测，如图2和图3中虚线部分所示。

同时，还能够根据预警区域内该行人的实际移动速度和移动方向对预测出的移动轨迹进行修正，以提高轨迹预测的实时性、准确性。

需要说明的是，本实施例对根据移动速度和移动方向，进行行人移动轨迹拟合的方式并不限定。

本实施例为了提高对视频帧图像中行人目标识别的相应速率和准确性，构建了相应的超图神经网络，并基于视频帧图像中多名行人可能存在的交互情形（如跟随、遮挡等），在超图神经网络中构建了特殊的节点集合，并采用相应的超边权重计算方法，对超图神经网络进行了优化，使得该超图神经网络在行人目标识别过程中具有普适性，提高了行人目标识别的准确性，有助于保证轨迹预测的可靠性。

进一步的，为了考虑行人间的交互情形，本实施例中的网络构建模块30包括：观测点确定单元31，集合确定单元32，权重计算单元33以及网络生成单元34；

其中，观测点确定单元31用于确定各个样本视频帧图像中行人的观测点，其中，观测点为行人在样本视频帧图像中对应标注框的中心点；

具体的，本实施例以摄像头所在位置为原点建立空间坐标系，设定第i位行人在第T帧样本视频帧图像中的位置坐标为

，其位移向量

为第T-1帧、第T帧中位置坐标的差值，

，偏移角度为第T-1帧与第T帧样本视频帧图像中同一个观测点的位移向量与空间坐标系之间的夹角。

其中，集合确定单元32用于采用遍历的方式，根据观测点的编号，按照样本视频帧图像的帧顺序，依次确定各个观测点的邻居节点集合；

优选的，该集合确定单元32确定邻居节点集合的具体过程包括：

对于第i个观测点，按照样本视频帧图像的帧顺序，依次提取除当前帧外其余样本视频帧图像中，与第i个观测点编号相同的观测点，组成第一集合；

提取前一帧样本视频帧图像中与第i个观测点的空间几何距离小于距离阈值的观测点，记作第二集合；

在当前帧样本视频帧图像中，依次判断第二集合中各观测点与第i个观测点的空间几何距离是否小于距离阈值，且偏移角度差值是否小于角度阈值，若是，将相应的观测点增加至第一集合，若否，将相应的观测点从第二集合中删除，直至第二集合为空，其中，偏移角度差值为两个观测点偏移角度的差值；

将增加观测点后的第一集合，记作第i个观测点的邻居节点集合。

具体的，本实施例中的邻居节点集合共包括两类观测点：

设定第T帧样本视频帧图像中的第i个行人对应的观测点为

，此时，第一类观测点为除第T帧样本视频帧图像外，其余帧样本视频帧图像中的第i个行人对应的观测点。

设定以下两个判定条件：

1、在第T-1帧样本视频帧图像中，第k个行人对应的观测点

与第i个行人对应的观测点

之间的空间几何距离小于距离阈值，且在第T帧样本视频帧图像中，第k个行人对应的观测点

与第i个行人对应的观测点

之间的空间几何距离仍小于距离阈值；

2、观测点

与观测点

之间的偏移角度差值小于角度阈值。

当满足以上两个判定条件时，则将观测点

作为观测点

的第二类观测点。

需要说明的是，上述空间几何距离为空间坐标系下两个行人之间的距离。

因此，基于上述两类观测点，构成第i个观测点的邻居节点集合，不仅对多帧连续视频帧图像中的单个行人进行识别，还引入了当前帧与前一帧视频帧图像中存在交互的同行行人的识别，进而保证了对于某个行人对应的邻居节点集合选取的可靠性，同时，还能够将此类行人对应的观测点与超图神经网络相结合，有助于提高对行人识别的响应效率，并行的对多个行人，特别是存在交互的行人进行移动轨迹预测。

其中，权重计算单元33用于计算各个观测点与邻居节点集合中各邻居节点之间的邻接权重，其中，权重计算单元33计算邻接权重的计算公式为：

式中，

为第i个观测点与第j个邻居节点之间的邻接权重，j=1,2,…,m，

为第i个观测点与第j个邻居节点之间归一化后的欧氏距离，

为第i个观测点与第j个邻居节点之间的权重参数，

为第一随机参数，

为第二随机参数，

为第i个观测点与第n个邻居节点之间的欧氏距离；

其中，网络生成单元34用于根据各个观测点的邻接权重和邻居节点集合，生成超图神经网络。

具体的，该超图神经网络的结构可以描述为：

式中，

为观测点集合，

，i=1,2,…,N，

为两个观测点之间的超边集合，

为超边权重的集合，其中，超边集合

由观测点及其邻居节点集合确定。

具体的，通过上述过程构建出的超图神经网络，不仅响应效率快，同时还考虑了行人的交互情形（如跟随、遮挡），能够并行的进行预测区域内地行人轨迹预测。

在上述实施例的基础上，本实施例中的移动轨迹预测系统还包括：警示模块60；警示模块60用于当判定预测出的行人的移动轨迹进入警戒区域时，生成并发送安全警示信息。

在本实施例中，智能安防监控系统仅需对进入预警区域内的行人进行轨迹预测，无需对摄像头探测范围内的全部行人进行监控，有助于减少智能安防监控系统对行人数据的运算量，降低了对运算资源的需求。同时，通过对预警区域内行人移动轨迹的预测，当判定其将会进入警戒区域时进行安全预警，生成并发送安全警示信息，不仅能够为行人误入行为的判定提供依据，还提高了智能安防监控系统生成安全警示信息的可靠性和准确性。

在本实施例的一个优选实现方式中，上述超图神经网络中还串接有图像补偿网络，通过该图像补偿网络作为亮度补偿模块20，对获取到的视频帧图像进行图像补偿，以克服复杂光照条件下行人目标识别准确率不高的问题。

进一步的，该亮度补偿模块20包括：灰度计算单元21，梯度计算单元22以及补偿计算单元23；

其中，灰度计算单元21用于对获取到的视频帧图像进行灰度值处理，并将各帧图像灰度均值记作灰度分量；

具体的，因光照条件的不同，如光源复杂、深夜、阴影遮挡等，且行人的衣着材质也不相同，甚至是存在荧光材质的服装，导致摄像头获取到的视频帧图像的图像质量并不一致，因此，对获取到的视频帧图像进行灰度值处理，并将当前帧的图像灰度均值记作当前帧视频帧图像的灰度分量，以便对获取到的视频帧图像进行亮度补偿，提高行人目标识别准确率。

其中，梯度计算单元22用于分别计算各帧视频帧图像中水平方向亮度梯度和竖直方向亮度梯度；

其中，补偿计算单元23用于根据灰度分量、水平方向亮度梯度和竖直方向亮度梯度，对当前帧视频帧图像中像素的亮度进行补偿，其中，补偿计算单元23中对当前帧视频帧图像中像素的亮度补偿的计算公式为：

式中，

为补偿后像素点b的亮度，b=1,2,…,B，B为像素点总数，

为当前帧视频帧图像的灰度分量，

为补偿前像素点b的亮度值，

为当前帧视频帧图像的水平方向亮度梯度，

为当前帧视频帧图像的竖直方向亮度梯度，

为当前帧视频帧图像的曝光强度值，

为预设曝光强度均值。

具体的，通过计算当前帧视频图像样水平方向和竖直方向的像素点的亮度变化，得到相应的亮度梯度

和

，再结合由灰度值处理得到的当前帧视频图像的灰度分量

，对当前帧视频图像中各个像素点进行亮度补偿，以提高当前帧视频图像中行人目标的图像特征，以便超图神经网络能够准确识别行人目标。

通过对本实施例中上述方法的验证，与其他行人轨迹预测中的图像识别方法相比，特别是在复杂光照条件下，能够提高行人目标识别的响应速率和识别准确率，进而提高了轨迹预测的响应效率和智能监控预警的可靠性。

需要说明的是，本实施例对警示模块60生成并发送安全警示信息的具体形式并不限定，可以是声光报警；也可以是在视频监控图像上进行特殊颜色的标记，以提示安防人员。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于大数据的移动轨迹预测系统，该移动轨迹预测系统适用于智能安防监控系统中对行人是否将进入警戒区域进行预测，移动轨迹预测系统包括：图像获取模块，亮度补偿模块，网络构建模块，目标识别模块以及轨迹预测模块；图像获取模块用于获取图像采集区域与预警区域内的视频帧图像，其中，警戒区域的外侧依次被划分为预警区域和图像采集区域；亮度补偿模块用于对视频帧图像中像素的亮度进行补偿；网络构建模块用于基于样本视频帧图像，构建超图神经网络；目标识别模块用于根据超图神经网络，对亮度补偿后的视频帧图像进行行人目标识别；轨迹预测模块用于当判定识别出的行人由图像采集区域进入预警区域内时，根据视频帧图像中行人的移动速度和移动方向，对行人的移动轨迹进行预测。通过本申请中的技术方案，对行人的移动轨迹进行预测，减少了智能安防监控系统对行人数据的运算量，为误入行为的判定提供依据，提高了智能安防监控系统预警的可靠性。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (6)

1.一种基于大数据的移动轨迹预测系统，其特征在于，该移动轨迹预测系统适用于智能安防监控系统中对行人是否将进入警戒区域进行预测，所述移动轨迹预测系统包括：图像获取模块，亮度补偿模块，网络构建模块，目标识别模块以及轨迹预测模块；

所述图像获取模块用于获取图像采集区域与预警区域内的视频帧图像，其中，所述警戒区域的外侧依次被划分为所述预警区域和所述图像采集区域；

所述亮度补偿模块用于对所述视频帧图像中像素的亮度进行补偿；

所述网络构建模块用于基于样本视频帧图像，构建超图神经网络；

所述目标识别模块用于根据所述超图神经网络，对亮度补偿后的视频帧图像进行行人目标识别；

所述轨迹预测模块用于当判定识别出的所述行人由图像采集区域进入预警区域内时，根据所述视频帧图像中所述行人的移动速度和移动方向，对所述行人的移动轨迹进行预测。

2.如权利要求1所述的基于大数据的移动轨迹预测系统，其特征在于，所述移动轨迹预测系统还包括：警示模块；

所述警示模块用于当判定预测出的所述行人的移动轨迹进入所述警戒区域时，生成并发送安全警示信息。

3.如权利要求1或2所述的基于大数据的移动轨迹预测系统，其特征在于，所述网络构建模块包括：观测点确定单元，集合确定单元，权重计算单元以及网络生成单元；

所述观测点确定单元用于确定各个样本视频帧图像中行人的观测点，其中，所述观测点为行人在所述样本视频帧图像中对应标注框的中心点；

所述集合确定单元用于采用遍历的方式，根据所述观测点的编号，按照所述样本视频帧图像的帧顺序，依次确定各个观测点的邻居节点集合；

所述权重计算单元用于计算各个观测点与所述邻居节点集合中各邻居节点之间的邻接权重；

所述网络生成单元用于根据各个观测点的所述邻接权重和所述邻居节点集合，生成所述超图神经网络。

4.如权利要求3所述的基于大数据的移动轨迹预测系统，其特征在于，所述集合确定单元确定邻居节点集合的具体过程包括：

对于第i个观测点，按照所述样本视频帧图像的帧顺序，依次提取除当前帧外其余样本视频帧图像中，与所述第i个观测点编号相同的观测点，组成第一集合；

提取前一帧样本视频帧图像中与所述第i个观测点的空间几何距离小于距离阈值的观测点，记作第二集合；

在当前帧样本视频帧图像中，依次判断所述第二集合中各观测点与所述第i个观测点的空间几何距离是否小于所述距离阈值，且偏移角度差值是否小于角度阈值，若是，将相应的观测点增加至所述第一集合，若否，将所述相应的观测点从所述第二集合中删除，直至第二集合为空，其中，所述偏移角度差值为两个观测点偏移角度的差值；

将增加观测点后的第一集合，记作所述第i个观测点的邻居节点集合。

5.如权利要求1所述的基于大数据的移动轨迹预测系统，其特征在于，所述亮度补偿模块包括：灰度计算单元，梯度计算单元以及补偿计算单元；

所述灰度计算单元用于对获取到的所述视频帧图像进行灰度值处理，并将各帧图像灰度均值记作灰度分量；

所述梯度计算单元用于分别计算各帧视频帧图像中水平方向亮度梯度和竖直方向亮度梯度；

所述补偿计算单元用于根据所述灰度分量、所述水平方向亮度梯度和所述竖直方向亮度梯度，对当前帧视频帧图像中像素的亮度进行补偿。

6.如权利要求5所述的基于大数据的移动轨迹预测系统，其特征在于，所述补偿计算单元中对所述当前帧视频帧图像中像素的亮度补偿的计算公式为：

式中，

为补偿后像素点b的亮度，b=1,2,…,B，B为像素点总数，

为所述当前帧视频帧图像的灰度分量，

为补偿前像素点b的亮度值，

为所述当前帧视频帧图像的水平方向亮度梯度，

为所述当前帧视频帧图像的竖直方向亮度梯度，

为所述当前帧视频帧图像的曝光强度值，

为预设曝光强度均值。

Images