CN106447071A - 一种应用于视频监控场景的路径预测方法 - Google Patents

Abstract

本发明公开了一种应用于视频监控场景的路径预测方法，用于在给定场景图像和需预测的目标物体后，预测目标在将来一段时间内可能行进的路径。具体包括如下步骤：获取用于训练路径预测模型的监控视频数据集，并定义算法目标；对目标与场景之间的结构关系和目标本身的朝向进行建模；分析目标与场景之间的关系，预测目标本身的朝向；建立路径预测模型，规划最优路径。本发明适用于真实视频监控场景中的路径预测，面对各类复杂情况具有较佳的效果和鲁棒性。

Description

一种应用于视频监控场景的路径预测方法

技术领域

本发明属于计算机视觉领域，特别地涉及一种应用于视频监控场景的路径预测方法。

背景技术

推理和预测是智能视觉系统的主要能力之一，是近年来计算机视觉领域的研究者重点关注的课题。视觉路径预测是其中的一个子任务，其目标是预测一幅场景图片中某个给定目标在未来可能行进的路径。该问题在视频监控和智能机器人等领域具有很高的应用价值，直接影响到机器人导航等应用的性能。但同样，该问题具有较大的挑战性，一是它需要对场景图片和目标运动模式进行高层语义理解和表达。二是它经常面临复杂的情况，对相应算法的性能和鲁棒性提出了较高的要求。

目前的视觉路径预测方法直接在已有的数据库里搜索与目标场景相似的数据，再把已标注的轨迹用GIST或SIFT等方法映射到目标场景上。该种方法主要存在以下几个问题：1)它基于传统的视觉特征，这些视觉特征只能表达较低层的视觉信息，但视觉路径预测任务需要模型具备高层的语义理解能力；2)严重依赖于已有的数据库，如果数据库里没有相似的场景，那么方法很难给出准确的预测结果；3)在方法的测试阶段需要匹配全部数据库，导致较高的计算代价和时间复杂度。

发明内容

为解决上述问题，本发明的目的在于提供一种应用于视频监控场景的路径预测方法。该方法基于深度神经网络，利用深度视觉特征建模两种影响目标路径选择的关键因素，采用联合路径规划预测合理的未来路径，能够更好地适应真实视频监控场景中的复杂情况。

为实现上述目的，本发明的技术方案为：

一种应用于视频监控场景的路径预测方法，包括以下步骤：

S1、获取用于训练路径预测模型的监控视频数据集，并定义算法目标；

S2、对目标与场景之间的结构关系和目标本身的朝向进行建模；

S3、分析目标与场景之间的关系，预测目标本身的朝向；

S4、建立路径预测模型，规划最优路径。

进一步的，步骤S1中，所述的用于训练路径预测模型的监控视频数据集为含有场景序列图像I_train，人工标注的目标边界框B_train和身份ID_train的监控视频数据集；

定义算法目标为：预测目标物体在未来一段时间内最有可能行进的路径P＝(s₁，s₂，s₃，...，s_n)，其中s_i＝(x_i，y_i)代表场景位置的坐标，P由一系列连续的位置组成。

进一步的，步骤S2中，对目标物体与场景之间的结构关系进行建模具体包括：

S21、根据所述目标边界框B_train和身份ID_train，从场景序列图像I_train中获取所有目标图像块q＝(q₁,q₂,...,q_n)，以及每个目标图像块q_i各自分别出现过的场景区域和未出现过的场景区域其中，目标图像块q_i由相应的目标边界框B_train在场景图像I_train里截取得到，场景图像块p_i在和中随机截取，i＝1，2，...，n；

S22、建立深度卷积神经网络的输入为目标图像块q_i和场景图像块p_i，输出为标签0或1，即

其中，ψ_S为神经网络的参数，用于预测目标是否能到达给定的场景区域；

S23、将(q，H_pos)和(q，H_neg)分别作为正样本对和负样本对，使用反向传播算法训练神经网络

进一步的，步骤S2中，对目标本身的朝向进行建模具体包括：

S24、根据所述目标边界框B_train和身份ID_train，在场景序列图像I_train中获取所有目标图像q＝(q₁,q₂,...,q_n)及同一目标图像块q_i在相邻帧间的相对位置θ＝(θ₁，θ₂，...，θ_n),其中，θ_i被近似为目标图像块q_i的当前朝向，i＝1，2，...，n；

S25、建立深度卷积神经网络的输入为一幅目标图像块q_i,输出为目标图像块q_i的当前朝向θ_i，即

其中，ψ_O为神经网络的参数，用于输出目标图像块q_i的当前朝向θ_i；

S26、使用反向传播算法对所有q和θ训练神经网络

进一步的，步骤S3中，分析目标与场景之间的关系具体包括：

S31、获取用于测试的静态场景图片I，以及该图片上需预测的目标物体的边界框B＝(b₁，b₂，ω，h)；

S32、使用滑动窗在所述静态场景图片I上分块截取所有场景图像块p＝(p_i，p₂，...，p_n)，同时根据目标物体的边界框B＝(b₁，b₂，ω，h)在静态场景图片I上截取目标图像块q；

S32、依照公式(1)，将目标图像块q和所有场景图像块p依次输入深度卷积神经网络

S33、把输出的所有结果按场景图像块p的原位置依次组成整个场景I的热图R，R即是对目标图像块q_i来说是障碍物的区域。

进一步的，步骤S3中，预测目标本身的朝向具体包括：

S34、依照公式(2)，将目标图像块q输入深度卷积神经网络输出的结果即为目标图像q的当前朝向θ。

进一步的，步骤S4中，建立路径预测模型具体包括：

S41、建立优化问题：

其中，是两个角度的差，θ_P是路径P的初始方向，ε是加权系数，～表示空间位置相邻，s_ini和s_edge分别是目标物体的位置坐标和场景I的所有边缘位置。

进一步的，步骤S4中，规划最优路径具体包括：

S42、建立有向图G，G的结点v_i依次对应于场景位置的坐标s_i，G的边的权重为

其中

(I)：||s_j-s_ini||₁＝d or d+1，s_i～s_j，

(II)：||s_j-s_ini||₁≠d and d+1，s_i～s_j，

d取目标边界框B_train的对角线的长度。

S43、使用图的最短路径迪杰斯特拉(Dijkstra)算法在图G的结点v_ini和所有v_edge间搜索最短路径P，其中，v_ini和v_edge分别对应于公式(3)中的目标物体的位置坐标s_ini和边缘位置s_edge；P即是规划的最优路径。

本发明的应用于视频监控场景的路径预测方法，相比于现有的视觉路径预测方法，具有以下有益效果：

首先，本发明的路径预测方法定义了两种影响目标路径选择的关键因素，即“目标与场景之间的结构关系”和“目标本身的朝向”，该种假设更加符合真实情况下的目标路径规划问题。

其次，本发明的路径预测方法基于深度卷积神经网络建立上下文模型以建模上述两种关键因素。深度卷积神经网络能够更好地表达视觉特征，另外，视觉特征的提取和上下文模型的学习被统一在同一个框架里，提高了方法的最终效果。

最后，本发明的路径预测方法中提出的联合路径规划方法利用上下文模型返回的分析结果推理合理的路径。在该路径规划方法中，原始的路径预测问题被等价转化为一个可以被高效解决的优化问题，保证了整个方法的效率。

本发明的应用于视频监控场景的路径预测方法，在视频监控分析和智能机器人导航中，能够有效提高路径预测效率和准确度，具有良好的应用价值。例如，在机器人导航中，本发明的路径预测方法可使机器人利用摄像头等视觉捕捉设备返回的信息，快速和准确地规划出从当前位置到达特定目的地的可行路径，提高机器人的智能化程度。

附图说明

图1为本发明的应用于视频监控场景的路径预测方法实施例的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，在本发明的较佳实施例中，一种应用于视频监控场景的路径预测方法，包括以下步骤：

首先，获取用于训练路径预测模型的监控视频数据集，并定义算法目标。

其中，用于训练路径预测模型的监控视频数据集为含有场景序列图像I_train，人工标注的目标边界框B_train和身份ID_train的监控视频数据集。

定义算法目标为：预测目标物体在未来一段时间内最有可能行进的路径P＝(s₁，s₂，s₃，...，s_n)，其中s_i＝(x_i，y_i)代表场景位置的坐标，P由一系列连续的位置组成。

其次，对目标与场景之间的结构关系和目标本身的朝向进行建模。具体的，其包括如下步骤：

第一步，根据所述目标边界框B_train和身份ID_train，从场景序列图像I_train中获取所有目标图像块q＝(q₁,q₂,...,q_n)，以及每个目标图像块q_i各自分别出现过的场景区域和未出现过的场景区域其中，目标图像块q_i由相应的目标边界框B_train在场景图像I_train里截取得到，场景图像块p_i在和中随机截取，i＝1，2，...，n；

第二步，建立深度卷积神经网络的输入为目标图像块q_i和场景图像块p_i，输出为标签0或1，即

其中，ψ_S为神经网络的参数，用于预测目标是否能到达给定的场景区域；

第三步，将(q，H_pos)和(q，H_neg)分别作为正样本对和负样本对，使用反向传播算法训练神经网络

第四步，根据所述目标边界框B_train和身份ID_train，在场景序列图像I_train中获取所有目标图像q＝(q₁,q₂,...,q_n)及同一目标图像块q_i在相邻帧间的相对位置θ＝(θ₁，θ₂，...，θ_n),其中，θ_i被近似为目标图像块q_i的当前朝向，i＝1，2，...，n。

第五步，建立深度卷积神经网络的输入为一幅目标图像块q_i,输出为目标图像块q_i的当前朝向θ_i，即

其中，ψ_O为神经网络的参数，用于输出目标图像块q_i的当前朝向θ_i。

第六步，使用反向传播算法对所有q和θ训练神经网络

接下来，分析目标与场景之间的关系，预测目标本身的朝向。具体的，其包括如下步骤：

第一步，获取用于测试的静态场景图片I，以及该图片上需预测的目标物体的边界框B＝(b₁，b₂，ω，h)；

第二步，使用滑动窗在所述静态场景图片I上分块截取所有场景图像块p＝(p_i，p₂，...，p_n)，同时根据目标物体的边界框B＝(b₁，b₂，ω，h)在静态场景图片I上截取目标图像块q；

第三步，依照公式(1)，将目标图像块q和所有场景图像块p依次输入深度卷积神经网络

第四步，把输出的所有结果按场景图像块p的原位置依次组成整个场景I的热图R，R即是对目标图像块q_i来说是障碍物的区域。

进一步的，步骤S3中，预测目标本身的朝向具体包括：

第五步，依照公式(2)，将目标图像块q输入深度卷积神经网络输出的结果即为目标图像q的当前朝向θ。

最后，建立路径预测模型，规划最优路径。具体包括：

第一步，建立优化问题：

其中，是两个角度的差，θ_P是路径P的初始方向，ε是加权系数，～表示空间位置相邻，s_ini和s_edge分别是目标物体的位置坐标和场景I的所有边缘位置。

进一步的，步骤S4中，规划最优路径具体包括：

第二步，建立有向图G，G的结点υv_i依次对应于场景位置的坐标s_i，G的边的权重为

其中

(I):||s_j-s_ini||₁＝d or d +1、s_i～s_j，

(II):||s_j-s_ini||₁≠d and d+1，s_i～s_j，

d取目标边界框B_train的对角线的长度。

第三步，使用图的最短路径迪杰斯特拉(Dijkstra)算法在图G的结点v_ini和所有v_edge间搜索最短路径P，其中，v_ini和v_edge分别对应于公式(3)中的目标物体的位置坐标s_ini和边缘位置s_edge；迪杰斯特拉(Dijkstra)算法是1959年提出的单源最短路径算法。它以起始点为中心向外层层扩展，直到扩展到终点为止，计算有向图中从一个顶点到其余各顶点的最短路径。P即是规划的最优路径。

上述实施例中，本发明的路径预测方法首先分别对两种影响路径选择的关键因素进行建模，即“目标本身的朝向”和“目标与场景之间的结构关系”。在此基础上，结合上述两种模型返回的结果得到所有潜在路径的代价函数，将原问题转化为求解具有最小代价的路径的优化问题。最后，采用计算简便的最短路径方法解得最可能的数条目标未来路径。

本发明的路径预测方法，基于深度学习技术，可以同时有效利用两种影响路径选择的关键因素，去完成路径的合理预测，从而得到规划的最优路径。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种应用于视频监控场景的路径预测方法，其特征在于，包括以下步骤：

S1、获取用于训练路径预测模型的监控视频数据集，并定义算法目标；

S2、对目标与场景之间的结构关系和目标本身的朝向进行建模；

S3、分析目标与场景之间的关系，预测目标本身的朝向；

S4、建立路径预测模型，规划最优路径。

2.如权利要求1所述的应用于视频监控场景的路径预测方法，其特征在于，步骤S1中，所述的用于训练路径预测模型的监控视频数据集为含有场景序列图像I_train，人工标注的目标边界框B_train和身份ID_train的监控视频数据集；

定义算法目标为：预测目标物体在未来一段时间内最有可能行进的路径P＝(s₁，s₂，s₃，...，s_n)，其中s_i＝(x_i，y_i)代表场景位置的坐标，P由一系列连续的位置组成。

3.如权利要求2所述的应用于视频监控场景的路径预测方法，其特征在于，步骤S2中，对目标物体与场景之间的结构关系进行建模具体包括：

S21、根据所述目标边界框B_train和身份ID_train，从场景序列图像I_train中获取所有目标图像块q＝(q₁,q₂,...,q_n)，以及每个目标图像块q_i各自分别出现过的场景区域和未出现过的场景区域其中，目标图像块q_i由相应的目标边界框B_train在场景图像I_train里截取得到，场景图像块p_i在和中随机截取，i＝1，2，...，n；

S22、建立深度卷积神经网络的输入为目标图像块q_i和场景图像块p_i，输出为标签0或1，即

其中，ψ_S为神经网络的参数，用于预测目标是否能到达给定的场景区域；

S23、将(q，H_pos)和(q，H_neg)分别作为正样本对和负样本对，使用反向传播算法训练神经网络

4.如权利要求3所述的应用于视频监控场景的路径预测方法，其特征在于，步骤S2中，对目标本身的朝向进行建模具体包括：

S24、根据所述目标边界框B_train和身份ID_train，在场景序列图像I_train中获取所有目标图像q＝(q₁,q₂,...,q_n)及同一目标图像块q_i在相邻帧间的相对位置θ＝(θ₁，θ₂，...，θ_n),其中，θ_i被近似为目标图像块q_i的当前朝向，i＝1，2，...，n；

S25、建立深度卷积神经网络的输入为一幅目标图像块q_i,输出为目标图像块q_i的当前朝向θ_i，即

其中，ψ_O为神经网络的参数，用于输出目标图像块q_i的当前朝向θ_i；

S26、使用反向传播算法对所有q和θ训练神经网络

5.如权利要求4所述的应用于视频监控场景的路径预测方法，其特征在于，步骤S3中，分析目标与场景之间的关系具体包括：

S31、获取用于测试的静态场景图片I，以及该图片上需预测的目标物体的边界框B＝(b₁，b₂，w，h)；

S32、使用滑动窗在所述静态场景图片I上分块截取所有场景图像块p＝(p₁，p₂，...，p_n)，同时根据目标物体的边界框B＝(b₁，b₂，w，h)在静态场景图片I上截取目标图像块q；

S32、依照公式(1)，将目标图像块q和所有场景图像块p依次输入深度卷积神经网络

S33、把输出的所有结果按场景图像块p的原位置依次组成整个场景I的热图R，R即是对目标图像块q_i来说是障碍物的区域。

6.如权利要求5所述的应用于视频监控场景的路径预测方法，其特征在于，步骤S3中，预测目标本身的朝向具体包括：

S34、依照公式(2)，将目标图像块q输入深度卷积神经网络输出的结果即为目标图像q的当前朝向θ。

7.如权利要求6所述的应用于视频监控场景的路径预测方法，其特征在于，步骤S4中，建立路径预测模型具体包括：

S41、建立优化问题：

其中，是两个角度的差，θ_P是路径P的初始方向，ε是加权系数，～表示空间位置相邻，s_ini和s_edge分别是目标物体的位置坐标和场景I的所有边缘位置。

8.如权利要求7所述的应用于视频监控场景的路径预测方法，其特征在于，步骤S4中，规划最优路径具体包括：

S42、建立有向图G，G的结点v_i依次对应于场景位置的坐标s_i，G的边的权重为

其中

(I):||s_j-s_ini||₁＝d or d+1，s_i～s_j，

(II)：||s_j-s_ini||₁≠d and d +1，s_i～s_j，

d取目标边界框B_train的对角线的长度；

S43、使用图的最短路径迪杰斯特拉算法在图G的结点v_ini和所有v_edge间搜索最短路径P，其中，v_ini和v_edge分别对应于公式(3)中的目标物体的位置坐标s_ini和边缘位置s_edge；P即是规划的最优路径。