CN109190602A - 一种智能无人机载视频监控方法 - Google Patents

Abstract

本发明提供了一种智能无人机载视频监控方法。区别于传统视频监控只能把摄像机固定在特定位置，本发明基于视频智能分析技术，将无人机的机动性与摄像机结合起来，设计一种机动灵活的视频监控方案。在正常情况下，无人机搭载摄像机停留在固定位置进行视频监控，一旦摄像机覆盖区域发生异常而摄像机无法处于最佳拍摄视角，或者其他非覆盖区域发生异常，利用本发明方法可以智能地规划无人机路径，根据视频分析结果将监控摄像头自动带到感兴趣的区域，持续监控，灵活快捷便利。

Description

一种智能无人机载视频监控方法

技术领域

本发明属计算机视觉、机器人技术领域，具体涉及一种智能无人机载视频监控方法。

背景技术

随着数字信息时代的到来，数字化高新技术产品日益增加和完善。各行业为了提高和完善生产、管理水平和增加竞争性，都争先采用完善的高新技术产品，视频监控系统就是信息时代的产物之一。视频监控系统是管理人员高质量管理的理想工具，也是公共安全、防盗防范必不可少的强有力的得力助手，利用它可以大大减少不必要的人力，实时监视可视区域，做到控制现场实际工作现状，实时快速的反映所发生的一切事物，便于管理者及时应付处理突发事件等。目前现有的视频监控，虽然能够智能处理摄像头信息，但是摄像头固定，场景固定，很不灵活。一旦遇到新情况、场景的变化、感兴趣的区域移动，就不得不对监控系统进行位置的调整。而且设备限制，功能比较单一。同时，随着监控数量的爆发式增长，视频的数据量也越来越大，使得人工处理这些数据变得非常不便。

随着科学技术的飞速发展，无人机飞行技术有了巨大的提升。无人机以其优良的性能在各种领域中获得了广泛的应用，尤其是在民用领域，无人机承担了许多特殊环境下的作业工作，国家社会也投入了巨大的财力致力于无人机的相关研究。但是，目前的无人机监控，准确说是无人机摄像系统，基本原理是飞手操作无人机，装在无人机上的图传系统将图片返回，飞手根据摄像头返回的区域来手动控制，飞向热点区域。目前的研究局限于图传系统以及算法处理摄像头抖动，并没有自动的控制过程。即无人机和摄像头只是局限在航拍、追踪，大部分要靠人力分析图像，这样很难处理大批量数据，而且时间缓慢，人为操作会错过热点区域。

发明内容

为了克服现有技术的不足，本发明提供一种智能无人机载视频监控方法。不同于传统视频监控只能把摄像机固定在特定位置的做法，本发明基于视频智能分析技术，将无人机的机动性与摄像机结合起来，设计一种机动灵活的视频监控方案。在正常情况下，无人机搭载摄像机停留在固定位置进行视频监控，一旦摄像机覆盖区域发生异常而摄像机无法处于最佳拍摄视角，或者其他非覆盖区域发生异常，无人机可以自主飞行到目标区域进行最佳视角视频采集，实现动态监控分析。本发明方法分为异常行为分析和自主寻路两部分。

一种智能无人机载视频监控方法，其特征在于步骤如下：

步骤1：对整个场景图像进行网格化划分，根据Lucas-Kanade光流算法计算得到每一帧图像相对于前一帧的光流。

步骤2：利用蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884-2896”中的方法计算每个网格的多尺度光流直方图。

步骤3：将所有网格的多尺度光流直方图沿着通道方向合并，然后输入到多尺度时间递归神经网络，利用多尺度时间递归神经网络输出层定位异常发生的位置；所述的多尺度时间递归神经网络及网络参数均记载在蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884-2896”中；

步骤4：利用无人机上图像分析模块得到的人群热点区域，利用双目相机测得人群热点区域到无人机当前位置的距离，利用三角函数计算得出热点区域位置相对于当前位置坐标。

步骤5：利用ORB特征对齐方法对图像进行特征对齐，并使用梯度下降法优化目标函数得到最终的位置转移矩阵T，其中，下标k代表图像帧数序列，u′_i表示位置坐标，σI表示图像的像素值变化量。

步骤6：采用三角化方法对步骤1中的所有帧图像相对于参考帧进行深度估计，得到每一帧的深度值；所述的参考帧为每隔五帧选取一帧，即为参考帧；

步骤7：将所有深度值进行贝叶斯滤波，得到滤波之后的深度，然后利用步骤6得到的位置转移矩阵T和滤波之后的深度，将每帧点云图在3D空间中进行拼接，得到点云地图；

步骤8：对步骤7得到的点云地图进行栅格处理，得到立方体栅格地图，再对立方体栅格地图在垂直空间上进行切割，得到分层的地图，对每一幅分层的地图计算已经被占据的格子和没有被占据的格子比例，并选取比例最大的层，将该层作为传统平面栅格地图，得到平面化的栅格地图；所述的栅格处理具体为：栅格处理当点云落在某个栅格内，该栅格被认为已经被占据，设为1；当栅格内没有点云时，被认为是空，设为0。

步骤9：以无人机当前位置为起点，以步骤4计算的坐标为终点，利用邹亮等人2007年的工作“A*算法改进及其在动态最短路径问题中的应用[J].深圳大学学报理工版2007,24(1):32-35”中的A*算法对步骤9得到的平面化的栅格地图进行路径规划，得到无人机行进路径，无人机前往观察最佳地点。

本发明的有益效果是：可以智能地规划无人机路径，根据视频分析结果将监控摄像头自动带到感兴趣的区域，持续监控，灵活快捷便利。

具体实施方式

下面结合实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提供了一种智能无人机载视频监控方法，具体过程如下：

1、对整个场景图像进行网格化划分，根据Lucas-Kanade光流算法计算得到每一帧图像相对于前一帧的光流。

2、由蔡瑞初，谢伟浩，郝志峰，王丽娟，温雯.等人的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报2015,26(11):2884-2896”方法计算每个网格的多尺度光流直方图(MHOF)。

3、将所有网格的多尺度光流直方图(MHOF)沿着通道方向合并，作为多尺度时间递归神经网络的输入，其中网络的参数由蔡瑞初，谢伟浩，郝志峰，王丽娟，温雯.等人的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报2015,26(11):2884-2896”确定。最后利用多尺度时间递归神经网络输出层定位异常发生的位置。

4、利用无人机上图像分析模块得到的人群热点区域，利用双目相机测得人群热点区域到目前无人机的距离，利用三角函数计算得出目标(热点区域)位置相对于当前位置坐标。

5、利用ORB特征对齐方法对图像进行特征对齐(即对应两幅图像的ORB特征点)，得到特征对齐后的图像，并使用传统的梯度下降法优化得到最终的位置转移矩阵T，其中下标k代表步骤1中帧数序列，u′_i表示位置坐标，σI表示图片像素值变化量。

6、采用三角化方法对步骤1中的所有帧图像相对于参考帧(每隔五阵选取一帧参考帧)进行深度估计，得到每一帧的深度值(每一帧点云)；

7、将所有深度值进行贝叶斯滤波，得到滤波之后的深度。利用得步骤6得到的位置转移矩阵T_k,k-1以及滤波之后的深度，将每帧点云图3D空间上拼接，得到点云地图；

8、对步骤7得到的点云地图进行栅格处理，得到立方体栅格地图。即：当点云落在某个栅格内，该栅格被认为已经被占据，设为1。当栅格内没有点云时，被认为是空，设为0。对立方体栅格地图在垂直空间上进行切割，得到分层的地图，对每一幅分层的地图计算已经被占据的格子和没有被占据的格子比例，并选取比例最大的层，将该层作为传统平面栅格地图，得到平面化的栅格地图；

9、利用邹亮等人2007年的工作“A*算法改进及其在动态最短路径问题中的应用[J].深圳大学学报理工版2007,24(1):32-35”中的A*算法对步骤9得到的平面化的栅格地图，以目前位置为起点，步骤4计算的坐标为终点进行路径规划，得到无人机行进路径，前往观察最佳地点。

以人群行为分析为例，在需要监控的地区释放无人机，等无人机起飞后，启动移入无人机嵌入式设备的建图线程，并设置保留一定区域一定数据量的点云地图，无人机wifi摄像头开启与后台服务器连接，无人机此时在固定位置处于监控待命状态。

在建筑物林立的人群，一旦发生突发情况，需要对突发情况进行持续跟踪，不仅人观看视频费时费力，容易忽略掉事件的发生，而且跟踪对象群体很容易受到建筑物等遮挡。这时候无人机会将摄像头拍摄的图像传入后台的GPU服务器，算法会自动检测出人群的异常，发现热点区域。

当异常移动，发生转移，这种无人机会根据自动建立地图，规划路径来让摄像头无遮挡地持续对热点区域跟踪，同时可以对后台操作人员进行警报并使之持续关注热点区域，并对突发事件及时作出反应。

当无人机不需要在某处实施监控时，回收该无人机，并可以根据需要来运输到所需地域进行部署。

Claims (1)

1.一种智能无人机载视频监控方法，其特征在于步骤如下：

步骤1：对整个场景图像进行网格化划分，根据Lucas-Kanade光流算法计算得到每一帧图像相对于前一帧的光流；

步骤2：利用蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884-2896”中的方法计算每个网格的多尺度光流直方图；

步骤3：将所有网格的多尺度光流直方图沿着通道方向合并，然后输入到多尺度时间递归神经网络，利用多尺度时间递归神经网络输出层定位异常发生的位置；所述的多尺度时间递归神经网络及网络参数均记载在蔡瑞初等人2015年的工作“基于多尺度时间递归神经网络的人群异常检测[J].软件学报,2015,26(11):2884-2896”中；

步骤4：利用无人机上图像分析模块得到的人群热点区域，利用双目相机测得人群热点区域到无人机当前位置的距离，利用三角函数计算得出热点区域位置相对于当前位置坐标；

步骤5：利用ORB特征对齐方法对图像进行特征对齐，并使用梯度下降法优化目标函数得到最终的位置转移矩阵T，其中，下标k代表图像帧数序列，u′_i表示位置坐标，σI表示图像的像素值变化量；

步骤6：采用三角化方法对步骤1中的所有帧图像相对于参考帧进行深度估计，得到每一帧的深度值；所述的参考帧为每隔五帧选取一帧，即为参考帧；

步骤7：将所有深度值进行贝叶斯滤波，得到滤波之后的深度，然后利用步骤6得到的位置转移矩阵T和滤波之后的深度，将每帧点云图在3D空间中进行拼接，得到点云地图；

步骤8：对步骤7得到的点云地图进行栅格处理，得到立方体栅格地图，再对立方体栅格地图在垂直空间上进行切割，得到分层的地图，对每一幅分层的地图计算已经被占据的格子和没有被占据的格子比例，并选取比例最大的层，将该层作为传统平面栅格地图，得到平面化的栅格地图；所述的栅格处理具体为：栅格处理当点云落在某个栅格内，该栅格被认为已经被占据，设为1；当栅格内没有点云时，被认为是空，设为0；

步骤9：以无人机当前位置为起点，以步骤4计算的坐标为终点，利用邹亮等人2007年的工作“A*算法改进及其在动态最短路径问题中的应用[J].深圳大学学报理工版2007,24(1):32-35”中的A*算法对步骤9得到的平面化的栅格地图进行路径规划，得到无人机行进路径，无人机前往观察最佳地点。