CN106341667A - 基于无人机的三维全景视频远程监控系统及图像采集控制方法 - Google Patents

Abstract

本发明公开了一种基于无人机的三维全景视频远程监控系统，包括空中无人机端，地面服务器端和监控端，所述空中无人机端包括无人机机体，无人机机体设有主控制器模块和分别与之电连接的视频采集模块、第一无线通信模块；所述地面服务器端包括嵌入式控制器模块和分别与之电连接的图像处理模块、存储模块、LCD显示模块、对外接口模块、第二无线通信模块、输入设备和应用软件模块；所述监控端为可移动监控终端，空中无人机端和地面服务器端无线连接，监控端与地面服务器端通过网络连接。这种三维全景视频远程监控系统监控灵活机动、监控范围广、监控无死角、监控信息同步性高、监控实时性好、可多点同时监控。本发明同时还公开了基于无人机的三维全景视频远程监控系统图像采集控制方法。

Description

基于无人机的三维全景视频远程监控系统及图像采集控制 方法

技术领域

本发明涉及无人机领域，具体涉及一种基于无人机的三维全景视频远程监控系统及图像采集控制方法。

背景技术

近年来，随着无人机技术的发展，其应用面越来越广，尤其无人机航拍和图传功能得到了广泛应用。无人机在视频监控领域的应用上，其空中灵活移动，无视野障碍的特点，解决了传统地面监控技术不能满足临时指定监控区域，大范围监控要求的问题。例如，公安部门对指定区域的监视任务和情报收集，森林火灾、洪涝灾害等自然灾害的监测和救援等。现有无人机视频监控设备为无人机端单台摄像头视频采集，视频图像通过无线传输设备发送到地面监控终端，实现对指定区域的空中俯视监控，但监控角度有限，不能实现360度范围的监控，且监控视频为二维画面，同时，监控终端为单台，不能满足不同地点的多部门同时监控的要求。所以亟需一种监控范围广、无死角、多台监控终端随意地点监控的三维全景视频远程监控系统。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于无人机的三维全景视频远程监控系统及图像采集控制方法。

这种三维全景视频远程监控系统监控灵活机动、监控范围广、监控无死角、监控信息同步性高、监控实时性好、可多点同时监控。

这种图像采集控制方法的优点是相比于传统的多摄像头采集各方向视频图像方法，这种方法更加方便灵活、操作简单、使用容易。

实现本发明目的的技术方案是：

基于无人机的三维全景视频远程监控系统，包括

空中无人机端，所述空中无人机端包括无人机机体，无人机机体设有主控制器模块和分别与之电连接的视频采集模块、第一无线通信模块，视频采集模块用于无人机机体采集视频图像，主控制器模块用于对空中无人机端的总体控制和协调工作，主控制器模块将采集到的视频图像进行压缩编码处理，处理后的视频图像由第一无线通信模块发送至地面服务器端；

地面服务器端，所述地面服务器端包括嵌入式控制器模块和分别与之电连接的图像处理模块、存储模块、LCD显示模块、对外接口模块、第二无线通信模块、输入设备和应用软件模块，嵌入式控制器模块用于对地面服务器端的总体控制和协调工作， 第二无线通信模块接收来自空中无人机端由第一无线通信模块发送的视频图像，视频图像由图像处理模块生成三维全景视频，存储模块用于存储由图像处理模块生成的三维全景视频文件，LCD显示模块为人机交互界面平台，同时用于显示、播放由图像处理模块生成的三维全景视频，外接口模块用于与外挂计算机连接通信，方便各种应用程序的烧写和由图像处理模块生成的三维全景视频文件转载，输入设备用于输入指令信息，应用软件模块为各种应用软件的集合载体；

监控端，所述监控端为可移动监控终端，可观看实时三维全景视频；

空中无人机端通过第一无线通信模块和地面服务器端的第二无线通信模块无线连接，监控端与地面服务器端通过网络连接。

所述视频采集模块包括摄像头、电机和摄像头驱动电路，摄像头驱动电路接收主控制器模块输入的控制信号，根据控制信号驱动电机转动，电机进一步带动摄像头转动，快速采集监控区域各方向的视频图像。

所述嵌入式控制器模块包括嵌入式芯片的最小系统，其中，嵌入式控制器芯片采用ARM Cortex-A9处理器，嵌入式控制器模块为地面服务器端核心模块，控制、协调地面服务器端的各个模块工作。

所述图像处理模块包括全景视频拼接单元和三维建模单元，全景视频拼接单元用于对各个方向的图像进行拼接处理，生成单帧的全景图像，得到全景视频，三维建模单元用于根据全景视频拼接单元得到的全景视频信息，执行立体三维建模，生成三维全景视频。

所述全景视频拼接单元设有GPU图形处理器，GPU图形处理器完成对图像的预处理、图像配准、图像融合。

图像预处理是对产生几何畸变的图像的校正，同时，融入帧图像增强算法，对清晰度较低的图像实现图像增强；图像配准步骤使用帧图像配准算法，完成图像特征点检测、特征描述和特征匹配，使图像间互相重叠部分对准，将待拼接图像转换到参考图像的坐标系，构成完整的图像；图像融合步骤使用帧图像融合算法，该算法具有渐变性，保证拼合边界平滑过渡，消除拼接线，生成平滑无缝的全景图像。

所述的LCD显示模块包括LCD显示电路和液晶触摸屏幕。

所述的对外接口模块设有USB接口电路、串口电路。

所述的可移动监控终端为至少2个。

所述的可移动监控终端为4个。

所述无人机为无人直升机或多旋翼无人机。

所述输入设备包括键盘或者鼠标。

基于无人机的三维全景视频远程监控系统图像采集控制方法，包括如下步骤：

S1.视频图像采集：视频采集模块对监控区域进行视频采集，视频图像采集包括：

1）当视频采集模块接收到来自主控制器模块11的视频采集命令时，电机带动摄像头转动到初始位置，摄像头初始位置为其镜头中心线与水平线重合，即镜头中心线与水平线的夹角θ为0°方向；

2）启动摄像头，开始拍摄；

3）摄像头快速顺时针转动，同时夹角θ逐渐增大，直至θ为90°，即镜头中心线与水平线垂直；

4）摄像头逆时针转动，同时夹角θ逐渐减少，沿着原先轨迹转动，直至回到初始位置；

5）视频采集模块判断是否接收到结束视频采集命令，若未接收到，则回到步骤3），继续工作，若接收到，则关闭摄像头，视频采集模块停止工作；

S2.视频图像压缩编码：主控制器模块对所采集的视频图像进行压缩编码处理；

S3.视频图像传输：第一无线通信模块与第二无线通信模块无线通信，实现对视频图像数据的传输；

S4.视频图像解压解码：嵌入式控制器模块对第二通信模块接收到的视频图像进行解压解码处理；

S5.全景图像拼接：图像处理模块中全景视频拼接单元对各个方向的图像进行拼接处理，生成单帧的全景图像，得到全景视频；

S6.立体三维建模：图像处理模块中三维建模单元根据全景视频图像信息，执行立体三维建模，得到三维全景视频；

S7.观看全景三维视频：移动监控终端与地面服务器端网络连接，接收实时三维全景视频，并通过移动监控终端监控。

这种三维全景视频远程监控系统监控灵活机动、监控范围广、监控无死角、监控信息同步性高、监控实时性好、可多点同时监控。

这种图像采集控制方法的优点是相比于传统的多摄像头采集各方向视频图像方法，这种方法更加方便灵活、操作简单、使用容易。

附图说明

图1为实施例结构方框示意图；

图2为实施例方法流程示意图。

图中，1. 空中无人机端 2. 地面服务器端 3.监控端 11.主控制器模块12.视频采集模块 13.无人机机体 14.第一无线通信模块 21.嵌入式控制器模块22. 图像处理模块 23.存储模块 24. LCD显示模块 25.外接口模块 26.第二通信模块 27.输入设备 28.应用软件模块。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的阐述，但不是对本发明的限定。

实施例：

参照图1，基于无人机的三维全景视频远程监控系统，其特征是，包括

空中无人机端1，所述空中无人机端1包括无人机机体13，无人机机体13设有主控制器模块11和分别与之电连接的视频采集模块12、第一无线通信模块14，视频采集模块12用于无人机机体13采集视频图像，主控制器模块12用于对空中无人机端的总体控制和协调工作，主控制器模块12将采集到的视频图像进行压缩编码处理，处理后的视频图像由第一无线通信模块14发送至地面服务器端2；

地面服务器端2，所述地面服务器端2包括嵌入式控制器模块21和分别与之电连接的图像处理模块22、存储模块23、LCD显示模块24、对外接口模块25、第二无线通信模块26、输入设备27和应用软件模块28，嵌入式控制器模块21用于对地面服务器端的总体控制和协调工作， 第二无线通信模块26接收来自空中无人机端1由第一无线通信模块14发送的视频图像，视频图像由图像处理模块22生成三维全景视频，存储模块23用于存储由图像处理模块22生成的三维全景视频文件，LCD显示模块24为人机交互界面平台，同时用于显示、播放由图像处理模块22生成的三维全景视频，外接口模块25用于与外挂计算机连接通信，方便各种应用程序的烧写和由图像处理模块22生成的三维全景视频文件转载，输入设备27用于输入指令信息，应用软件模块28为各种应用软件的集合载体；

监控端3，所述监控端为可移动监控终端，可观看实时三维全景视频；

空中无人机端1通过第一无线通信模块14和地面服务器端2的第二无线通信模块26无线连接，监控端3与地面服务器端2通过网络连接。

所述视频采集模块12包括摄像头、电机和摄像头驱动电路，摄像头驱动电路接收主控制器模块11输入的控制信号，根据控制信号驱动电机转动，电机进一步带动摄像头转动，快速采集监控区域各方向的视频图像。

所述嵌入式控制器模块21包括嵌入式芯片的最小系统，其中，嵌入式控制器芯片采用ARM Cortex-A9处理器，嵌入式控制器模块21为地面服务器端2核心模块，控制、协调地面服务器端2的各个模块工作。

所述图像处理模块22包括全景视频拼接单元和三维建模单元，全景视频拼接单元用于对各个方向的图像进行拼接处理，生成单帧的全景图像，得到全景视频，三维建模单元用于根据全景视频拼接单元得到的全景视频信息，执行立体三维建模，生成三维全景视频。

所述全景视频拼接单元设有GPU图形处理器，GPU图形处理器完成对图像的预处理、图像配准、图像融合。

图像预处理是对产生几何畸变的图像的校正，同时，融入帧图像增强算法，对清晰度较低的图像实现图像增强；图像配准步骤使用帧图像配准算法，完成图像特征点检测、特征描述和特征匹配，使图像间互相重叠部分对准，将待拼接图像转换到参考图像的坐标系，构成完整的图像；图像融合步骤使用帧图像融合算法，该算法具有渐变性，保证拼合边界平滑过渡，消除拼接线，生成平滑无缝的全景图像。

所述的LCD显示模块24包括LCD显示电路和液晶触摸屏幕。

所述的对外接口模块25设有USB接口电路、串口电路。

所述的可移动监控终端为至少2个，本例为4个。

所述无人机为无人直升机或多旋翼无人机，本例为多旋翼无人机。

所述输入设备27包括键盘或者鼠标。

参照图2，基于无人机的三维全景视频远程监控系统图像采集控制方法，包括如下步骤：

S1.视频图像采集：视频采集模块12对监控区域进行视频采集，视频图像采集包括：

1）当视频采集模块12接收到来自主控制器模块11的视频采集命令时，电机带动摄像头转动到初始位置，摄像头初始位置为其镜头中心线与水平线重合，即镜头中心线与水平线的夹角θ为0°方向；

2）启动摄像头，开始拍摄；

3）摄像头快速顺时针转动，同时夹角θ逐渐增大，直至θ为90°，即镜头中心线与水平线垂直；

4）摄像头逆时针转动，同时夹角θ逐渐减少，沿着原先轨迹转动，直至回到初始位置；

5）视频采集模块12判断是否接收到结束视频采集命令，若未接收到，则回到步骤3），继续工作，若接收到，则关闭摄像头，视频采集模块停止工作；

S2.视频图像压缩编码：主控制器模块11对所采集的视频图像进行压缩编码处理；

S3.视频图像传输：第一无线通信模块14与第二无线通信模块26无线通信，实现对视频图像数据的传输；

S4.视频图像解压解码：嵌入式控制器模块21对第二通信模块26接收到的视频图像进行解压解码处理；

S5.全景图像拼接：图像处理模块22中全景视频拼接单元对各个方向的图像进行拼接处理，生成单帧的全景图像，得到全景视频；

S6.立体三维建模：图像处理模块22中三维建模单元根据全景视频图像信息，执行立体三维建模，得到三维全景视频；

S7.观看全景三维视频：移动监控终端与地面服务器端2网络连接，接收实时三维全景视频，并通过移动监控终端监控。

Claims (8)

1.基于无人机的三维全景视频远程监控系统，其特征是，包括

空中无人机端，所述空中无人机端包括无人机机体，无人机机体设有主控制器模块和分别与之电连接的视频采集模块、第一无线通信模块，视频采集模块用于无人机机体采集视频图像，主控制器模块用于对空中无人机端的总体控制和协调工作，主控制器模块将采集到的视频图像进行压缩编码处理，处理后的视频图像由第一无线通信模块发送至地面服务器端；

地面服务器端，所述地面服务器端包括嵌入式控制器模块和分别与之电连接的图像处理模块、存储模块、LCD显示模块、对外接口模块、第二无线通信模块、输入设备和应用软件模块，嵌入式控制器模块用于对地面服务器端的总体控制和协调工作， 第二无线通信模块接收来自空中无人机端由第一无线通信模块发送的视频图像，视频图像由图像处理模块生成三维全景视频，存储模块用于存储由图像处理模块生成的三维全景视频文件，LCD显示模块为人机交互界面平台，同时用于显示、播放由图像处理模块生成的三维全景视频，外接口模块用于与外挂计算机连接通信，方便各种应用程序的烧写和由图像处理模块生成的三维全景视频文件转载，输入设备用于输入指令信息，应用软件模块为各种应用软件的集合载体；

监控端，所述监控端为可移动监控终端，可观看实时三维全景视频；

空中无人机端通过第一无线通信模块和地面服务器端的第二无线通信模块无线连接，监控端与地面服务器端通过网络连接。

2.根据权利要求1所述的基于无人机的三维全景视频远程监控系统，其特征是，所述视频采集模块包括摄像头、电机和摄像头驱动电路，摄像头驱动电路接收主控制器模块输入的控制信号，根据控制信号驱动电机转动，电机进一步带动摄像头转动，快速采集监控区域各方向的视频图像。

3.根据权利要求1所述的基于无人机的三维全景视频远程监控系统，其特征是，所述嵌入式控制器模块包括嵌入式芯片的最小系统，其中，嵌入式控制器芯片采用ARM Cortex-A9处理器，嵌入式控制器模块为地面服务器端核心模块，控制、协调地面服务器端的各个模块工作。

4.根据权利要求1所述的基于无人机的三维全景视频远程监控系统，其特征是，所述图像处理模块包括全景视频拼接单元和三维建模单元，全景视频拼接单元用于对各个方向的图像进行拼接处理，生成单帧的全景图像，得到全景视频，三维建模单元用于根据全景视频拼接单元得到的全景视频信息，执行立体三维建模，生成三维全景视频。

5.根据权利要求4所述的基于无人机的三维全景视频远程监控系统，其特征是，所述全景视频拼接单元设有GPU图形处理器，GPU图形处理器完成对图像的预处理、图像配准、图像融合。

6.根据权利要求1所述的基于无人机的三维全景视频远程监控系统，其特征是，所述的可移动监控终端为至少2个。

7.根据权利要求1所述的基于无人机的三维全景视频远程监控系统，其特征是，所述的可移动监控终端为4个。

8.基于无人机的三维全景视频远程监控系统图像采集控制方法，其特征是，包括

如下步骤：

S1.视频图像采集：视频采集模块对监控区域进行视频采集，视频图像采集包括：

1）当视频采集模块接收到来自主控制器模块的视频采集命令时，电机带动摄像头转动到初始位置，摄像头初始位置为其镜头中心线与水平线重合，即镜头中心线与水平线的夹角θ为0°方向；

2）启动摄像头，开始拍摄；

3）摄像头快速顺时针转动，同时夹角θ逐渐增大，直至θ为90°，即镜头中心线与水平线垂直；

4）摄像头逆时针转动，同时夹角θ逐渐减少，沿着原先轨迹转动，直至回到初始位置；

5）视频采集模块判断是否接收到结束视频采集命令，若未接收到，则回到步骤3），继续工作，若接收到，则关闭摄像头，视频采集模块停止工作；

S2.视频图像压缩编码：主控制器模块对所采集的视频图像进行压缩编码处理；

S3.视频图像传输：第一无线通信模块与第二无线通信模块无线通信，实现对视频图像数据的传输；

S4.视频图像解压解码：嵌入式控制器模块对第二通信模块接收到的视频图像进行解压解码处理；

S5.全景图像拼接：图像处理模块中全景视频拼接单元对各个方向的图像进行拼接处理，生成单帧的全景图像，得到全景视频；

S6.立体三维建模：图像处理模块中三维建模单元根据全景视频图像信息，执行立体三维建模，得到三维全景视频；

S7.观看全景三维视频：移动监控终端与地面服务器端网络连接，接收实时三维全景视频，并通过移动监控终端监控。