CN104076817A - 一种高清视频航拍多模传感器自外感知智能导航系统及其方法 - Google Patents

Abstract

本发明公开了一种高清视频航拍多模传感器自外感知智能导航系统，包括：自外感知模块、信息融合模块和主控制模块，其中，自外感知模块用于通过多个传感器融合对航拍飞行器的内部与外部状态进行实时探测感知，获取航拍飞行器的内部与外部状态信息；信息融合模块用于将飞行器的内部与外部状态信息通过集中型拓扑结构汇聚到一决策层，并在决策层中进行多传感器信息融合后，进行一致性决策，输出导航控制信号；主控制模块用于根据导航控制信号，采取三维导航方式进行航拍飞行器状态实时调整和控制，实现航拍飞行器的水平自主导航和垂直自主导航。本发明还公开了一种高清视频航拍多模传感器自外感知智能导航方法。

Description

一种高清视频航拍多模传感器自外感知智能导航系统及其方法

技术领域

本发明涉及一种高清视频航拍系统领域，特别是涉及一种高清视频航拍多模传感器自外感知智能导航系统。

背景技术

航拍技术快速发展，航拍飞行器的市场需求也急剧增大，其应用范围包括远程航拍、城市安防、边境安放、地貌测绘等。随着国家安全重要性的日益提升，在安全方面的应用逐渐凸显其重要性。而目前绝大多数航拍系统都是人为操控，在智能化趋势日益加速的今天，通过人来操控不但会造成人力成本的浪费，还大大限制其使用范围。

智能导航系统是一种通过自外感知来获取内部和外部状态信息，再将其处理、融合、分析，最后做出“决策”，以此为依据来控制航拍飞行器的飞行姿态、速度、高度等，最终达到通过智能化手段来代替人为操控的目的。

目前市场上用于高清航拍的飞行器主要以多旋翼为主，控制其前进、后退、悬停都是通过无线遥控器完成，这样就造成了其飞行范围小，使用条件受到极大限制，尤其应用于安全领域后，无法达到无人智能飞行的要求。并且飞行器自身传感系统简单单一，无法全面获取自身信息和外部环境信息需要通过人眼判断障碍物，这大大降低了其飞行可靠性。

发明内容

本发明所要解决的技术问题在于提供一种高清视频航拍多模传感器自外感知智能导航系统及其方法，用于高清视屏航拍飞行器的智能导航控制，以解决现有技术中人为控制所带来的飞行范围小、可靠性低、缺乏自主控制能力等问题。

为达上述目的，本发明提供了一种高清视频航拍多模传感器自外感知智能导航系统，其特征在于，包括：

自外感知模块：用于通过多个传感器融合对航拍飞行器的内部与外部状态进行实时探测感知，获取所述航拍飞行器的内部与外部状态信息；

信息融合模块：用于将所述飞行器的内部与外部状态信息通过集中型拓扑结构汇聚到一决策层，并在所述决策层中进行多传感器信息融合后，进行一致性决策，输出导航控制信号；

主控制模块：用于根据所述导航控制信号，采取三维导航方式进行所述航拍飞行器状态实时调整和控制，实现所述航拍飞行器的水平自主导航和垂直自主导航。

上述高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述决策层的多传感器信息融合为将所述传感器的信息采取分别决策再将所述决策的结果采取集中分析融合，最终获得所述导航系统的一致性决策。

上述高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述三维导航方式为在二维导航方式中引入高度控制，并将GPS传感器导航、无线电导航和惯性导航相融合的导航方式。

上述高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述自外感知模块还包括：

自感知模块：用于通过所述多个传感器融合对所述航拍飞行器的内部状态进行实时探测感知，获取所述航拍飞行器的内部状态信息；

外感知模块：用于通过所述多个传感器融合对所述航拍飞行器外部环境状态进行实时探测感知，获取所述航拍飞行器外部状态信息。

上述高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述自感知模块包括：

方向自感知模块：用于通过所述传感器获取所述航拍飞行器的方向信息，进行飞行器的飞行方向和飞行姿态的感知；

速度自感知模块：用于通过采用微GPS传感器进行所述航拍飞行器的飞行速度信息的采集，并通过多普勒原理，采用多普勒观测值计算所述飞行速度；

位置自感知模块：用于通过与所述速度自感知模块相同的所述微GPS传感器进行所述航拍飞行器所处位置信息采集；

高度自感知模块：用于通过所述传感器获取所述航拍飞行器的飞行高度信息，采取无线电高度确定基准高度，气压高度确定相对高度，并采用起飞点的实测温度进行高度补偿的高度自感知方案，进行所述航拍飞行器的高度自感知；

温度自感知模块：用于通过温度传感器采集所述航拍飞行器的自身温度信息。

上述高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述外感知模块包括：

自动目标识别模块：用于识别与所述导航系统的目标特征库匹配的特定目标，通过获取到的图像数据，采用基于机器视觉的快速图像处理方法，提取航拍的视频中符合既定特征的目标，进行自动目标识别；

障碍物外感知模块：用于采取超声波传感器和高分辨率图像传感器融合的多传感器融合方式获取飞行路线上的障碍物信息，为所述航拍飞行器躲避障碍物提供依据；

光照外感知模块：用于感知外部环境的光照情况，获取所述航拍飞行器的外部可见光和红外光的光照信息；

温度外感知模块：用于感知外部环境温度情况，获取所述航拍飞行器的外部温度信息，通过温度传感器和红外成像仪组合，实现外部环境温度的感知；

高清视频采集模块：用于获取高清视频图像，为航拍和目标识别提供依据。

上述高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述主控制系统包括：

飞行姿态参数输出模块：用于将所述多传感器信息融合模块生成的导航控制信号进一步处理成所述航拍飞行器的导航所需的各种导航参数；

导航控制模块：用于根据所述导航参数，采取所述三维导航方式进行所述航拍飞行器的水平自主导航和垂直自主导航。

上述高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述导航控制模块还包括：

飞行速度调整模块：用于根据分析所述飞行速度信息改变所述航拍飞行器飞行速度以达到最佳飞行状态；

飞行高度调整模块：用于根据所述飞行高度信息，进行所述航拍飞行器避障和调整航拍距离；

飞行姿态调整模块：用于根据所述导航参数，改变所述航拍飞行器航拍角度、目标追踪和避障；

飞行方向调整模块：用于根据所述方向信息，进行所述航拍飞行器的目标追踪和航线规划。

本发明还提供一种高清视频航拍多模传感器自外感知智能导航方法，应用于如上所述智能导航系统，其特征在于，所述方法包括：

自外感知步骤：用于通过多个传感器融合对航拍飞行器的内部与外部状态进行实时探测感知，获取所述航拍飞行器的内部与外部状态信息；

信息融合步骤：用于将所述航拍飞行器的内部与外部状态信息通过集中型拓扑结构汇聚到一决策层，并在所述决策层中进行多传感器信息融合后，进行一致性决策，输出导航控制信号；

主控制步骤：用于根据所述导航控制信号，采取三维导航方式进行所述航拍飞行器状态实时调整和控制，实现所述航拍飞行器的水平自主导航和垂直自主导航。

上述高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述决策层的多传感器信息融合为将所述传感器的信息采取分别决策再将所述决策的结果采取集中分析融合，最终获得所述导航系统的一致性决策。

上述高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述三维导航方式为在二维导航方式中引入高度控制，并将GPS传感器导航、无线电导航和惯性导航相融合的导航方式。

上述高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述自外感知步骤还包括：

自感知步骤：用于通过所述多个传感器融合对所述航拍飞行器的内部状态进行实时探测感知，获取所述航拍飞行器的内部状态信息；

外感知步骤：用于通过所述多个传感器融合对所述航拍飞行器外部环境状态进行实时探测感知，获取所述航拍飞行器外部状态信息。

上述高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述自感知步骤包括：

方向自感知步骤：用于通过所述传感器获取所述航拍飞行器的方向信息，进行飞行器的飞行方向和飞行姿态的感知；

速度自感知步骤：用于通过采用微GPS传感器进行所述航拍飞行器的飞行速度信息的采集，并通过多普勒原理，采用多普勒观测值计算所述飞行速度；

位置自感知步骤：用于通过与所述速度自感知模块相同的所述微GPS传感器进行所述航拍飞行器所处位置信息采集；

高度自感知步骤：用于通过所述传感器获取所述航拍飞行器的飞行高度信息，采取无线电高度确定基准高度，气压高度确定相对高度，并采用起飞点的实测温度进行高度补偿的高度自感知方案，进行所述航拍飞行器的高度自感知；

温度自感知步骤：用于通过温度传感器采集所述航拍飞行器的自身温度信息。

上述高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述外感知步骤包括：

自动目标识别步骤：用于识别与所述导航系统的目标特征库匹配的特定目标，通过获取到的图像数据，采用基于机器视觉的快速图像处理方法，提取航拍的视频中符合既定特征的目标，进行自动目标识别；

障碍物外感知步骤：用于采取超声波传感器和高分辨率图像传感器融合的多传感器融合方式获取所述航拍飞行器飞行路线上的障碍物信息，为所述航拍飞行器躲避障碍物提供依据；

光照外感知步骤：用于感知外部环境的光照情况，获取所述航拍飞行器外部可见光和红外光的光照信息；

温度外感知步骤：用于感知外部环境温度情况，获取所述航拍飞行器外部温度信息，通过温度传感器和红外成像仪组合，实现外部环境温度的感知；

高清视频采集步骤：用于获取高清视频图像，为航拍和目标识别提供依据。

上述高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述主控制步骤包括：

飞行姿态参数输出步骤：用于将所述多传感器信息融合模块生成的导航控制信号进一步处理成导航所需的各种导航参数；

导航控制步骤：用于根据所述导航参数，采取所述三维导航方式进行所述航拍飞行器的水平自主导航和垂直自主导航。

上述高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述导航控制步骤还包括：

飞行速度调整步骤：用于根据分析所述飞行速度信息改变所述航拍飞行器飞行速度以达到最佳飞行状态；

飞行高度调整步骤：用于根据所述飞行高度信息，进行所述航拍飞行器避障和调整航拍距离；

飞行姿态调整步骤：用于根据所述导航参数，改变所述航拍飞行器航拍角度、目标追踪和避障；

飞行方向调整步骤：用于根据所述方向信息，进行所述航拍飞行器目标追踪和航线规划。

与现有技术相比，本发明的有益效果在于，本发明提出的一种高清视频航拍多模传感器自外感知智能导航系统可以通过自外感知进行无人自主飞行，实现自感知，自适应，自调整，自控制。自动智能导航解决了人工操控来控制飞行器导致的控制范围有限的问题。而智能的自外感知子系统可有效提高飞行器的稳定性。同时可实现低空、低速、敏捷飞行，可广泛用于城市安防和滨海防安全监控。

附图说明

图1为本发明导航系统结构示意图；

图2A～图2C为本发明导航系统结构详细示意图；

图3为本发明实施例决策层融合示意图；

图4为本发明具体实施例决策层融合示意图；

图5为本发明导航系统实施例示意图；

图6为本发明智能导航方法流程示意图；

图7A～图7C为本发明导航方法详细步骤示意图。

其中，附图标记：

1 自外感知模块                2 信息融合模块

3 主控制模块

11 自感知模块                 12 外感知模块

31 飞行姿态参数输出模块       32 导航控制模块

111 方向自感知模块            112 速度自感知模块

113 位置自感知模块            114 高度自感知模块

115 温度自感知模块

121 自动目标识别模块          122 障碍物外感知模块

123 光照外感知模块            124 温度外感知模块

125 高清视频采集模块

321 飞行速度调整模块          322 飞行高度调整模块

323 飞行姿态调整模块          324 飞行方向调整模块

S1～S3、S11～S12、S31～S32、S111～S115、S121～S125、S321～S324：本发明各实施例的施行步骤

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

下面结合附图和具体实施方式，对本发明做进一步的说明。

本发明设计了一种高清视频航拍多模传感器自外感知智能导航系统，可通过自外感知进行无人自主飞行，实现自感知，自适应，自调整，自控制。该系统包含自感知子系统、外感知子系统、多传感器信息融合子系统和主控制系统。其中自外感知子系统用于获取航拍飞行器自身内部状态信息，如航拍飞行器方向、飞行姿态、速度、位置等；外感知子系统用于对外部环境状态的感应，如外部障碍物、光照、温度、目标等；多传感器信息融合子系统用于将自外感知与外感知的数据有效组织、融合、分析和“理解”；主控制系统用于航拍飞行器的导航控制，如速度控制、飞行姿态控制、高度控制等。

图1为本发明导航系统结构示意图，如图1所述，本发明提供的一种高清视频航拍多模传感器自外感知智能导航系统，包括：

自外感知模块1：用于通过多个传感器融合对航拍飞行器的内部与外部状态进行实时探测感知，获取航拍飞行器的内部与外部状态信息；

信息融合模块2：用于将飞行器的内部与外部状态信息通过集中型拓扑结构汇聚到一决策层，并在决策层中进行多传感器信息融合后，进行一致性决策，输出导航控制信号；信息融合模块2用于将自外感知与外感知的数据有效组织、融合、分析和“理解”；

该信息融合模块2采用集中型拓扑结构。传感器采集到的原始信息并不经过局部处理与压缩等预处理环节而是直接进入信息融合中心在信息融合中心对这些原始信息进行融合。

进一步的，该信息融合模块2在决策层进行信息融合。决策层融合的基本原理是将所有传感器信息采取分别决策再将决策结果采取集中分析融合最后获得系统的一致性决策。

主控制模块3：用于根据导航控制信号，采取三维导航方式进行航拍飞行器状态实时调整和控制，实现航拍飞行器的水平自主导航和垂直自主导航，主控制模块3用于航拍飞行器的导航控制，如速度控制、飞行姿态控制、高度控制等。

其中，决策层的多传感器信息融合为将所述传感器的信息采取分别决策再将所述决策的结果采取集中分析融合，最终获得所述导航系统的一致性决策。

上述三维导航方式为在二维导航方式中引入高度控制，并将GPS传感器导航、无线电导航和惯性导航相融合的导航方式。

其中，自外感知模块1还包括：

自感知模块11：用于通过多个传感器融合对航拍飞行器的内部状态进行实时探测感知，获取航拍飞行器的内部状态信息；自感知模块11用于获取航拍飞行器自身内部状态信息，如航拍飞行器方向、飞行姿态、速度、位置等；

外感知模块12：用于通过多个传感器融合对航拍飞行器外部环境状态进行实时探测感知，获取航拍飞行器外部状态信息。外感知模块12用于对外部环境状态的感应，如外部障碍物、光照、温度、目标等。

其中，图2A～图2C为本发明结构详细示意图，如图2A所示，自感知模块11包括：

方向自感知模块111：用于通过传感器获取航拍飞行器的方向信息，进行飞行器的飞行方向和飞行姿态的感知；

该方向自感知模块111用于获取航拍飞行器方向信息，包括飞行方向和飞行姿态。该飞行姿态分为三个角度：滚转角、俯仰角和偏航角。其中滚转角是飞行器延自身中轴线做旋转运动产生的角度，俯仰角是飞行器上下俯仰的角度，偏航角是飞行器左右偏向的角度。为测得上述三个角度，需采用三轴加速度计。在平衡状态下，三轴加速度计分别测得重力加速度在空间导航坐标系中沿X、Y、Z轴的分量，根据分量与重力加速度之间的比值关系即可得出三个夹角。一种三轴加速度计可选型号为BMA250。此款加速度计体积小，且数据接口为数字接口，直接输出数字信号。

速度自感知模块112：用于通过采用微GPS传感器进行航拍飞行器的飞行速度信息的采集，并通过多普勒原理，采用多普勒观测值计算飞行速度；

该速度自感知模112块用于获取航拍飞行器的速度信息。本发明采用采用微GPS传感器实现，根据多普勒原理，直接用多普勒观测值求解速度。微GPS传感器在相位测量的同时也测定了相位变化率，即多普勒频移，利用这一观测值采用双差技术确定运动载体速度，很容易实现高精度的速度确定，而且避开了确定整周模糊度的难度。

位置自感知模块113：用于通过与速度自感知模块相同的微GPS传感器进行航拍飞行器所处位置信息采集；

该位置自感知模块113用于获取航拍飞行器的位置信息。本发明采用微GPS传感器实现航拍飞行器定位功能，速度自感知与位置自感知采用同一传感器实现，可有效减小体积，节省成本。一种GPS传感器可选型号为SE880。

高度自感知模块114：用于通过传感器获取航拍飞行器的飞行高度信息，采取无线电高度确定基准高度，气压高度确定相对高度，并采用起飞点的实测温度进行高度补偿的高度自感知方案，进行航拍飞行器的高度自感知；

该高度自感知模块114用于感知航拍飞行器的高度信息，包括基准高度和相对高度。其中基准高度是指其距离正下地面的高度，相对高度是指其海拔高度。因此高度自感知需要同时感知这两个高度值。高度测量主要是利用安装在飞机头部的空速管进行气压感受，产生相应的静压和全压信号，并作用于与其相连的高度、空速传感器产生相应的测量信号。空速管的测量误差、工作环境变化引起的温度变化以及传感器工艺品质的好坏都决定了测量结果的精度。为确保飞行的高安全性和可靠性，需要对高度测量系统进行有效的设计和数据处理。高度自感知系统采用气压-电压型硅压阻式传感器，根据大气压强随着高度增加而减小的规律，通过大气静压间接测量得到气压高度。理想大气条件下，气压高度基本等于真实高度，但在实际人气环境中，受温度、气压等外界因素的影响，测量误差随高度的降低而增大。为修正飞行器高度定位误差，提高定高精度，在采集系统中引入专门的精密温度传感器来对补偿所需要的温度进行精确的采集测量，利用压力传感器输出的压力信号与温度传感器输出的温度信号间接实现高度的测量。综上，本发明的高度自感知方案采用无线电高度确定基准高度，用气压高度来确定相对高度，用起飞点的实测温度进行补偿。一种无线电高度传感器可选用超声波测距模块测量，一种气压高度传感器可选型号为MS5607-02BA01，一种温度传感器可选型号为535-42AR08-503。

温度自感知模块115：用于通过温度传感器采集航拍飞行器的自身温度信息。

该温度自感知模块115用于获取航拍飞行器的自身温度信息，以便通过温度信息实时了解自身工作状态。温度自感知通过温度传感器实现。温度传感器感应到周围温度以后将温度值通过一定的数据格式输出到所述多传感器融合子系统。一种温度传感器可选型号为18B20U。

其中，如图2B所示，外感知模块12包括：

自动目标识别模块121：用于识别与导航系统的目标特征库匹配的特定目标，通过获取到的图像数据，采用基于机器视觉的快速图像处理方法，提取航拍的视频中符合既定特征的目标，进行自动目标识别；

该自动目标识别模块121通过对一个或多个传感器所获得的信息进行处理，提取轮廓，把目标从周围区域中分离出来，然后根据所描述的特征识别其形状，从而检测并识别出目标类型。飞行器搭载高分辨率摄像机，实时动态监控前方图像信息，并将图像传至其核心处理器，进行数据分析。根据图像数据，采用相应的基于机器视觉的快速图像处理算法，提取出视频中复合既定特征的目标，实现自动目标识别。

障碍物外感知模块122：用于采取超声波传感器和高分辨率图像传感器融合的多传感器融合方式获取飞行路线上的障碍物信息，为航拍飞行器躲避障碍物提供依据；

该障碍物外感知模块112是航拍飞行器自主飞行的基础模块，用于获取飞行路线上的障碍物信息，为躲避障碍物提供依据。单个传感器探测障碍物往往由于其单一局限性缺乏准确性，因此本发明采用多传感器融合的方法实现精确探测。传感器之一就是超声波传感器，这可以获得粗略的障碍物信息。传感器之二是目标识别外感知中用到的高分辨率图像传感器，采用机器视觉的方法获得详细障碍物信息。二者组成障碍物外感知系统，可获得障碍物的大小、距离、相对方位等信息，是飞行器具有感知外部障碍物的能力，为避障提供依据。一种超声波传感器可选型号为UNDK30U6104,一种图像传感器可选型号为200万像素CMOS传感器OV2715。

光照外感知模块123：用于感知外部环境的光照情况，获取航拍飞行器的外部可见光和红外光的光照信息；

该光照外感知模块123用于获取环境光照信息，包括可见光和红外光。根据可见光可判断当前高清视频采集模式，根据可见光照强度及时调整视频采集模式以获得最佳图像效果。根据红外光可判断周围热源，这与温度外感知结合可准确判断当前环境温度。

温度外感知模块124：用于感知外部环境温度情况，获取航拍飞行器的外部温度信息，通过温度传感器和红外成像仪组合，实现外部环境温度的感知。

该温度外感知模块124用于获取外部环境温度信息，进一步将环境信息完整化，避免进入高温环境造成航拍飞行器损坏。用温度传感器和红外成像仪集合，实现温度外感知的功能。

高清视频采集模块125：用于获取高清视频图像，为航拍和目标识别提供依据。

该高清视频采集模块125用于获取高清视频图像，为航拍提供数据资料。同时为后期的目标识别提供大量数据。

其中，如图1所示，主控制系统3包括：

飞行姿态参数输出模块31：用于将多传感器信息融合模块生成的导航控制信号进一步处理成航拍飞行器的导航所需的各种导航参数；

该飞行姿态参数输出模块31只提供各种导航参数，而不直接参与对航行的控制，因此它是一个开环系统，在一定意义上也可以说飞行姿态模块是一个信息处理系统，即把导航仪表所测量的航行信息处理成需要的各种飞行姿态参数。因此，航向和姿态是导航系统中必不可少的重要参数。其实飞行姿态模块是多传感器信息融合以后进一步做信息处理的系统。

导航控制模块32：用于根据导航参数，采取三维导航方式进行航拍飞行器的水平自主导航和垂直自主导航。

导航控制模块32是实现飞行器的自主导航控制的核心模块。自主导航是指在没有人直接参与条件下由控制系统自动地操纵飞行器按规划航线飞行。自主导航分为水平自主导航和垂直自主导航，目前国内外对小型飞行器的自主导航的研究主要停留在水平自主导航的层面上。水平自主导航在绝对高空执行任务的成功率比较大，但是在低空执行任务时就会受到山地高度、地面建筑物等方面的威胁，会极大降低飞行器低空自主飞行的能力，影响任务的执行。所以本设计根据飞行器需要低空飞行的特点，采取三维导航的方式构建导航控制模块。三维导航除了考虑飞行器水平方向的自主导航外，还要引入垂直方向的自主导航，即在二维导航基础上引入高度控制。飞行器的导航方法主要有GPS导航、无线电导航、惯性导航等。综合考虑各方法的优缺点，本设计不单一采用某种方法，而是将GPS(GPS传感器)、无线电(超声测距模块、无线通信)、惯性导航(三轴加速度传感器)相结合，构建三维导航系统总体结构。

其中，如图2C所示，导航控制模块32还包括：

飞行速度调整模块321：用于根据分析飞行速度信息改变航拍飞行器飞行速度以达到最佳飞行状态；

飞行高度调整模块322：用于根据飞行高度信息，进行航拍飞行器避障和调整航拍距离；

飞行姿态调整模块323：用于根据导航参数，改变航拍飞行器航拍角度、目标追踪和避障；

飞行方向调整模块324：用于根据所述方向信息，进行所述航拍飞行器的目标追踪和航线规划。

以下结合图示和本发明具体实施例，详细说明本发明自主导航系统的结构。

图3为本发明实施例决策层融合示意图，如图3所示，所述的信息融合模块2采用集中型拓扑结构。传感器采集到的原始信息并不经过局部处理与压缩等预处理环节而是直接进入信息融合中心在信息融合中心对这些原始信息进行融合。

进一步的，如图3所示，所述的多传感器信息融合子系统，在决策层进行信息融合。决策层融合的基本原理是将所有传感器信息采取分别决策再将决策结果采取集中分析融合最后获得系统的一致性决策决。

下面就飞行过程中壁障功能的一种情况，介绍多传感器信息融合的应用实例。图4为本发明具体实施例信息决策层融合示意图，如图4所示，当飞行器遇到疑似障碍物的时候，高清图像传感器会采集其影像信息，然后做轮廓、面积等特征提取，最后做属性判断，判断此为疑似障碍物。与此同时，三轴加速度传感器会获取飞行器飞行方向数据，得到飞行方向属性数据。在此过程中，超声波传感器也会获取障碍物距离信息，如障碍物距离大于8米则判断为暂不躲避障碍物，如小于8米，则判断为需要躲避障碍物。同时，通过GPS传感器的数据获取飞行器的速度数据。然后将以上4中传感器的数据送至关联模块，最后送至决策层进行融合。

具体融合流程如下：先根据图像传感器和三轴加速度计的数据，判断疑似障碍物是否在飞行轨迹上，如果不是，则不作任何处理。如果在飞行轨迹上，则根据超声传感器的数据判断其是否是需要躲避障碍物，如果不是，则不作任何处理。如果是需要躲避障碍物，则图像传感器获取的面积特征和超声传感器获取的距离数据推算出障碍物大小，再根据GPS传感器计算出的飞行器速度数据，结合三轴加速度的方向数据，算出躲避障碍物需要调整的速度、方向，以此为依据改变飞行器的飞行参数，实现壁障功能。

图5为本发明系统实施例示意图，如图5所示，所述高清视频航拍多模传感器自外感知智能导航系统，启动后先读取各传感器信息，了解当前环境状态，确认是否具备起飞条件。如具备起飞条件则根据当前信息，选择起飞模式，并从FLASH中读取飞行参数。参数确定后住处理器向电机控制模块发送命令，控制旋翼旋转速度和方向，开始起飞。同时无线通信模块打开，图像传感器OV2715开始工作，回传高清视频图像。

起飞后实时读取各传感器信息，了解当前飞行环境，包括高度、位置、障碍物等，将信息处理后送至主处理器，住处理器将信息分析融合，然后做出飞行姿态、速度、高度等调整。然后依次重复以上过程，实现航拍飞行器自主飞行。

本发明还公开了一种高清视频航拍多模传感器自外感知智能导航方法，应用于如上述智能导航系统，图6为本发明智能导航方法流程示意图，如图6所示，该方法包括：

自外感知步骤S1：用于通过多个传感器融合对航拍飞行器的内部与外部状态进行实时探测感知，获取航拍飞行器的内部与外部状态信息；

信息融合步骤S2：用于将航拍飞行器的内部与外部状态信息通过集中型拓扑结构汇聚到一决策层，并在决策层中进行多传感器信息融合后，进行一致性决策，输出导航控制信号；

主控制步骤S3：用于根据导航控制信号，采取三维导航方式进行航拍飞行器状态实时调整和控制，实现航拍飞行器的水平自主导航和垂直自主导航。

其中，如图6所示，自外感知步骤S1还包括：

自感知步骤S11：用于通过多个传感器融合对航拍飞行器的内部状态进行实时探测感知，获取航拍飞行器的内部状态信息；

外感知步骤S12：用于通过多个传感器融合对航拍飞行器外部环境状态进行实时探测感知，获取航拍飞行器外部状态信息。

其中，图7A～图7C为本发明方法详细步骤示意图，如图7A所示，自感知步骤S11包括：

方向自感知步骤S111：用于通过所述传感器获取所述航拍飞行器的方向信息，进行飞行器的飞行方向和飞行姿态的感知；

速度自感知步骤S112：用于通过采用微GPS传感器进行所述航拍飞行器的飞行速度信息的采集，并通过多普勒原理，采用多普勒观测值计算所述飞行速度；

位置自感知步骤S113：用于通过与所述速度自感知模块相同的所述微GPS传感器进行所述航拍飞行器所处位置信息采集；

高度自感知步骤S114：用于通过所述传感器获取所述航拍飞行器的飞行高度信息，采取无线电高度确定基准高度，气压高度确定相对高度，并采用起飞点的实测温度进行高度补偿的高度自感知方案，进行所述航拍飞行器的高度自感知；

温度自感知步骤S115：用于通过温度传感器采集所述航拍飞行器的自身温度信息。

其中，如图7B所示，外感知步骤S12包括：

自动目标识别步骤S121：用于识别与导航系统的目标特征库匹配的特定目标，通过获取到的图像数据，采用基于机器视觉的快速图像处理方法，提取航拍的视频中符合既定特征的目标，进行自动目标识别；

障碍物外感知步骤S122：用于采取超声波传感器和高分辨率图像传感器融合的多传感器融合方式获取航拍飞行器飞行路线上的障碍物信息，为航拍飞行器躲避障碍物提供依据；

光照外感知步骤S123：用于感知外部环境的光照情况，获取航拍飞行器外部可见光和红外光的光照信息；

温度外感知步骤S124：用于感知外部环境温度情况，获取所述航拍飞行器外部温度信息，通过温度传感器和红外成像仪组合，实现外部环境温度的感知。

高清视频采集步骤S125：用于获取高清视频图像，为航拍和目标识别提供依据。

其中，主控制步骤S3包括：

飞行姿态参数输出步骤S31：用于将多传感器信息融合模块生成的导航控制信号进一步处理成导航所需的各种导航参数；

导航控制步骤S32：用于根据导航参数，采取三维导航方式进行航拍飞行器的水平自主导航和垂直自主导航。

其中，如图7C所示，导航控制步骤S32还包括：

飞行速度调整步骤S321：用于根据分析飞行速度信息改变航拍飞行器飞行速度以达到最佳飞行状态；

飞行高度调整步骤S322：用于根据飞行高度信息，进行航拍飞行器避障和调整航拍距离；

飞行姿态调整步骤S323：用于根据导航参数，改变航拍飞行器航拍角度、目标追踪和避障；

飞行方向调整步骤S324：用于根据所述方向信息，进行所述航拍飞行器目标追踪和航线规划。

综上所述，本发明提供的高清视频航拍多模传感器自外感知智能导航系统及其方法，实现了自外感知的无人自主飞行，有效扩大了飞行器控制范围，并提升飞行器的飞行可靠性和稳定性。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (16)

1.一种高清视频航拍多模传感器自外感知智能导航系统，其特征在于，包括：

自外感知模块：用于通过多个传感器融合对航拍飞行器的内部与外部状态进行实时探测感知，获取所述航拍飞行器的内部与外部状态信息；

信息融合模块：用于将所述飞行器的内部与外部状态信息通过集中型拓扑结构汇聚到一决策层，并在所述决策层中进行多传感器信息融合后，进行一致性决策，输出导航控制信号；

主控制模块：用于根据所述导航控制信号，采取三维导航方式进行所述航拍飞行器状态实时调整和控制，实现所述航拍飞行器的水平自主导航和垂直自主导航。

2.根据权利要求1所述的高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述决策层的多传感器信息融合为将所述传感器的信息采取分别决策再将所述决策的结果采取集中分析融合，最终获得所述导航系统的一致性决策。

3.根据权利要求1所述的高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述三维导航方式为在二维导航方式中引入高度控制，并将GPS传感器导航、无线电导航和惯性导航相融合的导航方式。

4.根据权利要求1所述的高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述自外感知模块还包括：

自感知模块：用于通过所述多个传感器融合对所述航拍飞行器的内部状态进行实时探测感知，获取所述航拍飞行器的内部状态信息；

外感知模块：用于通过所述多个传感器融合对所述航拍飞行器外部环境状态进行实时探测感知，获取所述航拍飞行器外部状态信息。

5.根据权利要求4所述的高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述自感知模块包括：

方向自感知模块：用于通过所述传感器获取所述航拍飞行器的方向信息，进行飞行器的飞行方向和飞行姿态的感知；

速度自感知模块：用于通过采用微GPS传感器进行所述航拍飞行器的飞行速度信息的采集，并通过多普勒原理，采用多普勒观测值计算所述飞行速度；

位置自感知模块：用于通过与所述速度自感知模块相同的所述微GPS传感器进行所述航拍飞行器所处位置信息采集；

高度自感知模块：用于通过所述传感器获取所述航拍飞行器的飞行高度信息，采取无线电高度确定基准高度，气压高度确定相对高度，并采用起飞点的实测温度进行高度补偿的高度自感知方案，进行所述航拍飞行器的高度自感知；

温度自感知模块：用于通过温度传感器采集所述航拍飞行器的自身温度信息。

6.根据权利要求4所述的高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述外感知模块包括：

自动目标识别模块：用于识别与所述导航系统的目标特征库匹配的特定目标，通过获取到的图像数据，采用基于机器视觉的快速图像处理方法，提取航拍的视频中符合既定特征的目标，进行自动目标识别；

障碍物外感知模块：用于采取超声波传感器和高分辨率图像传感器融合的多传感器融合方式获取飞行路线上的障碍物信息，为所述航拍飞行器躲避障碍物提供依据；

光照外感知模块：用于感知外部环境的光照情况，获取所述航拍飞行器的外部可见光和红外光的光照信息；

温度外感知模块：用于感知外部环境温度情况，获取所述航拍飞行器的外部温度信息，通过温度传感器和红外成像仪组合，实现外部环境温度的感知；

高清视频采集模块：用于获取高清视频图像，为航拍和目标识别提供依据。

7.根据权利要求1所述的高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述主控制系统包括：

飞行姿态参数输出模块：用于将所述多传感器信息融合模块生成的导航控制信号进一步处理成所述航拍飞行器的导航所需的各种导航参数；

导航控制模块：用于根据所述导航参数，采取所述三维导航方式进行所述航拍飞行器的水平自主导航和垂直自主导航。

8.根据权利要求7所述的高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述导航控制模块还包括：

飞行速度调整模块：用于根据分析所述飞行速度信息改变所述航拍飞行器飞行速度以达到最佳飞行状态；

飞行高度调整模块：用于根据所述飞行高度信息，进行所述航拍飞行器避障和调整航拍距离；

飞行姿态调整模块：用于根据所述导航参数，改变所述航拍飞行器航拍角度、目标追踪和避障；

飞行方向调整模块：用于根据所述方向信息，进行所述航拍飞行器的目标追踪和航线规划。

9.一种高清视频航拍多模传感器自外感知智能导航方法，应用于如权利要求1-8中任一项所述智能导航系统，其特征在于，所述方法包括：

自外感知步骤：用于通过多个传感器融合对航拍飞行器的内部与外部状态进行实时探测感知，获取所述航拍飞行器的内部与外部状态信息；

信息融合步骤：用于将所述航拍飞行器的内部与外部状态信息通过集中型拓扑结构汇聚到一决策层，并在所述决策层中进行多传感器信息融合后，进行一致性决策，输出导航控制信号；

主控制步骤：用于根据所述导航控制信号，采取三维导航方式进行所述航拍飞行器状态实时调整和控制，实现所述航拍飞行器的水平自主导航和垂直自主导航。

10.根据权利要求9所述的高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述决策层的多传感器信息融合为将所述传感器的信息采取分别决策再将所述决策的结果采取集中分析融合，最终获得所述导航系统的一致性决策。

11.根据权利要求9所述的高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述三维导航方式为在二维导航方式中引入高度控制，并将GPS传感器导航、无线电导航和惯性导航相融合的导航方式。

12.根据权利要求9所述的高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述自外感知步骤还包括：

自感知步骤：用于通过所述多个传感器融合对所述航拍飞行器的内部状态进行实时探测感知，获取所述航拍飞行器的内部状态信息；

外感知步骤：用于通过所述多个传感器融合对所述航拍飞行器外部环境状态进行实时探测感知，获取所述航拍飞行器外部状态信息。

13.根据权利要求12所述的高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述自感知步骤包括：

方向自感知步骤：用于通过所述传感器获取所述航拍飞行器的方向信息，进行飞行器的飞行方向和飞行姿态的感知；

速度自感知步骤：用于通过采用微GPS传感器进行所述航拍飞行器的飞行速度信息的采集，并通过多普勒原理，采用多普勒观测值计算所述飞行速度；

位置自感知步骤：用于通过与所述速度自感知模块相同的所述微GPS传感器进行所述航拍飞行器所处位置信息采集；

高度自感知步骤：用于通过所述传感器获取所述航拍飞行器的飞行高度信息，采取无线电高度确定基准高度，气压高度确定相对高度，并采用起飞点的实测温度进行高度补偿的高度自感知方案，进行所述航拍飞行器的高度自感知；

温度自感知步骤：用于通过温度传感器采集所述航拍飞行器的自身温度信息。

14.根据权利要求12所述的高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述外感知步骤包括：

自动目标识别步骤：用于识别与所述导航系统的目标特征库匹配的特定目标，通过获取到的图像数据，采用基于机器视觉的快速图像处理方法，提取航拍的视频中符合既定特征的目标，进行自动目标识别；

障碍物外感知步骤：用于采取超声波传感器和高分辨率图像传感器融合的多传感器融合方式获取所述航拍飞行器飞行路线上的障碍物信息，为所述航拍飞行器躲避障碍物提供依据；

光照外感知步骤：用于感知外部环境的光照情况，获取所述航拍飞行器外部可见光和红外光的光照信息；

温度外感知步骤：用于感知外部环境温度情况，获取所述航拍飞行器外部温度信息，通过温度传感器和红外成像仪组合，实现外部环境温度的感知；

高清视频采集步骤：用于获取高清视频图像，为航拍和目标识别提供依据。

15.根据权利要求9所述的高清视频航拍多模传感器自外感知智能导航方法，其特征在于，所述主控制步骤包括：

飞行姿态参数输出步骤：用于将所述多传感器信息融合模块生成的导航控制信号进一步处理成导航所需的各种导航参数；

导航控制步骤：用于根据所述导航参数，采取所述三维导航方式进行所述航拍飞行器的水平自主导航和垂直自主导航。

16.根据权利要求15所述的高清视频航拍多模传感器自外感知智能导航系统，其特征在于，所述导航控制步骤还包括：

飞行速度调整步骤：用于根据分析所述飞行速度信息改变所述航拍飞行器飞行速度以达到最佳飞行状态；

飞行高度调整步骤：用于根据所述飞行高度信息，进行所述航拍飞行器避障和调整航拍距离；

飞行姿态调整步骤：用于根据所述导航参数，改变所述航拍飞行器航拍角度、目标追踪和避障；

飞行方向调整步骤：用于根据所述方向信息，进行所述航拍飞行器目标追踪和航线规划。