CN102967297A - 空间可移动视觉传感器阵列系统及图像信息融合方法 - Google Patents

Abstract

本发明公开了一种空间可移动视觉传感器阵列系统及图像信息融合方法，空间可移动视觉传感器阵列系统由多个视觉传感器节点、若干个第一级地面站和一个第二级地面站组成；其中，视觉传感器节点主要包括飞行控制模块、飞行管理模块、摄像头、数字传输电台、无线网卡和微小型旋翼无人机机体；第一级地面站和第二级地面站均为计算机；本发明在上述系统上实现的实时图像信息融合方法包括视觉传感器阵列初始化、视觉传感器节点采集图像、图像信息融合步骤；本发明突破对多微小型旋翼无人机获得的图像信息进行实时融合，提高了航拍的效果、效率，能够实现大视场视觉覆盖，能应用于需要对特定区域做高效、高质量航拍与即时图像显示的场合。

Description

空间可移动视觉传感器阵列系统及图像信息融合方法

技术领域

本发明涉及一种视觉传感器阵列系统及方法，特别地，涉及一种基于多微小型旋翼无人机的空间可移动视觉传感器阵列系统及图像信息融合方法。

背景技术

当今基于微小型旋翼无人机视觉系统的需求已经不再只是局限于单一视角的图像采集与处理，对于微小型旋翼无人机航拍的效果和效率都提出了更高的要求。针对这种情况，需要设计基于多微小型无人机的新型视觉系统。

微小型旋翼无人机具有自主飞行、自主降落、自主规划航迹的能力。

传统微小型旋翼无人机视觉系统特点如下：

1、一架微小型旋翼无人机执行图像采集任务，微小型旋翼无人机搭载1个摄像头；

2、采集视场较大的区域获取完整图像的方法是增加微小型旋翼无人机飞行高度，牺牲图像分辨率；

3、地图测绘的方法是1架微小型旋翼无人机搭载1个摄像头，采用图像逐行扫描的方式获得指定区域地图信息，对微小型旋翼无人机飞行时间与航向精度都有很高的要求。

基于1架微小型旋翼无人机搭载1个摄像头的视觉系统，不具有在保证图像分辨率的前提下获取较大视场图像的能力，不能并行地对目标区域进行视频采集实现地图测绘。

从目前的技术来看，基于无人机的视觉系统的研究更多的处于实验阶段，真正实际应用的较少。

发明内容

本发明的目的在于针对现有技术的不足，提供一种空间可移动视觉传感器阵列系统及图像信息融合方法。

本发明的目的是通过以下技术方案来实现的：一种空间可移动视觉传感器阵列系统，它由多个视觉传感器节点、若干个第一级地面站和一个第二级地面站组成；三个视觉传感器节点组成一个组，与一个第一级地面站间通信采用无线方式通信，所有第一级地面站与第二级地面站采用有线以太网通信；其中，所述视觉传感器节点主要包括飞行控制模块、飞行管理模块、摄像头、数字传输电台、无线网卡和微小型旋翼无人机机体；所述飞行控制模块、飞行管理模块、摄像头、数字传输电台和无线网卡均固定在微小型旋翼无人机机体上，飞行控制模块、摄像头、数字传输电台和无线网卡均与飞行管理模块相连；视觉传感器节点通过数字传输电台发送飞行状态信息给第一级地面站，从第一级地面站接收指令；通过无线网卡发送图像数据到第一级地面站；所述第一级地面站和第二级地面站均为计算机。

进一步地，所述飞行控制模块包括DSP、FPGA、惯性器件、GPS接收器、高度传感器和空速传感器；其中，所述GPS接收器、高度传感器和空速传感器均与FPGA相连，FPGA与DSP相连，惯性器件与DSP相连。

一种在上述系统上实现的实时图像信息融合方法，主要包括以下步骤：

（1）视觉传感器阵列初始化：包括视觉传感器阵列编队、视觉传感器节点层次结构构造、视觉传感器节点自主飞行到指定位置；

（2）视觉传感器节点采集图像：包括视觉传感器节点接收图像采集指令、图像采集保存与下传；

（3）图像信息融合：包括第一级地面站初步图像信息融合、第二级地面站进一步图像信息融合。

本发明的有益效果是，本发明突破传统的一机一摄像头航拍的方式，提出多微小型旋翼无人机视觉传感器阵列的系统构架，对多微小型旋翼无人机获得的图像信息进行实时融合，提高了航拍的效果、效率。本发明中微小型旋翼无人机飞行编队方式是基于图像信息融合方法特点提出的等边三角形阵列飞行编队，能够实现大视场视觉覆盖，具有实时监听异常的功能，并及时对异常进行处理，系统具有较好鲁棒性。本发明应用于需要对特定区域做高效、高质量航拍与即时图像显示的场合。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1是本发明基于多无人机的空间可移动视觉传感器阵列系统的结构框图；

图2是视觉传感器节点结构连接图；

图3是视觉传感器节点自主飞行实时控制模块的流程框架图；

图4是视觉传感器节点飞行管理模块的流程框架图；

图5是视觉传感器节点的图像采集模块的流程框架图；

图6是实时图像信息融合算法流程框架图；

图7是视觉传感器节点编队流程框架图；

图8是视觉传感器阵列编队流程示意图；

图9是视觉传感器阵列示意图。

具体实施方式

本发明中的无人机是指具有自主飞行、自主起降能力的微小型旋翼无人机。基于这种微小型旋翼无人机，采用特定飞行编队方式构建视觉传感阵列，通过各视觉传感节点协同工作采集和下传图像信息，地面站接收各视觉传感节点图像信息并进行实时融合，达到实时显示包含全部图像信息的目的。

如图1所示，系统由多个视觉传感器节点、若干个第一级地面站和一个第二级地面站组成。三个视觉传感器节点组成一个组，与一个第一级地面站间通信采用无线方式通信，如图1中虚线所示，所有第一级地面站与第二级地面站采用有线以太网通信。

视觉传感器节点实现实时飞行控制、与第一级地面站通信触发视觉设备进行图像采集、图像信息回传第一级地面站等功能，视觉传感器节点的结构框图如图2，主要包括飞行控制模块、飞行管理模块、摄像头、数字传输电台、无线网卡和微小型旋翼无人机机体。飞行控制模块、飞行管理模块、摄像头、数字传输电台和无线网卡均固定在微小型旋翼无人机机体上，飞行控制模块、摄像头、数字传输电台和无线网卡均与飞行管理模块相连。视觉传感器节点通过数字传输电台发送飞行状态信息给第一级地面站，从第一级地面站接收指令；通过无线网卡发送图像数据到第一级地面站。

飞行控制模块包括DSP、FPGA、惯性器件、GPS接收器、高度传感器和空速传感器。其中，GPS接收器、高度传感器和空速传感器均与FPGA相连，FPGA与DSP相连，惯性器件与DSP相连。飞行控制模块的作用是实时飞行控制，基于DSP+FPGA构架，DSP（Digital Signal Processor数字信号处理器）可以选用TI公司的TMS320C6713DSP处理器，FPGA（Field－Programmable Gate Array现场可编程门阵列）可以选用Xilinx公司的Spartan-3 XC3S1000芯片，但均不限于此。DSP作为主控制芯片，主要负责导航解算与飞行控制计算，同时其SPI接口挂载惯性器件读取飞行状态数据，惯性器件可选ADIS16405，但不限于此；FPGA作为协处理器，主要作为接口挂载与扩展，负责读取高度、空速等传感器值，挂载GPS接收器，并对串口扩展。DSP与FPGA之间使用EMIF接口进行通信。

飞行管理模块的作用是从第一级地面站接收指令，发送相应命令给飞行控制模块，同时从飞行控制模块接收飞行状态信息，触发摄像头采集图像并将采集到的图像回传第一级地面站。飞行管理模块可以选用TI公司基于OMAP3530芯片的BeagleBoard C4板，但不限于此。板上的一个串口接入数字传输电台，一个USB接口接入摄像头，另一USB接口接入无线网卡。飞行控制模块与飞行管理模块通过串口进行通信。

摄像头负责采集图像，可以选用基于中星微zc301p芯片组的摄像头模组，数字传输电台负责与第一级地面站通信，可以选用利尔达LSDRF4710模组，工作频率为470MHz，无线网卡可以选用思科LINKSYS wusb54g V4无线网卡，微小型旋翼无人机机体可以选用XAircraft X650V-4飞行器。但均不限于此。

第一级地面站和第二级地面站均由计算机来实现。第一级地面站通过数字传输电台向视觉传感器节点发送指令，通过无线网卡接收一组共三帧视觉传感器节点回传图像信息，并初步融合一组共三帧图像信息，将初步融合处理的图像信息传给第二级地面站。第一级地面站与第二级地面站通过以太网通信。第二级地面站实现接收由若干第一级地面站发送的经过初步融合处理的图像信息，并对所有初步融合的图像信息进行进一步图像信息融合，并实时显示包含所有图像信息的图像。

本发明在上述系统上实现的实时图像信息融合方法，主要包括以下步骤：

1、视觉传感器阵列初始化：包括视觉传感器阵列编队、视觉传感器节点层次结构构造、视觉传感器节点自主飞行到指定位置。

在实时图像信息融合之前，需要先布置视觉传感器节点阵列。如图7所示，节点初始由三个视觉传感器节点以等边三角形的形式排列，组成一个组与同一个第一级地面站通信，后续添加可由如图7所示的流程进行扩展。构造一个三叉树存储各节点层次关系，其构造流程如图8所示，得到视觉传感器节点阵列各节点位置，如图9所示。此项工作由第二级地面站完成，待第二级地面站完成布置节点后即向若干第一级地面站发送节点位置信息，再由第一级地面站向相应节点发送指令。各节点飞行管理模块接收到指令后，通知飞行控制模块，以如图3的方式自主控制该微小型旋翼无人机到达指定位置。

1.1视觉传感器阵列编队流程如图7所示：先对视觉传感器节点进行分组，以三个视觉传感器节点为一组，以等边三角形方式在空间中排列，等边三角形的边长与视觉传感器节点视场范围和高度相关，一组视觉传感器节点与同一第一级地面站通信，对同组上的各视觉传感器节点进行编码，记为A、B、C，根据一组由三个节点组成的特征，以三叉树表征视觉传感器阵列的结构；首先初始化一组视觉传感器节点，作为三叉树的顶点，后续视觉传感器节点添加以组为单位进行；判断当前视觉传感器节点数量是否满足视场范围与精度需求，若未满足，则按广度优先的原则如图8所示的方式，添加一组视觉传感器节点至三叉树中；否则停止添加视觉传感器节点，监测各节点是否异常，若出现异常则调度三叉树最右端节点替换异常节点，使得系统具有一定自修复能力，提高了系统的鲁棒性。

1.2视觉传感器节点层次结构以三叉树的形式构造，其构造流程如图8所示：

1) 先初始化一组视觉传感器节点，作为三叉树顶点并记代数为①，①代节点添加完成；

2) 第二次向①的A支添加一个组共三个节点；

3) 第三次向①的B支添加一个组共三个节点；

4) 第四次向①的C支添加一个组共三个节点，至此②代的节点添加完成；

5) 第五次按照代数为②的节点的添加方式向①代的A支的②代节点添加一个组；

6) 第六次依同样的方法向①代的B支的②代节点添加一个组，此时由于新添加组的A节点位置上已经另一节点占据，如虚线指向所示，则去掉此次添加的A支；

7) 第七次依同样的方法向①代的C支的②代节点添加一个组，此时由于新添加组的A、B节点位置上已经被其他节点占据，如虚线指向所示，则去掉此次添加的A、B支，至此③代节点添加完成；

8) 此后添加依据上述规则进行。

1.3视觉传感器节点自主飞行到指定位置的任务主要由视觉传感器节点的飞行管理模块和飞行控制模块完成。

视觉传感器节点的飞行管理模块主要功能是分别与飞行控制模块和第一级地面站通信：从飞行控制模块获得飞行状态，设定飞行控制模块中飞行控制器高度、位置等参数；从第一级地面站接收飞行控制指令与图像采集命令，下传采集到的图像信息。飞行管理模块具体的流程如图4所示：飞行管理模块首先初始化串口、网络接口、摄像头等设备；然后循环查询接收第一级地面站的飞控指令，若收到停止指令，则自主规划航迹，自动降落返回地面，否则按飞控指令动作；若收到图像采集指令，则触发摄像头采集一帧图像，保存该帧图像并下传该帧图像至第一级地面站，否则重新等待接收第一级地面站指令。

视觉传感器节点的飞行控制模块主要功能是实时飞行控制，具体流程如图3所示：先初始化飞行控制模块各接口，查询接收飞行管理模块指令；解码并根据指令更新高度、位置等控制器参数设定值；从高度传感器、空速传感器、惯性器件、GPS等传感器中采集飞行状态数据，进行基于EKF算法的导航解算、实时飞行控制计算，并将计算结果通过舵机输出完成对无人机的实时控制；若未收到停止指令，则重新查询接收飞行管理模块指令，否则无人机自主规划航迹，返回地面。

2、视觉传感器节点采集图像：包括视觉传感器节点接收图像采集指令、图像采集保存与下传。

已经如图9所示建立视觉传感器阵列后，由第二级地面站告知第一级地面站在同一时间向节点发出图像采集指令。节点由数字传输电台接收图像采集指令后，飞行管理模块按照如图4的方式调度触发摄像头，以如图5的方式采集一帧图像并将该帧图像保存，由无线网卡传回第一级地面站。由于各个节点在同一时刻采集图像，可以保证各节点采集回来的图像是同步的，即包含同一时刻某一相同区域的图像信息。若干第一级地面站通过无线网卡接收对应的一组视觉传感器节点传回的三帧图像。

2.1 视觉传感器节点接收图像采集指令由视觉传感器节点的飞行管理模块通过数字传输电台完成接收，如图4所示，当视觉传感器节点到达指定高度、位置时，若收到第一级地面站图像采集命令，则触发摄像头采集一帧图像。

2.2 图像采集保存与下传由视觉传感器节点的飞行管理模块、摄像头、无线网卡共同完成，飞行管理模块收到图像采集指令即触发摄像头采集一帧图像并保存该图像，再通过无线网卡将该图像传回第一级地面站。图像采集的具体流程如图5所示：先打开视频设备并初始化，初始化包括设置摄像头支持标准、视频捕获格式、分配图像内存等；然后阻塞等待触发信号，等到触发信号到来，则获取当前帧图像缓存物理地址，并以地址映射的方式从缓存中读出该帧图像数据并保存，若接收到结束采集指令，则清空缓存，关闭视频设备，否则返回，重新阻塞等待触发信号。

3、图像信息融合：包括第一级地面站初步图像信息融合、第二级地面站进一步图像信息融合。

第一级地面站接收完成其对应三帧图像后，按照如图6的方式进行初步图像信息融合，第一级地面站初步融合得到的图像通过以太网传递给第二级地面站。第二级地面站接收若干第一级地面站初步融合图像数据，按照如图6的方法进行进一步图像信息融合，得到包含全部图像信息的图像。

第一级地面站与第二级地面站图像融合的方法均是基于ORB特征点提取实现，只是融合的图像信息不同，其具体步骤如图6所示：首先读入需要融合的多帧图像数据信息，暂时降低图像分辨率以快速获得图像变换矢量，采用ORB算法提取各各帧图像特征点，再由Flann算法进行特征点匹配，根据匹配结果优化、更新相机参数，在解算融合后图像相对于原图像的变换矢量；对原图像数据按特征提取匹配得到的变换矢量作变换，计算原图像各点新坐标，略去图像信息中冗余部分并对曝光进行补偿、修正，即可得到融合了多帧图像数据信息后的新图像。其中基于ORB算法的特征点提取是图像信息融合算法的关键，这直接影响到图像信息融合的准确性和实时性。ORB算法基于FAST和BRIEF算法，并在其基础上引入方向信息，能够快速、准确地给出图像特征描述，对图像具有旋转不变性，对噪声有良好的抑制效果。ORB算法的思路如下：

1) 用FAST特征点检测算子快速找出特征点；

2) 用Harris角点检测方法选取前N个最优特征点，即关键点；

3) 用Intensity Centroid算法求解出关键点方向；

4) 将关键点的方向信息作为BRIEF算子的方向得到带方向信息的BRIEF特征，即ORB图像特征。

4、视觉传感器阵列空间移动：第二级地面站指示视觉传感器阵列移动、重复步骤2-3的图像采集与融合过程。

4.1 待第二级地面站进一步完成图像信息融合实时显示后，重新由第二级地面站指示若干第一级地面站，通知各视觉传感器节点新的位置。

4.2 待各传感器节点到达新的指定位置后，系统重复步骤2-3，各传感器节点采集图像传回相应第一级地面站初步融合处理，再由第二级地面站接收若干第一级地面站初步融合结果做进一步融合、显示。

Claims (6)

1.一种空间可移动视觉传感器阵列系统，其特征在于，它由多个视觉传感器节点、若干个第一级地面站和一个第二级地面站组成；三个视觉传感器节点组成一个组，与一个第一级地面站间通信采用无线方式通信，所有第一级地面站与第二级地面站采用有线以太网通信；其中，所述视觉传感器节点主要包括飞行控制模块、飞行管理模块、摄像头、数字传输电台、无线网卡和微小型旋翼无人机机体等；所述飞行控制模块、飞行管理模块、摄像头、数字传输电台和无线网卡均固定在微小型旋翼无人机机体上，飞行控制模块、摄像头、数字传输电台和无线网卡均与飞行管理模块相连；视觉传感器节点通过数字传输电台发送飞行状态信息给第一级地面站，从第一级地面站接收指令；通过无线网卡发送图像数据到第一级地面站；所述第一级地面站和第二级地面站均为计算机。

2.根据权利要求1所述空间可移动视觉传感器阵列系统，其特征在于，所述飞行控制模块包括DSP、FPGA、惯性器件、GPS接收器、高度传感器和空速传感器等；其中，所述GPS接收器、高度传感器和空速传感器均与FPGA相连，FPGA与DSP相连，惯性器件与DSP相连。

3.一种在权利要求1所述系统上实现的实时图像信息融合方法，其特征在于，主要包括以下步骤：

（1）视觉传感器阵列初始化：包括视觉传感器阵列编队、视觉传感器节点层次结构构造、视觉传感器节点自主飞行到指定位置；

（2）视觉传感器节点采集图像：包括视觉传感器节点接收图像采集指令、图像采集保存与下传；

（3）图像信息融合：包括第一级地面站初步图像信息融合、第二级地面站进一步图像信息融合。

4.根据权利要求3所述的实时图像信息融合方法，其特征在于，所述步骤（1）包括以下子步骤：

（1.1）先对视觉传感器节点进行分组，以三个视觉传感器节点为一组，以等边三角形方式在空间中排列，一组视觉传感器节点与一个第一级地面站通信，对同组上的各视觉传感器节点进行编码，记为A、B、C，根据一组由三个节点组成的特征，以三叉树表征视觉传感器阵列的结构；首先初始化一组视觉传感器节点，作为三叉树的顶点，后续视觉传感器节点添加以组为单位进行；判断当前视觉传感器节点数量是否满足视场范围与精度需求，若未满足，则按广度优先的原则添加一组视觉传感器节点至三叉树中；否则停止添加视觉传感器节点，监测各节点是否异常，若出现异常则调度三叉树最右端节点替换异常节点，使得系统具有一定自修复能力，提高了系统的鲁棒性；

（1.2）视觉传感器节点层次结构以三叉树的形式构造，具体如下：

（1.2.1）先初始化一组视觉传感器节点，作为三叉树顶点并记代数为①，①代节点添加完成；

（1.2.2）第二次向①的A支添加一个组共三个节点；

（1.2.3）第三次向①的B支添加一个组共三个节点；

（1.2.4）第四次向①的C支添加一个组共三个节点，至此②代的节点添加完成；

（1.2.5）第五次按照代数为②的节点的添加方式向①代的A支的②代节点添加一个组；

（1.2.6）第六次依同样的方法向①代的B支的②代节点添加一个组，此时由于新添加组的A节点位置上已经另一节点占据，如虚线指向所示，则去掉此次添加的A支；

（1.2.7）第七次依同样的方法向①代的C支的②代节点添加一个组，此时由于新添加组的A、B节点位置上已经被其他节点占据，如虚线指向所示，则去掉此次添加的A、B支，至此③代节点添加完成；

（1.2.8）此后添加依据上述规则进行；

（1.3）视觉传感器节点自主飞行到指定位置：视觉传感器节点的飞行管理模块和飞行控制模块首先初始化；然后飞行管理模块循环查询接收第一级地面站的飞控指令，若收到飞控指令，则发送具体飞行命令给飞行控制模块，由飞行控制模块控制视觉传感器节点飞行到指定位置。

5.根据权利要求3所述的实时图像信息融合方法，其特征在于，所述步骤（2）包括以下子步骤：

（2.1）视觉传感器节点接收图像采集指令由视觉传感器节点的飞行管理模块通过数字传输电台完成接收，当视觉传感器节点到达指定高度、位置时，若收到第一级地面站图像采集命令，则触发摄像头采集一帧图像；

（2.2）图像采集保存与下传由视觉传感器节点的飞行管理模块、摄像头、无线网卡共同完成，飞行管理模块收到图像采集指令即触发摄像头采集一帧图像并保存该图像，再通过无线网卡将该图像传回第一级地面站。

6.根据权利要求3所述的实时图像信息融合方法，其特征在于，所述步骤（3）具体为：第一级地面站接收完成其对应三帧图像后，进行初步图像信息融合，第一级地面站初步融合得到的图像通过以太网传递给第二级地面站；第二级地面站接收若干第一级地面站初步融合图像数据，进行进一步图像信息融合，得到包含全部图像信息的图像；第一级地面站与第二级地面站图像融合的方法均是基于ORB特征点提取实现，只是融合的图像信息不同，具体如下：首先读入需要融合的多帧图像数据信息，暂时降低图像分辨率以快速获得图像变换矢量，采用ORB算法提取各各帧图像特征点，再由Flann算法进行特征点匹配，根据匹配结果优化、更新相机参数，在解算融合后图像相对于原图像的变换矢量；对原图像数据按特征提取匹配得到的变换矢量作变换，计算原图像各点新坐标，略去图像信息中冗余部分并对曝光进行补偿、修正，即可得到融合了多帧图像数据信息后的新图像。

Images