CN213186308U - 无人机机载相机阵列全景图像拼接系统 - Google Patents

Abstract

本实用新型提供一种无人机载相机阵列全景成像系统，包括无人机、图像处理系统以及地面站。所述无人机用于搭载图像处理系统；所述图像处理系统包括三个摄像头、图像处理嵌入式板卡和图传模块，所述三个摄像头分别装配于无人机底部，用于获取监控区域大视角场景拍摄，所述图像处理嵌入式板卡用于三个摄像头图像处理与图像拼接，所述图传将三个摄像头获取的图片以及图像处理嵌入式板卡拼接的全景图像发送至地面站；所述地面站包括遥控器与PC上位机，所述遥控器用于无人机的飞行控制，所述PC上位机用于实时显示无人机回传的图像信息。本实用新型采用三个摄像头组合，可通过无人机实现对监控区域的广域监控。

Description

无人机机载相机阵列全景图像拼接系统

技术领域

本实用新型涉及一种全景图像拼接系统，尤其涉及无人机机载相机阵列全景图像拼接系统。

背景技术

目前，利用无人机搭载拍摄装置进行航拍监控是应用较为广泛的技术，在警用、城市管理、农业、地质、气象、电力、抢险救灾、视频拍摄等行业的无人机拍摄技术有了极大的发展。现有航空相机拍摄多是基于单目相机或双目相机，所拍摄的区域受相机视角限制，无法给观测提供一个多方位的图像。而在军事领域或者安防领域，多方位的图像对观测人员又显得尤为重要。专业的全景相机一般造价十分昂贵，而且拍摄的图像畸变现象比较严重。

针对现有技术存在的不足，本实用新型提供一种机载相机阵列全景图像拼接系统，无人机搭载三个摄像头对拍摄场景进行广域感知并拼接为全景图像，实现对监控区域的大范围监控。

发明内容

针对现有技术的不足，本实用新型旨在提供一种无人机机载相机阵列全景图像拼接系统，满足为观测者提供一个全方位的图像。通过无人机搭载三个摄像头，广域感知监控区域信息，并将图像发送到图像处理嵌入式板卡，图像处理嵌入式板卡获取三个相机图像，采用一种基于特征的图像拼接算法生成全景图像，并通过图传将三个相机图像信息和生成全景图像信息回传至地面站并通过上位机实时显示。

为了实现上述目的，本实用新型采用如下技术方案：

一种无人机机载相机阵列全景图像拼接系统，包括无人机、图像处理系统和地面站。所述无人机包括飞行控制器，用于控制无人机的稳定飞行；所述图像处理系统包括三个摄像头、图像处理嵌入式板卡和图传；所述地面站包括遥控器和上位机显示部分。

进一步地，所述无人机飞行控制器为STM32F427VIT6。

进一步地，所述图像处理系统中三个摄像头为小蚁运动相机，数码像素为1600万。所述三个相机搭载于无人机底部，协同对监控区域实现广域感知。

进一步地，所述图像处理系统中图像处理嵌入式板卡为NVIDIA Jetson TX2，具有三个USB3.0接口，二个USB2.0接口，满足对运动相机的输入接口。

进一步地，所述图像处理嵌入式板卡USB连接三个运动相机，三个相机从不同角度对监控区域进行图像采集并传至图像处理嵌入式板卡，图像处理嵌入式板搭载ubuntu16.04，并安装OpenCV库，采用一种基于特征的全景图像生成方式将三个相机图像拼接为全景图像。

进一步地，所述图传模块为Microhard PMDDL5824 5.8G数字图传模块，USB连接图像处理嵌入式板卡，嵌入式板卡通过图传模块将三个相机采集图像以及全景拼接图像回传至地面站。

进一步地，所述地面站遥控器通过传输频率为2.4GHz的无线网络于无人机通信。所述地面站上位机PC通过传输频率为5.8GHz的无线网络与无人机搭载的图传模块进行通信。

附图说明

下面结合附图和实施例对本设计做进一步说明。

图1：无人机平台结构图。

图2：无人机机载相机阵列全景图像拼接系统结构框图。

图3：系统工作流程图。

具体实施方式

以下结合附图对本实用新型的原理和特征进行描述，所举实例只用于解释本实用新型，并非用于限定本实用新型的范围。

参照附图1和图2，其为一种无人机机载相机阵列全景图像拼接系统结构示意图以及无人机平台。无人机机载相机阵列全景图像拼接系统包括无人机10、图像处理系统50和地面站60，所述无人机还包括飞行控制器100和无线数传模块90；所述图像处理系统包括三个运动相机20、图像处理嵌入式板卡30和图传模块40；所述地面站60包括遥控器70和PC上位机80。

具体地，所述三个运动相机安装与无人机底部位置，三个运动相机呈三角排布，更大范围获取监控视场，并通过USB与嵌入式板卡相连，进行图像上传。所述图像处理嵌入式板卡与飞行控制器通过串口相连，进行数据交换，所述图像处理嵌入式板卡获取三个运动相机图像，并进行图像拼接。所述图传模块通过USB与图像处理嵌入式板卡相连，并将图像信息通过传输频率为5.8GHz的无线网络回传至地面站。所述地面站包括遥控器和PC上位机，所述遥控器通过传输频率为2.4GHz的无线网络与无人机控制器通信，所述PC上位机与无人机图传通信，并将回传的图像信息分框显示。

进一步地，图像处理嵌入式板卡为NVIDIA Jetson TX2，板卡搭载Ubuntu16.04，安装OpenCV库，采用一种基于特征地图像拼接算法，将三个摄像机采集的图像拼接为大视野全景图像。

进一步地，PC上位机接收图像信息并分框显示，包括相机1图像、相机2图像、相机3图像以及拼接的全景图像。

一种无人机机载相机阵列全景图像拼接系统，包括一种基于特征的图像拼接工作流程图如图3所示。

①首先，无人机搭载三个运动相机对监控区域进行图像采集并上传至图像处理嵌入式板卡。

②图像处理嵌入式板卡对三个相机采集图片进行预处理，分别对图片进行图像增强和噪声消除。

③预处理得到的图像调用OpenCV库，采用SIFT算法对图像进行特征点提取以及对提取到的特征点进行描述。

④将提取特征点的图像进行特征点匹配，分别对输入的三个相机图像特征点的特征描述符进行最近邻搜索，将搜索到的特征点对认作匹配点对。

⑤根据匹配点对，将三个相机的图像转化为同一坐标，并采用加权平均融合的方式，实现无缝无损的图像拼接。

⑥将拼接好的图像以及三个相机采集图像通过图传模块回传至地面站。

⑦地面站PC获取图传模块回传图像信息，并在PC上位机进行分框实时显示。

Claims (2)

1.一种无人机机载相机阵列全景图像拼接系统，其特征在于，包括无人机、图像处理系统和地面站，所述无人机用于搭载图像处理系统，所述无人机包括飞行控制器和无线数传模块；所述图像处理系统包括三个摄像头、图像处理嵌入式板卡和图传模块，其中三个摄像头安装于无人机底部，三个摄像头呈三角排布，所述图像处理嵌入式板卡为NVIDIA JetsonTX2，具有三个USB3.0接口和二个USB2.0接口，所述三个摄像头连接图像处理嵌入式板卡，图像处理嵌入式板卡接收三个摄像头图像信息并拼接成全景图像，所述图传模块连接图像处理嵌入式板卡，将三个摄像头图像和图像处理嵌入式板卡拼接的全景图像发送至地面站；所述地面站包括遥控器和上位机，其中遥控器用于无人机飞行轨迹控制，上位机用于显示三个摄像头图像信息和拼接的全景图像信息。

2.根据权利要求1所述的无人机机载相机阵列全景图像拼接系统，其特征在于，所述上位机包括四个实时图像显示窗口。

Images