CN107896317B - 飞行器航拍图像综合处理装置 - Google Patents

Abstract

本发明公开一种飞行器航拍图像综合处理装置，其包括：控制核心、GPS模块、脉宽检测接口、摄像机、字符叠加模块、云端控制中心。GPS模块固定于飞行器上，返回飞行高度和经纬度信息，作为自动路线航拍和摄像间隔的依据。摄像机安装于无人机的底部，接收指令拍摄照片。字符叠加模块实现经纬度数据和航拍图片的叠加，帮助用户确认图片信息。云端控制中心，制定航拍计划，接受航拍装置返回的照片并通过图像处理实现展示预览图等功能，本发明可以便捷且经济的安装在需要添加航拍功能的飞行器上，提供自动路线和图像处理的专业功能，解决无人机航拍的高硬件成本问题，高效完成图像拼接等预设功能。

Description

飞行器航拍图像综合处理装置

技术领域

本发明涉及一种控制无人机航拍及图像处理的装置，特别涉及一种自动控制的用于无人机智能航拍的装置。

背景技术

目前无人机通常需要为航拍特制控制核心、外围设备，将航拍功能集成于无人机系统内，同时航拍往往需要人工控制，更缺乏对拍摄图像的处理功能。造成不具备航拍功能无人机功能拓展上的局限性，且对于许多重复性的航拍需求增加了大量的人力成本和图像处理时间。

应对无人机近年来的迅猛发展，人们对其的功能要求日新月异，市场需要无人机能够适应各种需求，这一背景下将全部功能集成于一架无人机或购买多架应对专门业务的无人机都是不现实与不经济的。

CN102088569A公开了一种无人飞行器图像专用拼接方法和系统，但该系统提供的数据类型有限，且算法复杂度高，操作复杂，无法实现图像拼接的实时性。

CN106485655公开了一种飞行器航拍地图生成系统，包括航迹生成模块，图像采集模块，图像预处理模块，图像拼接模块和用户交互模块五大模块，可以实现图像的采集和拼接，但存在不可扩展性。

因此本发明提出了无人机功能可拓展的思想，在基础飞行功能上，针对特定业务拓展外围设备，以符合社会对无人机的应用趋势。

发明内容

本发明所要解决的技术问题是提供一种飞行器航拍图像综合处理装置，其可以根据需要通过云端控制中心进行无线控制，实现对观测区域的自动航拍与图像处理功能，并能够实现外围设备的拓展，即提供一种能够自动控制的、云端监控的、图像拼接的、用于无人机智能航拍的装置。

本发明通过以下技术方案实现上述功能。

一种飞行器航拍图像综合处理装置，其特征在于，包括：控制核心、GPS模块、脉宽检测接口、云端控制中心、摄像机和字符叠加模块，所述控制核心和脉宽检测接口集成于核心板，用于检测脉冲宽度和频率，给出拍摄的起始信号；所述GPS模块通过连接线与核心板连接，固定于飞行器支架上，用于返回飞行高度和经纬度信息，作为航拍间隔的依据；所述摄像机安装于飞行器底部，所述字符叠加模块安装在所述核心板上，用于实现GPS经纬度数据与摄像机拍摄图像叠加；所述云端控制中心为无人机的远程控制平台，所述GPS模块、所述摄像头采集的图像、所述无人机的飞行，可通过所述核心板控制，向所述云端控制中心返回数据，接受云端控制中心的控制，云端控制中心会对实时传输的图像处理并展示，其包括在线实时视频预览模块、航拍网格设置模块、航拍参数设计模块、飞机航行轨迹模块以及航拍图片预览模块，其中所述在线实时视频预览模块可以实现在线实时预览视频，连接摄像头、断开摄像头和启动/停止监控航拍点；所述航拍网格设置模块用于设置航拍网格的格子；所述航拍参数设计模块用于在飞机起飞前，通过此串口模块配置飞机拍照距离，包含横向拍照距离、横向拍照点数、纵向拍照距离和横向拍照点数；所述飞机航行轨迹模块用于标定飞机航拍时所在地图的位置；所述航拍图片预览模块将飞机定点拍照的图片在网格中进行展示。

优选的，所述核心板包括STM32系列芯片，用于连接核心板上的其他模块，作为核心的数据收发控制中心。

优选的，所述核心板还包括供电及下载电路以及外部flash模块。

优选的，所述供电及下载电路以CH340芯片为核心，为整个芯片提供5v和3.3v的稳压电源

优选的，所述摄像头，可采集实时图像，通过所述核心板控制广播发送，在云端控制中心远程实时查看。

优选的，所述脉宽检测模块，通过TLP521芯片能检测脉冲宽度、频率，并返回相关数据给出拍摄的起始信号。

优选的，所述GPS通信模块通过800系列GPS芯片能实时提取到当前的经纬度数值并返回给所述STM32系列芯片，再经由STM32系列芯片发送至所述字符叠加模块。

优选的，所述的无人机具有足够安装全套装置的负载能力，其自身可通过九轴传感器、光流传感器、GPS传感器、超声波传感器、气压计，和电子调速器、电机相配合，能够实现定点定高悬停以及各种飞行动作，同时提供接口允许外界设备控制。

本发明的技术效果在于：本发明通过将航拍和图像处理功能通过可扩展设备独立于无人机实现，提供高效率、低成本的航拍业务功能，与现有的无人机航拍不同，一套设备可以根据需要安装于不同类型的飞行器上，完成相同的自动路线拍摄功能并独立图像处理，实现特定需求，增强了其实用性、灵活性和复用性。

附图说明

图1是本发明飞行器航拍图像综合处理装置的功能框图。

图2是本发明飞行器航拍图像综合处理装置的原理框图。

图3是本发明飞行器航拍图像综合处理装置的结构示意图。

图4是本发明飞行器航拍图像综合处理装置的俯视图。

图5是本发明飞行器航拍图像综合处理装置的系统框图。

图6是本发明飞行器航拍综合处理装置的核心控制模块硬件连接逻辑图。

图7是本发明脉宽检测模块的电路图。

图8是本发明字符叠加模块的效果图。

具体实施方式

以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图3所示，本发明飞行器航拍图像综合处理装置附加在可扩展无人机上，包括以下部件：GPS模块1、控制核心、字符叠加模块2、摄像机3、脉宽检测接口以及云端控制中心。其中无人机具有足够安装全套装置的负载能力，其自身可通过九轴传感器、光流传感器、GPS传感器、超声波传感器、气压计等各类传感器，和电子调速器、电机相配合，能够实现定点定高悬停以及各种飞行动作，同时提供接口允许外界设备控制。

如图5所示是本发明飞行器航拍图像综合处理装置的系统框图，图6是本发明飞行器航拍综合处理装置的核心控制模块硬件连接逻辑图，本发明的控制核心集成于核心板，核心板安装于无人机上，核心板选择低功耗单片机，作为航拍装置的控制中心，对无人机的飞行、摄像机拍摄进行控制，对GPS模块采集数据进行分析和处理，与云端控制中心进行连接和数据通信。具体包括：ST高性能32位微处理器MPU(STM32系列芯片)，其连接PCB板上的其他模块，作为核心的数据收发控制中心；供电及下载电路，以CH340芯片为核心，为整个芯片提供5v和3.3v的稳压电源；脉宽检测模块，通过TLP521芯片能检测脉冲宽度、频率，并返回相关数据给出拍摄的起始信号；字符叠加模块，将采集到的经纬度信息通过该模块叠加到拍摄到的图像上，并返回至云端；GPS通信模块，其通过800系列GPS芯片能实时提取到当前的经纬度数值并返回给单片机，再经由单片机发送至字符叠加模块；外部flash模块，以W25X16为核心提供外部flash，可用sd卡来代替外部flash；串口输出3.3v转5v模块，可选择SN74HC245DW芯片为核心。控制核心选择为集成低功耗单片机的核心板，通过串口实现对无人机的飞行控制和外围设备的管理。

更详细的，本发明的控制核心采用ST高性能32位微处理器MPU(STM32系列芯片)，并挂载UBLOX消费级高精度GPS模块。ST高性能32位微处理器MPU可实现与PC计算机的USB通信，与字符叠加模块和GPS模块的串口通信，检测来自飞机控制侧的脉宽信号。微处理器在飞机起飞前可以由PC计算机通过USB对其进行基本配置。微处理器可以检测来自飞机侧的脉宽信号，当信号达到一定要求时启动拍摄功能，能够主动接收来自GPS模块的数据报，对其中的数据进行解包，存储，并完成实时处理，记录飞机的速度与飞行距离。在当达到设定距离时飞机控制，向相机控制器发送相应控制信号，相机完成拍照，将拍摄位置的实时GPS坐标信息反馈到字符叠加模块，将拍摄点的坐标信息记录到SD卡等存储媒质中。

控制核心采用的微处理器与GPS模块通过串口USART进行通信。GPS模块以可以设定的通信速率不间断向处理器发送数据报，UBLOX-NEO系列GPS芯片使用标准的NEMA数据协议进行通信，通信速度是用户可配置的，一般配置为10HZ。微处理器接受数据的原理为，每当GPS发送一帧数据后进行判断，从数据流中提取出$GNRMS，$GNVTG两帧数据，从中读出对地速度(GNVTG.7)，单位为km/h.使用串口中断函数进行预处理，将速度数据传递给主函数，并快速释放串口。按这种方式接收数据能保证GPS的数据流被不间断采集得到，以保证飞机速度信息采集的实时性。

飞行器通过一个能够产生PWM波形的口线对模块进行控制。微处理器需要对来自口线的信号占空比进行检测来实现程序逻辑的启动和停止。

系统通过SD卡存储每次拍摄时的GPS数据。读写SD只需要4个IO口即可外扩一个最大达32GB以上的外部存储器，容量从几十M到几十到几十G选择尺度很大，更换也非常方便。

该系统PCB板自带了标准的SD卡接口，可使用STM32自带SPI接口驱动，最高通信速度可达18Mbps，每秒可传输数据2M字节以上，足够实时向存储器中写入坐标信息。每发送一个命令，SD卡都会给出一个应答，以告知主机该命令的执行情况，或告知主机需要获取的数据。

云端控制中心通过无线通信与航拍装置相连，通过控制核心，制定航拍计划，控制无人机的飞行和完成自动路线拍摄，同时接受航拍装置返回的照片并通过图像处理实现展示预览图等功能。本发明云端控制中心包括以下模块：

在线实时视频预览模块：在线实时预览视频，连接摄像头、断开摄像头和启动/停止监控航拍点；

航拍网格设置模块：用于设置航拍网格的格子数，如右边目前设置的是4*5的网格；

航拍参数设计模块：在飞机起飞前，通过此串口模块配置飞机拍照距离，包含横向拍照距离、横向拍照点数、纵向拍照距离、横向拍照点数等。此模块打通了串口通信，对于各种参数的计算需要根据飞机的实际情况进行计算；

飞机航行轨迹模块：标定飞机航拍时所在地图的位置，便于寻找飞机，不至于飞跑了；

航拍图片预览模块：将飞机定点拍照的图片在网格中进行展示，以便能看到整体效果图，拍照的各个点都将存储在temp目录下，以便后面进行拼接操作。

本发明的GPS模块安装固定在无人机机架上，GPS模块通过连接线与核心板连接，能够返回飞行高度和经纬度信息，作为自动路线航拍和摄像间隔的依据，可以通过核心板控制返回云端控制中心。

本发明的脉宽检测接口集成于核心板，用于检测脉冲宽度、频率，给出拍摄的起始信号。

本摄像机安装在无人机底部的支架上，通过连接线与核心板相连，能够接收接收核心板信号拍摄照片，通过核心板控制广播发送至云端控制中心。如图4所示无人机的底部结构，摄像机固定于底部支架上。

字符叠加模块安装在核心板之上，通过串口与核心板连接，可以实现经纬度数据和航拍图片的叠加，通过核心板控制返回处理后的图片至云端控制中心。如图8所示，为本发明的字符叠加模块的效果图。

本发明在使用时，无人机启动后与云端控制中心建立定向连接，云端控制中心可以设定无人机航拍的区域，实时对无人机的飞行进行控制，无人机即可实现前往目标自动规划路线进行拍摄。

云端控制中心可以接受无人机传回的叠加经纬度信息的航拍照片，并可对航拍照片图像处理，实现图片的拼接。

因此，本发明的无人机航拍图像处理装置继承可拓展的思想，可以便捷且经济的安装在需要添加航拍功能的飞行器上，同时提供自动路线和图像处理的专业功能，不仅解决无人机航拍的高硬件成本问题，更能高效完成图像拼接等功能。在对固定区域的航拍应用中，能够高效、便捷的实现既定需求的拍摄任务，节省了大量人力和经济成本。

上述说明示出并描述了本发明的优选实施例，如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种飞行器航拍图像综合处理装置，其特征在于，包括：控制核心、GPS模块、脉宽检测接口、云端控制中心、摄像机和字符叠加模块，所述控制核心和脉宽检测接口集成于核心板，用于检测脉冲宽度和频率，给出拍摄的起始信号；所述GPS模块通过连接线与核心板连接，固定于飞行器支架上，用于返回飞行高度和经纬度信息，作为航拍间隔的依据；所述摄像机安装于飞行器底部，所述字符叠加模块安装在所述核心板上，用于实现GPS经纬度数据与摄像机拍摄图像叠加；所述云端控制中心为无人机的远程控制平台，所述GPS模块、所述摄像机采集的图像、所述无人机的飞行，可通过所述核心板控制，向所述云端控制中心返回数据，接受云端控制中心的控制，云端控制中心会对实时传输的图像处理并展示；

所述云端控制中心包括在线实时视频预览模块、航拍网格设置模块、航拍参数设计模块、飞机航行轨迹模块以及航拍图片预览模块，其中所述在线实时视频预览模块可以实现在线实时预览视频，连接摄像机、断开摄像机和启动/停止监控航拍点；所述航拍网格设置模块用于设置航拍网格的格子；所述航拍参数设计模块用于在飞机起飞前，通过串口模块配置飞机拍照距离，包含横向拍照距离、横向拍照点数、纵向拍照距离和纵向拍照点数；所述飞机航行轨迹模块用于标定飞机航拍时所在地图的位置；所述航拍图片预览模块将飞机定点拍照的图片在网格中进行展示；

所述脉宽检测接口，通过TLP521芯片能检测脉冲宽度、频率，并返回相关数据给出拍摄的起始信号；

所述的无人机具有足够安装全套装置的负载能力，其自身可通过九轴传感器、光流传感器、GPS传感器、超声波传感器、气压计，和电子调速器、电机相配合，能够实现定点定高悬停以及各种飞行动作，同时提供接口允许外界设备控制。

2.如权利要求1所述的飞行器航拍图像综合处理装置，其特征在于，所述核心板包括STM32系列芯片，用于连接核心板上的其他模块，作为核心的数据收发控制中心。

3.如权利要求1或2所述的飞行器航拍图像综合处理装置，所述核心板还包括供电及下载电路以及外部flash模块。

4.根据权利要求3所述的飞行器航拍图像综合处理装置，其中所述供电及下载电路以CH340芯片为核心，为整个芯片提供5v和3.3v的稳压电源。

5.权利要求1或2所述的飞行器航拍图像综合处理装置，所述摄像机，可采集实时图像，通过所述核心板控制广播发送，在云端控制中心远程实时查看。

6.如权利要求2所述的飞行器航拍图像综合处理装置，其特征在于，所述GPS模块通过800系列GPS芯片能实时提取到当前的经纬度数值并返回给所述STM32系列芯片，再经由STM32系列芯片发送至所述字符叠加模块。

Images