CN110498039A - 一种基于仿生扑翼飞行器的智能监控系统 - Google Patents

一种基于仿生扑翼飞行器的智能监控系统 Download PDF

Info

Publication number
CN110498039A
CN110498039A CN201910718807.1A CN201910718807A CN110498039A CN 110498039 A CN110498039 A CN 110498039A CN 201910718807 A CN201910718807 A CN 201910718807A CN 110498039 A CN110498039 A CN 110498039A
Authority
CN
China
Prior art keywords
flying vehicle
bionic flapping
wing flying
wing
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910718807.1A
Other languages
English (en)
Other versions
CN110498039B (zh
Inventor
贺威
冯富森
黄恺
黄海丰
付强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201910718807.1A priority Critical patent/CN110498039B/zh
Publication of CN110498039A publication Critical patent/CN110498039A/zh
Application granted granted Critical
Publication of CN110498039B publication Critical patent/CN110498039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C33/00Ornithopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Toys (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种基于仿生扑翼飞行器的智能监控系统,能够实现大范围,高灵活度的智能监测。所述系统包括:仿生扑翼飞行器无人监测设备、无线通信系统和智能监控中心;其中,仿生扑翼飞行器无人监测设备包括:在仿生扑翼飞行器上搭载的飞行控制系统、环境传感器和云台相机系统;云台相机系统包括:无线相机和控制无线相机进行转动的电子稳像云台;电子稳像云台与飞行控制系统固定连接;仿生扑翼飞行器无人监测设备通过无线通信系统实时与智能监控中心进行通信,智能监控中心,用于实时显示仿生扑翼飞行器的飞行状态信息、环境数据和航拍视频,并与仿生扑翼飞行器无人监测设备进行远程交互。本发明涉及仿生扑翼飞行器技术领域。

Description

一种基于仿生扑翼飞行器的智能监控系统
技术领域
本发明涉及仿生扑翼飞行器技术领域,特别是指一种基于仿生扑翼飞行器的智能监控系统。
背景技术
仿生扑翼飞行器(Flapping-Wing Aerial Vehicles)是指模仿自然界鸟类、昆虫、蝙蝠等飞行生物,通过上下扑动翅膀同时产生升力和推力的一类无人飞行器,包括电机加减速齿轮组结构驱动或舵机直接驱动的扑翼飞行器,采用一个或多个驱动机构完成扑翼飞行器起飞、前飞、转向、爬升和降落等飞行动作。仿生扑翼飞行器无人终端从物理结构上主要有以下特征:1、仿生的外观与机械结构,包括真实或接近自然界鸟类、昆虫等的外形,主要分为可上下耦合或独立扑动的翅膀、固定或可变的尾翼,以及连接翅膀、尾翼等的机身。2、融合了电源管理、驱动控制、惯性传感器、信号转换的控制电路和供电设备,同时控制电路预留多种通讯协议接口,可扩展多种传感器,针对不同监控任务可以灵活配置传感器组合,实现监测项目个性化定制,可节约成本、增加任务续航。
仿生扑翼飞行器因为其高度的仿生性,具有较高的能量利用效率。在同等质量和尺寸下,相比于固定翼飞行器或者旋翼飞行器,仿生扑翼飞行器可以实现更加节能的飞行效果,具有较长的续航时间和较高的机动性。而且仿生扑翼飞行器的外观和飞行方式十分接近自然界真实飞行生物,极低的噪声使其具有极强的隐蔽性。仿生扑翼飞行器在城市监控和军事侦察领域具有广阔的应用前景,是无人飞行器的重要研究方向之一。
仿生扑翼飞行器作为一种新的无人飞行器,具有高机动性,能够在指定区域自由飞行,通过搭载无线航拍相机和其他传感器,可以在一定区域内实现实时的视频监控与环境检测。相比于其他无人机,如四旋翼飞行器、固定翼飞行器等,扑翼飞行器由于其仿生特性,具有极高的能量利用效率,在有限的电池供给下,可以完成长时间、大范围的飞行任务,而且仿生扑翼飞行器飞行时翅膀扑动频率较低,安全性高、噪音很小,不易对环境和人群产生干扰。
传统的无人飞行器监控系统以定点摄像机为监控设备,只能将监控设备安装在固定的位置,监控范围十分有限,如果需要进行大范围的监控,需要在监控区域内多处布置监控设备,而且无可避免的存在监控死角问题。
发明内容
本发明要解决的技术问题是提供一种基于仿生扑翼飞行器的智能监控系统,以解决现有技术所存在的无人飞行器监控系统监控范围有限、灵活度低的问题。
为解决上述技术问题,本发明实施例提供一种基于仿生扑翼飞行器的智能监控系统,包括:仿生扑翼飞行器无人监测设备、无线通信系统和智能监控中心;其中,所述仿生扑翼飞行器无人监测设备包括:在仿生扑翼飞行器上搭载的飞行控制系统、环境传感器和云台相机系统;所述云台相机系统包括:无线相机和控制所述无线相机进行转动的电子稳像云台;电子稳像云台与飞行控制系统固定连接;
所述飞行控制系统,用于获取仿生扑翼飞行器的飞行状态信息;
所述环境传感器,用于监测环境数据;
所述云台相机系统,用于捕获航拍视频;
所述无线通信系统,用于将所述飞行状态信息、环境数据、航拍视频传输至所述智能监控中心;
所述智能监控中心,用于实时显示所述飞行状态信息、环境数据和航拍视频,并与仿生扑翼飞行器无人监测设备进行远程交互。
进一步地,所述飞行状态信息包括:经纬度、飞行高度、姿态角。
进一步地,所述飞行控制系统包括:微控制器、与所述微控制器相连的惯性测量单元和全球卫星导航系统模块;
所述惯性测量单元,用于获取仿生扑翼飞行器空间三个轴向的加速度、角速度和磁偏角,并将获取的加速度、角速度和磁偏角传输至所述微控制器;
所述全球卫星导航系统模块,用于获取仿生扑翼飞行器的经纬度和飞行高度,并将获取的经纬度和飞行高度传输至所述微控制器;
所述微控制器,用于对接收到的加速度、角速度和磁偏角进行处理,得到仿生扑翼飞行器的三维姿态角,根据得到的姿态角,通过姿态稳定算法完成仿生扑翼飞行器的姿态跟踪控制;还用于根据接收到的经纬度和飞行高度,控制仿生扑翼飞行器遥控飞行或按照预设轨迹飞行。
进一步地,所述环境数据包括:挥发性有机化合物、温度、湿度和气压。
进一步地,所述无线相机为无线图像传输一体机,包括:捕获航拍视频的单目相机和将视频信号转化为无线电波广播出去的无线图像发送模块。
进一步地,所述电子稳像云台包括:包括至少两个自由度的云台;
所述电子稳像云台,用于与飞行控制系统固定连接,受仿生扑翼飞行器无人监测设备姿态稳定控制,沿仿生扑翼飞行器振动的反方向运动,保持无线相机姿态稳定;
其中,仿生扑翼飞行器在飞行过程中在沿机身的俯仰和滚转方向有振动。
进一步地,所述电子稳像云台,用于测量仿生扑翼飞行器的加速度和角速度,根据测量到的加速度和角速度,确定仿生扑翼飞行器的姿态信息,所述姿态信息作为电子稳像云台的反馈信号,通过控制所述电子稳像云台中的舵机,保持无线相机姿态稳定,使捕获的航拍视频不会跟随仿生扑翼飞行器抖动。
进一步地,所述智能监控中心包括:服务器端和移动监控终端;
所述服务器端包括:服务器和与所述服务器相连的数据库系统,其中,所述服务器与所述移动监控终端相连;
所述服务器,用于接收仿生扑翼飞行器无人监测设备监测到的仿生扑翼飞行器的飞行状态信息、环境数据和航拍视频,对接收到的飞行状态信息、环境数据和航拍视频进行处理,并将所述飞行状信息、环境数据、航拍视频和处理结果存入数据库系统,同时将所述飞行状信息、环境数据、航拍视频和处理结果以消息服务形式转发给移动监控终端;
所述移动监控终端,用于从服务器端订阅消息,实时显示仿生扑翼飞行器无人监测设备监测到的仿生扑翼飞行器的飞行状态信息、环境数据和航拍视频;还用于与仿生扑翼飞行器无人监测设备进行远程交互,其中,交互信息包括:切换任务和规划航迹路径,交互信息通过消息服务回传给服务器端,服务器端经无线数据传输模块发送到仿生扑翼飞行器无人监测设备。
进一步地,所述服务器,还用于根据仿生扑翼飞行器扑动翅膀的频率,每隔N帧计算当前帧和下一帧的特征点,确定航拍视频当前帧与下一帧之间特征点的运动方向,根据运动方向对当前帧图像进行反向的平移和旋转操作,使视频稳像。
进一步地,所述无线通信系统包括:与仿生扑翼飞行器无人监测设备中的微控制器相连的第一无线数据传输模块和与所述智能监控中心中相连的第二无线数据传输模块和无线图像接收模块;
其中,无线数据传输模块,用于传输文本数据,所述文本数据包括:飞行状态信息、环境数据和控制指令;
所述无线图像接收模块,用于接收无线图像发送模块广播的无线电波信号,并将其转换为视频信号传输至智能监控中心。
本发明的上述技术方案的有益效果如下:
上述方案中,仿生扑翼飞行器无人监测设备通过无线通信系统实时与智能监控中心进行通信,且所述仿生扑翼飞行器无人监测设备包括:在仿生扑翼飞行器上搭载的飞行控制系统、环境传感器和云台相机系统;所述云台相机系统包括:无线相机和控制所述无线相机进行转动的电子稳像云台;电子稳像云台与飞行控制系统固定连接;这样,通过电子稳像云台控制所述无线相机进行转动,使得所述无线相机能够灵活地、多方位地捕获航拍视频,以实现大范围,高灵活度的智能监测。
附图说明
图1为本发明实施例提供的基于仿生扑翼飞行器的智能监控系统的结构示意图;
图2为本发明实施例提供的基于仿生扑翼飞行器的智能监控系统的详细结构示意图;
图3为本发明实施例提供的仿生扑翼飞行器搭载无人监测设备的结构示意图;
图4为本发明实施例提供的云台相机系统的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有的无人飞行器监控系统监控范围有限、灵活度低的问题,提供一种基于仿生扑翼飞行器的智能监控系统。
如图1所示,本发明实施例提供的基于仿生扑翼飞行器的智能监控系统,包括:仿生扑翼飞行器无人监测设备1、无线通信系统2和智能监控中心3;其中,所述仿生扑翼飞行器无人监测设备1包括:在仿生扑翼飞行器上搭载的飞行控制系统11、环境传感器12和云台相机系统13;所述云台相机系统13包括:无线相机131和控制所述无线相机131进行转动的电子稳像云台132;电子稳像云台132与飞行控制系统11固定连接;
所述飞行控制系统11,用于获取仿生扑翼飞行器的飞行状态信息;
所述环境传感器12,用于监测环境数据;
所述云台相机系统13,用于捕获航拍视频;
所述无线通信系统2,用于将所述飞行状态信息、环境数据、航拍视频传输至所述智能监控中心3;
所述智能监控中心3,用于实时显示所述飞行状态信息、环境数据和航拍视频,并与仿生扑翼飞行器无人监测设备1进行远程交互。
本发明实施例所述的基于仿生扑翼飞行器的智能监控系统,仿生扑翼飞行器无人监测设备通过无线通信系统实时与智能监控中心进行通信,且所述仿生扑翼飞行器无人监测设备包括:在仿生扑翼飞行器上搭载的飞行控制系统、环境传感器和云台相机系统;所述云台相机系统包括:无线相机和控制所述无线相机进行转动的电子稳像云台;电子稳像云台与飞行控制系统固定连接;这样,通过电子稳像云台控制所述无线相机进行转动,使得所述无线相机能够灵活地、多方位地捕获航拍视频,以实现大范围,高灵活度的智能监测。
如图2所示,为了更好地理解本发明实施例所述的基于仿生扑翼飞行器的智能监控系统,对其进行详细说明:
本实施例中,基于仿生扑翼飞行器的智能监控系统包括:仿生扑翼飞行器无人监测设备、无线通信系统和智能监控中心;其中,所述仿生扑翼飞行器无人监测设备包括:在仿生扑翼飞行器上搭载的飞行控制系统、环境传感器和云台相机系统。
本实施例中,所述飞行控制系统包括:微控制器(Microcontroller Unit,MCU)、与所述微控制器相连的惯性测量单元(Inertial Measurement Unit,IMU)和全球卫星导航系统(Global Navigation Satellite System,GNSS)模块。
本实施例中,微控制器可以采用STM32F407VGT6芯片作为飞行控制系统的主控芯片。惯性测量单元采用九轴姿态传感器MPU9250,用于获取仿生扑翼飞行器空间三个轴向的加速度、角速度和磁偏角,加速度、角速度和磁偏角经串行外设接口(Serial PeripheralInterface,SPI)传输至微控制器后,经微控制器计算得到仿生扑翼飞行器的三维姿态角,根据得到的姿态角,通过姿态稳定算法完成仿生扑翼飞行器的姿态跟踪控制。
本实施例中,全球卫星导航系统模块融合了全球定位系统(Global PositioningSystem,GPS)、北斗导航系统(BeiDou Navigation Satellite System,BDS)和格洛纳斯卫星导航系统(俄语中全球卫星导航系统Global Navigation Satellite System的缩写,GLNASS),该多模全球卫星导航系统模块可自动计算卫星定位信息并以NMEA-1083协议通过串口(Universal Asynchronous Receiver/Transmitter,UART)传输至微控制器,从而获取仿生扑翼飞行器的经纬度、飞行高度等信息,用于控制仿生扑翼飞行器遥控飞行或自主地按照预设轨迹飞行。
本实施例中,所述飞行控制系统还包括:与所述微控制器相连的无线通信接口、传感器接口以及稳压电路和驱动电路;其中,无线通信接口,用于连接无线通信系统的第一无线数据传输模块,实现仿生扑翼飞行器无人监测设备与智能监控中心的文本信息交换;传感器接口,用于外接环境传感器。
本实施例中,所述系统还包括:为所述仿生扑翼飞行器无人监测设备供电的电源模块。所述电源模块为高能量密度的三芯锂电池,即,仿生扑翼飞行器无人监测设备采用三芯锂电池供电,三芯锂电池正常工作电压11.1V-12.6V,微控制器的工作电压为3.3V,环境传感器、第一无线数据传输模块等工作电压为5V,所以需要稳压电路(由LM2596稳压芯片和AMS1117-3.3稳压芯片实现)将三芯锂电池输出电压分别稳压输出到3.3V和5V。
本实施例中,三芯锂电池输出的电压经LM2596稳压芯片后输出5V工作电压,用于给环境传感器和第一无线数据传输模块供电,稳压输出的5V再经过AMS1117-3.3稳压芯片后输出3.3V工作电压,用于给飞行控制系统的微控制器供电。
本实施例中,驱动电路采用脉冲宽度调制PWM(Pulse Width Modulation)技术,有八路PWM输出,前六路PWM输出用于控制仿生扑翼飞行器按照预设的飞行模式进行扑翼飞行,后两路PWM输出用于控制云台相机系统的舵机运动。
本实施例中,环境传感器可以为BME680传感器,是一款四合一的MEMS环境传感器,也可以是其他传感器,用于测量挥发性有机化合物(Volatile Organic Compounds,VOC)、温度、湿度、气压四种环境数据,以监测环境数据。环境传感器通过集成电路总线IIC(Inter-Integrated Circuit)与飞行控制系统中的微控制器通信,将测量到的上述环境数据发送到微控制器,然后由无线通信系统中的第一无线数据传输模块发送到智能监控中心。
本实施例中,所述云台相机系统包括:无线相机和控制所述无线相机进行转动的电子稳像云台;电子稳像云台与飞行控制系统固定连接。
本实施例中,所述无线相机为无线图像传输一体机,包括用于捕获视频的单目相机和将视频信号转化为无线电波广播出去的无线图像发送模块。在智能监控中心,可以使用无线通信系统中的无线图像接收模块,接收无线图像发送模块广播的无线电波信号,并将其转换为视频信号。
如图3所示,仿生扑翼飞行器的特征在于具有接近自然界生物的外观,包括可上下扑动的翅膀4、固定或可变角度的尾翼5以及驱动翅膀上下运动的机构6和仿生外观的机身7,搭载的飞行控制系统11、可模块化组合的环境传感器12、云台相机系统13和电源模块8。
本实施例中,由于仿生扑翼飞行器采用扑动翅膀的形式进行飞行,翅膀往复运动往往会产生周期性的振动,另外仿生扑翼飞行器在飞行过程中受外界干扰也极易产生不规律振动,所以对单目或双目相机等视觉传感器需要外加电子稳像云台(也可称为:视频稳像系统),使得相机可以捕获清晰、稳定的视频。
本实施例中,所述电子稳像云台包括:至少两个自由度的云台,由于扑翼飞行方式的影响,仿生扑翼飞行器在飞行过程中在沿机身的俯仰和滚转方向会有较大幅度的振动,电子稳像云台通过与飞行控制系统固定连接,受仿生扑翼飞行器无人监测设备姿态稳定控制,沿仿生扑翼飞行器振动的反方向运动,从而抑制仿生扑翼飞行器的振动对无线相机的影响,保持无线相机姿态稳定,使得无线相机可以捕捉到清晰稳定的视频画面。
如图4所示,以两自由度的电子稳像云台为例,云台相机系统可以包含:由可拆卸悬挂固定件1A和1C、水平放置区1B、视频稳像控制板9、微型舵机连接件3A、微型舵机3B、微型舵机连接件4A和微型舵机4B组成的两自由度电子稳像云台132和无线相机131。拆卸悬挂固定件1A一端(上端)用于将电子稳像云台连接到飞行控制系统,并保持与飞行控制系统沿轴向固定连接,通过两边夹持设计与螺丝固定方式可以实现灵活的安装与拆卸,固定件1A的另一端(下部)设有水平放置区1B,用于固定视频稳像控制板2,水平放置区1B下方设有可拆卸悬挂固定件1C,可拆卸悬挂固定件1C的一端与水平放置区1B固定连接,可拆卸悬挂固定件1C的另一端与微型舵机连接件3A一侧相连,微型舵机连接件3A的另一侧与微型舵机3B旋转轴相连,使微型舵机3B可绕垂直于微型舵机连接件3A与固定件1A连接面方向旋转,对应仿生扑翼飞行器飞行时的滚转角;微型舵机连接件4A一侧与微型舵机3B垂直固定连接,微型舵机连接件4A的另一侧与微型舵机4B旋转轴相连,使微型舵机4B可绕垂直于微型舵机连接件4A与微型舵机3B连接面方向旋转,对应仿生扑翼飞行器飞行时的俯仰角,无线相机5固定连接在微型舵机4B的侧面,使无线相机5正对仿生扑翼飞行器飞行方向。
本实施例中,所述视频稳像控制板由包括一个微型主控芯片、两路脉宽调制(Pulse Width Modulation,PWM)舵机控制输出、一个姿态传感器和一个异步串行接收器和转发器(Universal Synchronous Asynchronous Receiver Transmitter,USART)串口接口和电源稳压电路。其中电源稳压电路将电源模块输出的电压分为两部分,一部分降压到3.3V用于给微型主控芯片、姿态传感器和USART串口接口供电,一部分保持7.4V的输入电压给舵机供电。USART串口接口可外接USART无线串口模块,通过转发微型主控芯片输出的数据完成与智能监控中心数据通信。姿态传感器为MPU6050,包含3轴加速度计和3轴陀螺仪,可以测量3个轴向的加速度和3个绕轴旋转方向的角速度,经过微型主控芯片算法计算可以准确的测量仿生扑翼飞行器的姿态信息,作为电子稳像云台的反馈信号。微型主控芯片控制两个微型舵机3B和4B,保持无线相机姿态稳定,保证捕获的视频画面不会跟随仿生扑翼飞行器抖动。视频稳像控制板与前述飞行控制系统具有相似的功能结构,也可以通过将微型舵机3B和4B连接飞行控制系统的用于控制云台相机系统的舵机运动的两路PWM输出接口进行替代。
本实施例中,所述无线通信系统按照部署位置分为两部分,一部分集成于仿生扑翼飞行控制系统由仿生扑翼飞行器无人监测设备搭载,具体为:与仿生扑翼飞行器无人监测设备中的微控制器相连的第一无线数据传输模块;另一部分部署在智能监控中心,与智能监控中心的服务器通过通用串口总线(Universal Serial Bus,USB)接口连接,包括:第二无线数据传输模块和无线图像接收模块。通信数据流按照内容分为两类,一类为飞行状态信息、环境数据和控制指令等文本数据流,另一类为航拍视频图像数据流。文本数据流由集成在仿生扑翼飞行控制系统的第一无线数据传输模块和集成于智能监控中心的第二无线数据传输模块进行双向数据交互,视频数据流由仿生扑翼飞行器无人监测设备搭载的无线相机中的无线图像传输模块单向发送到智能监控中心的无线图像接收模块。
需要说明的是:
本实施例中,无线图像发送模块是属于无线相机的,因此,无线图像发送模块归属于仿生扑翼飞行器无人监测设备,而不是无线通信系统;但是,如果无线相机不是无线图像传输一体机,则可以将无线图像发送模块归属于无线通信系统,即,此时的无线通信系统可以包括:第一无线数据传输模块、第二无线数据传输模块、无线图像发送模块和无线图像接收模块。
本实施例中,仿生扑翼飞行器无人监测设备分别通过第一无线数据传输模块和无线图像发送模块与智能监控中心进行文本数据和视频通信;具体的:
第一无线数据传输模块,用于通过第二无线数据传输模块,将仿生扑翼飞行器无人监测设备监测到的仿生扑翼飞行器的飞行状态信息(经纬度、飞行高度、姿态角)、环境监测数据(挥发有机物、温度数据、湿度、气压数据)发送至智能监控中心,同时接收第二无线数据传输模块发送的控制指令(包括:切换控制模式,例如,手动遥控或者自动巡航等);无线图像传输模块,用于将云台相机系统捕获的航拍视频转化为无线电波广播出去,无线图像接收模块,用于接收无线图像发送模块广播的无线电波信号,并将其转换为视频信号传输至智能监控中心。
本实施例中,所述智能监控中心由服务器端和移动监控终端(例如,笔记本电脑、平板电脑、智能手机)组成,其中,服务器端包括:服务器和与所述服务器相连的数据库系统,其中,所述服务器与所述移动监控终端相连;服务器运行服务器端软件,服务器通过USB接口连接第二无线数据传输模块和无线图像接收模块,并接收仿生扑翼飞行器无人监测设备监测到的仿生扑翼飞行器的飞行状态信息、环境数据和航拍视频,对接收到的仿生扑翼飞行器的飞行状态信息、环境数据和航拍视频进行处理,并将所述飞行状信息、环境数据、航拍视频、处理结果存入数据库系统,同时将仿生扑翼飞行器的飞行状态信息、环境数据、航拍视频、处理结果以消息服务形式转发给网络上的移动监控终端。移动监控终端安装监控软件用户端,从服务器端订阅消息,实时显示仿生扑翼飞行器无人监测设备监测到的仿生扑翼飞行器的飞行状态信息、环境数据、航拍视频和处理结果,还可以通过界面实时地与仿生扑翼飞行器无人监测设备进行远程交互,改变仿生扑翼飞行器的飞行状态,其中,交互信息包括:切换任务(手动控制、自主巡航、自动返航、定高盘旋等)和规划航迹路径等,交互信息通过消息服务回传给服务器端,服务器端经第二无线数据传输模块、第一无线数据传输模块发送到仿生扑翼飞行器无人监测设备,完成智能监控中心与仿生扑翼飞行器无人监测设备的远程交互。
本实施例中,在整个监控过程中,服务器保持与数据库系统连接,记录各种数据信息和控制指令。
本实施例中,由于仿生扑翼飞行器依靠翅膀上下扑动飞行,所以在飞行过程中机体易产生振动,从而导致携带的无线相机捕获的视频画面会产生较大抖动,虽然给仿生扑翼飞行器无人监测设备增加电子稳像云台后可以在一定程度上减弱视频画面的抖动,但是效果不是很理想,为此,在智能监控中心接收到视频后进一步施加软件消抖,可以进一步稳定视频画面,从而获得更为清晰的视频图像,以便于后续目标检测和分类工作。
本实施例中,在服务器上,视频软件消抖分为以下几个步骤:为了保证视频的实时性,首先对视频进行采样,根据仿生扑翼飞行器扑动翅膀的频率大约在2-3Hz,视频为每秒30帧,然后每隔N(例如,5)帧计算当前帧和下一帧的特征点,然后计算视频当前帧与下一帧之间特征点的运动方向,最后根据运动方向对当前帧图像进行反向的平移和旋转操作,从而实现视频稳像。
本实施例中,目标检测和分类采用深度学习方法,首先对捕获的视频抽取图像,然后对图像进行物体标注和分类,使用标注后的图像和分类标签进行目标检测和分类模型训练。然后将训练好的模型加载到智能监控中心的服务器端,当有新的航拍视频到达服务器后,通过将视频按一定间隔抽取图像,然后将图像送入训练好的目标检测和分类模型,即可得到带有目标区域位置的图像,并且会在目标区域附近显示分类类别和分类的置信度。通过对不同类别(例如,人类、车辆、飞行器等)进行统计,即可实现分类统计功能(例如,人流量统计、车流量统计、飞行器量统计),进一步结合行人重识别算法或车牌识别算法等,可以提高分类统计的精确度,同时将待识别目标的图像坐标信息经第二无线数据传输模块、第一无线数据传输模块发送到仿生扑翼飞行器无人监测设备的飞行控制系统,飞行控制系统可根据图像坐标信息进行反馈控制,实现仿生扑翼飞行器无人监测设备跟踪目标任务。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于仿生扑翼飞行器的智能监控系统,其特征在于,包括:仿生扑翼飞行器无人监测设备、无线通信系统和智能监控中心;其中,所述仿生扑翼飞行器无人监测设备包括:在仿生扑翼飞行器上搭载的飞行控制系统、环境传感器和云台相机系统;所述云台相机系统包括:无线相机和控制所述无线相机进行转动的电子稳像云台;电子稳像云台与飞行控制系统固定连接;
所述飞行控制系统,用于获取仿生扑翼飞行器的飞行状态信息;
所述环境传感器,用于监测环境数据;
所述云台相机系统,用于捕获航拍视频;
所述无线通信系统,用于将所述飞行状态信息、环境数据、航拍视频传输至所述智能监控中心;
所述智能监控中心,用于实时显示所述飞行状态信息、环境数据和航拍视频,并与仿生扑翼飞行器无人监测设备进行远程交互。
2.根据权利要求1所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述飞行状态信息包括:经纬度、飞行高度、姿态角。
3.根据权利要求2所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述飞行控制系统包括:微控制器、与所述微控制器相连的惯性测量单元和全球卫星导航系统模块;
所述惯性测量单元,用于获取仿生扑翼飞行器空间三个轴向的加速度、角速度和磁偏角,并将获取的加速度、角速度和磁偏角传输至所述微控制器;
所述全球卫星导航系统模块,用于获取仿生扑翼飞行器的经纬度和飞行高度,并将获取的经纬度和飞行高度传输至所述微控制器;
所述微控制器,用于对接收到的加速度、角速度和磁偏角进行处理,得到仿生扑翼飞行器的三维姿态角,根据得到的姿态角,通过姿态稳定算法完成仿生扑翼飞行器的姿态跟踪控制;还用于根据接收到的经纬度和飞行高度,控制仿生扑翼飞行器遥控飞行或按照预设轨迹飞行。
4.根据权利要求1所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述环境数据包括:挥发性有机化合物、温度、湿度和气压。
5.根据权利要求3所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述无线相机为无线图像传输一体机,包括:捕获航拍视频的单目相机和将视频信号转化为无线电波广播出去的无线图像发送模块。
6.根据权利要求1所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述电子稳像云台包括:包括至少两个自由度的云台;
所述电子稳像云台,用于与飞行控制系统固定连接,受仿生扑翼飞行器无人监测设备姿态稳定控制,沿仿生扑翼飞行器振动的反方向运动,保持无线相机姿态稳定;
其中,仿生扑翼飞行器在飞行过程中在沿机身的俯仰和滚转方向有振动。
7.根据权利要求1所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述电子稳像云台,用于测量仿生扑翼飞行器的加速度和角速度,根据测量到的加速度和角速度,确定仿生扑翼飞行器的姿态信息,所述姿态信息作为电子稳像云台的反馈信号,通过控制所述电子稳像云台中的舵机,保持无线相机姿态稳定,使捕获的航拍视频不会跟随仿生扑翼飞行器抖动。
8.根据权利要求1所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述智能监控中心包括:服务器端和移动监控终端;
所述服务器端包括:服务器和与所述服务器相连的数据库系统,其中,所述服务器与所述移动监控终端相连;
所述服务器,用于接收仿生扑翼飞行器无人监测设备监测到的仿生扑翼飞行器的飞行状态信息、环境数据和航拍视频,对接收到的飞行状态信息、环境数据和航拍视频进行处理,并将所述飞行状信息、环境数据、航拍视频和处理结果存入数据库系统,同时将所述飞行状信息、环境数据、航拍视频和处理结果以消息服务形式转发给移动监控终端;
所述移动监控终端,用于从服务器端订阅消息,实时显示仿生扑翼飞行器无人监测设备监测到的仿生扑翼飞行器的飞行状态信息、环境数据和航拍视频;还用于与仿生扑翼飞行器无人监测设备进行远程交互,其中,交互信息包括:切换任务和规划航迹路径,交互信息通过消息服务回传给服务器端,服务器端经无线数据传输模块发送到仿生扑翼飞行器无人监测设备。
9.根据权利要求8所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述服务器,还用于根据仿生扑翼飞行器扑动翅膀的频率,每隔N帧计算当前帧和下一帧的特征点,确定航拍视频当前帧与下一帧之间特征点的运动方向,根据运动方向对当前帧图像进行反向的平移和旋转操作,使视频稳像。
10.根据权利要求5所述的基于仿生扑翼飞行器的智能监控系统,其特征在于,所述无线通信系统包括:与仿生扑翼飞行器无人监测设备中的微控制器相连的第一无线数据传输模块和与所述智能监控中心中相连的第二无线数据传输模块和无线图像接收模块;
其中,无线数据传输模块,用于传输文本数据,所述文本数据包括:飞行状态信息、环境数据和控制指令;
所述无线图像接收模块,用于接收无线图像发送模块广播的无线电波信号,并将其转换为视频信号传输至智能监控中心。
CN201910718807.1A 2019-08-05 2019-08-05 一种基于仿生扑翼飞行器的智能监控系统 Active CN110498039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910718807.1A CN110498039B (zh) 2019-08-05 2019-08-05 一种基于仿生扑翼飞行器的智能监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910718807.1A CN110498039B (zh) 2019-08-05 2019-08-05 一种基于仿生扑翼飞行器的智能监控系统

Publications (2)

Publication Number Publication Date
CN110498039A true CN110498039A (zh) 2019-11-26
CN110498039B CN110498039B (zh) 2021-06-25

Family

ID=68588051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910718807.1A Active CN110498039B (zh) 2019-08-05 2019-08-05 一种基于仿生扑翼飞行器的智能监控系统

Country Status (1)

Country Link
CN (1) CN110498039B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112061390A (zh) * 2020-09-18 2020-12-11 哈尔滨工业大学 仿蝙蝠柔性变形扑翼机器人的飞行控制装置及控制方法
CN113240597A (zh) * 2021-05-08 2021-08-10 西北工业大学 基于视觉惯性信息融合的三维软件稳像方法
CN114313220A (zh) * 2021-12-20 2022-04-12 中国航天空气动力技术研究院 一种冗余设计的螺旋桨桨距角精确控制装置及方法
CN114604439A (zh) * 2022-03-23 2022-06-10 北京科技大学 一种面向扑翼飞行机器人的航拍视频稳像系统
CN114954863A (zh) * 2022-07-05 2022-08-30 中国农业大学 一种自主巡检预警仿生机器海豚系统及控制方法
CN115840459A (zh) * 2023-01-04 2023-03-24 北京科技大学 一种面向扑翼飞行器的单目视觉避障系统
CN117032303A (zh) * 2023-08-14 2023-11-10 北京科技大学 一种基于视觉引导的扑翼飞行机器人自主降落方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6082671A (en) * 1998-04-17 2000-07-04 Georgia Tech Research Corporation Entomopter and method for using same
US20150044418A1 (en) * 2011-02-11 2015-02-12 President And Fellows Of Harvard College Monolithic Fabrication of Three-Dimensional Structures
CN205311921U (zh) * 2015-11-25 2016-06-15 深圳市大疆创新科技有限公司 航拍跟焦控制系统及飞行器
CN206511123U (zh) * 2017-02-28 2017-09-22 衢州学院 一种仿生飞行器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6082671A (en) * 1998-04-17 2000-07-04 Georgia Tech Research Corporation Entomopter and method for using same
US20150044418A1 (en) * 2011-02-11 2015-02-12 President And Fellows Of Harvard College Monolithic Fabrication of Three-Dimensional Structures
CN205311921U (zh) * 2015-11-25 2016-06-15 深圳市大疆创新科技有限公司 航拍跟焦控制系统及飞行器
CN206511123U (zh) * 2017-02-28 2017-09-22 衢州学院 一种仿生飞行器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贺威 等: "扑翼飞行器的建模与控制研究进展", 《自动化学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112061390A (zh) * 2020-09-18 2020-12-11 哈尔滨工业大学 仿蝙蝠柔性变形扑翼机器人的飞行控制装置及控制方法
CN112061390B (zh) * 2020-09-18 2022-04-12 哈尔滨工业大学 仿蝙蝠柔性变形扑翼机器人的飞行控制装置及控制方法
CN113240597A (zh) * 2021-05-08 2021-08-10 西北工业大学 基于视觉惯性信息融合的三维软件稳像方法
CN113240597B (zh) * 2021-05-08 2024-04-26 西北工业大学 基于视觉惯性信息融合的三维软件稳像方法
CN114313220A (zh) * 2021-12-20 2022-04-12 中国航天空气动力技术研究院 一种冗余设计的螺旋桨桨距角精确控制装置及方法
CN114604439A (zh) * 2022-03-23 2022-06-10 北京科技大学 一种面向扑翼飞行机器人的航拍视频稳像系统
CN114954863A (zh) * 2022-07-05 2022-08-30 中国农业大学 一种自主巡检预警仿生机器海豚系统及控制方法
CN115840459A (zh) * 2023-01-04 2023-03-24 北京科技大学 一种面向扑翼飞行器的单目视觉避障系统
CN117032303A (zh) * 2023-08-14 2023-11-10 北京科技大学 一种基于视觉引导的扑翼飞行机器人自主降落方法
CN117032303B (zh) * 2023-08-14 2024-04-30 北京科技大学 一种基于视觉引导的扑翼飞行机器人自主降落方法

Also Published As

Publication number Publication date
CN110498039B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN110498039A (zh) 一种基于仿生扑翼飞行器的智能监控系统
CN104828256B (zh) 一种智能多模式飞行拍摄设备及其飞行控制方法
CN106774436B (zh) 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法
CN109398688B (zh) 一种旋翼飞行双机械臂目标定位抓取系统及方法
CN107014380B (zh) 基于飞行器的视觉导航与惯性导航的组合导航方法
KR102254491B1 (ko) 지능형 영상 분석 모듈을 탑재한 자율비행 드론
CN111824406A (zh) 一种基于机器视觉的公共安全自主巡查四旋翼无人机
CN201217501Y (zh) 悬浮式航空摄像自主飞行器系统
Wenzel et al. Low-cost visual tracking of a landing place and hovering flight control with a microcontroller
CN204697171U (zh) 一种智能多模式飞行拍摄设备
CN105759833A (zh) 一种沉浸式无人机驾驶飞行系统
CN206532142U (zh) 一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统
CN110488850A (zh) 一种基于树莓派的四旋翼无人机视觉导航系统及方法
CN110716579B (zh) 目标跟踪方法及无人飞行器
CN106094876A (zh) 一种无人机目标锁定系统及其方法
CN109254587A (zh) 可在无线充电条件下稳定悬停的小型无人机及其控制方法
Rodríguez-Gómez et al. The GRIFFIN perception dataset: Bridging the gap between flapping-wing flight and robotic perception
CN110109469A (zh) 一种具有颜色、识别、定位、跟踪功能的四旋翼无人机的控制系统
CN116360492B (zh) 一种扑翼飞行机器人目标跟踪方法及系统
CN202879792U (zh) 悬浮式航空摄像与追踪自主飞行器系统
CN203567947U (zh) 无人机自稳定云台
CN114604439B (zh) 一种面向扑翼飞行机器人的航拍视频稳像系统
CN203865010U (zh) 自动追踪视频识别智能航拍导航飞行器
CN115291536A (zh) 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法
Schell et al. Autonomous landing of airplanes by dynamic machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant