CN113271357B - 一种地空协同组网系统及控制方法 - Google Patents

一种地空协同组网系统及控制方法 Download PDF

Info

Publication number
CN113271357B
CN113271357B CN202110536575.5A CN202110536575A CN113271357B CN 113271357 B CN113271357 B CN 113271357B CN 202110536575 A CN202110536575 A CN 202110536575A CN 113271357 B CN113271357 B CN 113271357B
Authority
CN
China
Prior art keywords
mobile gateway
ground
gateway node
aerial vehicle
node device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110536575.5A
Other languages
English (en)
Other versions
CN113271357A (zh
Inventor
姜念波
余雪勇
陈表易
牛文巾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110536575.5A priority Critical patent/CN113271357B/zh
Publication of CN113271357A publication Critical patent/CN113271357A/zh
Application granted granted Critical
Publication of CN113271357B publication Critical patent/CN113271357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/16Gateway arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明是一种地空协同组网系统及控制方法,该系统包括高空移动网关节点装置、地面移动网关节点装置和监管后台,高空移动网关节点装置负责从高空采集图像实时发送给所述监管后台;地面移动网关节点装置负责从地面采集图像实时发送给所述监管后台;监管后台对两个网关节点装置进行控制。本发明以无人机为主从高空进行目标探测以及图像采集与视频传输,地面加以小车就平面地形进行图像采集并辅助勘测的组网装置,既能同时得到清晰的高空和平面图像信息,还有位置信息还有地形信息。本发明利用多旋翼无人机和无人小车,有效互补了二者在运作时的短板,更高效地完成巡检任务,且在运作故障时损失降低了很多。

Description

一种地空协同组网系统及控制方法
技术领域
本发明属于通信网络系统领域,具体的说是涉及一种地空协同组网系统,具体的说是一种以无人机为主从高空进行目标探测以及图像采集与视频传输,地面加以小车就平面地形进行辅助勘测的组网系统以及该系统的控制方法。
背景技术
20世纪20年代伊始,无线电操纵的小型飞机出现在了一战的战场上,在它的成功研发并投入战场之后,战场就瞬间改变了战局,从那之后各国就大力开展对无人机的研发,不论是在最早应用在的军事领域、还是到现在的农业领域或者是其他领域。无人机都扮演着不可或缺的角色,无人机从出现到现在,衍生出了各种形态并且拓展出了各种功能近年来,无人机凭借其体积小、成本低、不易被发现、便于部署等优势,军事和民用领域的很多方面都得到了广泛应用,比如实时监控、自动跟踪、搜寻与救援、中继传输等。放眼现在无人机市场,民用无人机常常用来城市绘制、地形勘测或者是地方巡检,辅助农业进行作业。但是现在无人机市场大多是以单机的形式出现,而且无人机在飞行过程中经常受外在或自身的影响与干扰,比如空中垃圾或者是环境影响,使得无人机的原来飞行计划被打乱且采集到的数据可能有所丢失。
小车作为地面单位,稳定性相对于无人机更好,不容易受到周围突变环境的影响,作为地面单位,通过传感系统感知道路环境,自动规划行车路线并控制车辆到达预定目标;同时通过车载传感器感知周围环境,并根据感知所获得的道路、车辆位置和障碍物信息。但小车也有显著的缺陷,即采集信息位面单一,只能从平面角度获取图像信息。
ZL201310065386X公开了一种空天地协同多媒体网络系统,该系统包括多个通信节点,每个通信节点由空基通信网络设备、陆基通信网络设备或天基通信网络设备构成,在半径不超过一百公里的近场区域内,各通信节点之间采用微波通信方式,近场区域内各通信节点与远程区域内各通信节点之间采用卫星通信方式,数据流以IP为信息承载方式进行通信,该系统实现的是空天地一体无线通信且需要通过卫星实现通信,但是未牵涉到基于802.11标准局域网的系统框架。
ZL2018110576788公开了一种多无人机协同控制系统,该系统中的多个无人机之间通过机间通信网络连接,虽然本控制系统实时性高,但是实现成本大,至少需要多架无人机才能发挥出这套系统的作用,且未牵涉到地面移动网关通信节点系统。
ZL2019109917926公开了一种空地协同无人系统,该系统利用多个由无无人飞行器组成的无人飞行器网络和由多个机器人组成机器人网络,用于人机交互,接收探测信息并实时显示探测信息,传输控制空中无人系统和地面无人系统,但是此系统实施所需的高空移动网关节点过多,加大了飞机出现故障的概率,且该无人系统并未公开具体自主规划系统。
由此可见,上述单机运作出现故障时,采集的数据难以回传、飞行器搭载的设备损坏可能性大大加大的问题,加之小车也有显著的缺陷,即采集信息位面单一,只能从平面角度获取图像信息。
发明内容
为了解决上述问题,本发明提供另一种地空系统组网系统,利用高空移动网关节点装置和地面移动网关节点装置即多旋翼无人机和无人小车,有效互补了二者在运作时的短板,更高效地完成巡检任务,设备终端产生的数据能通过网关处理并转发最后的人工监管后台。
为了达到上述目的,本发明是通过以下技术方案实现的:
本发明是一种地空协同组网系统,包括高空移动网关节点装置、地面移动网关节点装置和监管后台即地面站,高空移动网关节点装置为多旋翼无人机,所述地面移动网关节点装置为无人小车,多旋翼无人机从高空采集图像实时发送给所述监管后台,多旋翼无人机与所述无人小车和监管后台进行通信,将其飞行高度、速度和位置信息实时发送给监管后台,所述多旋翼无人机的飞行航线由所述无人小车控制,由所述监管后台制定起终点,在系统中的任务负责跟随无人小车进行协同巡检,从高空采集图像实时发送给后台人员,无人小车,负责在地面从起点进行巡检行进到终点后原路返回至起点,从地面采集图像实时发送给所述监管后台,无人小车与多旋翼无人机和地面站进行通信,将其自身自身位置和速度实时发送给监管后台,由后台人员选择行进方式,其上搭载的机载电脑控制行进路线;在系统中的任务负责在地面从起点进行巡检行进到终点后原路返回至起点,从地面采集图像实时发送给后台人员,监管后台与多旋翼无人机和无人小车进行通信,接收多旋翼无人机和无人小车传回的位置、速度等信息,并能接收图像,可以对多旋翼无人机和无人小车进行控制,使其在指定的起终点内进行巡检排查,并能对突发状况进行检错维修。
本发明的进一步改进在于:多旋翼无人机包括:
机架:所述机架包括机身和起落架,虽然装了机桨保护圈罩但没有涵道,所以无人机的拉力全靠螺旋桨本身产生的拉力。用于承载自驾仪、机载电脑、机器视觉模块以及各种数据采集模块和动力系统;
动力系统:包括螺旋桨、电机、电调以及电池,用于给与多旋翼无人机动力使其稳定运作;
嵌入式单片机:用于接收监管后台的信号,控制多旋翼无人机的起降方式;
机器视觉模块:用于与无人小车建立通信,判定无人小车的位置,用于控制多旋翼无人机飞行速度,并确认多旋翼无人机始终在模块采集范围内;
定位模块:用于获取卫星信号,并在一定情况下控制多旋翼无人机飞行;
机载电脑:用于采集图像,并实时将图像传输给监管后台,供于巡检、用于搭载各种传感器采集数据并选择性地传输给监管后台,多旋翼无人机机载电脑通过基于ARM的嵌入式GPU微型电脑实现;
指挥控制系统:用于接收各种数据采集模块采集到的数据,并接收来自嵌入式单片机的飞行指令确认起飞方式、来自被机器视觉模块的速度信号控制飞行。
本发明的进一步改进在于:所述无人小车包括
车架:用于承载无人小车各种传感器以及各种控制模块;
驱动系统:包括嵌入式微型单片控制器、电机、转接板,用于控制无人小车的行进以及转向动作,用于接收来自机载电脑的信号,并可受其信号控制行进方式;
双目摄像头:用于采集图像,用于导航无人机完成巡检;
激光雷达:用于构建平面图,用于规划路线规避障碍物;
ROS控制器:具体指机载电脑,用于规划小车行进路线,用于控制无人小车的行进速度,用于接收所述双目摄像头、所述激光雷达反射的光信号,用于向监管后台传输图像信息与车辆位置、速度信息,用于与监管后台进行通信,无人小车机载电脑通过基于ARM的嵌入式GPU微型电脑实现。
本发明的进一步改进在于:所述监管后台包括数据收发端,所述数据收发端通过笔记本、台式电脑实现,用于接收来自高空移动网关和地面移动网关的数据和图像。
本发明的进一步改进在于:所述高空移动网关节点装置、所述地面移动网关节点装置和所述监管后台均搭载有WiFi无线通信模块,通过无线局域网络实现数据收发,即接收无人小车的状态信息和多旋翼无人机、无人小车的图像信息,实现多旋翼无人机、无人小车以及监管后台的组网系统。
本发明的地空协同组网系统的控制方法,包括如下步骤:
步骤1:启动监管后台、高空移动网关节点装置和地面移动网关装置;
步骤2:地面移动网关装置启动激光雷达,设置终点;
步骤3:监管后台输入起飞指令,高空移动网关节点装置确认飞行方式,进入预定空域,识别无人小车并判定位置;
步骤4:多旋翼无人机飞入无人小车正上方预计轨道后,做暂时定高定点飞行,与监管后台即地面站建立通信通道,监管后台即地面站接收机载电脑采集到的数据;
步骤5:紧接所述步骤2,所述地面移动网关装置设置终点后进入倒计时,倒计时结束,启动双目摄像头,进行导航,采集到的图像返还给监管后台,无人小车根据机载电脑规划的路线行进;
步骤6:多旋翼无人机通过判定无人小车的位置进行移动,监管后台的监管人员观察无线传输回来的图像进行巡检;
步骤7:如遇突发状况,监管后台的监管人员记录无人小车的位置,并在监管后台叫停无人小车行进,最后实地勘查排错直到警报解除,继续无人小车完成下一步骤;
步骤8:如不遇突发状况,无人小车行进到终点后原路返回至起点,进入待机状态,多旋翼无人机跟随无人小车回到起点,监管后台的监管人员输入降落指令,多旋翼无人机下降进入待机状态,地空协同组网协同的一次巡检运作完成后等待下一次起飞或关闭系统。
本发明的有益效果是:
(1)本发明将部分高精度,损坏损失大的传感器模块如双目摄像头、激光雷达等器件转接到无人小车上并使能小车在提出的组网协同中通过雷达实现了自主规划、图像采集的功能,这样系统的功能不会减少,反而大大降低了系统配件损失;
(2)与单机运作相比,本发明提出一种多旋翼无人机—无人小车协同组网系统实现不单一获取现场数据并进行实时图传,这样一来使后台监管人员多方位了解到现场状况,做出更加精确的判断、想到更有效的解决方案,从而使监管任务变得更加高效,便捷;
(3)本发明的无人机和小车都搭载了机载电脑,在各种技术交互的系统里,网关集成多种异构网络通讯协议,能够同时与使用不同协议的设备或子系统进行通信,功耗小,可靠性高,并且搭载了视频编解码器如MPEG-2、MPEG-4、H.264、AVC等,此外机载电脑独有的CSI摄像头延时不高、清晰度不低、分辨率也符合巡检需求,所以本发明可以很方便地实现图传,没有额外购置昂贵的图传数传模块,既降低了经费,又避免了增加模块使无人机增加飞行难度;
(4)本发明在基于802.11标准的通信局域网内运行,全向天线发散,降低了部署和扩充的成本。
该发明具有安全性高,稳定性好,传输稳定的特点。应用于仓库的物品检查,复杂地形的探索。
附图说明
图1是本发明的的结构框图。
图2本发明的运作流程图。
具体实施方式
以下将以图式揭露本发明的实施方式,为明确说明起见,许多实务上的细节将在以下叙述中一并说明。然而,应了解到,这些实务上的细节不应用以限制本发明。也就是说,在本发明的部分实施方式中,这些实务上的细节是非必要的。此外,为简化图式起见,一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。
本发明是一种地空协同组网系统,多旋翼无人机、无人小车、和监管后台,多旋翼无人机和无人小车通过机载电脑和无线通信模块与监管后台连接;无人小车负责规划路线,自主避障,在给定起终点的情况下自主行进;多旋翼无人机通过跟随小车和无人小车进行地空协同巡检;监管后台负责接收地空组网传输回来的图像,并控制小车、无人机的运作状态,在多旋翼无人机和无人小车组网协同运作时,互补了明显的短板,并能更加全面的进行采集图像,使得监管后台更加高效地完成巡检任务。
如图1所示,本发明的组网协同系统包括了高空移动网关节点装置、地面移动网关节点装置和地面站,即多旋翼无人机、无人小车和监管后台,本实施例采用的多旋翼无人机为半开源四旋翼飞行器,搭载定位模块、航模锂电池等各种传感器,在监管后台的控制下进行起降动作并在无人小车上方协同稳定飞行。
多旋翼无人机和无人小车的机载电脑均搭载WIFI通信模块,分别与地空移动网关装置上的嵌入式GPU微信电脑相连,实现图像的传输以及实现数据的互传,由机载电脑服务器进行数据接收,提高了系统的网络拓展能力和装置的适配性。
本发明的多旋翼无人机,包括机架、动力系统以及指挥控制系统。在此基础上,本发明在装置上额外配置了定位模块、机器视觉模块与机载电脑,其中:所述机架包括机身和起落架,虽然装了机桨保护圈罩但没有涵道,所以无人机的拉力全靠螺旋桨本身产生的拉力,用于承载自驾仪、机载电脑、机器视觉模块以及各种数据采集模块和动力系统。
动力系统包括螺旋桨、电机、电调以及电池,用于给与多旋翼无人机动力使其稳定运作。
指挥控制系统用于接收各种数据采集模块采集到的数据,并接收来自嵌入式单片机的飞行指令确认起飞方式、来自被机器视觉模块的速度信号控制飞行,采用嵌入式单片微控制器。
旋翼无人机的自驾仪通过嵌入式单片微控制器实现,使用ARDC控制算法控制多旋翼无人机的稳定,嵌入式单片机:用于接收监管后台的信号,控制多旋翼无人机的起降方式。
机载定位模块采用GPS模块,用于实时获取无人机的GPS信息并传达至飞行控制模块,在一定时候用其来辅助控制飞行。
机载电脑用于采集图像,并实时将图像传输给监管后台,供于巡检、用于搭载各种传感器采集数据并选择性地传输给监管后台,多旋翼无人机机载电脑通过基于ARM的嵌入式GPU微型电脑实现,其上搭载了CSI串口通信,实现了连接CSI摄像头进行图像采集,机载计算机模块采用额外的Ubuntu18.04+Opencv的处理平台对获得的图像进行识别,并且将采集到的图像实时传输给监管后台。
机器视觉模块通过对小车的外部特征进行识别,在无人小车离开视觉模块视线范围外之后给多旋翼无人机发送信号,从而控制其飞行运作,最后跟随小车完成巡检任务。
无人小车包括车架、驱动系统、ros控制器,搭载机载电脑、锂电池等各种模块,此外,本发明在装置额外配置了双目摄像头与激光雷达,其中:
车架用于承载无人小车各种传感器以及各种控制模块;
驱动系统:包括嵌入式微型单片控制器、电机、转接板,用于控制无人小车的行进以及转向动作,用于接收来自机载电脑的信号,并可受其信号控制行进方式,小车的驱动系统单片机通过嵌入式单片微控制器实现。
双目摄像头用于采集图像,用于导航无人机完成巡检。
激光雷达用于构建平面图,用于规划路线规避障碍物。
ROS控制器具体指机载电脑,用于规划小车行进路线,用于控制无人小车的行进速度,用于接收所述双目摄像头、所述激光雷达反射的光信号,用于向监管后台传输图像信息与车辆位置、速度信息,用于与监管后台进行通信,无人小车机载电脑通过基于ARM的嵌入式GPU微型电脑实现,机载电脑安装了英伟达官方Linux系统+ROS系统控制双目摄像头和激光雷达进行导航和建图,有机载电脑规划路线将分析得到的速度信息,通过USB通信接口传输给驱动系统,实现了自主规划行进路线,同时机载电脑与监管后台进行网络连接将采集到的图像发送给后者,使得监管人员能从平面角度了解到现场情况。
本发明的多旋翼无人机和无人小车的机载电脑均搭载WIFI通信模块,分别与多旋翼无人机上的嵌入式GPU微型电脑和无人小车上的嵌入式GPU微型电脑相连,实现图像的传输,同样的,多旋翼无人机上的嵌入式GPU微型电脑上搭载了CSI串口通信,实现了连接CSI摄像头进行图像采集,无人小车上的嵌入式GPU微型电脑上搭载了USB协议通信串口,与无人小车上的双目摄像头和激光雷达相连,实现数据的收发。
监管后台包括数据收发端,数据收发端可通过笔记本、台式电脑实现,监管后台装置上设有通信模块和监管模块;通信模块旋翼无人机、无人小车的机载电脑或是单片机相连,用于接收来自高空移动网关和地面移动网关的数据和图像。
本发明的旋翼无人机和无人小车组网,在指令控制无人机起降的情况下:监管后台通过无线数据传输模块发送指令,多旋翼无人机下置微型单片控制器接收指令,并通过UART通信串口控制无人机起飞,多旋翼无人机在无人小车提前一段时间起飞,与此同时机器视觉模块启动识别无人小车特征进行锁定,识别成功后进行暂态定高定点飞行,无人小车接收监管后台指令从“地图”起点向前行进,无人小车和机载电脑通过USB通信进行数据的收发;多旋翼无人机和无人小车组网协同通过多旋翼无人机上机器视觉模块实现,机器视觉模块使用blods算法识别小车的色块、与此同时使用四元检测算法识别无人小车的形状。
多旋翼无人机和无人小车在无线局域网下的完整巡检流程如图2所示,具体包括如下工作流程:
步骤1:启动监管后台、高空移动网关节点装置和地面移动网关装置;
步骤2:地面移动网关装置启动激光雷达,设置终点。具体操作方法如下:无人小车在整个系统装置进行巡检任务前启动激光雷达通过扫描周围环境的2D/3D点云数据,从而确定自身所在位置及构建环境地图,通过三角测距法与TOF方法来进行测距,主要原理表现为通过激光发射器发出一束调制激光信号,该调制光经被测物体反射后由激光探测器接收,通过测量发射激光和接收激光的相位差即可计算出目标的距离。
步骤3:监管后台输入起飞指令,高空移动网关节点装置确认飞行方式,进入预定空域,识别无人小车并判定位置。
此步骤中的“输入起飞指令”,监管后台通过数据传输模块实现指令的传输,多旋翼无人机上搭载的数据传输模块与下置嵌入式单片微控制器GPIO口相连,输入的起飞指令通过数据传输模块无线传输至多旋翼无人上的对接模块,作出判断后,下置单片机向自驾仪发送起飞信号;
单片机位于飞机下部的单片机,主要是起外接传感器与通信的作用,此单片机的串口引出,一方面与飞控通信;另一串口外接数据传输模块与外界通信。单片机一端按键为切换模式,一端为起飞指令。亮红灯则为正常模式,此时按下另一端按键,倒计时数秒,飞机起飞。亮绿灯模式,则飞机起飞悬停数秒后降落;
此步骤中的“识别无人小车并判定位置”则是通过机器视觉模块实现,将采集到的图像信息处理后,得到需要做的动作,包括pitch方向即前后,raw方向即左右平移,yaw方向即左右旋转,高度这四种运动,将运动指令信息实时发给飞控,实现视觉控制自主飞行。
步骤4:多旋翼无人机飞入无人小车正上方预计轨道后,做暂时定高定点飞行,与监管后台建立通信通道,监管后台接收机载电脑采集到的数据;
步骤5:紧接所述步骤2,所述地面移动网关装置设置终点后进入倒计时,倒计时结束,启动双目摄像头,进行导航,采集到的图像返还给监管后台,无人小车根据机载电脑规划的路线行进;
步骤6:多旋翼无人机通过判定无人小车的位置进行移动,监管后台的监管人员观察无线传输回来的图像进行巡检;
步骤7:如遇突发状况,监管后台的监管人员记录无人小车的位置,并在监管后台叫停无人小车行进,最后实地勘查排错直到警报解除,继续启动无人小车完成下一步骤;
步骤8:如不遇突发状况,无人小车行进到终点后原路返回至起点,进入待机状态,多旋翼无人机跟随无人小车回到起点,监管后台的监管人员输入降落指令,多旋翼无人机下降进入待机状态,地空协同组网协同的一次巡检运作完成后等待下一次起飞或关闭系统,在此步骤中,“输入降落指令”,监管后台通过数据传输模块实现指令的传输,多旋翼无人机上搭载的数据传输模块与下置嵌入式单片微控制器GPIO口相连,输入的起飞指令通过数据传输模块无线传输至多旋翼无人上的对接模块,作出判断后,下置单片机向自驾仪发送降落信号。
本发明利用多旋翼无人机和无人小车,有效互补了二者在运作时的短板,更高效地完成巡检任务,且在运作故障时损失降低了很多。
本发明以无人机为主从高空进行目标探测以及图像采集与视频传输,地面加以小车就平面地形进行图像采集并辅助勘测的组网装置,主要应用于地空协同工作,既能同时得到清晰的高空和平面图像信息,还有位置信息还有地形信息。
将激光雷达,双目摄像头移配在地面移动设备上,与空中移动设备用无线通信的方式进行信息的传输,一方面防止了昂贵设备因空中环境的突变导致飞机摔落而产生的巨大损失,另一方面增加了位置信息与地形信息的准确性,再者使用通信适配模块根据设备不同的协议进行协议的适配与转换,使不同网络进行融合,并且将采集到的终端设备数据根据数据的属性进行数据解析与封装,大大提升了通信的流畅度。
本发明将一部分的采集设备转移到地面移动网关上,实现无人小车规划行进路线,无人机采集周边环境的图像信息,两移动网关平台集成了多种通信技术,以确保小车--无人机组网的稳定通信,且均搭载机载电脑使得本发明的实现更加高效、便捷,此外,当再次为完成其他任务时,该装置的适配性也很强。设备终端产生的数据能通过网关处理并转发最后的人工监管后台。
以上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等,均应包括在本发明的权利要求范围之内。

Claims (5)

1.一种地空协同组网系统,包括高空移动网关节点装置、地面移动网关节点装置和监管后台,其特征在于:
所述高空移动网关节点装置负责跟随所述地面移动网关节点装置进行协同巡检,从高空采集图像实时发送给所述监管后台;
所述地面移动网关节点装置负责在地面从起点进行巡检行进到终点后原路返回至起点,从地面采集图像实时发送给所述监管后台;
所述监管后台对所述高空移动网关节点装置和所述地面移动网关节点装置进行控制,使所述高空移动网关节点装置和所述地面移动网关节点装置在指定的起终点内进行巡检排查,并能对突发状况进行检错维修,
其中:所述高空移动网关节点装置为多旋翼无人机,包括:
机架:用于承载自驾仪、机载电脑、机器视觉模块以及各种数据采集模块和动力系统;
动力系统:用于给与多旋翼无人机动力使其稳定运作;
嵌入式单片机:用于接收监管后台的信号,控制多旋翼无人机的起降方式;
机器视觉模块:用于与地面移动网关节点装置建立通信,判定地面移动网关节点装置的位置,用于控制多旋翼无人机飞行速度,并确认多旋翼无人机始终在模块采集范围内;
定位模块:用于获取卫星信号,并在一定情况下控制多旋翼无人机飞行;
机载电脑:用于采集图像,并实时将图像传输给监管后台,供于巡检、用于搭载各种传感器采集数据并选择性地传输给监管后台,多旋翼无人机机载电脑通过基于ARM的嵌入式GPU微型电脑实现;
指挥控制系统:用于接收各种数据采集模块采集到的数据,并接收来自嵌入式单片机的飞行指令确认起飞方式、来自被机器视觉模块的速度信号控制飞行;
所述地面移动网关节点装置为无人小车,包括:
车架:用于承载无人小车各种传感器以及各种控制模块;
驱动系统:用于控制无人小车的行进以及转向动作,用于接收来自机载电脑的信号,并可受其信号控制行进方式;
双目摄像头:用于采集图像,用于导航无人机完成巡检;
激光雷达:用于构建平面图,用于规划路线规避障碍物;
ROS控制器:用于规划小车行进路线,用于控制无人小车的行进速度,用于接收所述双目摄像头、所述激光雷达反射的光信号,用于向监管后台传输图像信息与车辆位置、速度信息,用于与监管后台进行通信,无人小车机载电脑通过基于ARM的嵌入式GPU微型电脑实现;
所述监管后台包括数据收发端,用于接收来自高空移动网关和地面移动网关的数据和图像。
2.根据权利要求1所述一种地空协同组网系统,其特征在于:所述高空移动网关节点装置搭载有WiFi无线通信模块,通过无线局域网络实现数据收发。
3.根据权利要求1所述一种地空协同组网系统,其特征在于:所述地面移动网关节点装置搭载有WiFi无线通信模块,通过无线局域网络实现数据收发。
4.根据权利要求1所述一种地空协同组网系统,其特征在于:所述监管后台搭载有WiFi无线通信模块,通过无线局域网络实现数据收发。
5.一种地空协同组网系统的控制方法,所述方法应用于如权利要求1所述的一种地空协同组网系统,其特征在于:所述控制方法包括如下步骤:
步骤1:启动监管后台、高空移动网关节点装置和地面移动网关装置;
步骤2:地面移动网关装置启动激光雷达,设置终点;
步骤3:监管后台输入起飞指令,高空移动网关节点装置确认飞行方式,进入预定空域,识别地面移动网关装置并判定位置;
步骤4:高空移动网关节点装置确认飞入地面移动网关装置正上方预计轨道后,做暂时定高定点飞行,与监管后台建立通信通道,监管后台接收机载电脑采集到的数据;
步骤5:紧接所述步骤2,所述地面移动网关装置设置终点后进入倒计时,倒计时结束,启动双目摄像头,进行导航,采集到的图像返还给监管后台,地面移动网关装置根据机载电脑规划的路线行进;
步骤6:高空移动网关节点装置通过判定地面移动网关装置的位置进行移动,监管后台的监管人员观察无线传输回来的图像进行巡检;
步骤7:如遇突发状况,监管后台的监管人员记录地面移动网关装置的位置,并在监管后台叫停地面移动网关装置行进,最后实地勘查排错直到警报解除,继续启动地面移动网关装置完成下一步骤;
步骤8:如不遇突发状况,地面移动网关装置行进到终点后原路返回至起点,进入待机状态,高空移动网关节点装置确跟随地面移动网关装置回到起点,监管后台的监管人员输入降落指令,高空移动网关节点装置确下降进入待机状态,地空协同组网协同的一次巡检运作完成后等待下一次起飞或关闭系统。
CN202110536575.5A 2021-05-17 2021-05-17 一种地空协同组网系统及控制方法 Active CN113271357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110536575.5A CN113271357B (zh) 2021-05-17 2021-05-17 一种地空协同组网系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110536575.5A CN113271357B (zh) 2021-05-17 2021-05-17 一种地空协同组网系统及控制方法

Publications (2)

Publication Number Publication Date
CN113271357A CN113271357A (zh) 2021-08-17
CN113271357B true CN113271357B (zh) 2023-04-18

Family

ID=77231325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110536575.5A Active CN113271357B (zh) 2021-05-17 2021-05-17 一种地空协同组网系统及控制方法

Country Status (1)

Country Link
CN (1) CN113271357B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115342B (zh) * 2021-11-19 2023-12-19 南京航空航天大学 一种基于冲突处理的无人集群多域协同系统及方法
CN114115287B (zh) * 2021-12-06 2023-09-22 西安航空学院 一种无人车-无人机空地协同巡逻和引导系统
CN115355952B (zh) * 2022-10-20 2023-01-20 山东联合能源管道输送有限公司 一种原油储罐智能巡检系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111300372A (zh) * 2020-04-02 2020-06-19 同济人工智能研究院(苏州)有限公司 空地协同式智能巡检机器人及巡检方法
CN112364707A (zh) * 2020-10-20 2021-02-12 华南理工大学 一种智能车对复杂路况进行超视距感知的系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206523781U (zh) * 2017-01-22 2017-09-26 江苏中科院智能科学技术应用研究院 一种无人机与无人车协作巡逻系统
CN109857133A (zh) * 2019-03-26 2019-06-07 台州学院 基于双目视觉的多旋翼无人机选择性避障控制方法
CN110647145B (zh) * 2019-09-05 2022-12-09 新疆大学 基于安防的地面移动机器人、无人机协同作业系统及方法
CN110888456B (zh) * 2019-12-05 2023-06-30 中国北方车辆研究所 一种无人机与无人车的自主协同侦察控制方法
CN112285119A (zh) * 2020-10-30 2021-01-29 南通大学 一种基于无人机车协同的油气管道裂纹检测方法
CN112650302A (zh) * 2021-01-12 2021-04-13 中国人民解放军国防科技大学 固定翼无人机与旋翼无人机自主协同运输系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111300372A (zh) * 2020-04-02 2020-06-19 同济人工智能研究院(苏州)有限公司 空地协同式智能巡检机器人及巡检方法
CN112364707A (zh) * 2020-10-20 2021-02-12 华南理工大学 一种智能车对复杂路况进行超视距感知的系统及方法

Also Published As

Publication number Publication date
CN113271357A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113271357B (zh) 一种地空协同组网系统及控制方法
CN110888456B (zh) 一种无人机与无人车的自主协同侦察控制方法
US20230297106A1 (en) Flight management system for uavs
CN109923492B (zh) 飞行路径确定
CN110109480A (zh) 一种基于多传感器融合的无人机巡查搜救系统及搜救方法
CN105157708A (zh) 基于图像处理与雷达的无人机自主导航系统及方法
CN108572661A (zh) 一种无人机控制系统及无人机控制方法
CN111045444A (zh) 自适应感测和避让系统
CN110647145A (zh) 基于安防的地面移动机器人、无人机协同作业系统及方法
CN108762286A (zh) 一种可对多架无人机飞行控制的地面控制系统
CN104049625A (zh) 基于无人飞行器的物联网灌溉设施调控平台及方法
CN110716549A (zh) 用于无地图区域巡逻的自主导航机器人系统及其导航方法
CN113156998B (zh) 一种无人机飞控系统的控制方法
CN109557880A (zh) 一种基于无人机的生态巡检系统
WO2020000790A1 (zh) 立井检测方法及系统
CN112486199A (zh) 一种适用于偏远输电塔群无人机巡检控制系统及巡检方法
CN116989771B (zh) 一种用于检测结构缺陷的地空协同方法、系统及装置
CN112684791A (zh) 一种基于5g的无人驾驶物流车
CN112344930A (zh) 一种用于无人机的室内定位导航系统
CN112672323A (zh) 一种无人机组网飞行系统以及运用该系统的无人机远程通信方法
CN113568427B (zh) 无人机自主着陆移动平台的方法及系统
CN110780318A (zh) 飞行装置gps信号缺失后救援方法及控制方法
CN116068928A (zh) 一种分布式异构无人机集群空地一体控制系统及方法
CN115328178A (zh) 一种复杂环境下的无人机精准降落方法及系统
CN114326775B (zh) 基于物联网的无人机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant