CN109991386A - 无人船与无人机协同控制监控方法、装置及系统 - Google Patents
无人船与无人机协同控制监控方法、装置及系统 Download PDFInfo
- Publication number
- CN109991386A CN109991386A CN201910307622.1A CN201910307622A CN109991386A CN 109991386 A CN109991386 A CN 109991386A CN 201910307622 A CN201910307622 A CN 201910307622A CN 109991386 A CN109991386 A CN 109991386A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- unmanned
- control
- instruction
- unmanned boat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 36
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 34
- 230000003068 static effect Effects 0.000 claims abstract description 9
- 230000001276 controlling effect Effects 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 18
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 16
- 238000012806 monitoring device Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 230000001105 regulatory effect Effects 0.000 claims description 7
- 239000003643 water by type Substances 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 241000195493 Cryptophyta Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010937 topological data analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及无人船与无人机协同控制监控方法、装置及系统，所述方法包括：地面站向无人机和无人船发送工作模式指令；若所述工作模式指令为跟随指令，则使所述无人机跟随所述无人船飞行；若所述工作模式指令为第一任务指令，则使所述无人船沿预定轨迹自动航行，所述无人机根据所述地面站的控制飞行；若所述工作模式指令为第二任务指令，则使所述无人船静止，所述无人机根据所述地面站的控制飞行；若所述工作模式指令为航行指令，则使所述无人船搭载所述无人机航行；若所述工作模式指令为降落控制指令，则使所述无人机降落在所述无人船上。本发明的多种工作模式，可实现在水域监控过程中对无人机和无人船的协同控制。
Description
技术领域
本发明涉及无人船与无人机协同控制监控方法、装置及系统。
背景技术
我国江河湖泊资源丰富，内河监管水域点多、线多、面广，实际监管很难到位，对更安全高效的水面监控设备需求迫切。结合2016年年底中央通过、印发的《关于全面推行河长制的意见》，标志着河长制已经从2008年应对无锡蓝藻爆发水污染的应急之策，上升为国家政策。“河长制”管理需求之下涌现了许多便于河长监管的水面监控系统。
现有水面监控系统有河湖视频监控系统。通过在河道两侧均匀的架设摄像头和采集辅助组件(照明灯和单片机)，通过对河面全方位视频监控获得河面信息。它的优点在与可以对水面进行全时刻、全方位的监控，但是所架设摄像头众多且固定，视频信息量众多繁杂，监控人员不能及时从中获取有效信息。
随着无人船和无人机相关技术的发展，将无人船和无人机结合起来用于内河湖泊监管可克服河湖视频监控系统存在的问题。目前的无人船无人机协作方案主要有两种。第一种是采用无人船载控制系统作为控制中心，无人机配有机载协调系统，无人船的船载控制系统和无人机的机载控制设备通过混合通讯系统交换数据，混合通讯系统采用内部总线和通讯板卡统一控制无人船及无人机协同工作。其核心控制方案在于无人船作为控制主体，对无人船无人机收集环境监测信息进行分析后发布控制指令控制无人船无人机航行姿态。其不足在于，系统通讯仅为无人船无人机双向通讯，系统控制对无人船的船载控制系统要求高，一旦船载控制系统出现错误，系统失控可能性高。且整个系统自主性高，人为可控度低，在实际应用场景中不便于人为操控。
第二种是采用岸端控制系统作为控制中心，协同云控制系统根据岸机控制系统所发布的目标任务以及接收到的无人船与无人机的状态信息，来调度无人机配合无人船按照规划航线完成任务。其协同云控制系统分为主云控制器和分云控制器，主云控制器将接收到的目标任务进行分割，统筹协调分云控制器执行分任务。其主要航行姿态计算和控制指令发布由协同云控制系统完成，可靠性高。但由于无人船与无人机的航行姿态只由协同云控制系统控制，每次信息传递和位姿调整需一定时间，对应急性突发状况的反映能力不足。同时，协同云控制系统设计用于多无人船编队、无人机视野辅助协同控制，每时刻接收信息量大，数据运算量大，且目标任务繁杂。因此要通过主云控制器将目标任务分割，统筹分云控制器执行任务。该技术方案不完全适用于单一无人船与无人机协同控制监控系统上。
发明内容
本公开提供一种无人船与无人机协同控制监控方法、装置及系统，用于实现对无人船和无人机的协同控制，减轻了无人船和无人机的计算任务，及时预警安全事故的发生。
根据本公开实施例的一方面，提供一种无人船与无人机协同控制监控方法，包括：
地面站向无人机和无人船发送工作模式指令，所述地面站用于控制所述无人船和所述无人机；
若所述工作模式指令为跟随指令，则使所述无人机跟随所述无人船飞行，其中跟随方法包括：
所述地面站获取所述无人机拍摄的图像；
检测预定时长内是否能从所述图像中提取到位于所述无人船上的定位标识；
若在所述预定时长内提取到所述定位标识，则向无人机发送跟随控制指令集，使无人机跟随所述定位标识飞行；
若未在所述预定时长内提取到所述定位标识，则计算所述无人机和所述无人船之间的经纬度差值，并向所述无人机发送姿态调整指令集调整其飞行姿态，使得所述经纬度差值不断减小，直到能在所述预定时长内提取到所述定位标识。
可选地，若所述工作模式指令为第一任务指令，则使所述无人船沿预定轨迹自动航行，所述无人机根据所述地面站的控制飞行，其中所述第一任务指令包括控制所述无人船按所述预定轨迹自动航行的第一航行控制指令集，和控制所述无人机飞行的第一飞行控制指令集。
可选地，若所述工作模式指令为第二任务指令，则使所述无人船静止，所述无人机根据所述地面站的控制飞行，其中所述第二任务指令包括控制所述无人船停船的停船指令，和控制所述无人机飞行的第二飞行控制指令集。
可选地，若所述工作模式指令为航行指令，则使所述无人船搭载所述无人机航行，其中所述航行指令包括控制所述无人船航行的第二航行控制指令集。
可选地，若所述工作模式指令为降落控制指令，则使所述无人机降落在所述无人船上。
根据本公开实施例的二方面，提供一种无人船与无人机协同控制监控装置，包括：
第一发送单元，配置为向无人机和无人船发送工作模式指令；
跟随模式控制单元，配置为若所述工作模式指令为跟随指令，则使所述无人机跟随所述无人船飞行，所述跟随控制单元包括：
获取单元，获取所述无人机拍摄的图像；
检测单元，配置为检测预定时长内是否能从所述图像中提取到位于所述无人船上的定位标识；
第二发送单元，配置为若在所述预定时长内提取到所述定位标识，则向所述无人机发送跟随控制指令集，使无人机跟随所述定位标识飞行；
调整单元，配置为若未在所述预定时长内提取到所述定位标识，则计算所述无人机和所述无人船之间的经纬度差值，并向所述无人机发送姿态调整指令集调整其飞行姿态，使得所述经纬度差值不断减小，直到能在所述预定时长内提取到所述定位标识。
可选地，所述无人船与无人机协同控制监控装置还包括：
第一任务控制单元，配置为若所述工作模式指令为第一任务指令，则使所述无人船沿预定轨迹自动航行，所述无人机根据所述地面站的控制飞行，其中所述第一任务指令包括控制所述无人船按预定轨迹自动航行的第一航行控制指令集，和控制所述无人机飞行的第一飞行控制指令集。
第二任务控制单元，配置为若所述工作模式指令为第二任务指令，则使所述无人船静止，所述无人机根据所述地面站的控制飞行，其中所述第二任务指令包括控制所述无人船停船的停船指令，和控制所述无人机飞行的第二飞行控制指令集。
可选地，所述无人船与无人机协同控制监控装置还包括：
航行模式控制单元，配置为若所述工作模式指令为航行指令，则使所述无人船搭载所述无人机航行，其中所述航行指令包括控制所述无人船航行的第二航行控制指令集。
降落控制单元，配置为若所述工作模式指令为降落控制指令，则使所述无人机降落在所述无人船上。
根据本公开实施例的三方面，提供一种地面站，包括处理器，与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如第一方面所述的无人船与无人机协同控制监控方法。
根据本公开实施例的三方面，提供一种无人船与无人机协同控制监控系统，包括一个无人机，一个无人船和一个地面站，所述地面站包括如第二方面所述的无人船与无人机协同控制监控装置。
本公开的有益效果是：
1、具有航行、跟随、任务、降落等多种工作模式，可实现在水域监控过程中对无人机和无人船的协同控制，协调无人船和无人机共同完成任务；
2、航行模式可适用于执行勘测任务前后两个阶段，在该模式下无人船搭载着无人机在地面站控制下航行至待勘测水域，或勘测完成后搭载着无人机返回；
3、在跟随模式中，无人机跟随无人船沿预定设计轨迹航行，进行河道例行巡检工作，在此过程中，可根据不同河道特点设计不同航行路线和轨迹，使系统尽可能在短时间内完成河道的巡检，提高巡检效率；
4、在航行模式和跟随模式中，可随时可启动任务模式，以对紧急情况进行处理，或完成地面站随时发送的任务，在第一任务模式中，无人船在目标水域沿指定轨迹航行监控，无人机则在地面站控制下从高空不同角度监控，二者联合实现多方位、多角度全面勘测工作；当水域情况复杂时，则启动第二任务模式，无人船先在目标任务点附近静止待命，无人机在地面站控制下飞行至指定河道上空，开展对目标任务点的多方位全面勘测工作并将拍摄图像传输给地面站；
5、在跟随模式和任务模式中，可随时启动降落模式，以应对无人机没电等突发情况；
6、无人机和无人船将图像、水域的环境信息、自身的状态信息传输给地面站，通过地面站对这些信息进行处理显示，地面站还计算无人船、无人机最佳航行轨迹，对运动运动姿态进行控制，地面站作为整个系统的控制中心减轻了无人船和无人机的计算任务，使得系统的实时性和对应急性突发状况的反映能力都比协调云控制系统强，而且可以处理更复杂的情况；
7、最重要的是，人工可以通过地面站直接发送指令控制无人船、无人机的航行姿态，人工可控的加入，方便任务执行时得到效果更好更全方位的勘测图片和勘测信息，并且能及时预警安全事故的发生，相比无人船控制无人机和单独利用无人机进行勘测，其安全性大为提高，同时也大大降低了操控人员的操控难度。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1示出了本发明一个实施例提供的无人船的主视图。
图2示出了本发明一个实施例提供的无人船的俯视图。
图3示出了本发明一个实施例提供的无人机的结构示意图。
图4示出了无人船与无人机协同工作流程图。
图5A示出了在任务模式下无人船与无人机协同控制监控方法流程图。
图5B示出了无人船上的控制指令集流程图。
图5C示出了无人机上的控制指令集流程图。
图6示出了在航行模式下无人船与无人机协同控制监控方法流程图。
图7A示出了在跟随模式下无人船与无人机协同控制监控方法流程图。
图7B示出了基于轮廓特征的图像匹配算法流程图。
图7C示出了GPS定位跟随的算法流程图。
图8示出了在降落模式中无人船与无人机协同控制监控方法流程图。
图9示出了本发明一个实施例提供的无人船与无人机协同控制监控装置的结构图。
图10示出了本发明所涉及的地面站的结构图。
图11示出了本发明一个实施例提供的无人船与无人机协同控制监控系统结构图。
具体实施方式
图1、图2示出了本发明一个实施例提供的无人船的结构示意图，该无人船 1可采用双体结构无人船，兴波阻力小，横稳性高，宽阔的甲板方便无人机降落。无人船1包括动力装置(喷推2、舵机3和电机)、辅助降落平台4、船载无线充电模块5、甲板6、雷达7、船载GPS8、工控机9、船载摄像头10、舰岛11、主控板、水域pH值采集传感器、水域浊度监测传感器、定位标识、蓄电池等。
无人船1可采用能支持其航行40公里的24V-60AH蓄电池。主控板可采用STM32F103为核心处理器，通过数传模块接收地面站的控制指令控制无人1船动力装置，进而实现对无人船1航行姿态的控制。雷达7、船载GPS 8、摄像头 10收集的环境信息反馈给工控机9，水域PH值采集传感器、水域浊度监测传感器采集水质信息也反馈给工控机9。工控机9是无人船1的信息反馈中心，可将这些信息传输给地面站进行处理和显示。甲板6上的定位标识用于指引无人机 12准确降落，和无人机12跟随无人船1时的定位。辅助降落平台4可为方形降落平台，四周加有护网。船载无线充电模块5设置在辅助降落平台4下方，用于给降落的无人机充电，提升续航能力。
图3示出了本发明一个实施例提供的无人机的结构示意图，无人机12包括 2.4G数传模块13、飞控中心14、机载GPS 15、5.8G图传模块16、机载摄像头 17、机载无线充电模块18。飞控中心14是无人机的控制中心，包含处理器，以及气压计、陀螺仪等传感器。飞控中心14通过2.4G数传模块接收地面站的飞行姿态控制指令。机载GPS 15和机载传感器通过2.4G数传模块13将经纬度信息和传感器数据反馈给地面站，机载摄像头17通过5.8G图传模块16将图像反馈给地面站。机载无线充电模块模块18与船载无线充电模块5配合给无人机无线充电，补充电能，提升续航能力。本发明实施例并不对无线充电模块5，18的具体结构进行限定。
地面站为整个系统的控制中心，其协同监控平台可为基于跨平台的Qt图形库框架，以面向对象的C++编程语言，设计的一款可以人机交互的上位机软件，可以实现水空一体化无人监控系统的数据可视化以及协同控制。地面站的协同监控平台包括监控界面和控制界面。监控界面包括系统信息和监控信息。系统信息主要包含无人机与无人船的工作状态，无人机的工作状态包括四路通道值(针对四旋翼无人机)、经纬度、高度、航向以及电量，无人船的工作状态包括陀螺仪参数(俯仰角、航向角、滚轮角、温度值)、船速、无人船经纬度及电量。监控信息主要包括无人机机载摄像头实时图像信息、无人船船载摄像头实时图像信息、无人船雷达信息、水质监测信息(PH值、浊度等)。
地面站协同监控平台的监控界面还包括无人机监控控件组和无人船监控控件组。无人机监控控件组包括开始录像控件、停止录像控件、图像识别控件和图像拼接控件，按下开始录像控件和停止录像控件可以开启和关闭机载摄像头。在无人机降落过程中，可按下图像识别控件，识别辅助降落平台上的定位标识，使无人机精准地降落在平台上。按下图像拼接控件，可将无人机拍摄的图像截屏，并将连续截得的多张图片拼接成一幅更完整的图片。
无人船监控控件组可包括开始录像控件、停止录像控件和图像拼接控件，开始录像控件和停止录像控件可以开启和关闭船载摄像头，图像拼接控件可将无人机拍摄的图像截屏，并将连续截得的多张图片拼接成一幅更完整的图片。
图像拼接功能可通过在地面站协同监控平台植入特征匹配图像拼接算法来实现，通过对原图进行特征点捕捉，改变阈值参数，获得有限个特征点，然后通过随机抽样一致性算法(RANSAC)对特征点进行匹配，重复特征点匹配可以得到多个图像间投影变换关系，基于此对多个图片进行图像拼接，得到完整水域图。
协同监控平台的控制界面包括但不限于以下控件组：控制无人机飞行状态的控件组(解锁控件、上锁控件、起飞控件、右飞控件、前飞控件、后飞控件、左旋控件、右旋控件、定高控件等)，控制无人船航行状态的控件组(前进控件、左转控件、右转控件、停船控件、后退控件、既定轨迹航行控件等)，充电控件等。按下一个控件，则执行相应的功能，例如按下解锁控件，无人机解除锁定状态，可以起飞；按下上锁控件，无人机处于锁定状态，对解锁指令以外的控制指令不做响应；按下右飞控件，无人机将向右飞行；按下既定轨迹航行控件，无人船将按既定轨迹自动航行；按下充电控件，可启动无线充电模块5，18，给无人机充电。
协同监控平台的控制界面还包括目的地坐标控件，用于分别显示无人机和无人船将要去的目的地的经度、纬度和高度以及当前时刻无人机距离目的地的横向差值纵向差值。
协同监控平台的控制界面还包括无人机功能控件组，该无人机功能控件组可包括地图导航、自动前往、目标跟随、自主降落和控制面板等按键。地图导航功能用于获取无人机将要去往的目的地坐标并将其显示到目的地坐标窗口中。自动前往功能用于无人机根据地图导航得到的经纬度和高度自动前往目的地。目标跟随功能用于实现无人机跟随无人船飞行。自主降落功能用于实现无人机自主降落到无人船上。控制面板用于当无人机飞行过程中出现问题时，调动无人机飞行控制子窗口，控制无人机飞行状态的控件组位于该飞行控制子窗口中，通过控制无人机飞行状态的控件组可以控制无人机的解锁、起飞、降落、左旋、右旋、上升、下降、重置为悬停状态等功能。
协同监控平台的控制界面还包括无人船功能控件组，无人船功能控件组可包括地图导航、自动前往、轨迹航行、轨迹显示和控制面板等按键。地图导航功能用于获取无人船将要去往的目的地坐标并将其显示到目的地坐标控件中。自动前往功能用于实现无人船根据地图导航得到的经纬度自动航行前往。轨迹航行功能用于实现无人船沿既定轨迹航行，轨迹显示功能用于在轨迹显示子窗口中同时实时显示无人船航行轨迹与无人机飞行轨迹，在轨迹显示子窗口中，每一小段的比例尺可为5米，可用红线表示无人机飞行的轨迹，黑线表示无人船航行的轨迹。控制面板用于当无人船航行过程中出现问题时，调动无人船航行控制子窗口，控制无人船航行状态的控件组位于该无人船航行控制子窗口中，通过控制无人船航行状态的控件组可以控制无人船的前进、后退、左转、右转、快速直行和按照轨迹航行。
图4示出了无人船与无人机协同工作流程图，无人船、无人机和地面站构成的协同控制监控系统具有航行、跟随、任务、降落等多种工作模式，可实现在水域监控过程中对无人机和无人船的协同控制，协调无人船和无人机共同完成任务。
图5A示出了在任务模式下无人船与无人机协同控制监控方法流程图，该方法包括如下步骤。
步骤501，地面站向无人机和无人船发送工作模式指令。
步骤502，若所述工作模式指令为第一任务指令，则使无人船和无人机进入第一任务模式，其中所述无人船沿预定轨迹自动航行，所述无人机根据所述地面站的控制飞行。所述第一任务指令包括控制所述无人船按所述预定轨迹自动航行的第一航行控制指令集，和控制所述无人机飞行的第一飞行控制指令集。该第一航行控制指令集可以是地面站协同监控平台控制界面中无人船功能控件组所对应的指令集。该第一飞行控制指令集可以是控制界面中无人机功能控件组所对应的指令集。在第一任务模式中，无人船在目标水域沿指定轨迹航行监控，无人机则在地面站控制下从高空不同角度监控，二者联合实现多方位、多角度全面勘测工作。
步骤503，若所述工作模式指令为第二任务指令，则使无人船和无人机进入第二任务模式，其中所述无人船静止，所述无人机根据所述地面站的控制飞行。所述第二任务指令包括控制所述无人船停船的停船指令，和控制所述无人机飞行的第二飞行控制指令集。该停船指令可以是地面站协同监控平台控制界面中无人船功能控件组所对应的指令。该第二飞行控制指令集可以是控制界面中无人机功能控件组所对应的指令集。当水域情况复杂时，可启动第二任务模式，无人船先在目标任务点附近静止待命，无人机在地面站控制下飞行至指定河道上空，开展对目标任务点的多方位全面勘测工作并将拍摄图像传输给地面站。
示意性的，无人船接收到地面站发送的第一航行控制指令集或第二航行控制指令集后，可按照如图5B所示的控制流程进行自动控制。无人机接收到地面站发送的第一飞行控制指令集或第二飞行控制指令集后，可按照如图5C所示的控制流程进行自动控制。
任务模式可以随时启动，以对紧急情况进行处理，或完成地面站随时发送的任务。
图6示出了在航行模式下无人船与无人机协同控制监控方法流程图，该方法包括如下步骤。
步骤601，地面站向无人机和无人船发送工作模式指令。
步骤602，若所述工作模式指令为航行指令，则使所述无人船搭载所述无人机航行，其中所述航行指令包括控制所述无人船航行的第二航行控制指令集。该第二航行控制指令集可以是地面站协同监控平台控制界面中无人船功能控件组所对应的指令集。
在该模式下无人船搭载着无人机在地面站控制下航行至待勘测水域，或勘测完成后搭载着无人机返回。无人船在地面站的控制下搭载无人机利用GPS导航，可根据航线航行至预定河道附近。在本公开中，地面站调用电子地图，在电子地图上通过附图选点或直接输入终止点坐标的方式自动生成无人船、无人机的航线。
图7A示出了在跟随模式下无人船与无人机协同控制监控方法流程图，该方法包括如下步骤。
步骤701，地面站向无人机和无人船发送工作模式指令。
步骤702，若所述工作模式指令为跟随指令，进入跟随模式，地面站获取所述无人机拍摄的图像。
步骤703，检测预定时长内是否能从所述图像中提取到位于所述无人船上的定位标识。
步骤704，若在所述预定时长内提取到所述定位标识，则向无人机发送跟随控制指令集，使无人机跟随所述定位标识飞行；
步骤705，若未在所述预定时长内提取到所述定位标识，则计算所述无人机和所述无人船之间的经纬度差值，并向所述无人机发送姿态调整指令集调整其飞行姿态，使得所述经纬度差值不断减小，直到能在所述预定时长内提取到所述定位标识。
开始跟随模式后，无人机从甲板上起飞，无人机飞行过程中图传模块将摄像头信息实时传回地面站协同控制监控平台。在跟随模式中，无人机跟随无人船沿预定设计轨迹航行，进行河道例行巡检工作，在此过程中，可根据不同河道特点设计不同航行路线和轨迹，使系统尽可能在短时间内完成河道的巡检，提高巡检效率。当任务模式完成后，系统可采用跟随模式继续进行河道巡检工作或直接进入航行模式返航。
在在定位跟随算法中，将图7B所示的基于轮廓特征的图像匹配算法和图7C 所示的GPS定位跟随的算法相结合。首先，对相机进行标定与畸变矫正，建立相机成像的几何模型，以确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，完成相机坐标系与空间坐标系的转化，以提高后期图像识别的精确度。
然后，对相机标定后的图像进行纹理去除、灰度化、滤波等预处理，消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性，以提高模板匹配的精准度；同时简化图像像素数据，以降低后期图像数据处理量，简化运算，减少图像识别算法处理时间。
其次，采用Canny边缘检测算法检测经过预处理后的图像，将其轮廓图以二值化图像的形式表现出来，通过对数字二值化图像进行拓扑分析提取出图像轮廓并重新勾画提高轮廓提取的准确性。
接着，采用Douglas-Peukcer算法对提取到的轮廓图像进行多边形拟合，通过多次迭代适应点，最终识别到需要的定位标识，完成整个图像识别过程。
最后，获得定位标识的中心点坐标，并与相机摄像中心坐标进行自适应阈值目标判定，并将判定结果返回给地面站协同控制监控平台，控制无人机调整相应的飞行姿态，最终实现精准跟随。
图8示出了在降落模式中无人船与无人机协同控制监控方法流程图，该方法包括如下步骤。
步骤801，地面站向无人机和无人船发送工作模式指令。
步骤802，若所述工作模式指令为降落控制指令，则使所述无人机降落在所述无人船上。当完成勘测进入航行模式或者电量低时，可启动该模式，无人机可自主飞回并降落到无人船辅助降落平台。
图9示出了本发明一个实施例提供的无人船与无人机协同控制监控装置的结构图，该装置可通过软件、硬件或者两者的结合实现成为地面站的全部或者一部分。该装置可以包括第一发送单元901和跟随模式控制单元902。
第一发送单元901，配置为向无人机和无人船发送工作模式指令。
跟随模式控制单元902，配置为若所述工作模式指令为跟随指令，则使所述无人机跟随所述无人船飞行。该跟随模式控制单元902包括获取单元903、检测单元904、第二发送单元905和调整单元906。
获取单元903，获取所述无人机拍摄的图像。
检测单元904，配置为检测预定时长内是否能从所述图像中提取到位于所述无人船上的定位标识。
第二发送单元905，配置为若在所述预定时长内提取到所述定位标识，则向所述无人机发送跟随控制指令集，使无人机跟随所述定位标识飞行。
调整单元906，配置为若未在所述预定时长内提取到所述定位标识，则计算所述无人机和所述无人船之间的经纬度差值，并向所述无人机发送姿态调整指令集调整其飞行姿态，使得所述经纬度差值不断减小，直到能在所述预定时长内提取到所述定位标识。
所述装置，还可包括：
第一任务控制单元，配置为若所述工作模式指令为第一任务指令，则使所述无人船沿预定轨迹自动航行，所述无人机根据所述地面站的控制飞行，其中所述第一任务指令包括控制所述无人船按预定轨迹自动航行的第一航行控制指令集，和控制所述无人机飞行的第一飞行控制指令集；
第二任务控制单元，配置为若所述工作模式指令为第二任务指令，则使所述无人船静止，所述无人机根据所述地面站的控制飞行，其中所述第二任务指令包括控制所述无人船停船的停船指令，和控制所述无人机飞行的第二飞行控制指令集。
所述装置，还可还包括：
航行模式控制单元，配置为若所述工作模式指令为航行指令，则使所述无人船搭载所述无人机航行，其中所述航行指令包括控制所述无人船航行的第二航行控制指令集；
降落控制单元，配置为若所述工作模式指令为降落控制指令，则使所述无人机降落在所述无人船上。
图10示出了本发明所涉及的地面站的结构图。该地面站包括处理器1001、存储器1002和总线1003。处理器1001包括一个或者一个以上处理核心，存储器1002通过总线1003与处理器1001相连，存储器1002用于存储程序指令，处理器1001执行存储器1002中的程序指令时实现上述各个方法实施例提供的无人船与无人机协同控制监控方法。
存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
该地面站还包括驱动组件、显示组件、通信组件等其他必要的部件，本发明实施例并不对地面站的具体结构进行限定。
图11示出了本发明一个实施例提供的无人船与无人机协同控制监控系统结构图，该系统包括一个无人机，一个无人船和一个地面站，该地面站包括图9 所示的无人船与无人机协同控制监控装置。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和 /或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
Claims (10)
1.一种无人船与无人机协同控制监控方法，其特征在于，包括：
地面站发送工作模式指令，所述地面站用于控制无人船和无人机；
若所述工作模式指令为跟随指令，则使所述无人机跟随所述无人船飞行，其中跟随方法包括：
所述地面站获取所述无人机拍摄的图像；
检测预定时长内是否能从所述图像中提取到位于所述无人船上的定位标识；
若在所述预定时长内提取到所述定位标识，则向无人机发送跟随控制指令集，使无人机跟随所述定位标识飞行；
若未在所述预定时长内提取到所述定位标识，则计算所述无人机和所述无人船之间的经纬度差值，并向所述无人机发送姿态调整指令集调整其飞行姿态，使得所述经纬度差值不断减小，直到能在所述预定时长内提取到所述定位标识。
2.根据权利要求1所述的无人船与无人机协同控制监控方法，其特征在于，若所述工作模式指令为第一任务指令，则使所述无人船沿预定轨迹自动航行，所述无人机根据所述地面站的控制飞行，其中所述第一任务指令包括控制所述无人船按所述预定轨迹自动航行的第一航行控制指令集，和控制所述无人机飞行的第一飞行控制指令集。
3.根据权利要求1所述的无人船与无人机协同控制监控方法，其特征在于，若所述工作模式指令为第二任务指令，则使所述无人船静止，所述无人机根据所述地面站的控制飞行，其中所述第二任务指令包括控制所述无人船停船的停船指令，和控制所述无人机飞行的第二飞行控制指令集。
4.根据权利要求1所述的无人船与无人机协同控制监控方法，其特征在于，若所述工作模式指令为航行指令，则使所述无人船搭载所述无人机航行，其中所述航行指令包括控制所述无人船航行的第二航行控制指令集。
5.根据权利要求1～4任一项权利要求所述的无人船与无人机协同控制监控方法，其特征在于，若所述工作模式指令为降落控制指令，则使所述无人机降落在所述无人船上。
6.一种无人船与无人机协同控制监控装置，其特征在于，包括：
第一发送单元，配置为向无人机和无人船发送工作模式指令；
跟随模式控制单元，配置为若所述工作模式指令为跟随指令，则使所述无人机跟随所述无人船飞行，所述跟随控制单元包括：
获取单元，获取所述无人机拍摄的图像；
检测单元，配置为检测预定时长内是否能从所述图像中提取到位于所述无人船上的定位标识；
第二发送单元，配置为若在所述预定时长内提取到所述定位标识，则向所述无人机发送跟随控制指令集，使无人机跟随所述定位标识飞行；
调整单元，配置为若未在所述预定时长内提取到所述定位标识，则计算所述无人机和所述无人船之间的经纬度差值，并向所述无人机发送姿态调整指令集调整其飞行姿态，使得所述经纬度差值不断减小，直到能在所述预定时长内提取到所述定位标识。
7.根据权利要求1所述的无人船与无人机协同控制监控装置，其特征在于，还包括：
第一任务控制单元，配置为若所述工作模式指令为第一任务指令，则使所述无人船沿预定轨迹自动航行，所述无人机根据所述地面站的控制飞行，其中所述第一任务指令包括控制所述无人船按预定轨迹自动航行的第一航行控制指令集，和控制所述无人机飞行的第一飞行控制指令集；
第二任务控制单元，配置为若所述工作模式指令为第二任务指令，则使所述无人船静止，所述无人机根据所述地面站的控制飞行，其中所述第二任务指令包括控制所述无人船停船的停船指令，和控制所述无人机飞行的第二飞行控制指令集。
8.根据权利要求1所述的无人船与无人机协同控制监控装置，其特征在于，还包括：
航行模式控制单元，配置为若所述工作模式指令为航行指令，则使所述无人船搭载所述无人机航行，其中所述航行指令包括控制所述无人船航行的第二航行控制指令集；
降落控制单元，配置为若所述工作模式指令为降落控制指令，则使所述无人机降落在所述无人船上。
9.一种地面站，其特征在于，包括处理器，与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1～5任一所述的无人船与无人机协同控制监控方法。
10.一种无人船与无人机协同控制监控系统，其特征在于，包括一个无人机，一个无人船和一个地面站，所述地面站包括如权利要求6～8任一所述的无人船与无人机协同控制监控装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910307622.1A CN109991386A (zh) | 2019-04-17 | 2019-04-17 | 无人船与无人机协同控制监控方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910307622.1A CN109991386A (zh) | 2019-04-17 | 2019-04-17 | 无人船与无人机协同控制监控方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109991386A true CN109991386A (zh) | 2019-07-09 |
Family
ID=67133936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910307622.1A Pending CN109991386A (zh) | 2019-04-17 | 2019-04-17 | 无人船与无人机协同控制监控方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109991386A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111308523A (zh) * | 2020-03-31 | 2020-06-19 | 北京航空航天大学 | 一种无人机无人船协同导航方法 |
| CN111498058A (zh) * | 2020-05-06 | 2020-08-07 | 上海船越机电设备有限公司 | 一种水面救援方法、云平台、系统、设备及存储介质 |
| CN112015182A (zh) * | 2020-09-03 | 2020-12-01 | 上海大学 | 一种基于无人机的无人艇编队巡逻控制系统及控制方法 |
| CN112484781A (zh) * | 2020-12-04 | 2021-03-12 | 武汉城市职业学院 | 一种基于多旋翼无人机的总线式湖泊水质监测系统 |
| CN112591088A (zh) * | 2020-12-21 | 2021-04-02 | 北京京东乾石科技有限公司 | 一种水路无人运输的方法及装置 |
| CN112615913A (zh) * | 2020-12-09 | 2021-04-06 | 大连海事大学 | 一种面向海洋环境监测的无人机与无人船协同的信息回传方法 |
| CN113419428A (zh) * | 2021-07-14 | 2021-09-21 | 大连海事大学 | 基于3d映射制导的usv-uav协同路径跟踪自适应控制器设计方法 |
| CN113970933A (zh) * | 2021-10-22 | 2022-01-25 | 中航通飞华南飞机工业有限公司 | 一种水上飞机水面降落辅助系统及控制方法 |
| CN114355878A (zh) * | 2021-11-26 | 2022-04-15 | 珠海云洲智能科技股份有限公司 | 无人船和无人机表演控制方法、装置、系统及存储介质 |
| CN115328128A (zh) * | 2022-08-10 | 2022-11-11 | 武汉理工大学 | 一种无人艇与无人机协作在线水质监测系统及方法 |
| CN116360440A (zh) * | 2023-03-29 | 2023-06-30 | 上海动力天成智能科技有限公司 | 无人船地面站交互系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104121893A (zh) * | 2014-08-01 | 2014-10-29 | 江苏恒创软件有限公司 | 基于无人机的野生动物群落状态监测方法 |
| CN105303899A (zh) * | 2015-11-12 | 2016-02-03 | 范云生 | 无人水面艇与无人飞行器联合的子母式机器人协作系统 |
| CN106023251A (zh) * | 2016-05-16 | 2016-10-12 | 西安斯凯智能科技有限公司 | 一种跟踪系统及跟踪方法 |
| CN106405040A (zh) * | 2016-11-17 | 2017-02-15 | 苏州航天系统工程有限公司 | 一种基于无人设备的水质巡检、污染物溯源系统及其方法 |
| CN106980319A (zh) * | 2017-05-13 | 2017-07-25 | 安徽科微智能科技有限公司 | 基于无人机一体化避障系统的无人船 |
| CN107783551A (zh) * | 2016-08-26 | 2018-03-09 | 北京臻迪机器人有限公司 | 控制无人机跟随的方法及装置 |
-
2019
- 2019-04-17 CN CN201910307622.1A patent/CN109991386A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104121893A (zh) * | 2014-08-01 | 2014-10-29 | 江苏恒创软件有限公司 | 基于无人机的野生动物群落状态监测方法 |
| CN105303899A (zh) * | 2015-11-12 | 2016-02-03 | 范云生 | 无人水面艇与无人飞行器联合的子母式机器人协作系统 |
| CN106023251A (zh) * | 2016-05-16 | 2016-10-12 | 西安斯凯智能科技有限公司 | 一种跟踪系统及跟踪方法 |
| CN107783551A (zh) * | 2016-08-26 | 2018-03-09 | 北京臻迪机器人有限公司 | 控制无人机跟随的方法及装置 |
| CN106405040A (zh) * | 2016-11-17 | 2017-02-15 | 苏州航天系统工程有限公司 | 一种基于无人设备的水质巡检、污染物溯源系统及其方法 |
| CN106980319A (zh) * | 2017-05-13 | 2017-07-25 | 安徽科微智能科技有限公司 | 基于无人机一体化避障系统的无人船 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111308523A (zh) * | 2020-03-31 | 2020-06-19 | 北京航空航天大学 | 一种无人机无人船协同导航方法 |
| CN111498058A (zh) * | 2020-05-06 | 2020-08-07 | 上海船越机电设备有限公司 | 一种水面救援方法、云平台、系统、设备及存储介质 |
| CN111498058B (zh) * | 2020-05-06 | 2021-09-03 | 上海船越机电设备有限公司 | 一种水面救援方法、云平台、系统、设备及存储介质 |
| CN112015182A (zh) * | 2020-09-03 | 2020-12-01 | 上海大学 | 一种基于无人机的无人艇编队巡逻控制系统及控制方法 |
| CN112015182B (zh) * | 2020-09-03 | 2021-09-21 | 上海大学 | 一种基于无人机的无人艇编队巡逻控制系统及控制方法 |
| CN112484781A (zh) * | 2020-12-04 | 2021-03-12 | 武汉城市职业学院 | 一种基于多旋翼无人机的总线式湖泊水质监测系统 |
| CN112615913B (zh) * | 2020-12-09 | 2022-08-09 | 大连海事大学 | 一种面向海洋环境监测的无人机与无人船协同的信息回传方法 |
| CN112615913A (zh) * | 2020-12-09 | 2021-04-06 | 大连海事大学 | 一种面向海洋环境监测的无人机与无人船协同的信息回传方法 |
| CN112591088A (zh) * | 2020-12-21 | 2021-04-02 | 北京京东乾石科技有限公司 | 一种水路无人运输的方法及装置 |
| CN113419428A (zh) * | 2021-07-14 | 2021-09-21 | 大连海事大学 | 基于3d映射制导的usv-uav协同路径跟踪自适应控制器设计方法 |
| CN113419428B (zh) * | 2021-07-14 | 2024-01-16 | 大连海事大学 | 基于3d映射制导的机/船协同路径跟踪控制器设计方法 |
| CN113970933A (zh) * | 2021-10-22 | 2022-01-25 | 中航通飞华南飞机工业有限公司 | 一种水上飞机水面降落辅助系统及控制方法 |
| CN113970933B (zh) * | 2021-10-22 | 2024-04-30 | 中航通飞华南飞机工业有限公司 | 一种水上飞机水面降落辅助系统及控制方法 |
| CN114355878A (zh) * | 2021-11-26 | 2022-04-15 | 珠海云洲智能科技股份有限公司 | 无人船和无人机表演控制方法、装置、系统及存储介质 |
| CN115328128A (zh) * | 2022-08-10 | 2022-11-11 | 武汉理工大学 | 一种无人艇与无人机协作在线水质监测系统及方法 |
| CN115328128B (zh) * | 2022-08-10 | 2024-05-03 | 武汉理工大学 | 一种无人艇与无人机协作在线水质监测系统及方法 |
| CN116360440A (zh) * | 2023-03-29 | 2023-06-30 | 上海动力天成智能科技有限公司 | 无人船地面站交互系统 |
| CN116360440B (zh) * | 2023-03-29 | 2024-01-12 | 上海动力天成智能科技有限公司 | 无人船地面站交互系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109991386A (zh) | 无人船与无人机协同控制监控方法、装置及系统 | |
| CN111932588B (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
| CN109911231B (zh) | 基于gps和图像识别混合导航的无人机自主着舰方法与系统 | |
| CN109992006B (zh) | 一种电力巡检无人机的精准回收方法和系统 | |
| CN103822635B (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
| CN108287542B (zh) | 基于协同云控制的无人机与无人船协作控制系统与方法 | |
| CN110333735B (zh) | 一种实现无人机水陆二次定位的系统和方法 | |
| CN107065860B (zh) | 一种面向渔业捕捞的无人船群协同自组织作业系统及方法 | |
| CN104267724A (zh) | 船舶航行的控制方法、装置和系统 | |
| CN105318888A (zh) | 基于无人机感知的无人驾驶车辆路径规划方法 | |
| CN106708073B (zh) | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 | |
| US20200393593A1 (en) | Integrated system for geological and geophysical survey based on unmanned aerial vehicle | |
| CN104808674A (zh) | 多旋翼飞行器的控制系统、终端及机载飞控系统 | |
| CN109725310A (zh) | 一种基于yolo算法以及岸基雷达系统的船舶定位监管系统 | |
| CN106155086A (zh) | 一种道路检测无人机及其自动巡航方法 | |
| US9097527B2 (en) | Method and system for generating a route | |
| CN110580044A (zh) | 基于智能感知的无人船全自动航行异构系统 | |
| CN112068539A (zh) | 一种风电机组叶片无人机自动驾驶巡检方法 | |
| CN111731453A (zh) | 一种基于搭载无人机的救生无人船的海上救援方法和系统 | |
| CN105676844A (zh) | 基于模型船的欠驱动无人船编队结构 | |
| CN106094876A (zh) | 一种无人机目标锁定系统及其方法 | |
| CN109634305A (zh) | 基于图像辅助定位的无人机位姿调整方法及系统 | |
| CN210554241U (zh) | 一种无人机无线充电装置 | |
| CN116661497A (zh) | 一种智能飞行汽车 | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |
|
| RJ01 | Rejection of invention patent application after publication |