CN115049825A - 水面清洁方法、装置、设备及计算机可读存储介质 - Google Patents
水面清洁方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115049825A CN115049825A CN202210978712.5A CN202210978712A CN115049825A CN 115049825 A CN115049825 A CN 115049825A CN 202210978712 A CN202210978712 A CN 202210978712A CN 115049825 A CN115049825 A CN 115049825A
- Authority
- CN
- China
- Prior art keywords
- water surface
- global
- local
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 343
- 238000004140 cleaning Methods 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 34
- 231100000719 pollutant Toxicity 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 22
- 230000004438 eyesight Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 4
- 239000000356 contaminant Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 18
- 230000008447 perception Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 241001113556 Elodea Species 0.000 description 1
- 229920005830 Polyurethane Foam Polymers 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000011496 polyurethane foam Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B35/00—Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
- B63B35/32—Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for for collecting pollution from open water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Public Health (AREA)
- Environmental & Geological Engineering (AREA)
- Ocean & Marine Engineering (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种水面清洁方法、装置、设备及计算机可读存储介质，属于导航技术领域。所述方法包括步骤：通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；基于所述水面区域地图，对所述水面区域中的污染物进行清理。将本发明中的水面清洁方法应用于水面清洁设备，能够实现对清洁导航路径的统筹规划，大幅提高水面清洁机器人进行水面清洁作业时的清洁效率。
Description
技术领域
本发明涉及导航技术领域，尤其涉及一种水面清洁方法、装置、设备及计算机可读存储介质。
背景技术
随着工业化大发展，在人们的生活越来越便利的同时，生活环境也变得越来越糟糕，各种生活生产垃圾随处可见，时时刻刻影响着人们的身体健康。所以对于垃圾的清理也越来越受到各种政府和人们的高度重视。
对于地面上的垃圾往往通过人工得到及时便利的清理，但对于各种江河湖海等水平面的垃圾则很难为人工所能及时且全面地清理，因此负责自动打捞水面垃圾的水面清洁机器人就应用而生，其可以自动识别水面中的垃圾并进行打捞收集。但就目前的水面清洁机器人而言，感知能力非常弱，仅局限感知于一定小范围内的水面区域，所以导致水面清洁机器人进行水面清洁作业时的效率非常低下。
发明内容
本发明的主要目的在于提供一种水面清洁方法、装置、设备及计算机可读存储介质，旨在解决现有水面清洁机器人进行水面清洁作业时的效率低下的技术问题。
为实现上述目的，本发明提供一种水面清洁方法，所述水面清洁方法应用于水面清洁设备，所述水面清洁设备包括：空中装置和水面装置；
所述水面清洁方法包括以下步骤：
通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；
确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；
根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；
基于所述水面区域地图，对所述水面区域中的污染物进行清理。
可选地，所述确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域的步骤，包括：
根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。
可选地，其中，所述神经网络模型包括：输入图像模块、Peleenet网络中的Stem模块、Shufflenet-v2模块、阶梯上采样模块以及输出模块；
所述根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域的步骤，包括：
将所述全局图像或所述局部图像输入至所述神经网络模型，以根据所述输入图像模块接收所述全局图像或所述局部图像；
根据所述Stem模块，提取所述全局图像的第一浅层特征或提取所述局部图像的第二浅层特征；
根据所述Shufflenet-v2模块，提取所述全局图像的第一深层特征或提取所述局部图像的第二深层特征；
根据所述阶梯上采样模块，将所述第一浅层特征和所述第一深层特征进行阶梯式特征融合以得到所述全局图像的第一特征集合，或者，将所述第二浅层特征和所述第二深层特征进行阶梯式特征融合以得到所述局部图像的第二特征集合；
根据所述输出模块，计算所述第一特征集合以确定所述全局图像中的各个全局关键区域，或者，计算所述第二特征集合以确定所述局部图像中的各个局部关键区域。
可选地，所述根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图的步骤，包括：
确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标；
将各个所述全局关键坐标输入至所述全局图像以得到全局地图，以及将各个所述局部关键坐标输入至所述局部图像以得到局部地图；
融合所述全局地图和所述局部地图以得到水面区域地图。
可选地，所述确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标的步骤，包括：
获取所述空中装置的第一卫星坐标和所述全局关键区域的像素坐标；
基于所述第一卫星坐标和所述像素坐标之间的位置对应关系，生成所述全局关键区域的全局关键坐标，所述全局关键坐标表征所述全局关键区域的第二卫星坐标。
可选地，所述确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标的步骤，还包括：
获取所述水面装置的第三卫星坐标、所述局部关键区域相对于所述水面装置的深度视觉信息以及所述局部关键区域的雷达信息；
基于所述第三卫星坐标、所述深度视觉信息以及所述雷达信息之间的位置对应关系，生成所述局部关键区域的局部关键坐标，所述局部关键坐标表征所述局部关键区域的第四卫星坐标。
可选地，所述水面装置包括：水平推进器、侧向推进器；
所述对所述水面区域中的污染物进行清理的步骤，包括：
通过所述水平推进器控制所述水面装置在所述水面区域进行前进、后退及转向，和/或者，通过所述侧向推进器控制所述水面装置在所述水面区域进行平行移动，以令所述水面装置对所述水面区域中的污染物进行清理。
此外，为实现上述目的，本发明还提供一种水面清洁装置，所述水面清洁装置包括：
目标感知模块，用于通过空中装置获取水面区域的全局图像，以及通过水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；
地图融合模块，用于根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；
清洁规划模块，用于基于所述水面区域地图，对所述水面区域中的污染物进行清理。
此外，为实现上述目的，本发明还提供一种水面清洁设备，包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的水面清洁程序，其中，所述水面清洁程序被所述处理器执行时，实现如上所述的水面清洁方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有水面清洁程序，其中，所述水面清洁程序被处理器执行时，实现如上所述的水面清洁方法的步骤。
本发明技术方案中的水面清洁方法，通过步骤：通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；基于所述水面区域地图，对所述水面区域中的污染物进行清理。本发明能够通过联合空中装置的全局感知和水面装置的局部感知得到水面区域整个的具体详细的水面区域地图，从全局规划方面解决了现有水面清洁机器人进行水面清洁作业时的效率低下的技术问题，基于水面区域地图大幅增强了水面清洁机器人对当前水面区域的整体感知能力，便于在水面清洁作业时进行水面垃圾等目标物体的快速定位确认和清洁导航路径的统筹规划，极大地提高了水面清洁机器人进行水面清洁作业的清洁效率。
附图说明
图1为本发明实施例方案涉及的水面清洁设备的硬件运行环境的结构示意图；
图2为本发明水面清洁方法第一实施例的流程示意图；
图3为本发明水面清洁方法第二实施例的流程示意图；
图4为本发明水面清洁方法第三实施例的流程示意图；
图5为本发明水面清洁方法涉及的轻量级神经网络模型网络结构示意图；
图6为本发明水面清洁方法涉及的水面清洁机器人的结构示意图；
图7为本发明水面清洁方法涉及的水空协同水面清洁作业示意图；
图8为本发明水面清洁方法涉及的多重感知融合的协同地图构建框架示意图；
图9为本发明水面清洁装置的框架结构示意图。
附图标号说明：
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明技术方案总述：
本发明主要通过三个技术层面结合实现对水面清洁作业效率的提高：
1、设计水面清洁设备中的水面装置，这里的水面装置也即水面清洁机器人；以及设计水面清洁设备中的空中装置，这里的空中装置可以为无人机。通过水面清洁设备中的水面装置和空中装置，从而搭建起实现本发明中水面清洁方法的硬件结构基础。
2、基于水面清洁作业的特点，设计定制化的轻量深度学习的神经网络模型，基于该神经网络模型，实现对污染物、堤岸、障碍等水面关键目标（关键区域）精准、实时高效地轮廓提取以及区域分割，为多源感知信息协同地图构建的视觉分支提供深层次视觉理解信息。
3、设计水空异构机器人（水面装置和空中装置）协同作业系统，将空中装置采集感知到的全局信息转化为全局地图，以及将水面装置采集感知到的局部信息转化为局部地图，再将全局地图和局部地图实时融合在一起得到水面清洁设备巡航范围的水面区域地图，最后基于该水面区域地图对清洁导航路径进行规划，使得水面装置按照导航路径以及确定的污染物位置展开有序的水面清洁作业，大幅提高了水面清洁作业的清洁效率。
本发明实施例提出一种水面清洁设备。如图1所示，图1是本发明实施例方案涉及的水面清洁设备的硬件运行环境的结构示意图。
如图1所示，该水面清洁设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示器（Display）、输入单元比如控制面板，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WIFI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。作为一种计算机存储介质的存储器1005中可以包括水面清洁程序。
本领域技术人员可以理解，图1中示出的硬件结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、用户接口模块、网络通信模块以及水面清洁程序。
在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的水面清洁程序，并执行以下各个实施例中的步骤。
基于上述控制器的硬件结构，提出本发明水面清洁方法的各个实施例。
本发明实施例提供一种水面清洁方法。
请参照图2，图2为本发明水面清洁方法第一实施例的流程示意图；在本发明第一实施例中，水面清洁方法包括以下步骤：
步骤S10，通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；
在本实施例中，所述水面清洁方法应用于水面清洁设备，所述水面清洁设备包括空中装置和水面装置。
这里的空中装置可以为无人机也可以为直升机、热气球等其他飞行器，以无人机为例（下文中涉及到的空中装置也以此为例），其负责在一定巡航范围内的水面区域进行空中俯视式地采集水面区域各个分区的视觉数据图像，通过图像拼接技术处理无人机巡航采集的各个视觉数据图像，合成水面区域的全局图像。其中，该无人机装备高清摄像机、北斗定位和惯导系统，保证其拥有良好的飞行稳定性与灵敏的姿态调整能力，同时具备在线水环境视觉SLAM建模能力、显著特征目标检测与定位功能、邻域领航或跟踪协同控制能力。
这里的水面装置即为水面清洁机器人，负责实时采集在水面清洁机器人视觉范围内的水面的局部图像。
请参照图6，图6为本发明水面清洁方法涉及的水面清洁机器人的结构示意图。如图6所示，水面清洁机器人包括：支撑框架7、浮体4、动力锂电池2、水平推进器5、侧向推进器6、垃圾收集器8、避障传感器3、单目摄像机10、双目摄像机9、定位导航模块11、无线通信模块以及控制箱。
其中的支撑框架7设置于所述水面清洁机器人主体的底部，用于支撑上述其他各个水面清洁机器人的组成结构，并且支撑框架7可以为铝合金框架，从而保证水面清洁机器人的机械强度。
在所述支撑框架7的左右两侧以及后侧上安装浮体4为整个水面清洁机器人提供浮力，该浮体4可以为聚氨酯发泡低密度浮体，以提供更大的浮力以及减轻水面清洁机器人的重量，在浮体4左右两侧上方安装有大容量动力锂电池2，为整个水面清洁机器人进行供电。浮体4中间安装有垃圾收集器8，通过电机带动链轮旋转，完成污染物的收集，收集的污染物上升到最高处后由于重力作用落到下方的垃圾收集仓内，该垃圾收集器8使得水面清洁机器人具有多种类污染物灵巧自主清洁能力。控制箱设置于所述垃圾收集器8的上方，与垃圾收集器8在间隔一定的垂直距离（可以根据实际需要进行设置），在所述控制箱的前方安装有单目摄像机10和双目摄像机9，其中单目摄像机10负责水面清洁机器人运动过程中在其视觉范围内进行全局监视，双目摄像机9用于对污染物种类的识别和测距，在单目摄像机10和双目摄像机9协同感知下，从而得到在两者视觉范围内的水面区域的局部图像，以及确定局部图像中的各个局部关键区域。各个摄像机上均待设置有云台，可实现左右旋转。水面清洁机器人的动力模块采用四推进器的布局，在支撑框架7中也即水面清洁机器人主体的底部水平安装两个水平推进器5实现水面清洁机器人的前进、后退及转向，再侧方安装两个侧向推进器6实现水面清洁机器人的平移功能。通过两个水平推进器5以及两个侧向推进器6，能够实现水面清洁机器人的灵活移动，表现出复杂水环境稳定运动能力，缩短了水面清洁机器人向污染物移动的时间，进而也能提高水面清洁效率。另外，控制箱上方安装有定位导航模块11，该定位导航模块11可以包括差分GPS，可实现厘米级的精确定位。无线通信模块包括通信天线1，该通信天线1设置于支撑框架7的一端，用于接收来自无人机、云端服务器、控制终端等设备的信号以及发送信号给这些设备。避障传感器3可以为激光雷达，用于获取包括污染物在内的各种物体的雷达信息，也就是获取局部图像中的各个局部关键区域的雷达信息。
步骤S20，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；
为了便于理解本实施例，可以参照图7，图7为本发明水面清洁方法涉及的水空协同水面清洁作业示意图。
其中全局关键区域和局部关键区域都可以通过预设的神经网络模型进行识别和确定。这里的包括全局关键区域和局部关键区域在内的关键区域指的是水面区域的区域边界、障碍物以及污染物等客观物体。
全局关键区域在无人机获取到水面区域的全局图像或者是在无人机获取水面区域的全局图像的同时通过飞行移动以及俯瞰的方式对水面区域中的区域边界、障碍物以及污染物进行识别和确定，局部关键区域通过水面清洁机器人在获取到水面区域的局部图像或在获取局部图像的过程中对在其移动或静止的视觉范围内的水面区域中的区域边界、障碍物以及污染物进行识别和确定。最终，通过无人机和水面清洁机器人就分别确定了全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。此外，还需要说明的是，本实施例中的无人机和水面清洁机器人都可以为一个或者多个。
步骤S30，根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；
确定了各个所述全局关键区域和各个所述局部关键区域，进一步确定了各个所述全局关键区域的卫星坐标和各个所述局部关键区域的卫星坐标，在得到各个卫星坐标之后，将各个全局关键区域的卫星坐标输入全局图像就赋予了全局图像以区域边界、障碍物以及污染物在内的各种水面上的物体的详细地理位置信息，从而就得到了全局地图，因为无人机处于空中，受限于现有算力水平等条件的限制，在扩大感知范围的同时其所能感知到水面区域的各种物体可能并不那么精准和全面，因此这里的全局地图为全局约略地图。同理，也得到了局部地图，这里的局部地图因为是在水面清洁机器人的视觉范围内得到的，所以局部地图中各个关键区域（物体）都能够得到精准地感知和识别，因此这里的局部地图为局部细节地图，将全局约略地图和局部细节地图通过将两者的卫星坐标对齐的方式，实现了全局约略地图与局部细节地图的优化融合，完成水面区域地图的协同构建。
步骤S40，基于所述水面区域地图，对所述水面区域中的污染物进行清理。
需要说明的是，由于事物都是时刻在发展和变化的，特别是对于水面上的各种客观物体往往也是会随着水流不断变化位置的，也就是水面环境是实时变化的，因此本实施例中的水面区域地图也是时刻在变化和更新的，这种水面区域地图实时地更新和变化源于实时获取到的全局图像和局部图像是在不同时间点是不同的，以及确定确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域也是不同的，那么融合得到水面区域地图也是不断在更新和动态变化的。通过动态的水面区域地图，不仅能够非常简单便利地对水面清洁作业以及无人机和水面清洁机器人的导航路径进行规划，还能够根据变化了的水面环境及时修正和调整规划，使得各种规划更贴近实际的水面环境变化情形，极大地提升了水面清洁作业的效率，同时还避免了无人机以及水面清洁机器人移动路径的盲目性，使得整个水面清洁作业都协同有序高效进行，进而大大减少了无人机以及水面清洁机器的能源损耗和浪费。
在对水面区域中的污染物进行清理的过程中，可以将无人机作为指挥者，以水面清洁机器人作为直接执行者，由于两者均具有独立视觉感知、运动控制、规划决策的能力，并通过分布式动态网络拓扑结构通信框架实现主从高效联动，从而对水面上感知到的目标污染物进行及时高效地清理和收集，绿化了水面环境。
在一实施例中，所述步骤S40中对所述水面区域中的污染物进行清理的步骤，包括：
通过所述水平推进器控制所述水面装置在所述水面区域进行前进、后退及转向，和/或者，通过所述侧向推进器控制所述水面装置在所述水面区域进行平行移动，以令所述水面装置对所述水面区域中的污染物进行清理。
在水面清洁机器人清理污染物的过程中，需要时时刻刻移动，为了进一步提高水面清洁机器人的清洁污染物的效率，可以单独通过水面清洁机器人的水平推进器执行前进、后退及转向的移动操作，也可以单独通过水面清洁机器人的侧向推进器执行平行移动的移动操作，也可以同时控制水面清洁机器人的水平推进器和侧向推进器进行各个方向的移动和转向，从而灵活地收集和清理水面垃圾。
本发明技术方案中的水面清洁方法，通过步骤：通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；基于所述水面区域地图，对所述水面区域中的污染物进行清理。本发明能够通过联合空中装置的全局感知和水面装置的局部感知得到水面区域整个的具体详细的水面区域地图，从全局规划方面解决了现有水面清洁机器人进行水面清洁作业时的效率低下的技术问题，基于水面区域地图大幅增强了水面清洁机器人对当前水面区域的整体感知能力，便于在水面清洁作业时进行水面垃圾等目标物体的快速定位确认和清洁导航路径的统筹规划，极大地提高了水面清洁机器人进行水面清洁作业的清洁效率。
进一步地，基于本发明水面清洁方法的第一实施例提出本发明水面清洁方法的第二实施例，在本实施例中，所述步骤S20，包括：
根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。
具体地，参照图3，图3为本发明水面清洁方法第二实施例的流程示意图。
所述根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域的步骤，包括：
步骤S21，将所述全局图像或所述局部图像输入至所述神经网络模型，以根据所述输入图像模块接收所述全局图像或所述局部图像；
步骤S22，根据所述Stem模块，提取所述全局图像的第一浅层特征或提取所述局部图像的第二浅层特征；
步骤S23，根据所述Shufflenet-v2模块，提取所述全局图像的第一深层特征或提取所述局部图像的第二深层特征；
步骤S24，根据所述阶梯上采样模块，将所述第一浅层特征和所述第一深层特征进行阶梯式特征融合以得到所述全局图像的第一特征集合，或者，将所述第二浅层特征和所述第二深层特征进行阶梯式特征融合以得到所述局部图像的第二特征集合；
步骤S25，根据所述输出模块，计算所述第一特征集合以确定所述全局图像中的各个全局关键区域，或者，计算所述第二特征集合以确定所述局部图像中的各个局部关键区域。
为了方便和全面地了解本实施例中的神经网络模型，可以参照图5，图5为本发明水面清洁方法涉及的轻量级神经网络模型网络结构示意图。如图5所示，针对由无人机和水面清洁机器人组成的水面清洁设备，执行水面清洁任务时对水面上的各个关键区域实例分割准确性与实时性的需求，本实施例中的神经网络模型可以以单阶段检测网络为基本骨架，比如YOLOv5，既可以以单阶段网络YOLOv5为特征提取主干，设计如图5所示的实例分割网络架构。按照输入-输出的顺序，本实施例中的输入图像模块对于无人机来说用于输入全局图像，对于水面清洁机器人来说，用于输入局部图像。以全局图像为例，在Stem模块中，用于将输入和切分好的全局图像进行浅层特征的提取，比如图像的边缘、纹理、形状等特征信息，全局图像在经过Stem模块之后，可以直接输入至阶梯上采样模块中的卷积单元Conv2d进行计算，还可以经过多个分组中的多个Shufflenet-v2模块进行分组进行深层特征提取并进入Conv2d进行卷积，比如图5中3组卷积，其中分组的数量以及Shufflenet-v2模块的数量可以根据实际需要进行设置，再如图5的上箭头所示，在各个分组进行卷积计算之后阶梯式进行特征融合，按照顺序依次融合各个分组的特征，最终通过输出模块（输出特征模块）计算和预测关键区域所属种类和位置的结果。分组卷积并输出结果的上述过程就是利用基于阶梯上采样的多尺度融合方法也即采用增大特征图尺寸的方式将传统单阶段网络的三尺度或多尺度特征图分支整合为单尺度输出，能够为避免标签重写问题并提升特征提取性能。
此外，上述神经网络模型引入轻量级目标检测网络Peleenet中的Stem模块，在不增加计算量的前提下获得更多图像特征；植入基于分组卷积和通道清洗技术的Shufflenet-v2模块，实现图像检测计算速度和精度的平衡。
还需要具体说明的是，在输入各个全局图像或局部图像的过程中，一般不能直接输入原图，所以输入图像模块还要对全局图像或局部图像进行切分分割，考虑到传统的矩形检测框只能按照矩形形状标识目标检测物（在本发明中为关键区域），但实际的目标检测物的形状是多种多样的，那么在通过传统的神经网络模型检测输入图像中的目标检测物时容易出现标注错误或标注不全，进而导致遗漏目标检测物的缺陷。针对该技术缺陷，本实施例引入极坐标模式的子网格划分机制，在输入图像模块中以多边形检测框取代传统矩形检测框，对目标检测物体进行轮廓提取与区域划分，最终实现实例分割。具体地，将传统的网格描述元组扩展为
，其中，
表示落在n个极坐标模式网格中的多边形检测框网格顶点集合；
，其中，
和
是多边形顶点的极坐标（极径坐标和极角坐标），而
代表顶点落在相应极坐标模式网格的置信度。另外，为了适应上述的输入图像模块以及为了便于网络训练，还需要在传统的输出模块原有损失函数基础上增加针对多边形检测框的损失项，即增加的损失项为：
其中，
为第j个锚点框的对角线长度，
为二元交叉熵。
通过本发明的第二实施例，满足了水空异构器人系统（水面清洁设备）执行水面清洁任务时对水面中的全局关键区域和局部关键区域实例分割准确性与实时性的需求，以单阶段检测网络为基本骨架，通过引入极坐标模式的子网格划分机制，设计基于多边形目标检测框的实例分割算法的神经网络架构，并基于特征提取主干网络的轻量级优化方法和结构，最终实现对污染物、堤岸边界、障碍物等水面关键区域精准、实时的轮廓提取与区域分割，为多源感知信息协同地图（水面区域地图）构建的视觉分支提供深层次视觉理解信息，便于高效率高精确性实现对水面区域地图的融合和构建。
请参照图4，图4为本发明水面清洁方法第三实施例的流程示意图。进一步地，基于本发明水面清洁方法的上述各个实施例提出本发明水面清洁方法的第三实施例，在本实施例中，所述步骤S30，包括：
步骤S31，确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标；
在水面上建立水面区域的地图最关键的是以各种水面上的物体为参照，获得水面上的各种物体的位置，也就是卫星坐标，从而根据各个水面上物体的相对位置，构成较为详细的水面区域地图。在本实施例中，全局关键区域的全局关键坐标和局部关键区域的局部关键坐标是分别从无人机视角和水面清洁机器人视角确定的水面上的目标检测物的卫星坐标，目标检测物包括污染物、区域边界（堤岸边界）以及包括水上树木、水草、建筑等在内的障碍物等水面上的物体。
在一实施例中，所述步骤S31，包括：
步骤a，获取所述空中装置的第一卫星坐标和所述全局关键区域的像素坐标；
步骤b，基于所述第一卫星坐标和所述像素坐标之间的位置对应关系，生成所述全局关键区域的全局关键坐标，所述全局关键坐标表征所述全局关键区域的第二卫星坐标。
参照图8，图8为本发明水面清洁方法涉及的多重感知融合的协同地图构建框架示意图。在该实施例中，基于无人机的俯视视觉感知系统具备的广域全局感知能力，通过图像拼接技术处理无人机巡航采集的视觉数据，合成巡航区域的全局图像，同时利用轻量级的神经网络模型对采集到的关于水面区域的视觉信息（全局图像）进行实例分割，实时检测和确定水面的关键区域并标识出其具体形状轮廓，得到了标识目标的全局图像，在采集获取到全局图像和确定了全局关键区域之后，以及基于无人机具有的卫星定位感知系统获取到无人机实时的第一卫星坐标（图8中的全局地图坐标），就能够确定全局关键区域在全局图像中的像素坐标与无人机的第一卫星坐标的位置对应关系，进而再通过该位置对应关系、无人机的高度信息、无人机的相机内外参数信息，计算得到关键区域相对于无人机的相机坐标，基于相机坐标-卫星坐标映射，经过坐标转换就得到了全局关键区域的全局关键坐标，该全局关键坐标为构建全局地图所需的卫星坐标，也即通过相机坐标－全局坐标映射变化的方式融合视觉信息与无人机的卫星定位数据获得全局约略地图，上述的这一过程称为第一重感知融合。
在另一实施例中，所述步骤S31，还包括：
步骤c，获取所述水面装置的第三卫星坐标、所述局部关键区域相对于所述水面装置的深度视觉信息以及所述局部关键区域的雷达信息；
步骤d，基于所述第三卫星坐标、所述深度视觉信息以及所述雷达信息之间的位置对应关系，生成所述局部关键区域的局部关键坐标，所述局部关键坐标表征所述局部关键区域的第四卫星坐标。
继续参照图8，针对水面情节机器人的局部关键区域精细化感知，基于水面清洁机器人的定位导航模块可以获取到水面清洁机器人实时的第三卫星坐标，基于水面清洁机器人的单、双目摄像机，也即水面清洁机器人的双目视觉感知系统获取到具有关键区域深度信息的深度视觉信息（局部图像），同时基于水面清洁机器人的避障传感器对应的激光雷达感知系统获取到局部关键区域的雷达信息，也即局部关键区域相对于水面清洁机器人的距离测量信息，利用扩展卡尔曼滤波器将水面清洁机器人的深度视觉信息与雷达信息相融合，再利用贝叶斯估计的方法将双目视觉感知系统和激光雷达感知系统分别结合水面清洁机器人的第三卫星坐标，从而将结合生成的地图进行融合，在融合的过程中采用基于图优化的地图构建算法，充分利用多传感器对于关键区域的冗余信息，提取第三卫星坐标、所述深度视觉信息以及所述雷达信息分别对于局部关键区域的一致性描述信息，也即是确定第三卫星坐标、所述深度视觉信息以及所述雷达信息三者之间的位置对应关系，从而生成所述局部关键区域的局部关键坐标，同时也融合得到了局部细节地图，此为图8中的第二重感知融合。上述生成局部关键坐标通过多种信息融合的方式，提高了局部细节地图构建的准确性和精细度。
步骤S32，将各个所述全局关键坐标输入至所述全局图像以得到全局地图，以及将各个所述局部关键坐标输入至所述局部图像以得到局部地图；
步骤S33，融合所述全局地图和所述局部地图以得到水面区域地图。
如图8所示，在确定了各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标并分别将其输入至全局图像和局部图像就得到了全局地图和局部地图，将全局约略地图和局部细节地图中各自的卫星坐标通过映射对齐的方式进行第三重感知融合也就协同构建生成了水面地图（水面区域地图），最终完成了基于多重感知融合的跨平台协同水面地图构建。进而可以利用该水面区域地图对水面清洁作业进行规划，还可以拓展应用于对其他水上作业的规划，应用前景广阔，提高各种水上作业的效率。
通过本发明的第三实施例，针对在未知作业水域协同导航问题，充分结合无人机的广域大尺度感知能力与水面清洁机器人的局域精细化感知能力，设计基于多重感知融合的水空协同地图构建框架，分别提出基于无人机视觉信息与卫星定位信息关联的全局约略地图构建方法、融合水面清洁机器人视觉信息与激光雷达感知信息的局部细节地图构建方法以及全局约略地图与局部细节地图的融合方法，进而构建出信息完备、细节清晰的水面区域地图，为水空协同机器人系统（水面清洁设备）的导航规划与协同控制提供先验环境信息，便于开展包括水面清洁作业在内的各种水上作业。
此外，请参照图9，图9为本发明水面清洁装置的框架结构示意图；本发明还提供一种水面清洁装置，所述水面清洁装置包括：
目标感知模块A10，用于通过空中装置获取水面区域的全局图像，以及通过水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；
地图融合模块A20，用于根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；
清洁规划模块A30，用于基于所述水面区域地图，对所述水面区域中的污染物进行清理。
可选地，目标感知模块A10，还用于：
根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。
可选地，目标感知模块A10，还用于：
将所述全局图像或所述局部图像输入至所述神经网络模型，以根据所述输入图像模块接收所述全局图像或所述局部图像；
根据所述Stem模块，提取所述全局图像的第一浅层特征或所述局部图像的第二浅层特征；
根据所述Shufflenet-v2模块，提取所述全局图像的第一深层特征或所述局部图像的第二深层特征；
根据所述阶梯上采样模块，将所述第一浅层特征和所述第一深层特征进行阶梯式特征融合以得到所述全局图像的第一特征集合，或者，将所述第二浅层特征和所述第二深层特征进行阶梯式特征融合以得到所述局部图像的第二特征集合；
根据所述输出模块，计算所述第一特征集合以确定所述全局图像中的各个全局关键区域，或者，计算所述第二特征集合以确定所述局部图像中的各个局部关键区域。
可选地，地图融合模块A20，还用于：
确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标；
将各个所述全局关键坐标输入至所述全局图像以得到全局地图，以及将各个所述局部关键坐标输入至所述局部图像以得到局部地图；
融合所述全局地图和所述局部地图以得到水面区域地图。
可选地，地图融合模块A20，还用于：
获取所述空中装置的第一卫星坐标和所述全局关键区域的像素坐标；
基于所述第一卫星坐标和所述像素坐标之间的位置对应关系，生成所述全局关键区域的全局关键坐标，所述全局关键坐标表征所述全局关键区域的第二卫星坐标。
可选地，地图融合模块A20，还用于：
获取所述水面装置的第三卫星坐标、所述局部关键区域相对于所述水面装置的深度视觉信息以及所述局部关键区域的雷达信息；
基于所述第三卫星坐标、所述深度视觉信息以及所述雷达信息之间的位置对应关系，生成所述局部关键区域的局部关键坐标，所述局部关键坐标表征所述局部关键区域的第四卫星坐标。
可选地，清洁规划模块A30，还用于：
通过所述水平推进器控制所述水面装置在所述水面区域进行前进、后退及转向，和/或者，通过所述侧向推进器控制所述水面装置在所述水面区域进行平行移动，以令所述水面装置对所述水面区域中的污染物进行清理。
本发明的水面清洁装置具体实施方式与上述水面清洁方法各实施例基本相同，在此不再赘述。
此外，本发明还提供一种计算机可读存储介质。本发明计算机可读存储介质上存储有水面清洁程序，其中，水面清洁程序被处理器执行时，实现如上述的水面清洁方法的步骤。
其中，水面清洁程序被执行时所实现的方法可参照本发明水面清洁方法的各个实施例，此处不再赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种水面清洁方法，其特征在于，所述水面清洁方法应用于水面清洁设备，所述水面清洁设备包括：空中装置和水面装置；
所述水面清洁方法包括以下步骤：
通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；
确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；
根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；
基于所述水面区域地图，对所述水面区域中的污染物进行清理。
2.如权利要求1所述的水面清洁方法，其特征在于，所述确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域的步骤，包括：
根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。
3.如权利要求2所述的水面清洁方法，其特征在于，其中，所述神经网络模型包括：输入图像模块、Peleenet网络中的Stem模块、Shufflenet-v2模块、阶梯上采样模块以及输出模块；
所述根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域的步骤，包括：
将所述全局图像或所述局部图像输入至所述神经网络模型，以根据所述输入图像模块接收所述全局图像或所述局部图像；
根据所述Stem模块，提取所述全局图像的第一浅层特征或提取所述局部图像的第二浅层特征；
根据所述Shufflenet-v2模块，提取所述全局图像的第一深层特征或提取所述局部图像的第二深层特征；
根据所述阶梯上采样模块，将所述第一浅层特征和所述第一深层特征进行阶梯式特征融合以得到所述全局图像的第一特征集合，或者，将所述第二浅层特征和所述第二深层特征进行阶梯式特征融合以得到所述局部图像的第二特征集合；
根据所述输出模块，计算所述第一特征集合以确定所述全局图像中的各个全局关键区域，或者，计算所述第二特征集合以确定所述局部图像中的各个局部关键区域。
4.如权利要求1所述的水面清洁方法，其特征在于，所述根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图的步骤，包括：
确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标；
将各个所述全局关键坐标输入至所述全局图像以得到全局地图，以及将各个所述局部关键坐标输入至所述局部图像以得到局部地图；
融合所述全局地图和所述局部地图以得到水面区域地图。
5.如权利要求4所述的水面清洁方法，其特征在于，所述确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标的步骤，包括：
获取所述空中装置的第一卫星坐标和所述全局关键区域的像素坐标；
基于所述第一卫星坐标和所述像素坐标之间的位置对应关系，生成所述全局关键区域的全局关键坐标，所述全局关键坐标表征所述全局关键区域的第二卫星坐标。
6.如权利要求4所述的水面清洁方法，其特征在于，所述确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标的步骤，还包括：
获取所述水面装置的第三卫星坐标、所述局部关键区域相对于所述水面装置的深度视觉信息以及所述局部关键区域的雷达信息；
基于所述第三卫星坐标、所述深度视觉信息以及所述雷达信息之间的位置对应关系，生成所述局部关键区域的局部关键坐标，所述局部关键坐标表征所述局部关键区域的第四卫星坐标。
7.如权利要求1所述的水面清洁方法，其特征在于，所述水面装置包括：水平推进器、侧向推进器；
所述对所述水面区域中的污染物进行清理的步骤，包括：
通过所述水平推进器控制所述水面装置在所述水面区域进行前进、后退及转向，和/或者，通过所述侧向推进器控制所述水面装置在所述水面区域进行平行移动，以令所述水面装置对所述水面区域中的污染物进行清理。
8.一种水面清洁装置，其特征在于，所述水面清洁装置包括：
目标感知模块，用于通过空中装置获取水面区域的全局图像，以及通过水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；
地图融合模块，用于根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；
清洁规划模块，用于基于所述水面区域地图，对所述水面区域中的污染物进行清理。
9.一种水面清洁设备，其特征在于，所述水面清洁设备包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的水面清洁程序，其中，所述水面清洁程序被所述处理器执行时，实现如权利要求1至7中任一项所述的水面清洁方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有水面清洁程序，其中，所述水面清洁程序被处理器执行时，实现如权利要求1至7中任一项所述的水面清洁方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210978712.5A CN115049825B (zh) | 2022-08-16 | 2022-08-16 | 水面清洁方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210978712.5A CN115049825B (zh) | 2022-08-16 | 2022-08-16 | 水面清洁方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115049825A true CN115049825A (zh) | 2022-09-13 |
| CN115049825B CN115049825B (zh) | 2022-11-01 |
Family
ID=83168146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210978712.5A Active CN115049825B (zh) | 2022-08-16 | 2022-08-16 | 水面清洁方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049825B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274605A (zh) * | 2023-11-20 | 2023-12-22 | 北京飞渡科技股份有限公司 | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622231A (zh) * | 2017-09-08 | 2018-01-23 | 内蒙古大学 | 一种水天一体智能漂浮物收集系统及其收集方法 |
| CN109460754A (zh) * | 2019-01-31 | 2019-03-12 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种水面异物检测方法、装置、设备及存储介质 |
| CN110758658A (zh) * | 2019-11-08 | 2020-02-07 | 湘潭大学 | 一种使用无人机和无人船协同清理水面漂浮垃圾的方法 |
| WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
| CN112848823A (zh) * | 2019-11-27 | 2021-05-28 | 武汉理工大学 | 基于机器视觉的水陆两栖清洁无人船及其清洁方法 |
| CN114815810A (zh) * | 2022-03-22 | 2022-07-29 | 武汉理工大学 | 无人机协同的水上清洁机器人路径规划方法及设备 |
-
2022
- 2022-08-16 CN CN202210978712.5A patent/CN115049825B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622231A (zh) * | 2017-09-08 | 2018-01-23 | 内蒙古大学 | 一种水天一体智能漂浮物收集系统及其收集方法 |
| CN109460754A (zh) * | 2019-01-31 | 2019-03-12 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种水面异物检测方法、装置、设备及存储介质 |
| WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
| CN110758658A (zh) * | 2019-11-08 | 2020-02-07 | 湘潭大学 | 一种使用无人机和无人船协同清理水面漂浮垃圾的方法 |
| CN112848823A (zh) * | 2019-11-27 | 2021-05-28 | 武汉理工大学 | 基于机器视觉的水陆两栖清洁无人船及其清洁方法 |
| CN114815810A (zh) * | 2022-03-22 | 2022-07-29 | 武汉理工大学 | 无人机协同的水上清洁机器人路径规划方法及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 杜仕刚 等: "《空－地协同地图匹配的路径规划方法》", 《传感器与微系统》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274605A (zh) * | 2023-11-20 | 2023-12-22 | 北京飞渡科技股份有限公司 | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 |
| CN117274605B (zh) * | 2023-11-20 | 2024-03-01 | 北京飞渡科技股份有限公司 | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115049825B (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108415032B (zh) | 一种基于深度学习与激光雷达的点云语义地图构建方法 | |
| EP3520076B1 (en) | Computer vision systems and methods for detecting and modeling features of structures in images | |
| Dang et al. | Autonomous exploration and simultaneous object search using aerial robots | |
| Thorpe et al. | Vision and navigation for the Carnegie Mellon Navlab | |
| CN102042835B (zh) | 自主式水下机器人组合导航系统 | |
| CN111599001A (zh) | 基于图像三维重建技术的无人机导航地图构建系统及方法 | |
| CN112789672B (zh) | 控制和导航系统、姿态优化、映射和定位技术 | |
| US20210191400A1 (en) | Autonomous vessel simulation system and operating method thereof | |
| CN102831646A (zh) | 一种基于扫描激光的大尺度三维地形建模方法 | |
| Kim et al. | UAV-UGV cooperative 3D environmental mapping | |
| US11069080B1 (en) | Collaborative airborne object tracking systems and methods | |
| CN115049825B (zh) | 水面清洁方法、装置、设备及计算机可读存储介质 | |
| Mokrane et al. | UAV path planning based on dynamic programming algorithm on photogrammetric DEMs | |
| AU2020375559B2 (en) | Systems and methods for generating annotations of structured, static objects in aerial imagery using geometric transfer learning and probabilistic localization | |
| CN116429116A (zh) | 一种机器人定位方法及设备 | |
| CN114839975A (zh) | 一种自主探索式语义地图构建方法及系统 | |
| CN116125980A (zh) | 无人货车驾驶方法、装置、电子设备及存储介质 | |
| CN113403942B (zh) | 一种基于标签辅助的桥梁检测无人机视觉导航方法 | |
| Chen et al. | Real-time active detection of targets and path planning using UAVs | |
| Wu et al. | Multi-objective reinforcement learning for autonomous drone navigation in urban areas with wind zones | |
| CN109901589B (zh) | 移动机器人控制方法和装置 | |
| Bashi et al. | Developing a model for unmanned aerial vehicle with fixed-wing using 3D-map exploring rapidly random tree technique | |
| CN114537666B (zh) | 一种无人机和无人船协同的水面漂浮垃圾清除装备及运行方法 | |
| Zhao | 3D Obstacle Avoidance for Unmanned Autonomous System (UAS) | |
| Wang et al. | 2d topological map building by uavs for ground robot navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared |