CN114396945A - 无人船沿边清扫路径规划方法、装置、设备及存储介质 - Google Patents

无人船沿边清扫路径规划方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114396945A
CN114396945A CN202210295168.4A CN202210295168A CN114396945A CN 114396945 A CN114396945 A CN 114396945A CN 202210295168 A CN202210295168 A CN 202210295168A CN 114396945 A CN114396945 A CN 114396945A
Authority
CN
China
Prior art keywords
unmanned ship
image
edgewise
cleaning path
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210295168.4A
Other languages
English (en)
Other versions
CN114396945B (zh
Inventor
程宇威
朱健楠
许浒
池雨豪
虞梦苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Orca Electronic Intelligent Technology Co ltd
Original Assignee
Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Orca Electronic Intelligent Technology Co ltd filed Critical Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority to CN202210295168.4A priority Critical patent/CN114396945B/zh
Publication of CN114396945A publication Critical patent/CN114396945A/zh
Application granted granted Critical
Publication of CN114396945B publication Critical patent/CN114396945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施例公开了一种无人船沿边清扫路径规划方法、装置、设备及存储介质，涉及人工智能技术领域。该方法实时获取无人船周围区域的待处理图像；对待处理图像进行分割以得到水岸分割图像，将水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像并基于该图像建立无人船的局部地图；根据障碍目标点在局部地图上的分布以及沿边清扫距离实时规划无人船在局部地图内的局部沿边清扫路径。本发明的无人船基于无人船环境感知图像中感知的障碍目标点以及无人船沿边清扫距离，实时规划无人船在局部地图内的局部沿边清扫路径，能够适应复杂环境带来的影响，避免了出现无人船碰撞事故。

Description

无人船沿边清扫路径规划方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种无人船沿边清扫路径规划方法、装置、设备及存储介质。
背景技术
近年来，随着无人驾驶技术的迅猛发展，无人驾驶市场不断增长，以无人船为例，各类无人船逐渐被推广至水质检测、水面维护、桥梁检测、水体测绘、海事搜救等多种作业场景下，辅助人们工作。感知是无人驾驶技术的基础，在复杂的水面环境下，无人船需要具备灵敏的环境感知能力。由于现有的无人船环境感知能力有限，通常需要人工操作辅助其作业任务，无法实现全天候完全无人自主作业，难以大范围推广与应用。
传统方法中无人船基于GPS传感器进行路径导航，但由于GPS传感器本身存在误差，使得无人船无法准确地沿岸边进行清洁作业工作，导致清洁不彻底；并且单独基于GPS的导航方法将无法适应场景变化、水位变化以及新增障碍的复杂情况，且可能出现无人船碰撞事故。
发明内容
本发明实施例提供了一种无人船沿边清扫路径规划方法、装置、设备及存储介质，旨在解决现有无人船沿边清扫路径规划方法清洁不彻底以及无法适应复杂情况，可能出现无人船碰撞事故的问题。
第一方面，本发明实施例提供了一种无人船沿边清扫路径规划方法，该方法包括：接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。
第二方面，本发明实施例还提供了一种无人船沿边清扫路径规划装置，该装置包括：接收单元，用于接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；第一获取单元，用于在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；分割映射单元，用于对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；第一建立单元，用于基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；规划更新单元，用于根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。
第三方面，本发明实施例还提供了一种设备，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行上述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现上述方法。
本发明实施例提供了一种无人船沿边清扫路径规划方法、装置、设备及存储介质。其中所述方法通过接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。本发明的无人船基于无人船环境感知图像中感知的障碍目标点以及无人船沿边清扫距离，实时规划无人船在局部地图内的局部沿边清扫路径，能够适应GPS误差，沿岸场景的变化、水位变化以及新增的障碍对无人船导航带来的影响，避免了出现无人船碰撞事故，从而实现了无人船自主导航和智能化沿边清扫。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种无人船沿边清扫路径规划方法流程示意图；
图2为图1所示步骤S3之前的步骤的流程示意图；
图3为图1所示步骤S3的子步骤的流程示意图；
图4为图1所示步骤S4的子步骤的流程示意图；
图5为图1所示步骤S5的子步骤的流程示意图；
图6为本发明实施例提供的一种无人船沿边清扫路径规划装置的示意性框图；
图7为本发明实施例提供的一种无人船沿边清扫路径规划设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本发明实施例提出的技术方案可应用于智慧科技中以推动智慧城市的建设。
请参阅图1，图1是本发明实施例提供的无人船沿边清扫路径规划方法的流程示意图。如图1所示，该方法包括以下步骤S1-S5。
S1，接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离。
具体实施中，接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离。具体地，在一实施例中，可通过平板、手机、电脑、遥控器等终端设备设定沿边清扫路径，并设定无人船航的沿边清扫距离。
具体地，无人船接收到沿边清扫路径设定请求后，在沿边清扫路径的起点，用户通过操作终端设备，进入岸线巡检任务遥控标点模式，遥控无人船沿着沿边清扫路径航行形成一条曲线，在航行中，无人船通过搭载的全球定位系统实时获取当前位置信息并存储得到一系列的位置坐标点(如X[x1，x2...xn])并进行记录。当完成沿巡检路线航行后，通过将已存储位置坐标信息进行滤波，依次连接形成沿边清扫路径L，并在保存路线时通过传感器感知设定水岸相对于路线航向的方位位置。
所述将已存储位置坐标信息进行滤波的步骤包括：删去两两相邻点之间距离小于预设值的点，同时对相邻的距离大于预设值的两点之间利用插值的方法进行路径点补充，最终得到期望的符合要求的点队列。
需要说明的是，预先设定无人船上电时刻位置
Figure DEST_PATH_IMAGE001
为原点，正北方向为
Figure 170437DEST_PATH_IMAGE002
轴正方向， 正东方向为
Figure DEST_PATH_IMAGE003
轴正方向，建立世界坐标系；以无人船前朝向为
Figure 614450DEST_PATH_IMAGE002
轴正方向，无人船右朝向为
Figure 573090DEST_PATH_IMAGE003
轴正方向建立无人船坐标系。
S2，在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像。
具体实施中，在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像。具体地，在一实施例中，无人船依据步骤S1中设定的初始沿边清扫路径通过多台摄像机对无人船周围环境激进行摄像以获取无人船周围区域的图像，摄像机以一定的帧率对无人船周围区域的图像进行采集，得到固定分辨率的图像。无人船周围区域的图像反映当前无人船周围的障碍物以及岸线分布情况，以便后续无人船对待处理图像进行视觉感知处理以根据视觉感知结果规划沿边清扫路径。
S3，对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像。
具体实施中，对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像。具体地，在一实施例中，水岸分割神经网络模型是基于深度学习技术的神经网络模型，通过对图像中每个像素进行分类以得到图像中各个像素所对应的语义信息，该语义信息包含但不仅限于水域，岸边，船只，障碍，垃圾等。在对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像之前，需要先对水岸分割神经网络模型进行训练以得到预训练的水岸分割神经网络模型。请参见图2，所述对水岸分割神经网络模型进行训练包括以下步骤S3A-S3C。
S3A，获取预先标记的训练集。
具体实施中，获取预先标记的训练集。具体地，在一实施例中，预先标记的训练集为无人船预先采集并已经标明水岸分割结果的水面视觉图像集合，通过人工标记方式将图像中的水岸区域以及障碍物进行分割。
S3B，将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值。
具体实施中，将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值。具体地，在一实施例中，将大小为416x416的图像输入至待训练水岸分割神经网络模型中，将标记的水岸分割结果和模型输出结果统一划分为52x52格，分别进行对比，通过Seg_Loss损失函数计算模型损失值。Seg_Loss的计算公式如下：
Figure DEST_PATH_IMAGE005
其中，N为划分格子的总数，C为模型的最大分类数量，
Figure 478861DEST_PATH_IMAGE006
为第i个格子关于第j 种分类目标的标记结果，符合第j种分类目标的标记结果为1，不符合时为0。
Figure DEST_PATH_IMAGE007
为第i 个格子关于第j种分类目标的模型预测概率，预测概率的范围在[0，1]。
S3C，根据所述损失值调整所述待训练水岸分割神经网络模型的参数以得到所述预训练的水岸分割神经网络模型。
具体实施中，将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值。具体地，在一实施例中，根据模型损失值的大小调整模型的优化速率，当模型损失值较低时，降低模型优化速率。当模型训练过程中损失值满足模型的预设收敛条件时，便可终止训练得到正确进行水岸分割图像的神经网络模型。最终得到能够正确分割出待处理图像中的水和障碍（包括水中的障碍、岸边的障碍以及岸线障碍）的模型。
具体地，在一实施例中，请参见图3，所述对所述待处理图像进行预处理的步骤具体包括：步骤S311-S313。
S311，对所述待处理图像进行图像增强处理以得到增强的待处理图像。
具体实施中，对所述待处理图像进行图像增强处理以得到增强的待处理图像。具体地，在一实施例中，图像图像增强处理操作包括对图像进行降噪处理，摄像头失真校正处理，背景光线自适应调节处理，图像尺寸变换处理以及雨雾检测及去除处理。通过图像图像增强处理能够提高待处理图像的数据质量，确保输入至模型的待处理图像能被有效提取和识别，提高对障碍识别的准确性。
S312，将所述增强的待处理图像进行拼接合成处理以得到融合图像。
具体实施中，将所述增强的待处理图像进行拼接合成处理以得到融合图像。具体 地，在一实施例中，将多台摄像机从不同角度拍摄得到的待处理图像
Figure 672469DEST_PATH_IMAGE008
利用相邻摄像头的 重叠区域通过公式（1）拼接合成一张完整的融合图像
Figure DEST_PATH_IMAGE009
，通过一张融合图像
Figure 176132DEST_PATH_IMAGE009
便可反应出此刻无人船周围障碍的情况。
Figure DEST_PATH_IMAGE011
S313，对所述融合图像进行特征提取以得到图像特征。
具体实施中，对所述融合图像进行特征提取以得到图像特征。具体地，在一实施例 中，将融合图像输入
Figure 960417DEST_PATH_IMAGE009
至传统的SIFT（Scale-invariant feature transform，尺度 不变特征变换）特征提取和基于神经网络的图像特征提取模型以提取得到图像特征
Figure 106096DEST_PATH_IMAGE012
，其中特征提取的计算公式为公式（2）。
Figure 357474DEST_PATH_IMAGE014
在一实施例中，预训练的水岸分割神经网络模型
Figure DEST_PATH_IMAGE015
包含特征提取模块， 首先对图像特进行4倍上采样得到深层特征
Figure 563196DEST_PATH_IMAGE016
，再通过1x1卷积以减少通道数得 到浅层特征
Figure DEST_PATH_IMAGE017
；下一步将深层特征
Figure 36376DEST_PATH_IMAGE018
和浅层特征
Figure DEST_PATH_IMAGE019
结合 后进行3x3卷积得到融合特征
Figure 329954DEST_PATH_IMAGE020
，将融合特征
Figure 698488DEST_PATH_IMAGE020
进行注意力计 算后进行8倍上采样以获得水岸分割图像
Figure DEST_PATH_IMAGE021
，其中，特征提取的计算公式为公式（3）。
Figure 468254DEST_PATH_IMAGE022
（3）
具体地，在一实施例中，所述将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像的步骤具体包括：步骤S321-S322。
S321，对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像。
具体实施中，对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理 图像。具体地，在一实施例中，通过对水岸分割图像
Figure 164815DEST_PATH_IMAGE021
进行SAVGOL滤波以平滑水岸分割图 像的边界，通过边界限定以确定水岸分割图像边界的范围，对在边界范围外的图像进行滤 除以得到水岸分割后处理图像
Figure DEST_PATH_IMAGE023
。为后续无人船沿边清扫路径规划提供准确的数据基 础。滤波及边界限定的计算公式为公式（4）。
Figure DEST_PATH_IMAGE025
在一实施例中，平滑滤波器可选择使用GAUSS滤波器或MEDIAN滤波器，在此对滤波器的选择不作具体地限定。
S322，基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。
具体实施中，基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系 内以得到无人船环境感知图像。具体地，在一实施例中，水岸分割后处理图像
Figure 576598DEST_PATH_IMAGE023
为基于相 机坐标系而得到的结果，故需要将其转换至无人船坐标系内以得到无人船环境感知图像
Figure 675004DEST_PATH_IMAGE026
，用于后续根据无人船环境感知图像建立无人船的局部地图。无人船环境感知图 像
Figure 691370DEST_PATH_IMAGE026
的计算公式为公式（5）。
Figure 281751DEST_PATH_IMAGE028
其中，相机标定矩阵
Figure DEST_PATH_IMAGE029
为3X3的矩阵，如公式（6）所示，由八个变量和一个常 数1组成。
Figure DEST_PATH_IMAGE031
S4，基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图。
具体实施中，基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点。具体地，在一实施例中，在初始时刻，以无人船当前位置为原点，正北方向为x轴正方向，正东方向为y轴正方方向，建立世界坐标系，得到初始时刻的局部地图为x轴正负50米，y轴正负50米的矩形地图。
在一实施例中，请参见图4，以上步骤S4具体包括：步骤S411-S413。
S411，初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量。
具体实施中，初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移 向量。具体地，在一实施例中，初始化局部地图的步骤包括，访问地图数据库以获取历史地 图数据，将历史地图数据复制给局部地图M，如未查询到历史地图数据，则初始化局部地图M 为0。无人船获取通过惯性测量单元和GPS测量出的无人船在世界坐标系中的偏移角度
Figure 104083DEST_PATH_IMAGE032
以及平移向量
Figure DEST_PATH_IMAGE033
用于后续将无人船环境感知图像转换至世界坐标系下以得到世界环境感 知图像。
S412，基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像。
具体实施中，基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至 世界坐标系下以得到世界环境感知图像。具体地，在一实施例中，通过无人船在世界坐标系 中的偏移角度
Figure 122242DEST_PATH_IMAGE034
以及平移向量
Figure DEST_PATH_IMAGE035
计算得到旋转矩阵
Figure 778351DEST_PATH_IMAGE036
和平移矩阵
Figure DEST_PATH_IMAGE037
，再将 无人船环境感知图像
Figure 777400DEST_PATH_IMAGE026
通过旋转矩阵
Figure 747630DEST_PATH_IMAGE036
和平移矩阵
Figure 351787DEST_PATH_IMAGE037
转变到世界坐标 系中以得到世界环境感知图像
Figure 850901DEST_PATH_IMAGE038
。其中旋转矩阵
Figure 266140DEST_PATH_IMAGE036
和平移矩阵
Figure 40061DEST_PATH_IMAGE037
的表 达式为公式（7）。
Figure DEST_PATH_IMAGE039
将无人船环境感知图像
Figure 29883DEST_PATH_IMAGE040
转化到世界坐标系得到世界环境感知图像
Figure DEST_PATH_IMAGE041
的表达式为公式（8）。
Figure DEST_PATH_IMAGE043
S413，对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。
具体实施中，对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地 图中作为无人船的局部地图。具体地，在一实施例中，在第i时刻，将
Figure 355691DEST_PATH_IMAGE041
进行栅格化， 放入到局部地图M中，进行i时刻的局部地图
Figure 735857DEST_PATH_IMAGE044
更新。当无人船运动到下一时刻i+1时，以新 的位置
Figure DEST_PATH_IMAGE045
为原点，建立新的局部地图
Figure 378715DEST_PATH_IMAGE046
，下一时刻的局部地图
Figure 691885DEST_PATH_IMAGE046
中保留上一时刻 局部地图
Figure 63960DEST_PATH_IMAGE044
的数据，局部地图更新的公式为公式（9）。
Figure 931422DEST_PATH_IMAGE048
S5，根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。
具体实施中，根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。具体地，在一实施例中，请参见图5，所述根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径的步骤具体包括：步骤S511-S513。
S511，获取所述局部地图上预设范围内的多个障碍目标点。
具体实施中，获取所述局部地图上预设范围内的多个障碍目标点。具体地，在一实 施例中，从局部地图中，在无人船坐标系x轴正负六米，y轴正负六米的矩形区域内获取无人 船周围的多个障碍目标点
Figure DEST_PATH_IMAGE049
。在本实施例中预设范围为无人船坐标系x轴正负六 米，y轴正负六米的矩形区域，用户也可根据实际需要来设定其他预设范围。
S512，对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点。
具体实施中，对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍 目标点。具体地，在一实施例中，将无人船周围的预设范围通过扇形进行划分，以无人船坐 标系y轴正方向为0度，顺时针旋转360度，共划分为20份，每部分区域包含18度，在每部分区 域搜索最近障碍目标点，得到m个邻近障碍目标点
Figure 375042DEST_PATH_IMAGE050
(0<=m<=20)。
将m个邻近障碍目标点
Figure 745980DEST_PATH_IMAGE050
通过梯度下降法进行平滑处理，循环处理路 线10次后得到平滑后邻近目标障碍点
Figure DEST_PATH_IMAGE051
，i次平滑处理邻近障碍目标点 的计算公式为公式（10）。
Figure DEST_PATH_IMAGE053
其中，
Figure 416520DEST_PATH_IMAGE054
，
Figure DEST_PATH_IMAGE055
为平滑超参数。
S513，计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径。
具体实施中，计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目 标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点， 将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路 径。具体地，在一实施例中，计算平滑后邻近障碍目标点
Figure 99175DEST_PATH_IMAGE056
的法向角，通过计算 当前邻近障碍目标点
Figure DEST_PATH_IMAGE057
与下一个邻近障碍目标点
Figure 80906DEST_PATH_IMAGE058
的向量差，再旋转90度得到当前邻近 障碍目标点
Figure DEST_PATH_IMAGE059
的法向角
Figure 168335DEST_PATH_IMAGE060
，路径点
Figure 882213DEST_PATH_IMAGE057
法向角的计算公式为公式（11）。
Figure 724267DEST_PATH_IMAGE062
其中，arctan为反正切函数，
Figure DEST_PATH_IMAGE063
号由无人船在无人船坐标系中的方向确定。
Figure 634323DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE065
为
Figure 603740DEST_PATH_IMAGE057
的东方向坐标值和北方向坐标值，
Figure 675470DEST_PATH_IMAGE064
+1，
Figure 473662DEST_PATH_IMAGE065
+1为
Figure 328354DEST_PATH_IMAGE058
的东方向坐标值和北方向坐标值。
将邻近障碍目标点
Figure 200495DEST_PATH_IMAGE056
朝着法向角方向平行移动沿边清扫距离d，得到 无人船沿边清扫实时路径点
Figure 787335DEST_PATH_IMAGE066
，平移操作的计算公式为公式（12）。
Figure 872490DEST_PATH_IMAGE068
依次连接无人船沿边清扫实时路径
Figure 875081DEST_PATH_IMAGE066
得到无人船局部沿边清扫路 径D。
在一实施例中，所述基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点的步骤包括：计算所述局部沿边清扫路径上的多个沿边清扫路径点与所述初始沿边清扫路径的欧式距离；筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点直至到达所述初始沿边清扫路径的终点。
本发明实施例的一种无人船沿边清扫路径规划方法通过接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。本发明的无人船基于无人船环境感知图像中感知的障碍目标点以及无人船沿边清扫距离，实时规划无人船在局部地图内的局部沿边清扫路径，能够适应GPS误差，沿岸场景的变化、水位变化以及新增的障碍对无人船导航带来的影响，避免了出现无人船碰撞事故，从而实现了无人船自主导航和智能化沿边清扫。
图6是本发明实施例提供的一种无人船沿边清扫路径规划装置的示意性框图。如图6所示，对应于以上无人船沿边清扫路径规划方法，本发明还提供一种无人船沿边清扫路径规划装置100。该无人船沿边清扫路径规划装置100包括用于执行上述无人船沿边清扫路径规划方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑等终端中。具体地，请参阅图6，该无人船沿边清扫路径规划装置100包括接收单元101、第一获取单元102、分割映射单元103、第一建立单元104以及规划更新单元105。
所述接收单元101用于接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；所述第一获取单元102用于在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；所述分割映射单元103用于对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；所述第一建立单元104用于基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；所述规划更新单元105用于根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。
在一实施例中，无人船沿边清扫路径规划装置100还包括：增强处理单元、拼接合成单元以及特征提取单元。
所述增强处理单元用于对所述待处理图像进行图像增强处理以得到增强的待处理图像；所述拼接合成单元用于将所述增强的待处理图像进行拼接合成处理以得到融合图像；所述特征提取单元用于对所述融合图像进行特征提取以得到图像特征。
在一实施例中，所述分割映射单元103包括：滤波边界限定单元以及映射单元。
所述滤波边界限定单元用于对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像；所述映射单元用于基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。
在一实施例中，所述第一建立单元104包括：初始化单元、转换单元以及更新单元。
所述初始化单元用于初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量；所述转换单元用于基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像；所述更新单元用于对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。
在一实施例中，所述规划更新单元105包括：第二获取单元、分割平滑处理单元以及计算平移单元。
所述第二获取单元用于获取所述局部地图上预设范围内的多个障碍目标点；所述分割平滑处理单元用于对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点；所述计算平移单元用于计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径。
在一实施例中，所述规划更新单元105还包括：第一计算单元、筛选更新单元。
所述计算单元用于计算所述局部沿边清扫路径上的多个沿边清扫路径点与所述初始沿边清扫路径的欧式距离；所述筛选更新单元用于筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点直至到达所述初始沿边清扫路径的终点。
在一实施例中，所述无人船沿边清扫路径规划装置100还包括：第三获取单元、第二计算单元以及调整单元。
所述第三获取单元用于获取预先标记的训练集；所述第二计算单元用于将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值；所述调整单元用于根据所述损失值调整所述待训练水岸分割神经网络模型的参数以得到所述预训练的水岸分割神经网络模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述无人船沿边清扫路径规划装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述无人船沿边清扫路径规划装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的设备上运行。
请参阅图7，图7是本申请实施例提供的一种无人船沿边清扫路径规划设备的示意性框图。该设备300是上位机。其中，上位机可以是平板电脑、笔记本电脑、台式电脑等电子设备。
参阅图7，该无人船沿边清扫路径规划设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括非易失性存储介质303和内存储器304。
该非易失性存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种无人船沿边清扫路径规划方法。该处理器302用于提供计算和控制能力，以支撑整个设备300的运行。
该内存储器304为非易失性存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种无人船沿边清扫路径规划方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备300的限定，具体的设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：
接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。
在一实施例中，所述对所述待处理图像进行预处理的步骤包括：对所述待处理图像进行图像增强处理以得到增强的待处理图像；将所述增强的待处理图像进行拼接合成处理以得到融合图像；对所述融合图像进行特征提取以得到图像特征。
在一实施例中，所述将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像的步骤包括：对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像；基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。
在一实施例中，所述基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图的步骤包括：初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量；基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像；对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。
在一实施例中，所述根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径的步骤包括：获取所述局部地图上预设范围内的多个障碍目标点；对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点；计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径。
在一实施例中，所述将所述局部沿边清扫路径更新至所述初始沿边清扫路径以得到更新沿边清扫路径的步骤包括：计算多个所述沿边清扫路径点与所述初始沿边清扫路径的欧式距离；筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点以得到更新沿边清扫路径。
在一实施例中，在对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像之前，所述无人船沿边清扫路径规划方法还包括：获取预先标记的训练集；将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值；根据所述损失值调整所述待训练水岸分割神经网络模型的参数以得到所述预训练的水岸分割神经网络模型。
应当理解，在本申请实施例中，处理器302可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行本发明无人船清洁路线规划方的上述任意实施例。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种无人船沿边清扫路径规划方法，其特征在于，包括：
接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；
在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；
对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；
基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图；
根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。
2.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，所述对所述待处理图像进行预处理的步骤包括：
对所述待处理图像进行图像增强处理以得到增强的待处理图像；
将所述增强的待处理图像进行拼接合成处理以得到融合图像；
对所述融合图像进行特征提取以得到图像特征。
3.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，所述将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像的步骤包括：
对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像；
基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。
4.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，所述基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图的步骤包括：
初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量；
基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像；
对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。
5.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，所述根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径的步骤包括：
获取所述局部地图上预设范围内的多个障碍目标点；
对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点；
计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径。
6.根据权利要求5所述的无人船沿边清扫路径规划方法，其特征在于，所述基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点的步骤包括：
计算所述局部沿边清扫路径上的多个沿边清扫路径点与所述初始沿边清扫路径的欧式距离；
筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点直至到达所述初始沿边清扫路径的终点。
7.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，在对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像之前，所述无人船沿边清扫路径规划方法还包括：
获取预先标记的训练集；
将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值；
根据所述损失值调整所述待训练水岸分割神经网络模型的参数以得到所述预训练的水岸分割神经网络模型。
8.一种无人船沿边清扫路径规划装置，其特征在于，包括：
接收单元，用于接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；
第一获取单元，用于在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；
分割映射单元，用于对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；
第一建立单元，用于基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；
规划更新单元，用于根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。
9.一种无人船沿边清扫路径规划设备，其特征在于，所述无人船沿边清扫路径规划设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202210295168.4A 2022-03-24 2022-03-24 无人船沿边清扫路径规划方法、装置、设备及存储介质 Active CN114396945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210295168.4A CN114396945B (zh) 2022-03-24 2022-03-24 无人船沿边清扫路径规划方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210295168.4A CN114396945B (zh) 2022-03-24 2022-03-24 无人船沿边清扫路径规划方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114396945A true CN114396945A (zh) 2022-04-26
CN114396945B CN114396945B (zh) 2022-07-12

Family

ID=81234960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210295168.4A Active CN114396945B (zh) 2022-03-24 2022-03-24 无人船沿边清扫路径规划方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114396945B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115047890A (zh) * 2022-08-17 2022-09-13 北京大学 无人船控制方法、设备及计算机可读存储介质
CN115586777A (zh) * 2022-11-04 2023-01-10 广西壮族自治区水利电力勘测设计研究院有限责任公司 一种水深测量无人船遥测控制方法
CN116907512A (zh) * 2023-09-14 2023-10-20 山东博昂信息科技有限公司 一种室外无人清扫机器的组合打点清扫方法
WO2023231640A1 (zh) * 2022-05-31 2023-12-07 深圳市普渡科技有限公司 动态沿边路径生成方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130115801A (ko) * 2012-04-13 2013-10-22 삼성중공업 주식회사 로봇의 선박 외주면 주행 방법
US20180281191A1 (en) * 2017-03-30 2018-10-04 Brain Corporation Systems and methods for robotic path planning
CN109657863A (zh) * 2018-12-20 2019-04-19 智慧航海（青岛）科技有限公司 一种基于萤火虫算法的无人船全局路径动态优化方法
CN110827329A (zh) * 2019-10-15 2020-02-21 四方智能(武汉)控制技术有限公司 一种无人船自主泊岸方法、计算机设备及存储介质
CN113433933A (zh) * 2021-04-16 2021-09-24 安徽中科合鼎科技发展有限公司 一种智能水面保洁无人船的自主巡航方法
CN113723371A (zh) * 2021-11-01 2021-11-30 陕西欧卡电子智能科技有限公司 无人船清洁路线规划方法、装置、计算机设备及存储介质
CN113837924A (zh) * 2021-08-11 2021-12-24 航天科工深圳（集团）有限公司 一种基于无人艇感知系统的水岸线检测方法
CN114061565A (zh) * 2021-11-12 2022-02-18 安徽中科合鼎科技发展有限公司 一种无人船舶slam及其应用方法
CN114077249A (zh) * 2021-10-22 2022-02-22 陕西欧卡电子智能科技有限公司 一种作业方法、作业设备、装置、存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130115801A (ko) * 2012-04-13 2013-10-22 삼성중공업 주식회사 로봇의 선박 외주면 주행 방법
US20180281191A1 (en) * 2017-03-30 2018-10-04 Brain Corporation Systems and methods for robotic path planning
CN110622081A (zh) * 2017-03-30 2019-12-27 云海智行股份有限公司 用于机器人路径规划的系统和方法
CN109657863A (zh) * 2018-12-20 2019-04-19 智慧航海（青岛）科技有限公司 一种基于萤火虫算法的无人船全局路径动态优化方法
CN110827329A (zh) * 2019-10-15 2020-02-21 四方智能(武汉)控制技术有限公司 一种无人船自主泊岸方法、计算机设备及存储介质
CN113433933A (zh) * 2021-04-16 2021-09-24 安徽中科合鼎科技发展有限公司 一种智能水面保洁无人船的自主巡航方法
CN113837924A (zh) * 2021-08-11 2021-12-24 航天科工深圳（集团）有限公司 一种基于无人艇感知系统的水岸线检测方法
CN114077249A (zh) * 2021-10-22 2022-02-22 陕西欧卡电子智能科技有限公司 一种作业方法、作业设备、装置、存储介质
CN113723371A (zh) * 2021-11-01 2021-11-30 陕西欧卡电子智能科技有限公司 无人船清洁路线规划方法、装置、计算机设备及存储介质
CN114061565A (zh) * 2021-11-12 2022-02-18 安徽中科合鼎科技发展有限公司 一种无人船舶slam及其应用方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231640A1 (zh) * 2022-05-31 2023-12-07 深圳市普渡科技有限公司 动态沿边路径生成方法、装置、计算机设备和存储介质
CN117193278A (zh) * 2022-05-31 2023-12-08 深圳市普渡科技有限公司 动态沿边路径生成的方法、装置、计算机设备和存储介质
CN115047890A (zh) * 2022-08-17 2022-09-13 北京大学 无人船控制方法、设备及计算机可读存储介质
CN115586777A (zh) * 2022-11-04 2023-01-10 广西壮族自治区水利电力勘测设计研究院有限责任公司 一种水深测量无人船遥测控制方法
CN116907512A (zh) * 2023-09-14 2023-10-20 山东博昂信息科技有限公司 一种室外无人清扫机器的组合打点清扫方法
CN116907512B (zh) * 2023-09-14 2023-12-22 山东博昂信息科技有限公司 一种室外无人清扫机器的组合打点清扫方法

Also Published As

Publication number Publication date
CN114396945B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114396945B (zh) 无人船沿边清扫路径规划方法、装置、设备及存储介质
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN107844750B (zh) 一种水面全景图像目标检测识别方法
JP6739517B2 (ja) 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器
CN109409263B (zh) 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
US10366501B2 (en) Method and apparatus for performing background image registration
JP7138718B2 (ja) 地物検出装置、地物検出方法および地物検出プログラム
CN110473221B (zh) 一种目标物体自动扫描系统及方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN114926726B (zh) 基于多任务网络的无人船感知方法及相关设备
Heidarsson et al. Obstacle detection from overhead imagery using self-supervised learning for autonomous surface vehicles
CN115019181B (zh) 遥感图像旋转目标检测方法、电子设备及存储介质
CN111898659A (zh) 一种目标检测方法及系统
KR102278674B1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
CN114596536A (zh) 无人船沿岸巡检方法、装置、计算机设备及存储介质
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
Cheng et al. C 2-YOLO: Rotating Object Detection Network for Remote Sensing Images with Complex Backgrounds
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
CN117570968A (zh) 基于视觉路标的地图构建与维护方法、装置及存储介质
CN117809082A (zh) 基于裂缝自分割模型的桥梁裂缝病害检测方法及装置
Li et al. A sonar image mosaicing algorithm based on improved SIFT for USV
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
CN113255405B (zh) 车位线识别方法及其系统、车位线识别设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant