CN113723371B - 无人船清洁路线规划方法、装置、计算机设备及存储介质 - Google Patents

无人船清洁路线规划方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113723371B
CN113723371B CN202111279608.9A CN202111279608A CN113723371B CN 113723371 B CN113723371 B CN 113723371B CN 202111279608 A CN202111279608 A CN 202111279608A CN 113723371 B CN113723371 B CN 113723371B
Authority
CN
China
Prior art keywords
garbage
grid
image
route
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111279608.9A
Other languages
English (en)
Other versions
CN113723371A (zh
Inventor
程宇威
朱健楠
王心爽
池雨豪
虞梦苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Orca Electronic Intelligent Technology Co ltd
Original Assignee
Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Orca Electronic Intelligent Technology Co ltd filed Critical Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority to CN202111279608.9A priority Critical patent/CN113723371B/zh
Publication of CN113723371A publication Critical patent/CN113723371A/zh
Application granted granted Critical
Publication of CN113723371B publication Critical patent/CN113723371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种无人船清洁路线规划方法、装置、计算机设备及存储介质，涉及人工智能技术领域。该方法包括：根据当前位置信息及预设的待清洁范围生成初始栅格图和初始路线；实时获取当前视野的图像作为待检测图像；根据待检测图像及初始栅格图生成包含垃圾栅格的视觉栅格图；若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，根据垃圾栅格的数量及位置确定目标清洁区域，并基于目标清洁区域以及视觉栅格图重复规划清洁路线。本发明基于预训练的神经网络生成包含垃圾栅格的视觉栅格图，提升了垃圾识别的准确性以及抗干扰性能；并根据检测到的垃圾栅格的数量切换不同的路线规划方式，确保清洁效果的同时降低了无人船的能耗。

Description

无人船清洁路线规划方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种无人船清洁路线规划方法、装置、计算机设备及存储介质。
背景技术
近年来，景观水域、湖泊、内河、海域漂浮物污染十分严重，严重影响水生态环境，水面清洁工作日益受到重视。目前，主要通过人工打捞的方式清除水面垃圾，该方式不仅效率低下，而且安全性差，故无人船辅助人工作业已成水面清洁工作的发展趋势。
在实际无人船水面清洁工作场景中，由于河道、湖泊等水域的面积宽广，水面环境复杂导致无人船在规划清洁的路线时对垃圾识别的准确性低，难以将水面垃圾清理干净。并且现有的无人船主要通过循环遍历的方式规划清洁的路线以实现水面垃圾的清除，该方式耗时长导致无人船的能耗高。
发明内容
本发明实施例提供了一种无人船清洁路线规划方法、装置、计算机设备及存储介质，旨在解决现有无人船清洁路线规划方法对垃圾识别的准确性低，循环遍历的清洁路线耗时长导致无人船的能耗高的问题。
第一方面，本发明实施例提供了一种无人船清洁路线规划方法，该方法包括：获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线；在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像；基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图；若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态；若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线。
第二方面，本发明实施例还提供了一种无人船清洁路线规划装置，该装置包括：第一生成单元，用于获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线；实时获取单元，用于在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像；第二生成单元，用于基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图；重复规划单元，用于若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态；重新规划单元，用于若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行上述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现上述方法。
本发明基于预训练的神经网络生成包含垃圾栅格的视觉栅格图，提升了垃圾识别的准确性，以及垃圾识别的抗干扰性能；并根据检测到的垃圾栅格的数量切换不同的路线规划方式，确保清洁效果的同时降低了无人船的能耗。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种无人船清洁路线规划方法流程示意图；
图2为图1所示步骤S3之前的步骤的流程示意图；
图3为图1所示步骤S3的子步骤的流程示意图；
图4为本发明实施例提供的一种无人船清洁路线规划装置的示意性框图；
图5为本发明实施例提供的一种计算机设备的示意性框图；
图6为本发明一实施例中获取的待检测图像；
图7为本发明一实施例中由待检测图像生成的垃圾密度热力图；
图8为本发明一实施例中无人船规划的清洁路线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本发明实施例提出的技术方案可应用于智慧科技中以推动智慧城市的建设。
请参阅图1，图1是本发明实施例提供的无人船清洁路线规划方法的流程示意图。如图1所示，该方法包括以下步骤S1-S5。
S1，获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线。
具体实施中，获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线。具体地，在一实施例中，通过GPS（Global Positioning System，全球定位系统）获取无人船的当前位置信息，以便根据当前位置信息对清洁路线进行的规划。其中，无人船在开启时按照初始路线航行，初始栅格图用于步骤S3中以生成包含垃圾栅格的视觉栅格图。
用户可使用手机，电脑、遥控器等终端对待清洁范围进行设置：具体地，使用手机，电脑、遥控器等设备的电子地图上手动标记出目标点，或将无人船航行过程中获取的实时位置信息存储为目标点，将目标点依次连接构成待清洁范围。
参见图2，在一实施例中，在将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图之前，所述无人船清洁路线规划方法还包括：步骤S101-S103。通过执行步骤S101-S103对搭建好的神经网络进行训练以得到预训练的神经网络。
S101，获取训练的正样本与负样本。
具体实施中，获取训练的正样本与负样本。其中，正样本指需要清洁的样本图像，负样本指不需要清洁的样本图像；正样本包括：树枝、树叶、水草、瓶子、水面漂浮物等，负样本包括：水面建筑物倒影，水面自然泡沫，岸线等。
需要说明的是，获取训练的正样本与负样本的步骤包括：
获取待处理的样本图像，所述样本图像包括正样本图像和负样本图像；对所述待处理的样本图像进行预处理以得到所述正样本和负样本，其中，所述预处理包括随机地翻转样本图像和随机地对样本图像进行颜色扰动。颜色扰动包括调整样本图像颜色的亮度、色相、对比度以及饱和度。通过对样本图像进行随机地翻转和颜色扰动可以增加样本的多样性，丰富训练集，为提高垃圾检测的准确率提供丰富的样本基础。其中，训练的正负样本集包含已经标注的训练集和测试集。
S102，将所述正样本与负样本输入至待训练神经网络中，通过损失函数计算损失值。
具体实施中，将所述正样本与负样本输入至待训练神经网络中，通过损失函数计算损失值。其中损失值为神经网络每次迭代的前向计算结果与真实值的差距，用于指导下一步训练向正确的方向进行。使用均值和标准值，对输入网络的样本图像进行归一化处理以降低计算复杂度。初始化神经网络，对样本图像进行特征提取，使用的网络框架结构由多个卷积层和多个残差层组成。卷积层通过卷积运算提取目标特征，残差层对不同层的输出进行跨层直连，该结构设计可降低模型的复杂度，并减少相关参数，在加深网络层数的同时，避免梯度消失或爆炸等问题。将正样本与负样本输入至构建好的神经网络中，输出神经网络的预设参数值。具体地，在一实施例中，初始化学习率，采用随机梯度下降优化方法，固定预训练模型的参数，采用的损失函数为MSE Loss和MAE Loss计算损失值。
S103，根据所述损失值调整所述待训练神经网络的参数以得到所述预训练的神经网络。
具体实施中，根据所述损失值调整所述待训练神经网络的参数以得到所述预训练的神经网络。在训练过程中不断更新神经网络的权重，其中，损失函数定义了需要优化的数量值，对于本实施例的回归问题，该损失值为真实值和预测值之间差值的平方和。
需要说明的是，停止调整参数的条件可以是调整神经网络的网络参数的次数等于设定迭代次数，也可以是神经网络的损失函数达到收敛条件，当然，也可以是在固定的测试集上测试达到设定的准确率。这里，设定迭代次数表示调整神经网络的网络参数的次数的最大值，设定迭代次数为大于1的整数；收敛条件可以是调整神经网络的损失函数的值小于设定损失，设定损失可以根据实际应用需求预先设置。
可以看出，在本实施例中，基于随机翻转和扰动图像颜色的水上正负样本图像进行训练，获得经过丰富样本训练的神经网络，以满足对实际图像处理结果的需求，由于神经网络的训练过程是基于丰富的样本图像实现的，因此，通过预训练的神经网络对图像进行处理的结果更加稳定和准确。
S2，在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像。
具体实施中，在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像。具体地，在本实施例中，当前视野的图像通过单目相机实时拍摄获取，当前视野的图像反映当前拍摄区域的垃圾分布情况。
S3，基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图。
具体实施中，基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图。具体地，在本实施例中，视觉栅格图反映出待检测图像中垃圾的数量以及位置，基于视觉栅格图来规划无人船的航行路线。
具体地，在一实施例中，以上步骤S3具体包括：步骤S301-S302。
S301，将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图，所述神经网络是基于不同水面环境下的正负样本图像训练得到的。
具体实施中，将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图，所述神经网络是基于不同水面环境下的正负样本图像训练得到的。在一实施例中，通过预训练的神经网络生成的垃圾密度热力图，准确地反应出垃圾的数量以及位置信息，为接下来无人船路线规划提供准确的依据。
其中，所述神经网络包括注意机制特征图生成网络、多尺度卷积网络以及特征融合网络。垃圾密度热力图是以特殊高亮的形式显示待检测图像中水面垃圾的概率。例如，以红色表示垃圾在待检测图像中目标位置的概率最高，以蓝色表示垃圾在待检测图像中目标位置的概率最低，用其他过度的颜色表示概率值处于最高值和最低值之间。
参见图3，在一实施例中，以上步骤S301具体包括：步骤S3011-S3013。
S3011，将所述待检测图像输入至所述注意机制特征图生成网络以生成第一特征图。
具体实施中，将所述待检测图像输入至所述注意机制特征图生成网络以生成第一特征图。在一实施例中，将待检测图像输入至注意机制特征图生成网络中，该注意机制特征图生成网络通过关注待检测图像中水面垃圾特征的部分而生成第一特征图。该注意机制特征图生成网络为AMG(Attention Map Generator，注意力图生成器)网络，其网络结构的主体架构由前端网络和后端网络组成。该步骤通过引入视觉注意机制，更专注于待检测图像中水面垃圾特征的图像部分，有效减少待检测图像中噪声的影响，使得第一特征图包含垃圾的信息质量更高。
S3012，将所述待检测图像与所述第一特征图输入至所述多尺度卷积网络以生成第二特征图。
具体实施中，将所述待检测图像与所述第一特征图输入至所述多尺度卷积网络以生成第二特征图。第二特征图为不同尺度卷积下的特征图，该多尺度卷积网络，用于从不同尺度对待检测图像进行卷积综合第一特征图的特征，以得到不同尺度卷积下的特征图；通过不同尺度的卷积操作，可以获取待检测图像中高层的语义信息以及低层的细节信息，使得第二特征图所包含的信息更加全面，大大提高了垃圾密度热力图的图像质量。其中，多尺度卷积网络包括多个不同大小的卷积核。
S3013，将所述第二特征图输入至所述特征融合网络以生成垃圾密度热力图。
具体实施中，将所述第二特征图输入至所述特征融合网络，通过高斯核函数计算生成垃圾密度热力图。特征融合网络在残差网络的基础上，提出了一种自适应卷积核的网络，来生成相应的密度图。经测试发现，对于相同大小的感知域，卷积核越小，卷积层数越多的模型，要优于有更大卷积核且卷积层数较少的模型。本实施例采用基础网络是50层的残差网络ResNet50，用于生成与待检测图像长宽接近的垃圾密度热力图。
具体实施中，根据所述第二特征图中每一垃圾位置与周围相邻垃圾的距离构建卷积的方差，将所有垃圾位置卷积后的结果累加一起生成垃圾密度热力图。由于水面的透视畸变，不同位置的垃圾对应着不同大小的像素区域。因此，若要生成精确垃圾密度热力图，需要考虑单应性引起的畸变。在垃圾密集的场景中，垃圾的大小通常与相邻垃圾中心的距离有关，对于密集场景的第二特征图，根据高斯卷积核的方差来自适应地确定垃圾的扩展参数，也就是为每一垃圾位置根据其与周围相邻垃圾的距离来构建卷积的方差，然后将所有垃圾点卷积后的结果累加，最终生成垃圾密度热力图。
需要说明的是，为了使垃圾密度热力图能够更好地与不同视角（不同大小的垃圾）且垃圾很密的图像对应起来，对传统的基于高斯核的密度图进行改进，提出基于自适应高斯核的密度图，也即通过以下自适应高斯核函数计算得出所述密度图：
Figure DEST_PATH_IMAGE001
其中，
Figure 77374DEST_PATH_IMAGE002
表示垃圾在图像中的像素位置，
Figure DEST_PATH_IMAGE003
表示图像中垃圾位置的冲击函数，N为图像中的垃圾总数，
Figure 322410DEST_PATH_IMAGE004
为相邻垃圾与该垃圾的平均距离，β为权重，
Figure DEST_PATH_IMAGE005
表示高斯核函数，通常情况垃圾的大小与两个相邻的垃圾在密集场景中的中心之间的距离有关，
Figure 695623DEST_PATH_IMAGE006
在垃圾较密的情况下近似等于垃圾大小。
参见图6及图7，其中，图6为待检测图像，图7为待检测图像经过以上步骤处理后得到的垃圾密度热力图。对比看图6和图7，垃圾密度热力图上能准确的反映垃圾的位置及密度，并且有效地避开倒影的干扰。
S302，将所述垃圾密度热力图转换为矩阵栅格图，并投影至所述初始栅格图中得到视觉栅格图，在所述视觉栅格图中以预设标识表征垃圾栅格。
具体实施中，将所述垃圾密度热力图转换为矩阵栅格图，并投影至所述初始栅格图中得到视觉栅格图，在所述视觉栅格图中以预设标识表征垃圾栅格。具体地，在一实施例中，利用惯性传感器记录无人航行时的俯仰角，根据相机内参，单应性矩阵，实现将垃圾密度热力图经仿射变换转换为矩阵栅格图，并投影至初始栅格图中得到视觉栅格图。
在一实施例中，在所述视觉栅格图中以预设标识表征垃圾栅格，预设标识可为数字1，也可为其他形式的标识，本申请对此不作具体的限定。
S4，若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态。
具体实施中，若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态。具体地，在一实施例中，设定连续5帧视觉栅格图中的垃圾栅格数量大于预设的总量阈值20，则根据垃圾栅格的数量及位置重复规划清洁路线，以进入垃圾收集状态。用户可根据实际情况设定N的值以及预设的总量阈值，本申请对此不作具体地限定。
需要说明的是，在垃圾清理的过程中垃圾的位置以及数量实时变化，当连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值时，需要一直重复规划清洁路线，直至垃圾清理完毕。
进一步地，可将无人船航行的垃圾收集状态据垃圾分布的情况设置为多种模式，例如当水面垃圾分布稀少时，无人船采取小航行间距快速遍历模式；当水面垃圾密集时，无人船采取密集遍历模式以快速彻底清扫垃圾；以降低无人船清洁水面垃圾的能耗。具体航行模式可根据实际需要来进行设置，本申请对此不作具体地限定。
在一实施例中，对垃圾栅格的数量及位置经过聚类处理，运用形态学算子将临近的垃圾栅格进行聚类并合并，以确定目标清洁区域。具体地，在一实施例中，使用K-均值聚类算法对垃圾栅格进行聚类处理，也可使用其他聚类算法，本申请对此不作具体限定。
S5，若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线。
具体实施中，若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线。具体地，在一实施例中，设定连续10帧的视觉栅格图中未出现垃圾栅格，退出所述垃圾收集状态，采用弓字形状全程遍历，以快速通过。解决了无人船在无垃圾的情况下进行密集的遍历航行能耗高、效率低的问题，从而实现高效清洁。用户可根据实际情况设定M的值，本申请对此不作具体地限定。
在退出所述垃圾收集状态后，无人船在全程遍历的行驶过程中，实时获取当前视野的图像作为待检测图像，继续对待检测图像进行处理，重新规划待航行路线，并判断是否进入垃圾收集状态。
在一实施例中，无人船的清洁路线规划如图8所示，在视觉栅格图的右下方没有垃圾分布，无人船经过规划以一定航行间距快速遍历通过，大大节省了航行的时间以及无人船的能耗；而视觉栅格图的左侧垃圾分布比较密集，无人船经规划后无人船密集遍历航行，进入垃圾收集状态直至对水面垃圾进行彻底地清扫。
需要说明的是，在一实施例中，没有垃圾分布时，无人船快速遍历的航行间距为3m，航行间距可根据无人船上使用相机的视野范围来确定，本申请对此不作具体地限定。
本发明实施例提供了一种无人船清洁路线规划方法，该方法包括：获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线；在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像；基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图；若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态；若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线。本发明基于预训练的神经网络生成包含垃圾栅格的视觉栅格图，提升了垃圾识别的准确性，以及垃圾识别的抗干扰性能；并根据所述垃圾栅格的数量及位置重复规划清洁路线，降低了无人船的能耗。
图4是本发明实施例提供的一种无人船清洁路线规划装置的示意性框图。如图4所示，对应于以上无人船清洁路线规划方法，本发明还提供一种无人船清洁路线规划装置100。该无人船清洁路线规划装置100包括用于执行上述无人船清洁路线规划方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑等终端中。具体地，请参阅图4，该无人船清洁路线规划装置100包括第一生成单元101、实时获取单元102、第二生成单元103、重复规划单元104以及重新规划单元105。
所述第一生成单元101用于获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线；所述实时获取单元102用于在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像；所述第二生成单元103用于基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图；所述重复规划单元104用于若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态；所述重新规划单元105用于若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线。
在一实施例中，所述第二生成单元103包括：第三生成单元，用于将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图，所述神经网络是基于不同水面环境下的正负样本图像训练得到的；转换投影单元，用于将所述垃圾密度热力图转换为矩阵栅格图，并投影至所述初始栅格图中得到视觉栅格图，在所述视觉栅格图中以预设标识表征垃圾栅格。
在一实施例中，所述神经网络包括注意机制特征图生成网络、多尺度卷积网络以及特征融合网络，所述第三生成单元包括：
第四生成单元，用于将所述待检测图像输入至所述注意机制特征图生成网络以生成第一特征图；第五生成单元，用于将所述待检测图像与所述第一特征图输入至所述多尺度卷积网络以生成第二特征图；第六生成单元，用于将所述第二特征图输入至所述特征融合网络以生成垃圾密度热力图。
在一实施例中，所述第六生成单元包括：
第七生成单元，用于将所述第二特征图输入至所述特征融合网络，通过高斯核函数计算生成垃圾密度热力图。
在一实施例中，所述转换投影单元包括：
转换单元，用于利用单应性矩阵，将所述垃圾密度热力图经仿射变换转换为矩阵栅格图。
在一实施例中，所述装置还包括：
第一获取单元，用于获取训练的正样本与负样本；
计算单元，用于将所述正样本与负样本输入至待训练神经网络中，通过损失函数计算损失值；
调整单元，用于根据所述损失值调整所述待训练神经网络的参数以得到所述预训练的神经网络。
在一实施例中，所述第一获取单元包括：
第二获取单元，用于获取待处理的样本图像，所述样本图像包括正样本图像和负样本图像；
预处理单元，用于对所述待处理的样本图像进行预处理以得到所述正样本和负样本，其中，所述预处理包括随机地翻转样本图像和随机地对样本图像进行颜色扰动。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述无人船清洁路线规划装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述无人船清洁路线规划装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300是上位机。其中，上位机可以是平板电脑、笔记本电脑、台式电脑等电子设备。
参阅图5，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括非易失性存储介质303和内存储器304。
该非易失性存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种无人船清洁路线规划方法。
该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。
该内存储器304为非易失性存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种无人船清洁路线规划方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：
获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线；在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像；基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图；若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态；若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线。
在一实施例中，所述基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图的步骤包括：将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图，所述神经网络是基于不同水面环境下的正负样本图像训练得到的；将所述垃圾密度热力图转换为矩阵栅格图，并投影至所述初始栅格图中得到视觉栅格图，在所述视觉栅格图中以预设标识表征垃圾栅格。
在一实施例中，所述神经网络包括注意机制特征图生成网络、多尺度卷积网络以及特征融合网络，所述将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图的步骤包括：将所述待检测图像输入至所述注意机制特征图生成网络以生成第一特征图；将所述待检测图像与所述第一特征图输入至所述多尺度卷积网络以生成第二特征图；将所述第二特征图输入至所述特征融合网络以生成垃圾密度热力图。
在一实施例中，所述将所述第二特征图输入至所述特征融合网络以生成垃圾密度热力图的步骤包括：将所述第二特征图输入至所述特征融合网络，通过高斯核函数计算生成垃圾密度热力图。
在一实施例中，所述将所述垃圾密度热力图转换为矩阵栅格图的步骤包括：
利用单应性矩阵，将所述垃圾密度热力图经仿射变换转换为矩阵栅格图。
在一实施例中，在将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图之前，所述无人船清洁路线规划方法还包括：获取训练的正样本与负样本；将所述正样本与负样本输入至待训练神经网络中，通过损失函数计算损失值；根据所述损失值调整所述待训练神经网络的参数以得到所述预训练的神经网络。
在一实施例中，所述获取训练的正样本与负样本的步骤包括：获取待处理的样本图像，所述样本图像包括正样本图像和负样本图像；对所述待处理的样本图像进行预处理以得到所述正样本和负样本，其中，所述预处理包括随机地翻转样本图像和随机地对样本图像进行颜色扰动。
应当理解，在本申请实施例中，处理器302可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行本发明无人船清洁路线规划方的上述任意实施例。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种无人船清洁路线规划方法，其特征在于，包括：
获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线；
在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像；
基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图；
若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态；
若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线；
其中，所述基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图包括：
将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图，所述神经网络是基于不同水面环境下的正负样本图像训练得到的；
将所述垃圾密度热力图转换为矩阵栅格图，并投影至所述初始栅格图中得到视觉栅格图，其中，在所述视觉栅格图中以预设标识表征垃圾栅格。
2.根据权利要求1所述的无人船清洁路线规划方法，其特征在于，所述神经网络包括注意机制特征图生成网络、多尺度卷积网络以及特征融合网络，所述将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图的步骤包括：
将所述待检测图像输入至所述注意机制特征图生成网络以生成第一特征图；
将所述待检测图像与所述第一特征图输入至所述多尺度卷积网络以生成第二特征图；
将所述第二特征图输入至所述特征融合网络以生成垃圾密度热力图。
3.根据权利要求2所述的无人船清洁路线规划方法，其特征在于，所述将所述第二特征图输入至所述特征融合网络以生成垃圾密度热力图的步骤包括：
将所述第二特征图输入至所述特征融合网络，通过高斯核函数计算生成垃圾密度热力图。
4.根据权利要求1所述的无人船清洁路线规划方法，其特征在于，所述将所述垃圾密度热力图转换为矩阵栅格图的步骤包括：
利用单应性矩阵，将所述垃圾密度热力图经仿射变换转换为矩阵栅格图。
5.根据权利要求1所述的无人船清洁路线规划方法，其特征在于，在将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图之前，所述无人船清洁路线规划方法还包括：
获取训练的正样本与负样本；
将所述正样本与负样本输入至待训练神经网络中，通过损失函数计算损失值；
根据所述损失值调整所述待训练神经网络的参数以得到所述预训练的神经网络。
6.根据权利要求5所述的无人船清洁路线规划方法，其特征在于，所述获取训练的正样本与负样本的步骤包括：
获取待处理的样本图像，所述样本图像包括正样本图像和负样本图像；
对所述待处理的样本图像进行预处理以得到所述正样本和负样本，其中，所述预处理包括随机地翻转样本图像和随机地对样本图像进行颜色扰动。
7.一种无人船清洁路线规划装置，其特征在于，包括：
第一生成单元，用于获取当前位置信息，根据所述当前位置信息及预设的待清洁范围，生成初始栅格图和初始路线；
实时获取单元，用于在无人船依据所述初始路线行驶过程中，实时获取当前视野的图像作为待检测图像；
第二生成单元，用于基于预训练的神经网络，根据所述待检测图像及所述初始栅格图，生成包含垃圾栅格的视觉栅格图；
重复规划单元，用于若连续N帧视觉栅格图中的垃圾栅格的数量大于预设的总量阈值，则根据所述垃圾栅格的数量及位置确定目标清洁区域，并基于所述目标清洁区域以及所述视觉栅格图重复规划清洁路线，以进入垃圾收集状态；
重新规划单元，用于若连续M帧视觉栅格图中未出现垃圾栅格，则退出所述垃圾收集状态，并根据当前位置及已航行路线重新规划待航行路线；
其中，所述第二生成单元包括：第三生成单元，用于将所述待检测图像输入至预训练的神经网络以生成垃圾密度热力图，所述神经网络是基于不同水面环境下的正负样本图像训练得到的；转换投影单元，用于将所述垃圾密度热力图转换为矩阵栅格图，并投影至所述初始栅格图中得到视觉栅格图，在所述视觉栅格图中以预设标识表征垃圾栅格。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202111279608.9A 2021-11-01 2021-11-01 无人船清洁路线规划方法、装置、计算机设备及存储介质 Active CN113723371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111279608.9A CN113723371B (zh) 2021-11-01 2021-11-01 无人船清洁路线规划方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111279608.9A CN113723371B (zh) 2021-11-01 2021-11-01 无人船清洁路线规划方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113723371A CN113723371A (zh) 2021-11-30
CN113723371B true CN113723371B (zh) 2022-03-29

Family

ID=78686211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111279608.9A Active CN113723371B (zh) 2021-11-01 2021-11-01 无人船清洁路线规划方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113723371B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565635B (zh) * 2022-03-08 2022-11-11 安徽新宇环保科技股份有限公司 一种智能识别河道垃圾并进行分类收集的无人船系统
CN114396945B (zh) * 2022-03-24 2022-07-12 陕西欧卡电子智能科技有限公司 无人船沿边清扫路径规划方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359820A (zh) * 2021-05-28 2021-09-07 中国地质大学（武汉） 一种基于dqn的无人机路径规划方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580292B2 (en) * 2018-04-18 2020-03-03 Here Global B.V. Lane-level geometry and traffic information
CN108594828B (zh) * 2018-06-05 2021-05-07 北京智行者科技有限公司 一种清扫作业路径的生成方法
CN109540155A (zh) * 2019-02-01 2019-03-29 西安全志科技有限公司 一种扫地机器人的路径规划与导航方法、计算机装置以及计算机可读存储介质
CN112848823A (zh) * 2019-11-27 2021-05-28 武汉理工大学 基于机器视觉的水陆两栖清洁无人船及其清洁方法
CN110992231A (zh) * 2019-12-12 2020-04-10 杭州翼兔网络科技有限公司 基于路径规划的全自动垃圾处理方法、装置、设备及介质
CN112287833A (zh) * 2020-10-29 2021-01-29 上海高仙自动化科技发展有限公司 机器人的巡检清洁方法、装置、机器人和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359820A (zh) * 2021-05-28 2021-09-07 中国地质大学（武汉） 一种基于dqn的无人机路径规划方法

Also Published As

Publication number Publication date
CN113723371A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN112884760B (zh) 近水桥梁多类型病害智能检测方法与无人船设备
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN113723371B (zh) 无人船清洁路线规划方法、装置、计算机设备及存储介质
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN113191285A (zh) 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
CN109145747A (zh) 一种水面全景图像语义分割方法
CN113052834B (zh) 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
CN111259940A (zh) 一种基于空间注意力地图的目标检测方法
CN107731011B (zh) 一种港口泊船监测方法、系统及电子设备
CN111079739A (zh) 一种多尺度注意力特征检测方法
CN113591592B (zh) 水上目标识别方法、装置、终端设备及存储介质
CN115908442B (zh) 一种无人机海洋监测用图像全景分割方法及模型搭建方法
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN115272701B (zh) 基于自适应特征提取与解耦预测头的船舶目标检测方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
Zhou et al. Collision-free waterway segmentation for inland unmanned surface vehicles
Yang Drone-view object detection based on the improved yolov5
CN115223009A (zh) 基于改进型YOLOv5的小目标检测方法及装置
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法
CN115546668A (zh) 海洋生物的检测方法、装置及无人机
CN115240133A (zh) 一种公交车拥挤度分析方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant