CN115359378B - 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 - Google Patents
一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 Download PDFInfo
- Publication number
- CN115359378B CN115359378B CN202211297480.3A CN202211297480A CN115359378B CN 115359378 B CN115359378 B CN 115359378B CN 202211297480 A CN202211297480 A CN 202211297480A CN 115359378 B CN115359378 B CN 115359378B
- Authority
- CN
- China
- Prior art keywords
- feature
- path
- marine
- offshore
- overhead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02B—HYDRAULIC ENGINEERING
- E02B15/00—Cleaning or keeping clear the surface of open water; Apparatus therefor
- E02B15/04—Devices for cleaning or keeping clear the surface of open water from oil or like floating materials by separating or removing these materials
- E02B15/10—Devices for removing the material from the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Environmental & Geological Engineering (AREA)
- Structural Engineering (AREA)
- Mechanical Engineering (AREA)
- Civil Engineering (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本申请涉及海洋垃圾清理领域,其具体地公开了一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其通过使用基于卷积神经网络的特征提取器对近海俯瞰图中的海洋垃圾分布进行局部特征提取,进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息,进而计算所述备选打捞路径的路径特征与海洋垃圾分布全局特征之间的乘积以得到两者之间的关联信息,并通过分类器以生成用于表示备选规划路径为最优打捞路径的概率值,特别地,将最大概率值对应的所述备选规划路径确定为最优打捞路径。这样,以最优打捞路径来操作海洋打捞设备,以兼顾打捞效率和打捞能耗。
Description
技术领域
本申请涉及海洋垃圾清理领域,且更为具体地,涉及一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备。
背景技术
随着人类活动的密集,海洋污染问题也越来越严重。从废弃渔网到塑料袋,香烟过滤嘴,危害全球海洋和海岸海洋垃圾问题正在愈演愈烈。海洋垃圾影响海洋景观,威胁航行安全,并对海洋生态系统的健康产生影响,进而对海洋经济产生负面效应。由于海洋垃圾的影响,大量的海洋生物误吞食后导致死亡,大量的海洋鱼类等服用海洋中的微塑料等海洋垃圾,进而被人类食用,从而严重影响人类健康。因此,及时地对海洋垃圾进行清理尤为重要。
传统的海洋垃圾打捞多为借助渔船的人工打捞,由于渔船自身承载力小和人力依赖性强,这种作业方式逐渐被现代大型船舶机械的海洋打捞方法替代。在利用大型船舶机械进行海洋垃圾打捞,如何进行打捞路径规划是重要的技术问题,其原因为打捞路径规划不仅仅关乎于打捞效率,还关乎于打捞能耗。
因此,期待一种优化的海洋环境的海洋打捞设备,其能够基于近海海洋垃圾的分布来确定最优的打捞路径方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其通过使用卷积神经网络对近海俯瞰图进行局部特征提取,进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息,同时,提取备选打捞路径的打捞路径特征,进而通过计算所述打捞路径特征与海洋垃圾分布全局特征的乘积以得到两者之间的关联信息,生成用于表示备选规划路径为最优打捞路径的概率值,特别地,将最大概率值对应的所述备选规划路径确定为最优打捞路径。
根据本申请的一个方面,提供了一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其包括:
近海图像采集模块,用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像;
近海图像一级编码模块,用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图;
特征图展开模块,用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列;
全局相关性编码模块,用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量;
矩阵化模块,用于将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵;
备选打捞路径提取模块,用于获取备选打捞规划路径;
备选路径映射模块,用于基于所述全局语义俯瞰特征矩阵,将所述备选打捞规划路径映射为备选路径特征向量;
向量查询模块,用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量;以及
打捞路径分析模块,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中,所述近海图像一级编码模块,进一步用于:使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部通道维度的均值池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述俯瞰特征图,所述作为特征提取器的第一卷积神经网络的第一层的输入为所述近海俯瞰图像。
在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中,所述特征图展开模块,进一步用于:将所述俯瞰特征图的沿通道维度的各个特征矩阵沿着行向量方向或列向量方向展开为特征向量以得到所述俯瞰特征向量的序列。
在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中,所述全局相关性编码模块,包括:特征向量优化单元,用于对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列;全局语义编码单元,用于使用所述基于转换器的上下文编码器对所述优化俯瞰特征向量的序列进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。
在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中,所述特征向量优化单元,包括:优化权重计算子单元,用于以如下公式来计算所述俯瞰特征向量的序列中各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数,其中,所述公式为:
和/>是所述俯瞰特征向量的所有位置的特征值集合的均值和方差,/>是所述俯瞰特征向量中第i个位置的特征值,/>和/>表示激活函数,/>表示以所述方差的负值为幂的自然指数函数值;以及,加权子单元,用于以所述各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数作为权重分别对所述俯瞰特征向量的序列中各个俯瞰特征向量进行加权以得到所述优化俯瞰特征向量的序列。
在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中,所述备选路径映射模块,进一步用于:基于所述备选打捞路径在所述近海俯瞰图像上的位置,从所述全局语义俯瞰特征矩阵得到所述备选路径特征向量。
在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中,所述打捞路径分析模块,进一步用于:使用所述分类器以如下公式对所述分类特征向量进行处理以获得分类结果,其中,所述公式为:
在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中,还包括打捞路径确定模块,用于将最大概率值对应的所述备选规划路径确定为最优打捞路径。
根据本申请的另一方面,提供了一种保护海洋环境的近岸海洋垃圾打捞收集方法,其包括:
获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像;
将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图;
将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列;
将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量;
将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵;
获取备选打捞规划路径;
基于所述全局语义俯瞰特征矩阵,将所述备选打捞规划路径映射为备选路径特征向量;
以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量;以及
将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的保护海洋环境的近岸海洋垃圾打捞收集方法。
根据本申请的又一方面,提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的保护海洋环境的近岸海洋垃圾打捞收集方法。
与现有技术相比,本申请提供的一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其通过使用卷积神经网络对近海俯瞰图进行局部特征提取,进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息,同时,提取备选打捞路径的打捞路径特征,进而通过计算所述打捞路径特征与海洋垃圾分布全局特征的乘积以得到两者之间的关联信息,生成用于表示备选规划路径为最优打捞路径的概率值,特别地,将最大概率值对应的所述备选规划路径确定为最优打捞路径。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的应用场景图;
图2图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的框图;
图3图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的系统架构图;
图4图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中第一卷积神经网络编码过程的流程图;
图5图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中全局相关性编码模块的框图;
图6图示了根据本申请实施例的保护海洋环境的近岸海洋垃圾打捞收集方法的流程图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
特别地,在本申请的技术方案中,所述海洋打捞设备为基于大型船舶机械的海洋垃圾打捞收集装置,其在进行打捞海洋垃圾前,能够对海上垃圾分布特征进行分析以最优打捞路径,这样不能仅提高打捞效率,还能够降低打捞能耗。
具体地,在本申请的技术方案中,首先由与海洋打捞设备可通信连接的无人机采集近海俯瞰图像。这里,无人机具有飞行能力,因此,其可以覆盖近海海域。在本申请的技术方案中,可将无人机所采集的多张近海海域局部图像进行拼接以得到所述近海俯瞰图像。
接着,使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取海洋垃圾分布局部特征,也就是,将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图。这里,作为特征提取器的卷积神经网络模型在提取图像局部特征时,因卷积核的感受野有限,因此其仅能够提取近海海洋分布的局部特征,但在进行路径规划时,需要基于近海海域海洋垃圾分布的全局特征来进行打捞路径规划,而如果过于关注于局部特征则会陷入局部最优的困境中。
因此,在本申请的技术方案中,将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列,然后,将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量。也就是说,在本申请的技术方案中,首先将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量,应可以理解,俯瞰特征图的沿通道维度的各个特征矩阵为海洋垃圾分布的局部特征;接着,利用转换器思想对所述海洋垃圾分布的局部特征进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。接着,将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵。
特别地,在本申请的技术方案中,在将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个全局上下文语义俯瞰特征向量时,考虑到基于转换器的上下文编码器对所述俯瞰特征图的沿通道维度的各个特征矩阵展开后得到的特征向量进行的全局相关性编码,如果能够提高各个俯瞰特征向量之间的表达一致性,则显然能够提高基于转换器的上下文编码器的编码效果。
因此,优选地,对于所述多个俯瞰特征向量,分别计算其深度递归的通道压榨-激励优化因数:
这里,所述深度递归的通道压榨-激励优化因数可以基于所述俯瞰特征向量的沿特征分布方向,即所述俯瞰特征图的图像语义的空间分布方向的特征集合的统计特性来激活图像空间分布的深度递归,从而推断所述俯瞰特征图在其各个通道采样位置的关联分布,并且,采用由-/>函数构成的通道压榨-激励机制,来获取通道注意力增强的分布置信度值,通过以其作为加权因数对所述多个俯瞰特征向量进行加权,可以增强所述多个俯瞰特征向量在表达所述俯瞰特征图的通道分布维度情况下的表达一致性,从而提高所述基于转换器的上下文编码器对所述俯瞰特征向量的序列的编码效果。
然后,获取备选打捞路径。特别地,在本申请的技术方案中,所述备选打捞路径可通过计算机程序随机生成。然后,基于所述备选打捞路径在所述近海俯瞰图像的位置,将所述备选打捞规划路径映射为备选路径特征向量,例如,基于所述备选打捞路径在所述近海俯瞰图像的位置,找到在所述全局语义俯瞰特征矩阵的对应位置的特征值,并将所有对应位置的特征值进行顺序排列以得到所述备选路径特征向量。
接着,以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量。应可以理解,所述备选路径特征向量表示打捞路径特征,而所述全局语义俯瞰特征矩阵表示海洋垃圾分布全局特征,因此,计算两者的乘积可以表示备选打捞路径在基于所述全局语义俯瞰特征矩阵的条件下的打捞效果特征。
继而,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。在得到所有备选打捞路径为最优打捞路径的概率值后,将最大概率值对应的所述备选规划路径确定为最优打捞路径。
基于此,本申请提出了一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其包括:近海图像采集模块,用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像;近海图像一级编码模块,用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图;特征图展开模块,用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列;全局相关性编码模块,用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量;矩阵化模块,用于将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵;备选打捞路径提取模块,用于获取备选打捞规划路径;备选路径映射模块,用于基于所述全局语义俯瞰特征矩阵,将所述备选打捞规划路径映射为备选路径特征向量;向量查询模块,用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量;以及,打捞路径分析模块,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
图1图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的应用场景图。如图1所示,在该应用场景中,由与海洋打捞设备可通信连接的无人机(例如,如图1中所示意的U)获取近海俯瞰图像,以及,获取由计算机随机生成的备选打捞路径。接着,将上述信息输入至部署有用于保护海洋环境的近岸海洋垃圾打捞收集算法的服务器(例如,图1中的S)中,其中,所述服务器能够以所述保护海洋环境的近岸海洋垃圾打捞收集算法对上述信息进行处理,以生成用于表示备选规划路径为最优打捞路径的概率值的分类结果。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的框图。如图2所示,根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300,包括:近海图像采集模块310;近海图像一级编码模块320;特征图展开模块330;全局相关性编码模块340;矩阵化模块350;备选打捞路径提取模块360;备选路径映射模块370;向量查询模块380;以及,打捞路径分析模块390。
其中,所述近海图像采集模块310,用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像;所述近海图像一级编码模块320,用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图;所述特征图展开模块330,用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列;所述全局相关性编码模块340,用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量;所述矩阵化模块350,用于将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵;所述备选打捞路径提取模块360,用于获取备选打捞规划路径;所述备选路径映射模块370,用于基于所述全局语义俯瞰特征矩阵,将所述备选打捞规划路径映射为备选路径特征向量;所述向量查询模块380,用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量;以及,所述打捞路径分析模块390,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
图3图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的系统架构图。如图3所示,首先通过所述近海图像采集模块310获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像;然后,所述近海图像一级编码模块320将所述近海图像采集模块310获取的近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图;所述特征图展开模块330将所述近海图像一级编码模块320生成的俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列;接着,所述全局相关性编码模块340将所述特征图展开模块330得到的俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量;所述矩阵化模块350将所述全局相关性编码模块340得到的多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵;同时,所述备选打捞路径提取模块360获取备选打捞规划路径;所述备选路径映射模块370基于所述全局语义俯瞰特征矩阵,将所述备选打捞规划路径映射为备选路径特征向量;所述向量查询模块380以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量;进而,所述打捞路径分析模块390将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
具体地,在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中,所述近海图像采集模块310,用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像。应可以理解,无人机具有飞行能力,因此,其可以覆盖近海海域。在本申请的技术方案中,可将无人机所采集的多张近海海域局部图像进行拼接以得到所述近海俯瞰图像。在本申请的技术方案中,所述海洋打捞设备为基于大型船舶机械的海洋垃圾打捞收集装置,其在进行打捞海洋垃圾前,能够对海上垃圾分布特征进行分析以最优打捞路径,这样不能仅提高打捞效率,还能够降低打捞能耗。
具体地,在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中,所述近海图像一级编码模块320,用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图。使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取海洋垃圾分布局部特征,也就是,将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图。
图4图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中第一卷积神经网络编码过程的流程图。如图4所示,所述第一卷积神经网络编码过程,进一步用于:S210,对输入数据进行卷积处理以得到卷积特征图;S220,对所述卷积特征图进行基于局部通道维度的均值池化处理以得到池化特征图;以及,S230,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述俯瞰特征图,所述作为特征提取器的第一卷积神经网络的第一层的输入为所述近海俯瞰图像。
具体地,在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中,所述特征图展开模块330,用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列。应可以理解,作为特征提取器的卷积神经网络模型在提取图像局部特征时,因卷积核的感受野有限,因此其仅能够提取近海海洋分布的局部特征,但在进行路径规划时,需要基于近海海域海洋垃圾分布的全局特征来进行打捞路径规划,而如果过于关注于局部特征则会陷入局部最优的困境中。因此,在本申请的技术方案中,将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列。在本申请的一个具体示例中,所述特征图展开模块,进一步用于:将所述俯瞰特征图的沿通道维度的各个特征矩阵沿着行向量方向或列向量方向展开为特征向量以得到所述俯瞰特征向量的序列。
具体地,在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中,所述全局相关性编码模块340和矩阵化模块350,用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量,继而将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵。也就是,将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量。也就是说,在本申请的技术方案中,首先将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量,应可以理解,俯瞰特征图的沿通道维度的各个特征矩阵为海洋垃圾分布的局部特征;接着,利用转换器思想对所述海洋垃圾分布的局部特征进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。
特别地,在本申请的技术方案中,在将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个全局上下文语义俯瞰特征向量时,考虑到基于转换器的上下文编码器对所述俯瞰特征图的沿通道维度的各个特征矩阵展开后得到的特征向量进行的全局相关性编码,如果能够提高各个俯瞰特征向量之间的表达一致性,则显然能够提高基于转换器的上下文编码器的编码效果。
因此,优选地,对于所述多个俯瞰特征向量,分别计算其深度递归的通道压榨-激励优化因数:
和/>是所述俯瞰特征向量的所有位置的特征值集合的均值和方差,/>是所述俯瞰特征向量中第i个位置的特征值,/>和/>表示激活函数,/>表示以所述方差的负值为幂的自然指数函数值,/>是俯瞰特征向量/>的特征值。
这里,所述深度递归的通道压榨-激励优化因数可以基于所述俯瞰特征向量的沿特征分布方向,即所述俯瞰特征图的图像语义的空间分布方向的特征集合的统计特性来激活图像空间分布的深度递归,从而推断所述俯瞰特征图在其各个通道采样位置的关联分布,并且,采用由-/>函数构成的通道压榨-激励机制,来获取通道注意力增强的分布置信度值,通过以其作为加权因数对所述多个俯瞰特征向量进行加权,可以增强所述多个俯瞰特征向量在表达所述俯瞰特征图的通道分布维度情况下的表达一致性,从而提高所述基于转换器的上下文编码器对所述俯瞰特征向量的序列的编码效果。
图5图示了根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中全局相关性编码模块的框图。如图5所示,所述全局相关性编码模块340,包括:特征向量优化单元341,用于对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列;全局语义编码单元342,用于使用所述基于转换器的上下文编码器对所述优化俯瞰特征向量的序列进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。
具体地,在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中,所述备选打捞路径提取模块360,用于获取备选打捞规划路径。在本申请的技术方案中,所述备选打捞路径可通过计算机程序随机生成。
具体地,在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中,所述备选路径映射模块370,用于基于所述全局语义俯瞰特征矩阵,将所述备选打捞规划路径映射为备选路径特征向量。也就是,基于所述备选打捞路径在所述近海俯瞰图像的位置,将所述备选打捞规划路径映射为备选路径特征向量,例如,基于所述备选打捞路径在所述近海俯瞰图像的位置,找到在所述全局语义俯瞰特征矩阵的对应位置的特征值,并将所有对应位置的特征值进行顺序排列以得到所述备选路径特征向量。
具体地,在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中,所述向量查询模块380,用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量。应可以理解,以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量。应可以理解,所述备选路径特征向量表示打捞路径特征,而所述全局语义俯瞰特征矩阵表示海洋垃圾分布全局特征,因此,计算两者的乘积可以表示备选打捞路径在基于所述全局语义俯瞰特征矩阵的条件下的打捞效果特征。
具体地,在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中,所述打捞路径分析模块390,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。即,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。在得到所有备选打捞路径为最优打捞路径的概率值后,将最大概率值对应的所述备选规划路径确定为最优打捞路径。在本申请的一个具体示例中,所述打捞路径分析模块,进一步用于:使用所述分类器以如下公式对所述分类特征向量进行处理以获得分类结果,其中,所述公式为:
综上,根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300被阐明,其通过使用卷积神经网络对近海俯瞰图进行局部特征提取,进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息,同时,提取备选打捞路径的打捞路径特征,进而通过计算所述打捞路径特征与海洋垃圾分布全局特征的乘积以得到两者之间的关联信息,生成用于表示备选规划路径为最优打捞路径的概率值,特别地,将最大概率值对应的所述备选规划路径确定为最优打捞路径。
如上所述,根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备可以实现在各种终端设备中。在一个示例中,根据本申请实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300与该终端设备也可以是分立的设备,并且该基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性方法
图6图示了根据本申请实施例的保护海洋环境的近岸海洋垃圾打捞收集方法的流程图。如图6所示,根据本申请实施例的保护海洋环境的近岸海洋垃圾打捞收集方法,包括步骤:S110,获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像;S120,将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图;S130,将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列;S140,将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量;S150,将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵;S160,获取备选打捞规划路径;S170,基于所述全局语义俯瞰特征矩阵,将所述备选打捞规划路径映射为备选路径特征向量;S180,以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量;以及,S190,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
在一个示例中,在上述保护海洋环境的近岸海洋垃圾打捞收集方法中,所述步骤S120,包括:使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于局部通道维度的均值池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述俯瞰特征图,所述作为特征提取器的第一卷积神经网络的第一层的输入为所述近海俯瞰图像。
在一个示例中,在上述保护海洋环境的近岸海洋垃圾打捞收集方法中,所述步骤S130,包括:将所述俯瞰特征图的沿通道维度的各个特征矩阵沿着行向量方向或列向量方向展开为特征向量以得到所述俯瞰特征向量的序列。
在一个示例中,在上述保护海洋环境的近岸海洋垃圾打捞收集方法中,所述步骤S140,包括:对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列;使用所述基于转换器的上下文编码器对所述优化俯瞰特征向量的序列进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。具体地,所述对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列,包括:以如下公式来计算所述俯瞰特征向量的序列中各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数,其中,所述公式为:
和/>是所述俯瞰特征向量的所有位置的特征值集合的均值和方差,/>是所述俯瞰特征向量中第i个位置的特征值,/>和/>表示激活函数,/>表示以所述方差的负值为幂的自然指数函数值;以及,以所述各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数作为权重分别对所述俯瞰特征向量的序列中各个俯瞰特征向量进行加权以得到所述优化俯瞰特征向量的序列。
在一个示例中,在上述保护海洋环境的近岸海洋垃圾打捞收集方法中,所述步骤S160,包括:基于所述备选打捞路径在所述近海俯瞰图像上的位置,从所述全局语义俯瞰特征矩阵得到所述备选路径特征向量。
在一个示例中,在上述保护海洋环境的近岸海洋垃圾打捞收集方法中,所述步骤S190,包括:使用所述分类器以如下公式对所述分类特征向量进行处理以获得分类结果,其中,所述公式为:
综上,根据本申请实施例的保护海洋环境的近岸海洋垃圾打捞收集方法被阐明,其通过使用卷积神经网络对近海俯瞰图进行局部特征提取,进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息,同时,提取备选打捞路径的打捞路径特征,进而通过计算所述打捞路径特征与海洋垃圾分布全局特征的乘积以得到两者之间的关联信息,生成用于表示备选规划路径为最优打捞路径的概率值,特别地,将最大概率值对应的所述备选规划路径确定为最优打捞路径。
Claims (6)
1.一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其特征在于,包括:
近海图像采集模块,用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像;
近海图像一级编码模块,用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图;
特征图展开模块,用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列;
全局相关性编码模块,用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量;
矩阵化模块,用于将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵;
备选打捞路径提取模块,用于获取备选打捞规划路径;
备选路径映射模块,用于基于所述全局语义俯瞰特征矩阵,将所述备选打捞规划路径映射为备选路径特征向量;
向量查询模块,用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量;以及打捞路径分析模块,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示备选规划路径为最优打捞路径的概率值;
所述全局相关性编码模块,包括:
特征向量优化单元,用于对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列;
全局语义编码单元,用于使用所述基于转换器的上下文编码器对所述优化俯瞰特征向量的序列进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量;
所述特征向量优化单元,包括:
优化权重计算子单元,用于以如下公式来计算所述俯瞰特征向量的序列中各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数,其中,所述公式为:
2.根据权利要求1所述的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其特征在于,所述近海图像一级编码模块,进一步用于:使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:
对输入数据进行卷积处理以得到卷积特征图;
对所述卷积特征图进行基于局部通道维度的均值池化处理以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;
其中,所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述俯瞰特征图,所述作为特征提取器的第一卷积神经网络的第一层的输入为所述近海俯瞰图像。
3.根据权利要求2所述的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其特征在于,所述特征图展开模块,进一步用于:将所述俯瞰特征图的沿通道维度的各个特征矩阵沿着行向量方向或列向量方向展开为特征向量以得到所述俯瞰特征向量的序列。
4.根据权利要求3所述的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其特征在于,所述备选路径映射模块,进一步用于:基于所述备选打捞路径在所述近海俯瞰图像上的位置,从所述全局语义俯瞰特征矩阵得到所述备选路径特征向量。
6.根据权利要求5所述的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备,其特征在于,还包括打捞路径确定模块,用于将最大概率值对应的所述备选规划路径确定为最优打捞路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211297480.3A CN115359378B (zh) | 2022-10-22 | 2022-10-22 | 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211297480.3A CN115359378B (zh) | 2022-10-22 | 2022-10-22 | 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115359378A CN115359378A (zh) | 2022-11-18 |
CN115359378B true CN115359378B (zh) | 2023-03-24 |
Family
ID=84007837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211297480.3A Active CN115359378B (zh) | 2022-10-22 | 2022-10-22 | 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115359378B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111213154A (zh) * | 2019-03-08 | 2020-05-29 | 深圳市大疆创新科技有限公司 | 一种车道线检测方法、设备、移动平台及存储介质 |
CN111731304A (zh) * | 2019-03-25 | 2020-10-02 | 本田技研工业株式会社 | 车辆控制装置、车辆控制方法及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807758B (zh) * | 2019-09-10 | 2022-11-08 | 中国三峡建设管理有限公司 | 保温被未覆盖区域检测方法、装置、设备和存储介质 |
CN113761976A (zh) * | 2020-06-04 | 2021-12-07 | 华为技术有限公司 | 基于全局引导选择性上下文网络的场景语义解析方法 |
JPWO2022070956A1 (zh) * | 2020-10-01 | 2022-04-07 | ||
CN113538702B (zh) * | 2021-06-30 | 2023-05-23 | 大连海事大学 | 一种海洋养殖区水下场景全景图生成方法 |
-
2022
- 2022-10-22 CN CN202211297480.3A patent/CN115359378B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111213154A (zh) * | 2019-03-08 | 2020-05-29 | 深圳市大疆创新科技有限公司 | 一种车道线检测方法、设备、移动平台及存储介质 |
CN111731304A (zh) * | 2019-03-25 | 2020-10-02 | 本田技研工业株式会社 | 车辆控制装置、车辆控制方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115359378A (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460382B (zh) | 基于深度学习单步检测器的光学遥感图像舰船检测方法 | |
CN109376589B (zh) | 基于卷积核筛选ssd网络的rov形变小目标识别方法 | |
CN112149591B (zh) | 用于sar图像的ssd-aeff自动桥梁检测方法及系统 | |
CN113688948A (zh) | 一种基于YOLO v5的附着海生物种类识别方法 | |
CN115013298B (zh) | 污水泵的实时性能在线监测系统及其监测方法 | |
Dumitriu et al. | Rip current segmentation: A novel benchmark and yolov8 baseline results | |
CN116363526B (zh) | MROCNet模型构建与多源遥感影像变化检测方法及系统 | |
CN117351374B (zh) | 一种遥感图像显著性目标检测方法、系统、设备及介质 | |
Xu et al. | On-board ship detection in SAR images based on L-YOLO | |
CN116152678A (zh) | 小样本条件下基于孪生神经网络的海洋承灾体识别方法 | |
Yuan et al. | STransUNet: A siamese TransUNet-based remote sensing image change detection network | |
CN115631337A (zh) | 一种无监督域自适应语义分割方法及系统 | |
CN115115863A (zh) | 水面多尺度目标检测方法、装置及系统和存储介质 | |
CN115526202A (zh) | 基于数据驱动的海上风机故障诊断系统及其诊断方法 | |
Yamada et al. | Geoclr: Georeference contrastive learning for efficient seafloor image interpretation | |
CN115359378B (zh) | 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备 | |
Kazimi et al. | Semantic segmentation of manmade landscape structures in digital terrain models | |
CN116659516B (zh) | 基于双目视差机制的深度立体注意力视觉导航方法及装置 | |
CN117351360A (zh) | 一种基于注意力机制改进的遥感图像道路提取方法 | |
Shang et al. | Faster and lighter meteorological satellite image classification by a lightweight channel-dilation-concatenation net | |
CN116912673A (zh) | 一种基于水下光学图像的目标检测方法 | |
CN113792660B (zh) | 基于改进YOLOv3网络的行人检测方法、系统、介质、设备 | |
CN116863293A (zh) | 一种基于改进YOLOv7算法的可见光下海上目标检测方法 | |
Ronci et al. | An adversarial learning approach for oil spill detection from SAR images | |
CN115861709A (zh) | 基于卷积神经网络的智能视觉检测设备及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |