CN115631422B - 一种基于注意力机制的浒苔识别方法 - Google Patents

一种基于注意力机制的浒苔识别方法 Download PDF

Info

Publication number
CN115631422B
CN115631422B CN202211663751.2A CN202211663751A CN115631422B CN 115631422 B CN115631422 B CN 115631422B CN 202211663751 A CN202211663751 A CN 202211663751A CN 115631422 B CN115631422 B CN 115631422B
Authority
CN
China
Prior art keywords
enteromorpha
feature
target detection
image
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211663751.2A
Other languages
English (en)
Other versions
CN115631422A (zh
Inventor
王晓亮
王蕾
陈括
张峰
戴文娟
金莹莹
高静霞
陈靓瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Oceanic Administration People's Republic Of China Eastsea Information Center
Original Assignee
State Oceanic Administration People's Republic Of China Eastsea Information Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Oceanic Administration People's Republic Of China Eastsea Information Center filed Critical State Oceanic Administration People's Republic Of China Eastsea Information Center
Priority to CN202211663751.2A priority Critical patent/CN115631422B/zh
Publication of CN115631422A publication Critical patent/CN115631422A/zh
Application granted granted Critical
Publication of CN115631422B publication Critical patent/CN115631422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及海洋灾害预报技术领域，并特别涉及一种基于注意力机制的浒苔识别方法，包括：获取浒苔图像数据并对其进行预处理；基于若干个尺度分辨率不同的特征图检测支路，使用注意力机制提取浒苔特征，并进行不同特征图检测支路的特征融合，得到浒苔特征尺度均衡金字塔图像；通过多尺度滑动窗口扫描浒苔特征尺度均衡金字塔图像，获取不同尺度下的目标检测候选区域，通过回归计算得到目标检测候选区域的位置信息；对目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，并获取目标检测候选区域的边缘和内部像素点的目标分割信息，结合位置信息，对目标检测候选区域的浒苔进行识别。可以实时识别海洋浒苔，检测速度快、精度高和部署成本低。

Description

一种基于注意力机制的浒苔识别方法
技术领域
本发明涉及海洋灾害预报技术领域，特别涉及一种基于注意力机制的浒苔识别方法。
背景技术
近年来，大规模漂浮海藻灾害事件已在我国沿海地区经常爆发，其中漂浮海藻的主要藻类为海洋浒苔（Ulva prolifera）。海洋浒苔灾害事件会导致海洋生态环境恶化，并对中国沿海地区的渔业、海洋运输和海洋旅游业等经济行业产生影响，造成严重的经济损失。因此，需要实时地识别检测中国沿海地区浒苔分布情况，为分析预防浒苔灾害提供可靠的基础。
在我国，浒苔灾害（绿潮）现有的技术标准文件主要有《绿潮预报和警报发布》（HY/T 217-2017）。该标准主要提出了绿潮预报的基本原则和等级划分标准，但在浒苔识别领域未有涉及。因此，浒苔识别方面的研究尚无系统成熟的规范标准等技术体系。
由于浒苔产生的范围较广且分布随机，单纯依靠人力无法做到实时观测与处理。此外，现有的基于遥感卫星和SAR的检测识别算法可移植性较差，并且对观测环境有严格的要求，很难实时地长时间和大范围进行应用识别。
发明内容
本发明实施例的目的是提供一种基于注意力机制的浒苔识别方法，通过基于注意力机制的浒苔识别方法，解决了复杂海洋环境下漂浮浒苔藻类的识别问题，在已有的视频监控系统基础上，实现了海洋浒苔的准确识别，提高了海洋灾害预警能力，降低了浒苔对于沿海地区各行业的不利影响。
为解决上述技术问题，本发明实施例的第一方面提供了一种基于注意力机制的浒苔识别方法，包括如下步骤：
获取目标检测区域的浒苔图像数据并对其进行预处理；
基于若干个尺度分辨率不同的特征图检测支路，使用注意力机制提取浒苔特征，并进行不同所述特征图检测支路的特征融合，得到浒苔特征尺度均衡金字塔图像；
通过多尺度滑动窗口扫描所述浒苔特征尺度均衡金字塔图像，获取不同尺度下的所述目标检测候选区域，通过回归计算得到所述目标检测候选区域的位置信息；
对所述目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，并获取所述目标检测候选区域的边缘和内部像素点的目标分割信息，结合所述位置信息，对所述目标检测候选区域的浒苔进行识别。
进一步地，所述获取目标检测区域的浒苔图像数据并对其进行预处理，包括：
对不同途径获取到的所述浒苔图像数据进行归一化处理，调整为固定大小的分辨率；
对所述浒苔图像数据，将存储格式由像素点优先转变为通道优先，转换公式如下所示：
式中，B,G,R分别代表浒苔图像中的蓝色，绿色和红色通道，i表示第i个像素点位置，n表示浒苔图像中总像素点数；
对所述浒苔图像数据，进行灰度直方图均衡化滤波处理。
进一步地，所述基于若干个尺度分辨率不同的特征图检测支路使用注意力机制提取浒苔特征之前，还包括：
对预处理后的所述浒苔图像数据，通过采用不同步长的卷积处理，建立具有高、中和低分辨率的所述特征图检测支路。
进一步地，所述使用注意力机制提取浒苔特征并进行不同所述特征图检测支路的特征融合、得到浒苔特征尺度均衡金字塔图像，包括：
分别对高、中和低三条所述特征图检测支路，将二维浒苔特征图转换为一维特征序列，转换公式如下所示：
，
式中，B,G,R分别代表浒苔图像中的蓝色，绿色和红色通道，i表示第i个像素点位置，n表示浒苔图像中总像素点数；
基于多头注意力机制方法，分别提取三条所述特征图检测支路上的长依赖特征，计算公式如下：
，
式中，i=1,2,3分别表示高、中和低分辨率的所述特征图检测支路，是所述多头注意力机制方法的输出，代表查询向量，表示键向量，表示值向量，T表示矩阵转置操作，表示映射的维度数，为多分类函数；
将中分辨率支路的输出，同时与高分辨率支路的输出和低分辨率支路的输出进行特征融合；
通过数据结构充沛操作将一维注意力长依赖特征序列转变成长依赖二维特征图；
依次保存所述中分辨率支路上每个尺度下的所述长依赖二维特征图，来构建原始浒苔特征金字塔图像；
对所述原始浒苔特征金字塔图像中的最高层和最低层特征图，分别使用常规卷积操作获取所述浒苔特征尺度均衡金字塔图像的最高层和最低层特征图；并对其他特征图进行三维卷积，计算得到中间层的结果，计算公式如下：
，
式中，{P2,P3,P4}为所述原始浒苔特征金字塔图像中的相邻三层，Conv表示卷积操作，Upsample表示上采样操作，s表示卷积操作中的步长。
进一步地，所述通过多尺度滑动窗口扫描所述浒苔特征尺度均衡金字塔图像以获取不同尺度下的目标检测候选区域，包括
使用滑动窗口依次扫描所述浒苔特征尺度均衡金字塔图像上的每一层，获取所述目标检测候选区域的信息，包括：目标检测候选区域含有浒苔的概率值、中心点的x和y坐标以及所述目标检测候选区域的高度和宽度；
基于感兴趣区域对齐算法，将不同尺度下的所述目标区域归一化至固定尺寸；
基于双线性插值算法，依次还原不同尺度下的候选目标至原始图像的尺寸大小。
进一步地，所述对所述目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，包括：
将所述目标检测候选区域与原图图像中实际标注的标签，进行交并差值计算，所述交并差值IOU的计算公式如下：
，
式中，pre表示所述目标检测候选区阈值，GT表示实际标签值；
计算并筛选出每个所述目标检测候选区域所对应的最大IOU索引，所有所述目标检测候选区域中IOU值大于设置阈值的为正样本，其他为负样本；
计算所有所述目标检测候选区域中对应的所述浒苔类别与得分信息。
进一步地，所述获取所述目标检测候选区域的边缘和内部像素点的目标分割信息，包括：
对固定尺寸的所述目标检测候选区域，利用反卷积操作上采样特征图至原始尺寸的预设倍数；
对所述特征图上每个像素点采用卷积操作分割所对应的类别信息，并通过分类网络计算浒苔分割效果的分割得分；
通过双线性插值算法，将浒苔分割区域变换为输入图像相同大小的分割结果图。
进一步地，所述获取所述目标检测候选区域的边缘和内部像素点的目标分割信息并结合所述目标检测候选区域位置对所述目标检测候选区域的浒苔进行识别，包括：
基于所述位置信息和所述目标分割信息，计算获得所述目标检测候选区域的所述浒苔类别与得分信息。
相应地，本发明实施例的第二方面提供了一种基于注意力机制的浒苔识别系统，包括：
图像获取模块，其用于获取目标检测区域的浒苔图像数据并对其进行预处理；
特征提取模块，其用于基于若干个尺度分辨率不同的特征图检测支路，使用注意力机制提取浒苔特征，并进行不同所述特征图检测支路的特征融合，得到浒苔特征尺度均衡金字塔图像；
图像扫描模块，其用于通过多尺度滑动窗口扫描所述浒苔特征尺度均衡金字塔图像，获取不同尺度下的所述目标检测候选区域，通过回归计算得到所述目标检测候选区域的位置信息；
信息筛选模块，其用于对所述目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，并获取所述目标检测候选区域的边缘和内部像素点的目标分割信息，结合所述位置信息，对所述目标检测候选区域的浒苔进行识别。
相应地，本发明实施例的第三方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述一个处理器执行，以使所述至少一个处理器执行上述基于注意力机制的浒苔识别方法。
相应地，本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述基于注意力机制的浒苔识别方法。
本发明实施例的上述技术方案具有如下有益的技术效果：
通过基于注意力机制的浒苔识别方法，解决了复杂海洋环境下漂浮浒苔藻类的识别问题，在已有的视频监控系统基础上，实现了海洋浒苔的准确识别，提高了海洋灾害预警能力，降低了浒苔对于沿海地区各行业的不利影响。
附图说明
图1是本发明实施例提供的基于注意力机制的浒苔识别方法流程图；
图2是本发明实施例提供的基于注意力机制的浒苔识别方法逻辑图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
目前，我国沿海海岸线以及监测船上普遍装有视频监控系统，具有高清分辨率、实时图像传输和低成本的优势。因此通过监控视频图像对浒苔进行长时间地识别分析，不受观测环境影响，并可作为对遥感卫星和SAR的有效补充。
请参照图1，本发明实施例的第一方面提供了一种基于注意力机制的浒苔识别方法，包括如下步骤：
S200，获取目标检测区域的浒苔图像数据并对其进行预处理。
S400，基于若干个尺度分辨率不同的特征图检测支路，使用注意力机制提取浒苔特征，并进行不同特征图检测支路的特征融合，得到浒苔特征尺度均衡金字塔图像。
S600，通过多尺度滑动窗口扫描浒苔特征尺度均衡金字塔图像，获取不同尺度下的目标检测候选区域，通过回归计算得到目标检测候选区域的位置信息。
S800，对目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，并获取目标检测候选区域的边缘和内部像素点的目标分割信息，结合位置信息，对目标检测候选区域的浒苔进行识别。
上述基于注意力机制的浒苔识别方法通过构建不同尺度分辨率的检测支路，并采用注意力机制进行特征提取和融合，可以实时识别海洋表面上的浒苔藻类。本发明与现有技术相比具有抗恶劣天气能力强、检测速度快、识别精度高和部署成本低等特点。
具体的，步骤S100中，获取目标检测区域的浒苔图像数据并对其进行预处理，具体包括如下步骤：
S210，对不同途径获取到的浒苔图像数据进行归一化处理，调整为固定大小的分辨率。
S220，对浒苔图像数据，将存储格式由像素点优先转变为通道优先，转换公式如下所示：
式中，B,G,R分别代表浒苔图像中的蓝色，绿色和红色通道，i表示第i个像素点位置，n表示浒苔图像中总像素点数。
S230，对浒苔图像数据，进行灰度直方图均衡化滤波处理，以增强图像局部对比度和抗干扰性。
具体的，步骤S400中的基于若干个尺度分辨率不同的特征图检测支路使用注意力机制提取浒苔特征之前，还包括：
S300，对预处理后的浒苔图像数据，通过采用不同步长的卷积处理，建立具有高、中和低分辨率的特征图检测支路。
具体的，步骤S400中的使用注意力机制提取浒苔特征并进行不同特征图检测支路的特征融合、得到浒苔特征尺度均衡金字塔图像，具体包括如下步骤：
S410，分别对高、中和低三条特征图检测支路，将二维浒苔特征图转换为一维特征序列，转换公式如下所示：
，
式中，B,G,R分别代表浒苔图像中的蓝色，绿色和红色通道，i表示第i个像素点位置，n表示浒苔图像中总像素点数。
S420，基于多头注意力机制方法，分别提取三条特征图检测支路上的长依赖特征，计算公式如下：
，
式中，i=1,2,3分别表示高、中和低分辨率的特征图检测支路，是多头注意力机制方法的输出，代表查询向量，表示键向量，表示值向量，T表示矩阵转置操作，表示映射的维度数，为多分类函数。
S430，将中分辨率支路的输出，同时与高分辨率支路的输出和低分辨率支路的输出进行特征融合，以提升模型在中分辨率支路上对不同尺度浒苔特征的学习能力。
S440，通过数据结构充沛操作（reshape）操作将一维注意力长依赖特征序列转变成长依赖二维特征图。
S450，依次保存中分辨率支路上每个尺度下的长依赖二维特征图，来构建原始浒苔特征金字塔图像。
S460，对原始浒苔特征金字塔图像中的最高层和最低层特征图，分别使用常规卷积操作获取浒苔特征尺度均衡金字塔图像的最高层和最低层特征图；并对其他特征图进行三维卷积，计算得到中间层的结果，计算公式如下：
，
式中，{P2,P3,P4}为原始浒苔特征金字塔图像中的相邻三层，Conv表示卷积操作，Upsample表示上采样操作，s表示卷积操作中的步长。
具体的，步骤S600中的通过多尺度滑动窗口扫描浒苔特征尺度均衡金字塔图像以获取不同尺度下的目标检测候选区域，具体包括如下步骤：
S610，使用滑动窗口依次扫描浒苔特征尺度均衡金字塔图像上的每一层，获取目标检测候选区域的信息，包括：目标检测区域概率值、中心点的x和y坐标以及目标检测候选区域的高度和宽度。
S620，基于感兴趣区域对齐算法，将不同尺度下的目标区域归一化至固定尺寸，以降低尺度差异所带来的计算误差。
S630，基于双线性插值算法，依次还原不同尺度下的候选目标至原始图像的尺寸大小。
具体的，步骤S800中对目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，具体包括如下步骤：
S811，将目标检测候选区域与原图图像中实际标注的标签，进行交并差值计算，交并差值的计算公式如下：
，
式中，pre表示目标检测候选区阈值，GT表示实际标签值。
S812，计算并筛选出每个目标检测候选区域所对应的最大IOU索引，所有目标检测区域中IOU值大于设置阈值的为正样本，其他为负样本。
S813，计算所有目标检测候选区域中对应的浒苔类别与得分信息。
具体的，步骤S800中的获取目标检测候选区域的边缘和内部像素点的目标分割信息，具体包括如下步骤：
S821，对固定尺寸的目标检测候选区域，利用反卷积操作上采样特征图至原始尺寸的4倍。
S822，对特征图上每个像素点采用卷积操作分割所对应的类别信息，并通过分类网络计算浒苔分割效果的分割得分。
S823，通过双线性插值算法，将浒苔分割区域变换为输入图像相同大小的分割结果图。
具体的，步骤S800中的获取目标检测候选区域的边缘和内部像素点的目标分割信息并结合目标检测候选区域位置对目标检测候选区域的浒苔进行识别，包括：
基于目标检测候选区域含有浒苔的概率值和目标分割信息，计算获得目标检测候选区域的浒苔类别与得分信息。
下面以一个具体实施例对上述基于注意力机制的浒苔识别方法做进一步说明，请参照图2，具体步骤如下：
1）：浒苔图像数据获取：使用型号为DS-2CD3T86FDWDV2-I3S的海康威视监控摄像头，实时采集获取浒苔目标检测区域的图像，并通过以太网络上传至浒苔识别服务器端。
2）：浒苔图像数据预处理：对获取的浒苔图像数据进行尺寸大小变换，归一化为固定分辨率1920*1080，并对图像亮度进行滤波处理，降低海面上光照对识别的影响。
3）：多尺度检测支路构建：对预处理后的浒苔图像数据，通过采用不同步长的卷积处理，建立具有高、中和低三种不同尺度分辨率的特征图检测支路，其中高分辨率采用步长为2、核为3*3的卷积操作，中分辨率采用步长为4、核为5*5的卷积操作，低分辨率采用步长为8、核为7*7的卷积操作。
4）：注意力机制特征提取：对构建得到的三条不同尺度分辨率的特征图检测支路，分别使用注意力机制方法提取浒苔特征，并进行不同支路之间特征融合，建立浒苔特征尺度均衡金字塔图像。
5）：浒苔目标候选区域生成：对浒苔特征金字塔图像，通过多尺度滑动窗口进行扫描，获取不同尺度下的浒苔目标候选区域，并通过回归计算目标候选区域的位置信息。
6）：浒苔目标候选区域检测：对浒苔目标候选区域，采用阈值为0.5进行筛选检测处理，并获取目标区域内的浒苔信息类别。
7）：浒苔目标候选区域分割：对检测后的浒苔目标候选区域，分割预测浒苔边缘和内部像素点的类别信息。
8）：浒苔目标识别：将浒苔类别与得分信息、位置信息和目标分割信息进行输出。
通过上述过程，基于注意力机制的浒苔识别方法，解决了复杂海洋环境下漂浮浒苔藻类的识别问题，在已有的视频监控系统基础上，实现了海洋浒苔的准确识别，提高了海洋灾害预警能力，降低了浒苔对于沿海地区各行业的不利影响。
相应地，本发明实施例的第二方面提供了一种基于注意力机制的浒苔识别系统，包括：
图像获取模块，其用于获取目标检测区域的浒苔图像数据并对其进行预处理；
特征提取模块，其用于基于若干个尺度分辨率不同的特征图检测支路，使用注意力机制提取浒苔特征，并进行不同所述特征图检测支路的特征融合，得到浒苔特征尺度均衡金字塔图像；
图像扫描模块，其用于通过多尺度滑动窗口扫描所述浒苔特征尺度均衡金字塔图像，获取不同尺度下的所述目标检测候选区域，通过回归计算得到所述目标检测候选区域的位置信息；
信息筛选模块，其用于对所述目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，并获取所述目标检测候选区域的边缘和内部像素点的目标分割信息，结合所述位置信息，对所述目标检测候选区域的浒苔进行识别。
上述基于注意力机制的浒苔识别系统对应的各个模块实现功能的过程与方法实施例的各步骤相同，具体描述省略。
相应地，本发明实施例的第三方面提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被一个处理器执行，以使至少一个处理器执行上述基于注意力机制的浒苔识别方法。
相应地，本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述基于注意力机制的浒苔识别方法。
本发明实施例旨在保护一种基于注意力机制的浒苔识别方法，包括如下步骤：获取目标检测区域的浒苔图像数据并对其进行预处理；基于若干个尺度分辨率不同的特征图检测支路，使用注意力机制提取浒苔特征，并进行不同所述特征图检测支路的特征融合，得到浒苔特征尺度均衡金字塔图像；通过多尺度滑动窗口扫描所述浒苔特征尺度均衡金字塔图像，获取不同尺度下的所述目标检测候选区域，通过回归计算所述目标检测候选区域的位置信息；对所述目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，并获取所述目标检测候选区域的边缘和内部像素点的目标分割信息，结合所述位置信息，对所述目标检测候选区域的浒苔进行识别。上述技术方案具备如下效果：
通过构建不同尺度分辨率的检测支路，并采用注意力机制进行特征提取和融合，可以实时识别海洋表面上的浒苔藻类，具有抗恶劣天气能力强、检测速度快、识别精度高和部署成本低等特点。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于注意力机制的浒苔识别方法，其特征在于，包括如下步骤： 获取目标检测区域的浒苔图像数据并对其进行预处理；
基于若干个尺度分辨率不同的特征图检测支路，使用注意力机制提取 浒苔特征， 并进行不同所述特征图检测支路的特征融合，得到浒苔特征尺 度均衡金字塔图像；
通过多尺度滑动窗口扫描所述浒苔特征尺度均衡金字塔图像， 获取不 同尺度下的目标检测候选区域，通过回归计算得到所述目标检测候选 区域的位置信息；
对所述目标检测候选区域进行筛选检测处理得到浒苔类别与得分信息，并获取所述目标检测候选区域的边缘和内部像素点的目标分割信息， 结合所述位置信息，对所述目标检测候选区域的浒苔进行识别；
所述基于若干个尺度分辨率不同的特征图检测支路使用注意力机制 提取浒苔特征之前，还包括： 对预处理后的所述浒苔图像数据， 通过采用 不同步长的卷积处理，建立具有高、中和低分辨率的所述特征图检测支路；
所述使用注意力机制提取浒苔特征并进行不同所述特征图检测支路 的特征融合、得到浒苔特征尺度均衡金字塔图像，包括：
分别对高、中和低三条所述特征图检测支路， 将二维浒苔特征图转换 为一维特征序列，转换公式如下所示：
，
式中， B,G,R 分别代表浒苔图像中的蓝色， 绿色和红色通道， i 表示第 i 个像素点位置，n 表示浒苔图像中总像素点数；
基于多头注意力机制方法， 分别提取三条所述特征图检测支路上的长依赖特征，计算公式如下：
，
式中， i=1,2,3 分别表示高、中和低分辨率的所述特征图检测支路， mhai 是所述多头注意力机制方法的输出，Qi代表查询向量，Ki表示键向量， Vi表示值向量， T表示矩阵转置操作， di表示映射的维度数， softmaX为多分类函数；
将中分辨率支路的输出mha2 ，同时与高分辨率支路的输出mha1 和低 分辨率支路的输出mha3 进行特征融合；
通过数据结构充沛操作将一维注意力长依赖特征序列转变成长依赖 二维特征图；
依次保存所述中分辨率支路上每个尺度下的所述长依赖二维特征图， 来构建原始浒苔特征金字塔图像；
对所述原始浒苔特征金字塔图像中的最高层和最低层特征图， 分别使 用常规卷积操作获取所述浒苔特征尺度均衡金字塔图像的最高层和最低 层特征图； 并对其他特征图进行三维卷积， 计算得到中间层的结果， 计算 公式如下：
，
式中， {P2,P3,P4}为所述原始浒苔特征金字塔图像中的相邻三层， Conv 表示卷积操作，Upsample 表示上采样操作，s 表示卷积操作中的步长。
2.根据权利要求 1 所述的基于注意力机制的浒苔识别方法，其特征 在于， 所述获取目标检测区域的浒苔图像数据并对其进行预处理，包括：
对不同途径获取到的所述浒苔图像数据进行归一化处理，调整为固定大小的分辨率；
对所述浒苔图像数据，将存储格式由像素点优先转变为通道优先，转换公式如下所示：
式中，B,G,R分别代表浒苔图像中的蓝色，绿色和红色通道，i表示第i个像素点位置，n表示浒苔图像中总像素点数；
对所述浒苔图像数据，进行灰度直方图均衡化滤波处理。
3.根据权利要求 1 所述的基于注意力机制的浒苔识别方法，其特征 在于， 所述通过多尺度滑动窗口扫描所述浒苔特征尺度均衡金字塔图像以 获取不同尺度下的目标检测候选区域，包括：
使用滑动窗口依次扫描所述浒苔特征尺度均衡金字塔图像上的每一
层， 获取所述目标检测候选区域的信息， 包括：所述目标检测候选区域含 有所述浒苔的概率值、中心点的 x 和 y 坐标以及所述目标检测候选区域的 高度和宽度；
基于感兴趣区域对齐算法， 将不同尺度下的目标区域归一化至固 定尺寸；
基于双线性插值算法， 依次还原不同尺度下的候选目标至原始图像的 尺寸大小。
4.根据权利要求 1 所述的基于注意力机制的浒苔识别方法，其特征 在于， 所述对所述目标检测候选区域进行筛选检测处理得到浒苔类别与得 分信息，包括：
将所述目标检测候选区域与原图图像中实际标注的标签，进行交并差
值计算， 所述交并差值IOU 的计算公式如下：
，
式中， pre 表示所述目标检测候选区阈值，GT 表示实际标签值；
计算并筛选出每个所述目标检测候选区域所对应的最大 IOU 索引，所 有所述目标检测候选区域中 IOU 值大于设置阈值的为正样本，其他为负样本；
计算所有所述目标检测候选区域中对应的所述浒苔类别与得分信息。
5.根据权利要求 1 所述的基于注意力机制的浒苔识别方法，其特征 在于， 所述获取所述目标检测候选区域的边缘和内部像素点的目标分割信息，包括：
对固定尺寸的所述目标检测候选区域，利用反卷积操作上采样特征图 至原始尺寸的预设倍数；
对所述特征图上每个像素点采用卷积操作分割所对应的类别信息， 并 通过分类网络计算浒苔分割效果的分割得分；
通过双线性插值算法， 将浒苔分割区域变换为输入图像相同大小的分 割结果图。
6.根据权利要求 1 所述的基于注意力机制的浒苔识别方法，其特征 在于， 所述获取所述目标检测候选区域的边缘和内部像素点的目标分割信 息并结合所述目标检测候选区域位置对所述目标检测候选区域的浒苔进 行识别，包括：
基于所述位置信息和所述目标分割信息，计算获得所述目标检测候选 区域的所述浒苔类别与得分信息。
7.一种基于注意力机制的浒苔识别系统，其特征在于，包括：
图像获取模块， 其用于获取目标检测区域的浒苔图像数据并对其进行 预处理；
特征提取模块， 其用于基于若干个尺度分辨率不同的特征图检测支路， 使用注意力机制提取浒苔特征， 并进行不同所述特征图检测支路的特征融 合，得到浒苔特征尺度均衡金字塔图像；
图像扫描模块， 其用于通过多尺度滑动窗口扫描所述浒苔特征尺度均 衡金字塔图像， 获取不同尺度下的目标检测候选区域，通过回归计算 得到所述目标检测候选区域的位置信息；
信息筛选模块， 其用于对所述目标检测候选区域进行筛选检测处理得 到浒苔类别与得分信息，并获取所述目标检测候选区域的边缘和内部像素 点的目标分割信息，结合所述位置信息， 对所述目标检测候选区域的浒苔 进行识别；
所述特征提取模块基于若干个尺度分辨率不同的特征图检测支路使用注意力机制提取浒苔特征之前，还包括： 对预处理后的所述浒苔图像数 据， 通过采用不同步长的卷积处理，建立具有高、中和低分辨率的所述特 征图检测支路；
所述特征提取模块使用注意力机制提取浒苔特征并进行不同所述特 征图检测支路的特征融合、得到浒苔特征尺度均衡金字塔图像， 包括：
分别对高、中和低三条所述特征图检测支路， 将二维浒苔特征图转换 为一维特征序列，转换公式如下所示：
，
式中，B,G,R 分别代表浒苔图像中的蓝色， 绿色和红色通道， i 表示第 i 个像素点位置，n 表示浒苔图像中总像素点数；
基于多头注意力机制方法， 分别提取三条所述特征图检测支路上的长依赖特征，计算公式如下：
，
式中， i=1,2,3 分别表示高、中和低分辨率的所述特征图检测支路， mhai 是所述多头注意力机制方法的输出，Qi 代表查询向量，Ki 表示键向量， Vi 表示值向量， T 表示矩阵转置操作， di 表示映射的维度数， softmax为多分类函数；
将中分辨率支路的输出mha2，同时与高分辨率支路的输出mha1和低 分辨率支路的输出mha3进行特征融合；
通过数据结构充沛操作将一维注意力长依赖特征序列转变成长依赖 二维特征图；
依次保存所述中分辨率支路上每个尺度下的所述长依赖二维特征图， 来构建原始浒苔特征金字塔图像；
对所述原始浒苔特征金字塔图像中的最高层和最低层特征图， 分别使 用常规卷积操作获取所述浒苔特征尺度均衡金字塔图像的最高层和最低 层特征图； 并对其他特征图进行三维卷积， 计算得到中间层的结果， 计算公式如下：
，
式中， {P2,P3,P4}为所述原始浒苔特征金字塔图像中的相邻三层， Conv 表示卷积操作，Upsample 表示上采样操作，s 表示卷积操作中的步 长。
8.一种电子设备，其特征在于， 包括： 至少一个处理器；以及与所述 至少一个处理器连接的存储器； 其中，所述存储器存储有可被所述一个处 理器执行的指令， 所述指令被所述一个处理器执行， 以使所述至少一个处 理器执行如权利要求 1-6 任一所述的基于注意力机制的浒苔识别方法。
CN202211663751.2A 2022-12-23 2022-12-23 一种基于注意力机制的浒苔识别方法 Active CN115631422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211663751.2A CN115631422B (zh) 2022-12-23 2022-12-23 一种基于注意力机制的浒苔识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211663751.2A CN115631422B (zh) 2022-12-23 2022-12-23 一种基于注意力机制的浒苔识别方法

Publications (2)

Publication Number Publication Date
CN115631422A CN115631422A (zh) 2023-01-20
CN115631422B true CN115631422B (zh) 2023-04-28

Family

ID=84910342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211663751.2A Active CN115631422B (zh) 2022-12-23 2022-12-23 一种基于注意力机制的浒苔识别方法

Country Status (1)

Country Link
CN (1) CN115631422B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110501302A (zh) * 2019-07-29 2019-11-26 武汉大学 一种多源证据融合数据的浒苔分布图生成方法
WO2021203863A1 (zh) * 2020-04-10 2021-10-14 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN114913504A (zh) * 2022-04-14 2022-08-16 浙江中烟工业有限责任公司 一种融合自注意力机制的遥感图像的车辆目标识别方法
CN115424209A (zh) * 2022-09-15 2022-12-02 华东交通大学 一种基于空间金字塔注意力网络的人群计数方法
CN115424104A (zh) * 2022-08-19 2022-12-02 西安电子科技大学 一种基于特征融合与注意力机制的目标检测方法
CN115482523A (zh) * 2022-10-11 2022-12-16 长春工业大学 轻量级多尺度注意力机制的小物体目标检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688808B (zh) * 2021-10-26 2022-02-11 南京信息工程大学 一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法
CN115331127A (zh) * 2022-09-27 2022-11-11 南京瀚元科技有限公司 一种基于注意力机制的无人机移动目标侦测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110501302A (zh) * 2019-07-29 2019-11-26 武汉大学 一种多源证据融合数据的浒苔分布图生成方法
WO2021203863A1 (zh) * 2020-04-10 2021-10-14 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN114913504A (zh) * 2022-04-14 2022-08-16 浙江中烟工业有限责任公司 一种融合自注意力机制的遥感图像的车辆目标识别方法
CN115424104A (zh) * 2022-08-19 2022-12-02 西安电子科技大学 一种基于特征融合与注意力机制的目标检测方法
CN115424209A (zh) * 2022-09-15 2022-12-02 华东交通大学 一种基于空间金字塔注意力网络的人群计数方法
CN115482523A (zh) * 2022-10-11 2022-12-16 长春工业大学 轻量级多尺度注意力机制的小物体目标检测方法及系统

Also Published As

Publication number Publication date
CN115631422A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN110310264B (zh) 一种基于dcnn的大尺度目标检测方法、装置
CN109740460B (zh) 基于深度残差密集网络的光学遥感图像舰船检测方法
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN110598693A (zh) 一种基于Faster-RCNN的船牌识别方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN111079596A (zh) 高分辨率遥感影像的海上典型人造目标识别系统及方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN111639530B (zh) 一种输电线路的输电塔和绝缘子的检测和识别方法及系统
CN115147731A (zh) 一种基于全空间编码注意力模块的sar图像目标检测方法
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
CN112418028A (zh) 一种基于深度学习的卫星图像中船舶识别与分割方法
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
CN114066937B (zh) 一种大尺度遥感影像多目标跟踪方法
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN116152678A (zh) 小样本条件下基于孪生神经网络的海洋承灾体识别方法
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN112365508A (zh) 基于视觉注意与残差网络的sar遥感图像水域分割方法
CN115631422B (zh) 一种基于注意力机制的浒苔识别方法
CN116863293A (zh) 一种基于改进YOLOv7算法的可见光下海上目标检测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115909072A (zh) 一种基于改进YOLOv4算法的弹着点水柱检测方法
CN115830466A (zh) 一种基于深度孪生神经网络的冰川变化遥感检测方法
Yu et al. A lightweight ship detection method in optical remote sensing image under cloud interference
CN112925932A (zh) 一种高清晰的水下激光图像处理系统
CN113192018A (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant