CN112861708B - 一种雷达图像的语义分割方法、设备及存储介质 - Google Patents

一种雷达图像的语义分割方法、设备及存储介质 Download PDF

Info

Publication number
CN112861708B
CN112861708B CN202110159669.5A CN202110159669A CN112861708B CN 112861708 B CN112861708 B CN 112861708B CN 202110159669 A CN202110159669 A CN 202110159669A CN 112861708 B CN112861708 B CN 112861708B
Authority
CN
China
Prior art keywords
neural network
image
network model
semantic segmentation
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110159669.5A
Other languages
English (en)
Other versions
CN112861708A (zh
Inventor
王锐
王帅航
崔铠
毛华峰
胡程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Advanced Technology Research Institute of Beijing Institute of Technology
Original Assignee
Beijing Institute of Technology BIT
Advanced Technology Research Institute of Beijing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Advanced Technology Research Institute of Beijing Institute of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN202110159669.5A priority Critical patent/CN112861708B/zh
Publication of CN112861708A publication Critical patent/CN112861708A/zh
Application granted granted Critical
Publication of CN112861708B publication Critical patent/CN112861708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种雷达图像的语义分割方法、设备及存储介质，语义分割方法包括：获取雷达数据；对雷达数据进行渲染，确定雷达图像；将雷达图像输入预先训练的语义分割神经网络模型，以在雷达图像中识别生物目标，语义分割神经网络模型是基于双流卷积神经网络模型GSCNN训练得到的。本申请实施例通过双流卷积神经网络模型得到语义分割神经网络模型，可以实现对雷达图像进行精确地语义分割，具备更好的分割效果，在识别提取雷达图像中的生物目标时，提高了目标识别的精确度。

Description

一种雷达图像的语义分割方法、设备及存储介质
技术领域
本申请涉及雷达技术领域，尤其涉及一种雷达图像的语义分割方法、设备及存储介质。
背景技术
雷达在国民生活中发挥越来越重要的作用，对于国内生态保护具有重要作用。目前机器学习领域的活跃发展为处理大量复杂的雷达图像数据提供了便利的条件，逐渐成为雷达图像目标识别的主流方法，以区分雷达图像中的不同回波。
然而以往研究对雷达图像的处理多停留在图像级的分类上，关于像素级分割的研究工作较少，且并未取得较优的分割性能，对于目标识别的精确度较低。
发明内容
本申请实施例提供一种雷达图像的语义分割方法、设备及存储介质，用于解决现有技术中的如下技术问题：在对雷达图像进行语义分割时，目标识别精确度低。
一方面，本申请实施例提供了一种雷达图像的语义分割方法，语义分割方法包括：获取雷达数据；对雷达数据进行渲染，确定雷达图像；将雷达图像输入预先训练的语义分割神经网络模型，以在雷达图像中识别生物目标，语义分割神经网络模型是基于双流卷积神经网络模型GSCNN训练得到的。
本申请实施例通过双流卷积神经网络模型得到语义分割神经网络模型，可以实现对雷达图像进行精确地语义分割，可以具备更好的分割效果，从而在识别提取雷达图像中的生物目标时，提高了目标识别的精确度。
一个示例中，语义分割神经网络模型是基于双流卷积神经网络模型GSCNN训练得到的，包括：对双流卷积神经网络模型的神经网络架构进行调整，得到语义分割神经网络模型的神经网络架构；将语义分割神经网络模型的训练集输入至语义分割神经网络模型的神经网络架构中，训练生成语义分割神经网络模型。
本申请实施例通过对双流卷积神经网络模型的神经网络架构进行调整，达到了更高的识别准确度，从而实现了可以对雷达图像进行精确地语义分割，从而提取雷达图像中的生物目标。
一个示例中，对双流卷积神经网络模型的神经网络架构进行调整，确定语义分割神经网络模型的神经网络架构，包括：调整双流卷积神经网络模型，以使双流卷积神经网络模型能够接收雷达图像对应尺寸的训练集；并调整双流卷积神经网络模型中的空洞空间卷积池化金字塔的采样率，以提取训练集中目标的特征信息；并降低双流卷积神经网络模型的最终输出卷积层的特征图通道数目，并增加双流卷积神经网络模型的最终输出卷积层的卷积层数量；并增加双流卷积神经网络模型的损失函数中语义分割损失的权重；确定语义分割神经网络模型的神经网络架构。
本申请实施例通过使双流卷积神经网络模型能够接收雷达图像对应尺寸的训练集，可以匹配雷达图像尺寸并降低双流卷积神经网络模型的浮点运算量，并通过改变空洞空间卷积池化金字塔的采样率，可以更好地多尺度提取雷达图像中目标的特征信息，并通过降低双流卷积神经网络模型的最终输出卷积层的特征图通道数目，以及增加双流卷积神经网络模型的最终输出卷积层的卷积层数量，可以更充分地提取雷达图像中目标的特征信息，以及同时降低GPU负载，并通过增加损失函数中语义分割损失的权重，可以增加双流卷积神经网络模型对分类性能的“关注”。
一个示例中，语义分割神经网络模型的神经网络架构，包括：输入图像的尺寸为320×320；空洞空间卷积池化金字塔的采样率为4、8、12、16；最终输出卷积层的通道数目为128、64、32、3；最终输出卷积层的卷积层数量为4；损失函数中语义分割损失的权重为20。
一个示例中，将语义分割神经网络模型的训练集输入至语义分割神经网络模型的神经网络架构中，训练生成语义分割神经网络模型，包括：确定训练集包括样本雷达图像，以及样本雷达图像对应的标签；其中，标签包括生物回波像素标签、降水回波像素标签、背景像素标签中的至少一种；将样本雷达图像输入至语义分割神经网络模型的神经网络架构中，通过标签进行有监督训练，生成语义分割神经网络模型。
本申请实施例通过样本雷达图像的标签图像进行有监督训练，从而可以不断调整语义分割神经网络模型的神经网络训练参数，可以使语义分割神经网络模型更好地识别生物回波、降水回波，并且滤除其他杂波，从而精确地提取雷达图像中的生物目标。
一个示例中，雷达图像为天气雷达图像，生物目标为鸟类，方法应用于天气预测。
本申请实施例为监测大气运动以及预测生物迁飞提供了有力工具，并且为鸟类迁飞系统的监测和预警提供技术支持。
一个示例中，对雷达数据进行渲染，确定雷达图像，包括：根据雷达数据，确定第一仰角反射率图像、第二仰角反射率图像、仰角频谱图像；其中，雷达数据包括不同扫描角的数据；根据第一仰角反射率图像，确定雷达图像的R通道图像；根据第二仰角反射率图像，确定雷达图像的G通道图像；根据仰角频谱图像，确定雷达图像的B通道图像；根据R通道图像、G通道图像、B通道图像，确定雷达图像。
本申请实施例通过选择不同扫描角的雷达数据，得到相应的反射率图像以及频谱图像，并将其分别作为雷达图像R通道、G通道以及B通道的图像输入，实现了可以克服鸟类迁飞的速度通常不同于云彩运动速度，对确定雷达图像的影响，并且能够尽可能的在雷达图像中同时包含降水回波信息和生物回波信息。
一个示例中，第一仰角反射率图像的仰角接近0.1°，接近指的是第一仰角反射率图像的仰角与0.1°之间的差值低于预设第一阈值；第二仰角反射率图像的仰角接近1.45°，接近指的是第二仰角反射率图像的仰角与1.45°之间的差值低于预设第二阈值；仰角频谱图像的仰角接近0.1°，接近指的是仰角频谱图像的仰角与0.1°之间的差值低于预设第三阈值。
另一方面，本申请实施例提供了一种雷达图像的语义分割设备，该语义分割设备包括处理器、存储器和存储在前述存储器上的执行指令，前述执行指令设置成在被前述处理器执行时能够使前述语义分割设备执行上述任一项技术方案的语义分割方法。
另一方面，本申请实施例提供了一种存储介质，该存储介质存储有执行指令，前述执行指令设置成在被电子设备的处理器执行时能够使前述电子设备执行上述任一项技术方案的语义分割方法。
本领域技术人员能够理解的是，本申请实施例通过双流卷积神经网络模型得到语义分割神经网络模型，可以实现对雷达图像进行精确地语义分割，具备更好的分割效果，在识别提取雷达图像上的生物目标时，提高了目标识别的精确度，为生物目标的监测系统与预警系统提供技术支持，并对雷达能够精确识别和分类微小物体提供理论依据。
附图说明
为了更清楚地说明本申请的技术方案，下面将结合附图来对本申请的部分实施例进行详细说明，附图中：
图1是本申请实施例提供的一种雷达图像的语义分割方法流程图；
图2是本申请实施例提供的一种语义分割神经网络模型的训练方法流程图；
图3是本申请实施例提供的一种语义分割神经网络模型提取雷达图像中生物回波示意图；
图4是本申请实施例提供的一种空洞空间卷积池化金字塔的修改对比图；
图5是本申请实施例提供的一种双流卷积神经网络模型的最终输出卷积层的修改对比图；
图6是本申请实施例提供的一种样本雷达图像的生成示意图；
图7是本申请实施例提供的一种样本雷达图像与样本雷达图像对应的标签图像的对比图；
图8是本申请实施例提供的一种语义分割神经网络模型提取天气雷达图像中生物回波示意图；
图9是本申请实施例提供的一种雷达图像的语义分割设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。本领域技术人员应当理解的是，本节具体实施方式中所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例。基于本节具体实施方式中所描述的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都不会偏离本申请的技术原理，因此都应当落入到本申请的保护范围内。
下面参照附图来对本申请的一些实施例进行详细说明。
图1为本申请实施例提供的一种雷达图像的语义分割方法流程图，可以具体包括：
步骤S101：获取雷达数据。
具体地，服务器获取雷达数据。雷达数据可用于多种环境，比如，气象环境、军事环境等，在此以雷达数据应用于气象环境进行举例说明，此时，雷达数据包括气像回波数据、生物回波数据。
雷达设备在获取到相应的雷达数据后，可以将其发送至相关的监控平台、数据库等，服务器从该监控平台、数据库取雷达数据。
在一个实施例中，本申请实施例中的雷达数据通过水平单极化雷达获取，该水平单极化雷达的扫描周期为6分钟，仰角从0.1°到19.5°不等。
步骤S102：对雷达数据进行渲染，确定雷达图像。
在一个实施例中，服务器将雷达数据投影至直角坐标系后，再对雷达数据进行渲染。以确定雷达图像。
具体地，雷达数据包括不同扫描角的数据，基于此，服务器根据雷达数据，确定第一仰角反射率图像、第二仰角反射率图像、仰角频谱图像。
具体地，服务器通过第一仰角反射率图像对应的仰角(在此称作第一仰角)的反射率因子，生成第一仰角反射率图像；通过第二仰角反射率图像对应的仰角(在此称作第二仰角)的反射率因子，生成第二仰角反射率图像；通过仰角频谱图像对应的仰角，生成仰角频谱图像。
其中，考虑到气象环境中生物飞行的高度，为了能够尽可能的在雷达图像中同时包含降水回波信息和生物回波信息，可以预先将第一仰角的角度设置为接近0.1°，接近指的是第一仰角反射率图像的仰角与0.1°之间的差值低于预设第一阈值。并预先将第二仰角的角度设置为接近1.45°，接近指的是第一仰角反射率图像的仰角与1.45°之间的差值低于预设第二阈值。并预先将第二仰角的角度设置为接近0.1°，接近指的是仰角频谱图像的仰角与0.1°之间的差值低于预设第三阈值。
进一步地，可以将第一仰角设置为0.1°，第二仰角反射率图像的仰角可以为1.45°，仰角频谱图像的仰角可以为0.1°，能够起到较优的效果。
在得到第一仰角反射率图像、第二仰角反射率图像、仰角频谱图像后，服务器将第一仰角反射率图像，作为雷达图像的R通道图像，并将第二仰角反射率图像，作为雷达图像的G通道图像，并将仰角频谱图像，作为雷达图像的B通道图像，最后将R通道图像、G通道图像、B通道图像，合并成一张雷达图像。
需要说明的是，本申请实施例中的雷达图像为渲染图像。
通过选择不同扫描角的雷达数据，得到相应的反射率图像以及频谱图像，并将其分别作为雷达图像R通道、G通道以及B通道的图像输入，实现了可以克服鸟类迁飞的速度通常不同于云彩运动速度，对确定雷达图像的影响，并且能够尽可能的在雷达图像中同时包含降水回波信息和生物回波信息。
步骤S103：将雷达图像输入预先训练的语义分割神经网络模型，以在雷达图像中识别生物目标，语义分割神经网络模型是基于双流卷积神经网络模型GSCNN训练得到的。
在一个实施例中，服务器通过获取语义分割神经网络模型进行语义分割，得到气象回波与生物回波，并且根据生物回波识别到生物目标。
参见图3，示出了语义分割神经网络模型提取雷达图像中生物回波示意图。
在图3中，服务器首先通过Mapping模块将雷达数据进行渲染，得到雷达图像。然后将雷达图像送入Shape Stream、Semantic Prediction、Boundaries、Masking，从而提取生物回波。
本领域技术人员能够理解的是，本申请实施例通过双流卷积神经网络模型得到语义分割神经网络模型，可以实现对雷达图像进行精确地语义分割，具备更好的分割效果，在识别提取雷达图像上的生物目标时，提高了目标识别的精确度，为生物目标的监测系统与预警系统提供技术支持，并对雷达能够精确识别和分类微小物体提供理论依据。
图2是本申请实施例提供的一种语义分割神经网络模型的训练方法流程图，可以具体包括：
步骤S201、对双流卷积神经网络模型的神经网络架构进行调整，得到语义分割神经网络模型的神经网络架构。
在一个实施例中，服务器调整双流卷积神经网络模型，以使双流卷积神经网络模型能够接收雷达图像对应尺寸的训练集。
具体地，双流卷积神经网络模型的原始图像分辨率为720×720，由于在生成雷达图像时，雷达图像的尺寸通常为320×320时，因此，将双流卷积神经网络模型的输入图像大小减少到320×320。
本申请实施例通过使双流卷积神经网络模型能够接收雷达图像对应尺寸的训练集，可以匹配雷达图像尺寸并降低双流卷积神经网络模型的浮点运算量。
服务器调整双流卷积神经网络模型中的空洞空间卷积池化金字塔的采样率，以提取训练集中目标的特征信息。
具体地，双流卷积神经网络模型中的空洞空间卷积池化金字塔的采样率是6、12、18，修改后的采样率为4、8、12、16，因此双流卷积神经网络模型中的空洞空间卷积池化金字塔的特征图输入通道数增加256维。
需要说明的是，空洞空间卷积池化金字塔为ASPP(Atrous Spatial PyramidPooling)模块。
参见图4，示出了空洞空间卷积池化金字塔的修改对比图，在图4中，左侧为原始空洞空间卷积池化金字塔，原始空洞空间卷积池化金字塔的采样率是6、12、18，右侧为调整后的空洞空间卷积池化金字塔，调整后的空洞空间卷积池化金字塔采样率为4、8、12、16。
本申请实施例通过改变空洞空间卷积池化金字塔的采样率，可以更好地多尺度提取雷达图像中目标的特征信息。
服务器降低双流卷积神经网络模型的最终输出卷积层的特征图通道数目，并增加双流卷积神经网络模型的最终输出卷积层的卷积层数量。
具体地，双流卷积神经网络模型的原始最终输出卷积层的特征图通道数目分别为256，256和3，设计在此基础上修改为4层卷积层，修改后的特征图通道数目分别为128，64，32和3。
参见图5，示出了最终输出卷积层的修改对比图，在图5中，上侧为原始最终输出卷积层，特征图通道数目分别为256，256和3，下侧为修改后的输出卷积层，特征图通道数目分别为128，64，32和3。
本申请实施例通过降低双流卷积神经网络模型的最终输出卷积层的特征图通道数目，以及增加双流卷积神经网络模型的最终输出卷积层的卷积层数量，可以更充分地提取雷达图像中目标的特征信息，以及同时降低GPU负载。
服务器增加双流卷积神经网络模型的损失函数中语义分割损失的权重。
具体地，双流卷积神经网络模型的原架构语义分割损失权值为10，服务器将双流卷积神经网络模型的原架构语义分割损失权值从10提升至20。
其中，网络的损失函数由“Joint Multi-Task Learning”和“Dual TaskRegularizer”两部分组成，“Joint Multi-Task Learning”为边界损失和语义分割损失的加权求和。
本申请实施例通过增加损失函数中语义分割损失的权重，增加双流卷积神经网络模型对分类性能的“关注”。
最后，服务器通过上述步骤S201，确定语义分割神经网络模型的神经网络架构。
本申请实施例通过对双流卷积神经网络模型的神经网络架构进行调整，达到了更高的识别准确度，从而实现了可以对雷达图像进行精确地语义分割，从而提取雷达图像中的生物目标。
步骤S202：将语义分割神经网络模型的训练集输入至语义分割神经网络模型的神经网络架构中，训练生成语义分割神经网络模型。
服务器获取语义分割神经网络模型的训练集。
其中，训练集包括样本雷达图像，以及样本雷达图像对应的标签。
具体地，服务器将样本雷达数据投影至直角坐标系。样本雷达数据包括雷达数据包括不同扫描角的数据，基于此，服务器根据雷达数据，确定第一仰角反射率图像、第二仰角反射率图像、仰角频谱图像。然后服务器通过第一仰角反射率图像、第二仰角反射率图像、仰角频谱图像，确定样本雷达图像。
在一个实施例中，本申请实施例具体如何确定样本雷达图像，请参见步骤S102的相关内容，在此不再进行描述。
参见图6，示出了样本雷达图像的生成示意图。
在图6中，图中的每一行分别对应一幅雷达图像的生成过程。
进一步，图中的每一列对应雷达波速不同高程仰角的扫描图。其中，图中的第一列对应波束0.1°仰角反射率图像，作为样本雷达图像的R通道图像输入。第二列对应波束1.45°仰角反射率图像，作为样本雷达图像的G通道图像输入。第三列则对应波束0.1°仰角频谱图像，作为样本雷达图像的B通道图像输入。第四列则为合并成的样本雷达图像。
在获取样本雷达图像之后，服务器确定样本雷达图像对应的标签图像。
其中，标签包括生物回波像素标签、降水回波像素标签、背景像素标签中的至少一种。
此外，样本雷达图像中的每个像素点分别对应各自的类别标签值。一个例子中，降水回波像素标签为1，生物回波像素标签为2，其它像素标签设置为0。
参见图7，示出了样本雷达图像与样本雷达图像对应的标签图像的对比图。
在图7中，第一行代表样本雷达图像，第二行代表样本雷达图像对应的标签图像。
其中，灰色区域对应A，代表降水回波，对应标签1，白色区域对应B，代表生物回波，对应标签2，其他部分代表背景，对应标签0。
在确定样本雷达图像对应的标签图像之后，服务器将样本雷达图像输入至语义分割神经网络模型的神经网络架构中，通过标签进行有监督训练，生成语义分割神经网络模型。
具体地，服务器确定上述步骤S201中语义分割神经网络模型的神经网络架构的学习率、学习动量、权重衰减，批尺寸。
服务器将样本雷达图像输入语义分割神经网络模型的神经网络架构，得到样本雷达图像对应的语义分割图像。
然后将样本雷达图像对应的语义分割图像与样本雷达图像的标签图像进行对比，通过反向传播不断调整语义分割神经网络的权重参数，直至输出样本雷达图像对应的语义分割图像与样本雷达图像对应的标签图像之间的差值低于预设误差阈值。
进一步，服务器将验证集输入训练好的语义分割神经网络模型，进行测试，以确定最终的语义分割神经网络模型。
本申请实施例通过样本雷达图像的标签图像进行有监督训练，从而可以不断调整语义分割神经网络模型的神经网络训练参数，可以使语义分割神经网络模型更好地识别生物回波、降水回波，并且滤除其他杂波，从而精确地提取雷达图像中的生物目标。
由于在天气雷达技术领域中，从大量的天气雷达图像数据中精确地提取生物回波信息是当前雷达数据处理的重要挑战之一。为此，本申请实施例可以应用于天气雷达，方法还包括：
雷达图像为天气雷达图像，生物目标为鸟类，方法应用于天气预测。
更直观地，下面以天气雷达图像为例进行阐述说明，应用于图1、图2的方法。
基于包含城市A、城市B等多个城市的春秋季S波段天气雷达的实测数据，完成对雷达数据对应的雷达图像中生物目标的提取。其中，雷达数据通过水平单极化雷达获取，该水平单极化雷达的扫描周期为6分钟，仰角从0.1°到19.5°不等。
服务器通过天气雷达0.1°、1.45°仰角的反射率因子Z值数据和0.1°仰角的速度V值数据，分别生成第一仰角反射率图像、第二仰角反射率图像和仰角频谱图像，将三张扫描图分别作为天气雷达图像的R、G、B三个通道的输入图像，合并成天气雷达图像。
服务器将天气雷达图像输入预先训练的语义分割神经网络模型，得到生物回波、降水回波，从而在天气雷达图像中识别出生物目标。其中，生物目标包括鸟类。
参见图8，示出了语义分割神经网络模型提取天气雷达图像中生物回波示意图。
在图8中，第一行代表天气雷达图像，第二行代表语义分割神经网络模型的分割预测图像，第三行代表提取的生物回波图像。
其中，预先训练的语义分割神经网络模型，通过以下内容得到：
服务器基于包含城市A、城市B等多个城市的春秋季S波段天气雷达的实测数据，通过获取雷达数据，确定样本天气雷达图像。
在确定样本天气雷达图像之后，服务器确定样本天气雷达图像对应的标签图像。其中，降水回波像素标签为1，生物回波像素标签为2，其它像素标签设置为0。
服务器将GSCNN模型的神经网络架构按照图2中的相关内容进行调整，然后确定学习率为0.0001，学习动量为0.9，权重衰减为0.0001，批尺寸为8。
服务器将样本雷达图像作为输入，不断将输出图像与样本雷达图像对应的标签图像进行对比，调整神经网络的权重参数，直至输出图像与样本雷达图像对应的标签图像之间的差值小于预设误差阈值，确定初始的语义分割神经网络模型。
最后服务器通过验证集对初始的语义分割神经网络模型进行验证，确定最终的语义分割神经网络模型。
如图9所示，本申请还提供了一种雷达图像的语义分割设备。该语义分割设备在硬件层面上包括处理器，可选地还包括存储器和总线，此外该设备还允许包括其它业务所需要的硬件。
其中，存储器用于存放执行指令，该执行指令具体是能够被执行的计算机程序。进一步，存储器可以包括内存和非易失性存储器(non-volatile memory)，并向处理器提供执行指令和数据。示例性地，内存可以是高速随机存取存储器(Random-Access Memory，RAM)，非易失性存储器可以是至少1个磁盘存储器。
其中，总线用于将处理器、存储器和网络接口相互连接到一起。该总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线、EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为了便于表示，图9中仅用一个双向箭头表示，但这并不表示仅有一根总线或一种类型的总线。
在上述设备的一种可行的实施方式中，处理器可以先从非易失性存储器中读取对应的执行指令到内存中再运行，也可以先从其它设备上获取相应的执行指令再运行。处理器在执行存储器所存放的执行指令时，能够实现本申请上述任意一个方法实施例中的语义分割方法。
本领域技术人员能够理解的是，上述的语义分割方法可以应用于处理器中，也可以借助处理器来实现。示例性地，处理器是一种集成电路芯片，具有处理信号的能力。在处理器执行上述语义分割方法的过程中，上述方法的各步骤可以通过处理器中硬件形式的集成逻辑电路或软件形式的指令完成。进一步，上述处理器可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件、微处理器以及其它任何常规的处理器。
本领域技术人员还能够理解的是，本申请上述语义分割方法实施例的步骤可以被硬件译码处理器执行完成，也可以被译码处理器中的硬件和软件模块组合执行完成。其中，软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等其它本领域成熟的存储介质中。该存储介质位于存储器中，处理器读取存储器中的信息之后结合其硬件完成上述方法实施例中步骤的执行。
虽然图中并未示出，但是本申请还提出了一种存储介质，该存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本申请上述任意一个方法实施例中的语义分割方法。
本领域技术人员能够理解的是，本申请上述各个实施例中所述的电子设备可以是计算机。
至此，已经参照附图并结合上述实施例完成了对本申请技术方案的描述。
本领域技术人员能够理解的是，本申请上述的方法实施例能够以方法的形式或计算机程序产品的形式来展现。因此，本申请的技术方案可以采用全硬件的方式来实施，也可以采用全软件的形式来实施，还可以采用软件与硬件相结合的形式来实施。
需要说明的是，为了突出本申请上述多个实施例彼此之间的不同之处，本申请上述的多个实施例之间是以并列的方式和/或递进的方式来进行布局和描述的，并且后面的实施例仅重点说明了其与其它实施例之间的不同之处，各个实施例之间相同或相似的部分可以互相参照。举例说明，对于装置/产品实施例而言，由于装置/产品实施例与方法实施例基本相似，所以描述的相对比较简单，相关之处参见方法实施例对应部分的说明即可。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请技术原理之内所作的任何修改、等同替换、改进等，均应落入本申请的保护范围之内。

Claims (3)

1.一种雷达图像的语义分割方法，其特征在于，所述语义分割方法包括：
获取雷达数据；
对所述雷达数据进行渲染，确定雷达图像；
将所述雷达图像输入预先训练的语义分割神经网络模型，以在所述雷达图像中识别生物目标，所述语义分割神经网络模型是基于双流卷积神经网络模型GSCNN训练得到的；
所述语义分割神经网络模型是基于双流卷积神经网络模型GSCNN训练得到的，包括：
对所述双流卷积神经网络模型的神经网络架构进行调整，得到所述语义分割神经网络模型的神经网络架构；
将所述语义分割神经网络模型的训练集输入至所述语义分割神经网络模型的神经网络架构中，训练生成所述语义分割神经网络模型；
所述对所述双流卷积神经网络模型的神经网络架构进行调整，确定所述语义分割神经网络模型的神经网络架构，包括：
调整所述双流卷积神经网络模型，以使所述双流卷积神经网络模型能够接收所述雷达图像对应尺寸的训练集；并
调整所述双流卷积神经网络模型中的空洞空间卷积池化金字塔的采样率，以提取所述训练集中目标的特征信息；并
降低所述双流卷积神经网络模型的最终输出卷积层的特征图通道数目，并增加所述双流卷积神经网络模型的最终输出卷积层的卷积层数量；并
增加所述双流卷积神经网络模型的损失函数中语义分割损失的权重；
确定所述语义分割神经网络模型的神经网络架构；
所述语义分割神经网络模型的神经网络架构，包括：
输入图像的尺寸为320×320；
空洞空间卷积池化金字塔的采样率为4、8、12、16；
最终输出卷积层的特征图通道数目为128、64、32、3；
最终输出卷积层的卷积层数量为4；
损失函数中语义分割损失的权重为20；
将所述语义分割神经网络模型的训练集输入至所述语义分割神经网络模型的神经网络架构中，训练生成所述语义分割神经网络模型，包括：
确定所述训练集包括样本雷达图像，以及所述样本雷达图像对应的标签；其中，所述标签包括生物回波像素标签、降水回波像素标签、背景像素标签中的至少一种；
将所述样本雷达图像输入至所述语义分割神经网络模型的神经网络架构中，通过所述标签进行有监督训练，生成所述语义分割神经网络模型；
所述雷达图像为天气雷达图像，所述生物目标为鸟类，所述方法应用于天气预测；
所述对所述雷达数据进行渲染，确定所述雷达图像，包括：
根据所述雷达数据，确定第一仰角反射率图像、第二仰角反射率图像、仰角频谱图像；其中，所述雷达数据包括不同扫描角的数据；
根据所述第一仰角反射率图像，确定所述雷达图像的R通道图像；
根据所述第二仰角反射率图像，确定所述雷达图像的G通道图像；
根据所述仰角频谱图像，确定所述雷达图像的B通道图像；
根据所述R通道图像、G通道图像、B通道图像，确定所述雷达图像；
所述第一仰角反射率图像的仰角接近0.1°，所述接近指的是所述第一仰角反射率图像的仰角与0.1°之间的差值低于预设第一阈值；
所述第二仰角反射率图像的仰角接近1.45°，所述接近指的是所述第二仰角反射率图像的仰角与1.45°之间的差值低于预设第二阈值；
所述仰角频谱图像的仰角接近0.1°，所述接近指的是所述仰角频谱图像的仰角与0.1°之间的差值低于预设第三阈值。
2.一种雷达图像的语义分割设备，其特征在于，所述语义分割设备包括处理器、存储器和存储在所述存储器上的执行指令，所述执行指令设置成在被所述处理器执行时能够使所述语义分割设备执行权利要求1中所述的语义分割方法。
3.一种存储介质，其特征在于，所述存储介质存储有执行指令，所述执行指令设置成在被电子设备的处理器执行时能够使所述电子设备执行权利要求1所述的语义分割方法。
CN202110159669.5A 2021-02-05 2021-02-05 一种雷达图像的语义分割方法、设备及存储介质 Active CN112861708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110159669.5A CN112861708B (zh) 2021-02-05 2021-02-05 一种雷达图像的语义分割方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110159669.5A CN112861708B (zh) 2021-02-05 2021-02-05 一种雷达图像的语义分割方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112861708A CN112861708A (zh) 2021-05-28
CN112861708B true CN112861708B (zh) 2023-04-07

Family

ID=75988043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110159669.5A Active CN112861708B (zh) 2021-02-05 2021-02-05 一种雷达图像的语义分割方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112861708B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657389A (zh) * 2021-07-29 2021-11-16 中国科学院软件研究所 一种软件定义卫星语义分割方法、装置和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222574A (zh) * 2019-05-07 2019-09-10 杭州智尚云科信息技术有限公司 基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质
CN110598598A (zh) * 2019-08-30 2019-12-20 西安理工大学 基于有限样本集的双流卷积神经网络人体行为识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363210B (zh) * 2018-04-10 2023-05-05 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222574A (zh) * 2019-05-07 2019-09-10 杭州智尚云科信息技术有限公司 基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质
CN110598598A (zh) * 2019-08-30 2019-12-20 西安理工大学 基于有限样本集的双流卷积神经网络人体行为识别方法

Also Published As

Publication number Publication date
CN112861708A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN109784391B (zh) 基于多模型的样本标注方法及装置
CN113269073B (zh) 一种基于yolo v5算法的船舶多目标追踪方法
US11783568B2 (en) Object classification using extra-regional context
CN109284280B (zh) 仿真数据优化方法、装置及存储介质
US20220157053A1 (en) Target recognition method and device based on mask rcnn network model
US20120134586A1 (en) Device with datastream pipeline architecture for recognizing and locating objects in an image by detection window scanning
CN111461145A (zh) 一种基于卷积神经网络进行目标检测的方法
US20230137337A1 (en) Enhanced machine learning model for joint detection and multi person pose estimation
CN111523558A (zh) 一种基于电子围网的船只遮挡检测方法、装置及电子设备
CN110490058B (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
CN115937659A (zh) 基于Mask-RCNN的室内复杂环境下多目标检测方法
CN112861708B (zh) 一种雷达图像的语义分割方法、设备及存储介质
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
CN110222652B (zh) 行人检测方法、装置及电子设备
CN112364821A (zh) 一种继电保护设备电力模式数据自识别方法和自识别设备
CN116740145A (zh) 一种多目标跟踪方法、装置、车辆及存储介质
CN115482277A (zh) 一种社交距离风险预警方法及装置
CN115527187A (zh) 一种障碍物的分类方法以及装置
CN113807407B (zh) 目标检测模型训练方法、模型性能检测方法及装置
CN113298822B (zh) 点云数据的选取方法及选取装置、设备、存储介质
US11244443B2 (en) Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program
CN112308061A (zh) 一种车牌字符排序方法、识别方法及装置
US20230401691A1 (en) Image defect detection method, electronic device and readable storage medium
CN113627460B (zh) 一种基于时间切片卷积神经网络的目标识别系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant