CN113724271B - 一种用于复杂环境移动机器人场景理解的语义分割模型训练方法 - Google Patents

一种用于复杂环境移动机器人场景理解的语义分割模型训练方法 Download PDF

Info

Publication number
CN113724271B
CN113724271B CN202111006590.5A CN202111006590A CN113724271B CN 113724271 B CN113724271 B CN 113724271B CN 202111006590 A CN202111006590 A CN 202111006590A CN 113724271 B CN113724271 B CN 113724271B
Authority
CN
China
Prior art keywords
module
semantic segmentation
feature map
segmentation model
repvgg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111006590.5A
Other languages
English (en)
Other versions
CN113724271A (zh
Inventor
李恒宇
程立
刘靖逸
岳涛
王曰英
谢少荣
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202111006590.5A priority Critical patent/CN113724271B/zh
Publication of CN113724271A publication Critical patent/CN113724271A/zh
Application granted granted Critical
Publication of CN113724271B publication Critical patent/CN113724271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机图像处理领域，公开了一种用于复杂环境移动机器人场景理解的语义分割模型训练方法，步骤为：S1：获取样本图像集，将样本图像集划分为训练集、验证集和测试集，样本图像集中包括多个样本图像，样本图像中含有样本分割区域以及对应的样本类别信息；S2：将训练集的样本图像输入预先构建的语义分割模型进行检测，得到样本图像语义分割结果；根据样本图像中的语义分割结果以及样本图像的特征区域和对应的类别信息构建损失函数，采用反向传播对模型进行参数更新，得到训练后的语义分割模型；S3：采用验证集对训练后的语义分割模型进行验证，选出最优语义分割模型；S4：采用测试集对最优语义分割模型进行测试，评估模型性能。本发明训练得到的语义分割模型兼备速度快和精度高的优点，在牺牲少许精度的情况下能够加快网路的推理速度。

Description

一种用于复杂环境移动机器人场景理解的语义分割模型训练 方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种用于复杂环境移动机器人场景理解的语义分割模型训练方法。
背景技术
对于移动机器人,场景理解是其实现真正智能化的最核心技术,其场景理解能力依赖于面向场景解析的高精度语义分割算法具有场景理解能力的服务机器人即拥有了场景语义分割的能力,在配合移动底座和高精度机械臂后,能够进一步实现自主导航、物体送达、室内安保等高级任务。
场景理解在早期的计算机视觉相关的研究工作中就已经被重视,但一直无法找出较有效的解决方法。场景理解研究中存在较多难点，比如：如何在场景中的目标物体受到平移、旋转、光照或畸变等影响时,仍能获得该目标物体的鲁棒特征、为了取得更好的分割效果，研究人员通常会为基于深度学习的语义分割模型设计复杂的结构来提高分割精度，如ASPP模块等，但复杂的结构通常会降低模型的运行速度、为了提高模型的运行速度，很多轻量语义分割模型被提出，然而轻量模型的精度与精确模型相比有一定差距，结构通常也比较特殊，较难改进或者改进后可能需要在ImageNet数据集上进行预训练，设备要求高且训练费时费力。
综上，应用于移动机器人的面向场景解析的语义分割模型需要保证高精度，在未部署到移动端时即可达到实时的处理速度，从而可以使模型在直接使用时就能高精度地对场景进行解析，在专用设备上应用时不会因为降低精度的操作而损失过多的场景解析性能。考虑到设备的限制，难以对全新的模型进行重复迭代验证，因此本发明提出了一种用于复杂环境移动机器人场景理解的语义分割模型，该模型采用语义指导上采样模块以及RepVGG模块将不同层级的特征图进行对齐融合，能捕获丰富的上下文信息。并且该模型最复杂的结构只有五级，结构简单模型更易训练且处理速度快等特点，并可以根据需求和平台灵活调整网络中的参数能进一步加快网路的推理速度。这些特点的结合，能很好的使移动机器人在应对复杂多变的环境下，迅速做出合理且精细的判断并加以应对。
发明内容
针对现有技术中存在的问题和不足，本发明的目的旨在提供一种用于复杂环境移动机器人场景理解的语义分割模型训练方法及图像语义分割方法。
为实现发明目的，本发明采用的技术方案如下：
本发明第一方面提供了一种用于复杂环境移动机器人场景理解的语义分割模型训练方法，包括以下步骤：
S1：获取样本图像集，所述样本图像集中包括多个样本图像，所述样本图像中含有样本分割区域以及样本分割区域对应的样本类别信息；将样本图像集按比例随机划分为训练集、验证集和测试集；
S2：将训练集中的样本图像输入预先构建的语义分割模型进行检测，得到所述样本图像的语义分割结果，所述语义分割结果包括基于语义识别得到的所述样本图像的特征区域和特征区域对应的类别信息；根据样本图像中的样本分割区域及样本分割区域对应的样本类别信息以及样本图像的特征区域和特征区域对应的类别信息构建损失函数，根据所述损失函数，采用反向传播对语义分割模型进行参数更新，得到训练后的语义分割模型；
S3：采用验证集对步骤S2得到的训练后的语义分割模型进行验证，从训练后的语义分割模型中选出最优语义分割模型；
S4：采用测试集对步骤S3筛选的最优语义分割模型进行测试，评估最优语义分割模型的性能。
根据上述的语义分割模型训练方法，优选地，所述语义分割模型包含编码器、Neck网络和解码器，所述编码器用于对待分割图像进行多个不同通道的特征提取，提取后生成多个不同通道的特征图；所述Neck网络位于编码器和解码器之间，用于对编码器生成的多个不同通道的特征图进行加工处理，使输入的多个不同通道的特征图的通道数调整相同；所述解码器用于将Neck网络输出的特征图进行上采样处理，得到最终的语义分割结果。
根据上述的语义分割模型训练方法，优选地，所述编码器包含五个网络结构相同的主干网络和四个结构相同的下采样模块组成；待分割图像从第一主干网络输入，经第一主干网络进行特征提取后生成一级特征图；一级特征图经第一下采样模块进行下采样后输入第二主干网络，经第二主干网络进行特征提取后生成二级特征图；二级特征图经第二下采样模块进行下采样后输入第三主干网络，经第三主干网络进行特征提取后生成三级特征图；三级特征图经第三下采样模块进行下采样后输入第四主干网络，经第四主干网络进行特征提取后生成四级特征图；四级特征图经第四下采样模块进行下采样后输入第五主干网络，经第五主干网络进行特征提取后生成五级特征图。
根据上述的语义分割模型训练方法，优选地，所述主干网络为ResNet-18网络；所述下采样模块的步长为2。
根据上述的语义分割模型训练方法，优选地，所述Neck网络包含四个并列设置的RepVGG模块，四个RepVGG模块的网络结构相同，其中，第一RepVGG模块的输入为二级特征图，第一RepVGG模块的输出为二级变换特征图；第二RepVGG模块的输入为三级特征图，第二RepVGG模块的输出为三级变换特征图；第三RepVGG模块的输入为四级特征图，第三RepVGG模块的输出为四级变换特征图；第四RepVGG模块的输入为五级特征图，第四RepVGG模块的输出为五级变换特征图；所述解码器包含3个网络结构相同的上采样模块，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；第一上采样模块的输入为四级变换特征图和五级变换特征图，第一上采样模块的输出为四级变换特征图和五级变换特征图经语义融合得到的四级融合特征图；第二上采样模块的输入为三级变换特征图和四级融合特征图，第二上采样模块的输出为三级变换特征图和四级融合特征图经语义融合得到的三级融合特征图；第三上采样模块的输入为二级变换特征图和三级融合特征图，第三上采样模块的输出为二级变换特征图和三级融合特征图经语义融合得到的二级融合特征图；将二级融合特征图的通道数调整至与待分割图像一致，得到语义分割结果并输出。
根据上述的语义分割模型训练方法，优选地，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；语义指导上采样模块用于对输入上采样模块的两个特征图进行特征语义对齐处理，并将特征语义对齐后的两个特征图进行融合，得到相应的融合特征图；所述语义指导上采样模块包含反卷积模块、拼接模块、RepVGG模块、卷积模块和Warp变形模块。更加优选地，语义指导上采样模块中，所述反卷积模块由转置卷积层、批量归一化层和激活函数组成，反卷积模块的卷积核大小为2，步长为2，填充为0；所述卷积模块为3×3卷积模块。
根据上述的语义分割模型训练方法，优选地，语义指导上采样模块对输入的两个特征图进行处理的具体过程为：
(1)将输入上采样模块的两个特征图中高一级的特征图记作Xi+1，低一级的特征图记作Xi(以第一上采样模块的输入为例，五级变换特征图为高一级的特征图，四级变换特征图为低一级的特征图；以第二上采样模块的输入为例，四级融合特征图为高一级的特征图，三级变换特征图为低一级的特征图)，采用语义指导上采样模块中的反卷积模块对特征图Xi+1进行反卷积处理，得到反卷积特征图；将反卷积特征图与特征图Xi按通道进行拼接处理，得到拼接特征图；
(2)将拼接特征图依次经RepVGG模块、卷积模块进行处理，计算特征图Xi+1与特征图Xi之间的语义偏移量；
(3)根据步骤(2)计算得到的语义偏移量，通过Warp变形模块对特征图Xi+1进行变形处理，得到变形后特征图变形后特征图/>与特征图Xi的特征语义对齐；
(4)变形后特征图与特征图Xi进行对应元素相加，得到融合特征图并输出。
根据上述的语义分割模型训练方法，优选地，所述预先构建的语义分割模型、所述最优语义分割模型中RepVGG模块均含有三个并列设置的分支模块和一个激活函数模块；第一分支和第二分支模块的结构相同，均包含3×3卷积层和批量归一化层；所述第三分支模块为批量归一化层；所述激活函数模块为1×1卷积模块；
RepVGG模块对输入图像进行处理的过程为：
输入RepVGG模块的特征图分别进入三个分支模块进行处理，得到三个特征图，将经三个分支模块处理得到的三个特征图进行合并后传输至激活函数模块进行处理，得到相应的变换特征图；其中，特征图输入第一个分支模块或第二个分支模块时，先采用3×3卷积层对特征图进行处理，然后再采用批量归一化层进行处理。
根据上述的语义分割模型训练方法，优选地，所述预先构建的语义分割模型中RepVGG模块含有三个并列设置的分支模块和一个激活函数模块；第一分支和第二分支模块的结构相同，均包含3×3卷积层和批量归一化层；所述第三分支模块为批量归一化层；所述激活函数模块为1×1卷积模块。
所述预先构建的语义分割模型中RepVGG模块对输入图像进行处理的过程为：
输入RepVGG模块的特征图分别进入三个分支模块进行处理，得到三个特征图，将经三个分支模块处理得到的三个特征图进行合并后传输至激活函数模块进行处理，得到相应的变换特征图；其中，特征图输入第一个分支模块或第二个分支模块时，先采用3×3卷积层对特征图进行处理，然后再采用批量归一化层进行处理；
所述最优语义分割模型中RepVGG模块由一个3×3卷积层和一个激活函数模块组成；所述最优语义分割模型中RepVGG模块对输入图像进行处理的过程为：输入RepVGG模块的特征图经3×3卷积层进行卷积处理后传输至激活函数模块进行处理，得到相应的变换特征图。本发明预先构建的语义分割模型中RepVGG模块包含多条支路，通过消融实验表明RepVGG模块采用的多分支结构能充分的训练图片，提取图片中更多细节信息，可使分割模型得到充分的训练，最终取得良好的效果；而且，在训练完成后在对待分割图片进行语义分割时，将训练后的语义分割模型中RepVGG模块的多条支路合并，形成一个3×3卷积层和一个激活函数模块，通过将RepVGG模块中多条支路合并处理，能够避免网络的碎片化，加快语义分割模型的推理速度。
根据上述的语义分割模型训练方法，优选地，所述训练样本集中的样本图像来自ImageNet dataset、Cityscapes dataset、ADE20K dataset三种图像数据集中的至少一种。更加优选地，所述训练集中的样本图像来自于ImageNet dataset图像数据集，所述验证集中的样本图像来自于Cityscapes dataset图像数据集，所述测试集中样本图像来自于ADE20K dataset图像数据集。
本发明第二方面提供了一种图像语义分割方法，所述方法包括：获取待分割图像，将所述待分割图像输入语义分割模型，得到图像语义分割结果；其中，所述语义分割模型为采用上述第一方面所述语义分割模型训练方法进行训练得到的训练后的语义分割模型。
本发明第三方面提供了一种电子设备，包括存储器和处理器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的语义分割模型训练方法，或者如上述第二方面所述的图像语义分割方法。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的语义分割模型训练方法，或者如上述第二方面所述的图像语义分割方法。
与现有技术相比，本发明取得的积极有益效果如下：
(1)本发明的一种用于复杂环境移动机器人场景理解的语义分割模型，网络最复杂处只有5级结构，结构简单且训练更快速。这使得移动机器人在复杂多变的环境中能能迅速的对突发状况做出快速反应。网络结构为分级结构，在获得不同空间尺度特征图的同时将其融合，能有效捕获上下文信息，使得模型精度更高。这使得移动机器人能够很好的实时对周围环境图像做出精细的语义分割，能实现较好的自动导航、精准避障等功能；
(2)本发明应用RepVGG模块，采用多分支结构将输入特征图同时输入到不同模块进行处理，减少了模型的计算量和模型中间变量的存储空间，相应的减少了移动机器人在硬件上的堆叠，使移动机器人机身更加轻量化。该模块将多分支处理后的结果进行逐元素相加其处理图像的精度达到了像素级别能够充分的提取每一张图片的语义信息，使得模型得到充分的训练。这提高了移动机器人在复杂环境下对场景理解的深度，能够很好的应对场景中的目标物体受到平移、旋转、光照或畸变等所带来的问题；
(3)本发明采用语义指导上采样模块来代替传统的上采样操作，语义指导上采样模块对低层特征上采样的过程中间接利用了高层特征中的语义信息计算解码器中相邻特征图的语义偏移，解决了语义不对齐的问题，进一步提高了模型精度。这使得移动机器人在复杂的有较多类别物体的环境中，能够精细的分割每个类别物体的边缘，实现更精确的场景分析。
(4)本发明预先构建的语义分割模型(即训练时采用的语义分割模型)中RepVGG模块包含多条支路，可使分割模型得到充分的训练，最终取得良好的效果；在训练完成后将训练后的语义分割模型中RepVGG模块的多条支路合并，形成一个3×3卷积层和一个激活函数模块，通过将RepVGG模块中多条支路合并处理，能够避免网络的碎片化，加快语义分割模型的推理速度。
附图说明
图1为本发明的语义分割模型的网络架构示意图；图中，Decoder head表示解码器；长方体表示特征图，长方体下方文字表示特征图的名称和通道数；
图2为本发明语义分割模型中语义指导上采样模块的架构示意图；
图3为本发明语义分割模型中Warp变形模块对图像进行处理的过程示意图；
图4为本发明语义分割模型中RepVGG模块的架构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外，还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例1：
一种用于复杂环境移动机器人场景理解的语义分割模型训练方法，包括以下步骤：
S1：获取样本图像集，所述样本图像集中包括多个样本图像，所述样本图像中含有样本分割区域以及样本分割区域对应的样本类别信息；将样本图像集按比例随机划分为训练集、验证集和测试集；所述样本图像集中的样本图像来自ImageNet dataset、Cityscapesdataset、ADE20K dataset三种图像数据集中的至少一种；
S2：将训练集中的样本图像输入预先构建的语义分割模型进行检测，得到所述样本图像的语义分割结果，所述语义分割结果包括基于语义识别得到的所述样本图像的特征区域和特征区域对应的类别信息；根据样本图像中的样本分割区域及样本分割区域对应的样本类别信息以及样本图像的特征区域和特征区域对应的类别信息构建损失函数，根据所述损失函数，采用反向传播对语义分割模型进行参数更新，得到训练后的语义分割模型；
S3：采用验证集对步骤S2得到的训练后的语义分割模型进行验证，调整参数值，从训练后的语义分割模型中选出最优语义分割模型；
S4：采用测试集对步骤S3筛选的最优语义分割模型进行测试，评估最优语义分割模型的性能。
语义分割模型(如图1所示)包含编码器、Neck网络和解码器。编码器用于对待分割的图像进行多个不同通道的特征提取，提取后生成多个不同通道的特征图；Neck网络位于编码器和解码器之间，用于对编码器生成的多个不同通道的特征图进行加工处理，使输入的多个不同通道的特征图的通道数调整相同，同时也使处理后的特征图更适合解码器计算；解码器用于将Neck网络输出的特征图进行上采样处理，得到最终的语义分割结果。
编码器包含五个网络结构相同的主干网络和四个结构相同的下采样模块组成，所述主干网络为ResNet-18网络，所述下采样模块的步长为2，下采样模块用于减小特征图的空间尺寸，提高网络的计算效率。待分割图像从第一主干网络输入，经第一主干网络进行特征提取后生成一级特征图；一级特征图经第一下采样模块进行下采样后输入第二主干网络，经第二主干网络进行特征提取后生成二级特征图；二级特征图经第二下采样模块进行下采样后输入第三主干网络，经第三主干网络进行特征提取后生成三级特征图；三级特征图经第三下采样模块进行下采样后输入第四主干网络，经第四主干网络进行特征提取后生成四级特征图；四级特征图经第四下采样模块进行下采样后输入第五主干网络，经第五主干网络进行特征提取后生成五级特征图。
Neck网络包含四个并列设置的RepVGG模块，四个RepVGG模块的网络结构相同，其中，第一RepVGG模块的输入为二级特征图，第一RepVGG模块的输出为二级变换特征图；第二RepVGG模块的输入为三级特征图，第二RepVGG模块的输出为三级变换特征图；第三RepVGG模块的输入为四级特征图，第三RepVGG模块的输出为四级变换特征图；第四RepVGG模块的输入为五级特征图，第四RepVGG模块的输出为五级变换特征图。
解码器包含3个网络结构相同的上采样模块，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；第一上采样模块的输入为四级变换特征图和五级变换特征图，第一上采样模块的输出为四级变换特征图和五级变换特征图经语义融合得到的四级融合特征图；第二上采样模块的输入为三级变换特征图和四级融合特征图，第二上采样模块的输出为三级变换特征图和四级融合特征图经语义融合得到的三级融合特征图；第三上采样模块的输入为二级变换特征图和三级融合特征图，第三上采样模块的输出为二级变换特征图和三级融合特征图经语义融合得到的二级融合特征图；将二级融合特征图的通道数调整至与待分割图像一致，得到语义分割结果并输出。
每个上采样模块均由语义指导上采样模块和RepVGG模块组成。语义指导上采样模块用于对输入上采样模块的两个特征图进行特征语义对齐处理，并将特征语义对齐后的两个特征图进行融合，得到相应的融合特征图。语义指导上采样模块(如图2所示)包含反卷积模块、拼接模块、RepVGG模块、卷积模块和Warp变形模块；其中，所述反卷积模块由转置卷积层、批量归一化层和激活函数层组成，反卷积模块的卷积核大小为2，步长为2，填充为0；所述卷积模块为3×3卷积模块。
语义指导上采样模块对输入的两个特征图进行处理的具体过程为：
(1)将输入上采样模块的两个特征图中高一级的特征图记作Xi+1，低一级的特征图记作Xi(第一上采样模块的输入图像中，五级变换特征图为高一级的特征图，四级变换特征图为低一级的特征图；第二上采样模块的输入图像中，四级融合特征图为高一级的特征图，三级变换特征图为低一级的特征图；第三上采样模块的输入图像中，三级融合特征图为高一级的特征图，二级变换特征图为低一级的特征图)，采用语义指导上采样模块中的反卷积模块对特征图Xi+1进行反卷积处理，得到反卷积特征图；将反卷积特征图与特征图Xi按通道进行拼接处理，得到拼接特征图；
(2)将拼接特征图依次经RepVGG模块、卷积模块进行处理，计算特征图Xi+1与特征图Xi之间的语义偏移量；
(3)根据步骤(2)计算得到的语义偏移量，通过Warp变形模块对特征图Xi+1进行变形处理，得到变形后特征图变形后特征图/>与特征图Xi的特征语义对齐；
(4)将变形后特征图与特征图Xi执行对应元素相加，得到融合特征图并输出。其中，Warp变形模块对特征图进行变形处理的操作算法如图3所示，其过程可以概述为：先创建一个横轴、纵轴取值范围均为[-1,1]的空间网格，后将步骤(2)计算得到的语义偏移量叠加在空间网格中，生成坐标点的采样网格；PyTorch中的grid_sample()方法将根据采样网格中的坐标值对特征图Xi+1上采样，最终生成分辨率更高的特征图/>
所述预先构建的语义分割模型中RepVGG模块(如图4中A所示)均含有三个并列设置的分支模块和一个激活函数模块。第一分支和第二分支模块的结构相同，均包含3×3卷积层和批量归一化层；所述第三分支模块为批量归一化层；所述激活函数模块为1×1卷积模块。
预先构建的语义分割模型(即训练时采用的语义分割模型)中RepVGG模块对输入图像进行处理的过程为：输入RepVGG模块的特征图分别进入三个分支模块进行处理，得到三个特征图，将经三个分支模块处理得到的三个特征图进行合并后传输至激活函数模块进行处理，得到相应的变换特征图；其中，特征图输入第一个分支模块或第二个分支模块时，先采用3×3卷积层对特征图进行处理，然后再采用批量归一化层进行处理并输出。其中，将经三个分支模块处理得到的三个特征图进行合并的具体过程如下：将输入每个分支模块的特征图记作I，特征图I的通道数记为C1，三个分支模块输出的三个特征图合并后得到的特征图记作合并特征图O，合并特征图O的通道数记为C2，第一个分支模块3×3卷积层的卷积核表示为将第二个分支模块3×3卷积层的卷积核表示为/>将第一个分支模块中批量归一化的参数表示为μ1,1、σ1,1、γ1,1、β1,1；将第二个分支模块中批量归一化的参数表示为μ2,2、σ2,2、γ2,2、β2,2；将第三分支模块中批量归一化的参数表示为μ3,3、σ3,3、γ3,3、β3,3；将输入的特征图I表示为/>将合并特征图O表示为当C1＝C2，H1＝H2，W1＝W2时，合并特征图的算公式如式I所示；
式I中，bn(·)表示推理时的批量归一化函数。
所述最优语义分割模型中RepVGG模块(如图4中B所示)由一个3×3卷积层和一个激活函数模块组成；所述最优语义分割模型中RepVGG模块对输入图像进行处理的过程为：输入RepVGG模块的特征图经3×3卷积层进行卷积处理后传输至激活函数模块进行处理，得到相应的变换特征图。本发明预先构建的语义分割模型(即训练时采用的语义分割模型)中RepVGG模块包含多条支路，通过消融实验表明RepVGG模块采用的多分支结构能充分的训练图片，提取图片中更多细节信息，可使分割模型得到充分的训练，最终取得良好的效果；而且，在训练完成后在对待分割图片进行语义分割时，将训练后的语义分割模型中RepVGG模块的多条支路合并，形成一个3×3卷积层和一个激活函数模块，通过将RepVGG模块中多条支路合并处理，能够避免网络的碎片化，加快语义分割模型的推理速度。
实施例2：
一种用于复杂环境移动机器人场景理解的语义分割模型训练方法，包括以下步骤：
S1：获取样本图像集，所述样本图像集中包括多个样本图像，所述样本图像中含有样本分割区域以及样本分割区域对应的样本类别信息；将样本图像集按比例随机划分为训练集、验证集和测试集；所述样本图像集中的样本图像来自ImageNet dataset、Cityscapesdataset、ADE20K dataset三种图像数据集中的至少一种；
S2：将训练集中的样本图像输入预先构建的语义分割模型进行检测，得到所述样本图像的语义分割结果，所述语义分割结果包括基于语义识别得到的所述样本图像的特征区域和特征区域对应的类别信息；根据样本图像中的样本分割区域及样本分割区域对应的样本类别信息以及样本图像的特征区域和特征区域对应的类别信息构建损失函数，根据所述损失函数，采用反向传播对语义分割模型进行参数更新，得到训练后的语义分割模型；
S3：采用验证集对步骤S2得到的训练后的语义分割模型进行验证，调整参数值，从训练后的语义分割模型中选出最优语义分割模型；
S4：采用测试集对步骤S3筛选的最优语义分割模型进行测试，评估最优语义分割模型的性能。
语义分割模型(如图1所示)包含编码器、Neck网络和解码器。编码器用于对待分割的图像进行多个不同通道的特征提取，提取后生成多个不同通道的特征图；Neck网络位于编码器和解码器之间，用于对编码器生成的多个不同通道的特征图进行加工处理，使输入的多个不同通道的特征图的通道数调整相同，同时也使处理后的特征图更适合解码器计算；解码器用于将Neck网络输出的特征图进行上采样处理，得到最终的语义分割结果。
编码器包含五个网络结构相同的主干网络和四个结构相同的下采样模块组成，所述主干网络为ResNet-18网络，所述下采样模块的步长为2，下采样模块用于减小特征图的空间尺寸，提高网络的计算效率。待分割图像从第一主干网络输入，经第一主干网络进行特征提取后生成一级特征图；一级特征图经第一下采样模块进行下采样后输入第二主干网络，经第二主干网络进行特征提取后生成二级特征图；二级特征图经第二下采样模块进行下采样后输入第三主干网络，经第三主干网络进行特征提取后生成三级特征图；三级特征图经第三下采样模块进行下采样后输入第四主干网络，经第四主干网络进行特征提取后生成四级特征图；四级特征图经第四下采样模块进行下采样后输入第五主干网络，经第五主干网络进行特征提取后生成五级特征图。
Neck网络包含四个并列设置的RepVGG模块，四个RepVGG模块的网络结构相同，其中，第一RepVGG模块的输入为二级特征图，第一RepVGG模块的输出为二级变换特征图；第二RepVGG模块的输入为三级特征图，第二RepVGG模块的输出为三级变换特征图；第三RepVGG模块的输入为四级特征图，第三RepVGG模块的输出为四级变换特征图；第四RepVGG模块的输入为五级特征图，第四RepVGG模块的输出为五级变换特征图。
解码器包含3个网络结构相同的上采样模块，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；第一上采样模块的输入为四级变换特征图和五级变换特征图，第一上采样模块的输出为四级变换特征图和五级变换特征图经语义融合得到的四级融合特征图；第二上采样模块的输入为三级变换特征图和四级融合特征图，第二上采样模块的输出为三级变换特征图和四级融合特征图经语义融合得到的三级融合特征图；第三上采样模块的输入为二级变换特征图和三级融合特征图，第三上采样模块的输出为二级变换特征图和三级融合特征图经语义融合得到的二级融合特征图；将二级融合特征图的通道数调整至与待分割图像一致，得到语义分割结果并输出。
每个上采样模块均由语义指导上采样模块和RepVGG模块组成。语义指导上采样模块用于对输入上采样模块的两个特征图进行特征语义对齐处理，并将特征语义对齐后的两个特征图进行融合，得到相应的融合特征图。语义指导上采样模块(如图2所示)包含反卷积模块、拼接模块、RepVGG模块、卷积模块和Warp变形模块；其中，所述反卷积模块由转置卷积层、批量归一化层和激活函数层组成，反卷积模块的卷积核大小为2，步长为2，填充为0；所述卷积模块为3×3卷积模块。
语义指导上采样模块对输入的两个特征图进行处理的具体过程为：
(1)将输入上采样模块的两个特征图中高一级的特征图记作Xi+1，低一级的特征图记作Xi(第一上采样模块的输入图像中，五级变换特征图为高一级的特征图，四级变换特征图为低一级的特征图；第二上采样模块的输入图像中，四级融合特征图为高一级的特征图，三级变换特征图为低一级的特征图；第三上采样模块的输入图像中，三级融合特征图为高一级的特征图，二级变换特征图为低一级的特征图)，采用语义指导上采样模块中的反卷积模块对特征图Xi+1进行反卷积处理，得到反卷积特征图；将反卷积特征图与特征图Xi按通道进行拼接处理，得到拼接特征图；
(2)将拼接特征图依次经RepVGG模块、卷积模块进行处理，计算特征图Xi+1与特征图Xi之间的语义偏移量；
(3)根据步骤(2)计算得到的语义偏移量，通过Warp变形模块对特征图Xi+1进行变形处理，得到变形后特征图变形后特征图/>与特征图Xi的特征语义对齐；
(4)将变形后特征图与特征图Xi执行对应元素相加，得到融合特征图并输出。其中，Warp变形模块对特征图进行变形处理的操作算法如图3所示，其过程可以概述为：先创建一个横轴、纵轴取值范围均为[-1,1]的空间网格，后将步骤(2)计算得到的语义偏移量叠加在空间网格中，生成坐标点的采样网格；PyTorch中的grid_sample()方法将根据采样网格中的坐标值对特征图Xi+1上采样，最终生成分辨率更高的特征图/>
所述预先构建的语义分割模型(即训练时采用的语义分割模型)、所述最优语义分割模型中RepVGG模块(如图4中A所示)均含有三个并列设置的分支模块和一个激活函数模块。第一分支和第二分支模块的结构相同，均包含3×3卷积层和批量归一化层；所述第三分支模块为批量归一化层；所述激活函数模块为1×1卷积模块。
所述预先构建的语义分割模型(即训练时采用的语义分割模型)、所述最优语义分割模型中RepVGG模块对输入图像进行处理的过程为：输入RepVGG模块的特征图分别进入三个分支模块进行处理，得到三个特征图，将经三个分支模块处理得到的三个特征图进行合并后传输至激活函数模块进行处理，得到相应的变换特征图；其中，特征图输入第一个分支模块或第二个分支模块时，先采用3×3卷积层对特征图进行处理，然后再采用批量归一化层进行处理。其中，将经三个分支模块处理得到的三个特征图进行合并的具体过程如下：将输入每个分支模块的特征图记作I，特征图I的通道数记为C1，三个分支模块输出的三个特征图合并后得到的特征图记作合并特征图O，合并特征图O的通道数记为C2，第一个分支模块3×3卷积层的卷积核表示为将第二个分支模块3×3卷积层的卷积核表示为/>将第一个分支模块中批量归一化的参数表示为μ1,1、σ1,1、γ1,1、β1,1；将第二个分支模块中批量归一化的参数表示为μ2,2、σ2,2、γ2,2、β2,2；将第三分支模块中批量归一化的参数表示为μ3,3、σ3,3、γ3,3、β3,3；将输入的特征图I表示为/>将合并特征图O表示为/>当C1＝C2，H1＝H2，W1＝W2时，合并特征图的算公式如式I所示；
式I中，bn(·)表示推理时的批量归一化函数。
实施例3：
一种图像语义分割方法，所述方法包括：获取待分割图像，将所述待分割图像输入语义分割模型，得到图像语义分割结果；其中，所述语义分割模型为采用实施例1所述的语义分割模型训练方法进行训练得到的最优语义分割模型。
实施例4：
一种图像语义分割方法，所述方法包括：获取待分割图像，将所述待分割图像输入语义分割模型，得到图像语义分割结果；其中，所述语义分割模型为采用实施例2所述的语义分割模型训练方法进行训练得到的最优语义分割模型。
实施例5：
一种电子设备，包括存储器和处理器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如实施例1所述的语义分割模型训练方法，或者如实施例3所述的图像语义分割方法。
实施例6：
一种电子设备，包括存储器和处理器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如实施例2所述的语义分割模型训练方法，或者如实施例4所述的图像语义分割方法。
实施例7：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如实施例1所述的语义分割模型训练方法，或者如实施例3所述的图像语义分割方法。
实施例8：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如实施例2所述的语义分割模型训练方法，或者如实施例4所述的图像语义分割方法。
采用本发明实施例1所述的图像语义分割训练方法训练得到的最优语义分割模型(记作SGNet(ResNet-18))以及现有主流的语义分割模型对待分割图像进行处理，比较本发明最优语义分割模型与现有主流的语义分割模型进行图像语义分割的准确率。其结果如表1所示。
表1本发明实施例1训练得到的最优语义分割模型与现有语义分割模型的语义分割结果对比
由表1可知，本发明训练后的最优语义分割模型帧率最高可达17.19，高于现有的主流语义分割模型，说明本发明语义分割模型处理图像的速度更快；而且，本发明训练后的最优语义分割模型的mIoU准确率最高可达77.25％，说明，本发明语义分割模型对图片中的事物类别有更高的分割精度。
以上所述仅为本发明的较佳实施例而已，但不仅限于上述实例，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于复杂环境移动机器人场景理解的语义分割模型训练方法，其特征在于，包括以下步骤：
S1：获取样本图像集，所述样本图像集中包括多个样本图像，所述样本图像中含有样本分割区域以及样本分割区域对应的样本类别信息；将样本图像集按比例随机划分为训练集、验证集和测试集；
S2：将训练集中的样本图像输入预先构建的语义分割模型进行检测，得到所述样本图像的语义分割结果，所述语义分割结果包括基于语义识别得到的所述样本图像的特征区域和特征区域对应的类别信息；根据样本图像中的样本分割区域及样本分割区域对应的样本类别信息以及样本图像的特征区域和特征区域对应的类别信息构建损失函数，根据所述损失函数，采用反向传播对语义分割模型进行参数更新，得到训练后的语义分割模型；
S3：采用验证集对步骤S2得到的训练后的语义分割模型进行验证，从训练后的语义分割模型中选出最优语义分割模型；
S4：采用测试集对步骤S3筛选的最优语义分割模型进行测试，评估最优语义分割模型的性能；
所述语义分割模型包含编码器、Neck网络和解码器，所述编码器用于对待分割的图像进行多个不同通道的特征提取，提取后生成多个不同通道的特征图；所述Neck网络位于编码器和解码器之间，用于对编码器生成的多个不同通道的特征图进行加工处理，使输入的多个不同通道的特征图的通道数调整相同；所述解码器用于将Neck输出的特征图进行上采样处理，得到最终的语义分割结果；
所述编码器包含五个网络结构相同的主干网络和四个结构相同的下采样模块组成；待分割图像从第一主干网络输入，经第一主干网络进行特征提取后生成一级特征图；一级特征图经第一下采样模块进行下采样后输入第二主干网络，经第二主干网络进行特征提取后生成二级特征图；二级特征图经第二下采样模块进行下采样后输入第三主干网络，经第三主干网络进行特征提取后生成三级特征图；三级特征图经第三下采样模块进行下采样后输入第四主干网络，经第四主干网络进行特征提取后生成四级特征图；四级特征图经第四下采样模块进行下采样后输入第五主干网络，经第五主干网络进行特征提取后生成五级特征图；
所述Neck网络包含四个并列设置的RepVGG模块，四个RepVGG模块的网络结构相同，其中，第一RepVGG模块的输入为二级特征图，第一RepVGG模块的输出为二级变换特征图；第二RepVGG模块的输入为三级特征图，第二RepVGG模块的输出为三级变换特征图；第三RepVGG模块的输入为四级特征图，第三RepVGG模块的输出为四级变换特征图；第四RepVGG模块的输入为五级特征图，第四RepVGG模块的输出为五级变换特征图；所述解码器包含3个网络结构相同的上采样模块，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；第一上采样模块的输入为四级变换特征图和五级变换特征图，第一上采样模块的输出为四级变换特征图和五级变换特征图经语义融合得到的四级融合特征图；第二上采样模块的输入为三级变换特征图和四级融合特征图，第二上采样模块的输出为三级变换特征图和四级融合特征图经语义融合得到的三级融合特征图；第三上采样模块的输入为二级变换特征图和三级融合特征图，第三上采样模块的输出为二级变换特征图和三级融合特征图经语义融合得到的二级融合特征图；将二级融合特征图的通道数调整至与待分割图像一致，得到语义分割结果并输出。
2.根据权利要求1所述的语义分割模型训练方法，其特征在于，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；语义指导上采样模块用于对输入上采样模块的两个特征图进行特征语义对齐处理，并将特征语义对齐后的两个特征图进行融合，得到相应的融合特征图；所述语义指导上采样模块包含反卷积模块、拼接模块、RepVGG模块、卷积模块和Warp变形模块。
3.根据权利要求2所述的语义分割模型训练方法，其特征在于，语义指导上采样模块对输入的两个特征图进行处理的具体过程为：
(1)将输入上采样模块的两个特征图中高一级的特征图记作Xi+1，低一级的特征图记作Xi，采用语义指导上采样模块中的反卷积模块对特征图Xi+1进行反卷积处理，得到反卷积特征图；将反卷积特征图与特征图Xi按通道进行拼接处理，得到拼接特征图；
(2)将拼接特征图依次经RepVGG模块、卷积模块进行处理，计算特征图Xi+1与特征图Xi之间的语义偏移量；
(3)根据步骤(2)计算得到的语义偏移量，通过Warp变形模块对特征图Xi+1进行变形处理，得到变形后特征图变形后特征图/>与特征图Xi的特征语义对齐；
(4)变形后特征图与特征图Xi进行对应元素相加，得到融合特征图并输出。
4.根据权利要求1～3任一所述的语义分割模型训练方法，其特征在于，所述预先构建的语义分割模型、所述最优语义分割模型中RepVGG模块均含有三个并列设置的分支模块和一个激活函数模块；第一分支和第二分支模块的结构相同，均包含3×3卷积层和批量归一化层；第三分支模块为批量归一化层；
RepVGG模块对输入图像进行处理的过程为：
输入RepVGG模块的特征图分别进入三个分支模块进行处理，得到三个特征图，将经三个分支模块处理得到的三个特征图进行合并后传输至激活函数模块进行处理，得到相应的变换特征图。
5.根据权利要求1～3任一所述的语义分割模型训练方法，其特征在于，所述预先构建的语义分割模型中RepVGG模块含有三个并列设置的分支模块和一个激活函数模块；第一分支和第二分支模块的结构相同，均包含3×3卷积层和批量归一化层；第三分支模块为批量归一化层；
所述预先构建的语义分割模型中RepVGG模块对输入图像进行处理的过程为：输入RepVGG模块的特征图分别进入三个分支模块进行处理，得到三个特征图，将经三个分支模块处理得到的三个特征图进行合并后传输至激活函数模块进行处理，得到相应的变换特征图；
所述最优语义分割模型中RepVGG模块由一个3×3卷积模块和一个激活函数模块组成；所述最优语义分割模型中RepVGG模块对输入图像进行处理的过程为：输入RepVGG模块的特征图经3×3卷积模块进行卷积处理后传输至激活函数模块进行处理，得到相应的变换特征图。
6.一种图像语义分割方法，其特征在于，所述方法包括：获取待分割图像，将所述待分割图像输入语义分割模型，得到图像语义分割结果；其中，所述语义分割模型为采用权利要求1～5任一所述语义分割模型训练方法进行训练得到的训练后的语义分割模型。
7.一种电子设备，包括存储器和处理器，其特征在于，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～5任一项所述的语义分割模型训练方法，或者如权利要求6所述的图像语义分割方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～5任一项所述的语义分割模型训练方法，或者如权利要求6所述的图像语义分割方法。
CN202111006590.5A 2021-08-30 2021-08-30 一种用于复杂环境移动机器人场景理解的语义分割模型训练方法 Active CN113724271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111006590.5A CN113724271B (zh) 2021-08-30 2021-08-30 一种用于复杂环境移动机器人场景理解的语义分割模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111006590.5A CN113724271B (zh) 2021-08-30 2021-08-30 一种用于复杂环境移动机器人场景理解的语义分割模型训练方法

Publications (2)

Publication Number Publication Date
CN113724271A CN113724271A (zh) 2021-11-30
CN113724271B true CN113724271B (zh) 2023-09-29

Family

ID=78679283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111006590.5A Active CN113724271B (zh) 2021-08-30 2021-08-30 一种用于复杂环境移动机器人场景理解的语义分割模型训练方法

Country Status (1)

Country Link
CN (1) CN113724271B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523934A (zh) * 2023-04-28 2023-08-01 河南省农业科学院农业经济与信息研究所 一种基于改进Swin-Unet的图像分割模型及其训练方法和图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782462A (zh) * 2019-10-30 2020-02-11 浙江科技学院 一种基于双流特征融合的语义分割方法
CN111368825A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种基于语义分割的指针定位方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188799B2 (en) * 2018-11-12 2021-11-30 Sony Corporation Semantic segmentation with soft cross-entropy loss

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782462A (zh) * 2019-10-30 2020-02-11 浙江科技学院 一种基于双流特征融合的语义分割方法
CN111368825A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种基于语义分割的指针定位方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于语义分割的分拣系统目标检测与定位;王志恒;陈金波;李恒宇;刘宝林;;计量与测试技术(第04期);全文 *
深度卷积神经网络图像语义分割研究进展;青晨;禹晶;肖创柏;段娟;;中国图象图形学报(第06期);全文 *

Also Published As

Publication number Publication date
CN113724271A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Wang et al. SaliencyGAN: Deep learning semisupervised salient object detection in the fog of IoT
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN112163498B (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN110175646B (zh) 基于图像变换的多通道对抗样本检测方法及装置
CN111062329B (zh) 基于增广网络的无监督行人重识别方法
JP2022177232A (ja) 画像処理方法、テキスト認識方法及び装置
CN114119975A (zh) 一种语言引导的跨模态实例分割方法
CN116309913B (zh) 一种基于生成对抗网络asg-gan文本描述生成图像方法
CN114926892A (zh) 一种基于深度学习的眼底图像匹配方法、系统和可读介质
CN113724271B (zh) 一种用于复杂环境移动机器人场景理解的语义分割模型训练方法
CN112905828A (zh) 一种结合显著特征的图像检索器、数据库及检索方法
CN114463805B (zh) 深度伪造检测方法、装置、存储介质及计算机设备
CN112766381B (zh) 有限样本下属性引导的sar图像生成方法
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN116778164A (zh) 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法
WO2020093210A1 (zh) 基于上下文信息指导的场景分割方法和系统
CN113780305B (zh) 一种基于两种线索交互的显著性目标检测方法
CN113705358B (zh) 一种基于特征映射的多角度侧脸正面化方法
CN115471718A (zh) 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法
CN115049901A (zh) 一种基于特征图加权注意力融合的小目标检测方法及设备
CN114663910A (zh) 基于多模态学习状态分析系统
CN113947102A (zh) 一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及系统
CN114581789A (zh) 一种高光谱图像分类方法及系统
Pang et al. PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant