CN111292330A - 基于编解码器的图像语义分割方法及装置 - Google Patents

基于编解码器的图像语义分割方法及装置 Download PDF

Info

Publication number
CN111292330A
CN111292330A CN202010082637.5A CN202010082637A CN111292330A CN 111292330 A CN111292330 A CN 111292330A CN 202010082637 A CN202010082637 A CN 202010082637A CN 111292330 A CN111292330 A CN 111292330A
Authority
CN
China
Prior art keywords
image
semantic segmentation
feature map
semantic
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010082637.5A
Other languages
English (en)
Inventor
青晨
禹晶
杨亚飞
肖创柏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010082637.5A priority Critical patent/CN111292330A/zh
Publication of CN111292330A publication Critical patent/CN111292330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于编解码器的图像语义分割方法及装置，该方法包括：将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的高层语义特征图；将特征图输入图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。由于多个不同尺寸池化层融合了局部和全局信息，多尺度的感受域有助于不同尺寸目标的学习，从而能够得到准确的待检测图像的高层语义特征图。利用解码器进行分析后，得到语义分析的检测结果中目标边界的分割精度更高。

Description

基于编解码器的图像语义分割方法及装置
技术领域
本发明涉及基于深度学习的语义分割领域，尤其涉及一种基于编解码器的图像语义分割方法及装置。
背景技术
图像语义分割是计算机视觉领域中的一项关键技术，对图像理解、场景解析和目标跟踪等任务起着至关重要的作用。语义分割是像素级的图像理解，即对图像中的每一个像素标注所属的类别，其任务是将图像分割成若干个有意义的目标，并为各个目标分配指定类型标签。传统的图像分割方法根据图像的颜色、纹理信息和空间结构等特征将图像分割成不同的区域，同一区域内具有一致的语义信息，不同区域之间属性不同。从最简单的阈值分割、区域生长、边缘检测到图划分(Graph partitioning)的分割方法，图像分割方法层出不穷。
目前的由编码器网络和相应的解码器网络实现的方法，在编码器网络中，将图像输入一个预训练的分类网络生成低分辨率的特征图，而在解码器中，通过上采样将低分辨率的特征图映射到原图像尺寸，产生像素级的语义标签，从而获得语义分割的结果。虽然在一定程度上提高了预测结果的准确率，但是目标边界的分割精度仍然有待提高。
发明内容
为了解决上述问题，本发明实施例提供一种基于编解码器的图像语义分割方法及装置。
第一方面，本发明实施例提供一种基于编解码器的图像语义分割方法，包括：将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图；将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。
进一步地，所述根据多个不同尺寸池化层的输出结果进行特征融合之前，还包括：对多个池化层的输出结果分别进行批标准化和1×1的卷积操作，以使融合后的特征通道数与卷积层提取的特征图通道数一致。
进一步地，所述将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果，包括：获取编码器的卷积网络提取的低层特征；对待检测图像的特征图进行上采样，得到与所述低层特征维度相同的特征图；将所述低层特征和上采样后的特征图进行特征融合，并进行上采样得到与待检测图像相同维度的特征图；根据所述与待检测图像相同维度的特征图，得到语义分析的检测结果。
进一步地，所述进行上采样，包括：基于双线性插值进行上采样。
进一步地，所述卷积网络包括ResNet101网络。
进一步地，所述将待检测图像输入至预设的图像语义分割网络模型的编码器之前，还包括：获取多个带有确定的语义标签的样本图像；基于包含动量系数的随机梯度下降法和poly学习率更新策略，对建立的图像语义分割网络模型进行训练，以得到所述预设的图像语义分割网络模型。
进一步地，所述获取多个带有确定的语义标签的样本图像之后，还包括：对样本图像进行图像扩张处理；所述图像扩增处理的方式包括，图像水平镜像、图像尺度随机放缩和图像尺寸随机裁剪。
第二方面，本发明实施例提供一种基于编解码器的图像语义分割装置，包括：编码模块，用于将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图；解码模块，用于将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本发明第一方面基于编解码器的图像语义分割方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明第一方面基于编解码器的图像语义分割方法的步骤。
本发明实施例提供的基于编解码器的图像语义分割方法及装置，由于多个不同尺寸池化层构成的多尺度池化模型融合了局部和全局信息，多尺度的感受域有助于不同尺寸目标的学习，从而能够得到准确的待检测图像的低分辨率特征图。利用解码器进行分析后，得到语义分析的检测结果中目标边界的分割精度更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于编解码器的图像语义分割方法流程图；
图2为本发明实施例提供的图像语义分割网络模型结构示意图；
图3为本发明实施例提供的双线性插值示意图；
图4为本发明实施例提供的基于编解码器的图像语义分割装置结构图；
图5为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于编解码器的图像语义分割方法流程图，如图1所示，本发明实施例提供一种基于编解码器的图像语义分割方法，包括：
101、将待检测图像输入至预设的图像语义分割网络模的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图。
在基于编码-解码器结构的网络中，编码的过程是将检测图像输入一个预训练的分类网络，生成低分辨率的特征图，而解码的过程是通过上采样将低分辨率的特征图映射到原图像尺寸，产生像素级的语义标签，从而获得语义分割的结果。解码器的输出是一个表示图像类别标签(Class label)的矩阵，矩阵中每一个元素的值与像素所属的类别相对应。编码器部分由卷积层和池化层组合形成，解码器部分由上采样层和卷积层组合形成，通过Softmax分类器输出分割结果。如在解码器网络中，最后一个解码器生成一幅多通道的特征图，每个通道对应一种类别，再输入Softmax分类器对每一个像素进行分类。
本发明实施例的卷积网络由多个卷积层构成，可以为ResNet101网络，即本实施例的编码器由ResNet101和多尺度池化模型组成。
现有的深度卷积神经网络一般会在卷积层之后插入池化层减少参数量。池化层最直接的作用是对卷积层进行空间下采样(Down-sampling)。常见的池化操作会对输入特征图的空间尺寸高度与宽度进行下采样。例如，池化核为2×2，步长(stride)为2的池化操作，其池化结果会变为原特征图空间尺寸的一半，即
Figure BDA0002380858570000041
与
Figure BDA0002380858570000042
这里W0为原宽度，H0为原高度。池化操作主要有平均池化和最大化池化。对于平均池化操作(Averagepooling)，输出值为该区域数值的平均值。而对于最大化池化操作(Max pooling)，输出值为区域数值中的最大值。
本发明实施例中，采用多个池化层构成多尺度池化模型，根据多个不同尺寸池化层的输出结果进行特征融合，主要为通道方向的特征融合，从而得到经多尺度池化模型提取后的待检测图像的特征图(如在多尺度池化模型中，可包括四种不同的池化尺寸，分别为1×1、2×2、3×3和6×6)。
102、将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。
本实施例中预设的图像语义分割网络模型，已根据带有确定的语义标签的样本图像进行了训练。从而能够实现准确的图像语义分割。得到待检测图像的特征图后，通过解码器的上采样将融合后的低分辨率特征图映射到原图像尺寸，产生像素级的语义标签，从而获得语义分割的结果。
得到语义分析的检测结果具体可以为，选择每个像素对应的最大概率的类别作为像素的最终类别，不同类别对应不同的颜色，通过类别到颜色的映射输出结果分割图。
本发明实施例提供的基于编解码器的图像语义分割方法，由于多个不同尺寸池化层构成的多尺度池化模型融合了局部和全局信息，多尺度的感受域有助于不同尺寸目标的学习，从而能够得到准确的待检测图像的低分辨率特征图。利用解码器进行分析后，得到语义分析的检测结果中目标边界的分割精度更高。
基于上述实施例的内容，作为一种可选实施例，所述卷积网络为ResNet101网络。以下以此为例说明。
本实施例中，先将待检测图像输入ResNet101网络，为了提取图像的多尺度信息，将ResNet101输出的特征图送入多尺度池化模型，即多个不同尺寸池化层。同样地，在多尺度池化模型中，可包括四种不同的池化尺寸，分别为1×1、2×2、3×3和6×6，其中1×1池化即全局平均池化，通过全局平均池化能够将图像级特征整合到模型中。图2为本发明实施例提供的图像语义分割网络模型结构示意图，可参见图2所示的编码器部分。
ResNet101是具有101层卷积层的残差网络，其参数如下：第一组是一层卷积层，卷积核大小为7×7，滑动步长为2，第二组、第三组、第四组和第五组分别由3个、4个、23个和3个残差结构构成，残差结构由三个卷积层组成，这三个卷积层的卷积核大小分别为1×1、3×3和1×1。第一组输出特征图的尺寸为112×112，通道数为64；第二组输出特征图的尺寸为56×56，通道数为256；第三组输出特征图的尺寸为28×28，通道数为512；第四组输出特征图的尺寸为14×14，通道数为1024；第五组输出特征图的尺寸为7×7，通道数为2048。表1列出了本发明使用的ResNet101网络配置，具体如下。
表1
Figure BDA0002380858570000061
基于上述实施例的内容，作为一种可选实施例，所述根据多个不同尺寸池化层的输出结果进行特征融合之前，还包括：对多个池化层的输出结果分别进行批标准化和1×1的卷积操作，以使融合后的特征通道数与卷积层提取的特征图通道数一致。
基于上述实施例的内容，作为一种可选实施例，批标准化包括：对特征数据进行减均值和除方差操作后作归一化处理；对归一化后的处理结果，进行缩放和偏移。
以四种不同的池化尺寸为例，为了保持多尺度特征的权重，即与ResNet101提取的特征图的通道数保持一致，将多尺度池化模型中经过不同池化尺寸后的特征图的通道数分别降为原来的四分之一，即在每个尺度的池化操作后使用1×1的卷积降维，再通过批标准化层生成多尺度池化特征。
批标准化层可包括两个步骤，第一步通过对特征数据减均值和除方差的操作后，进行归一化。设数据子集B＝{x1，x2，x3，...，xn}，该数据可以是输入数据也可以是某一网络层的输出数据，批标准化层的输出为
Figure BDA0002380858570000071
首先计算该数据子集的均值：
Figure BDA0002380858570000072
以及方差：
Figure BDA0002380858570000073
再进行归一化：
Figure BDA0002380858570000074
第二步进行缩放和偏移：
Figure BDA0002380858570000075
其中γ和β是需要网络学习的参数。
本发明实施例中，通过批标准化加快了网络的收敛速度并抑制了过拟合现象，减少了梯度对参数值或初始值的依赖，使网络在使用较大学习速率训练网络参数时，也不会出现梯度爆炸或梯度消失的情况。
基于上述实施例的内容，作为一种可选实施例，所述将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果，包括：获取编码器的卷积网络提取的低层特征；对待检测图像的特征图进行上采样，得到与所述低层特征维度相同的特征图；将所述低层特征和上采样后的特征图进行特征融合，并进行上采样得到与待检测图像相同维度的特征图；根据所述与待检测图像相同维度的特征图，得到语义分析的检测结果。
作为一种可选实施例，将所述低层特征和上采样后的特征进行特征融合后，还包括：对融合后特征进行卷积层提取特征以及1×1的卷积降维后，再进行上采样。
本发明的解码器由高低层特征融合和上采样操作组成，将编码器生成的高层语义特征与深度卷积神经网络中间层输出的低层细节特征相融合，再利用上采样将融合后的低分辨率特征图映射到原图像尺寸，产生像素级的语义标签，从而获得语义分割的结果。
以卷积网络为ResNet101网络为例，将ResNet101中间层输出的特征作为低层细节特征，在ResNet101提取的特征图的基础上添加了多尺度特征，将ResNet101和多尺度池化模型输出的特征图作为高层语义特征。通过高层语义特征与低层细节特征的融合，能够在提取目标语义信息的同时进一步保留目标的细节信息，从而进一步提升网络模型分割结果的准确度。在编码器提取特征的过程中包含多个池化操作，池化过程减小了特征图的尺寸，一方面，为了将多尺度的池化特征图与未送入多尺度池化模型之前特征图进行通道方向的连接，需要保持特征图尺寸一致，因此通过对多尺度的池化特征图进行上采样，将该特征图恢复到未送入多尺度池化模型之前的尺寸。另一方面，在高层语义特征和低层细节特征融合后，也需要上采样操作将融合的特征图恢复到原图像尺寸，产生像素级的语义标签。
具体地，如图2所示的解码器部分，本发明将ResNet101第二组输出的特征作为低层细节特征(通道数为256)。通过对多尺度池化模型输出的特征图(通道数为256)进行双线性插值，使其特征图的尺寸与ResNet101第五组输出的特征图(通道数为2048)尺寸一致，然后将双线性插值后的特征图与ResNet101第五组输出的特征图进行通道方向的连接，将连接后的特征图作为高层语义特征(通道数为4096)。然后分别对低层细节特征和高层语义特征进行1×1的卷积，低层细节特征的维度降维至128个通道，高层语义特征的维度降维至256个通道，然后通过双线性插值将高层语义特征图的尺寸转变为低层细节特征图的尺寸，再将低层细节特征与双线性插值后的高层语义特征进行通道方向的连接，连接后的特征图通道数为384。然后经过一个3×3的卷积细化特征和一个1×1的卷积降维，最终利用上采样(如下述的双线性插值方法)将特征图尺寸恢复为输入图像的尺寸，从而产生像素级的语义标签。
本实施例通过高层语义特征与低层细节特征的融合，将所述低层特征和上采样后的特征进行特征融合，进行上采样后，得到语义分析的检测结果，能够在提取目标语义信息的同时进一步保留目标的细节信息，从而进一步提升网络模型分割结果的准确度。
基于上述实施例的内容，作为一种可选实施例，所述进行上采样，包括：基于双线性插值进行上采样。
本发明使用的上采样方法是双线性插值。双线性插值是在线性插值的基础上进行的扩展，其基本思路是在两个不同坐标方向上先后进行一次线性插值操作。图3为本发明实施例提供的双线性插值示意图，如图3所示，在已知点Q11、Q12、Q21、Q22像素值的情况下，通过双线性插值法在点P处插入对应的像素。首先在x轴方向在点R1和R2处进行插值，假设函数f表示某一点处的像素值，已知点Q11(x1，x2)、Q12(x1，y2)、Q21(x2，y1)、Q22(x2，x2)的像素值可以用f(Q11)、f(Q12)、f(Q21)、f(Q22)来表示。此时，可以得到R1(x，y1)，R2(x，y2)处的像素值：
Figure BDA0002380858570000091
Figure BDA0002380858570000092
然后在y方向上进行线性插值，得到在点P处插入像素的值：
Figure BDA0002380858570000093
将f(R1)和f(R2)的计算式代入f(P)，最终可得求解插入像素点(x，y)处的像素值f(x，y)：
Figure BDA0002380858570000094
双线性插值的结果与插值的顺序无关，首先进行y方向的插值，然后进行x方向的插值，所得结果相同。
基于上述实施例的内容，作为一种可选实施例，所述将待检测图像输入至预设的图像语义分割网络模型的编码器之前，还包括：获取多个带有确定的语义标签的样本图像；基于包含动量系数的随机梯度下降法和poly学习率更新策略，对建立的图像语义分割网络模型进行训练，以得到所述预设的图像语义分割网络模型。
多个带有确定的语义标签的样本图像可以为PASCAL VOC 2012数据集，具体应用时，可将PASCAL VOC 2012数据集划分为训练集和测试集两部分，其中训练集包括1464幅图像、测试集包括1452幅图像，训练集和测试集中的每一幅图像都有与其对应的标注图像。
将训练集输入构建的语义分割模型，在模型的输出端可使用如下交叉熵损失函数计算网络传输的损失：
Figure BDA0002380858570000095
其中，θ是模型参数；M为Batch的值；N为输入图像的像素数；I(y＝k)为指示函数；
Figure BDA0002380858570000096
为网络预测像素点
Figure BDA0002380858570000097
属于第κ类的概率，由Softmax函数计算得到，即
Figure BDA0002380858570000098
其中
Figure BDA0002380858570000099
为网络在k通道输出的像素点
Figure BDA0002380858570000101
的值。通过Softmax函数，可以使
Figure BDA0002380858570000102
的范围在0到1之间。
本发明使用包含动量系数的随机梯度下降法和poly学习率更新策略。学习率是用于调整网络权重的超参数，该参数影响权重的更新幅度。学习率过大可能会无法收敛到最小值，最后在误差最小值附近来回跳动，反之，学习率过小会导致损失函数的收敛速度非常慢。poly学习率更新策略中学习率的计算方式为：
Figure BDA0002380858570000103
其中L为计算得出的学习率，用于更新随机梯度下降算法中的权重参数，b为初始学习率，i为当前迭代次数，N为训练的最大迭代次数，p为多项式衰减的变化程度(本发明中可设p＝0.9)。当网络迭代到30000个epoch时，停止模型的训练，保存模型。
基于上述实施例的内容，作为一种可选实施例，所述获取多个带有确定的语义标签的样本图像之后，还包括：对样本图像进行图像扩增处理；所述图像扩增处理的方式包括，图像水平镜像、图像尺度随机放缩和图像尺寸随机裁剪。
为了在一定程度上减小过拟合现象，在网络输入端对训练集进行图像扩增处理，以实现在不影响网络训练的情况下增加图像数据多样性。本发明实施例采用的图像扩增方式包括图像水平镜像、图像尺度随机放缩(尺度放缩比例的可选范围在[0.5，2]之间)和图像尺寸为随机裁剪(如513×513的随机裁剪)。
基于上述各实施例的一个具体实例中，基于深度学习框架Tensorflow实现，使用Python语言开发，在单频为2.10GHz的至强ES-2620v4的CPU，内存为64GB的服务器上实现，并使用两块NVIDIAGeforce RTX 2080Ti的GPU实现加速。表2列出了本发明的实验环境配置。
表2
Figure BDA0002380858570000104
Figure BDA0002380858570000111
本发明在PASCAL VOC 2012数据集上分别针对FCN、SegNet、DeepLabv1、DPN、DeepLabv3+(ResNet101)和本发明的模型这六种网络模型进行了实验。该数据集包括人类、动物(鸟、猫、牛、狗、马、羊)、交通工具(飞机、自行车、船、公共汽车、小轿车、摩托车、火车)、室内物品(瓶子、椅子、餐桌、盆栽植物、沙发、电视)和背景等21个类别。
交并比(IoU)是预测某一种类别的真实值和预测值这两个集合的交集和并集之比，求类别k的交并比，其公式为：
Figure BDA0002380858570000112
其中，pij是将i类预测为j类的像素数，pii表示真实值为i，预测值为i的像素数；pij表示真实值为i，预测值为j的像素数；pji表示真实值为j，预测值为i的像素数。平均交并比是语义分割性能的标准度量值，其计算图像中所有类别的真实值和预测值这两个集合的交集和并集之比的平均值:
Figure BDA0002380858570000113
其中，一共有c+1个类别(包括个目标类和1个背景类)。表3直观地显示了在PASCAL VOC 2012数据集上的各个语义分割模型的平均交并比(MIoU)。观察表3可以看出，本发明模型在所有类别的交并比均高于其他几个语义分割模型(最大值用加粗标记)。
表3
Figure BDA0002380858570000114
Figure BDA0002380858570000121
图4为本发明实施例提供的基于编解码器的图像语义分割装置结构图，如图4所示，该基于编解码器的图像语义分割装置包括：编码模块401和解码模块402。其中，编码模块401用于将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图；解码模块402用于将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的基于编解码器的图像语义分割装置，由于多个不同尺寸池化层构成的多尺度池化模型融合了局部和全局信息，多尺度的感受域有助于不同尺寸目标的学习，从而能够得到准确的待检测图像的低分辨率特征图。利用解码器进行分析后，得到语义分析的检测结果中目标边界的分割精度更高。
图5为本发明实施例提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和总线504，其中，处理器501，通信接口502，存储器503通过总线504完成相互间的通信。通信接口502可以用于电子设备的信息传输。处理器501可以调用存储器503中的逻辑指令，以执行包括如下的方法：将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图；将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图；将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于编解码器的图像语义分割方法，其特征在于，包括：
将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图；
将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；
其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。
2.根据权利要求1所述的基于编解码器的图像语义分割方法，其特征在于，所述根据多个不同尺寸池化层的输出结果进行特征融合之前，还包括：
对多个池化层的输出结果分别进行批标准化和1×1的卷积操作，以使融合后的特征通道数与卷积层提取的特征图通道数一致。
3.根据权利要求1所述的基于编解码器的图像语义分割方法，其特征在于，所述将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果，包括：
获取编码器的卷积网络提取的低层特征；
对待检测图像的特征图进行上采样，得到与所述低层特征维度相同的特征图；
将所述低层特征和上采样后的特征图进行特征融合，并进行上采样得到与待检测图像相同维度的特征图；
根据所述与待检测图像相同维度的特征图，得到语义分析的检测结果。
4.根据权利要求1-3任一项所述的基于编解码器的图像语义分割方法，其特征在于，所述进行上采样，包括：
基于双线性插值进行上采样。
5.根据权利要求1所述的基于编解码器的图像语义分割方法，其特征在于，所述卷积网络包括ResNet101网络。
6.根据权利要求1所述的基于编解码器的图像语义分割方法，其特征在于，所述将待检测图像输入至预设的图像语义分割网络模型的编码器之前，还包括：
获取多个带有确定的语义标签的样本图像；
基于包含动量系数的随机梯度下降法和poly学习率更新策略，对建立的图像语义分割网络模型进行训练，以得到所述预设的图像语义分割网络模型。
7.根据权利要求6所述的基于编解码器的图像语义分割方法，其特征在于，所述获取多个带有确定的语义标签的样本图像之后，还包括：
对样本图像进行图像扩增处理；
所述图像扩增处理的方式包括，图像水平镜像、图像尺度随机放缩和图像尺寸随机裁剪。
8.一种基于编解码器的图像语义分割装置，其特征在于，包括：
编码模块，用于将待检测图像输入至预设的图像语义分割网络模型的编码器，利用卷积网络提取特征后，分别输入多个不同尺寸池化层，根据多个不同尺寸池化层的输出结果进行特征融合，得到待检测图像的特征图；
解码模块，用于将所述特征图输入所述图像语义分割网络模型的解码器，得到语义分析的检测结果；
其中，所述图像语义分割网络模型根据带有确定的语义标签的样本图像进行训练后得到。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于编解码器的图像语义分割方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于编解码器的图像语义分割方法的步骤。
CN202010082637.5A 2020-02-07 2020-02-07 基于编解码器的图像语义分割方法及装置 Pending CN111292330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010082637.5A CN111292330A (zh) 2020-02-07 2020-02-07 基于编解码器的图像语义分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010082637.5A CN111292330A (zh) 2020-02-07 2020-02-07 基于编解码器的图像语义分割方法及装置

Publications (1)

Publication Number Publication Date
CN111292330A true CN111292330A (zh) 2020-06-16

Family

ID=71030720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010082637.5A Pending CN111292330A (zh) 2020-02-07 2020-02-07 基于编解码器的图像语义分割方法及装置

Country Status (1)

Country Link
CN (1) CN111292330A (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768392A (zh) * 2020-06-30 2020-10-13 创新奇智(广州)科技有限公司 目标检测方法及装置、电子设备、存储介质
CN111882558A (zh) * 2020-08-11 2020-11-03 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN111914947A (zh) * 2020-08-20 2020-11-10 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN111985357A (zh) * 2020-08-03 2020-11-24 北京海益同展信息科技有限公司 一种目标对象检测方法、装置、电子设备及存储介质
CN112001365A (zh) * 2020-09-22 2020-11-27 四川大学 一种高精度的农作物病虫害识别方法
CN112101205A (zh) * 2020-09-15 2020-12-18 东软睿驰汽车技术（沈阳）有限公司 基于多任务网络的训练方法和装置
CN112164078A (zh) * 2020-09-25 2021-01-01 上海海事大学 基于编码器-解码器的rgb-d多尺度语义分割方法
CN112329808A (zh) * 2020-09-25 2021-02-05 武汉光谷信息技术股份有限公司 一种Deeplab语义分割算法的优化方法及系统
CN112465848A (zh) * 2020-11-27 2021-03-09 深圳点猫科技有限公司 一种基于动态特征融合的语义边缘检测方法、装置及设备
CN112529863A (zh) * 2020-12-04 2021-03-19 推想医疗科技股份有限公司 测量骨密度的方法及装置
CN112560864A (zh) * 2020-12-22 2021-03-26 苏州超云生命智能产业研究院有限公司 图像语义分割方法、装置及图像语义分割模型的训练方法
CN112598646A (zh) * 2020-12-23 2021-04-02 山东产研鲲云人工智能研究院有限公司 电容缺陷检测方法、装置、电子设备及存储介质
CN112949651A (zh) * 2021-01-29 2021-06-11 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN112967249A (zh) * 2021-03-03 2021-06-15 南京工业大学 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
CN112966791A (zh) * 2021-04-30 2021-06-15 平安科技（深圳）有限公司 基于语义分割的图像分类方法、装置、设备及介质
CN113034492A (zh) * 2021-04-19 2021-06-25 深圳市华汉伟业科技有限公司 一种印刷质量缺陷检测方法、存储介质
CN113065551A (zh) * 2021-03-19 2021-07-02 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113139617A (zh) * 2021-05-10 2021-07-20 郑州大学 一种输电线路自主定位方法、装置及终端设备
CN113159046A (zh) * 2021-04-16 2021-07-23 中国铁道科学研究院集团有限公司 无砟道床异物检测方法及装置
CN113240021A (zh) * 2021-05-19 2021-08-10 推想医疗科技股份有限公司 一种筛选目标样本的方法、装置、设备及存储介质
CN113283433A (zh) * 2021-04-13 2021-08-20 北京工业大学 图像语义分割方法、系统、电子设备和存储介质
CN113379791A (zh) * 2020-12-31 2021-09-10 珠海大横琴科技发展有限公司 一种图像中运动分割的方法和装置
CN113486856A (zh) * 2021-07-30 2021-10-08 大连海事大学 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN113642262A (zh) * 2021-10-15 2021-11-12 南通宝田包装科技有限公司 基于人工智能的牙膏包装外观辅助设计方法
CN113642566A (zh) * 2021-10-15 2021-11-12 南通宝田包装科技有限公司 基于人工智能和大数据的药品包装设计方法
CN113660486A (zh) * 2021-07-28 2021-11-16 阿里巴巴（中国）有限公司 图像编码、解码、重建、分析方法、系统及电子设备
CN113724286A (zh) * 2021-08-09 2021-11-30 浙江大华技术股份有限公司 显著性目标的检测方法、检测设备及计算机可读存储介质
CN113808085A (zh) * 2021-08-27 2021-12-17 深圳先进技术研究院 脑部ct图像的分割模型的训练方法、分割方法和训练装置
CN113887524A (zh) * 2021-11-04 2022-01-04 华北理工大学 基于语义分割的磁铁矿显微图像分割方法
CN113989511A (zh) * 2021-12-29 2022-01-28 中科视语(北京)科技有限公司 图像语义分割方法、装置、电子设备和存储介质
CN114022496A (zh) * 2021-09-26 2022-02-08 天翼爱音乐文化科技有限公司 图像处理方法、系统、装置及存储介质
CN114419449A (zh) * 2022-03-28 2022-04-29 成都信息工程大学 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN114448563A (zh) * 2021-12-13 2022-05-06 北京邮电大学 语义编码传输方法及电子设备
CN114463187A (zh) * 2022-04-14 2022-05-10 合肥高维数据技术有限公司 基于聚合边缘特征的图像语义分割方法及系统
CN114565766A (zh) * 2022-03-01 2022-05-31 智道网联科技(北京)有限公司 基于BiSeNet V2的路面图像语义分割方法及装置
CN114581671A (zh) * 2022-04-24 2022-06-03 湖南师范大学 一种图像的语义分割方法、装置及计算机可读存储介质
CN114708474A (zh) * 2022-03-14 2022-07-05 电子科技大学 一种融合局部和全局特征的图像语义理解算法
CN115063591A (zh) * 2022-07-26 2022-09-16 之江实验室 一种基于边缘度量关系的rgb图像语义分割方法及装置
CN115334353A (zh) * 2022-08-11 2022-11-11 北京达佳互联信息技术有限公司 信息显示的方法、装置、电子设备以及存储介质
CN115953394A (zh) * 2023-03-10 2023-04-11 中国石油大学(华东) 基于目标分割的海洋中尺度涡检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644426A (zh) * 2017-10-12 2018-01-30 中国科学技术大学 基于金字塔池化编解码结构的图像语义分割方法
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110210485A (zh) * 2019-05-13 2019-09-06 常熟理工学院 基于注意力机制指导特征融合的图像语义分割方法
CN110717907A (zh) * 2019-10-06 2020-01-21 浙江大学 一种基于深度学习的手部肿瘤智能检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644426A (zh) * 2017-10-12 2018-01-30 中国科学技术大学 基于金字塔池化编解码结构的图像语义分割方法
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN110210485A (zh) * 2019-05-13 2019-09-06 常熟理工学院 基于注意力机制指导特征融合的图像语义分割方法
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110717907A (zh) * 2019-10-06 2020-01-21 浙江大学 一种基于深度学习的手部肿瘤智能检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
青晨 等: "深度卷积神经网络图像语义分割研究进展", vol. 25, no. 06 *

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768392B (zh) * 2020-06-30 2022-10-14 创新奇智(广州)科技有限公司 目标检测方法及装置、电子设备、存储介质
CN111768392A (zh) * 2020-06-30 2020-10-13 创新奇智(广州)科技有限公司 目标检测方法及装置、电子设备、存储介质
CN111985357A (zh) * 2020-08-03 2020-11-24 北京海益同展信息科技有限公司 一种目标对象检测方法、装置、电子设备及存储介质
CN111882558A (zh) * 2020-08-11 2020-11-03 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN111915613B (zh) * 2020-08-11 2023-06-13 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN111914947A (zh) * 2020-08-20 2020-11-10 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN111914947B (zh) * 2020-08-20 2024-04-16 华侨大学 基于特征融合图像实例分割方法、装置、设备及存储介质
CN112101205A (zh) * 2020-09-15 2020-12-18 东软睿驰汽车技术（沈阳）有限公司 基于多任务网络的训练方法和装置
CN112001365A (zh) * 2020-09-22 2020-11-27 四川大学 一种高精度的农作物病虫害识别方法
CN112164078A (zh) * 2020-09-25 2021-01-01 上海海事大学 基于编码器-解码器的rgb-d多尺度语义分割方法
CN112329808A (zh) * 2020-09-25 2021-02-05 武汉光谷信息技术股份有限公司 一种Deeplab语义分割算法的优化方法及系统
CN112164078B (zh) * 2020-09-25 2024-03-15 上海海事大学 基于编码器-解码器的rgb-d多尺度语义分割方法
CN112465848A (zh) * 2020-11-27 2021-03-09 深圳点猫科技有限公司 一种基于动态特征融合的语义边缘检测方法、装置及设备
CN112529863A (zh) * 2020-12-04 2021-03-19 推想医疗科技股份有限公司 测量骨密度的方法及装置
CN112529863B (zh) * 2020-12-04 2024-01-23 推想医疗科技股份有限公司 测量骨密度的方法及装置
CN112560864A (zh) * 2020-12-22 2021-03-26 苏州超云生命智能产业研究院有限公司 图像语义分割方法、装置及图像语义分割模型的训练方法
CN112598646A (zh) * 2020-12-23 2021-04-02 山东产研鲲云人工智能研究院有限公司 电容缺陷检测方法、装置、电子设备及存储介质
CN112598646B (zh) * 2020-12-23 2024-06-11 山东产研鲲云人工智能研究院有限公司 电容缺陷检测方法、装置、电子设备及存储介质
CN113379791A (zh) * 2020-12-31 2021-09-10 珠海大横琴科技发展有限公司 一种图像中运动分割的方法和装置
CN112949651A (zh) * 2021-01-29 2021-06-11 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN112967249A (zh) * 2021-03-03 2021-06-15 南京工业大学 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
CN113065551B (zh) * 2021-03-19 2023-08-08 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113065551A (zh) * 2021-03-19 2021-07-02 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113283433A (zh) * 2021-04-13 2021-08-20 北京工业大学 图像语义分割方法、系统、电子设备和存储介质
CN113159046A (zh) * 2021-04-16 2021-07-23 中国铁道科学研究院集团有限公司 无砟道床异物检测方法及装置
CN113159046B (zh) * 2021-04-16 2024-04-30 中国铁道科学研究院集团有限公司 无砟道床异物检测方法及装置
CN113034492A (zh) * 2021-04-19 2021-06-25 深圳市华汉伟业科技有限公司 一种印刷质量缺陷检测方法、存储介质
CN112966791B (zh) * 2021-04-30 2024-05-28 平安科技（深圳）有限公司 基于语义分割的图像分类方法、装置、设备及介质
CN112966791A (zh) * 2021-04-30 2021-06-15 平安科技（深圳）有限公司 基于语义分割的图像分类方法、装置、设备及介质
CN113139617A (zh) * 2021-05-10 2021-07-20 郑州大学 一种输电线路自主定位方法、装置及终端设备
CN113240021B (zh) * 2021-05-19 2021-12-10 推想医疗科技股份有限公司 一种筛选目标样本的方法、装置、设备及存储介质
CN113240021A (zh) * 2021-05-19 2021-08-10 推想医疗科技股份有限公司 一种筛选目标样本的方法、装置、设备及存储介质
CN113660486A (zh) * 2021-07-28 2021-11-16 阿里巴巴（中国）有限公司 图像编码、解码、重建、分析方法、系统及电子设备
WO2023005740A1 (zh) * 2021-07-28 2023-02-02 阿里巴巴（中国）有限公司 图像编码、解码、重建、分析方法、系统及电子设备
CN113486856A (zh) * 2021-07-30 2021-10-08 大连海事大学 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN113486856B (zh) * 2021-07-30 2024-01-02 大连海事大学 一种驾驶员不规范行为检测方法
CN113724286A (zh) * 2021-08-09 2021-11-30 浙江大华技术股份有限公司 显著性目标的检测方法、检测设备及计算机可读存储介质
CN113808085A (zh) * 2021-08-27 2021-12-17 深圳先进技术研究院 脑部ct图像的分割模型的训练方法、分割方法和训练装置
CN114022496A (zh) * 2021-09-26 2022-02-08 天翼爱音乐文化科技有限公司 图像处理方法、系统、装置及存储介质
CN113642262A (zh) * 2021-10-15 2021-11-12 南通宝田包装科技有限公司 基于人工智能的牙膏包装外观辅助设计方法
CN113642566A (zh) * 2021-10-15 2021-11-12 南通宝田包装科技有限公司 基于人工智能和大数据的药品包装设计方法
CN113887524A (zh) * 2021-11-04 2022-01-04 华北理工大学 基于语义分割的磁铁矿显微图像分割方法
CN114448563B (zh) * 2021-12-13 2024-03-08 北京邮电大学 语义编码传输方法及电子设备
CN114448563A (zh) * 2021-12-13 2022-05-06 北京邮电大学 语义编码传输方法及电子设备
CN113989511A (zh) * 2021-12-29 2022-01-28 中科视语(北京)科技有限公司 图像语义分割方法、装置、电子设备和存储介质
CN113989511B (zh) * 2021-12-29 2022-07-01 中科视语(北京)科技有限公司 图像语义分割方法、装置、电子设备和存储介质
CN114565766A (zh) * 2022-03-01 2022-05-31 智道网联科技(北京)有限公司 基于BiSeNet V2的路面图像语义分割方法及装置
CN114708474A (zh) * 2022-03-14 2022-07-05 电子科技大学 一种融合局部和全局特征的图像语义理解算法
CN114419449A (zh) * 2022-03-28 2022-04-29 成都信息工程大学 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN114463187A (zh) * 2022-04-14 2022-05-10 合肥高维数据技术有限公司 基于聚合边缘特征的图像语义分割方法及系统
CN114581671A (zh) * 2022-04-24 2022-06-03 湖南师范大学 一种图像的语义分割方法、装置及计算机可读存储介质
CN114581671B (zh) * 2022-04-24 2024-09-06 湖南师范大学 一种图像的语义分割方法、装置及计算机可读存储介质
CN115063591B (zh) * 2022-07-26 2022-11-29 之江实验室 一种基于边缘度量关系的rgb图像语义分割方法及装置
CN115063591A (zh) * 2022-07-26 2022-09-16 之江实验室 一种基于边缘度量关系的rgb图像语义分割方法及装置
CN115334353B (zh) * 2022-08-11 2024-03-12 北京达佳互联信息技术有限公司 信息显示的方法、装置、电子设备以及存储介质
CN115334353A (zh) * 2022-08-11 2022-11-11 北京达佳互联信息技术有限公司 信息显示的方法、装置、电子设备以及存储介质
CN115953394A (zh) * 2023-03-10 2023-04-11 中国石油大学(华东) 基于目标分割的海洋中尺度涡检测方法及系统

Similar Documents

Publication Publication Date Title
CN111292330A (zh) 基于编解码器的图像语义分割方法及装置
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN108108751B (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN115222630B (zh) 图像生成方法、图像去噪模型的训练方法和设备
CN108509827B (zh) 视频流中异常内容的识别方法及视频流处理系统和方法
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN112734748B (zh) 一种肝胆管及胆道结石的图像分割系统
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113947136A (zh) 图像压缩和分类方法、装置及电子设备
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN116580278A (zh) 一种基于多注意力机制的唇语识别方法、设备及存储介质
CN111814693A (zh) 一种基于深度学习的海上船舶识别方法
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN114693670A (zh) 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法
CN114998583A (zh) 图像处理方法、图像处理装置、设备及存储介质
CN114529785A (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN113869234A (zh) 人脸表情识别方法、装置、设备及存储介质
CN111681236B (zh) 一种带注意力机制的目标密度估计方法
CN117710295A (zh) 图像处理方法、装置、设备、介质及程序产品
CN116778470A (zh) 对象识别及对象识别模型训练方法、装置、设备及介质
CN112016592A (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
JP7479507B2 (ja) 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム
CN116258727A (zh) 模型训练方法、装置、电子设备及存储介质
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination