CN111539435A - 语义分割模型构建方法及图像分割方法、设备、存储介质 - Google Patents

语义分割模型构建方法及图像分割方法、设备、存储介质 Download PDF

Info

Publication number
CN111539435A
CN111539435A CN202010297013.5A CN202010297013A CN111539435A CN 111539435 A CN111539435 A CN 111539435A CN 202010297013 A CN202010297013 A CN 202010297013A CN 111539435 A CN111539435 A CN 111539435A
Authority
CN
China
Prior art keywords
image
semantic segmentation
segmentation model
constructing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010297013.5A
Other languages
English (en)
Inventor
汤寅航
赵迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Hefei Technology Co ltd
Original Assignee
Ainnovation Hefei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Hefei Technology Co ltd filed Critical Ainnovation Hefei Technology Co ltd
Priority to CN202010297013.5A priority Critical patent/CN111539435A/zh
Publication of CN111539435A publication Critical patent/CN111539435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种语义分割模型构建方法及图像分割方法、设备、存储介质，其中，语义分割模型构建方法包括步骤：根据预训练的残差网络构建特征提取模块；根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；构建上采样层；根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。本申请第一方面能够更好地提取到图像的边缘等细节信息，从而使得边缘获取更加精确；本申请第二方面能够防止图像中小目标特征丢失，此外，本申请具有更优的实时性能，尤其可适用于显存和计算能够交差的平台中。

Description

语义分割模型构建方法及图像分割方法、设备、存储介质
技术领域
本申请涉及计算机视觉领域，尤其涉及一种语义分割模型构建方法及图像分割方法、设备、存储介质。
背景技术
随着深度学习技术的发展，现有的图像语义分割算法大多基于全卷积神经网络，通过采用Encoder-Decoder结构，对图像的特征进行编码和解码。但在某些移动端场景下，受平台显存和计算力的限制，图像语义分割算法无法实时准确地进行。
发明内容
本申请目的在于公开一种语义分割模型构建方法及图像分割方法、设备、存储介质，其中，本申请至少通过轻量级的注意力信息构建语义分割模型，能够实现提高语义分割模型的实时性能，进而提高基于该语义分割模型的图像分割的实时性，尤其在一些计算能力较低的运行平台中，本申请具有更优的实时性和可移植性。
本申请第一方面公开一种语义分割模型构建方法,所述方法包括：
根据预训练的残差网络构建特征提取模块；
根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；
构建上采样层；
根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。
在本申请第一方面中，通过根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。
在本申请第一方面中，作为一种可选的实施方式，所述残差网络为ResNet18网络，所述根据预训练的残差网络构建特征提取模块，包括：
选取所述ResNet18的前三层结构构建所述特征提取模块，所述特征提取模块的下采样倍数为8。
在本可选的实施方式中，采用ResNet18作为本申请的残差网络，可根据ResNet18的前三层结构构建特征提取模块，进而可构建底层语义分割网络。另一方面，集合将特征提取模块的下采样倍数设置为8，本可选实施方式能够进一步解决图像中小目标由于多次卷积而导致的特征丢失这一技术问题，因此，本可选实施方式具有更优的适用性和更高的精确度，而现有技术中，由于现有的网络结构比较复杂，使得经过该网络结构最后一层卷积之后特征图的分辨率很小，从而难易提取到图像中较小的目标的特征。
在本申请第一方面中，作为一种可选的实施方式，所述根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块之后，所述方法还包括：
将所述ResNet18的第二层结构的特征输入所述特征融合模块。
在本可选的实施方式中，通过将所述ResNet18的第二层结构的特征输入所述特征融合模块，本可选实施方式能够将特征融合模块能够更加有效的融合特征提取模块提取的内容。
在本申请第一方面中，作为一种可选的实施方式，在所述根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型之后，所述方法还包括：
根据学习率预热算法确定所述语义分割模型的学习率；
将交叉熵损失函数确定为所述语义分割模型中所有特征图与真值图像的损失函数；
根据所述确定的学习率和损失函数，通过训练优化器训练所述语义分割模型。
在本可选的实施方式中，通过将交叉熵损失函数能够对所述语义分割模型中所有特征图与真值图像进行约束，进而可使得语义分割网络能够提取更多的图像边缘信息，从而提高边缘信息的提取精度。
在本申请第一方面中，作为可选的实施方式，在所述根据训练优化器训练所述语义分割模型之后，所述方法还包括：
将至少一张测试图像输入所述语义分割模型并得到图像掩膜。
本申请第二方面公开一种基于本申请第一方面公开的图像分割方法，该方法包括：
采集待语义分割图像；
对所述待语义分割图像进行像素级标注；
将像素级标注后的所述待语义分割图像及所述待语义分割图像的掩膜进行分块处理；
对分块处理后的所述待语义分割图像进行数据增广；
根据所述语义分割模型对数据增广后所述待语义分割图像进行语义分割并得到所述待语义分割图像的特征信息。
在本申请第二方面中，通过本申请第一方面的语义分割模型对待分语义分割图像进行处理，能够提高待分语义分割图像的分割实时性，而现有的语义分割方法由于基于现有的语义分割模型，而受限移动端的显存和计算力的限制，进而图像的分割实时性能差，故本申请的图像分割方法至少具有更优的实时性、可移植性和更广的适用范围。
在本申请第二方面中，作为一种可选的实施方式，所述对所述待语义分割图像进行数据增广，包括：
对所述待语义分割图像随机水平或竖直翻转，以对所述待语义分割图像进行数据增广。
在本可选的实施方式中，对所述待语义分割图像随机水平或竖直翻，可对所述待语义分割图像进行数据增广。
本申请第三方面公开一种语义分割模型构建装置，所述装置应用图像分割设备中，所述装置包括：
第一构建子模块，用于根据预训练的残差网络构建特征提取模块；
第二构建子模块，用于根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；
第三构建子模，用于构建上采样层；
第四构建子模块，用于根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。
在本申请第三方面中，语义分割模型构建装置通过执行语义分割模型构建方法，能够根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。
本申请第四方面公开一种图像分割装置，所述装置应用图像分割设备中，所述装置包括：
采集模块，用于采集待语义分割图像；
标注模块，用于对所述待语义分割图像进行像素级标注；
图像预处理模块，至少将所述待语义分割图像及所述待语义分割图像的掩膜进行分块处理，并对所述待语义分割图像进行数据增广；
图像分割模块，用于根据语义分割模型对所述图像预处理模块处理后的所述待语义分割图像进行语义分割并得到所述待语义分割图像的特征信息。
在本申请第四方面中，图像分割装置通过执行本申请第二方面的图像分割方法，能够提高待分语义分割图像的分割实时性，而现有的语义分割方法由于基于现有的语义分割模型，而受限移动端的显存和计算力的限制，进而图像的分割实时性能差，故本申请的图像分割装置至少具有更优的实时性、可移植性和更广的适用范围。
本申请第五方面公开一种图像分割设备，所述设备包括：
处理器；以及
存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时执行本申请第一方面的语义分割模型构建方法和本申请第二方面的图像分割方法。
在本申请第五方面中，图像分割设备通过执行语义分割模型构建方法，能够根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。
本申请第六方面公开一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行本申请第一方面的语义分割模型构建方法和本申请第二方面的图像分割方法。
在本申请第六方面中，存储介质通过执行语义分割模型构建方法，能够根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例一公开的一种语义分割模型构建方法的流程示意图；
图2为本申请实施例一公开的一种语义分割模型的网络结构示意图；
图3为本申请实施例二公开的一种图像分割方法的流程示意图；
图4为本申请实施例三公开的一种语义分割模型构建装置的结构示意图；
图5为本申请实施例四公开的一种图像分割装置的结构示意图；
图6为本申请实施例五公开的一种图像分割设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
请参阅图1，图1是本申请实施例公开的一种语义分割模型构建方法的流程示意图。如图1所示，该语义分割模型构建方法包括步骤：
101、根据预训练的残差网络构建特征提取模块；
102、根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；
103、构建上采样层；
104、根据上采样层、特征提取模块、特征融合模块构建语义分割模型。
在本申请实施例中，通过根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。
在本申请实施例中，作为一种可选的实施方式，残差网络为ResNet18网络，步骤101：根据预训练的残差网络构建特征提取模块包括子步骤：
选取ResNet18的前三层结构构建特征提取模块，特征提取模块的下采样倍数为8。
示例性地，请参阅图2，图2是本申请实施例公开的一种语义分割模型的网络结构示意图。如图2所示，该语义分割模型包括ResNet18的前三层结构，且该语义分割模型的下采样倍数为8。
需要说明的是，ResNet(Residual Network，残差网络)中的18表征该残差网络的深度。在本申请实施例中，关于ResNet的具体结构可参考下相关技术文献，如开源的ResNet技术文档，在此本申请实施例不作赘述。
可见，采用ResNet18作为本申请的残差网络，可根据ResNet18的前三层结构构建特征提取模块，进而可构建底层语义分割网络。另一方面，集合将特征提取模块的下采样倍数设置为8，本可选实施方式能够进一步解决图像中小目标由于多次卷积而导致的特征丢失这一技术问题，因此，本可选实施方式具有更优的适用性和更高的精确度，而现有技术中，由于现有的网络结构比较复杂，使得经过该网络结构最后一层卷积之后特征图的分辨率很小，从而难易提取到图像中较小的目标的特征。s在本申请实施例中，作为一种可选的实施方式，在步骤102：根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块之后，本申请实施例的方法还包括步骤：
将ResNet18的第二层结构的特征输入特征融合模块。
在本可选的实施方式中，通过将ResNet18的第二层结构的特征输入特征融合模块，本可选实施方式能够将特征融合模块能够更加有效的融合特征提取模块提取的内容。
在本申请实施例中，作为一种可选的实施方式，在步骤104：根据上采样层、特征提取模块、特征融合模块构建语义分割模型之后，本申请实施例的方法还包括：
根据学习率预热算法确定语义分割模型的学习率；
将交叉熵损失函数确定为语义分割模型中所有特征图与真值图像的损失函数；
根据确定的学习率和损失函数，通过训练优化器训练语义分割模型。
在本可选的实施方式中，通过将交叉熵损失函数能够对语义分割模型中所有特征图与真值图像进行约束，进而可使得语义分割网络能够提取更多的图像边缘信息，从而提高边缘信息的提取精度。
在本申请实施例中，作为一种可选的实施方式，在步骤：根据训练优化器训练语义分割模型之后，本实施例的方法还包括：
将至少一张测试图像输入语义分割模型并得到图像掩膜。
在本可选的实施方式，可根据测试图像确定图像掩膜。
实施例二
请参阅图3，图3是本申请实施例公开的一种图像分割方法的流程示意图。如图3所示，该图像分割方法包括：
201、采集待语义分割图像；
202、对待语义分割图像进行像素级标注；
203、将像素级标注后的待语义分割图像及待语义分割图像的掩膜进行分块处理；
204、对分块处理后的待语义分割图像进行数据增广；
205、根据语义分割模型对数据增广后待语义分割图像进行语义分割并得到待语义分割图像的特征信息。
在本申请第二方面中，通过本申请第一方面的语义分割模型对待分语义分割图像进行处理，能够提高待分语义分割图像的分割实时性，而现有的语义分割方法由于基于现有的语义分割模型，而受限移动端的显存和计算力的限制，进而图像的分割实时性能差，故本申请的图像分割方法至少具有更优的实时性、可移植性和更广的适用范围。
在本申请实施例中，作为一种可选的实施方式，步骤204，对待语义分割图像进行数据增广，包括：
对待语义分割图像随机水平或竖直翻转，以对待语义分割图像进行数据增广。
在本可选的实施方式中，对待语义分割图像随机水平或竖直翻，可对待语义分割图像进行数据增广。
实施例三
请参阅图4，图4是本申请实施例公开的一种语义分割模型构建装置的结构示意图，该语义分割模型构建装置应用于图像分割设备中。如图4所示，该语义分割模型构建装置包括：
第一构建子模块301，用于根据预训练的残差网络构建特征提取模块；
第二构建子模块302，用于根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；
第三构建子模303，用于构建上采样层；
第四构建子模块304，用于根据上采样层、特征提取模块、特征融合模块构建语义分割模型。
在本申请实施例中，语义分割模型构建装置通过执行语义分割模型构建方法，能够根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。
在本申请实施例中，作为一种可选的实施方式，残差网络为ResNet18网络，进一步地，第一构建子模块301执行根据预训练的残差网络构建特征提取模块的具体方式为：
选取ResNet18的前三层结构构建特征提取模块，特征提取模块的下采样倍数为8。
示例性地，请参阅图2，图2是本申请实施例公开的一种语义分割模型的网络结构示意图。如图2所示，该语义分割模型包括ResNet18的前三层结构，且该语义分割模型的下采样倍数为8。
需要说明的是，ResNet(Residual Network，残差网络)中的18表征该残差网络的深度。在本申请中，关于ResNet的具体结构可参考下相关技术文献，如开源的ResNet技术文档，在此本申请实施例不作赘述。
在本可选的实施方式中，采用ResNet18作为本申请的残差网络，可根据ResNet18的前三层结构构建特征提取模块，进而可构建底层语义分割网络。另一方面，集合将特征提取模块的下采样倍数设置为8，本可选实施方式能够进一步解决图像中小目标由于多次卷积而导致的特征丢失这一技术问题，因此，本可选实施方式具有更优的适用性和更高的精确度，而现有技术中，由于现有的网络结构比较复杂，使得经过该网络结构最后一层卷积之后特征图的分辨率很小，从而难易提取到图像中较小的目标的特征。
在本申请实施例中，作为一种可选的实施方式，本申请实施例的语义分割模型构建装置还包括输入模块，该输入模块用于将ResNet18的第二层结构的特征输入特征融合模块。需要说明的是，第二构建子模块302执行根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块完毕之后，可以触发输入模块启动。
在本可选的实施方式中，通过将ResNet18的第二层结构的特征输入特征融合模块，本可选实施方式能够将特征融合模块能够更加有效的融合特征提取模块提取的内容。
在本申请实施例中，作为一种可选的实施方式，本申请实施例的语义分割模型构建装置还包括:
第一确定模块，用于根据学习率预热算法确定语义分割模型的学习率；
第二确定模块，用于将交叉熵损失函数确定为语义分割模型中所有特征图与真值图像的损失函数；
模型训练模块，用于根据确定的学习率和损失函数，通过训练优化器训练语义分割模型。
在本可选的实施方式中，通过将交叉熵损失函数能够对语义分割模型中所有特征图与真值图像进行约束，进而可使得语义分割网络能够提取更多的图像边缘信息，从而提高边缘信息的提取精度。需要说明的是，第四构建子模块304执行完毕后可触发第一确定模块启动，第一确定模块执行完毕后可触发第二确定模块启动。
在本申请实施例中，作为一种可选的实施方式，本申请实施例的语义分割模型构建装置还包括推理模块，该推理模块用于将至少一张测试图像输入语义分割模型并得到图像掩膜。需要说明的是，模型训练模块执行根据确定的学习率和损失函数，通过训练优化器训练语义分割模型完毕后，可触发推理模块启动。
实施例四
请参阅图5，图5是本申请实施例公开的一种图像分割装置的结构示意图，该图像分割装置应用于图像分割设备中。如图5所示，该图像分割装置包括：
采集模块401，用于采集待语义分割图像；
标注模块402，用于对待语义分割图像进行像素级标注；
图像预处理模块403，至少将待语义分割图像及待语义分割图像的掩膜进行分块处理，并对待语义分割图像进行数据增广；
图像分割模块404，用于根据语义分割模型对图像预处理模块处理后的待语义分割图像进行语义分割并得到待语义分割图像的特征信息。
在本申请实施例中，图像分割装置通过执行本申请第二方面的图像分割方法，能够提高待分语义分割图像的分割实时性，而现有的语义分割方法由于基于现有的语义分割模型，而受限移动端的显存和计算力的限制，进而图像的分割实时性能差，故本申请的图像分割装置至少具有更优的实时性、可移植性和更广的适用范围。
在本申请实施例中，作为一种可选的实施方式，图像预处理模块403执行对待语义分割图像进行数据增广的具体方式为：
对待语义分割图像随机水平或竖直翻转，以对待语义分割图像进行数据增广。
在本可选的实施方式中，对待语义分割图像随机水平或竖直翻，可对待语义分割图像进行数据增广。
实施例五
请参阅图6，图6是本申请实施例公开的一种图像分割设备的结构示意图。如图6所示，该图像分割设备包括：
处理器502；以及
存储器501，配置用于存储机器可读指令，指令在由处理器502执行时，使得处理器502执行本申请实施例一的语义分割模型构建方法和本申请实施例二公开的图像分割方法。
在本申请实施例中，图像分割设备通过执行语义分割模型构建方法，能够根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。
实施例六
本申请实施例公开一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行本申请实施例一的语义分割模型构建方法和本申请实施例二公开的图像分割方法。
在本申请实施例中，存储介质通过执行语义分割模型构建方法，能够根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。
在本申请所公开的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，定位基站，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种语义分割模型构建方法,其特征在于，所述方法包括：
根据预训练的残差网络构建特征提取模块；
根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；
构建上采样层；
根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。
2.如权利要求1所述的方法，其特征在于，所述残差网络为ResNet18网络，所述根据预训练的残差网络构建特征提取模块，包括：
选取所述ResNet18的前三层结构构建所述特征提取模块，所述特征提取模块的下采样倍数为8。
3.如权利要求2所述的方法，其特征在于，所述根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块之后，所述方法还包括：
将所述ResNet18的第二层结构的特征输入所述特征融合模块。
4.如权利要求1所述的方法，其特征在于，在所述根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型之后，所述方法还包括：
根据学习率预热算法确定所述语义分割模型的学习率；
将交叉熵损失函数确定为所述语义分割模型中所有特征图与真值图像的损失函数；
根据所述确定的学习率和损失函数，通过训练优化器训练所述语义分割模型。
5.如权利要求4所述的方法，其特征在于，在所述根据训练优化器训练所述语义分割模型之后，所述方法还包括：
将至少一张测试图像输入所述语义分割模型并得到图像掩膜。
6.一种基于如权利要求1-5任一项所述的语义分割模型的图像分割方法，其特征在于，所述方法包括：
采集待语义分割图像；
对所述待语义分割图像进行像素级标注；
将像素级标注后的所述待语义分割图像及所述待语义分割图像的掩膜进行分块处理；
对分块处理后的所述待语义分割图像进行数据增广；
根据所述语义分割模型对数据增广后所述待语义分割图像进行语义分割并得到所述待语义分割图像的特征信息。
7.如权利要求6所述的方法，其特征在于，所述对所述待语义分割图像进行数据增广，包括：
对所述待语义分割图像随机水平或竖直翻转，以对所述待语义分割图像进行数据增广。
8.一种语义分割模型构建装置，所述装置应用图像分割设备中，其特征在于，所述装置包括：
第一构建子模块，用于根据预训练的残差网络构建特征提取模块；
第二构建子模块，用于根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；
第三构建子模，用于构建上采样层；
第四构建子模块，用于根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。
9.一种图像分割装置，其特征在于，所述装置应用图像分割设备中，所述装置包括：
采集模块，用于采集待语义分割图像；
标注模块，用于对所述待语义分割图像进行像素级标注；
图像预处理模块，将所述待语义分割图像及所述待语义分割图像的掩膜进行分块处理，并对所述待语义分割图像进行数据增广；
图像分割模块，用于根据语义分割模型对所述图像预处理模块处理后的所述待语义分割图像进行语义分割并得到所述待语义分割图像的特征信息。
10.一种图像分割设备，其特征在于，所述设备包括：
处理器；以及
存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时执行如权利要求1-5任一项所述的语义分割模型构建方法和权利要求6-7任一项所述的图像分割方法。
11.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如权利要求1-5任一项所述的语义分割模型构建方法和权利要求6-7任一项所述的图像分割方法。
CN202010297013.5A 2020-04-15 2020-04-15 语义分割模型构建方法及图像分割方法、设备、存储介质 Pending CN111539435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010297013.5A CN111539435A (zh) 2020-04-15 2020-04-15 语义分割模型构建方法及图像分割方法、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010297013.5A CN111539435A (zh) 2020-04-15 2020-04-15 语义分割模型构建方法及图像分割方法、设备、存储介质

Publications (1)

Publication Number Publication Date
CN111539435A true CN111539435A (zh) 2020-08-14

Family

ID=71952239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010297013.5A Pending CN111539435A (zh) 2020-04-15 2020-04-15 语义分割模型构建方法及图像分割方法、设备、存储介质

Country Status (1)

Country Link
CN (1) CN111539435A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989511A (zh) * 2021-12-29 2022-01-28 中科视语(北京)科技有限公司 图像语义分割方法、装置、电子设备和存储介质
CN114565770A (zh) * 2022-03-23 2022-05-31 中南大学 基于边缘辅助计算和掩模注意力的图像分割方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472298A (zh) * 2018-10-19 2019-03-15 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络
CN109858487A (zh) * 2018-10-29 2019-06-07 温州大学 基于分水岭算法和图像类别标签的弱监督语义分割方法
CN109902748A (zh) * 2019-03-04 2019-06-18 中国计量大学 一种基于多层信息融合全卷积神经网络的图像语义分割方法
CN110059758A (zh) * 2019-04-24 2019-07-26 海南长光卫星信息技术有限公司 一种基于语义分割的遥感影像养殖塘检测方法
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110458172A (zh) * 2019-08-16 2019-11-15 中国农业大学 一种基于区域对比度检测的弱监督图像语义分割方法
CN110930409A (zh) * 2019-10-18 2020-03-27 电子科技大学 一种基于深度学习的盐体语义分割方法及语义分割模型

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472298A (zh) * 2018-10-19 2019-03-15 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络
CN109858487A (zh) * 2018-10-29 2019-06-07 温州大学 基于分水岭算法和图像类别标签的弱监督语义分割方法
CN109902748A (zh) * 2019-03-04 2019-06-18 中国计量大学 一种基于多层信息融合全卷积神经网络的图像语义分割方法
CN110059758A (zh) * 2019-04-24 2019-07-26 海南长光卫星信息技术有限公司 一种基于语义分割的遥感影像养殖塘检测方法
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110458172A (zh) * 2019-08-16 2019-11-15 中国农业大学 一种基于区域对比度检测的弱监督图像语义分割方法
CN110930409A (zh) * 2019-10-18 2020-03-27 电子科技大学 一种基于深度学习的盐体语义分割方法及语义分割模型

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989511A (zh) * 2021-12-29 2022-01-28 中科视语(北京)科技有限公司 图像语义分割方法、装置、电子设备和存储介质
CN113989511B (zh) * 2021-12-29 2022-07-01 中科视语(北京)科技有限公司 图像语义分割方法、装置、电子设备和存储介质
CN114565770A (zh) * 2022-03-23 2022-05-31 中南大学 基于边缘辅助计算和掩模注意力的图像分割方法及系统

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN108108731B (zh) 基于合成数据的文本检测方法及装置
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN112070649B (zh) 一种去除特定字符串水印的方法及系统
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN112651364B (zh) 图像处理方法、装置、电子设备及存储介质
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN114022887B (zh) 文本识别模型训练及文本识别方法、装置、电子设备
CN116311214B (zh) 车牌识别方法和装置
CN111539435A (zh) 语义分割模型构建方法及图像分割方法、设备、存储介质
CN110119736B (zh) 车牌位置识别方法、装置及电子设备
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
CN112183542A (zh) 基于文本图像的识别方法、装置、设备和介质
CN116994000A (zh) 零件边缘特征提取方法和装置、电子设备及存储介质
CN117422711B (zh) 一种海洋涡旋高光谱变化检测方法、装置、设备及介质
CN114898381A (zh) Ocr识别方法及装置、存储介质和电子设备
CN117314938B (zh) 一种基于多尺度特征融合译码的图像分割方法及装置
CN114005019A (zh) 一种翻拍图像识别方法及其相关设备
CN117292122A (zh) 一种rgb-d显著性物体检测、语义分割方法及系统
CN113766311B (zh) 用于确定视频中的视频段数的方法及装置
CN114065868B (zh) 文本检测模型的训练方法、文本检测方法及装置
Kumar et al. Encoder–decoder-based CNN model for detection of object removal by image inpainting
CN117423116B (zh) 一种文本检测模型的训练方法、文本检测方法及装置
CN116664604B (zh) 图像的处理方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200814