CN113327254A - 一种基于u型网络的图像分割方法和系统 - Google Patents

一种基于u型网络的图像分割方法和系统 Download PDF

Info

Publication number
CN113327254A
CN113327254A CN202110582572.5A CN202110582572A CN113327254A CN 113327254 A CN113327254 A CN 113327254A CN 202110582572 A CN202110582572 A CN 202110582572A CN 113327254 A CN113327254 A CN 113327254A
Authority
CN
China
Prior art keywords
layer
network
feature
sampling
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110582572.5A
Other languages
English (en)
Inventor
王成
贾东港
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202110582572.5A priority Critical patent/CN113327254A/zh
Publication of CN113327254A publication Critical patent/CN113327254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明提供了一种基于U型网络的图像分割方法和系统，包括：构建由多层卷积组成的编码网络，通过编码网络对待处理图像逐层进行下采样，使得输出的特征图的通道数量逐层翻倍；构建与多层卷积对称的由多层反卷积组成的解码网络，通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样，使得输出的特征图的通道数量逐层减半；在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积‑长短期记忆网络的输入，并将双向卷积‑长短期记忆网络的输出作为下一层上采样的输入；调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果。本发明可以有效提高图像分割速度及图像分割质量。

Description

一种基于U型网络的图像分割方法和系统
技术领域
本发明涉及图像分割技术领域，具体涉及一种基于U型网络的图像分割方法和系统。
背景技术
在图像的研究和应用中，人们往往对图像中的某些部分感兴趣，这些感兴趣的部分往往是图像中特定的、具有特殊性质的区域，我们把这些区域称为目标或者前景，而其他部分称为图像的背景。为了辨识和分析目标，需要把目标从一副图像的背景中孤立出来，这就是图像分割要解决的问题。在一些应用场景中，图像分析扮演着重要的角色。其中，图像分割是图像分析的第一步，图像分割接下来的任务如特征提取、目标识别的好坏，都取决于图像分割的质量如何。现有的方法多是基于传统方法，例如基于阈值的分割，基于边缘的分割，基于区域的分割，基于图论的分割，基于能量泛函的分割等。然而这些方法大多采用边界模糊识别导致图像分割质量不佳，并且还存在分割速度较慢的问题，限制了应用场景的使用范围。
发明内容
鉴于上述问题，本发明实施例提供一种基于U型网络的图像分割方法和系统，解决现有技术高图像分割速度慢及图像分割质量差的技术问题。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，一种基于U型网络的图像分割方法，包括：
构建由多层卷积组成的编码网络，通过编码网络对待处理图像逐层进行下采样，使得输出的特征图的通道数量逐层翻倍；
构建与多层卷积对称的由多层反卷积组成的解码网络，通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样，使得输出的特征图的通道数量逐层减半；
在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积-长短期记忆网络的输入，并将双向卷积-长短期记忆网络的输出作为下一层上采样的输入；
调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果。
本发明一实施例中，所述通过编码网络对待处理图像逐层进行下采样包括：
在编码网络中前三层卷积均利用两个3*3的卷积层对待处理图像连续进行两次特征提取，并且在第一次特征提取时采用非线性激活函数，在第二次特征提取后进行下一层下采样时采用最大值池化处理；
在第四层卷积中利用四个3*3的卷积层对上一层输出的特征图连续进行特征提取，并且在每一次特征提取时采用非线性激活函数。
本发明一实施例中，所述通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样包括：
在解码网络中前三层反卷积均利用两个2*2的反卷积层对解码网络对编码网络最后一层下采样输出的特征图连续进行两次特征还原，并且在两次特征还原时均采用非线性激活函数，在第二次特征还原后进行下一层上采样时依次进行数据相关型上采样处理和批标准化处理。
本发明一实施例中，所述调整解码网络最后一层输出的特征图的通道数量包括：
利用两个2*2的反卷积层级联两个1*1的反卷积层对特征图的通道数量进行调整。
第二方面，本发明实施例提供一种基于U型网络的图像分割系统，包括：
特征编码模块：用于构建由多层卷积组成的编码网络，通过编码网络对待处理图像逐层进行下采样，使得输出的特征图的通道数量逐层翻倍；
特征解码模块：用于构建与多层卷积对称的由多层反卷积组成的解码网络，通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样，使得输出的特征图的通道数量逐层减半；
特征传递模块：用于在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积-长短期记忆网络的输入，并将双向卷积-长短期记忆网络的输出作为下一层上采样的输入；
结果生成模块：用于调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果。
本发明一实施例中，所述特征编码模块中的通过编码网络对待处理图像逐层进行下采样包括：
在编码网络中前三层卷积均利用两个3*3的卷积层对待处理图像连续进行两次特征提取，并且在第一次特征提取时采用非线性激活函数，在第二次特征提取后进行下一层下采样时采用最大值池化处理；
在第四层卷积中利用四个3*3的卷积层对上一层输出的特征图连续进行特征提取，并且在每一次特征提取时采用非线性激活函数。
本发明一实施例中，所述特征解码模块中的通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样包括：
在解码网络中前三层反卷积均利用两个2*2的反卷积层对解码网络对编码网络最后一层下采样输出的特征图连续进行两次特征还原，并且在两次特征还原时均采用非线性激活函数，在第二次特征还原后进行下一层上采样时依次进行数据相关型上采样处理和批标准化处理。
本发明一实施例中，所述结果生成模块中的调整解码网络最后一层输出的特征图的通道数量包括：
利用两个2*2的反卷积层级联两个1*1的反卷积层对特征图的通道数量进行调整。
第三方面，本发明实施例提供一种智能眼镜，包括：
处理器、存储器、与网关通信的接口；
存储器用于存储程序和数据，所述处理器调用存储器存储的程序，以执行权利要求1至4任一项所述的一种基于U型网络的图像分割方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质包括程序，所述程序在被处理器执行时用于执行权利要求1至4任一项所述的一种基于U型网络的图像分割方法。
本发明实施例的一种基于U型网络的图像分割方法和系统与现有技术相比，本发明通过构建由多层卷积组成的编码网络，并构建与多层卷积对称的由多层反卷积组成的解码网络，并且在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积-长短期记忆网络的输入，并将双向卷积-长短期记忆网络的输出作为下一层上采样的输入，利用双向卷积-长短期记忆网络取代传统的跳跃-连接结构，使得解码网络可以同时利用上采样生成的特征信息与编码网络的原始信息，扩大感受野获取更加丰富的特征，省去了紧密连接处理，精简了网络结构，最后通过调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果，有效提高了图像分割速度及图像分割质量。
附图说明
图1所示为本发明一种基于U型网络的图像分割方法的流程示意图；
图2所示为本发明一种基于U型网络的整体结构示意图；
图3所示为本发明一种基于U型网络的图像分割系统的结构示意图；
图4所示为本发明一种智能眼镜的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下集合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一实施例的基于U型网络的图像分割方法如图1所示。在图1中，本实施例包括：
S110：构建由多层卷积组成的编码网络，通过编码网络对待处理图像逐层进行下采样，使得输出的特征图的通道数量逐层翻倍。
具体地，编码网络形成的是收缩路径，并且编码网络由多层卷积组成。当待处理图像首次进入编码网络时，首先由第一层卷积对待处理图像进行特征提取，并在进入下一层卷积时进行下采样，然后将这一层卷积产生的特征图作为下一层卷积的输入进行再次卷积，后续卷积层按照上述步骤执行。每次卷积后特征图的尺寸在原有的基础上缩减一半，特征图的通道数在原有的基础上翻倍，使得特征图的深度更深，得到更加丰富更多维度的高维特征，通过下采样保留有效信息，在一定程度上避免过拟合，并将高维特征传入解码网络中。
S120：构建与多层卷积对称的由多层反卷积组成的解码网络，通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样，使得输出的特征图的通道数量逐层减半。
具体地，解码网络形成的是扩展路径，并且解码网络由多层反卷积组成。反卷积的层数与编码网络中卷积的层数一致，每个反卷积层串接。解码网络接收来自编码网络中产生的高维特征并将其作为首次反卷积的输入，并在进入下一层反卷积时进行上采样，然后将这一层反卷积产生的特征图作为下一层反卷积的输入进行再次反卷积，后续反卷积层按照上述步骤执行。每次反卷积后特征图的尺寸在原有的基础上增加一倍，特征图的通道数在原有的基础上缩减一半，使得输出的分割图像的尺寸和输入的待处理图像的尺寸相同，恢复分割图像细节。
S130：在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积-长短期记忆网络的输入，并将双向卷积-长短期记忆网络的输出作为下一层上采样的输入。
具体地，与现有技术不同的是编码网络与解码网络之间利用双向卷积-长短期记忆网络代替传统的跳跃-连接。在编码网络最后一层卷积处理时会通过多个包含小尺寸卷积核的卷积进行连续卷积操作，从而获得更多的特征信息，进而减少特征信息遗漏。经过编码网络最后一层卷积处理后获得的高维特征图作为解码网络首次反卷积操作的输入，经过上采样操作输出。将解码网络中上采样的输出与编码网络下采样通道数量相同的特征图相加形成一个长度(time-step)为2的组合特征图，将组合特征图传入双向卷积-长短期记忆网络中。双向卷积-长短期记忆网络由两个长短期记忆网络组成的，一个是前向的循环神经网络，输入的是正向的序列数据，另一个是反向的循环神经网络，输入的是反向的序列数据。双向卷积-长短期记忆网络利用卷积运算取代完全连接，这样解码网络能够结合编码网络的原始信息以及本身上采样生成的信息来用于当前任务的处理，充分利用所有特征，提高了分割精度。
S140：调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果。
具体地，可以采用多个反卷积层对特征图的通道数量进行调整，多个反卷积层使用的卷积核的大小也可以不同，原则上使用小尺寸的卷积核进行卷积操作，多个反卷积层形成的反卷积操作过程是连续进行的。多个反卷积层使用的卷积核的尺寸可以逐层减小，使得图像分割结果中可以包含更多的细节特征。
在本实施例中，通过构建由多层卷积组成的编码网络，并构建与多层卷积对称的由多层反卷积组成的解码网络，并且在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积-长短期记忆网络的输入，并将双向卷积-长短期记忆网络的输出作为下一层上采样的输入，利用双向卷积-长短期记忆网络取代传统的跳跃-连接结构，使得解码网络可以同时利用上采样生成的特征信息与编码网络的原始信息，扩大感受野获取更加丰富的特征，省去了紧密连接处理，精简了网络结构，最后通过调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果，有效提高了图像分割速度及图像分割质量。
在本发明一实施例中，基于上述实施例，步骤S110中还具体包括：
在编码网络中前三层卷积均利用两个3*3的卷积层对待处理图像连续进行两次特征提取，并且在第一次特征提取时采用非线性激活函数，在第二次特征提取后进行下一层下采样时采用最大值池化处理；
在第四层卷积中利用四个3*3的卷积层对上一层输出的特征图连续进行特征提取，并且在每一次特征提取时采用非线性激活函数。
具体地，编码网络包括四层卷积，前三层卷积均利用两个3*3的卷积层对待处理图像连续进行两次特征提取，第四层卷积中利用四个3*3的卷积层对上一层输出的特征图连续进行特征提取，这四层卷积在利用卷积层进行特征提取时均采用非线性激活函数，每次特征提取后特征图的尺寸缩减一半通道数翻倍。编码网络中前三层对待处理图像逐层进行特征提取，在每层特征提取完成后进入下一层时用最大值池化处理，最大值池化不会导致特征图的尺寸发生变化，但可以进一步对特征图进行压缩，减少参数的数量，进而简化编码网络的复杂程度。在最后一个卷积中使用四个尺寸为3*3的卷积层对经过前三层输出的特征图进行连续卷积，并且每个卷积层后均跟着一个非线性激活函数，这四层卷积中的非线激活函数可以采用ReLU函数或Tanh函数或Sigmoid函数等。
在本实施例中，将编码网络设计为四层卷积，通过四层卷积根据待处理图像提取的特征图并逐层增加特征图的通道数，所有上一卷积层学习的特征与从当前层学习的特征串联起来，然后被转发作为下一个卷积层的输入，可以学习到更多维度的特征，能更加全面的体现原有特征。并在层与层之间采用最大值池化操作，可以有效减少参数的数量提高处理速度，防止过拟合，增加网络的泛化能力。并通过最后一层多层卷积使得编码网络最后输出的特征图包含的信息更加丰富全面，进而在提高处理速度的同时保障特征的精度。
在本发明一实施例中，基于上述实施例，步骤S120中还具体包括：
在解码网络中前三层反卷积均利用两个2*2的反卷积层对解码网络对编码网络最后一层(即第四层)下采样输出的特征图连续进行两次特征还原，并且在两次特征还原时均采用非线性激活函数，在第二次特征还原后进行下一层上采样时依次进行数据相关型上采样处理和批标准化处理。
具体地，解码网络对应编码网络同样设计为四层，与编码网络不同的是解码网络由四层反卷积组成，前三层反卷积均利用两个2*2的反卷积层对待处理图像连续进行两次特征提取，这三层反卷积在利用反卷积层进行特征复原时均采用非线性激活函数，非线激活函数可以采用ReLU函数或Tanh函数或Sigmoid函数等，在第四层反卷积通过调整特征图对应的通道数量输出图像分割结果。在每次特征复原后特征图的尺寸都会放大一倍通道数都会缩减一半。解码网络中前三层对待处理图像逐层进行特征复原，在每层特征复原完成后进入下一层时都会首先进行数据相关型上采样处理然后进行批标准化处理。在数据相关型上采样处理过程中，进一步的将低分辨率输出恢复到原始图像像素的样子，数据相关型上采样使用相对较低的分辨率特征映射，可以实现更好的分割精度，显着降低计算复杂度。批标准化处理过程包括四个主要步骤，用公式描述为：
Figure BDA0003086566920000091
式中：
Figure BDA0003086566920000092
为输入样本的均值，m为输入样本的个数，xi为输入的第i样本。
Figure BDA0003086566920000093
式中：
Figure BDA0003086566920000094
为输入样本的方差，m为输入样本的个数，xi为输入的第i样本，
Figure BDA0003086566920000095
为输入样本的均值。
Figure BDA0003086566920000096
式中：
Figure BDA0003086566920000097
为归一化值，xi为输入的第i样本，
Figure BDA0003086566920000098
为输入样本的均值，
Figure BDA0003086566920000099
为输入样本的方差，ε为拟合参数。
Figure BDA00030865669200000910
式中：yi为批标准化得到的值，γ为尺度参数，
Figure BDA00030865669200000911
归一化值，β为平移参数。
由上式可知，式(1)的目的是求输入样本的均值。式(2)的目的是求输入样本的方差。式(3)的目的是将求得的输入样本的均值和方差对输入样本做归一化，获得0-1的分布，其中ε是为了避免除数为0时所用的微小正数。式(4)是将归一化值加权平移，以增强网络表达能力加快网络收敛速度并防止过拟合。
在本实施例中，与现有技术不同的是在编码网络中将数据相关型上采样取代传统的上采样过程，并将数据相关型上采样处理过程与批标准化处理过程有效结合，在保证特征数数据不散失的情况下，可以进一步的减少分割网络需要的参数，有效防止过拟合，进而进一步的提升图像分割精度及速度。
在本发明一实施例中，基于上述实施例，步骤S140中还具体包括：
利用两个2*2的反卷积层级联两个1*1的反卷积层对特征图的通道数量进行调整。
具体地，在解码网络最后一层反卷积(即第四层反卷积)中，首先利用用两个2*2的反卷积层级联对第三层反卷积还原的特征图还原至与编码网络第一层特征提取后特征图通道数量相同，然后将特征进行结合，然后利用两个1*1的反卷积层级联，自适应的将通道数量降低至特定的数量(如像素点的类别数量)。
在本实施例中，利用两个2*2的反卷积层级联与两个1*1的反卷积层级联先后对解码网络第三步输出的特征图进行结合，得到更加精细的分割结果。
本发明U型网络的整体结构如图3所示，其由编码网络和解码网络构成，在编码网络中形成下采样过程完成特征提取，在解码网络中形成数据相关型上采样过程并并结合批标准化完成特征还原，在编码网络和解码网络之间通过双向卷积-长短期记忆网络提高特征利用率，形成分割速度快分割效果好的分割网络。
基于同一发明构思，本申请实施例还提供了一种基于U型网络的图像分割系统，可以用于实现上述实施例所描述的基于U型网络的图像分割方法，如下面的实施例所述。由于基于U型网络的图像分割系统解决问题的原理与基于U型网络的图像分割方法相似，因此系统的实施可以参见方法实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本发明一实施例的基于U型网络的图像分割系统，如图3所示，在图3中，本实施例包括：
特征编码模块210：用于构建由多层卷积组成的编码网络，通过编码网络对待处理图像逐层进行下采样，使得输出的特征图的通道数量逐层翻倍；
特征解码模块220：用于构建与多层卷积对称的由多层反卷积组成的解码网络，通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样，使得输出的特征图的通道数量逐层减半；
特征传递模块230：用于在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积-长短期记忆网络的输入，并将双向卷积-长短期记忆网络的输出作为下一层上采样的输入；
结果生成模块240：用于调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果。
在本发明一实施例中，特征编码模块中210的通过编码网络对待处理图像逐层进行下采样包括：
在编码网络中前三层卷积均利用两个3*3的卷积层对待处理图像连续进行两次特征提取，并且在第一次特征提取时采用非线性激活函数，在第二次特征提取后进行下一层下采样时采用最大值池化处理；
在第四层卷积中利用四个3*3的卷积层对上一层输出的特征图连续进行特征提取，并且在每一次特征提取时采用非线性激活函数。
在本发明一实施例中，特征解码模块220中的通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样包括：
在解码网络中前三层反卷积均利用两个2*2的反卷积层对解码网络对编码网络最后一层下采样输出的特征图连续进行两次特征还原，并且在两次特征还原时均采用非线性激活函数，在第二次特征还原后进行下一层上采样时依次进行数据相关型上采样处理和批标准化处理。
在本发明一实施例中，结果生成模块中240的调整解码网络最后一层输出的特征图的通道数量包括：
利用两个2*2的反卷积层级联两个1*1的反卷积层对特征图的通道数量进行调整。
基于方法实施例及系统实施例中图像分割的快速性及高精度，将上述实施例应用至智能眼镜中。本申请的实施例提供能够实现上述实施例中的一种基于U型网络的图像分割方法中全部步骤的一种智能眼镜的具体实施方式，参见图4，智能眼镜300具体包括如下内容：
处理器310、存储器320、通信单元330和总线340；
其中，处理器310、存储器320、通信单元330通过总线340完成相互间的通信；通信单元330用于实现服务器端设备以及终端设备等相关设备之间的信息传输。
处理器310用于调用存储器320中的计算机程序，处理器执行计算机程序时实现上述实施例中的一种基于U型网络的图像分割方法中的全部步骤。
本领域普通技术人员应理解：存储器可以是，但不限于，随机存取存储器(RandomAccess Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable ReadOnlyMemory，简称：PROM)，可擦除只读存储器(ErasableProgrammable ReadOnly Memory，简称：EPROM)，电可擦除只读存储器(Electric ErasableProgrammable ReadOnly Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质包括程序，所述程序在被处理器执行时用于执行前述任一方法实施例提供的一种基于U型网络的图像分割方法。
本领域普通技术人员应理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质，具体的介质类型本申请不做限制。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于U型网络的图像分割方法，其特征在于，包括：
构建由多层卷积组成的编码网络，通过编码网络对待处理图像逐层进行下采样，使得输出的特征图的通道数量逐层翻倍；
构建与多层卷积对称的由多层反卷积组成的解码网络，通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样，使得输出的特征图的通道数量逐层减半；
在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积-长短期记忆网络的输入，并将双向卷积-长短期记忆网络的输出作为下一层上采样的输入；
调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果。
2.如权利要求1所述的一种基于U型网络的图像分割方法，其特征在于，所述通过编码网络对待处理图像逐层进行下采样包括：
在编码网络中前三层卷积均利用两个3*3的卷积层对待处理图像连续进行两次特征提取，并且在第一次特征提取时采用非线性激活函数，在第二次特征提取后进行下一层下采样时采用最大值池化处理；
在第四层卷积中利用四个3*3的卷积层对上一层输出的特征图连续进行特征提取，并且在每一次特征提取时采用非线性激活函数。
3.如权利要求1所述的一种基于U型网络的图像分割方法，其特征在于，所述通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样包括：
在解码网络中前三层反卷积均利用两个2*2的反卷积层对解码网络对编码网络最后一层下采样输出的特征图连续进行两次特征还原，并且在两次特征还原时均采用非线性激活函数，在第二次特征还原后进行下一层上采样时依次进行数据相关型上采样处理和批标准化处理。
4.如权利要求1所述的一种基于U型网络的图像分割方法，其特征在于，所述调整解码网络最后一层输出的特征图的通道数量包括：
利用两个2*2的反卷积层级联两个1*1的反卷积层对特征图的通道数量进行调整。
5.一种基于U型网络的图像分割系统，其特征在于，包括：
特征编码模块：用于构建由多层卷积组成的编码网络，通过编码网络对待处理图像逐层进行下采样，使得输出的特征图的通道数量逐层翻倍；
特征解码模块：用于构建与多层卷积对称的由多层反卷积组成的解码网络，通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样，使得输出的特征图的通道数量逐层减半；
特征传递模块：用于在解码网络完成首次上采样操作后，将下采样与上采样输出的通道数量相同的特征图作为双向卷积-长短期记忆网络的输入，并将双向卷积-长短期记忆网络的输出作为下一层上采样的输入；
结果生成模块：用于调整解码网络最后一层输出的特征图的通道数量，生成图像分割结果。
6.如权利要求5所述的一种基于U型网络的图像分割系统，其特征在于，所述特征编码模块中的通过编码网络对待处理图像逐层进行下采样包括：
在编码网络中前三层卷积均利用两个3*3的卷积层对待处理图像连续进行两次特征提取，并且在第一次特征提取时采用非线性激活函数，在第二次特征提取后进行下一层下采样时采用最大值池化处理；
在第四层卷积中利用四个3*3的卷积层对上一层输出的特征图连续进行特征提取，并且在每一次特征提取时采用非线性激活函数。
7.如权利要求5所述的一种基于U型网络的图像分割系统，其特征在于，所述特征解码模块中的通过解码网络对编码网络最后一层下采样输出的特征图逐层进行上采样包括：
在解码网络中前三层反卷积均利用两个2*2的反卷积层对解码网络对编码网络最后一层下采样输出的特征图连续进行两次特征还原，并且在两次特征还原时均采用非线性激活函数，在第二次特征还原后进行下一层上采样时依次进行数据相关型上采样处理和批标准化处理。
8.如权利要求5所述的一种基于U型网络的图像分割系统，其特征在于，所述结果生成模块中的调整解码网络最后一层输出的特征图的通道数量包括：
利用两个2*2的反卷积层级联两个1*1的反卷积层对特征图的通道数量进行调整。
9.一种智能眼镜，其特征在于，包括：
处理器、存储器、与网关通信的接口；
存储器用于存储程序和数据，所述处理器调用存储器存储的程序，以执行权利要求1至4任一项所述的一种基于U型网络的图像分割方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括程序，所述程序在被处理器执行时用于执行权利要求1至4任一项所述的一种基于U型网络的图像分割方法。
CN202110582572.5A 2021-05-27 2021-05-27 一种基于u型网络的图像分割方法和系统 Pending CN113327254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110582572.5A CN113327254A (zh) 2021-05-27 2021-05-27 一种基于u型网络的图像分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110582572.5A CN113327254A (zh) 2021-05-27 2021-05-27 一种基于u型网络的图像分割方法和系统

Publications (1)

Publication Number Publication Date
CN113327254A true CN113327254A (zh) 2021-08-31

Family

ID=77421518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110582572.5A Pending CN113327254A (zh) 2021-05-27 2021-05-27 一种基于u型网络的图像分割方法和系统

Country Status (1)

Country Link
CN (1) CN113327254A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140543A (zh) * 2021-11-30 2022-03-04 深圳万兴软件有限公司 基于U2net的多通道输出方法、系统、计算机设备及存储介质
CN114241203A (zh) * 2022-02-24 2022-03-25 科大天工智能装备技术（天津）有限公司 一种工件长度测量方法及系统
CN117649579A (zh) * 2023-11-20 2024-03-05 南京工业大学 基于注意力机制的多模态融合地面污迹识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767911A (zh) * 2020-06-22 2020-10-13 平安科技（深圳）有限公司 面向复杂环境的印章文字检测识别方法、装置及介质
CN111814881A (zh) * 2020-07-10 2020-10-23 江南大学 一种基于深度学习的海洋鱼类图像识别方法
CN112734748A (zh) * 2021-01-21 2021-04-30 广东工业大学 一种肝胆管及胆道结石的图像分割系统
CN112819831A (zh) * 2021-01-29 2021-05-18 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767911A (zh) * 2020-06-22 2020-10-13 平安科技（深圳）有限公司 面向复杂环境的印章文字检测识别方法、装置及介质
CN111814881A (zh) * 2020-07-10 2020-10-23 江南大学 一种基于深度学习的海洋鱼类图像识别方法
CN112734748A (zh) * 2021-01-21 2021-04-30 广东工业大学 一种肝胆管及胆道结石的图像分割系统
CN112819831A (zh) * 2021-01-29 2021-05-18 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B. M. S. RANI 等: ""Disease prediction based retinal segmentation using bi‑directional ConvLSTMU‑Net"", 《JOURNAL OF AMBIENT INTELLIGENCE AND HUMANIZED COMPUTING》 *
王兴梅: "《基于深度学习的水下信息处理方法研究》", 31 March 2021, 北京:北京航天航空大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140543A (zh) * 2021-11-30 2022-03-04 深圳万兴软件有限公司 基于U2net的多通道输出方法、系统、计算机设备及存储介质
CN114241203A (zh) * 2022-02-24 2022-03-25 科大天工智能装备技术（天津）有限公司 一种工件长度测量方法及系统
CN117649579A (zh) * 2023-11-20 2024-03-05 南京工业大学 基于注意力机制的多模态融合地面污迹识别方法及系统

Similar Documents

Publication Publication Date Title
CN113327254A (zh) 一种基于u型网络的图像分割方法和系统
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
CN109816615B (zh) 图像修复方法、装置、设备以及存储介质
CN112699937B (zh) 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN112598579B (zh) 面向监控场景的图像超分辨率方法、装置及存储介质
US20230410328A1 (en) Target tracking method and system of spiking neural network based on event camera
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN110706232A (zh) 纹理图像分割方法、电子装置及计算机存储介质
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
CN114913325B (zh) 语义分割方法、装置及计算机程序产品
CN116681889A (zh) 基于am及特征融合的多分支图像语义分割方法及系统
CN117436408A (zh) 一种语义通信方法、装置、设备以及存储介质
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN116246110A (zh) 基于改进胶囊网络的图像分类方法
CN111709415A (zh) 目标检测方法、装置、计算机设备和存储介质
CN117521742B (zh) 基于深度神经网络模型的轻量化部署图像处理方法
CN116095183A (zh) 一种数据压缩方法以及相关设备
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
CN116091792A (zh) 视觉注意力预测模型的构建方法、系统、终端及介质
CN110399881A (zh) 一种端到端的基于双目立体图像的质量增强方法及装置
CN112529064B (zh) 一种高效的实时语义分割方法
CN115115972A (zh) 视频处理方法、装置、计算机设备、介质及程序产品
CN115409150A (zh) 一种数据压缩方法、数据解压方法及相关设备
CN113421317A (zh) 一种生成图像的方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210831

RJ01 Rejection of invention patent application after publication