CN111862127A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111862127A
CN111862127A CN202010718338.6A CN202010718338A CN111862127A CN 111862127 A CN111862127 A CN 111862127A CN 202010718338 A CN202010718338 A CN 202010718338A CN 111862127 A CN111862127 A CN 111862127A
Authority
CN
China
Prior art keywords
image
module
segmentation
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010718338.6A
Other languages
English (en)
Inventor
刘钰安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010718338.6A priority Critical patent/CN111862127A/zh
Publication of CN111862127A publication Critical patent/CN111862127A/zh
Priority to PCT/CN2021/098905 priority patent/WO2022017025A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法包括：获取第一图像；获取预训练图像分割模型，该预训练图像分割模型用于输出图像的分割掩模，该预训练图像分割模型至少包括分割模块，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一该卷积网络块包括卷积层、批归一化层及非线性激活层；将该第一图像输入至该预训练图像分割模型，由该预训练图像分割模型输出该第一图像对应的分割掩模；根据该第一图像对应的分割掩模从该第一图像中分割出第二图像。本申请可以提高电子设备对图像进行分割的精度。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请属于图像技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
图像分割是计算机视觉领域的一个基础课题。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。然而，相关技术中，电子设备对图像进行分割的精度较低。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以提高电子设备对图像进行分割的精度。
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
获取第一图像；
获取预训练图像分割模型，所述预训练图像分割模型用于输出图像的分割掩模，所述预训练图像分割模型至少包括分割模块，所述分割模块包括多个卷积网络块与至少一个卷积层，所述多个卷积网络块依次连接后再与所述至少一个卷积层连接，每一所述卷积网络块包括卷积层、批归一化层及非线性激活层；
将所述第一图像输入至所述预训练图像分割模型，由所述预训练图像分割模型输出所述第一图像对应的分割掩模；
根据所述第一图像对应的分割掩模从所述第一图像中分割出第二图像。
第二方面，本申请实施例提供一种图像处理装置，所述装置包括：
第一获取模块，用于获取第一图像；
第二获取模块，用于获取预训练图像分割模型，所述预训练图像分割模型用于输出图像的分割掩模，所述预训练图像分割模型至少包括分割模块，所述分割模块包括多个卷积网络块与至少一个卷积层，所述多个卷积网络块依次连接后再与所述至少一个卷积层连接，每一所述卷积网络块包括卷积层、批归一化层及非线性激活层；
处理模块，用于将所述第一图像输入至所述预训练图像分割模型，由所述预训练图像分割模型输出所述第一图像对应的分割掩模；
分割模块，用于根据所述第一图像对应的分割掩模从所述第一图像中分割出第二图像。
第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法。
第四方面，本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法。
本申请实施例中，电子设备可以获取第一图像和预训练图像分割模型，该预训练图像分割模型用于输出图像的分割掩模，该预训练图像分割模型至少包括分割模块，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一卷积网络块包括卷积层、批归一化层及非线性激活层。之后，电子设备可以将该第一图像输入至该预训练图像分割模型，并由该预训练图像分割模型输出该第一图像对应的分割掩模。电子设备可以根据该第一图像对应的分割掩模从该第一图像中分割得到第二图像。由于预训练图像分割模型包括分割模块，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一卷积网络块包括卷积层、BN层及ReLu层，因此电子设备可以利用该预训练图像分割模型输出的分割掩模更加精确地从第一图像中分割出对应的图像。即，本申请实施例可以提高电子设备对图像进行分割的精度。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的图像处理方法的另一流程示意图。
图3是本申请实施例提供的训练模型的结构示意图。
图4是本申请实施例提供的包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块这四个模块在内的模型的结构示意图。
图5是本申请实施例提供的各网络块的结构示意图。
图6是本申请实施例提供的训练模型的另一结构示意图。
图7是本申请实施例提供的图像处理装置的结构示意图。
图8是本申请实施例提供的电子设备的结构示意图。
图9是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1，图1是本申请实施例提供的图像处理方法的流程示意图，流程可以包括：
101、获取第一图像。
图像分割是计算机视觉领域的一个基础课题。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。然而，相关技术中，电子设备对图像进行分割的精度较低。
在本申请实施例中，比如，电子设备可以先获取第一图像。可以理解的是，该第一图像即是需要进行图像分割处理的图像。
102、获取预训练图像分割模型，该预训练图像分割模型用于输出图像的分割掩模，该预训练图像分割模型至少包括分割模块，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一卷积网络块包括卷积层、批归一化层及非线性激活层。
比如，电子设备还可以获取已预先经过训练的预训练图像分割模型，其中，该预训练图像分割模型可以用于输出图像的分割掩模。该预训练图像分割模型至少可以包括分割模块，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一卷积网络块包括卷积层、批归一化层(即BN层)及非线性激活层(即ReLu层)。
需要说明的是，用户可以预先根据需求来训练模型，从而使得预训练图像分割模型可以输出用户所需的分割掩模。例如，用户需要利用训练得到的模型来做人像分割，那么经过训练后得到的预训练图像分割模型应是可以输出人像分割掩模的模型。又如，用户需要利用训练得到的模型来做某一具体物体(如汽车或者盆栽植物等)的分割，那么经过训练后得到的预训练图像分割模型应是可以输出该具体物体的分割掩模的模型，等等。
103、将第一图像输入至预训练图像分割模型，由该预训练图像分割模型输出该第一图像对应的分割掩模。
比如，在获取到第一图像和预训练图像分割模型后，电子设备可以将该第一图像输入至该预训练图像分割模型中，并由该预训练图像分割模型输出该第一图像对应的分割掩模。
104、根据第一图像对应的分割掩模从第一图像中分割出第二图像。
比如，在得到第一图像对应的分割掩模后，电子设备可以根据该第一图像对应的分割掩模从该第一图像中分割得到对应的图像，即第二图像。
例如，在得到第一图像对应的人像分割掩模后，电子设备可以根据该人像分割掩模从该第一图像出分割出对应的人像。
可以理解的是，本申请实施例中，电子设备可以获取第一图像和预训练图像分割模型，该预训练图像分割模型用于输出图像的分割掩模，该预训练图像分割模型至少包括分割模块，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一卷积网络块包括卷积层、批归一化层及非线性激活层。之后，电子设备可以将该第一图像输入至该预训练图像分割模型，并由该预训练图像分割模型输出该第一图像对应的分割掩模。电子设备可以根据该第一图像对应的分割掩模从该第一图像中分割得到第二图像。由于预训练图像分割模型包括分割模块，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一卷积网络块包括卷积层、BN层及ReLu层，因此电子设备可以利用该预训练图像分割模型输出的分割掩模更加精确地从第一图像中分割出对应的图像。即，本申请实施例可以提高电子设备对图像进行分割的精度。
请参阅图2，图2为本申请实施例提供的图像处理方法的另一流程示意图。
下面先对预训练图像分割模型的训练过程进行说明。
本申请实施例中，如图3所示，训练模型可以包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块、分割模块以及边缘梯度模块。其中，多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块依次连接。深层特征监督模块与特征金字塔模块连接，该深层特征监督模块用于从多个尺度对深层特征进行监督。边缘梯度模块与分割模块连接。该边缘梯度模块用于提供边缘梯度损失函数作为模型训练时的其中一个损失函数。
在模型训练时，训练模型中的多尺度解码器输出与训练样本对应的第一初步分割掩模，训练模型中的深层特征监督模块输出与训练样本对应的N个深监督预测掩模，N为特征金字塔的层数；
获取训练样本中用作标注的第一标注分割掩模；
分别计算N个深监督预测掩模中的每一个掩模与第一标注分割掩模的交叉熵损失，以及计算第一初步分割掩模与第一标注分割掩模的交叉熵损失；
根据计算得到的多个交叉熵损失，对训练模型执行反向传播算法，更新模型参数；
在多个训练周期内重复模型训练过程直至包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块的模型的损失函数完全收敛，保存模型且不冻结模型的参数。
比如，在本实施例中，可以先对包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块这四个模块在内的模型进行训练，可以将该训练称为第一阶段的训练。
在进行第一阶段的训练时，请参阅图4，图4为本申请实施例提供的包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块这四个模块在内的模型的结构示意图。
输入图像由多尺度编码器模块输入，经多尺度编码器模块处理后被传输至特征金字塔模块，经特征金字塔模块处理后再分别被传输至深层特征监督模块和多尺度解码器模块。图像对应的数据经深层特征监督模块处理后可以得到4个尺度上采样的掩模(Mask)，例如分别记为Mask32、Mask16、Mask8、Mask4。多尺度解码器模块可以输出第一初步分割掩模(Mask)。其中，多尺度编码器中的基础网络可以选用特征提取能力较强同时较为轻量级的MobileNetV2网络，然后提取不同尺度的特征图组成特征金字塔。特征金字塔模块中的特征金字塔图像上的数字320、64、32和24代表通道数，数字1/4、1/8、1/16和1/32代表下采样后分辨率相对于原图的倍数。conv表示卷积层进行的卷积处理，up2x表示双线性插值2倍上采样处理，4x表示双线性插值4倍上采样处理。cgr2x表示一个依次由卷积层、GroupNormalization层、ReLU层和双线性插值2倍上采样层组成的第一网络块。sgr2x表示一个依次由输入输出通道数相同的卷积层、Group Normalization层、ReLU层和双线性插值2倍上采样层组成的第二网络块。sgr则是sgr2x去掉了双线性插值2倍上采样层的第三网络块。请一并参阅图5，图5中(a)为第一网络块cgr2x的结构示意图，(b)为第二网络块sgr2x的结构示意图，(c)为第三网络块sgr的结构示意图。
下面以训练人像分割掩模为例说明第一阶段的训练过程，用于进行第一阶段的训练的模型包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块以及深层特征监督模块。
首先，电子设备可以获取训练样本，并将训练样本按照2:8的比例划分为测试集和训练集。电子设备可以对训练集中的样本做包括随机旋转、随机左右翻转、随机裁剪、Gamma变换等在内的数据增强处理。需要说明的是，对训练集中的样本做数据增强处理既可以增加训练集中的样本数据，也可以提高训练得到的模型的鲁棒性。
在进行训练时，比如，电子设备可以获取一条训练样本中用于输入到多尺度编码器模块的图像，例如为第三图像，并对该第三图像先进行预设处理，其中该预设处理可以包括随机裁剪和/或归一化处理。
之后，电子设备可以将第三图像经过预设处理后得到的图像输入到多尺度编码器，经多尺度编码器处理后得到分辨率分别为第三图像的1/4、1/8、1/16和1/32的特征图。例如，如图4所示，多尺度编码器内部包括5个层，分别为接收层(Layer0)、第一层(Layer1)、第二层(Layer2)、第三层(Layer3)和第四层(Layer4)。接收层用于接收输入的第三图像，第一层、第二层、第三层和第四层分别用于提取输入的图像在不同尺度上的特征图。例如，第一层提取的是输入图像的分辨率的四分之一的特征图，第二层提取的是输入图像的分辨率的八分之一的特征图，第三层提取的是输入图像的分辨率的十六分之一的特征图，第四层提取的是输入图像的分辨率的三十二分之一的特征图。电子设备可以将这些特征图传输至特征金字塔模块，从而得到对应的特征金字塔图像，例如记为第三特征金字塔。例如，如图4所示，第三特征金字塔从上到下分辨率依次增大，即第三特征金字塔的第一层特征图的分辨率为第三图像的1/32，第二层特征图的分辨率为第三图像的1/16，第三层特征图的分辨率为第三图像的1/8，第四层特征图的分辨率为第三图像的1/4。并且，如图4所示，第三特征金字塔的第一层特征图至第四层特征图的通道数依次为320、64、32、24。在本实施例中，例如电子设备可以将第三特征金字塔的第一层特征图、第二层特征图、第三层特征图、第四层特征图依次记为a1、b1、c1、d1。
之后，电子设备可以调用特征金字塔模块将第三特征金字塔中的各图像都处理成通道数一致的图像，从而得到由通道数一致的图像构成的第四特征金字塔。比如，对于第三特征金字塔中每一对上下相邻的两个图像，特征金字塔模块可以利用卷积处理和双线性插值两倍上采样处理，将第三特征金字塔中的图像处理成通道数一致的图像，从而得到第四特征金字塔。例如，对于第三特征金字塔中每一对上下相邻的两个图像，特征金字塔模块可以利用卷积处理和双线性插值两倍上采样处理，将较低分辨率特征图使用双线性插值两倍上采样处理后和第三特征金字塔中与该较低分辨率上采样2倍后分辨率相同的较高分辨率特征图进行混合，从而将这两个图像的通道数都处理成128。
例如，对于第三特征金字塔中的第一层特征图a1和第二层特征图b1，特征金字塔模块可以先对特征图a1进行卷积处理和双线性插值两倍上采样处理，例如处理后得到的特征图a11，并对特征图b1进行卷积处理，例如处理后得到的特征图b11，之后特征金字塔模块可以对特征图a11和特征图b11进行相加处理，并对相加处理后得到的特征图进行卷积处理，从而得到特征图b2，特征图b2的通道数为128。
并且，电子设备可以对特征图a1进行卷积处理，从而得到特征图a2，特征图a2的通道数为128。
对于第三特征金字塔中的第二层特征图b1和第三层特征图c1，特征金字塔模块可以先获取特征图a11和特征图b11并对二者进行相加处理，得到b12，再对特征图b12进行双线性插值2倍上采样处理得到特征图b13，然后对特征图c1进行卷积处理得到特征图c11，然后将特征图b13和特征图c11进行相加处理后再进行卷积处理得到特征图c2，特征图c2的通道数为128。
对于第三特征金字塔中的第三层特征图c1和第四层特征图d1，特征金字塔模块可以先对特征图d1进行卷积处理得到特征图d11，之后可以获取特征图b13和特征图c11进行相加处理后得到的特征图c12，再对特征图c12进行双线性插值2倍上采样处理得到特征图c13，将特征图c13和特征图d11进行相加处理后再进行卷积处理得到特征图d2，特征图d2的通道数为128。
即，第四特征金字塔有特征图a2、b2、c2、d2构成，它们的通道数均为128，其中，特征图a2、b2、c2、d2的分辨率依次为第三图像的1/32、1/16、1/8、1/4。
之后，电子设备可以调用深层特征监督模块，将第四特征金字塔由上到下的各层特征图通过深层特征监督模块的4个上采样层，分别上采样32倍、16倍、8倍和4倍，从而得到和第三图像相同尺寸的掩模图像(即深监督预测掩模)，例如将这4个深监督预测掩模分别记为Mask32、Mask16、Mask8、Mask4。
并且，电子设备可以调用多尺度解码器模块对所述第四特征金字塔中的各图像进行一定的处理，以使该第四特征金字塔中的各层特征图的分辨率均为第三图像的1/4。例如，如图4所示，第四特征金字塔的第一层特征图a2可以依次经过两个第一网络块cgr2x和一个第二网络块sgr2x的计算后得到分辨率为第三图像的1/4的图像。第四特征金字塔的第二层特征图b2可以依次经过一个第一网络块cgr2x和一个第二网络块sgr2x的计算后得到分辨率为第三图像的1/4的图像。第四特征金字塔的第三层特征图c2可以经过一个第二网络块sgr2x的计算后得到分辨率为第三图像的1/4的图像。第四特征金字塔的第三层特征图d2可以经过一个第三网络块sgr的计算后得到分辨率为第三图像的1/4的图像。多尺度解码器模块可以将通过上述方式得到的4个分辨率均为第三图像的1/4的图像依次进行相加处理、卷积处理、4倍上采样处理，从而得到初步分割掩模，例如将该初步分割掩模记为第一初步分割掩模。
之后，模型可以获取训练样本中用作训练模型的标注(Label)的第一标注分割掩模。可以理解的是，第一标注分割掩模即是本条训练样本中与第三图像对应的精确的人像分割掩模。
之后，(包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块在内的)模型可以分别计算深层特征监督模块输出的4个深监督预测掩模Mask32、Mask16、Mask8、Mask4与第一标注分割掩模的交叉熵损失(cross entropy loss)，以及第一初步分割掩模与第一标注分割掩模的交叉熵损失。之后，该模型可以根据计算得到的上述5个交叉熵损失，对该模型执行反向传播算法，并更新该模型的参数。
在多个训练周期内，电子设备可以反复执行上述利用训练样本对(包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块在内的)模型进行训练的过程，直至该模型的损失函数完全收敛，保存该模型，且不冻结该模型的参数。
在得到经过训练的包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块在内的模型之后，电子设备可以进行第二阶段的训练。在进行第二阶段的训练时，可以将经过第一阶段的训练得到的模型中的深层特征监督模块移除，并加入分割模块和边缘梯度模块。
在本实施例中，所述边缘梯度模块用于计算训练样本中的输入图像对应的边缘梯度图；
将训练样本中的输入图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理得到第二初步分割掩模；
将所述第二初步分割掩模和所述输入图像输入至分割模块，由分割模块输出精细分割掩模；
所述边缘梯度模块用于计算所述精细分割掩模对应的边缘概率预测图；
所述边缘梯度模块提供的边缘梯度损失函数用于计算所述边缘梯度图和所述边缘概率预测图之间的边缘梯度损失。
在本实施例中，基于包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块和边缘梯度模块的模型继续进行模型训练(即第二阶段的训练)，包括如下流程：
将训练样本中的输入图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理得到第二初步分割掩模；
将所述第二初步分割掩模和所述输入图像在通道维度进行拼接后输入至分割模块，由分割模块输出精细分割掩模；
将所述输入图像输入至所述边缘梯度模块，由所述边缘梯度模块调用其所包括的索贝尔算子对所述输入图像进行相应的计算，得到所述输入图像的梯度图；
获取训练样本中用作标注的第二标注分割掩模；
由所述边缘梯度模块调用其所包括的膨胀腐蚀模块对所述第二标注分割掩模进行膨胀腐蚀处理，得到边缘掩模；
将所述输入图像的梯度图与所述边缘掩模相乘，得到所述输入图像对应的边缘梯度图；
将所述精细分割掩模与所述边缘掩模相乘，得到所述精细分割掩模对应的边缘概率预测图；
计算所述精细分割掩模与所述第二标注分割掩模之间的交叉熵损失和结构相似性损失；
计算所述边缘梯度图与所述边缘概率预测图之间的边缘梯度损失；
对所述精细分割掩模与所述第二标注分割掩模之间的交叉熵损失和结构相似性损失以及所述边缘梯度图与所述边缘概率预测图之间的边缘梯度损失进行损失求和处理；
根据计算得到的损失之和对训练模型执行反向传播算法，更新模型参数；
在多个训练周期内重复模型训练的过程直至模型的损失函数完全收敛，保存模型及其模型参数；
将训练完成后得到的模型中的边缘梯度模块去除后得到的模型确定为预训练图像分割模型。
比如，如图6所示，在进行第二阶段的训练时，电子设备可以获取训练样本中用于输入到多尺度编码器模块的图像，例如记为第四图像，并对该第四图像先进行预设处理，其中该预设处理可以包括随机裁剪和/或归一化处理。
之后，电子设备可以将第四图像经过预设处理后得到的图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理，得到初步分割掩模，例如记为第二初步分割掩模。
之后，电子设备可以调用训练模型对第四图像经过预设处理后得到的图像和第二初步分割掩模进行concat处理，并将concat处理后的图像传输至分割模块，其中concat处理为将两个图在通道维度进行拼接的处理。
输入至分割模块的图像依次经三个卷积网络块以及一个卷积层Conv处理后输出精细分割掩模。其中，每一卷积网络块是依次由卷积层、BN层以及ReLU层构成的网络块。需要说明的是，精细分割掩模为未进行argmax操作的双通道概率预测图。
之后，电子设备可以获取训练样本中用作训练模型的标注(Label)的第二标注分割掩模。可以理解的是，第二标注分割掩模即是本条训练样本中与第四图像对应的精确的人像分割掩模。电子设备可以将第二初步分割掩模、第二标注分割掩模、第四图像输入至边缘梯度模块。其中，第四图像被传输至边缘梯度模块的索贝尔Sobel算子模块，经过该索贝尔算子模块的索贝尔算子处理后得到第四图像的梯度图。
之后，由边缘梯度模块调用其所包括的膨胀腐蚀模块对第二标注分割掩模进行膨胀腐蚀处理，得到边缘掩模，该边缘掩模即为人像的边缘(即一个由0和1构成的边缘掩模)。
之后，边缘梯度模块可以将第四图像的梯度图与边缘掩模相乘，得到第四图像的边缘梯度图，并将精细分割掩模与边缘掩模相乘，得到精细分割掩模的边缘概率预测图。
之后，边缘梯度模块可以计算精细分割掩模与第二标注分割掩模之间的交叉熵损失和结构相似性损失(SSIM Loss)，并计算第四图像的边缘梯度图与精细分割掩模的边缘概率预测图之间的边缘梯度损失(Edge Gradient Loss)。之后，边缘梯度模块可以对精细分割掩模与第二标注分割掩模之间的交叉熵损失和结构相似性损失以及第四图像的边缘梯度图与精细分割掩模的边缘概率预测图之间的边缘梯度损失进行求和处理。边缘梯度模块可以根据计算得到的损失之和对训练模型执行反向传播算法，更新模型参数。
在多个训练周期内可以重复上述第二阶段的训练过程直至训练模型的损失函数完全收敛，保存模型及其模型参数，将经过第二阶段的训练后得到的模型中的边缘梯度模块去除后得到的模型确定为预训练图像分割模型。
通过上述方式即可训练得到预训练图像分割模型。
需要说明的是，在其它实施方式中，也可以不对第三图像和第四图像进行预设处理，那么在应用预训练图像分割模型来输出图像的分割掩模时，也不需要对图像进行预设处理后再输入至预训练图像分割模型。
在本申请实施例中，交叉熵损失、结构相似性损失、边缘梯度损失的计算方式均为采用现有技术中的计算方式，因此本申请实施例不做赘述。
需要说明的是，本申请在人像分割上应用了结构相似性损失，使得分割掩模在图像结构上与标注(Label)掩模保持一致，提供了额外的梯度来训练模型，降低假阳性的预测。
本申请设计了边缘梯度模块，激励分割掩模在边缘梯度上与输入图像图保持一致，对边缘的特征提供了额外的梯度，提升边缘上的精细化分割效果，降低假阳性的预测。
本申请采用轻量级的设计，在多尺度编码器中利用了轻量级的基础网络，实现了较小的计算量，因而可以部署到诸如手机等移动终端上。
本申请提供了一种将结构相似性和边缘梯度相结合的轻量级人像分割模型，将精细化模块(即分割模块)和边缘梯度模块同时应用到人像分割模型中，两个模块相结合，共同改善边缘上的分割效果，提高人像分割准确度。
本申请在交叉熵损失之外，在模型训练时加入了结构相似性损失和边缘梯度损失，以提供额外的梯度。相比于交叉熵损失，结构相似性损失和边缘梯度损失更能促使模型关注边缘上的分割效果，额外的边缘上的梯度可促使边缘分割效果的提升。
本申请设计了包含三个卷积网络块和一个卷积层组成的分割模块，提升分割效果的同时只引入较小的计算量。本申请中边缘梯度模块和深层特征监督模块在最终部署时被移除，因此不会增加额外的计算资源需求。
另外，在本申请中，分割模块可以设计得更为复杂，例如可以采用各种神经网络来实现，只需要最后输出分割掩模即可。比如分割模块中可以采用Resnet Block等等。
在本申请中，特征金字塔的层数可以视乎具体数据集情况灵活调整，最大下采样倍数可为64倍，32倍，16倍等，下采样倍数越大则计算量越大，但能提供的高层次特征信息越多。多尺度编码器可以采用各种轻量级的基础网络实现，如ShuffleNet,MobileNetV3等。
图2所示的图像处理方法的流程可以包括：
201、电子设备获取第一图像。
比如，在通过上文中所述的训练方式得到预训练图像分割模型后，电子设备可以利用该预训练图像分割模型来分割图像。例如，电子设备可以先获取第一图像。
202、电子设备对第一图像进行预设处理，其中该预设处理包括随机裁剪和/或归一化处理。
比如，在获取到第一图像后，电子设备可以对该第一图像进行预设处理。该预设处理可以包括随机裁剪和/或归一化处理。
203、电子设备获取预训练图像分割模型，所述预训练图像分割模型用于输出图像的人像分割掩模，所述预训练图像分割模型包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块，该多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块依次连接，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一卷积网络块包括卷积层、批归一化层及非线性激活层。
比如，电子设备还可以获取预训练图像分割模型，该预训练图像分割模型可以用于输出图像的人像分割掩模。该预训练图像分割模型可以包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块。该多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块依次连接，该分割模块包括多个卷积网络块与至少一个卷积层，该多个卷积网络块依次连接后再与该至少一个卷积层连接，每一卷积网络块包括卷积层、批归一化层及非线性激活层。需要说明的是，用户可以预先根据人像分割的需求来训练模型，从而使得预训练图像分割模型可以输出用户所需的人像分割掩模。
204、电子设备将第一图像经过预设处理后得到的图像输入至预训练图像分割模型，由该预训练图像分割模型输出该第一图像对应的人像分割掩模。
比如，在获取到第一图像和预训练图像分割模型后，电子设备可以将该第一图像经过预设处理后得到的图像输入至该预训练图像分割模型中，并由该预训练图像分割模型输出该第一图像对应的人像分割掩模。
205、电子设备根据第一图像对应的人像分割掩模从该第一图像中分割出人像。
比如，在得到第一图像对应的人像分割掩模后，电子设备可以根据该人像分割掩模从该第一图像出分割出对应的人像。
206、在从第一图像中分割出人像后，电子设备根据分割出的人像对第一图像进行背景虚化处理或背景替换处理或人像美颜处理。
比如，在从第一图像中分割出人像后，电子设备可以根据分割出的人像对第一图像进行各种处理。例如，电子设备可以根据分割出的人像对第一图像进行背景虚化处理，或者电子设备可以根据分割出的人像对第一图像进行背景替换处理，或者电子设备可以根据分割出的人像对第一图像进行人像美颜处理，等等。
容易理解的是，由于电子设备从第一图像中分割出的人像的精度较高，因此电子设备根据分割出的人像对第一图像进行的背景虚化处理或背景替换处理或人像美颜处理等的处理效果都会更好，从而得到成像质量更好的图像。
请参阅图7，图7为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括：第一获取模块301，第二获取模块302，处理模块303，分割模块304。
第一获取模块301，用于获取第一图像；
第二获取模块302，用于获取预训练图像分割模型，所述预训练图像分割模型用于输出图像的分割掩模，所述预训练图像分割模型至少包括分割模块，所述分割模块包括多个卷积网络块与至少一个卷积层，所述多个卷积网络块依次连接后再与所述至少一个卷积层连接，每一所述卷积网络块包括卷积层、批归一化层及非线性激活层；
处理模块303，用于将所述第一图像输入至所述预训练图像分割模型，由所述预训练图像分割模型输出所述第一图像对应的分割掩模；
分割模块304，用于根据所述第一图像对应的分割掩模从所述第一图像中分割出第二图像。
在一种实施方式中，所述预训练图像分割模型还包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块，所述多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块依次连接。
在一种实施方式中，在进行模型训练时，用于得到所述预训练图像分割模型的训练模型还包括深层特征监督模块，所述深层特征监督模块与所述特征金字塔模块连接，所述深层特征监督模块用于从多个尺度对深层特征进行监督；
在模型训练时，训练模型中的多尺度解码器输出与训练样本对应的第一初步分割掩模，训练模型中的深层特征监督模块输出与所述训练样本对应的N个深监督预测掩模，N为特征金字塔的层数；
获取所述训练样本中用作标注的第一标注分割掩模；
分别计算所述N个深监督预测掩模中的每一个掩模与所述第一标注分割掩模的交叉熵损失，以及计算所述第一初步分割掩模与所述第一标注分割掩模的交叉熵损失；
根据计算得到的多个交叉熵损失，对训练模型执行反向传播算法，更新模型参数；
在多个训练周期内重复模型训练过程直至包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块的模型的损失函数完全收敛，保存模型且不冻结模型的参数。
在一种实施方式中，训练模型还包括边缘梯度模块，所述边缘梯度模块用于提供边缘梯度损失函数作为模型训练时的其中一个损失函数。
在一种实施方式中，所述边缘梯度模块用于计算训练样本中的输入图像对应的边缘梯度图；
将训练样本中的输入图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理得到第二初步分割掩模；
将所述第二初步分割掩模和所述输入图像输入至分割模块，由分割模块输出精细分割掩模；
所述边缘梯度模块用于计算所述精细分割掩模对应的边缘概率预测图；
所述边缘梯度模块提供的边缘梯度损失函数用于计算所述边缘梯度图和所述边缘概率预测图之间的边缘梯度损失。
在一种实施方式中，将保存的包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块的模型中的所述深层特征监督模块移除，并加入分割模块和边缘梯度模块；
基于包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块和边缘梯度模块的模型继续进行模型训练，包括如下流程：
将训练样本中的输入图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理得到第二初步分割掩模；
将所述第二初步分割掩模和所述输入图像在通道维度进行拼接后输入至分割模块，由分割模块输出精细分割掩模；
将所述输入图像输入至所述边缘梯度模块，由所述边缘梯度模块调用其所包括的索贝尔算子对所述输入图像进行相应的计算，得到所述输入图像的梯度图；
获取训练样本中用作标注的第二标注分割掩模；
由所述边缘梯度模块调用其所包括的膨胀腐蚀模块对所述第二标注分割掩模进行膨胀腐蚀处理，得到边缘掩模；
将所述输入图像的梯度图与所述边缘掩模相乘，得到所述输入图像对应的边缘梯度图；
将所述精细分割掩模与所述边缘掩模相乘，得到所述精细分割掩模对应的边缘概率预测图；
计算所述精细分割掩模与所述第二标注分割掩模之间的交叉熵损失和结构相似性损失；
计算所述边缘梯度图与所述边缘概率预测图之间的边缘梯度损失；
对所述精细分割掩模与所述第二标注分割掩模之间的交叉熵损失和结构相似性损失以及所述边缘梯度图与所述边缘概率预测图之间的边缘梯度损失进行损失求和处理；
根据计算得到的损失之和对训练模型执行反向传播算法，更新模型参数；
在多个训练周期内重复模型训练的过程直至模型的损失函数完全收敛，保存模型及其模型参数；
将训练完成后得到的模型中的边缘梯度模块去除后得到的模型确定为预训练图像分割模型。
在一种实施方式中，所述分割模块304还可以用于：
对所述第一图像进行预设处理，所述预设处理包括随机裁剪和/或归一化处理；
所述将所述第一图像输入至所述预训练图像分割模型，包括：将所述第一图像经过所述预设处理后得到的图像输入至所述预训练图像分割模型。
本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。
例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图8，图8为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括显示屏401、存储器402、处理器403等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
显示屏401可以用于显示诸如文字、图像等信息。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：
获取第一图像；
获取预训练图像分割模型，所述预训练图像分割模型用于输出图像的分割掩模，所述预训练图像分割模型至少包括分割模块，所述分割模块包括多个卷积网络块与至少一个卷积层，所述多个卷积网络块依次连接后再与所述至少一个卷积层连接，每一所述卷积网络块包括卷积层、批归一化层及非线性激活层；
将所述第一图像输入至所述预训练图像分割模型，由所述预训练图像分割模型输出所述第一图像对应的分割掩模；
根据所述第一图像对应的分割掩模从所述第一图像中分割出第二图像。
请参阅图9，电子设备400可以包括显示屏401、存储器402、处理器403、电池404、摄像模组405、扬声器406、麦克风407等部件。
显示屏401可以用于显示诸如图像、文字等信息。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
电池404可以用于为电子设备的各个模块和部件提供电力支持，从而保证电子设备的正常运行。
摄像模组405可以用于采集图像。
扬声器406可以用于播放声音信号。
麦克风407可以用于采集周围环境中的声音信号。例如，麦克风407可以用于采集用户的语音指令。
在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：
获取第一图像；
获取预训练图像分割模型，所述预训练图像分割模型用于输出图像的分割掩模，所述预训练图像分割模型至少包括分割模块，所述分割模块包括多个卷积网络块与至少一个卷积层，所述多个卷积网络块依次连接后再与所述至少一个卷积层连接，每一所述卷积网络块包括卷积层、批归一化层及非线性激活层；
将所述第一图像输入至所述预训练图像分割模型，由所述预训练图像分割模型输出所述第一图像对应的分割掩模；
根据所述第一图像对应的分割掩模从所述第一图像中分割出第二图像。
在一种实施方式中，所述预训练图像分割模型还包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块，所述多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块依次连接。
在一种实施方式中，在进行模型训练时，用于得到所述预训练图像分割模型的训练模型还包括深层特征监督模块，所述深层特征监督模块与所述特征金字塔模块连接，所述深层特征监督模块用于从多个尺度对深层特征进行监督；
在模型训练时，训练模型中的多尺度解码器输出与训练样本对应的第一初步分割掩模，训练模型中的深层特征监督模块输出与所述训练样本对应的N个深监督预测掩模，N为特征金字塔的层数；
获取所述训练样本中用作标注的第一标注分割掩模；
分别计算所述N个深监督预测掩模中的每一个掩模与所述第一标注分割掩模的交叉熵损失，以及计算所述第一初步分割掩模与所述第一标注分割掩模的交叉熵损失；
根据计算得到的多个交叉熵损失，对训练模型执行反向传播算法，更新模型参数；
在多个训练周期内重复模型训练过程直至包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块的模型的损失函数完全收敛，保存模型且不冻结模型的参数。
在一种实施方式中，训练模型还包括边缘梯度模块，所述边缘梯度模块用于提供边缘梯度损失函数作为模型训练时的其中一个损失函数。
在一种实施方式中，所述边缘梯度模块用于计算训练样本中的输入图像对应的边缘梯度图；
将训练样本中的输入图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理得到第二初步分割掩模；
将所述第二初步分割掩模和所述输入图像输入至分割模块，由分割模块输出精细分割掩模；
所述边缘梯度模块用于计算所述精细分割掩模对应的边缘概率预测图；
所述边缘梯度模块提供的边缘梯度损失函数用于计算所述边缘梯度图和所述边缘概率预测图之间的边缘梯度损失。
在一种实施方式中，将保存的包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块的模型中的所述深层特征监督模块移除，并加入分割模块和边缘梯度模块；
基于包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块和边缘梯度模块的模型继续进行模型训练，包括如下流程：
将训练样本中的输入图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理得到第二初步分割掩模；
将所述第二初步分割掩模和所述输入图像在通道维度进行拼接后输入至分割模块，由分割模块输出精细分割掩模；
将所述输入图像输入至所述边缘梯度模块，由所述边缘梯度模块调用其所包括的索贝尔算子对所述输入图像进行相应的计算，得到所述输入图像的梯度图；
获取训练样本中用作标注的第二标注分割掩模；
由所述边缘梯度模块调用其所包括的膨胀腐蚀模块对所述第二标注分割掩模进行膨胀腐蚀处理，得到边缘掩模；
将所述输入图像的梯度图与所述边缘掩模相乘，得到所述输入图像对应的边缘梯度图；
将所述精细分割掩模与所述边缘掩模相乘，得到所述精细分割掩模对应的边缘概率预测图；
计算所述精细分割掩模与所述第二标注分割掩模之间的交叉熵损失和结构相似性损失；
计算所述边缘梯度图与所述边缘概率预测图之间的边缘梯度损失；
对所述精细分割掩模与所述第二标注分割掩模之间的交叉熵损失和结构相似性损失以及所述边缘梯度图与所述边缘概率预测图之间的边缘梯度损失进行损失求和处理；
根据计算得到的损失之和对训练模型执行反向传播算法，更新模型参数；
在多个训练周期内重复模型训练的过程直至模型的损失函数完全收敛，保存模型及其模型参数；
将训练完成后得到的模型中的边缘梯度模块去除后得到的模型确定为预训练图像分割模型。
在一种实施方式中，所述处理器403还可以执行：
对所述第一图像进行预设处理，所述预设处理包括随机裁剪和/或归一化处理；
所述将所述第一图像输入至所述预训练图像分割模型，包括：将所述第一图像经过所述预设处理后得到的图像输入至所述预训练图像分割模型。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。
需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。
对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一图像；
获取预训练图像分割模型，所述预训练图像分割模型用于输出图像的分割掩模，所述预训练图像分割模型至少包括分割模块，所述分割模块包括多个卷积网络块与至少一个卷积层，所述多个卷积网络块依次连接后再与所述至少一个卷积层连接，每一所述卷积网络块包括卷积层、批归一化层及非线性激活层；
将所述第一图像输入至所述预训练图像分割模型，由所述预训练图像分割模型输出所述第一图像对应的分割掩模；
根据所述第一图像对应的分割掩模从所述第一图像中分割出第二图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述预训练图像分割模型还包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块，所述多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块依次连接。
3.根据权利要求2所述的图像处理方法，其特征在于，在进行模型训练时，用于得到所述预训练图像分割模型的训练模型还包括深层特征监督模块，所述深层特征监督模块与所述特征金字塔模块连接，所述深层特征监督模块用于从多个尺度对深层特征进行监督；
在模型训练时，训练模型中的多尺度解码器输出与训练样本对应的第一初步分割掩模，训练模型中的深层特征监督模块输出与所述训练样本对应的N个深监督预测掩模，N为特征金字塔的层数；
获取所述训练样本中用作标注的第一标注分割掩模；
分别计算所述N个深监督预测掩模中的每一个掩模与所述第一标注分割掩模的交叉熵损失，以及计算所述第一初步分割掩模与所述第一标注分割掩模的交叉熵损失；
根据计算得到的多个交叉熵损失，对训练模型执行反向传播算法，更新模型参数；
在多个训练周期内重复模型训练过程直至包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块的模型的损失函数完全收敛，保存模型且不冻结模型的参数。
4.根据权利要求3所述的图像处理方法，其特征在于，训练模型还包括边缘梯度模块，所述边缘梯度模块用于提供边缘梯度损失函数作为模型训练时的其中一个损失函数。
5.根据权利要求4所述的图像处理方法，其特征在于，所述边缘梯度模块用于计算训练样本中的输入图像对应的边缘梯度图；
将训练样本中的输入图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理得到第二初步分割掩模；
将所述第二初步分割掩模和所述输入图像输入至分割模块，由分割模块输出精细分割掩模；
所述边缘梯度模块用于计算所述精细分割掩模对应的边缘概率预测图；
所述边缘梯度模块提供的边缘梯度损失函数用于计算所述边缘梯度图和所述边缘概率预测图之间的边缘梯度损失。
6.根据权利要求5所述的图像处理方法，其特征在于，将保存的包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、深层特征监督模块的模型中的所述深层特征监督模块移除，并加入分割模块和边缘梯度模块；
基于包括多尺度编码器模块、特征金字塔模块、多尺度解码器模块、分割模块和边缘梯度模块的模型继续进行模型训练，包括如下流程：
将训练样本中的输入图像输入至训练模型中，依次经过多尺度编码器模块、特征金字塔模块、多尺度解码器模块的处理得到第二初步分割掩模；
将所述第二初步分割掩模和所述输入图像在通道维度进行拼接后输入至分割模块，由分割模块输出精细分割掩模；
将所述输入图像输入至所述边缘梯度模块，由所述边缘梯度模块调用其所包括的索贝尔算子对所述输入图像进行相应的计算，得到所述输入图像的梯度图；
获取训练样本中用作标注的第二标注分割掩模；
由所述边缘梯度模块调用其所包括的膨胀腐蚀模块对所述第二标注分割掩模进行膨胀腐蚀处理，得到边缘掩模；
将所述输入图像的梯度图与所述边缘掩模相乘，得到所述输入图像对应的边缘梯度图；
将所述精细分割掩模与所述边缘掩模相乘，得到所述精细分割掩模对应的边缘概率预测图；
计算所述精细分割掩模与所述第二标注分割掩模之间的交叉熵损失和结构相似性损失；
计算所述边缘梯度图与所述边缘概率预测图之间的边缘梯度损失；
对所述精细分割掩模与所述第二标注分割掩模之间的交叉熵损失和结构相似性损失以及所述边缘梯度图与所述边缘概率预测图之间的边缘梯度损失进行损失求和处理；
根据计算得到的损失之和对训练模型执行反向传播算法，更新模型参数；
在多个训练周期内重复模型训练的过程直至模型的损失函数完全收敛，保存模型及其模型参数；
将训练完成后得到的模型中的边缘梯度模块去除后得到的模型确定为预训练图像分割模型。
7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
对所述第一图像进行预设处理，所述预设处理包括随机裁剪和/或归一化处理；
所述将所述第一图像输入至所述预训练图像分割模型，包括：将所述第一图像经过所述预设处理后得到的图像输入至所述预训练图像分割模型。
8.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一图像；
第二获取模块，用于获取预训练图像分割模型，所述预训练图像分割模型用于输出图像的分割掩模，所述预训练图像分割模型至少包括分割模块，所述分割模块包括多个卷积网络块与至少一个卷积层，所述多个卷积网络块依次连接后再与所述至少一个卷积层连接，每一所述卷积网络块包括卷积层、批归一化层及非线性激活层；
处理模块，用于将所述第一图像输入至所述预训练图像分割模型，由所述预训练图像分割模型输出所述第一图像对应的分割掩模；
分割模块，用于根据所述第一图像对应的分割掩模从所述第一图像中分割出第二图像。
9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至7中任一项所述的方法。
10.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，以执行如权利要求1至7中任一项所述的方法。
CN202010718338.6A 2020-07-23 2020-07-23 图像处理方法、装置、存储介质及电子设备 Pending CN111862127A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010718338.6A CN111862127A (zh) 2020-07-23 2020-07-23 图像处理方法、装置、存储介质及电子设备
PCT/CN2021/098905 WO2022017025A1 (zh) 2020-07-23 2021-06-08 图像处理方法、装置、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010718338.6A CN111862127A (zh) 2020-07-23 2020-07-23 图像处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN111862127A true CN111862127A (zh) 2020-10-30

Family

ID=72950390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010718338.6A Pending CN111862127A (zh) 2020-07-23 2020-07-23 图像处理方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN111862127A (zh)
WO (1) WO2022017025A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580567A (zh) * 2020-12-25 2021-03-30 深圳市优必选科技股份有限公司 一种模型获取方法、模型获取装置及智能设备
CN112614101A (zh) * 2020-12-17 2021-04-06 广东道氏技术股份有限公司 基于多层特征提取的抛光砖瑕疵检测方法及相关设备
CN112785575A (zh) * 2021-01-25 2021-05-11 清华大学 一种图像处理的方法、装置和存储介质
WO2021179820A1 (zh) * 2020-03-12 2021-09-16 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN113916897A (zh) * 2021-12-15 2022-01-11 武汉三力国创机械设备工程有限公司 一种基于图像处理的滤芯质量检测方法
WO2022017025A1 (zh) * 2020-07-23 2022-01-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及电子设备
CN117710969A (zh) * 2024-02-05 2024-03-15 安徽大学 一种基于深度神经网络的细胞核分割和分类方法
CN117710969B (zh) * 2024-02-05 2024-06-04 安徽大学 一种基于深度神经网络的细胞核分割和分类方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565526A (zh) * 2022-02-23 2022-05-31 杭州电子科技大学 基于梯度方向和边缘引导的深度学习图像修复方法
CN114331918B (zh) * 2022-03-08 2022-08-02 荣耀终端有限公司 图像增强模型的训练方法、图像增强方法及电子设备
CN116206059B (zh) * 2023-02-13 2023-12-01 北京医智影科技有限公司 模型训练方法
CN116671919B (zh) * 2023-08-02 2023-10-20 电子科技大学 一种基于可穿戴设备的情绪检测提醒方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN111402258A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780512B (zh) * 2016-11-30 2020-01-17 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备
CN111862127A (zh) * 2020-07-23 2020-10-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN111402258A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021179820A1 (zh) * 2020-03-12 2021-09-16 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2022017025A1 (zh) * 2020-07-23 2022-01-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及电子设备
CN112614101A (zh) * 2020-12-17 2021-04-06 广东道氏技术股份有限公司 基于多层特征提取的抛光砖瑕疵检测方法及相关设备
CN112614101B (zh) * 2020-12-17 2024-02-20 广东道氏技术股份有限公司 基于多层特征提取的抛光砖瑕疵检测方法及相关设备
CN112580567A (zh) * 2020-12-25 2021-03-30 深圳市优必选科技股份有限公司 一种模型获取方法、模型获取装置及智能设备
CN112580567B (zh) * 2020-12-25 2024-04-16 深圳市优必选科技股份有限公司 一种模型获取方法、模型获取装置及智能设备
CN112785575A (zh) * 2021-01-25 2021-05-11 清华大学 一种图像处理的方法、装置和存储介质
CN113916897A (zh) * 2021-12-15 2022-01-11 武汉三力国创机械设备工程有限公司 一种基于图像处理的滤芯质量检测方法
CN113916897B (zh) * 2021-12-15 2022-03-15 武汉三力国创机械设备工程有限公司 一种基于图像处理的滤芯质量检测方法
CN117710969A (zh) * 2024-02-05 2024-03-15 安徽大学 一种基于深度神经网络的细胞核分割和分类方法
CN117710969B (zh) * 2024-02-05 2024-06-04 安徽大学 一种基于深度神经网络的细胞核分割和分类方法

Also Published As

Publication number Publication date
WO2022017025A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
CN111862127A (zh) 图像处理方法、装置、存储介质及电子设备
CN110084274B (zh) 实时图像语义分割方法及系统、可读存储介质和终端
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
US20200218948A1 (en) Thundernet: a turbo unified network for real-time semantic segmentation
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN106530320B (zh) 一种端到端的图像分割处理方法及系统
CN111488985B (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
CN110458165B (zh) 一种引入注意力机制的自然场景文本检测方法
CN110929780A (zh) 视频分类模型构建、视频分类的方法、装置、设备及介质
CN111369567B (zh) 三维图像中目标对象的分割方法、装置及电子设备
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN114972756A (zh) 一种医学图像的语义分割方法及装置
CN111275721A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN112419292B (zh) 病理图像的处理方法、装置、电子设备及存储介质
CN111860077A (zh) 人脸检测方法、装置、计算机可读存储介质及设备
CN114519667A (zh) 一种图像超分辨率重建方法及系统
CN114299284A (zh) 分割模型的训练方法、使用方法、装置、设备及介质
CN110827963A (zh) 针对病理图像的语义分割方法和电子设备
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN117496990A (zh) 语音去噪方法、装置、计算机设备及存储介质
CN115471718A (zh) 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法
CN114627293A (zh) 基于多任务学习的人像抠图方法
CN112529064B (zh) 一种高效的实时语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination