CN113205451A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113205451A
CN113205451A CN202110340411.5A CN202110340411A CN113205451A CN 113205451 A CN113205451 A CN 113205451A CN 202110340411 A CN202110340411 A CN 202110340411A CN 113205451 A CN113205451 A CN 113205451A
Authority
CN
China
Prior art keywords
image
resolution
network
cascade
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110340411.5A
Other languages
English (en)
Other versions
CN113205451B (zh
Inventor
黄慧娟
虞子涧
宋丛礼
郑文
李旭辉
陈莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Tsinghua University
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Beijing Dajia Internet Information Technology Co Ltd filed Critical Tsinghua University
Priority to CN202110340411.5A priority Critical patent/CN113205451B/zh
Publication of CN113205451A publication Critical patent/CN113205451A/zh
Application granted granted Critical
Publication of CN113205451B publication Critical patent/CN113205451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质。该方法包括：获取待处理图像和级联抠图模型，分别根据第一分辨率和大于第一分辨率的第二分辨率对待处理图像进行采样处理，得到第一级联图像和第二级联图像；将第一级联图像输入第一级联网络进行像素属性特征提取处理，得到第一特征图像；根据第二分辨率对第一特征图像进行上采样处理，得到目标上采样特征图像；将目标上采样特征图像和第二级联图像输入第二级联网络进行图像前景提取处理，得到第一目标掩码图像以用于从待处理图像中提取目标前景图像。根据本公开提供的技术方案，可以从低分辨率至高分辨进行抠图，提高抠图精度。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着多媒体的蓬勃发展，对多媒体的处理，例如对图像或视频的背景进行替换等，一般基于抠图技术，实现对图像或视频的背景进行替换。相关技术中，利用三分图方法或全自动抠图方法(基于机器学习的方法)实现对图像或视频的背景进行替换，但三分图方法的抠图效果受三分图质量的影响较大；而全自动抠图方法在前景与背景的特征较接近时，在前景与背景的交界区域易发生误判。因此，三分图方法或全自动抠图方法的抠图精度均较低，不能满足现有抠图需求。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中如何提高抠图效率和抠图效果的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取待处理图像和级联抠图模型，所述级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络；所述第二分辨率大于所述第一分辨率；
分别根据所述第一分辨率和所述第二分辨率，对所述待处理图像进行采样处理，得到第一级联图像和第二级联图像；
将所述第一级联图像输入所述第一级联网络进行像素属性特征提取处理，得到第一特征图像；
根据所述第二分辨率对所述第一特征图像进行上采样处理，得到目标上采样特征图像；
将所述目标上采样特征图像和所述第二级联图像输入所述第二级联网络进行图像前景提取处理，得到第一目标掩码图像；
根据所述第一目标掩码图像，从所述待处理图像中提取目标前景图像。
在一种可能的实现方式中，所述级联抠图模型还包括至少一个中间级联网络，每个中间级联网络对应一个中间分辨率；每个中间分辨率大于所述第一分辨率且小于所述第二分辨率；所述至少一个中间级联网络按照对应的中间分辨率从低至高排序，其中，所述第一级联网络与最低中间分辨率对应的中间级联网络连接，所述最高中间分辨率对应的中间级联网络与所述第二级联网络连接；所述图像处理方法还包括依次迭代以下步骤：
获取当前中间级联网络对应的中间级联图像以及对应的目标中间分辨率，所述中间级联图像是基于所述目标中间分辨率对所述待处理图像进行采样处理得到的；
获取所述当前中间级联网络的前一级联网络输出的特征图像；
根据所述目标中间分辨率对所述前一级联网络输出的特征图像进行上采样处理，得到第一上采样特征图像；
将所述中间级联图像和所述第一上采样特征图像作为所述当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像。
在一种可能的实现方式中，所述图像处理方法还包括：
将所述最高中间分辨率对应的中间级联网络的目标特征图像作为中间特征图像；
根据所述第二分辨率对所述中间特征图像进行上采样处理，得到第二上采样特征图像；
将所述第二上采样特征图像和所述第二级联图像输入所述第二级联网络进行图像前景提取处理，得到第二目标掩码图像；
根据所述第二目标掩码图像，从所述待处理图像中提取目标前景图像。
在一种可能的实现方式中，所述第一级联网络包括第一输入卷积网络、第一编解码模块和第一图神经网络；所述将所述第一级联图像输入所述第一级联网络进行像素属性特征提取处理，得到第一特征图像步骤包括：
将所述第一级联图像输入所述第一输入卷积网络进行特征提取处理，得到第一卷积特征图像；
将所述第一卷积特征图像输入所述第一编解码模块进行语义特征提取处理，得到第一编解码特征图像，所述第一编解码特征图像的分辨率为所述第一分辨率；
将所述第一编解码特征图像输入所述第一图神经网络，基于所述第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到所述第一特征图像。
在一种可能的实现方式中，所述将所述第一编解码特征图像输入所述第一图神经网络，基于所述第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到所述第一特征图像步骤包括：
对所述第一编解码特征图像进行相邻像素坐标偏移处理，得到每个像素的相邻像素的坐标偏移量；
根据所述第一编解码特征图像中每个像素的相邻像素的初始坐标信息和每个像素的相邻像素的坐标偏移量，得到每个像素的相邻像素目标坐标信息；
基于所述每个像素的相邻像素目标坐标信息，对所述第一编解码特征图像进行插值处理，得到插值特征图像；
对所述插值特征图像进行像素特征聚合处理，得到聚合特征图像；
分别对所述第一编解码特征图像和所述聚合特征图像进行线性处理，得到第一线性特征图像和第二线性特征图像；
对所述第一线性图像和所述第二线性特征图像作叠加处理，得到所述第一特征图像。
在一种可能的实现方式中，每个中间级联网络包括中间输入卷积网络、中间编解码模块和中间图神经网络；所述将所述中间级联图像和所述第一上采样特征图像作为所述当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像步骤包括：
将所述中间级联图像输入所述中间输入卷积网络进行特征提取处理，得到中间卷积特征图像；
将所述第一上采样特征图像和所述中间卷积特征图像输入所述中间编解码模块，进行语义特征提取处理，得到中间编解码特征图像，所述中间编解码特征图像的分辨率为所述中间分辨率；
将所述中间编解码特征图像输入所述中间图神经网络，基于所述中间编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到所述目标特征图像。
在一种可能的实现方式中，所述第二级联网络包括第二输入卷积网络、第二编解码模块和目标输出卷积网络；所述将所述目标上采样特征图像和所述第二级联图像输入所述第二级联网络进行图像前景提取处理，得到第一目标掩码图像步骤包括：
将所述第二级联图像输入所述第二输入卷积网络进行特征提取处理，得到第二卷积特征图像；
将所述目标上采样特征图像和所述第二卷积特征图像输入所述第二编解码模块进行语义特征提取处理，得到第二编解码特征图像，所述第二编解码特征图像的分辨率为所述第二分辨率；
将所述第二编解码特征图像输入所述目标输出卷积网络进行图像前景提取处理，得到所述第一目标掩码图像。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
第一获取模块，被配置为执行获取待处理图像和级联抠图模型，所述级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络；所述第二分辨率大于所述第一分辨率；
级联图像获取模块，被配置为执行分别根据所述第一分辨率和所述第二分辨率，对所述待处理图像进行采样处理，得到第一级联图像和第二级联图像；
第一特征图像获取模块，被配置为执行将所述第一级联图像输入所述第一级联网络进行像素属性特征提取处理，得到第一特征图像；
目标上采样特征图像获取模块，被配置为执行根据所述第二分辨率对所述第一特征图像进行上采样处理，得到目标上采样特征图像；
第一目标掩码图像获取模块，被配置为执行将所述目标上采样特征图像和所述第二级联图像输入所述第二级联网络进行图像前景提取处理，得到第一目标掩码图像；
第一目标前景图像提取模块，被配置为执行根据所述第一目标掩码图像，从所述待处理图像中提取目标前景图像。
在一种可能的实现方式中，所述级联抠图模型还包括至少一个中间级联网络，每个中间级联网络对应一个中间分辨率；每个中间分辨率大于所述第一分辨率且小于所述第二分辨率；所述至少一个中间级联网络按照对应的中间分辨率从低至高排序，其中，所述第一级联网络与最低中间分辨率对应的中间级联网络连接，所述最高中间分辨率对应的中间级联网络与所述第二级联网络连接；所述图像处理装置还包括：
中间级联图像和目标中间分辨率获取模块，被配置为执行获取当前中间级联网络对应的中间级联图像以及对应的目标中间分辨率，所述中间级联图像是基于所述目标中间分辨率对所述待处理图像进行采样处理得到的；
前一级联网络输出的特征图像获取模块，被配置为执行获取所述当前中间级联网络的前一级联网络输出的特征图像；
第一上采样特征图像获取模块，被配置为执行根据所述目标中间分辨率对所述前一级联网络输出的特征图像进行上采样处理，得到第一上采样特征图像；
目标特征图像获取模块，被配置为执行将所述中间级联图像和所述第一上采样特征图像作为所述当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像。
在一种可能的实现方式中，所述图像处理装置还包括：
中间特征图像获取模块，被配置为执行将所述最高中间分辨率对应的中间级联网络的目标特征图像作为中间特征图像；
第二上采样特征图像获取模块，被配置为执行根据所述第二分辨率对所述中间特征图像进行上采样处理，得到第二上采样特征图像；
第二目标掩码图像获取模块，被配置为执行将所述第二上采样特征图像和所述第二级联图像输入所述第二级联网络进行图像前景提取处理，得到第二目标掩码图像；
第二目标前景图像提取模块，被配置为执行根据所述第二目标掩码图像，从所述待处理图像中提取目标前景图像。
在一种可能的实现方式中，所述第一级联网络包括第一输入卷积网络、第一编解码模块和第一图神经网络；所述第一特征图像获取模块包括：
第一卷积特征图像获取单元，被配置为执行将所述第一级联图像输入所述第一输入卷积网络进行特征提取处理，得到第一卷积特征图像；
第一编解码特征图像获取单元，被配置为执行将所述第一卷积特征图像输入所述第一编解码模块进行语义特征提取处理，得到第一编解码特征图像，所述第一编解码特征图像的分辨率为所述第一分辨率；
第一特征图像获取单元，被配置为执行将所述第一编解码特征图像输入所述第一图神经网络，基于所述第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到所述第一特征图像。
在一种可能的实现方式中，所述第一特征图像获取单元包括：
坐标偏移处理子单元，被配置为执行对所述第一编解码特征图像进行相邻像素坐标偏移处理，得到每个像素的相邻像素的坐标偏移量；
目标坐标信息获取子单元，被配置为执行根据所述第一编解码特征图像中每个像素的相邻像素的初始坐标信息和每个像素的相邻像素的坐标偏移量，得到每个像素的相邻像素目标坐标信息；
插值处理子单元，被配置为执行基于所述每个像素的相邻像素目标坐标信息，对所述第一编解码特征图像进行插值处理，得到插值特征图像；
聚合处理子单元，被配置为执行对所述插值特征图像进行像素特征聚合处理，得到聚合特征图像；
线性处理子单元，被配置为执行分别对所述第一编解码特征图像和所述聚合特征图像进行线性处理，得到第一线性特征图像和第二线性特征图像；
第一特征图像获取子单元，被配置为执行对所述第一线性图像和所述第二线性特征图像作叠加处理，得到所述第一特征图像。
在一种可能的实现方式中，每个中间级联网络包括中间输入卷积网络、中间编解码模块和中间图神经网络；所述目标特征图像获取模块包括：
中间卷积特征图像获取单元，被配置为执行将所述中间级联图像输入所述中间输入卷积网络进行特征提取处理，得到中间卷积特征图像；
中间编解码特征图像获取单元，被配置为执行将所述第一上采样特征图像和所述中间卷积特征图像输入所述中间编解码模块，进行语义特征提取处理，得到中间编解码特征图像，所述中间编解码特征图像的分辨率为所述中间分辨率；
目标特征图像获取单元，被配置为执行将所述中间编解码特征图像输入所述中间图神经网络，基于所述中间编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到所述目标特征图像。
在一种可能的实现方式中，所述第二级联网络包括第二输入卷积网络、第二编解码模块和目标输出卷积网络；所述第一目标掩码图像获取模块包括：
第二卷积特征图像获取单元，被配置为执行将所述第二级联图像输入所述第二输入卷积网络进行特征提取处理，得到第二卷积特征图像；
第二编解码特征图像获取单元，被配置为执行将所述目标上采样特征图像和所述第二卷积特征图像输入所述第二编解码模块进行语义特征提取处理，得到第二编解码特征图像，所述第二编解码特征图像的分辨率为所述第二分辨率；
第一目标掩码图像获取单元，被配置为执行将所述第二编解码特征图像输入所述目标输出卷积网络进行图像前景提取处理，得到所述第一目标掩码图像。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行本公开实施例的第一方面中任一项所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过设置级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络，可以实现从全局到局部的抠图处理，即从粗到细进行抠图处理，可以先在较低分辨率的图像上预测得到较准确的前景区域，在此基础上不断从更高分辨率的图像中提取特征补充前景背景交界处的细节，既可以有效提取全局信息，又可以有效补充细节信息，能够有效适用前景与背景相似的图像的抠图场景，降低前景背景相似时的预测错误率，提高抠图精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图。
图2是根据一示例性实施例示出的一种级联抠图模型的训练方法的流程图。
图3是根据一示例性实施例示出的一种预设级联抠图模型的结构示意图。
图4是根据一示例性实施例示出的一种级联抠图模型的训练方法的流程图。
图5是根据一示例性实施例示出的一种预设级联抠图模型的结构示意图。
图6是根据一示例性实施例示出的图像处理方法的流程图。
图7是根据一示例性实施例示出的一种级联抠图模型的结构示意图。
图8是根据一示例性实施例示出的根据第一目标掩码图像，从待处理图像中提取目标前景图像的方法流程图。
图9是根据一示例性实施例示出的中间级联网络的图像处理方法的流程图。
图10是根据一示例性实施例示出的一种级联抠图模型的结构示意图。
图11是根据一示例性实施例示出的将中间级联图像和第一上采样特征图像作为当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像的方法流程图。
图12是根据一示例性实施例示出的将第一级联图像输入第一级联网络进行像素属性特征提取处理，得到第一特征图像的方法流程图。
图13是根据一示例性实施例示出的将第一编解码特征图像输入第一图神经网络，基于第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到第一特征图像的方法流程图。
图14是根据一示例性实施例示出的将第一编解码特征图像输入第一图神经网络，基于第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到第一特征图像的过程示意图。
图15是根据一示例性实施例示出的将目标上采样特征图像和第二级联图像输入第二级联网络进行图像前景提取处理，得到第一目标掩码图像的方法流程图。
图16是根据一示例性实施例示出的一种图像处理装置框图。
图17是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
图18是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器01和终端02。
在一个可选的实施例中，服务器01可以用于训练级联抠图模型。具体的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中，终端02可以结合服务器01训练好的级联抠图模型进行图像的抠图处理。具体的，终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外，需要说明的是，图1所示的仅仅是本公开提供的图像处理方法的一种应用环境。在实际应用中，还可以包括其他应用环境，例如级联抠图模型的训练，也可以在终端02上实现；图像处理可以在服务器01上实现。
本说明书实施例中，上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
图2是根据一示例性实施例示出的一种级联抠图模型的训练方法的流程图，如图2所示，可以包括以下步骤。
在步骤S201中，获取样本图像以及样本图像对应的标签。
本说明书实施例中，样本图像对应的标签可以为样本图像的样本掩码图像，其中，样本图像的分辨率与样本掩码图像的分辨率可以相同，例如，样本图像的分辨率为512*512，样本掩码图像的分辨率为512*512。
在实际应用中，可以从海量的图像库或视频库中获取多个图像作为样本图像，并可以对样本图像进行前景提取处理，得到每个样本图像对应的样本掩码图像作为每个样本图像对应的标签。本公开对样本图像的数量不作限定，不同样本图像的分辨率可以相同或不同，本公开对此也不作限定。
在步骤S203中，获取预设级联抠图模型，该预设级联抠图模型可以包括第一预设级联网络、第一预设级联网络对应的第一预设输出卷积网络、第二预设级联网络。
本说明书实施例中，第一预设级联网络可以包括第一预设输入卷积网络，第二预设级联网络可以包括第二预设输入卷积网络和第二预设输出卷积网络。第一预设输入卷积网络、第一预设输出卷积网络、第二预设输入卷积网络和第二预设输出卷积网络可以为一个3×3的卷积网络。本公开对这些不作限定。
在一个示例中，该第一预设级联网络可以包括第一预设输入卷积网络I1、第一预设编解码模块E1/D1；该第二预设级联网络可以包括第二预设输入卷积网络I5、第二预设编解码模块E5/D5和第二预设输出卷积网络O5。
在另一个示例中，该第一预设级联网络可以包括第一预设输入卷积网络I1、第一预设编解码模块E1/D1和第一预设图神经网络DGR1；该第二预设级联网络可以包括第二预设输入卷积网络I5、第二预设编解码模块E5/D5和第二预设输出卷积网络O5，如图3所示。
本说明书实施例中，可以构建初始级联抠图模型以用于训练，从而可以将该初始级联抠图模型作为预设级联抠图模型。
在步骤S205中，根据第一分辨率和第二分辨率，分别对每个样本图像和每个样本掩码图像进行采样处理，得到第一样本级联图像和第二样本级联图像，以及得到第一样本掩码图像和第二样本掩码图像。
本说明书实施例中，第一分辨率可以与第一预设级联网络对应，第二分辨率可以与第二预设级联网络对应。其中，第二分辨率可以比第一分辨率高，使得训练出的级联抠图模型可以从全局到局部进行抠图，即可以从粗到细进行抠图，从而提高自动化抠图的精度。这里的采样处理可以包括上采样处理和下采样处理。
本说明书实施例中，可以根据第一分辨率，对每个样本图像进行采样处理，得到每个样本图像对应的第一样本级联图像；根据第二分辨率，对每个样本图像进行采样处理，得到每个样本图像对应的第二样本级联图像；即可以得到每个样本图像对应的第一样本级联图像和对应的第二样本级联图像。
还可以根据第一分辨率，对每个样本掩码图像进行采样处理，得到每个样本掩码图像对应的第一样本掩码图像；根据第二分辨率，对每个样本掩码图像进行采样处理，得到每个样本掩码图像对应的第二样本掩码图像。即可以得到每个样本掩码图像对应的第一样本掩码图像和对应第二样本掩码图像。
需要说明的是，在进行采样处理时，可以先判断每个样本图像和每个样本掩码图像的分辨率是否与第一分辨率或第二分辨率相同，若相同，可以不用进行上述采样处理；若不相同，则进行上述采样处理，可以避免不必要的采样处理，提高采样效率。
在步骤S207中，将第一样本级联图像输入第一预设级联网络，进行像素属性特征提取处理，得到第一样本特征图像。
本说明书实施例中，可以将第一样本级联图像输入第一预设级联网络，进行像素属性特征提取处理，得到第一样本特征图像。这里的像素属性特征可以是指用于表征图像中前景像素与背景像素的属性特征，例如可以包括像素透明度特征等。
在一个示例中，当该第一预设级联网络包括第一预设输入卷积网络I1、第一预设编解码模块E1/D1和第一预设图神经网络DGR1时。该步骤S207可以包括以下步骤：
将第一样本级联图像输入I1进行特征提取处理，得到第一样本卷积特征图像；
将第一样本卷积特征图像输入E1/D1进行语义特征提取处理，得到第一样本编解码特征图像；其中，第一样本编解码特征图像的分辨率为第一分辨率；
将该第一样本编解码特征图像输入DGR1，基于第一样本编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，即进行特征优化处理，得到第一样本特征图像。
其中，第一样本卷积特征图像的分辨率、第一样本编解码特征图像的分辨率和第一样本特征图像的分辨率可以为第一分辨率；第一样本卷积特征图像可以包括预设通道数量的样本卷积特征图像；第一样本编解码特征图像可以包括预设通道数量的样本编解码特征图像。该预设通道数量可以为64通道，本公开对此不作限定。第一样本特征图像可以为单通道的特征图像。
可选地，该第一预设编解码模块可以包括第一预设编码网络E1和第一预设解码网络D1。上述将第一样本卷积特征图像输入E1/D1进行语义特征提取处理，得到第一样本编解码特征图像步骤可以包括以下步骤：
将第一样本卷积特征图像输入E1，进行下采样编码处理以从第一样本卷积特征图像中提取高级语义特征，得到第一下采样编码特征图像；
将该第一下采样编码特征图像输入D1，进行上采样处理，得到第一样本编解码特征图像。
通过E1和D1，可以实现对第一样本卷积特征图像进行高级语义提取的同时，保持分辨率不变，即可以使得第一样本编解码特征图像的分辨率与第一样本卷积特征图像的分辨率相同，能够更好的进行掩码预测。
在步骤S209中，将第一样本特征图像输入第一预设输出卷积网络，进行图像前景提取处理，得到第一预测掩码图像。
本说明书实施例中，可以将第一样本特征图像输入第一预设输出卷积网络O1，进行图像前景提取处理(图像前景预测处理)，得到第一预测掩码图像。该第一预测掩码图像的分辨率可以为第一分辨率。
在步骤S211中，根据第二分辨率对第一样本特征图像进行上采样处理，得到目标样本上采样特征图像。
在步骤S213中，将目标样本上采样特征图像和第二样本级联图像输入第二预设级联网络进行图像前景提取处理，得到第二预测掩码图像。
在一个示例中，如图3所示，当该第二预设级联网络包括第二预设输入卷积网络I5、第二预设编解码模块E5/D5和第二预设输出卷积网络O5时。该步骤S213可以包括以下步骤：
将第二样本级联图像输入I5进行特征提取处理，得到第二样本卷积特征图像；
将目标样本上采样特征图像和第二样本卷积特征图像输入E5/D5进行语义特征提取处理，得到第二样本编解码特征图像；该第二样本编解码特征图像的分辨率可以为第二分辨率；
将该第二样本编解码特征图像输入O5进行图像前景提取处理，得到第二预测掩码图像。
可选地，第二预设编解码模块E5/D5可以包括第二预设编码网络E5和第二预设解码网络D5。相应地，上述将目标样本上采样特征图像和第二样本卷积特征图像输入E5/D5进行语义特征提取处理，得到第二样本编解码特征图像步骤可以包括以下步骤：
将第二样本卷积特征图像输入E5，进行下采样编码处理以从第二样本卷积特征图中提取高级语义特征，得到第二下采样编码特征图像；
将该第二下采样编码特征图像输入D1，进行上采样处理，得到第二样本编解码特征图像。
其中，第二样本卷积特征图像的分辨率、第二样本编解码特征图像的分辨率和第二预测掩码图像的分辨率可以为第一分辨率；第二样本卷积特征图像可以包括预设通道数量的样本卷积特征图像；第二样本编解码特征图像可以包括预设通道数量的样本编解码特征图像。该预设通道数量可以为64通道，本公开对此不作限定。
在步骤S215中，根据第一样本掩码图像、第二样本掩码图像以及第一预测掩码图像、第二预测掩码图像，确定损失信息。
本说明书实施例中，可以根据第一样本掩码图像以及第一预测掩码图像，确定第一损失信息；并根据第二样本掩码图像以及第二预测掩码图像，确定第二损失信息；从而可以根据第一损失信息和第二损失信息，确定损失信息。例如，将第一损失信息、第二损失信息的和作为损失信息，本公开对此不作限定。
在步骤S217中，根据损失信息训练预设级联抠图模型，得到级联抠图模型。
本说明书实施例中，可以根据损失信息，得到梯度信息，从而可以根据梯度信息调整预设级联抠图模型的参数，至满足预设条件，得到级联抠图模型。该预设条件可以包括损失信息不再下降，或者损失信息满足损失阈值，本公开对此不作限定。
通过级联抠图模型的训练，使得训练好的级联抠图模型可以用于抠图处理，可以提高抠图效率和抠图精度。
图4是根据一示例性实施例示出的一种级联抠图模型的训练方法的流程图。在一种可能的实现方式中，预设级联抠图模型还可以包括至少一个中间预设级联网络以及对应的至少一个中间预设输出卷积网络，每个中间预设级联网络对应一个中间分辨率；每个中间分辨率大于第一分辨率且小于第二分辨率；至少一个中间预设级联网络按照对应的中间分辨率从低至高排序，其中，第一预设级联网络与最低中间分辨率对应的中间预设级联网络连接，最高中间分辨率对应的中间预设级联网络与第二预设级联网络连接。作为一个示例，当至少一个中间预设级联网络为3个中间预设级联网络时，可以如图5所示。
如图4所示，在步骤S209之后，还可以包括以下步骤：
在步骤S401中，获取当前中间预设级联网络对应的中间样本级联图像以及对应的目标中间分辨率，中间样本级联图像是基于目标中间分辨率对每个样本图像进行采样处理得到的；
在步骤S403中，获取当前中间预设级联网络的前一预设级联网络输出的样本特征图像；
在步骤S405中，根据目标中间分辨率对前一预设级联网络输出的样本特征图像进行上采样处理，得到第一样本上采样特征图像；
在步骤S407中，将中间样本级联图像和第一样本上采样特征图像作为当前中间预设级联网络的输入，进行像素属性特征提取处理，得到目标样本特征图像。
在一个示例中，当中间预设级联网络包括中间预设输入卷积网络、中间预设编解码模块和预设中间图神经网络时，该步骤S407可以包括以下步骤：
将中间样本级联图像输入中间预设输入卷积网络进行特征提取处理，得到中间样本卷积特征图像；
将第一样本上采样特征图像和中间样本卷积特征图像输入中间预设编解码模块，进行语义特征提取处理，得到中间样本编解码特征图像。
将中间样本编解码特征图像输入中间预设图神经网络，基于中间编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到中间样本特征图像。
可选地，中间预设编解码模块可以包括中间预设编码网络和中间预设解码网络。上述将第一样本上采样特征图像和中间样本卷积特征图像输入中间预设编解码模块，进行语义特征提取处理，得到中间样本编解码特征图像步骤的实现方式，可以参见S213，在此不再赘述。其中，中间样本卷积特征图像的分辨率、中间样本编解码特征图像的分辨率和中间样本特征图像的分辨率可以为中间分辨率；中间样本卷积特征图像可以包括预设通道数量的样本卷积特征图像；中间样本编解码特征图像可以包括预设通道数量的样本编解码特征图像。该预设通道数量可以为64通道，本公开对此不作限定。中间样本特征图像可以为单通道的特征图像。
在步骤S409中，将目标样本特征图像输入当前中间预设级联网络对应的中间预设输出卷积网络，进行图像前景提取处理，得到中间预测掩码图像；
上述S401～S409可以是中间预设级联网络依次迭代的步骤，即每个中间预设级联网络均需要执行S401～S409。当最高中间分辨率对应的中间预设级联网络执行完S409之后，可以执行下述步骤：
在步骤S411中，将最高中间分辨率对应的中间预设级联网络的目标样本特征图像作为中间样本特征图像；
在步骤S413中，根据第二分辨率对中间样本特征图像进行上采样处理，得到第二样本上采样特征图像；
在步骤S415中，将第二样本上采样特征图像和第二样本级联图像输入第二预设级联网络进行图像前景提取处理，得到目标预测掩码图像。
在一个示例中，如图5所示，当至少一个中间预设级联网络包括3个中间预设级联网络时，本公开对此不作限定。3个中间预设级联网络可以包括第一中间预设级联网络、第二中间预设级联网络、第三中间预设级联网络。第一预设级联网络、第一中间预设级联网络、第二中间预设级联网络、第三中间预设级联网络和第二预设级联网络对应的分辨率可以依次为：32*32、64*64、128*128、256*256、512*512。相应地，I1～I5输入的级联图像的分辨率可以依次为：32*32、64*64、128*128、256*256、512*512；DGR1～DGR4输出的特征图像的分辨率可以依次为：32*32、64*64、128*128、256*256；O1～O5输出的预测掩码图像的分辨率可以依次为：32*32、64*64、128*128、256*256、512*512。
其中，该第一中间预设级联网络可以包括第一中间预设输入卷积网络I2、第一中间预设编码网络E2、第一中间预设解码网络D2、第一中间预设图神经网络DGR2；该第二中间预设级联网络可以包括第二中间预设输入卷积网络I3、第二中间预设编码网络E3、第二中间预设解码网络D3、第二中间预设图神经网络DGR3；该第三中间预设级联网络可以包括第三中间预设输入卷积网络I4、第三中间预设编码网络E4、第三中间预设解码网络D4、第三中间预设图神经网络DGR4。预设级联抠图模型还可以包括与DGR2连接的第一中间预设输出卷积网络O2、与DGR3连接的第二中间预设输出卷积网络O3、与DGR4连接的第三中间预设输出卷积网络O4，如图5所示。
其中，I1～I5可以为一层3×3的卷积网络；O1～O5可以为一层卷积网络；DGR1～DGR4可以包括卷积网络结构、双线性插值处理模块、聚合处理模块和感知机模块，其中卷积网络结构可以为一层卷积网络；感知机模块可以包括两个多层感知机。本公开对此不作限定。
如图5所示，可以将DGR1输出的第一样本特征图像进行2倍上采样，将第一样本特征图像的分辨率转化为64*64，得到64*64的中间样本上采样特征图像；可以将该64*64的中间样本上采样特征图像和I2输出的第一中间样本卷积特征图像输入到E2，依次类推，可以将DGR4输出的第三中间样本特征图像进行2倍上采样，将第三中间样本特征图像的分辨率转化为512*512，得到512*512的中间样本上采样特征图像；可以将该512*512的中间样本上采样特征图像和I5输出的第二样本卷积特征图像输入到E5，得到对应的下采样编码特征图像；可以将该对应的下采样编码特征图像输入D5，得到第二样本编解码特征图像；进而可以将第二样本编解码特征图像输入O5，得到目标预测掩码图像。该目标预测掩码图像的分辨率可以为512*512。
在步骤S417中，根据至少一个中间预设级联网络对应的中间分辨率，即根据每个中间预设级联网络对应的中间分辨率对每个样本图像和每个样本掩码图像进行采样处理，得到对应的中间样本掩码图像。该步骤可以参见步骤S205，在此不再赘述。
相应地，S215可以包括：
在步骤S419中，根据第一样本掩码图像、中间样本掩码图像、第二样本掩码图像以及第一预测掩码图像、中间预测掩码图像、目标预测掩码图像，确定损失信息。
本说明书实施例中，可以根据第一样本掩码图像以及第一预测掩码图像，确定第一损失信息。例如，可以将第一样本掩码图像与第一预测掩码图像的像素差值作为第一损失信息，本公开对此不作限定。并可以根据第二样本掩码图像以及目标预测掩码图像，确定第三损失信息；以及根据中间样本掩码图像以及中间预测掩码图像，确定中间损失信息。从而可以将第一损失信息、第三损失信息和中间损失信息的加权和作为损失信息。或者可以将第一损失信息、第三损失信息和中间损失信息的和作为损失信息。本公开对此不作限定。
通过引入中间预设级联网络，使得级联抠图模型的级联网络增多，可以更加有效地从低分辨至高分辨进行抠图，即可以得到更加全面的全局信息和局部信息，提高抠图效果。
上述步骤S401～S419可以参见上述步骤S201～S215，在此不再赘述。
可选地，步骤S419可以包括以下步骤：
根据第一样本掩码图像和第一预测掩码图像，确定第一损失信息；
根据中间样本掩码图像和中间预测掩码图像，确定中间损失信息。
获取样本图像的前景像素信息和背景像素信息；
根据第二样本掩码图像、目标预测掩码图像、前景像素信息和背景像素信息，确定像素损失信息；
根据第二样本掩码图像的梯度信息和目标预测掩码图像的梯度信息，确定边界损失信息；
根据第一损失信息、中间损失信息、像素损失信息和边界损失信息，确定损失信息。
在一个示例中，可以通过下述公式得到像素损失信息和边界损失信息：
Figure BDA0002999325680000161
Lc＝||I-αF-(1-α)B||
Figure BDA0002999325680000162
L＝La+Lc+Lg
其中，a是目标预测掩码图像，
Figure BDA0002999325680000164
是真实标签(第二样本掩码图像)；F,B分别表示前景像素信息和背景像素信息；I为样本图像的像素信息，例如像素值；
Figure BDA0002999325680000163
分别表示目标预测掩码图像的梯度信息和第二样本掩码图像的梯度信息。其中La,Lc可以表示像素损失信息，Lg可以表示边界损失信息。可以将La,Lc和Lg的和L作为第二级联网络的损失信息。需要说明的是，第一损失信息和中间损失信息可以根据La的方式确定；“||||”可以表示范数的运算符。可以使用反向传播来训练预设级联抠图模型，本公开对此不作限定。
通过像素损失信息可以提升像素准确度，通过边界损失信息可以提升边界的准确度，从而可以提升抠图细节效果和抠图整体效果。
图6是根据一示例性实施例示出的图像处理方法的流程图。如图6所示，该图像处理方法可以包括以下步骤：
在步骤S601中，获取待处理图像和级联抠图模型，级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络；第二分辨率大于第一分辨率；该级联抠图模型可以如图7所示，本公开对此不作限定。
在步骤S603中，分别根据第一分辨率和第二分辨率，对待处理图像进行采样处理，得到第一级联图像和第二级联图像；
在步骤S605中，将第一级联图像输入第一级联网络进行像素属性特征提取处理，得到第一特征图像；
在步骤S607中，根据第二分辨率对第一特征图像进行上采样处理，得到目标上采样特征图像；
在步骤S609中，将目标上采样特征图像和第二级联图像输入第二级联网络进行图像前景提取处理，得到第一目标掩码图像；
本说明书实施例中，S603～S609的实现方式可以参见上述图2内容中的相应步骤，在此不再赘述。
在步骤S611中，根据第一目标掩码图像，从待处理图像中提取目标前景图像。
本说明书实施例中，可以根据第一目标掩码图像，从待处理图像中提取目标前景图像，实现抠图处理。其中，第一目标掩码图像的分辨率可以为第二分辨率。
通过设置级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络，可以实现从全局到局部的进行抠图处理，即从粗到细的进行抠图处理，可以先在较低分辨率的图像上预测得到较准确的前景区域，在此基础上不断从更高分辨率的图像中提取特征补充前景背景交界处的细节，既可以有效提取全局信息，又可以有效补充细节信息，能够有效适用前景与背景相似的图像的抠图场景，降低前景背景相似时的预测错误率，提高抠图精度。
图8是根据一示例性实施例示出的根据第一目标掩码图像，从待处理图像中提取目标前景图像的方法流程图。如图8所示，该步骤S611可以包括以下步骤：
在步骤S801中，获取待处理图像的目标分辨率；
在步骤S803中，当目标分辨率与第二分辨率相同时，基于第一目标掩码图像，从待处理图像中提取目标前景图像；
在步骤S805中，当目标分辨率与第二分辨率不同时，根据目标分辨率对目标掩码图像进行采样处理，得到待处理掩码图像；
在步骤S807中，基于待处理掩码图像，从待处理图像中提取目标前景图像。
本说明书实施例中，可以获取待处理图像的分辨率作为目标分辨率；并可以比较目标分辨率与第二分辨率是否相同，当相同时，可以基于第一目标掩码图像，从待处理图像中提取目标前景图像；当不同时，可以根据目标分辨率对目标掩码图像进行采样处理，得到待处理掩码图像；该待处理掩码图像的分辨率为第二分辨率。从而可以基于该待处理掩码图像，从待处理图像中提取目标前景图像。
通过将目标掩码图像的分辨率转化为第二分辨率，可以利用与待处理图像相同分辨率的待处理掩码图像从待处理图像中提取目标前景图像，提高抠图精度。
图9是根据一示例性实施例示出的中间级联网络的图像处理方法的流程图。在一种可能的实现方式中，级联抠图模型还可以包括至少一个中间级联网络，每个中间级联网络对应一个中间分辨率；每个中间分辨率大于第一分辨率且小于第二分辨率；至少一个中间级联网络按照对应的中间分辨率从低至高排序，其中，第一级联网络与最低中间分辨率对应的中间级联网络连接，最高中间分辨率对应的中间级联网络与第二级联网络连接。作为一个示例，该中间级联网络可以包括第一中间级联网络、第二中间级联网络和第三中间级联网络，如图10所示。本公开对中间级联网络的数量不作限定。
在步骤S605之后，该图像处理方法还可以包括以下步骤：
在步骤S901中，获取当前中间级联网络对应的中间级联图像以及对应的目标中间分辨率，中间级联图像是基于目标中间分辨率对待处理图像进行采样处理得到的；
在步骤S903中，获取当前中间级联网络的前一级联网络输出的特征图像；其中，当当前中间级联网络为最低中间分辨率对应的中间级联网络时，前一级联网络输出的特征图像为第一特征图像。
在步骤S905中，根据目标中间分辨率对前一级联网络输出的特征图像进行上采样处理，得到第一上采样特征图像；
在步骤S907中，将中间级联图像和第一上采样特征图像作为当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像。
本说明书实施例中，S901～S907可以是每个中间级联网络需要执行的，具体实现方式可以参见上述图4中的相应步骤，在此不再赘述。
经一步地，在步骤S907之后，即在最后一个中间级联网络执行完上述S907步骤后，比如图10中DGR44输出目标特征图像之后，该图像处理方法还可以包括以下步骤：
将最高中间分辨率对应的中间级联网络的目标特征图像作为中间特征图像；
根据第二分辨率对中间特征图像进行上采样处理，得到第二上采样特征图像；
将第二上采样特征图像和第二级联图像输入第二级联网络进行图像前景提取处理，得到第二目标掩码图像；
根据第二目标掩码图像，从待处理图像中提取目标前景图像。
上述步骤的具体实现方式可以参见上述图4中的相应步骤，在此也不再赘述。
通过设置至少一个中间级联网络，可以增加级联抠图模型的深度，能够更加有效地从低分辨至高分辨进行抠图，即可以得到更加全面的全局信息和局部信息，使得抠图更加精准。
图11是根据一示例性实施例示出的将中间级联图像和第一上采样特征图像作为当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像的方法流程图。在一种可能的实现方式中，每个中间级联网络可以包括中间输入卷积网络、中间编解码模块和中间图神经网络。中间编解码模块可以包括中间编码网络和中间解码网络。如图10所示，第一中间级联网络可以包括第一中间输入卷积网络I22、第一中间编码网络E22、第一中间解码网络D22、第一中间图神经网络DGR22；该第二中间级联网络可以包括第二中间输入卷积网络I33、第二中间编码网络E33、第二中间解码网络D33、第二中间图神经网络DGR33；该第三中间级联网络可以包括第三中间输入卷积网络I44、第三中间编码网络E44、第三中间解码网络D44、第三中间图神经网络DGR44。
如图11所示，上述步骤S907可以包括以下步骤：
在步骤S1101中，将中间级联图像输入中间输入卷积网络进行特征提取处理，得到中间卷积特征图像；
在步骤S1103中，将第一上采样特征图像和中间卷积特征图像输入中间编解码模块，进行语义特征提取处理，得到中间编解码特征图像，中间编解码特征图像的分辨率为中间分辨率；
在步骤S1105中，将中间编解码特征图像输入中间图神经网络，基于中间编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到目标特征图像。
本说明书实施例中，S1101～S1105的实现方式可以参见S407，在此不再赘述。
通过在级联网络中设置图神经网络，可以提高对待处理图像中精细物体的抠图，进一步提高了抠图效果以及扩大抠图适用场景。
图12是根据一示例性实施例示出的将第一级联图像输入第一级联网络进行像素属性特征提取处理，得到第一特征图像的方法流程图。在一种可能的实现方式中，第一级联网络可以包括第一输入卷积网络I11、第一编解码模块和第一图神经网络DGR11，该第一编解码模块可以包括第一编码网络E11和第一解码网络D11，如图10所示。
如图12所示，步骤S605可以包括以下步骤：
在步骤S1201中，将第一级联图像输入第一输入卷积网络进行特征提取处理，得到第一卷积特征图像；
在步骤S1203中，将第一卷积特征图像输入第一编解码模块进行语义特征提取处理，得到第一编解码特征图像，第一编解码特征图像的分辨率为第一分辨率；
在步骤S1205中，将第一编解码特征图像输入第一图神经网络，基于第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到第一特征图像。
本说明书实施例中，S1201～S1205的实现方式可以参见S207，在此不再赘述。
通过在级联网络中设置图神经网络，可以提高对待处理图像中精细物体的抠图，进一步提高了抠图效果以及扩大抠图适用场景。
图13示出是根据一示例性实施例示出的将第一编解码特征图像输入第一图神经网络，基于第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到第一特征图像的方法流程图。图14是根据一示例性实施例示出的将第一编解码特征图像输入第一图神经网络，基于第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到第一特征图像的过程示意图。在一种可能的实现方式中，第一图神经网络可以包括卷积网络结构、双线性插值处理模块、聚合处理模块和感知机模块。
如图13和图14所示，该步骤S1205可以包括以下步骤：
在步骤S1301中，对第一编解码特征图像进行相邻像素坐标偏移处理，得到每个像素的相邻像素的坐标偏移量；
在步骤S1303中，根据第一编解码特征图像中每个像素的相邻像素的初始坐标信息和每个像素的相邻像素的坐标偏移量，得到每个像素的相邻像素目标坐标信息；
在步骤S1305中，基于每个像素的相邻像素目标坐标信息，对第一编解码特征图像进行插值处理，得到插值特征图像；
在步骤S1307中，对插值特征图像进行像素特征聚合处理，得到聚合特征图像；
在步骤S1309中，分别对第一编解码特征图像和聚合特征图像进行线性处理，得到第一线性特征图像和第二线性特征图像；
在步骤S1311中，对第一线性图像和第二线性特征图像作叠加处理，得到第一特征图像。
本说明书实施例中，第一编解码图像的每个像素的相邻像素可以具有初始坐标信息，每个像素和每个像素的相邻像素可以为9个像素，如图14该9个像素可以位于3×3像素的矩形区域内。本公开对此不作限定。可以将于3×3像素的矩形区域内中心像素的相邻像素进行坐标偏移处理，得到中心像素的相邻像素目标坐标信息，也就是说，使得中心像素的相邻像素不再位于3×3像素的矩形区域内，可以将距离较远的像素作为相邻像素。例如，可以将第一编解码特征图像输入卷积网络结构进行相邻像素坐标偏移处理，得到每个像素的相邻像素的坐标偏移量。例如，该9个像素的初始坐标信息，输入卷积网络结构，可以得到18通道的坐标偏移量，该坐标偏移量可以包括9个像素分别对应的x，y方向的坐标偏移量。全部像素的相邻像素的坐标偏移量可以组成偏移特征图像。
可以根据第一编解码特征图像中每个像素的相邻像素的初始坐标信息和每个像素的相邻像素的坐标偏移量，得到每个像素的相邻像素目标坐标信息；并可以基于每个像素的相邻像素目标坐标信息，对第一编解码特征图像进行插值处理，得到插值特征图像。例如，可以将第一编解码特征图像和每个像素的相邻像素目标坐标信息输入双线性插值处理模块，进行插值处理，得到插值特征图像。其中，双线性插值处理可以利用双线性插值算法实现，本公开对双线性插值算法不作限定。
进一步地，可以将插值特征图像输入聚合处理模块，进行像素聚合处理，得到聚合特征图像。例如，可以将插值特征图像中一个像素的相邻像素的插值特征信息进行聚合，得到该一个像素的聚合特征信息。这里聚合处理可以基于聚合函数实现，聚合函数可以是平均、求和、最大值等具有排列不变性的聚合函数。本公开对聚合函数不作限定。
并可以将第一编解码特征图像和聚合特征图像输入感知机模块，进行线性和叠加处理，得到第一特征图像。
在一个示例中，可以根据以下公式得到第一特征图像：
Figure BDA0002999325680000211
Figure BDA0002999325680000212
其中N(i)表示第一编解码特征图像中第i个像素的全部相邻像素组成的集合；
Figure BDA0002999325680000213
可以表示插值特征图像中第i个像素的第j个相邻像素的插值特征信息；Aggregate()为聚合函数；
Figure BDA0002999325680000221
为第i个像素的聚合特征信息；g1,g2可以是感知机模块中的两个多层感知机，用于对特征图像作一次线性变换(线性处理)；本公开对该权重不作限定；
Figure BDA0002999325680000222
为第一编解码特征图像中第i个像素的特征信息；
Figure BDA0002999325680000223
为第一特征图像中第i个像素的特征信息。也就是说，第一编解码特征图像中的每个像素可以根据自身的特征信息以及对应的相邻像素的聚合特征信息进行自身特征更新。
需要说明的是，DGR1、DGR2、DGR3和DGR4以及DGR11、DGR22、DGR33和DGR44的处理过程均可以为S1301～S1311。
通过图神经网络对特征图进行优化，可以有效减少计算量和时间，使图神经网络可以适于处理高分辨率的特征图，从而可以解决现有图神经网络计算量和时间开销大导致仅适用低分辨率特征图的问题；并且通过偏移后的相邻像素的聚合特征更新自身特征，可以提高图神经网络对细长对象的抠图效果。
图15是根据一示例性实施例示出的将目标上采样特征图像和第二级联图像输入第二级联网络进行图像前景提取处理，得到第一目标掩码图像的方法流程图。在一种可能的实现方式中，第二级联网络可以包括第二输入卷积网络I55、第二编解码模块和目标输出卷积网络O55，该第二编解码模块可以包括第二编码网络E55和第二解码网络D55，如图5和图10所示。
如图15所示，该步骤S609可以包括以下步骤：
在步骤S1501中，将第二级联图像输入第二输入卷积网络进行特征提取处理，得到第二卷积特征图像；
在步骤S1503中，将目标上采样特征图像和第二卷积特征图像输入第二编解码模块，进行语义特征提取处理，得到第二编解码特征图像，第二编解码特征图像的分辨率为第二分辨率；
在步骤S1505中，将第二编解码特征图像输入目标输出卷积网络进行图像前景提取处理，得到第一目标掩码图像。
本说明书实施例中，S1501～S1505的实现方式可以参见S213，在此不再赘述。
通过在每个级联网络中包括编解码模块，可以实现编码器-解码器网络的级联，与现有级联网络中将不同分辨率特征图级联至一个编码器-解码器相比，可以实现更加精准的特征提取，从而可以提高抠图精度。
图16是根据一示例性实施例示出的一种图像处理装置框图。参照图16，该装置可以包括：
第一获取模块1601，被配置为执行获取待处理图像和级联抠图模型，级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络；第二分辨率大于第一分辨率；
级联图像获取模块1603，被配置为执行分别根据第一分辨率和第二分辨率，对待处理图像进行采样处理，得到第一级联图像和第二级联图像；
第一特征图像获取模块1605，被配置为执行将第一级联图像输入第一级联网络进行像素属性特征提取处理，得到第一特征图像；
目标上采样特征图像获取模块1607，被配置为执行根据第二分辨率对第一特征图像进行上采样处理，得到目标上采样特征图像；
第一目标掩码图像获取模块1609，被配置为执行将目标上采样特征图像和第二级联图像输入第二级联网络进行图像前景提取处理，得到第一目标掩码图像；
第一目标前景图像提取模块1611，被配置为执行根据第一目标掩码图像，从待处理图像中提取目标前景图像。
通过设置级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络，可以实现从全局到局部的进行抠图处理，即从粗到细的进行抠图处理，可以先在较低分辨率的图像上预测得到较准确的前景区域，在此基础上不断从更高分辨率的图像中提取特征补充前景背景交界处的细节，既可以有效提取全局信息，又可以有效补充细节信息，能够有效适用前景与背景相似的图像的抠图场景，降低前景背景相似时的预测错误率，提高抠图精度。
在一种可能的实现方式中，级联抠图模型还包括至少一个中间级联网络，每个中间级联网络对应一个中间分辨率；每个中间分辨率大于第一分辨率且小于第二分辨率；至少一个中间级联网络按照对应的中间分辨率从低至高排序，其中，第一级联网络与最低中间分辨率对应的中间级联网络连接，最高中间分辨率对应的中间级联网络与第二级联网络连接；图像处理装置还可以包括：
中间级联图像和目标中间分辨率获取模块，被配置为执行获取当前中间级联网络对应的中间级联图像以及对应的目标中间分辨率，中间级联图像是基于目标中间分辨率对待处理图像进行采样处理得到的；
前一级联网络输出的特征图像获取模块，被配置为执行获取当前中间级联网络的前一级联网络输出的特征图像；
第一上采样特征图像获取模块，被配置为执行根据目标中间分辨率对前一级联网络输出的特征图像进行上采样处理，得到第一上采样特征图像；
目标特征图像获取模块，被配置为执行将中间级联图像和第一上采样特征图像作为当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像。
在一种可能的实现方式中，图像处理装置还包可以括：
中间特征图像获取模块，被配置为执行将最高中间分辨率对应的中间级联网络的目标特征图像作为中间特征图像；
第二上采样特征图像获取模块，被配置为执行根据第二分辨率对中间特征图像进行上采样处理，得到第二上采样特征图像；
第二目标掩码图像获取模块，被配置为执行将第二上采样特征图像和第二级联图像输入第二级联网络进行图像前景提取处理，得到第二目标掩码图像；
第二目标前景图像提取模块，被配置为执行根据第二目标掩码图像，从待处理图像中提取目标前景图像。
在一种可能的实现方式中，第一级联网络包括第一输入卷积网络、第一编解码模块和第一图神经网络；第一特征图像获取模块1605包括：
第一卷积特征图像获取单元，被配置为执行将第一级联图像输入第一输入卷积网络进行特征提取处理，得到第一卷积特征图像；
第一编解码特征图像获取单元，被配置为执行将第一卷积特征图像输入第一编解码模块进行语义特征提取处理，得到第一编解码特征图像，第一编解码特征图像的分辨率为第一分辨率；
第一特征图像获取单元，被配置为执行将第一编解码特征图像输入第一图神经网络，基于第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到第一特征图像。
在一种可能的实现方式中，第一特征图像获取单元包括：
坐标偏移处理子单元，被配置为执行对第一编解码特征图像进行相邻像素坐标偏移处理，得到每个像素的相邻像素的坐标偏移量；
目标坐标信息获取子单元，被配置为执行根据第一编解码特征图像中每个像素的相邻像素的初始坐标信息和每个像素的相邻像素的坐标偏移量，得到每个像素的相邻像素目标坐标信息；
插值处理子单元，被配置为执行基于每个像素的相邻像素目标坐标信息，对第一编解码特征图像进行插值处理，得到插值特征图像；
聚合处理子单元，被配置为执行对插值特征图像进行像素特征聚合处理，得到聚合特征图像；
线性处理子单元，被配置为执行分别对第一编解码特征图像和聚合特征图像进行线性处理，得到第一线性特征图像和第二线性特征图像；
第一特征图像获取子单元，被配置为执行对第一线性图像和第二线性特征图像作叠加处理，得到第一特征图像。
在一种可能的实现方式中，每个中间级联网络包括中间输入卷积网络、中间编解码模块和中间图神经网络；目标特征图像获取模块包括：
中间卷积特征图像获取单元，被配置为执行将中间级联图像输入中间输入卷积网络进行特征提取处理，得到中间卷积特征图像；
中间编解码特征图像获取单元，被配置为执行将第一上采样特征图像和中间卷积特征图像输入中间编解码模块，进行语义特征提取处理，得到中间编解码特征图像，中间编解码特征图像的分辨率为中间分辨率；
目标特征图像获取单元，被配置为执行将中间编解码特征图像输入中间图神经网络，基于中间编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到目标特征图像。
在一种可能的实现方式中，第二级联网络包括第二输入卷积网络、第二编解码模块和目标输出卷积网络；第一目标掩码图像获取模块1609包括：
第二卷积特征图像获取单元，被配置为执行将第二级联图像输入第二输入卷积网络进行特征提取处理，得到第二卷积特征图像；
第二编解码特征图像获取单元，被配置为执行将目标上采样特征图像和第二卷积特征图像输入第二编解码模块进行语义特征提取处理，得到第二编解码特征图像，第二编解码特征图像的分辨率为第二分辨率；
第一目标掩码图像获取单元，被配置为执行将第二编解码特征图像输入目标输出卷积网络进行图像前景提取处理，得到第一目标掩码图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图17是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图17所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图18是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图18所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理的方法。
本领域技术人员可以理解，图18中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的图像处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像处理方法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像处理的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像和级联抠图模型，所述级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络；所述第二分辨率大于所述第一分辨率；
分别根据所述第一分辨率和所述第二分辨率，对所述待处理图像进行采样处理，得到第一级联图像和第二级联图像；
将所述第一级联图像输入所述第一级联网络进行像素属性特征提取处理，得到第一特征图像；
根据所述第二分辨率对所述第一特征图像进行上采样处理，得到目标上采样特征图像；
将所述目标上采样特征图像和所述第二级联图像输入所述第二级联网络进行图像前景提取处理，得到第一目标掩码图像；
根据所述第一目标掩码图像，从所述待处理图像中提取目标前景图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述级联抠图模型还包括至少一个中间级联网络，每个中间级联网络对应一个中间分辨率；每个中间分辨率大于所述第一分辨率且小于所述第二分辨率；所述至少一个中间级联网络按照对应的中间分辨率从低至高排序，其中，所述第一级联网络与最低中间分辨率对应的中间级联网络连接，所述最高中间分辨率对应的中间级联网络与所述第二级联网络连接；所述图像处理方法还包括依次迭代以下步骤：
获取当前中间级联网络对应的中间级联图像以及对应的目标中间分辨率，所述中间级联图像是基于所述目标中间分辨率对所述待处理图像进行采样处理得到的；
获取所述当前中间级联网络的前一级联网络输出的特征图像；
根据所述目标中间分辨率对所述前一级联网络输出的特征图像进行上采样处理，得到第一上采样特征图像；
将所述中间级联图像和所述第一上采样特征图像作为所述当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：
将所述最高中间分辨率对应的中间级联网络的目标特征图像作为中间特征图像；
根据所述第二分辨率对所述中间特征图像进行上采样处理，得到第二上采样特征图像；
将所述第二上采样特征图像和所述第二级联图像输入所述第二级联网络进行图像前景提取处理，得到第二目标掩码图像；
根据所述第二目标掩码图像，从所述待处理图像中提取目标前景图像。
4.根据权利要求1-3中任一项所述的图像处理方法，其特征在于，所述第一级联网络包括第一输入卷积网络、第一编解码模块和第一图神经网络；所述将所述第一级联图像输入所述第一级联网络进行像素属性特征提取处理，得到第一特征图像步骤包括：
将所述第一级联图像输入所述第一输入卷积网络进行特征提取处理，得到第一卷积特征图像；
将所述第一卷积特征图像输入所述第一编解码模块进行语义特征提取处理，得到第一编解码特征图像，所述第一编解码特征图像的分辨率为所述第一分辨率；
将所述第一编解码特征图像输入所述第一图神经网络，基于所述第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到所述第一特征图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述将所述第一编解码特征图像输入所述第一图神经网络，基于所述第一编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到所述第一特征图像步骤包括：
对所述第一编解码特征图像进行相邻像素坐标偏移处理，得到每个像素的相邻像素的坐标偏移量；
根据所述第一编解码特征图像中每个像素的相邻像素的初始坐标信息和每个像素的相邻像素的坐标偏移量，得到每个像素的相邻像素目标坐标信息；
基于所述每个像素的相邻像素目标坐标信息，对所述第一编解码特征图像进行插值处理，得到插值特征图像；
对所述插值特征图像进行像素特征聚合处理，得到聚合特征图像；
分别对所述第一编解码特征图像和所述聚合特征图像进行线性处理，得到第一线性特征图像和第二线性特征图像；
对所述第一线性图像和所述第二线性特征图像作叠加处理，得到所述第一特征图像。
6.根据权利要求2所述的图像处理方法，其特征在于，每个中间级联网络包括中间输入卷积网络、中间编解码模块和中间图神经网络；所述将所述中间级联图像和所述第一上采样特征图像作为所述当前中间级联网络的输入，进行像素属性特征提取处理，得到目标特征图像步骤包括：
将所述中间级联图像输入所述中间输入卷积网络进行特征提取处理，得到中间卷积特征图像；
将所述第一上采样特征图像和所述中间卷积特征图像输入所述中间编解码模块，进行语义特征提取处理，得到中间编解码特征图像，所述中间编解码特征图像的分辨率为所述中间分辨率；
将所述中间编解码特征图像输入所述中间图神经网络，基于所述中间编解码特征图像中每个像素的相邻像素对每个像素进行像素属性特征更新处理，得到所述目标特征图像。
7.一种图像处理装置，其特征在于，包括：
第一获取模块，被配置为执行获取待处理图像和级联抠图模型，所述级联抠图模型包括与第一分辨率对应的第一级联网络以及与第二分辨率对应的第二级联网络；所述第二分辨率大于所述第一分辨率；
级联图像获取模块，被配置为执行分别根据所述第一分辨率和所述第二分辨率，对所述待处理图像进行采样处理，得到第一级联图像和第二级联图像；
第一特征图像获取模块，被配置为执行将所述第一级联图像输入所述第一级联网络进行像素属性特征提取处理，得到第一特征图像；
目标上采样特征图像获取模块，被配置为执行根据所述第二分辨率对所述第一特征图像进行上采样处理，得到目标上采样特征图像；
第一目标掩码图像获取模块，被配置为执行将所述目标上采样特征图像和所述第二级联图像输入所述第二级联网络进行图像前景提取处理，得到第一目标掩码图像；
第一目标前景图像提取模块，被配置为执行根据所述第一目标掩码图像，从所述待处理图像中提取目标前景图像。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。
9.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-6任一项所述的图像处理方法。
CN202110340411.5A 2021-03-30 2021-03-30 图像处理方法、装置、电子设备及存储介质 Active CN113205451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110340411.5A CN113205451B (zh) 2021-03-30 2021-03-30 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110340411.5A CN113205451B (zh) 2021-03-30 2021-03-30 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113205451A true CN113205451A (zh) 2021-08-03
CN113205451B CN113205451B (zh) 2024-05-24

Family

ID=77025911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110340411.5A Active CN113205451B (zh) 2021-03-30 2021-03-30 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113205451B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820686A (zh) * 2022-05-16 2022-07-29 北京百度网讯科技有限公司 抠图的方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015074476A1 (zh) * 2013-11-25 2015-05-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置和存储介质
CN108108662A (zh) * 2017-11-24 2018-06-01 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN109035253A (zh) * 2018-07-04 2018-12-18 长沙全度影像科技有限公司 一种语义分割信息指导的深度学习自动图像抠图方法
CN109271992A (zh) * 2018-09-26 2019-01-25 上海联影智能医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读存储介质
CN110889855A (zh) * 2019-10-28 2020-03-17 公安部交通管理科学研究所 基于端到端卷积神经网络的证件照抠图方法及系统
CN111047516A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111369582A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015074476A1 (zh) * 2013-11-25 2015-05-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置和存储介质
CN108108662A (zh) * 2017-11-24 2018-06-01 深圳市华尊科技股份有限公司 深度神经网络识别模型及识别方法
CN109035253A (zh) * 2018-07-04 2018-12-18 长沙全度影像科技有限公司 一种语义分割信息指导的深度学习自动图像抠图方法
CN109271992A (zh) * 2018-09-26 2019-01-25 上海联影智能医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读存储介质
CN110889855A (zh) * 2019-10-28 2020-03-17 公安部交通管理科学研究所 基于端到端卷积神经网络的证件照抠图方法及系统
CN111369582A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
CN111047516A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
文韬;章义来;彭永康;: "基于闭合解抠图算法的图像边缘分割改进研究", 信息与电脑(理论版), no. 14, 25 July 2020 (2020-07-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820686A (zh) * 2022-05-16 2022-07-29 北京百度网讯科技有限公司 抠图的方法、装置、电子设备及存储介质
CN114820686B (zh) * 2022-05-16 2022-12-16 北京百度网讯科技有限公司 抠图的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113205451B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN109977956B (zh) 一种图像处理方法、装置、电子设备以及存储介质
CN108229455B (zh) 物体检测方法、神经网络的训练方法、装置和电子设备
JP7080978B2 (ja) リモートセンシング画像認識方法、装置、記憶媒体及び電子機器
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111260055B (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
CN113674146A (zh) 图像超分辨率
CN113204659B (zh) 多媒体资源的标签分类方法、装置、电子设备及存储介质
CN111310758A (zh) 文本检测方法、装置、计算机设备和存储介质
CN114612289A (zh) 风格化图像生成方法、装置及图像处理设备
CN116385827A (zh) 参数化人脸重建模型训练方法及关键点标签数据生成方法
CN116258859A (zh) 语义分割方法、装置、电子设备及存储介质
CN113205451B (zh) 图像处理方法、装置、电子设备及存储介质
CN115131803A (zh) 文档字号的识别方法、装置、计算机设备和存储介质
KR20210063116A (ko) 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치
CN114240949A (zh) 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置
CN114332457A (zh) 图像实例分割模型训练、图像实例分割方法和装置
CN111507950B (zh) 图像分割的方法和装置、电子设备及计算机可读存储介质
WO2023279920A1 (zh) 基于显微镜的超分辨率方法、装置、设备及介质
CN113361536B (zh) 图像语义分割模型训练、图像语义分割方法及相关装置
CN115272906A (zh) 一种基于点渲染的视频背景人像分割模型及算法
CN114913196A (zh) 一种基于注意力机制稠密光流计算方法
CN115205202A (zh) 视频检测方法、装置、设备及存储介质
CN113592876A (zh) 分割网络的训练方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant