CN113628221A - 图像处理方法、图像分割模型训练方法及相关装置 - Google Patents

图像处理方法、图像分割模型训练方法及相关装置 Download PDF

Info

Publication number
CN113628221A
CN113628221A CN202110889894.4A CN202110889894A CN113628221A CN 113628221 A CN113628221 A CN 113628221A CN 202110889894 A CN202110889894 A CN 202110889894A CN 113628221 A CN113628221 A CN 113628221A
Authority
CN
China
Prior art keywords
image
segmentation
target
segmentation result
uncertainty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110889894.4A
Other languages
English (en)
Inventor
郑全龙
杨统
郭彦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110889894.4A priority Critical patent/CN113628221A/zh
Publication of CN113628221A publication Critical patent/CN113628221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、图像分割模型训练方法及相关装置，包括：获取待处理图像；确定所述待处理图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数。本申请实施例可以提升目标分割精度。

Description

图像处理方法、图像分割模型训练方法及相关装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法、图像分割模型训练方法及相关装置。
背景技术
目前，基于深度神经网络的人像分割算法通常把人像分割看成一个像素级别的二分类分割问题，以人像RGB图像作为输入，通过神经网络模型去预测一个像素级二分类结果，再确定预测分割结果与目标分割结果之间的差异，基于该差异通过反向传播的方式去训练网络使其收敛至预测结果与目标分割结果较为一致。针对人像分割而言，目前的人像分割结果精度不高，因此，如何提升人像分割精度的问题亟待解决。
发明内容
本申请实施例提供了一种图像处理方法、图像分割模型训练方法及相关装置，能够提升人像分割精度。
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
获取待处理图像；
确定所述待处理图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；
根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数。
第二方面，本申请实施例提供一种图像分割模型训练方法，所述方法包括：
获取用于训练预设的目标分割精修模块的训练数据，所述训练数据包括样本图像集以及目标图像集，所述样本图像集包括多个样本图像，所述目标图像集包括多个目标图像，每一所述样本图像均对应一个所述目标图像，所述目标图像为所述样本图像对应的实际分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数；
确定每一所述样本图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；
根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
将所述高分辨率特征图像、所述不确定性图像输入到所述目标分割精修模块进行精修，得到第二分割结果图像；
根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整，直到达到训练终止条件。
第三方面，本申请实施例提供一种图像处理装置，所述装置包括：获取单元、确定单元和精修单元，其中，
所述获取单元，用于获取待处理图像；
所述确定单元，用于确定所述待处理图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；以及根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
所述精修单元，用于将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数。
第四方面，本申请实施例提供一种图像分割模型训练装置，所述装置包括：获取单元、确定单元、精修单元和调整单元，其中，
所述获取单元，用于获取用于训练预设的目标分割精修模块的训练数据，所述训练数据包括样本图像集以及目标图像集，所述样本图像集包括多个样本图像，所述目标图像集包括多个目标图像，每一所述样本图像均对应一个所述目标图像，所述目标图像为所述样本图像对应的实际分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数；
所述确定单元，用于确定每一所述样本图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；以及根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
所述精修单元，用于将所述高分辨率特征图像、所述不确定性图像输入到所述目标分割精修模块进行精修，得到第二分割结果图像；
所述调整单元，用于根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整，直到达到训练终止条件。
第五方面，本申请实施例提供一种终端，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面或第二方面任一方法中的步骤的指令。
第六方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面或第二方面任一方法中所描述的部分或全部步骤。
第七方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面或第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，获取待处理图像，确定待处理图像的高分辨率特征图像和第一分割结果图像，高分辨率特征图像为包含高分辨率图像特征的图像，根据第一分割结果图像确定不确定性图像，不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率，将高分辨率特征图像、不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，目标分割精修模块包括M个卷积层，M为正整数，由于不确定性图像包含不确定像素的空间信息以及不确定强度信息，而高分辨率特征图像提供高分辨率特征，卷积层则可以利用到像素的空间信息、不确定强度信息，以及像素对应的图像特征来精修分割结果，且高分辨率特征图像能够在分割过程中提供精准指导作用，进而，能够提升目标分割精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的用于模型训练和应用的系统架构100的示意图；
图1B是本申请实施例提供的终端200的结构方框图；
图1C是本申请实施例提供的一种芯片硬件结构的方框图；
图1D是本申请实施例提供的设置有Android系统的终端的架构示意图；
图2A是本申请实施例提供的一种图像处理方法的流程示意图；
图2B是本申请实施例提供的另一种图像处理方法的流程示意图；
图2C是本申请实施例提供的另一种图像处理方法的流程示意图；
图2D是本申请实施例提供的另一种图像处理方法的流程示意图；
图3A是本申请实施例提供的一种图像分割模型训练方法的流程示意图；
图3B是本申请实施例提供的另一种图像处理方法的流程示意图；
图3C是本申请实施例提供的另一种图像处理方法的流程示意图；
图4是本申请实施例提供的一种图像处理装置的功能单元组成框图；
图5是本申请实施例提供的另一种图像处理装置的功能单元组成框图；
图6是本申请实施例提供的一种图像分割模型训练装置的功能单元组成框图；
图7是本申请实施例提供的另一种图像分割模型训练装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络(Neural Networks,NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。
(2)像素值
图像的像素值可以是一个红绿蓝(RGB)颜色值，像素值可以是表示颜色的长整数。
例如，像素值为256*Red+100*Green+76Blue，其中，Blue代表蓝色分量，Green代表绿色分量，Red代表红色分量。各个颜色分量中，数值越小，亮度越低，数值越大，亮度越高。
(3)不确定性图像
将图像中每一像素点为前景或者背景的不确定性进行量化处理，即可以得到不确定性图像，不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率。
本申请所公开的技术方案的软硬件运行环境介绍如下。
如图1A所示，本申请实施例提供了一种用于模型训练和应用的系统架构100，包括执行设备110、训练设备120、数据库130、客户设备140、数据存储系统150、数据采集设备160。其中，数据采集设备160用于采集训练数据。针对本申请实施例的图像处理方法来说，训练数据可以包括样本图像以及目标图像，其中，目标图像可以是人工预先修图，即通过人工方式对样本图像进行分割处理得到。
在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101，如本申请所描述的目标分割模型。该目标模型/规则101能够用于实现本申请实施例的图像处理方法，即，将待处理图像通过相关预处理后输入该目标模型/规则101，即可得到分割过后的预测图像，再融合处理原始图像和预测图像得到目标图像。本申请实施例中的目标模型/规则101具体可以为神经网络模型。需要说明的是，在实际的应用中，所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图1A所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端设备等。在图1A中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：客户设备输入的待处理图像。
预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如待处理图像)进行预处理，在本申请实施例中，也可以没有预处理模块113和预处理模块114(也可以只有其中的一个预处理模块)，而直接采用计算模块111对输入数据进行处理。
在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
最后，I/O接口112将处理结果，如上述得到的待处理图像的分类结果返回给客户设备140，从而提供给用户。
值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
在图1A所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。
值得注意的是，图1A仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图1A中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。客户设备140也可以与执行设备110集成为单个设备。
如图1A所示，根据训练设备120训练得到目标模型/规则101，该目标模型/规则101在本申请实施例中可以是本申请中的神经网络，具体的，本申请实施例提供的神经网络可以CNN，深度卷积神经网络(deep convolutional neural networks,DCNN)，循环神经网络(recurrent neural network，RNNS)等等。
如图1B所示，本申请实施例提供了一种终端200的结构方框图。该终端200可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。本申请中的终端200可以包括一个或多个如下部件：处理器210、存储器220和输入输出设备230。
处理器210可以包括一个或者多个处理核心。处理器210利用各种接口和线路连接整个终端200内的各个部分，通过运行或执行存储在存储器220内的指令、程序、代码集或指令集，以及调用存储在存储器220内的数据，执行终端200的各种功能和处理数据。处理器210可以包括一个或多个处理单元，例如：处理器210可以包括中央处理器(CentralProcessing Unit，CPU)、应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，控制器可以是终端200的神经中枢和指挥中心。NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端200的智能认知等应用，例如：图像美颜，图像识别，人脸识别，语音识别，文本理解等。
可以理解的是，上述处理器210在实际产品中可以映射为系统级芯片(System ona Chip，SOC)，上述处理单元和/或接口也可以不集成到处理器210中，单独通过一块通信芯片或者电子元器件实现对应的功能。上述各模块间的接口连接关系，只是示意性说明，并不构成对终端200的结构的唯一限定。
存储器220可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器220包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器220可用于存储指令、程序、代码、代码集或指令集。存储器220可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)、鸿蒙系统或其它系统。存储数据区还可以存储终端200在使用中所创建的数据(比如待处理图像、电话本、音视频数据、聊天记录数据)等。
如图1C所示，本申请实施例提供了一种芯片硬件结构，该芯片包括神经网络处理器30。该芯片可以被设置在如图1A所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图1A所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则101。本申请所描述的图像分割模型中各层的算法均可在如图1C所示的芯片中得以实现。
神经网络处理器NPU 30作为协处理器挂载到主CPU(host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路303，控制器304控制运算电路303提取存储器(权重存储器或输入存储器)中的数据并进行运算。运算电路303内部包括多个处理单元(process engine，PE)。运算电路303是二维脉动阵列。运算电路303还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现方式中，运算电路303是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路303从权重存储器302中取矩阵B相应的数据，并缓存在运算电路303中每一个PE上。运算电路303从输入存储器301中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)308中。
向量计算单元307可以对运算电路303的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元307可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。
向量计算单元307将经处理的输出的向量存储到统一存储器306。例如，向量计算单元307可以将非线性函数应用到运算电路303的输出，例如累加值的向量，用以生成激活值。在一些实现方式中，向量计算单元307生成归一化的值、合并值，或二者均有。
统一存储器306用于存放输入数据以及输出数据。
权重数据直接通过存储单元访问控制器305(direct memory accesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器301和/或统一存储器306、将外部存储器中的权重数据存入权重存储器302，以及将统一存储器306中的数据存入外部存储器。
总线接口单元(bus interface unit，BIU)310，用于通过总线实现主CPU、DMAC和取值存储器309之间进行交互。
与控制器304连接的取值存储器309，用于存储控制器304使用的指令。
控制器304，用于调用取值存储器309中缓存的指令，实现控制该运算加速器的工作过程。
一般地，统一存储器306，输入存储器301，权重存储器302以及取值存储器309均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，简称DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。
其中，本申请所描述的图像分割模型各层的运算可以由运算电路303或向量计算单元307执行。
上述终端200的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构中的任意一种。本申请实施例以分层架构的Android系统为例，示例性说明终端200的软件架构。
如图1D所示，本申请实施例提供的一种设置有Android系统的终端的架构示意图，存储器220中可存储有Linux内核层420、系统运行库层440、应用框架层460和应用层480，其中，层与层之间通过软件接口通信，Linux内核层420、系统运行库层440和应用框架层460属于操作系统空间。
应用层480属于用户空间，应用层480中运行有至少一个应用程序，这些应用程序可以是操作系统自带的原生应用程序，也可以是第三方开发者所开发的第三方应用程序，具体可以包括相机(该相机应用可以自带美颜功能，用于执行本申请所描述的图像处理方法)，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用框架层460提供了构建应用层的应用程序可能用到的各种API，开发者也可以通过使用这些API来构建自己的应用程序，比如窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器、消息管理器、活动管理器、包管理器、定位管理。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端200的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
系统运行库层440通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在系统运行库层440中还提供有安卓运行时库(Android Runtime)，它主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。
Linux内核层420为终端200的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。
请参阅图2A，图2A是本申请实施例提供了一种图像处理方法的流程示意图，应用于上述执行设备110或者终端200，如图所示，本图像处理方法包括以下操作。
201，获取待处理图像。
其中，待处理图像可以通过客户设备140获取，也可以是终端200本端通过摄像头等采集，或者是通过云端下载，或者是预先存储的，此处不做唯一限定。待处理图像可以包括目标对象，目标对象可以为具备一定辨识度的物体，该物体以下至少一种：人、动物、蔬菜、水果、家具、电子产品、生活用品等等，在此不作限定。每一待处理图像可以包括至少一个目标对象。
202、确定所述待处理图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像。
具体实现中，高分辨率特征图像可以包括大量的高分辨率的图像特征，图像特征可以包括以下至少一种：特征点、特征纹路等等，在此不做限定。第一分割结果图像可以理解为粗分割结果。
可选的，上述步骤202，确定所述待处理图像的高分辨率特征图像和第一分割结果图像，可以包括如下步骤：
A221、将所述待处理图像输入到第一目标分割网络，得到所述高分辨率特征图像和第三分割结果图像；
A222、对所述第三分割结果图像进行N倍上采样，得到所述第一分割结果图像，所述N为满足2的整数倍的正整数。
其中，第一目标分割网络可以为用于实现图像分割的网络，第一目标分割网络可以为以下至少一种：语义分割网络、ResNet、ReNet、GoogLeNet、AlexNet、VGG、BiSeNet、DeepLab等等，在此不作限定。
具体实现中，如图2B所示，在将待处理图像输入到第一目标分割网络之后，可以从第一目标分割网络的前几层输出高分辨率特征图像，第一目标分割网络的最后一层可以输出第三分割结果图像，由于第三分割结果图像相对于待处理图像尺寸可能变小了，因此，需要对第三分割结果图像进行上采样，以使得第三分割结果图像的尺寸大小与高分辨率特征图像或者待处理图像的尺寸大小一致，上采样之后则可以得到第一分割结果图像。
可选的，上述步骤202，确定所述待处理图像的高分辨率特征图像和第一分割结果图像，可以包括如下步骤：
B221、将所述待处理图像输入到高分辨率网络，得到所述高分辨率特征图像；
B222、将所述待处理图像输入到第二目标分割网络，得到第四分割结果图像；
B223、对所述第四分割结果图像进行P倍上采样，得到所述第一分割结果图像，所述P为满足2的整数倍的正整数。
其中，高分辨率网络可以用于为提取待处理图像的高分辨率图像特征的网络，例如，高分辨率网络可以为高分辨网络HRNet。第二目标分割网络可以为以下至少一种：语义分割网络、ResNet、ReNet、GoogLeNet、AlexNet、VGG、BiSeNet、DeepLab等等，在此不作限定。如图2C所示，在将待处理图像输入到第二目标分割网络之后，第二目标分割网络的最后一层可以输出第四分割结果图像，由于第四分割结果图像相对于待处理图像尺寸可能变小了，因此，需要对第四分割结果图像进行上采样，以使得第四分割结果图像的尺寸大小与高分辨率特征图像或者待处理图像的尺寸大小一致，上采样之后则可以得到第一分割结果图像。
203、根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率。
本申请实施例中，背景可以理解为感兴趣的对象，例如，图像中的目标。背景则是与前景相对的概念，即背景可以理解为非前景，即不是感兴趣的对象，图像中除了前景就是前景，例如，可以通过图像分割方式对图像进行处理，得到目标区域和背景区域，目标区域可以称为前景，背景区域可以称为背景。如图2D所示，可以确定第一分割结果图像的目标分割概率图，例如，可以将第一分割结果图像与激活函数(例如，sigmoid)进行运算，如将第一分割结果图像输入到激活函数，可以输出得到目标分割概率图，再通过目标分割概率图进行不确定性计算，得到不确定性图像，不确定性图像中的每一像素值则是用于表述该像素值为背景或者前景的不确定性概率。目标分割概率图可以有两个通道，即前景概率图像和背景概率图像，每个通道可以分别对应对前景和背景预测的概率。
可选的，上述步骤203，根据所述第一分割结果图像确定不确定性图像，可以包括如下步骤：
231、确定所述第一分割结果图像的前景概率图像和背景概率图像；
232、根据所述前景概率图像和所述背景概率图像确定所述不确定性图像。
具体实现中，可以获取第一分割结果图像对应的前景图像，再将该前景图像与激活函数(例如，sigmoid)进行运算，得到前景概率图像，同理，可以获取第一分割结果图像对应的背景图像，再将该背景图像与激活函数(例如，sigmoid)进行运算，得到背景概率图像。
进一步地，可以再按照如下公式，根据前景概率图像和背景概率图像确定不确定性图像，具体如下：
Iun＝ReLU(1-abs(S′[:,1,:,:]-S′[:,0,:,:])) (1)
其中，Iun表示不确定性图像，S′[:,1,:,:]表示第一分割结果图像的前景概率图像，S′[:,0,:,:]表示第一分割结果图像的背景概率图像，abs(·)表示取绝对值，ReLU(·)表示保留正数，且将负数归0。具体实现中，当前景和背景概率接近时(即对该区域预测不确定)，上述公式计算结果较大，反之则计算结果较小。
204、将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数。
具体实现中，目标分割精修模块可以包括M个卷积层，M为正整数，如图2D所示，可以将高分辨率特征图像、不确定性图像进行图像融合，再将图像融合后的融合结果输入到目标分割精修模块进行精修，得到第二分割结果图像；或者，也可以将高分辨率特征图像与不确定性图像之间进行级联，再将级联结果输入到目标分割精修模块进行精修，得到第二分割结果图像；或者，还可以将高分辨率特征图像、不确定性图像以及目标分割概率图之间进行级联，再将级联结果输入到目标分割精修模块进行精修，得到第二分割结果图像。
其中，目标分割精修模块中，不确定性区域与高分辨率特征图像通过的卷积层的层数可以根据实际需要而设定层数数目，如果要求分割难度小可以用较少的卷积层，反之可以用更多的卷积。
本申请实施例，不确定性图像反应了不确定性分割区域的分布情况，可以通过对不确定性分割区域进行精修，不确定性图像包含不确定像素的空间信息，而高分辨率特征图像提供高分辨率特征，卷积层则可以利用到像素的空间信息、以及像素对应的图像特征来精修分割结果，且高分辨率特征图像能够在分割过程中提供精准指导作用，进而，能够提升目标分割精度，以人像分割为例，通常可以得到高精确的人像分割结果。同时，由于目标分割精修模块可以嵌入到现有的分割模型中，因此有较高移植性，以及更快的处理速度，在得到较为精确的人像分割结果的前提下，也方便后续进行其它图像编辑操作，如人体美颜、调色等等，在此不做限定。
可选的，所述目标分割精修模块具备可导属性。
具体实现中，目标分割精修模块可以具备可导属性，即允许梯度反向传播，进而，该目标分割精修模块可以嵌入到现有的分割网络中，进行端到端的训练与测试，以调节相应的模型参数，因此，本申请实施例中的目标分割精修模块，有更好的移植性，即理论上可以嵌入到任何分割网络中。
可选的，上述步骤204，将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，可以包括如下步骤：
241、将所述高分辨率特征图像和所述不确定性图像进行级联，得到级联图像；
242、将所述级联图像输入到所述目标分割精修模块进行精修，得到所述第二分割结果图像。
具体实现中，可以将不确定性图像与高分辨率特征图像进行级联，并输入到若干卷积层中进行不确定性精修，得到第二分割结果图像，由于不确定性图像包含不确定像素的空间信息，以及不确定强度信息，空间信息可以理解为空间位置，不确定强度信息可以理解为背景与前景之间的接近程度，两者之间越接近，则强度越大，反之，两者之间越不接近，则强度越小。而高分辨率特征图像提供高分辨率特征，高分辨率特征图像能够在分割过程中提供精准指导作用，卷积层则可以利用到像素的空间信息、不确定强度信息以及像素对应的图像特征来精修分割结果。
可以看出，本申请实施例中，获取待处理图像，确定待处理图像的高分辨率特征图像和第一分割结果图像，高分辨率特征图像为包含高分辨率图像特征的图像，根据第一分割结果图像确定不确定性图像，不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率，将高分辨率特征图像、不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，目标分割精修模块包括M个卷积层，M为正整数，由于不确定性图像包含不确定像素的空间信息以及不确定强度信息，而高分辨率特征图像提供高分辨率特征，卷积层则可以利用到像素的空间信息、不确定强度信息，以及像素对应的图像特征来精修分割结果，且高分辨率特征图像能够在分割过程中提供精准指导作用，进而，能够提升目标分割精度。
进一步地，本申请实施例，针对当前人像分割方法不够精确，以及后处理精修方式速度较慢的问题，本申请实施例，提出了一个结合分割不确定性的目标分割精修模块，该模块可以得到精度更高的人像分割结果，更快的处理速度，以及更好的移植性。具体的，该模块用粗分割结果去计算分割的不确定性，再结合分割的像素空间信息以及高分辨率特征图像通过卷积层自己优化的方式去提高不确定性区域分割准确性，由于该模块可导，所以，可以移植性高，同时处理速度快，在保证图像分割精度的同时，也能够保证实时性。
请参阅图3A，图3A是本申请实施例提供了一种图像分割模型训练方法的流程示意图，应用于上述训练设备120或者终端200，如图所示，本图像分割模型训练方法包括以下操作。
301、获取用于训练预设的目标分割精修模块的训练数据，所述训练数据包括样本图像集以及目标图像集，所述样本图像集包括多个样本图像，所述目标图像集包括多个目标图像，每一所述样本图像均对应一个所述目标图像，所述目标图像为所述样本图像对应的实际分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数。
其中，预设的目标分割精修模块可以为包括M个卷积层，所述M为正整数。样本图像集可以包括多个样本图像，目标图像集可以包括多个目标图像，目标图像可以为样本图像对应的实际分割结果图像，该实际分割结果图像可以通过人为方式对样本图像精修处理得到，每一样本图像包括目标对象。
可选的，所述目标分割精修模块具备可导属性。
302、确定每一所述样本图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像。
可选的，上述步骤302，确定所述样本图像的高分辨率特征图像和第一分割结果图像，可以包括如下步骤A321-A322：
A321、将所述样本图像输入到第一目标分割网络，得到所述高分辨率特征图像和第三分割结果图像；
A322、对所述第三分割结果图像进行N倍上采样，得到所述第一分割结果图像，所述N为满足2的整数倍的正整数。
其中，第一目标分割网络可以为用于实现图像分割的网络，第一目标分割网络可以为以下至少一种：语义分割网络、ResNet、ReNet、GoogLeNet、AlexNet、VGG、BiSeNet、DeepLab等等，在此不作限定。
具体实现中，如图3B所示，在将样本图像输入到第一目标分割网络之后，可以从第一目标分割网络的前几层输出高分辨率特征图像，第一目标分割网络的最后一层可以输出第三分割结果图像，由于第三分割结果图像相对于样本图像尺寸可能变小了，因此，需要对第三分割结果图像进行上采样，以使得第三分割结果图像的尺寸大小与高分辨率特征图像或者样本图像的尺寸大小一致，上采样之后则可以得到第一分割结果图像。
可选的，上述步骤302，确定所述样本图像的高分辨率特征图像和第一分割结果图像，可以包括如下步骤B321-B323：
B321、将所述样本图像输入到高分辨率网络，得到所述高分辨率特征图像；
B322、将所述样本图像输入到第二目标分割网络，得到第四分割结果图像；
B323、对所述第四分割结果图像进行P倍上采样，得到所述第一分割结果图像，所述P为满足2的整数倍的正整数。
其中，高分辨率网络可以用于为提取样本图像的高分辨率图像特征的网络，例如，高分辨率网络可以为高分辨网络HRNet。第二目标分割网络可以为以下至少一种：语义分割网络、ResNet、ReNet、GoogLeNet、AlexNet、VGG、BiSeNet、DeepLab等等，在此不作限定。如图3C所示，在将样本图像输入到第二目标分割网络之后，第二目标分割网络的最后一层可以输出第四分割结果图像，由于第四分割结果图像相对于样本图像尺寸可能变小了，因此，需要对第四分割结果图像进行上采样，以使得第四分割结果图像的尺寸大小与高分辨率特征图像或者样本图像的尺寸大小一致，上采样之后则可以得到第一分割结果图像。
303、根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率。
可选的，上述步骤303，根据所述第一分割结果图像确定不确定性图像，可以包括如下步骤331-332：
331、确定所述第一分割结果图像的前景概率图像和背景概率图像；
332、根据所述前景概率图像和所述背景概率图像确定所述不确定性图像。
304、将所述高分辨率特征图像、所述不确定性图像输入到所述目标分割精修模块进行精修，得到第二分割结果图像。
可选的，上述步骤304，将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，可以包括如下步骤341-342：
341、将所述高分辨率特征图像和所述不确定性图像进行级联，得到级联图像；
342、将所述级联图像输入到所述目标分割精修模块进行精修，得到所述第二分割结果图像。
其中，上述步骤301-步骤304的具体描述可以参照上述图2A所描述的图像处理方法的相关步骤，在此不再赘述。
305、根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整，直到达到训练终止条件。
其中，目标分割精修模块的模型参数可以为控制目标分割精修模块的精修精度或者效果的参数，例如，卷积核大小、卷积层层数等等，在此不做限定。具体地，可以根据第二分割结果图像和其对应的目标图像构造损失函数，基于该损失函数对目标分割精修模块的模型参数进行调整，直到达到训练终止条件为止。训练终止条件可以由用户自行设置或者系统默认，训练终止条件可以包括以下任一种：达到预设训练轮次、所述第一损失函数收敛、第一损失函数达到设定阈值。
可选的，上述步骤305，根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整，可以包括如下步骤：
51、通过所述第二分割结果图像和其对应的目标图像构造第一损失函数，所述第一损失函数用于表征所述第二分割结果图像与其对应的目标图像之间的差异；
52、利用所述第一损失函数对所述目标分割精修模块进行迭代训练，直到达到所述训练终止条件。
具体实现中，可以基于如下公式(2)，通过第二分割结果图像和其对应的目标图像构造第一损失函数，第一损失函数用于表征第二分割结果图像与其对应的目标图像之间的差异，再基于第一损失函数对目标分割精修模块进行迭代训练，在达到训练终止条件时，可以将此时的目标分割精修模块的模型参数作为目标分割精修模块应用阶段的模型参数。
具体实现中，可以采用如下公式(2)计算损失函数：
Figure BDA0003194335590000081
其中，L表示损失函数，yj表示样本j的标签概率，该标签取1时，其它标签取0，Sj是第j个类别的概率，由以下公式计算得到。
Figure BDA0003194335590000091
其中，αj表示目标分割精修模块输出结果的第j个通道对应图像，T表示通道数量。
进一步的，在训练阶段，还可以第二分割结果图像S、第一分割结果图像S’都采用公式(2)计算损失函数，即可以得到第一损失函数L1和第二损失函数L2，最终的目标函数如下：
O＝w1*L1+w2*L2 (4)
其中，w1、w2均为正数，w1、w2可以由用户自行设置或者系统默认，例如，w1＝1，w2＝1，O表示目标函数。通过该最终的目标函数实现模型训练过程。
进一步地，具体实现中，还可以例如，采用优化器对目标函数或者损失函数进行优化，即更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数，优化器可以包括以下至少一种：BGD优化器、SGD优化器、MBGD优化器等等，在此不做限定。例如，本申请实施例中，可以以SGD优化器，以初始学习率为0.003，指数式衰减的方式，batch大小设为8，总共训练240epoch。
举例说明下，如图3B或图3C所示，可以根据目标图像和第二分割结果图像构造第一损失函数，进而，利用该第一损失函数对目标分割精修模块的模型参数进行调节；或者，根据目标图像和第二分割结果图像构造第一损失函数，以及根据目标图像和第一分割结果图像构造第二损失函数，通过第一损失函数和第二损失函数构造目标函数，利用目标函数对第一目标分割网络以及目标分割精修模块的模型参数进行调节。
可以看出，本申请实施例中，获取用于训练预设的目标分割精修模块的训练数据，训练数据包括样本图像集以及目标图像集，样本图像集包括多个样本图像，目标图像集包括多个目标图像，每一样本图像均对应一个目标图像，目标图像为样本图像对应的实际分割结果图像，目标分割精修模块包括M个卷积层，M为正整数，确定每一样本图像的高分辨率特征图像和第一分割结果图像，高分辨率特征图像为包含高分辨率图像特征的图像，根据第一分割结果图像确定不确定性图像，不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率，将高分辨率特征图像、不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，根据第二分割结果图像和其对应的目标图像对目标分割精修模块的模型参数进行调整，直到达到训练终止条件，由于不确定性图像包含不确定像素的空间信息以及不确定强度信息，而高分辨率特征图像提供高分辨率特征，卷积层则可以利用到像素的空间信息、不确定强度信息，以及像素对应的图像特征来精修分割结果，且高分辨率特征图像能够在分割过程中提供精准指导作用，能够提升目标分割精修模块的精修精度，还有助于提升目标分割精度。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本申请实施例提供一种图像处理装置，该图像处理装置可以为终端200。具体的，图像处理装置用于执行以上图像处理方法中终端所执行的步骤。本申请实施例提供的图像处理装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图4示出上述实施例中所涉及的图像处理装置的一种可能的结构示意图。如图4所示，图像处理装置包括获取单元401、确定单元402和精修单元403，其中，
所述获取单元401，用于获取待处理图像；
所述确定单元402，用于确定所述待处理图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；以及根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
所述精修单元403，用于将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数。
可选的，在所述根据所述第一分割结果图像确定不确定性图像方面，所述确定单元402具体用于：
确定所述第一分割结果图像的前景概率图像和背景概率图像；
根据所述前景概率图像和所述背景概率图像确定所述不确定性图像。
可选的，在所述将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像方面，所述精修单元403具体用于：
将所述高分辨率特征图像和所述不确定性图像进行级联，得到级联图像；
将所述级联图像输入到所述目标分割精修模块进行精修，得到所述第二分割结果图像。
可选的，在所述确定所述待处理图像的高分辨率特征图像和第一分割结果图像方面，所述确定单元402具体用于：
将所述待处理图像输入到第一目标分割网络，得到所述高分辨率特征图像和第三分割结果图像；
对所述第三分割结果图像进行N倍上采样，得到所述第一分割结果图像，所述N为满足2的整数倍的正整数。
可选的，在所述确定所述待处理图像的高分辨率特征图像和第一分割结果图像方面，所述确定单元402具体用于：
将所述待处理图像输入到高分辨率网络，得到所述高分辨率特征图像；
将所述待处理图像输入到第二目标分割网络，得到第四分割结果图像；
对所述第四分割结果图像进行P倍上采样，得到所述第一分割结果图像，所述P为满足2的整数倍的正整数。
可选的，所述目标分割精修模块具备可导属性。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的图像处理装置包括但不限于上述模块，例如：图像处理装置还可以包括存储单元404。存储单元404可以用于存储该图像处理装置的程序代码和数据。
在采用集成的单元的情况下，本申请实施例提供的图像处理装置的结构示意图如图5所示。在图5中，图像处理装置5包括：处理模块50和通信模块51。处理模块50用于对图像处理装置的动作进行控制管理，例如，获取单元401、确定单元402、精修单元403执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块51用于支持图像处理装置与其他设备之间的交互。如图5所示，图像处理装置还可以包括存储模块52，存储模块52用于存储图像处理装置的程序代码和数据，例如存储上述存储单元404所保存的内容。
其中，处理模块50可以是处理器或控制器，例如可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块51可以是收发器、RF电路或通信接口等。存储模块52可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述图像处理装置均可执行上述图2A所示的图像处理方法中终端所执行的步骤。
本申请实施例提供一种图像分割模型训练装置，该图像分割模型训练装置可以为终端200。具体的，图像分割模型训练装置用于执行以上图像处理方法中终端所执行的步骤。本申请实施例提供的图像分割训练装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对图像分割训练装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块即可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图6示出上述实施例中所涉及的图像分割模型训练装置的一种可能的结构示意图。如图6所示，图像分割模型训练装置可以包括获取单元601、确定单元602、精修单元603和调整单元604，其中，
所述获取单元601，用于获取用于训练预设的目标分割精修模块的训练数据，所述训练数据包括样本图像集以及目标图像集，所述样本图像集包括多个样本图像，所述目标图像集包括多个目标图像，每一所述样本图像均对应一个所述目标图像，所述目标图像为所述样本图像对应的实际分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数；
所述确定单元602，用于确定每一所述样本图像的高分辨率特征图像和第一分割结果图像；以及根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
所述精修单元603，用于将所述高分辨率特征图像、所述不确定性图像输入到所述目标分割精修模块进行精修，得到第二分割结果图像；
所述调整单元604，用于根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整，直到达到训练终止条件。
可选的，在所述根据所述第一分割结果图像确定不确定性图像方面，所述确定单元602具体用于：
确定所述第一分割结果图像的前景概率图像和背景概率图像；
根据所述前景概率图像和所述背景概率图像确定所述不确定性图像。
可选的，在所述将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像方面，所述精修单元603具体用于：
将所述高分辨率特征图像和所述不确定性图像进行级联，得到级联图像；
将所述级联图像输入到所述目标分割精修模块进行精修，得到所述第二分割结果图像。
可选的，在所述确定所述样本图像的高分辨率特征图像和第一分割结果图像方面，所述确定单元602具体用于：
将所述样本图像输入到第一目标分割网络，得到所述高分辨率特征图像和第三分割结果图像；
对所述第三分割结果图像进行N倍上采样，得到所述第一分割结果图像，所述N为满足2的整数倍的正整数。
可选的，在所述确定所述样本图像的高分辨率特征图像和第一分割结果图像方面，所述确定单元602具体用于：
将所述样本图像输入到高分辨率网络，得到所述高分辨率特征图像；
将所述样本图像输入到第二目标分割网络，得到第四分割结果图像；
对所述第四分割结果图像进行P倍上采样，得到所述第一分割结果图像，所述P为满足2的整数倍的正整数。
可选的，所述目标分割精修模块具备可导属性。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的图像分割模型训练装置包括但不限于上述模块，例如：图像分割模型训练装置还可以包括存储单元605。存储单元605可以用于存储该图像分割模型训练装置的程序代码和数据。
可选的，在所述根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整方面，所述调整单元604具体用于：
通过所述第二分割结果图像和其对应的目标图像构造第一损失函数，所述第一损失函数用于表征所述第二分割结果图像与其对应的目标图像之间的差异；
利用所述第一损失函数对所述目标分割精修模块进行迭代训练，直到达到所述训练终止条件。
在采用集成的单元的情况下，本申请实施例提供的图像分割模型训练装置的结构示意图如图7所示。在图7中，图像分割模型训练装置7包括：处理模块70和通信模块71。处理模块70用于对图像分割模型训练装置的动作进行控制管理，例如，获取单元601、确定单元602、精修单元603和调整单元604执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块71用于支持图像分割模型训练装置与其他设备之间的交互。如图7所示，图像分割模型训练装置还可以包括存储模块72，存储模块72用于存储图像分割模型训练装置的程序代码和数据，例如存储上述存储单元605所保存的内容。
其中，处理模块70可以是处理器或控制器，例如可以是中央处理器CPU，通用处理器，数字信号处理器DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块71可以是收发器、RF电路或通信接口等。存储模块72可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述图像分割模型训练装置均可执行上述图3A所示的图像处理方法中终端所执行的步骤。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，例如，上述计算机包括终端。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，例如，上述计算机包括终端。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (17)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
确定所述待处理图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；
根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一分割结果图像确定不确定性图像，包括：
确定所述第一分割结果图像的前景概率图像和背景概率图像；
根据所述前景概率图像和所述背景概率图像确定所述不确定性图像。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，包括：
将所述高分辨率特征图像和所述不确定性图像进行级联，得到级联图像；
将所述级联图像输入到所述目标分割精修模块进行精修，得到所述第二分割结果图像。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述确定所述待处理图像的高分辨率特征图像和第一分割结果图像，包括：
将所述待处理图像输入到第一目标分割网络，得到所述高分辨率特征图像和第三分割结果图像；
对所述第三分割结果图像进行N倍上采样，得到所述第一分割结果图像，所述N为满足2的整数倍的正整数。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述确定所述待处理图像的高分辨率特征图像和第一分割结果图像，包括：
将所述待处理图像输入到高分辨率网络，得到所述高分辨率特征图像；
将所述待处理图像输入到第二目标分割网络，得到第四分割结果图像；
对所述第四分割结果图像进行P倍上采样，得到所述第一分割结果图像，所述P为满足2的整数倍的正整数。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标分割精修模块具备可导属性。
7.一种图像分割模型训练方法，其特征在于，所述方法包括：
获取用于训练预设的目标分割精修模块的训练数据，所述训练数据包括样本图像集以及目标图像集，所述样本图像集包括多个样本图像，所述目标图像集包括多个目标图像，每一所述样本图像均对应一个所述目标图像，所述目标图像为所述样本图像对应的实际分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数；
确定每一所述样本图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；
根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
将所述高分辨率特征图像、所述不确定性图像输入到所述目标分割精修模块进行精修，得到第二分割结果图像；
根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整，直到达到训练终止条件。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一分割结果图像确定不确定性图像，包括：
确定所述第一分割结果图像的前景概率图像和背景概率图像；
根据所述前景概率图像和所述背景概率图像确定所述不确定性图像。
9.根据权利要求7或8所述的方法，其特征在于，所述将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，包括：
将所述高分辨率特征图像和所述不确定性图像进行级联，得到级联图像；
将所述级联图像输入到所述目标分割精修模块进行精修，得到所述第二分割结果图像。
10.根据权利要求7-9任一项所述的方法，其特征在于，所述确定所述样本图像的高分辨率特征图像和第一分割结果图像，包括：
将所述样本图像输入到第一目标分割网络，得到所述高分辨率特征图像和第三分割结果图像；
对所述第三分割结果图像进行N倍上采样，得到所述第一分割结果图像，所述N为满足2的整数倍的正整数。
11.根据权利要求7-9任一项所述的方法，其特征在于，所述确定所述样本图像的高分辨率特征图像和第一分割结果图像，包括：
将所述样本图像输入到高分辨率网络，得到所述高分辨率特征图像；
将所述样本图像输入到第二目标分割网络，得到第四分割结果图像；
对所述第四分割结果图像进行P倍上采样，得到所述第一分割结果图像，所述P为满足2的整数倍的正整数。
12.根据权利要求7-11任一项所述的方法，其特征在于，所述目标分割精修模块具备可导属性。
13.根据权利要求7-12任一项所述的方法，其特征在于，所述根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整，包括：
通过所述第二分割结果图像和其对应的目标图像构造第一损失函数，所述第一损失函数用于表征所述第二分割结果图像与其对应的目标图像之间的差异；
利用所述第一损失函数对所述目标分割精修模块进行迭代训练，直到达到所述训练终止条件。
14.一种图像处理装置，其特征在于，所述装置包括：获取单元、确定单元和精修单元，其中，
所述获取单元，用于获取待处理图像；
所述确定单元，用于确定所述待处理图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；以及根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
所述精修单元，用于将所述高分辨率特征图像、所述不确定性图像输入到目标分割精修模块进行精修，得到第二分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数。
15.一种图像分割模型训练装置，其特征在于，所述装置包括：获取单元、确定单元、精修单元和调整单元，其中，
所述获取单元，用于获取用于训练预设的目标分割精修模块的训练数据，所述训练数据包括样本图像集以及目标图像集，所述样本图像集包括多个样本图像，所述目标图像集包括多个目标图像，每一所述样本图像均对应一个所述目标图像，所述目标图像为所述样本图像对应的实际分割结果图像，所述目标分割精修模块包括M个卷积层，所述M为正整数；
所述确定单元，用于确定每一所述样本图像的高分辨率特征图像和第一分割结果图像，所述高分辨率特征图像为包含高分辨率图像特征的图像；以及根据所述第一分割结果图像确定不确定性图像，所述不确定性图像中的每一像素值用于表述该像素值为背景或者前景的不确定性概率；
所述精修单元，用于将所述高分辨率特征图像、所述不确定性图像输入到所述目标分割精修模块进行精修，得到第二分割结果图像；
所述调整单元，用于根据所述第二分割结果图像和其对应的目标图像对所述目标分割精修模块的模型参数进行调整，直到达到训练终止条件。
16.一种终端，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-13任一项所述的方法中的步骤的指令。
17.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-13任一项所述的方法。
CN202110889894.4A 2021-08-03 2021-08-03 图像处理方法、图像分割模型训练方法及相关装置 Pending CN113628221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110889894.4A CN113628221A (zh) 2021-08-03 2021-08-03 图像处理方法、图像分割模型训练方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110889894.4A CN113628221A (zh) 2021-08-03 2021-08-03 图像处理方法、图像分割模型训练方法及相关装置

Publications (1)

Publication Number Publication Date
CN113628221A true CN113628221A (zh) 2021-11-09

Family

ID=78382493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110889894.4A Pending CN113628221A (zh) 2021-08-03 2021-08-03 图像处理方法、图像分割模型训练方法及相关装置

Country Status (1)

Country Link
CN (1) CN113628221A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913187A (zh) * 2022-05-25 2022-08-16 北京百度网讯科技有限公司 图像分割方法、训练方法、装置、电子设备以及存储介质
CN117934973A (zh) * 2024-03-21 2024-04-26 深圳市瀚晖威视科技有限公司 智能摄像机图像处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707864A (zh) * 2011-03-28 2012-10-03 日电（中国）有限公司 基于混合标记的对象分割方法和系统
CN108961303A (zh) * 2018-07-23 2018-12-07 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
CN110930296A (zh) * 2019-11-20 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111369582A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
CN113034505A (zh) * 2021-04-30 2021-06-25 杭州师范大学 一种基于边缘感知网络的腺体细胞图像分割方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707864A (zh) * 2011-03-28 2012-10-03 日电（中国）有限公司 基于混合标记的对象分割方法和系统
CN108961303A (zh) * 2018-07-23 2018-12-07 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
CN110930296A (zh) * 2019-11-20 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111369582A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
CN113034505A (zh) * 2021-04-30 2021-06-25 杭州师范大学 一种基于边缘感知网络的腺体细胞图像分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡亮;金日浩;赵阔;李洁;: "快速图像分割和抠图技术研究", 吉林大学学报(信息科学版), no. 06, 15 November 2013 (2013-11-15), pages 17 - 23 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913187A (zh) * 2022-05-25 2022-08-16 北京百度网讯科技有限公司 图像分割方法、训练方法、装置、电子设备以及存储介质
CN117934973A (zh) * 2024-03-21 2024-04-26 深圳市瀚晖威视科技有限公司 智能摄像机图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110458107B (zh) 用于图像识别的方法和装置
WO2022022274A1 (zh) 一种模型训练方法及装置
JP2022505775A (ja) 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム
CN111583154B (zh) 图像处理方法、肤质美化模型训练方法及相关装置
CN111104962A (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
US20190116323A1 (en) Method and system for providing camera effect
DE112020003547T5 (de) Transfer Learning für neuronale Netzwerke
WO2022179581A1 (zh) 一种图像处理方法及相关设备
CN110363753B (zh) 图像质量评估方法、装置及电子设备
CN113628221A (zh) 图像处理方法、图像分割模型训练方法及相关装置
CN111414915B (zh) 一种文字识别方法以及相关设备
JP2022088588A (ja) 画像画質補強方法、装置、機器および媒体
CN111445486A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN113449859A (zh) 一种数据处理方法及其装置
WO2024083121A1 (zh) 一种数据处理方法及其装置
WO2023185671A1 (zh) 风格图像生成方法、装置、设备及介质
CN110211017B (zh) 图像处理方法、装置及电子设备
CN111311480A (zh) 图像融合方法和装置
WO2022179603A1 (zh) 一种增强现实方法及其相关设备
WO2019062411A1 (zh) 后台应用程序管控方法、存储介质及电子设备
CN112966592A (zh) 手部关键点检测方法、装置、设备和介质
CN117216710A (zh) 多模态自动标注方法、标注模型的训练方法及相关设备
CN109410121B (zh) 人像胡须生成方法及装置
CN116258176A (zh) 一种数据处理方法及其装置
US20230036366A1 (en) Image attribute classification method, apparatus, electronic device, medium and program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination