CN111353442A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111353442A
CN111353442A CN202010140728.XA CN202010140728A CN111353442A CN 111353442 A CN111353442 A CN 111353442A CN 202010140728 A CN202010140728 A CN 202010140728A CN 111353442 A CN111353442 A CN 111353442A
Authority
CN
China
Prior art keywords
feature
network
map
probability
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010140728.XA
Other languages
English (en)
Inventor
刘钰安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010140728.XA priority Critical patent/CN111353442A/zh
Publication of CN111353442A publication Critical patent/CN111353442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质，属于图像处理技术领域。所述方法包括：将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过该特征提取网络对该目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过该特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过该特征上采样网络对该融合特征图进行上采样处理，得到概率图，该概率图包括该目标人物图像中的每个像素位于目标人体区域内的概率值；根据该概率图对该目标人物图像中的该目标人体区域进行识别。本申请实施例提供的技术方案能够保证从人物图像中识别出的人体区域的准确性。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着数字摄影技术的长足发展，越来越多的用户选择使用终端拍摄图像，其中，人物图像是用户较常拍摄的一类图像。
在很多情况下，终端拍摄到的人物图像在美观程度上并不能满足用户的需求。实际应用中，为了提高人物图像的美观程度，终端可以对人物图像中局部的人体区域进行美化处理，例如，终端可以对眼部进行放大处理，对脸部进行缩小处理，对头发进行换色处理等等。
其中，对局部人体区域进行美化处理的前提条件是终端能够从人物图像中识别出人体区域，当前，如何保证从人物图像中识别出的人体区域的准确性，已经成为了一个亟待解决的问题。
发明内容
基于此，本申请实施例提供了一种图像处理方法、装置、设备及存储介质，可以保证从人物图像中识别出的人体区域的准确性。
第一方面，提供了一种图像处理方法，该方法包括：
将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过该特征提取网络对该目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过该特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过该特征上采样网络对该融合特征图进行上采样处理，得到概率图，该概率图包括该目标人物图像中的每个像素位于目标人体区域内的概率值；根据该概率图对该目标人物图像中的该目标人体区域进行识别。
第二方面，提供了一种图像处理装置，该装置包括：
概率图获取模块，用于将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过该特征提取网络对该目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过该特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过该特征上采样网络对该融合特征图进行上采样处理，得到概率图，该概率图包括该目标人物图像中的每个像素位于目标人体区域内的概率值；
识别模块，用于根据该概率图对该目标人物图像中的该目标人体区域进行识别。
第三方面，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现如上述第一方面任一所述的图像处理方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一所述的图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过将目标人物图像输入至级联的特征提取网络、特征金字塔网络和特征上采样网络中，从而通过特征提取网络对目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，并通过特征上采样网络对该融合特征图进行上采样处理，得到概率图，在得到概率图之后，可以根据该概率图对目标人物图像中的目标人体区域进行识别，由于通常情况下，尺寸较大的特征图蕴含有较多的位置信息，而尺寸较小的特征图蕴含有较多的特征信息，因此，本申请实施例将多个不同尺寸的初始特征图进行融合处理后得到的融合特征图兼具有较多的位置信息和较多的特征信息，则利用该融合特征图得到的概率图就较为准确，继而，根据该概率图对目标人物图像中的目标人体区域进行识别的准确性就较高。
附图说明
图1为本申请实施例提供的一种实施环境的示意图；
图2为本申请实施例提供的一种图像处理方法的流程图；
图3为本申请实施例提供的一种对头发区域进行换色处理的示意图；
图4为本申请实施例提供的一种终端通过特征金字塔网络对多个不同尺寸的初始特征图进行融合处理，得到融合特征图的流程图；
图5为本申请实施例提供的一种终端通过特征上采样网络对融合特征图进行上采样处理得到概率图的流程图；
图6为本申请实施例提供的一种特征提取网路、特征金字塔网络和特征上采样网络的一种示例性的网络结构的示意图；
图7为本申请实施例提供的一种第一上采样网络块的结构示意图；
图8为本申请实施例提供的一种第二上采样网络块的结构示意图；
图9为本申请实施例提供的一种卷积网络块的结构示意图；
图10为本申请实施例提供的一种对特征提取网路、特征金字塔网络和特征上采样网络进行训练的流程图；
图11为本申请实施例提供的一种训练时所采用的网络的网络结构的示意图；
图12为本申请实施例提供的一种图像处理装置的框图；
图13为本申请实施例提供的另一种图像处理装置的框图；
图14为本申请实施例提供的一种计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
当前，对人物图像中的局部人体区域进行美化处理的图像处理方式在人们的日常生活中已经越来越常见了。容易理解地，对人物图像中的局部人体区域进行美化处理的前提条件是能够从人物图像中识别出人体区域。
在一些常见的人体区域识别方法中，可以对人物图像进行特征提取从而得到特征图，而后可以基于该特征图对人物图像中的人体区域进行识别。
然而，实际应用中，特征图中蕴含的信息与特征图的尺寸息息相关，通常情况下，尺寸较大(分辨率较高)的特征图蕴含的位置信息较多但蕴含的特征信息(也可以称为语义信息)较少，尺寸较小(分辨率较低)的特征图蕴含的位置信息较少但蕴含的特征信息较多。其中，位置信息有助于在人物图像中定位人体区域，而特征信息有助于在人物图像中分辨人体区域。
由于尺寸较大的特征图蕴含的位置信息较多但蕴含的特征信息较少，因此，根据尺寸较大的特征图对人物图像中的人体区域进行识别，通常可以得到识别结果(一般为定位到的图像区域)，但该识别结果的准确性较差，换句话说，根据尺寸较大的特征图对人物图像中的人体区域进行识别，通常可以识别到一个图像区域，但该图像区域为要识别的人体区域的概率较低。
此外，由于尺寸较小的特征图蕴含的位置信息较少，因此，根据尺寸较小的特征图对人物图像中的人体区域进行识别，在很多情况下甚至都无法得到识别结果，换句话说，根据尺寸较小的特征图对人物图像中的人体区域进行识别，在很多情况下无法识别到一个图像区域，特别是在要识别的人体区域尺寸较小的情况下，很大概率无法识别到一个图像区域。
上文所述的这些因素都导致对人物图像中的人体区域识别的准确性较低。
有鉴于此，本申请实施例提供了一种图像处理方法，在该图像处理方法中，可以将目标人物图像输入至级联的特征提取网络、特征金字塔网络和特征上采样网络中，从而通过特征提取网络对目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，并通过特征上采样网络对该融合特征图进行上采样处理，得到概率图，在得到概率图之后，可以根据该概率图对目标人物图像中的目标人体区域进行识别，由于通常情况下，尺寸较大的特征图蕴含有较多的位置信息，而尺寸较小的特征图蕴含有较多的特征信息，因此，本申请实施例将多个不同尺寸的初始特征图进行融合处理后得到的融合特征图兼具有较多的位置信息和较多的特征信息，则利用该融合特征图得到的概率图就较为准确，继而，根据该概率图对目标人物图像中的目标人体区域进行识别的准确性就较高。
下面，将对本申请实施例提供的图像处理方法所涉及到的实施环境进行简要说明。
图1为本申请实施例提供的图像处理方法所涉及到的一种实施环境的示意图，如图1所示，该实施环境可以包括服务器101和终端102，服务器101和终端102之间可以通过有线网络或无线网络进行通信。
其中，终端102可以为智能手机、平板电脑、可穿戴设备、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、电子书阅读器或者车载设备等。服务器101可以为一台服务器，也可以为由多台服务器组成的服务器集群。
在图1所示的实施环境中，终端102可以将人物图像发送至服务器101。服务器101可以基于本申请实施例提供的图像处理方法，从该人物图像中识别出人体区域，并将识别结果返回给终端102。
当然，在一些可能的实现方式中，本申请实施例提供的图像处理方法所涉及到的实施环境可以仅包括终端102。
在实施环境仅包括终端102的情况下，终端102在获取到人物图像之后，可以直接基于本申请实施例提供的图像处理方法，从该人物图像中识别出人体区域。
请参考图2，其示出了本申请实施例提供的一种图像处理方法的流程图，该图像处理方法可以应用于上文所述的服务器101或者终端102中，本申请实施例仅以该图像处理方法应用于终端102中为例进行说明，该图像处理方法应用于服务器101时的技术过程与该图像处理方法应用于终端102时的技术过程同理，本申请实施例对其不再赘述。如图2所示，该图像处理方法可以包括以下步骤：
步骤201、终端将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过特征提取网络对目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过特征上采样网络对该融合特征图进行上采样处理，得到概率图。
其中，目标人物图像为人物的图像，该目标人物图像可以包括目标人体区域，该目标人体区域为需要进行识别的人体区域，例如，该目标人体区域可以为眼睛区域、鼻子区域或者头发区域等。
可选的，在本申请的一个实施例中，在将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中之前，可以先对目标人物图像进行预处理，例如，该预处理可以包括裁剪处理以及归一化处理等。
在本申请的一个可选的实施例中，特征提取网络可以包括级联的n个特征提取层，其中，第1个特征提取层的输入为该目标人物图像，第1个特征提取层可以对目标人物图像进行特征提取，并输出初始特征图，第k(k为大于1小于等于n的正整数)个特征提取层的输入为第k-1个特征提取层输出的初始特征图，第k个特征提取层可以对第k-1个特征提取层输出的初始特征图进行特征提取，并输出初始特征图。特征提取网络可以将各个特征提取层输出的初始特征图输入至特征金字塔网络中。
需要指出的是，初始特征图本质上是一个矩阵，该矩阵中的矩阵元素即为特征提取层提取出的特征。初始特征图的尺寸指的是矩阵的大小，例如，若初始特征图是一个u*v的矩阵，那么初始特征图的尺寸即为u*v。
在本申请的一个可选的实施例中，特征提取网络中的特征提取层可以对输入(该输入为目标人物图像或者初始特征图)进行下采样的特征提取。由于特征提取层可以进行下采样的特征提取，因此，特征提取层输出的初始特征图的尺寸小于特征提取层的输入(该输入为目标人物图像或者初始特征图)的尺寸，故而，特征提取网络中各特征提取层输出的初始特征图尺寸不同，且，越深层的特征提取层输出的初始特征图的尺寸越小。
在本申请的一个可选的实施例中，特征提取网络可以利用MobileNetV2、ShuffleNet、MobileNetV3等网络实现，其中，MobileNetV2网络的特征提取能力较强，而且，其较为轻量级，可以方便地部署于终端等移动设备中。
如上文所述，特征金字塔网络可以对不同尺寸的初始特征图进行融合处理，从而得到融合特征图，换句话说，特征金字塔网络可以对较大尺寸的初始特征图和较小尺寸的初始特征图进行融合处理，得到融合特征图。由于尺寸较大的特征图蕴含有较多的位置信息，而尺寸较小的特征图蕴含有较多的特征信息，因此，本申请实施例将多个不同尺寸的初始特征图进行融合处理后得到的融合特征图兼具有较多的位置信息和较多的特征信息。
其中，特征金字塔网络对不同尺寸的初始特征图进行融合处理的方式在下述方法实施例中进行说明。
在本申请实施例中，特征上采样网络可以对融合特征图进行上采样处理，从而得到概率图。
概率图本质上也是一个矩阵，该矩阵的大小即为概率图的尺寸，在本申请实施例中，经过对融合特征图进行上采样处理后得到的概率图的尺寸与目标人物图像的尺寸相等，因此，概率图中的矩阵元素与目标人物图像中的像素具有一一对应的关系。
概率图中的矩阵元素为概率值，该概率值用于指示与该概率值对应的目标人物图像中的像素位于目标人体区域内的概率。
步骤202、终端根据概率图对目标人物图像中的目标人体区域进行识别。
在本申请的一个可选的实施例中，在得到概率图之后，终端可以根据目标概率阈值对概率图进行二值化处理，也即是，终端可以将概率图中大于目标概率阈值的概率值设置为第一值，将概率图中小于或等于目标概率阈值的概率值设置为第二值。其中，目标概率阈值、第一值和第二值均可以由技术人员进行设定，本申请实施例对其不做具体限定。
经过二值化处理后，终端可以输出掩模图，该掩模图本质上是一个矩阵，该矩阵中的每一个矩阵元素均为第一值或者第二值。
终端可以从掩模图中确定目标区域，其中，该目标区域内的矩阵元素均为第一值，而后，终端可以将目标人物图像中与该目标区域相对应的区域确定为目标人体区域。
可选的，在从目标人物图像中识别出目标人体区域之后，终端可以对该目标人体区域进行美化处理，例如，在该目标人体区域为眼部区域时，终端可以对该眼部区域进行放大处理，在该目标人体区域为脸部区域时，终端可以对该脸部区域进行缩小处理，在该目标人体区域为头发区域时，终端可以对该头发区域进行换色处理。
下面，本申请实施例以对头发区域进行换色处理为例，对上文所述的美化处理过程进行说明。
请参考图3，图3为对头发区域进行换色处理的示意图。如图3所示，终端可以先将目标色分解为RGB三个颜色通道所分别对应的颜色值，而后，终端可以将该RGB三个颜色通道所分别对应的颜色值转换为HSV三个颜色空间所分别对应的值，同时，终端可以将目标人物图像T中的像素值分解为HSV三个颜色空间所分别对应的值，而后，终端可以利用目标色的H颜色空间对应的值替换目标人物图像T的H颜色空间对应的值，在替换完成之后，终端可以将目标人物图像T的替换之后的HSV三个颜色空间所分别对应的值转换为RGB三个颜色通道所分别对应的颜色值，从而得到变换人物图像，终端可以根据掩模图Y从该变换人物图像中识别出头发区域，而后，终端可以利用变换人物图像中的头发区域替换原始的目标人物图像T中的头发区域，从而得到最终的人物图像Z，该最终的人物图像Z中头发区域的颜色为该目标色。
在本申请实施例中，利用HSV颜色空间进行换色处理，可以使换色后的头发区域更加自然。
在本申请实施例提供的图像处理方法中，通过将目标人物图像输入至级联的特征提取网络、特征金字塔网络和特征上采样网络中，从而通过特征提取网络对目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，并通过特征上采样网络对该融合特征图进行上采样处理，得到概率图，在得到概率图之后，可以根据该概率图对目标人物图像中的目标人体区域进行识别，由于通常情况下，尺寸较大的特征图蕴含有较多的位置信息，而尺寸较小的特征图蕴含有较多的特征信息，因此，本申请实施例将多个不同尺寸的初始特征图进行融合处理后得到的融合特征图兼具有较多的位置信息和较多的特征信息，则利用该融合特征图得到的概率图就较为准确，继而，根据该概率图对目标人物图像中的目标人体区域进行识别的准确性就较高。
下面，本申请实施例将对终端通过特征金字塔网络对多个不同尺寸的初始特征图进行融合处理，得到融合特征图的技术过程进行简要说明，请参考图4，该技术过程可以包括以下步骤：
步骤401、终端按照尺寸由大到小的顺序对该多个不同尺寸的初始特征图进行排序，得到初始特征图序列。
例如，若特征提取网络输出了3个初始特征图，分别为初始特征图A、初始特征图B和初始特征图C，其中，初始特征图B的尺寸最大，初始特征图C的尺寸最小，则终端对该初始特征图A、初始特征图B和初始特征图C进行排序后得到的初始特征图序列为：初始特征图B、初始特征图A、初始特征图C。
步骤402、终端通过特征金字塔网络对初始特征图序列中每两个相邻的初始特征图进行融合处理，得到多个不同尺寸的融合特征图。
如上述举例，终端可以对初始特征图序列中相邻的初始特征图B以及初始特征图A进行融合处理，得到融合特征图1，同时，终端也可以对初始特征图序列中相邻的初始特征图A以及初始特征图C进行融合处理，得到融合特征图2，其中，融合特征图1和融合特征图2的尺寸不同。
下面，本申请实施例将对特征金字塔网络对两个相邻的初始特征图进行融合处理的过程进行简要说明，其中，假设该两个相邻的初始特征图为初始特征图序列中的第k个初始特征图和第k+1个初始特征图。
终端通过特征金字塔网络对第k个初始特征图进行卷积处理，得到第一候选特征图，终端通过特征金字塔网络对第k+1个初始特征图进行卷积处理以及上采样处理，得到第二候选特征图，其中，该第二候选特征图的尺寸与该第一候选特征图的尺寸相同，终端通过特征金字塔网络对该第一候选特征图和该第二候选特征图依次进行相加处理和卷积处理，得到第k个融合特征图。其中，这里所谓的“相加处理”指的是矩阵相加。
在上文所述实施例的基础上，本申请实施例将对终端通过特征上采样网络对融合特征图进行上采样处理得到概率图的技术过程进行简要说明，请参考图5，该技术过程可以包括以下步骤：
步骤501、终端通过特征上采样网络对多个不同尺寸的融合特征图分别进行卷积处理以及上采样处理，得到多个尺寸相同的处理特征图。
其中，该多个尺寸相同的处理特征图与该多个不同尺寸的融合特征图具有一一对应的关系。
步骤502、终端通过特征上采样网络对该多个尺寸相同的处理特征图进行相加处理，并根据相加处理的结果得到概率图。
需要指出的是，这里的“相加处理”指的是矩阵相加。可选的，在经过相加处理得到相加处理的结果(以下将其称为相加特征图)之后，终端可以通过特征上采样网络对该相加特征图进行卷积处理，从而得到概率图。可选的，若处理特征图的尺寸小于目标人物图像的尺寸，则在对相加特征图进行卷积处理之后，终端还可以通过特征上采样网络对卷积处理之后的相加特征图进行上采样处理，从而得到概率图，这样，就可以保证概率图的尺寸与目标人物图像的尺寸相同。
为了使读者方便理解本申请实施例提供的技术方案，下面，将结合特征提取网路、特征金字塔网络和特征上采样网络的一种示例性的网络结构，对终端获取概率图的过程进行说明。
请参考图6，如图6所示，特征提取网络w1、特征金字塔网络w2和特征上采样网络w3级联。
其中，特征提取网络w1可以包括4个特征提取层tc，其中，第1个特征提取层tc1的输入为目标人物图像T，第1个特征提取层tc1的输出为初始特征图c1，第2个特征提取层tc2的输入为初始特征图c1，第2个特征提取层tc2的输出为初始特征图c2，第3个特征提取层tc3的输入为初始特征图c2，第3个特征提取层tc3的输出为初始特征图c3，第4个特征提取层tc4的输入为初始特征图c3，第4个特征提取层tc4的输出为初始特征图c4。
其中，初始特征图c1的通道数为24，尺寸为目标人物图像T的1/4，初始特征图c2的通道数为32，尺寸为目标人物图像T的1/8，初始特征图c3的通道数为64，尺寸为目标人物图像T的1/16，初始特征图c4的通道数为320，尺寸为目标人物图像T的1/32。
特征金字塔网络w2可以分别对初始特征图c1、初始特征图c2、初始特征图c3以及初始特征图c4进行卷积处理(图6中采用conv代指卷积处理)。
特征金字塔网络w2可以对卷积处理后的初始特征图c2、卷积处理后的初始特征图c3以及卷积处理后的初始特征图c4分别进行双线性差值2倍上采样处理(图6中采用up2x代指双线性差值2倍上采样处理)。
特征金字塔网络w2可以对卷积处理后的初始特征图c1以及双线性差值2倍上采样处理后的初始特征图c2进行相加处理(图6中采用+号代指相加处理)，并对相加处理后的结果进行卷积处理，从而得到融合特征图r1；特征金字塔网络w2可以对卷积处理后的初始特征图c2以及双线性差值2倍上采样处理后的初始特征图c3进行相加处理，并对相加处理后的结果进行卷积处理，从而得到融合特征图r2；特征金字塔网络w2可以对卷积处理后的初始特征图c3以及双线性差值2倍上采样处理后的初始特征图c4进行相加处理，并对相加处理后的结果进行卷积处理，从而得到融合特征图r3；特征金字塔网络w2可以将卷积处理后的初始特征图c4作为融合特征图r4。
其中，融合特征图r1、融合特征图r2、融合特征图r3以及融合特征图r4的通道数均为128，融合特征图r1的尺寸为目标人物图像T的1/4，融合特征图r2的尺寸为目标人物图像T的1/8，融合特征图r3的尺寸为目标人物图像T的1/16，融合特征图r4的尺寸为目标人物图像T的1/32。
特征上采样网络w3包括第一上采样网络块cgr2x、第二上采样网络块sgr2x以及卷积网络块sgr。
请参考图7，该第一上采样网络块cgr2x包括卷积层conv、组正则化层(英文：GroupNormalization；简称：GN)、激活层ReLU以及双线性插值2倍上采样层up2x，其中，该卷积层conv输出的通道数为128。
请参考图8，该第二上采样网络块sgr2x包括卷积层conv、组正则化层GN、激活层ReLU以及双线性插值2倍上采样层up2x，其中，该卷积层conv输出的通道数为64。
请参考图9，该卷积网络块sgr包括卷积层conv、组正则化层GN和激活层ReLU，其中，该卷积层conv输出的通道数为64。
特征上采样网络w3可以将融合特征图r1输入至卷积网络块sgr中，得到该卷积网络块sgr输出的中间概率图1，该中间概率图1的尺寸为目标人物图像T的1/4，通道数为64。特征上采样网络w3可以将融合特征图r2输入至第二上采样网络块sgr2xr中，得到该第二上采样网络块sgr2x输出的中间概率图2，该中间概率图2的尺寸为目标人物图像T的1/4，通道数为64。特征上采样网络w3可以将融合特征图r3输入至级联的第一上采样网络块cgr2x和第二上采样网络块sgr2x中，得到该第二上采样网络块sgr2x输出的中间概率图3，该中间概率图3的尺寸为目标人物图像T的1/4，通道数为64。特征上采样网络w3可以将融合特征图r4输入至级联的第一上采样网络块cgr2x、第一上采样网络块cgr2x和第二上采样网络块sgr2x中，得到该第二上采样网络块sgr2x输出的中间概率图4，该中间概率图4的尺寸为目标人物图像T的1/4，通道数为64.
特征上采样网络w3可以对中间概率图1、中间概率图2、中间概率图3和中间概率图4进行相加处理，并对相加的结果依次进行卷积处理(conv)和4倍的上采样处理(up4x)，从而得到概率图，终端可以对该概率图进行二值化处理，得到掩模图Y。
下面，本申请实施例将对特征提取网路、特征金字塔网络和特征上采样网络的训练过程进行简要说明，可选的，训练使用的框架为PyTorch框架。需要说明的是，在本申请实施例中，可以由终端对特征提取网路、特征金字塔网络和特征上采样网络进行训练，也可以由服务器对特征提取网路、特征金字塔网络和特征上采样网络进行训练，请参考图10，该训练过程可以包括以下步骤：
步骤1001、获取目标训练集。
其中，该目标训练集包括训练人物图像以及与该训练人物图像对应的真实概率图，其中，真实概率图与训练人物图像的尺寸相等。其中，目标训练集为CelebAMASK-HQ数据集。
实际应用中，可以对训练人物图像进行数据增强处理，通过数据增强处理可以扩大目标训练集的大小，并可以增强训练后的特征提取网路、特征金字塔网络和特征上采样网络的鲁棒性。
其中，数据增强处理可以包括随机旋转、随机左右翻转、随机裁剪以及Gamma变换等处理。
步骤1002、将训练人物图像输入至级联的未经训练的初始特征提取网路和初始特征金字塔网络中，得到该初始特征金字塔网络输出的训练融合特征图，并将该训练融合特征图进行上采样处理，得到第一训练概率图。
其中，未经训练的初始特征提取网络与上文所述的训练好的特征提取网络的网络结构相同，只是参数不同，同样地，未经训练的初始特征金字塔网络与上文所述的训练好的特征金字塔网络的网络结构相同，只是参数不同。
基于此，级联的初始特征提取网络和初始特征金字塔网络对训练人物图像进行处理并输出训练融合特征图的过程，与上文中级联的特征提取网络和特征金字塔网络对目标人物图像进行处理并输出融合特征图的过程同理，本申请实施例在此不再赘述。
在训练过程中，得到训练融合特征图之后，还需要对该训练融合特征图进行上采样处理，从而得到第一训练概率图，其中，第一训练概率图的尺寸与训练人物图像的尺寸相等。
根据上文可知，训练好的特征金字塔网络输出的融合特征图的数量可以为多个，则同理的，未经训练的初始特征金字塔网络输出的训练融合特征图的数量也可以为多个。
在训练融合特征图的数量为多个的情况下，可以对该多个训练融合特征图分别进行上采样处理，从而得到多个第一训练概率图。
可选的，在本申请实施例中，可以在训练过程中引入深监督网络，该深监督网络与初始特征提取网络级联，该深监督网络用于对训练融合特征图进行上采样处理，并输出第一训练概率图。
需要指出的是，在本申请实施例中，深监督网络只在训练过程中使用，在训练之后，需要移除该深监督网络，只保留训练好的特征提取网络、特征金字塔网路和特征上采样网络。
还需要指出的是，在本申请的一个可选的实施例中，在将训练人物图像输入至级联的初始特征提取网路和初始特征金字塔网络之前，可以对该训练人物图像进行预处理，其中，该预处理可以包括随机裁剪处理和归一化处理等。
步骤1003、将训练融合特征图输入至未经训练的初始特征上采样网络中，得到初始特征上采样网络输出的第二训练概率图。
未经训练的初始特征上采样网络与上文所述的训练好的特征上采样网络的网络结构相同，只是参数不同。基于此，初始特征上采样网络对训练融合特征图进行上采样处理并输出第二训练概率图的过程，与上文中特征上采样网络对融合特征图进行上采样处理并输出概率图的过程同理，本申请实施例在此不再赘述。
需要指出的是，上文所述的第二训练概率图与训练人物图像的尺寸相等。
步骤1004、根据第一训练概率图以及第二训练概率图与训练人物图像对应的真实概率图之间的差异对初始特征提取网络、初始特征金字塔网络以及初始特征上采样网络的参数进行调整，得到经过训练的特征提取网路、特征金字塔网络和特征上采样网络。
其中，第一训练概率图以及第二训练概率图与真实概率图之间的差异采用交叉熵损失进行表征。
实际应用中，可以利用交叉熵损失构建损失函数，并根据该损失函数进行反向传播算法，通过反向传播算法对初始特征提取网络、该初始特征金字塔网络以及该初始特征上采样网络的参数进行调整，直至损失函数完全收敛时，即可停止对初始特征提取网络、该初始特征金字塔网络以及该初始特征上采样网络的参数进行调整，从而得到经过训练的该特征提取网路、该特征金字塔网络和该特征上采样网络。
可选的，在本申请实施例中，交叉熵损失的计算公式可以为：
Figure BDA0002398990440000131
其中，L为交叉熵损失，N为训练人物图像中像素的个数，yi为真实概率图中第i个概率值，pi为第一训练概率图或者第二训练概率图中第i个概率值。
可选的，在本申请实施例中，根据交叉熵损失构建的损失函数为：
Lz＝L1+L2。
其中，L1为第一训练概率图与真实概率图之间的交叉熵损失，L2为第二训练概率图与真实概率图之间的交叉熵损失。
需要指出的是，当第一训练概率图的数量为多个时，可以分别计算该多个第一训练概率图与真实概率图之间的交叉熵损失，并根据该多个第一训练概率图与真实概率图之间的交叉熵损失构建损失函数，也即是，将该多个第一训练概率图与真实概率图之间的交叉熵损失叠加并与第二训练概率图与真实概率图之间的交叉熵损失进行相加，从而构建损失函数。
本申请实施例在训练过程中引入了深监督网络，以通过该深监督网络对训练融合特征图进行上采样处理，从而得到第一训练概率图，则该第一训练概率图可以反映训练融合特征图中所蕴含的位置信息以及特征信息，同时，在对初始特征提取网络、初始特征金字塔网络以及初始特征上采样网络的参数进行调整时，引入了第一训练概率图与真实概率图之间的差异，也即是，在构建损失函数时，引入了第一训练概率图与真实概率图之间的交叉熵损失，这样，可以保证初始特征提取网络、初始特征金字塔网络以及初始特征上采样网络的参数调整受第一训练概率图的影响，也即是，受训练融合特征图中所蕴含的位置信息以及特征信息的影响，这样，可以提高训练后的特征提取网络、特征金字塔网络以及特征上采样网络的准确性，降低假阳性预测。
在训练完成之后，本申请实施例可以对训练好的特征提取网络、特征金字塔网络以及特征上采样网络进行评价，得到评价结果，下面，本申请实施例将对获取评价结果的技术过程进行简要说明。
A、获取目标评价集。
其中，该目标评价集包括评价人物图像以及与该评价人物图像对应的真实概率图。
B、将评价人物图像输入至级联的经过训练的特征提取网路、特征金字塔网络和特征上采样网络中，得到特征上采样网络输出的评价概率图。
C、根据该评价人物图像对应的真实概率图和该评价概率图中，满足预设条件的概率值所在区域的交并比确定特征提取网路、特征金字塔网络和特征上采样网络的评价结果。
其中，预设条件为大于目标概率阈值的条件。在本申请的一个可选的实施例中，可以对真实概率图和该评价概率图分别进行二值化处理，得到真实掩模图和评价掩模图，而后，可以计算该真实掩模图中第一值所在的区域与评价掩模图中第一值所在的区域的交并比，根据该交并比即可得到特征提取网路、特征金字塔网络和特征上采样网络的评价结果。
其中，交并比的计算公式为：
Figure BDA0002398990440000141
其中，IoU为交并比，X为真实概率图中满足预设条件的概率值所在区域，Y为评价概率图中满足预设条件的概率值所在区域。
为了使读者方便理解本申请实施例提供的训练方法，下面，将结合训练时所采用的网络的网络结构，对训练过程进行说明。
请参考图11，训练时所使用的网络结构包括初始特征提取网络cw1、初始特征金字塔网络cw2、初始特征上采样网络cw3以及深监督网络s。
其中，初始特征提取网络cw1、初始特征金字塔网络cw2以及初始特征上采样网络cw3的网络结构分别与图6中特征提取网络w1、特征金字塔网络w2以及特征上采样网络w3的网络结构同理，本申请实施例在此不再赘述。
初始特征提取网络cw1的输入为训练人物图像XT，输出为训练初始特征图cc1、训练初始特征图cc2、训练初始特征图cc3和训练初始特征图cc4，其中，训练初始特征图cc1的通道数为24，尺寸为目标人物图像的1/4，训练初始特征图cc2的通道数为32，尺寸为目标人物图像的1/8，训练初始特征图cc3的通道数为64，尺寸为目标人物图像的1/16，训练初始特征图cc4的通道数为320，尺寸为目标人物图像的1/32。
初始特征金字塔网络cw2的输出为训练融合特征图cr1、训练融合特征图cr2、训练融合特征图cr3以及训练融合特征图cr4，其中，训练融合特征图cr1、训练融合特征图cr2、训练融合特征图cr3以及训练融合特征图cr4的通道数均为128，训练融合特征图cr1的尺寸为目标人物图像的1/4，训练融合特征图cr2的尺寸为目标人物图像的1/8，训练融合特征图cr3的尺寸为目标人物图像的1/16，训练融合特征图cr4的尺寸为目标人物图像的1/32。
深监督网络s可以对训练融合特征图cr1进行4倍上采样(图11中采用up4x表示)，得到第一训练概率图x1，深监督网络s可以对训练融合特征图cr2进行8倍上采样(图11中采用up8x表示)，得到第一训练概率图x2，深监督网络s可以对训练融合特征图cr3进行16倍上采样(图11中采用up16x表示)，得到第一训练概率图x3，深监督网络s可以对训练融合特征图cr4进行32倍上采样(图11中采用up32x表示)，得到第一训练概率图x4。
同时，可以分别对第一训练概率图x1至x4进行二值化处理，得到第一训练掩模图cy1至cy4。
初始特征上采样网络cw3可以输出第二训练概率图，同时可以对第二训练图进行二值化处理，得到第二训练掩模图xy。
在训练过程中，可以根据第一训练概率图x1至x4以及第二训练概率图y与训练人物图像XT对应的真实概率图之间的差异对初始特征提取网络、初始特征金字塔网络以及初始特征上采样网络的参数进行调整，得到经过训练的特征提取网路、特征金字塔网络和特征上采样网络。
请参考图12，其示出了本申请实施例提供的一种图像处理装置1200的框图，该图像处理装置1200可以配置于配置于图1所示的服务器101或者终端102中。如图12所示，该图像处理装置1200可以包括：概率图获取模块1201以及识别模块1202。
其中，该概率图获取模块1201，用于将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过该特征提取网络对该目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过该特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过该特征上采样网络对该融合特征图进行上采样处理，得到概率图，该概率图包括该目标人物图像中的每个像素位于目标人体区域内的概率值。
该识别模块1202，用于根据该概率图对该目标人物图像中的该目标人体区域进行识别。
在本申请的一个实施例中，该概率图获取模块1201，具体用于：按照尺寸由大到小的顺序对该多个不同尺寸的初始特征图进行排序，得到初始特征图序列；通过该特征金字塔网络对该初始特征图序列中每两个相邻的初始特征图进行融合处理，得到多个不同尺寸的融合特征图。
在本申请的一个实施例中，该概率图获取模块1201，具体用于：通过该特征金字塔网络对该初始特征图序列中的第k个初始特征图进行卷积处理，得到第一候选特征图；通过该特征金字塔网络对该初始特征图序列中的第k+1个初始特征图进行卷积处理以及上采样处理，得到第二候选特征图，该第二候选特征图的尺寸与该第一候选特征图的尺寸相同；通过特征金字塔网络对该第一候选特征图和该第二候选特征图依次进行相加处理和卷积处理，得到第k个融合特征图。
在本申请的一个实施例中，该概率图获取模块1201，具体用于：通过该特征上采样网络对多个不同尺寸的融合特征图分别进行卷积处理以及上采样处理，得到多个尺寸相同的处理特征图；通过特征上采样网络对多个尺寸相同的处理特征图进行相加处理，根据相加处理的结果得到该概率图。
请参考图13，其示出了本申请实施例提供的另一种图像处理装置1300的框图，该图像处理装置1300除了包括图像处理装置1200包括的各个模块，还包括训练模块1203、评价模块1204以及换色模块1205。
其中，训练模块1203，用于获取目标训练集，该目标训练集包括训练人物图像以及与该训练人物图像对应的真实概率图；将该训练人物图像输入至级联的未经训练的初始特征提取网路和初始特征金字塔网络中，得到该初始特征金字塔网络输出的训练融合特征图，并将该训练融合特征进行上采样处理，得到第一训练概率图；将该训练融合特征图输入至未经训练的初始特征上采样网络中，得到该初始特征上采样网络输出的第二训练概率图；根据该第一训练概率图以及该第二训练概率图与该训练人物图像对应的真实概率图之间的差异对该初始特征提取网络、该初始特征金字塔网络以及该初始特征上采样网络的参数进行调整，得到经过训练的该特征提取网路、该特征金字塔网络和该特征上采样网络。
在本申请的一个实施例中，该第一训练概率图以及该第二训练概率图与该真实概率图之间的差异采用交叉熵损失进行表征。
该评价模块1204，用于获取目标评价集，该目标评价集包括评价人物图像以及与该评价人物图像对应的真实概率图；将该评价人物图像输入至级联的经过训练的该特征提取网路、该特征金字塔网络和该特征上采样网络中，得到该特征上采样网络输出的评价概率图；根据该评价人物图像对应的真实概率图和该评价概率图中，满足预设条件的概率值所在区域的交并比确定该特征提取网路、该特征金字塔网络和该特征上采样网络的评价结果。
在本申请的一个实施例中，目标人体区域可以为头发区域，该换色模块1205，用于对识别出的头发区域进行换色处理。
本申请实施例提供的图像处理装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在本申请的一个实施例中，提供了一种计算机设备，该计算机设备可以为终端或者服务器，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器和存储器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请的一个实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过该特征提取网络对该目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过该特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过该特征上采样网络对该融合特征图进行上采样处理，得到概率图，该概率图包括该目标人物图像中的每个像素位于目标人体区域内的概率值；根据该概率图对该目标人物图像中的该目标人体区域进行识别。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：按照尺寸由大到小的顺序对该多个不同尺寸的初始特征图进行排序，得到初始特征图序列；通过该特征金字塔网络对该初始特征图序列中每两个相邻的初始特征图进行融合处理，得到该多个不同尺寸的融合特征图。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：通过该特征金字塔网络对该初始特征图序列中的第k个初始特征图进行卷积处理，得到第一候选特征图；通过该特征金字塔网络对该初始特征图序列中的第k+1个初始特征图进行卷积处理以及上采样处理，得到第二候选特征图，该第二候选特征图的尺寸与该第一候选特征图的尺寸相同；通过特征金字塔网络对该第一候选特征图和该第二候选特征图依次进行相加处理和卷积处理，得到第k个融合特征图。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：通过该特征上采样网络对该多个不同尺寸的融合特征图分别进行卷积处理以及上采样处理，得到多个尺寸相同的处理特征图；通过特征上采样网络对该多个尺寸相同的处理特征图进行相加处理，根据相加处理的结果得到该概率图。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标训练集，该目标训练集包括训练人物图像以及与该训练人物图像对应的真实概率图；将该训练人物图像输入至级联的未经训练的初始特征提取网路和初始特征金字塔网络中，得到该初始特征金字塔网络输出的训练融合特征图，并将该训练融合特征进行上采样处理，得到第一训练概率图；将该训练融合特征图输入至未经训练的初始特征上采样网络中，得到该初始特征上采样网络输出的第二训练概率图；根据该第一训练概率图以及该第二训练概率图与该训练人物图像对应的真实概率图之间的差异对该初始特征提取网络、该初始特征金字塔网络以及该初始特征上采样网络的参数进行调整，得到经过训练的该特征提取网路、该特征金字塔网络和该特征上采样网络。
在本申请的一个实施例中，该第一训练概率图以及该第二训练概率图与该真实概率图之间的差异采用交叉熵损失进行表征。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标评价集，该目标评价集包括评价人物图像以及与该评价人物图像对应的真实概率图；将该评价人物图像输入至级联的经过训练的该特征提取网路、该特征金字塔网络和该特征上采样网络中，得到该特征上采样网络输出的评价概率图；根据该评价人物图像对应的真实概率图和该评价概率图中，满足预设条件的概率值所在区域的交并比确定该特征提取网路、该特征金字塔网络和该特征上采样网络的评价结果。
该目标人体区域为头发区域，在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：对识别出的头发区域进行换色处理。
本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过该特征提取网络对该目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过该特征金字塔网络对该多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过该特征上采样网络对该融合特征图进行上采样处理，得到概率图，该概率图包括该目标人物图像中的每个像素位于目标人体区域内的概率值；根据该概率图对该目标人物图像中的该目标人体区域进行识别。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照尺寸由大到小的顺序对该多个不同尺寸的初始特征图进行排序，得到初始特征图序列；通过该特征金字塔网络对该初始特征图序列中每两个相邻的初始特征图进行融合处理，得到该多个不同尺寸的融合特征图。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过该特征金字塔网络对该初始特征图序列中的第k个初始特征图进行卷积处理，得到第一候选特征图；通过该特征金字塔网络对该初始特征图序列中的第k+1个初始特征图进行卷积处理以及上采样处理，得到第二候选特征图，该第二候选特征图的尺寸与该第一候选特征图的尺寸相同；通过特征金字塔网络对该第一候选特征图和该第二候选特征图依次进行相加处理和卷积处理，得到第k个融合特征图。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过该特征上采样网络对该多个不同尺寸的融合特征图分别进行卷积处理以及上采样处理，得到多个尺寸相同的处理特征图；通过特征上采样网络对该多个尺寸相同的处理特征图进行相加处理，根据相加处理的结果得到该概率图。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标训练集，该目标训练集包括训练人物图像以及与该训练人物图像对应的真实概率图；将该训练人物图像输入至级联的未经训练的初始特征提取网路和初始特征金字塔网络中，得到该初始特征金字塔网络输出的训练融合特征图，并将该训练融合特征进行上采样处理，得到第一训练概率图；将该训练融合特征图输入至未经训练的初始特征上采样网络中，得到该初始特征上采样网络输出的第二训练概率图；根据该第一训练概率图以及该第二训练概率图与该训练人物图像对应的真实概率图之间的差异对该初始特征提取网络、该初始特征金字塔网络以及该初始特征上采样网络的参数进行调整，得到经过训练的该特征提取网路、该特征金字塔网络和该特征上采样网络。
在本申请的一个实施例中，该第一训练概率图以及该第二训练概率图与该真实概率图之间的差异采用交叉熵损失进行表征。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标评价集，该目标评价集包括评价人物图像以及与该评价人物图像对应的真实概率图；将该评价人物图像输入至级联的经过训练的该特征提取网路、该特征金字塔网络和该特征上采样网络中，得到该特征上采样网络输出的评价概率图；根据该评价人物图像对应的真实概率图和该评价概率图中，满足预设条件的概率值所在区域的交并比确定该特征提取网路、该特征金字塔网络和该特征上采样网络的评价结果。
该目标人体区域为头发区域，在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：对识别出的头发区域进行换色处理。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(RO多)、可编程RO多(PRO多)、电可编程RO多(EPRO多)、电可擦除可编程RO多(EEPRO多)或闪存。易失性存储器可包括随机存取存储器(RA多)或者外部高速缓冲存储器。作为说明而非局限，RA多以多种形式可得，诸如静态RA多(SRA多)、动态RA多(DRA多)、同步DRA多(SDRA多)、双数据率SDRA多(DDRSDRA多)、增强型SDRA多(ESDRA多)、同步链路(Sy多chli多k)DRA多(SLDRA多)、存储器总线(Ra多bus)直接RA多(RDRA多)、直接存储器总线动态RA多(DRDRA多)、以及存储器总线动态RA多(RDRA多)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过所述特征提取网络对所述目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过所述特征金字塔网络对所述多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过所述特征上采样网络对所述融合特征图进行上采样处理，得到概率图，所述概率图包括所述目标人物图像中的每个像素位于目标人体区域内的概率值；
根据所述概率图对所述目标人物图像中的所述目标人体区域进行识别。
2.根据权利要求1所述的方法，其特征在于，所述通过所述特征金字塔网络对所述多个不同尺寸的初始特征图进行融合处理，得到融合特征图，包括：
按照尺寸由大到小的顺序对所述多个不同尺寸的初始特征图进行排序，得到初始特征图序列；
通过所述特征金字塔网络对所述初始特征图序列中每两个相邻的初始特征图进行融合处理，得到多个不同尺寸的所述融合特征图。
3.根据权利要求2所述的方法，其特征在于，所述通过所述特征金字塔网络对所述初始特征图序列中每两个相邻的初始特征图进行融合处理，包括：
通过所述特征金字塔网络对所述初始特征图序列中的第k个初始特征图进行卷积处理，得到第一候选特征图；
通过所述特征金字塔网络对所述初始特征图序列中的第k+1个初始特征图进行卷积处理以及上采样处理，得到第二候选特征图，所述第二候选特征图的尺寸与所述第一候选特征图的尺寸相同；
通过所述特征金字塔网络对所述第一候选特征图和所述第二候选特征图依次进行相加处理和卷积处理，得到第k个融合特征图。
4.根据权利要求2所述的方法，其特征在于，所述通过所述特征上采样网络对所述融合特征图进行上采样处理，得到概率图，包括：
通过所述特征上采样网络对多个不同尺寸的所述融合特征图分别进行卷积处理以及上采样处理，得到多个尺寸相同的处理特征图；
通过所述特征上采样网络对所述多个尺寸相同的处理特征图进行相加处理，根据相加处理的结果得到所述概率图。
5.根据权利要求1所述的方法，其特征在于，所述特征提取网路、所述特征金字塔网络和所述特征上采样网络的训练过程包括：
获取目标训练集，所述目标训练集包括训练人物图像以及与所述训练人物图像对应的真实概率图；
将所述训练人物图像输入至级联的未经训练的初始特征提取网路和初始特征金字塔网络中，得到所述初始特征金字塔网络输出的训练融合特征图，并将所述训练融合特征进行上采样处理，得到第一训练概率图；
将所述训练融合特征图输入至未经训练的初始特征上采样网络中，得到所述初始特征上采样网络输出的第二训练概率图；
根据所述第一训练概率图以及所述第二训练概率图与所述训练人物图像对应的真实概率图之间的差异对所述初始特征提取网络、所述初始特征金字塔网络以及所述初始特征上采样网络的参数进行调整，得到经过训练的所述特征提取网路、所述特征金字塔网络和所述特征上采样网络。
6.根据权利要求5所述的方法，其特征在于，所述第一训练概率图以及所述第二训练概率图与所述真实概率图之间的差异采用交叉熵损失进行表征。
7.根据权利要求5所述的方法，其特征在于，在所述得到经过训练的所述特征提取网路、所述特征金字塔网络和所述特征上采样网络之后，所述方法还包括：
获取目标评价集，所述目标评价集包括评价人物图像以及与所述评价人物图像对应的真实概率图；
将所述评价人物图像输入至级联的经过训练的所述特征提取网路、所述特征金字塔网络和所述特征上采样网络中，得到所述特征上采样网络输出的评价概率图；
根据所述评价人物图像对应的真实概率图和所述评价概率图中，满足预设条件的概率值所在区域的交并比确定所述特征提取网路、所述特征金字塔网络和所述特征上采样网络的评价结果。
8.根据权利要求1至7任一所述的方法，其其特征在于，所述目标人体区域为头发区域，所述根据所述概率图对所述目标人物图像中的所述目标人体区域进行识别之后，所述方法还包括：
对识别出的头发区域进行换色处理。
9.一种图像处理装置，其特征在于，所述装置包括：
概率图获取模块，用于将目标人物图像输入至级联的特征提取网路、特征金字塔网络和特征上采样网络中，通过所述特征提取网络对所述目标人物图像进行特征提取，得到多个不同尺寸的初始特征图，通过所述特征金字塔网络对所述多个不同尺寸的初始特征图进行融合处理，得到融合特征图，通过所述特征上采样网络对所述融合特征图进行上采样处理，得到概率图，所述概率图包括所述目标人物图像中的每个像素位于目标人体区域内的概率值；
识别模块，用于根据所述概率图对所述目标人物图像中的所述目标人体区域进行识别。
10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8任一所述的图像处理方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一所述的图像处理方法。
CN202010140728.XA 2020-03-03 2020-03-03 图像处理方法、装置、设备及存储介质 Pending CN111353442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010140728.XA CN111353442A (zh) 2020-03-03 2020-03-03 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010140728.XA CN111353442A (zh) 2020-03-03 2020-03-03 图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111353442A true CN111353442A (zh) 2020-06-30

Family

ID=71194323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010140728.XA Pending CN111353442A (zh) 2020-03-03 2020-03-03 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111353442A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785561A (zh) * 2021-01-07 2021-05-11 天津狮拓信息技术有限公司 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法
CN113052189A (zh) * 2021-03-30 2021-06-29 电子科技大学 一种基于改进的MobileNetV3特征提取网络
CN113554124A (zh) * 2021-09-18 2021-10-26 浙江太美医疗科技股份有限公司 图像识别方法及装置、计算机可读存储介质及电子设备
CN117706058A (zh) * 2024-02-04 2024-03-15 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101315663A (zh) * 2008-06-25 2008-12-03 中国人民解放军国防科学技术大学 一种基于区域潜在语义特征的自然场景图像分类方法
CN105260736A (zh) * 2015-09-08 2016-01-20 西安交通大学 基于归一化非负稀疏编码器的图像快速特征表示方法
US9984325B1 (en) * 2017-10-04 2018-05-29 StradVision, Inc. Learning method and learning device for improving performance of CNN by using feature upsampling networks, and testing method and testing device using the same
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
CN110110715A (zh) * 2019-04-30 2019-08-09 北京金山云网络技术有限公司 文本检测模型训练方法、文本区域、内容确定方法和装置
CN110222787A (zh) * 2019-06-14 2019-09-10 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质
CN110490840A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 一种肾小球病理切片图像的细胞检测方法、装置及设备
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN110853045A (zh) * 2019-09-24 2020-02-28 西安交通大学 基于核磁共振图像的血管壁分割方法、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101315663A (zh) * 2008-06-25 2008-12-03 中国人民解放军国防科学技术大学 一种基于区域潜在语义特征的自然场景图像分类方法
CN105260736A (zh) * 2015-09-08 2016-01-20 西安交通大学 基于归一化非负稀疏编码器的图像快速特征表示方法
US9984325B1 (en) * 2017-10-04 2018-05-29 StradVision, Inc. Learning method and learning device for improving performance of CNN by using feature upsampling networks, and testing method and testing device using the same
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
CN110110715A (zh) * 2019-04-30 2019-08-09 北京金山云网络技术有限公司 文本检测模型训练方法、文本区域、内容确定方法和装置
CN110222787A (zh) * 2019-06-14 2019-09-10 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质
CN110490840A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 一种肾小球病理切片图像的细胞检测方法、装置及设备
CN110853045A (zh) * 2019-09-24 2020-02-28 西安交通大学 基于核磁共振图像的血管壁分割方法、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANCHENG BAI 等: "Multi-Scale Fully Convolutional Network for Face Detection in theWild", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
乔文凡等: "联合膨胀卷积残差网络和金字塔池化表达的高分影像建筑物自动识别", 《地理与地理信息科学》 *
尹茜: "基于轻量级神经网络的人脸检测算法", 《常州信息职业技术学院学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785561A (zh) * 2021-01-07 2021-05-11 天津狮拓信息技术有限公司 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法
CN113052189A (zh) * 2021-03-30 2021-06-29 电子科技大学 一种基于改进的MobileNetV3特征提取网络
CN113052189B (zh) * 2021-03-30 2022-04-29 电子科技大学 一种基于改进的MobileNetV3特征提取网络
CN113554124A (zh) * 2021-09-18 2021-10-26 浙江太美医疗科技股份有限公司 图像识别方法及装置、计算机可读存储介质及电子设备
CN113554124B (zh) * 2021-09-18 2021-12-28 浙江太美医疗科技股份有限公司 图像识别方法及装置、计算机可读存储介质及电子设备
CN117706058A (zh) * 2024-02-04 2024-03-15 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质
CN117706058B (zh) * 2024-02-04 2024-05-10 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN111353442A (zh) 图像处理方法、装置、设备及存储介质
CN110717851B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
US11151361B2 (en) Dynamic emotion recognition in unconstrained scenarios
EP2835762B1 (en) Face recognition method and device
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
CN110427852B (zh) 文字识别方法、装置、计算机设备和存储介质
CN108875540B (zh) 图像处理方法、装置和系统及存储介质
CN111814194B (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN111783146B (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN113344794B (zh) 一种图像处理方法、装置、计算机设备及存储介质
Lu et al. Rethinking prior-guided face super-resolution: A new paradigm with facial component prior
CN113642585B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN111274947A (zh) 一种多任务多线索人脸识别方法、系统及存储介质
WO2021190664A1 (zh) 基于关键点定位的多人脸检测方法、系统及存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN114238904A (zh) 身份识别方法、双通道超分模型的训练方法及装置
CN110837781A (zh) 一种人脸识别方法、人脸识别装置及电子设备
EP3977348A1 (en) Video understanding neural network systems and methods using the same
Paschalakis et al. Real-time face detection and tracking for mobile videoconferencing
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
US9311523B1 (en) Method and apparatus for supporting object recognition
US11783625B2 (en) Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240927