CN109117760A - 图像处理方法、装置、电子设备和计算机可读介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN109117760A
CN109117760A CN201810846412.5A CN201810846412A CN109117760A CN 109117760 A CN109117760 A CN 109117760A CN 201810846412 A CN201810846412 A CN 201810846412A CN 109117760 A CN109117760 A CN 109117760A
Authority
CN
China
Prior art keywords
image
processed
portrait
location information
hair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810846412.5A
Other languages
English (en)
Other versions
CN109117760B (zh
Inventor
孙伟
范浩强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810846412.5A priority Critical patent/CN109117760B/zh
Publication of CN109117760A publication Critical patent/CN109117760A/zh
Application granted granted Critical
Publication of CN109117760B publication Critical patent/CN109117760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种图像处理方法、装置、电子设备和计算机可读介质,涉及图像分析的技术领域,该方法包括:获取待处理图像,并对待处理图像中的目标人像进行人脸标注,得到目标人像的人脸位置信息;基于人脸位置信息对待处理图像进行分割处理,得到目标人像的头发分割图;利用人脸位置信息、待处理图像和头发分割图对目标人像进行头发属性分析,得到属性分析结果。本发明的方法确定的图像处理结果更加准确,提高了分类的精确度,缓解了现有的直接对整张图像进行分类处理的方法准确性差且效果不好的技术问题。

Description

图像处理方法、装置、电子设备和计算机可读介质
技术领域
本发明涉及图像处理的技术领域,尤其是涉及一种图像处理方法、装置、电子设备和计算机可读介质。
背景技术
随着图像处理技术的快速发展,图像处理技术应用在各种领域,例如,发型识别领域。例如,在虚拟形象构建和拍照美颜等应用领域内,一般会获取一张包含待处理对象的图像,然后,通过对该图像的处理来对待处理对象的发型属性进行确认,比如头发的长短、头发的直卷、刘海情况等。也就是说,现有的处理方式是基于单张图像来分析发型属性。
但是,现有的基于单张图像的发型属性分析技术一般是通过发型分类模型直接对整张图像进行分类处理,以确定发型所属的类别,通过这种方法确定的发型属性准确性差,效果不好。
发明内容
有鉴于此,本发明的目的包括:提供一种图像处理方法、装置、电子设备和计算机可读介质,该方法确定的图像处理结果更加准确,提高了分类的精确度。
第一方面,本发明实施例提供了一种图像处理方法,包括:获取待处理图像,并对所述待处理图像中的目标人像进行人脸标注,得到所述目标人像的人脸位置信息;基于所述人脸位置信息对所述待处理图像进行分割处理,得到所述目标人像的头发分割图;利用所述人脸位置信息、所述待处理图像和所述头发分割图对所述目标人像进行头发属性分析,得到属性分析结果。
进一步地,基于所述人脸位置信息对所述待处理图像进行分割处理,得到所述目标人像的头发分割图包括:将所述待处理图像中位于所述人脸位置信息限定范围内的像素点的像素值设置为第一数值,且将所述待处理图像中位于所述人脸位置信息限定范围外的像素点的像素值设置为第二数值,从而得到所述目标图像,其中,所述第一数值表示像素点的颜色为白色,所述第二数值表示像素点的颜色为黑色;将所述目标图像和所述待处理图像输入至第一卷积神经网络中进行处理,得到置信度图像,其中,所述置信度图像表示所述待处理图像中每个像素点所属于头发区域的概率;基于所述置信度图像得到所述头发分割图。
进一步地,基于所述置信度图像得到所述头发分割图包括:将所述置信度图像中第一像素点的像素值设置为所述第一数值,并将所述置信度图像中第二像素点的像素值设置为所述第二数值,从而得到所述头发分割图;其中,所述第一像素点为所述置信度图像中置信度大于或者等于预设数值的像素点,所述第二像素点为所述置信度图像中置信度小于所述预设数值的像素点。
进一步地,利用所述人脸位置信息、所述待处理图像和所述头发分割图对所述目标人像进行头发属性分析,得到属性分析结果包括:将所述人脸位置信息、所述待处理图像和所述头发分割图输入至第二卷积神经网络中进行处理,处理得到所述属性分析结果。
进一步地,所述方法还包括:通过网络爬虫在网络资源中爬取多张包括人像的训练图像;为所述训练图像设置标签信息,其中,所述标签信息包括人脸位置信息和对所述训练图像中所包含的人像的头发属性信息;获取所述训练图像中所包含的人像的头发分割图;利用所述训练图像、所述标签信息和所述训练图像中所包含的人像的头发分割图对所述第二卷积神经网络的原始卷积神经网络进行训练。
进一步地,所述待处理图像中包括多个人像;对所述待处理图像中包含的目标人像进行人脸标注,得到人脸位置信息包括:从所述待处理图像中包括的多个人像中选择所述目标人像,并对所述目标人像进行人脸标注,得到人脸位置信息,其中,所述目标人像为所述多个人像中的最大人像。
进一步地,所述待处理图像中包括多个人像;对所述待处理图像中包含的目标人像进行人脸标注,得到人脸位置信息包括:将所述待处理图像进行分割处理,得到多个子图像,其中,每个所述子图像分别包括所述多个人像中的一个人像;将每个所述子图像中包含的人像作为所述目标人像进行人脸标注,得到所述目标人像的人脸位置信息。
第二方面,本发明实施例提供了一种图像处理装置,包括:获取单元,用于获取待处理图像,并对所述待处理图像中的目标人像进行人脸标注,得到所述目标人像的人脸位置信息;分割处理单元,用于基于所述人脸位置信息对所述待处理图像进行分割处理,得到所述目标人像的头发分割图;属性分析单元,用于利用所述人脸位置信息、所述待处理图像和所述头发分割图对所述目标人像进行头发属性分析,得到属性分析结果。
第三方面,本发明实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法。
第四方面,本发明实施例提供了一种计算机存储介质,其上存储有计算机程序,所述计算机运行所述计算机程序时执行上述第一方面中任一项所述的方法的步骤。
在本实施例中,首先获取待处理图像,并对待处理图像中的目标人像进行人脸标注,得到目标人像的人脸位置信息;然后,基于人脸位置信息对待处理图像进行分割处理,得到目标人像的头发分割图;最后,利用人脸位置信息、待处理图像和头发分割图对目标人像进行头发属性分析,得到属性分析结果。通过上述描述可知,在本实施例中,能够通过人脸标注的方式得到目标人像的人脸位置信息,进而基于人脸位置信息对待处理图像进行分割处理,得到头发分割图,最终,利用人脸位置信息、待处理图像和头发分割图进行头发属性分析。通过结合人脸位置信息、所述待处理图像和所述头发分割图对所述目标人像进行头发属性分析的方式,能够使得图像处理结果更加准确,提高了分类的精确度,进而缓解了现有的直接对整张图像进行分类处理的方法准确性差且效果不好的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种电子设备的示意图;
图2为根据本发明实施例的一种图像处理方法的流程图;
图3(a)为本发明实施例的待处理图像的示意图;
图3(b)为本发明实施例的对目标人像进行人脸标注后的图像示意图;
图3(c)为本发明实施例的头发分割示意图;
图4为本发明实施例的训练得到第二卷积神经网络的流程图;
图5为本发明实施例的一种图像处理装置的示意图;
图6为本发明实施例的一种图像处理系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
首先,参照图1来描述用于实现本发明实施例的电子设备100,该电子设备可以用于运行本发明各实施例的图像处理方法。
如图2所示,电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图2所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU)、图形处理器(GPU)、嵌入式神经网络处理器(NPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述摄像机110用于进行图像采集,其中,摄像机所采集的数据经过所述图像处理方法进行分析之后得到目标人像发型的属性分析结果,例如,摄像机可以拍摄用户期望的图像(例如照片、视频等),然后,将该图像经过所述图像处理方法进行分析之后得到目标人像发型的属性分析结果,摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的图像处理方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。
实施例2:
根据本发明实施例,提供了一种图像处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种图像处理方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,获取待处理图像,并对待处理图像中的目标人像进行人脸标注,得到目标人像的人脸位置信息;
在本发明实施例中,具体可以通过相机、摄像头等方式获取待处理图像,待处理图像中包含有目标人像。在得到待处理图像后,能够在待处理图像中自动进行人脸检测,以对目标人像进行人脸标注,从而得到目标人像的人脸位置信息。例如,可以通过人脸检测模型对目标人像进行人脸检测,以得到目标人像的人脸位置信息。除此之外,还可以采用其他的人脸检测方法,本实施例中不做具体限定。
具体的,参考图3(a),其中示出了待处理图像,图3(b)中示出了对目标人像进行人脸标注后的图像,人脸标注后,得到的人脸位置信息即为图3(b)中矩形框的位置信息。在实际进行表示时,该人脸位置信息可以为矩形框的一条对角线上的两个顶点坐标,还可以为矩形框的两条对角线的四个顶点坐标,本发明实施例对其不进行具体限制,只要是能唯一确定矩形框的位置信息的都在本发明的保护范围之内。
当然,待处理图像中可以仅包含一个人像,也可以包含多个人像。当待处理图像中包含一个人像时,该人像即为目标人像;当待处理图像中包含多个人像时,目标人像的确定方法将在下文中进行详细描述,在此不再赘述。
步骤S204,基于人脸位置信息对待处理图像进行分割处理,得到目标人像的头发分割图;
在得到人脸位置信息后,进一步基于人脸位置信息对待处理图像进行分割处理,得到目标人像的头发分割图。如图3(c)所示,图3(c)为分割处理后得到的头发分割示意图。
下文中再对分割处理的过程进行详细描述,在此不再赘述。
步骤S206,利用人脸位置信息、待处理图像和头发分割图对目标人像进行头发属性分析,得到属性分析结果。
在得到人脸位置信息和头发分割图后,进一步利用人脸位置信息、待处理图像和头发分割图对目标人像进行头发属性分析,最终便能得到准确的属性分析结果。该头发属性分析的过程采用了深度卷积神经网络的方法,下文中再对该过程进行详细描述。
在本实施例中,首先获取待处理图像,并对待处理图像中的目标人像进行人脸标注,得到目标人像的人脸位置信息;然后,基于人脸位置信息对待处理图像进行分割处理,得到目标人像的头发分割图;最后,利用人脸位置信息、待处理图像和头发分割图对目标人像进行头发属性分析,得到属性分析结果。通过上述描述可知,在本实施例中,能够通过人脸标注的方式得到目标人像的人脸位置信息,进而基于人脸位置信息对待处理图像进行分割处理,得到头发分割图,最终,利用人脸位置信息、待处理图像和头发分割图进行头发属性分析。通过结合人脸位置信息、所述待处理图像和所述头发分割图对所述目标人像进行头发属性分析的方式,能够使得图像处理结果更加准确,提高了分类的精确度,进而缓解了现有的直接对整张图像进行分类处理的方法准确性差且效果不好的技术问题。
上述内容对本发明的图像处理方法进行了简要介绍,下面对其中涉及到的具体内容进行详细描述。
下面将介绍确定人脸位置信息的具体过程。
作为一种举例说明:
当待处理图像中包括多个人像时,上述步骤S202,对待处理图像中包含的目标人像进行人脸标注,得到人脸位置信息包括如下步骤:
步骤S2021,从待处理图像中包括的多个人像中选择目标人像,其中,目标人像为多个人像中的最大人像;
具体的,当待处理图像中包括多个人像时,可以直接将待处理图像中包含的多个人像中的最大人像作为目标人像。其中,最大人像的选择可以基于人脸框(即,上述人脸位置信息)的大小来确定,除此之外,还可以采用其他的方式来选择最大人像。
步骤S2022,对目标人像进行人脸标注,得到人脸位置信息。
在得到目标人像后,自动进行人脸检测,以对目标人像进行人脸标注,从而得到目标人像的人脸位置信息。
作为一种举例说明:
当待处理图像中包括多个人像时,上述步骤S202,对待处理图像中包含的目标人像进行人脸标注,得到人脸位置信息包括如下步骤:
步骤S2023,将待处理图像进行分割处理,得到多个子图像,其中,每个子图像分别包括多个人像中的一个人像;
具体的,当待处理图像中包括多个人像时,还可以将待处理图像按照人像进行分割处理,得到多个子图像,每个子图像中包括一个人像。
步骤S2024,将每个子图像中包含的人像作为目标人像进行人脸标注,得到目标人像的人脸位置信息。
在得到多个子图像后,将每个子图像包含的人像作为目标人像,然后再进行人脸标注,得到人脸位置信息,该过程与步骤S2022的过程相似,在此不再赘述。
上述内容具体介绍了确定人脸位置信息的过程,下面对分割处理的过程进行详细描述。
在本实施例的一个可选实施方式中,步骤S204,基于人脸位置信息对待处理图像进行分割处理,得到目标人像的头发分割图包括如下步骤:
步骤S2041,将待处理图像中位于人脸位置信息限定范围内的像素点的像素值设置为第一数值,且将待处理图像中位于人脸位置信息限定范围外的像素点的像素值设置为第二数值,从而得到目标图像,其中,第一数值表示像素点的颜色为白色,第二数值表示像素点的颜色为黑色;
在本发明实施例中,在得到人脸位置信息后,基于人脸位置信息将待处理图像转换为目标图像。具体的,参考图3(b),矩形框即为确定的人脸位置信息。转换时,将待处理图像中位于矩形框内的像素点变为白色,将待处理图像中位于矩形框外的像素点变为黑色,得到的即为目标图像。该目标图像也叫做heatmap图。
步骤S2042,将目标图像和待处理图像输入至第一卷积神经网络中进行处理,得到置信度图像,其中,置信度图像表示待处理图像中每个像素点所属于头发区域的概率;
在得到目标图像后,将该目标图像和待处理图像输入至第一卷积神经网络中进行处理,得到置信度图像。其中,第一卷积神经网络用于确定置信度图像,置信度图像中的每个像素点对应一个置信度,用于表征像素点所属于头发区域的概率,该第一卷积神经网络为通过大量样本进行训练得到的。置信度图像中的置信度均介于0至1之间。
步骤S2043,基于置信度图像得到头发分割图。
在得到置信度图像后,就能够基于置信度图像确定得到头发分割图。
在一个可选地实施方式中,步骤S2043,基于置信度图像得到头发分割图包括如下步骤:
步骤S20431,将置信度图像中第一像素点的像素值设置为第一数值,并将置信度图像中第二像素点的像素值设置为第二数值,从而得到所述头发分割图;其中,第一像素点为置信度图像中置信度大于或者等于预设数值的像素点,第二像素点为置信度图像中置信度小于预设数值的像素点。
具体的,在得到置信度图像后,将置信度大于或等于预设数值的像素点作为第一像素点,并将第一像素点的像素值设置为第一数值,该第一数值为1,表示白色(即图3(c)中的头发区域);同时将置信度小于预设数值的像素点作为第二像素点,并将第二像素点的像素值设置为第二数值,该第二数值为0,表示黑色(即图3(c)中的非头发区域),这样,就得到了非黑即白的头发分割图。
在本发明实施例中,上述的预设数值的大小优选为0.5,但是本发明实施例对其不进行具体限制,可根据需求进行具体设定。
上述内容对分割处理的过程进行了详细介绍,下面再对头发属性分析的过程进行详细描述。
在本实施例的一个可选实施方式中,步骤S206,利用人脸位置信息、待处理图像和头发分割图对目标人像进行头发属性分析,得到属性分析结果包括如下步骤:
步骤S2061,将人脸位置信息、待处理图像和头发分割图输入至第二卷积神经网络中进行处理,处理得到属性分析结果。
该第二卷积神经网络是用于进行发型属性分析的,将人脸位置信息、待处理图像和头发分割图输入至第二卷积神经网络后,输出分别表示各个属性的分类结果的数字。具体的,属性分析结果本质上即为发型分类结果,包括:头发长中短,头发直卷,有无刘海,刘海类型等。
本发明实施例的第二卷积神经网络是预先通过大量样本对原始卷积神经网络进行训练得到的,参考图4,具体训练的过程如下:
步骤S401,通过网络爬虫在网络资源中爬取多张包括人像的训练图像;
具体的,网络资源的涵盖面很广,比如,微博,博客,网页,微信,QQ等,本发明不对网络资源的形式进行具体限制。
步骤S402,为训练图像设置标签信息,其中,标签信息包括人脸位置信息和对训练图像中所包含的人像的头发属性信息;
在得到训练图像后,为训练图像设置人脸位置信息和头发属性的信息,该设置的过程可以由人工完成。
步骤S403,获取训练图像中所包含的人像的头发分割图;
进一步获取训练图像中所包含的人像的头发分割图,该过程也可以人工完成,具体可以通过操作第三方软件完成。
步骤S404,利用训练图像、标签信息和训练图像中所包含的人像的头发分割图对第二卷积神经网络的原始卷积神经网络进行训练。
在得到训练图像、标签信息和训练图像中所包含的人像的头发分割图后,通过这三类图像对第二卷积神经网络的原始卷积神经网络进行训练,就能够得到能够进行头发属性分析的第二卷积神经网络。
通过上述的描述可知,在本实施例中,提出了一种图像处理方法,该图像处理方法为一种新的基于深度学习的单图发型属性分析方法。该方法加入了一些辅助的过程,比如,人脸标注确定人脸位置信息,头发分割确定头发区域,最终利用人脸位置信息、头发分割图和待处理图像确定目标人像头发的属性分析结果。这种方法确定的图像处理结果更加准确,提高了分类的精确度。
实施例3:
本发明实施例还提供了一种图像处理装置,该图像处理装置主要用于执行本发明实施例上述内容所提供的图像处理方法,以下对本发明实施例提供的图像处理装置做具体介绍。
图5是根据本发明实施例的一种图像处理装置的示意图,如图5所示,该图像处理装置主要包括获取单元10,分割处理单元20和属性分析单元30,其中:
获取单元,用于获取待处理图像,并对待处理图像中的目标人像进行人脸标注,得到目标人像的人脸位置信息;
分割处理单元,用于基于人脸位置信息对待处理图像进行分割处理,得到目标人像的头发分割图;
属性分析单元,用于利用人脸位置信息、待处理图像和头发分割图对目标人像进行头发属性分析,得到属性分析结果。
在本实施例中,首先获取待处理图像,并对待处理图像中的目标人像进行人脸标注,得到目标人像的人脸位置信息;然后,基于人脸位置信息对待处理图像进行分割处理,得到目标人像的头发分割图;最后,利用人脸位置信息、待处理图像和头发分割图对目标人像进行头发属性分析,得到属性分析结果。通过上述描述可知,在本实施例中,能够通过人脸标注的方式得到目标人像的人脸位置信息,进而基于人脸位置信息对待处理图像进行分割处理,得到头发分割图,最终,利用人脸位置信息、待处理图像和头发分割图进行头发属性分析。这种方法确定的图像处理结果更加准确,提高了分类的精确度。本发明所提供的方法缓解了现有的直接对整张图像进行分类处理的方法准确性差且效果不好的技术问题。
可选地,该分割处理单元还用于:将待处理图像中位于人脸位置信息限定范围内的像素点的像素值设置为第一数值,且将待处理图像中位于人脸位置信息限定范围外的像素点的像素值设置为第二数值,从而得到目标图像,其中,第一数值表示像素点的颜色为白色,第二数值表示像素点的颜色为黑色;将目标图像和待处理图像输入至第一卷积神经网络中进行处理,得到置信度图像,其中,置信度图像表示待处理图像中每个像素点所属于头发区域的概率;基于置信度图像得到头发分割图。
可选地,该分割处理单元还用于:将置信度图像中第一像素点的像素值设置为第一数值,并将置信度图像中第二像素点的像素值设置为第二数值,从而得到所述头发分割图;其中,第一像素点为置信度图像中置信度大于或者等于预设数值的像素点,第二像素点为置信度图像中置信度小于预设数值的像素点。
可选地,该属性分析单元还用于:将人脸位置信息、待处理图像和头发分割图输入至第二卷积神经网络中进行处理,处理得到属性分析结果。
可选地,该装置还用于:通过网络爬虫在网络资源中爬取多张包括人像的训练图像;为训练图像设置标签信息,其中,标签信息包括人脸位置信息和对训练图像中所包含的人像的头发属性信息;获取训练图像中所包含的人像的头发分割图;利用训练图像、标签信息和训练图像中所包含的人像的头发分割图对第二卷积神经网络的原始卷积神经网络进行训练。
可选地,该获取单元还用于:待处理图像中包括多个人像;从待处理图像中包括的多个人像中选择目标人像,并对目标人像进行人脸标注,得到人脸位置信息,其中,目标人像为多个人像中的最大人像。
可选地,该获取单元还用于:待处理图像中包括多个人像;将待处理图像进行分割处理,得到多个子图像,其中,每个子图像分别包括多个人像中的一个人像;将每个子图像中包含的人像作为目标人像进行人脸标注,得到目标人像的人脸位置信息。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例4:
如图6所示,本发明实施例还提供了一种图像处理系统,该图像处理系统主要用于执行本发明实施例上述内容所提供的图像处理方法,以下对本发明实施例提供的图像处理系统做具体介绍。
该图像处理系统主要包括输入模块61,人脸检测模块62,头发分割模块63,头发属性分析模块64,其中:
输入模块用于接收外界待处理图像的输入,并将待处理图像传递至人脸检测模块;
人脸检测模块接收输入模块传递的待处理图像,在待处理图像中确定目标人像,并对目标人像进行人脸标注,得到目标人像的人脸位置信息,将人脸位置和待处理图像传递至头发分割模块;
头发分割模块用于基于人脸位置对待处理图像进行分割处理(通过第一卷积神经网络实现),得到目标人像的头发分割图,再将人脸位置信息、待处理图像和头发分割图传递至头发属性分析模块;
头发属性分析模块用于通过第二卷积神经网络对人脸位置信息、待处理图像和头发分割图进行头发属性分析,得到属性分析结果。
本发明实施例所提供的系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。
在本发明的另一个实施例中,还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机运行所述计算机程序时执行上述方法实施例1中任一项所述的方法的步骤。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像,并对所述待处理图像中的目标人像进行人脸标注,得到所述目标人像的人脸位置信息;
基于所述人脸位置信息对所述待处理图像进行分割处理,得到所述目标人像的头发分割图;
利用所述人脸位置信息、所述待处理图像和所述头发分割图对所述目标人像进行头发属性分析,得到属性分析结果。
2.根据权利要求1所述的方法,其特征在于,基于所述人脸位置信息对所述待处理图像进行分割处理,得到所述目标人像的头发分割图包括:
将所述待处理图像中位于所述人脸位置信息限定范围内的像素点的像素值设置为第一数值,且将所述待处理图像中位于所述人脸位置信息限定范围外的像素点的像素值设置为第二数值,从而得到目标图像,其中,所述第一数值表示像素点的颜色为白色,所述第二数值表示像素点的颜色为黑色;
将所述目标图像和所述待处理图像输入至第一卷积神经网络中进行处理,得到置信度图像,其中,所述置信度图像表示所述待处理图像中每个像素点所属于头发区域的概率;
基于所述置信度图像得到所述头发分割图。
3.根据权利要求2所述的方法,其特征在于,基于所述置信度图像得到所述头发分割图包括:
将所述置信度图像中第一像素点的像素值设置为所述第一数值,并将所述置信度图像中第二像素点的像素值设置为所述第二数值,从而得到所述头发分割图;其中,所述第一像素点为所述置信度图像中置信度大于或者等于预设数值的像素点,所述第二像素点为所述置信度图像中置信度小于所述预设数值的像素点。
4.根据权利要求1所述的方法,其特征在于,利用所述人脸位置信息、所述待处理图像和所述头发分割图对所述目标人像进行头发属性分析,得到属性分析结果包括:
将所述人脸位置信息、所述待处理图像和所述头发分割图输入至第二卷积神经网络中进行处理,处理得到所述属性分析结果。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
通过网络爬虫在网络资源中爬取多张包括人像的训练图像;
为所述训练图像设置标签信息,其中,所述标签信息包括人脸位置信息和对所述训练图像中所包含的人像的头发属性信息;
获取所述训练图像中所包含的人像的头发分割图;
利用所述训练图像、所述标签信息和所述训练图像中所包含的人像的头发分割图对所述第二卷积神经网络的原始卷积神经网络进行训练。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述待处理图像中包括多个人像;
对所述待处理图像中包含的目标人像进行人脸标注,得到人脸位置信息包括:
从所述待处理图像中包括的多个人像中选择所述目标人像,并对所述目标人像进行人脸标注,得到人脸位置信息,其中,所述目标人像为所述多个人像中的最大人像。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述待处理图像中包括多个人像;
对所述待处理图像中包含的目标人像进行人脸标注,得到人脸位置信息包括:
将所述待处理图像进行分割处理,得到多个子图像,其中,每个所述子图像分别包括所述多个人像中的一个人像;
将每个所述子图像中包含的人像作为所述目标人像进行人脸标注,得到所述目标人像的人脸位置信息。
8.一种图像处理装置,其特征在于,包括:
获取单元,用于获取待处理图像,并对所述待处理图像中的目标人像进行人脸标注,得到所述目标人像的人脸位置信息;
分割处理单元,用于基于所述人脸位置信息对所述待处理图像进行分割处理,得到所述目标人像的头发分割图;
属性分析单元,用于利用所述人脸位置信息、所述待处理图像和所述头发分割图对所述目标人像进行头发属性分析,得到属性分析结果。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法。
10.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机运行所述计算机程序时执行上述权利要求1至7中任一项所述的方法的步骤。
CN201810846412.5A 2018-07-27 2018-07-27 图像处理方法、装置、电子设备和计算机可读介质 Active CN109117760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810846412.5A CN109117760B (zh) 2018-07-27 2018-07-27 图像处理方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810846412.5A CN109117760B (zh) 2018-07-27 2018-07-27 图像处理方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN109117760A true CN109117760A (zh) 2019-01-01
CN109117760B CN109117760B (zh) 2021-01-22

Family

ID=64863456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810846412.5A Active CN109117760B (zh) 2018-07-27 2018-07-27 图像处理方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN109117760B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377389A (zh) * 2019-07-12 2019-10-25 北京旷视科技有限公司 图像标注导引方法、装置、计算机设备和存储介质
CN110414428A (zh) * 2019-07-26 2019-11-05 厦门美图之家科技有限公司 一种生成人脸属性信息识别模型的方法
CN111476741A (zh) * 2020-04-28 2020-07-31 北京金山云网络技术有限公司 图像的去噪方法、装置、电子设备和计算机可读介质
CN111640118A (zh) * 2019-03-01 2020-09-08 西门子医疗有限公司 使用多参数磁共振成像的肿瘤组织表征
CN111724300A (zh) * 2020-06-30 2020-09-29 珠海复旦创新研究院 单张图片背景虚化方法、装置及设备
CN112581481A (zh) * 2020-12-30 2021-03-30 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112925938A (zh) * 2021-01-28 2021-06-08 上海商汤智能科技有限公司 一种图像标注方法、装置、电子设备及存储介质
CN113313635A (zh) * 2020-02-26 2021-08-27 阿里巴巴集团控股有限公司 图像处理方法、模型训练方法、装置及设备
WO2022134382A1 (zh) * 2020-12-22 2022-06-30 深圳市慧鲤科技有限公司 图像分割方法及装置、电子设备和存储介质、计算机程序
CN114694233A (zh) * 2022-06-01 2022-07-01 成都信息工程大学 一种基于多特征的考场监控视频图像中人脸定位方法
CN111696176B (zh) * 2020-06-08 2022-08-19 北京有竹居网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103690A (zh) * 2011-03-09 2011-06-22 南京邮电大学 一种自动的头发区域分割方法
CN102147852A (zh) * 2010-02-04 2011-08-10 三星电子株式会社 检测头发区域的方法
CN102436636A (zh) * 2010-09-29 2012-05-02 中国科学院计算技术研究所 自动分割头发的方法及其系统
CN105844706A (zh) * 2016-04-19 2016-08-10 浙江大学 一种基于单幅图像的全自动三维头发建模方法
CN106022221A (zh) * 2016-05-09 2016-10-12 腾讯科技(深圳)有限公司 一种图像处理方法及处理系统
CN106203399A (zh) * 2016-07-27 2016-12-07 厦门美图之家科技有限公司 一种图像处理方法、装置和计算设备
CN106295620A (zh) * 2016-08-28 2017-01-04 乐视控股(北京)有限公司 发型识别方法及发型识别装置
CN106372652A (zh) * 2016-08-28 2017-02-01 乐视控股(北京)有限公司 发型识别方法及发型识别装置
CN106780512A (zh) * 2016-11-30 2017-05-31 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN107451950A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 人脸图像生成方法、人脸识别模型训练方法及相应装置
CN108280397A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147852A (zh) * 2010-02-04 2011-08-10 三星电子株式会社 检测头发区域的方法
CN102436636A (zh) * 2010-09-29 2012-05-02 中国科学院计算技术研究所 自动分割头发的方法及其系统
CN102103690A (zh) * 2011-03-09 2011-06-22 南京邮电大学 一种自动的头发区域分割方法
CN105844706A (zh) * 2016-04-19 2016-08-10 浙江大学 一种基于单幅图像的全自动三维头发建模方法
CN106022221A (zh) * 2016-05-09 2016-10-12 腾讯科技(深圳)有限公司 一种图像处理方法及处理系统
CN107451950A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 人脸图像生成方法、人脸识别模型训练方法及相应装置
CN106203399A (zh) * 2016-07-27 2016-12-07 厦门美图之家科技有限公司 一种图像处理方法、装置和计算设备
CN106295620A (zh) * 2016-08-28 2017-01-04 乐视控股(北京)有限公司 发型识别方法及发型识别装置
CN106372652A (zh) * 2016-08-28 2017-02-01 乐视控股(北京)有限公司 发型识别方法及发型识别装置
CN106780512A (zh) * 2016-11-30 2017-05-31 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备
CN107220990A (zh) * 2017-06-22 2017-09-29 成都品果科技有限公司 一种基于深度学习的头发分割方法
CN108280397A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UMAR RIAZMUHAMMAD等: "Hair detection, segmentation, and hairstyle classification in the wild", 《IMAGE AND VISION COMPUTING》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640118A (zh) * 2019-03-01 2020-09-08 西门子医疗有限公司 使用多参数磁共振成像的肿瘤组织表征
US11969239B2 (en) 2019-03-01 2024-04-30 Siemens Healthineers Ag Tumor tissue characterization using multi-parametric magnetic resonance imaging
CN111640118B (zh) * 2019-03-01 2024-03-01 西门子医疗有限公司 使用多参数磁共振成像的肿瘤组织表征
CN110377389B (zh) * 2019-07-12 2022-07-26 北京旷视科技有限公司 图像标注导引方法、装置、计算机设备和存储介质
CN110377389A (zh) * 2019-07-12 2019-10-25 北京旷视科技有限公司 图像标注导引方法、装置、计算机设备和存储介质
CN110414428A (zh) * 2019-07-26 2019-11-05 厦门美图之家科技有限公司 一种生成人脸属性信息识别模型的方法
CN113313635A (zh) * 2020-02-26 2021-08-27 阿里巴巴集团控股有限公司 图像处理方法、模型训练方法、装置及设备
CN111476741A (zh) * 2020-04-28 2020-07-31 北京金山云网络技术有限公司 图像的去噪方法、装置、电子设备和计算机可读介质
CN111476741B (zh) * 2020-04-28 2024-02-02 北京金山云网络技术有限公司 图像的去噪方法、装置、电子设备和计算机可读介质
CN111696176B (zh) * 2020-06-08 2022-08-19 北京有竹居网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111724300B (zh) * 2020-06-30 2023-10-13 珠海复旦创新研究院 单张图片背景虚化方法、装置及设备
CN111724300A (zh) * 2020-06-30 2020-09-29 珠海复旦创新研究院 单张图片背景虚化方法、装置及设备
WO2022134382A1 (zh) * 2020-12-22 2022-06-30 深圳市慧鲤科技有限公司 图像分割方法及装置、电子设备和存储介质、计算机程序
CN112581481A (zh) * 2020-12-30 2021-03-30 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112581481B (zh) * 2020-12-30 2024-04-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112925938A (zh) * 2021-01-28 2021-06-08 上海商汤智能科技有限公司 一种图像标注方法、装置、电子设备及存储介质
CN114694233A (zh) * 2022-06-01 2022-07-01 成都信息工程大学 一种基于多特征的考场监控视频图像中人脸定位方法

Also Published As

Publication number Publication date
CN109117760B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN109117760A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN107704838B (zh) 目标对象的属性识别方法及装置
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
Fang et al. Bottom-up saliency detection model based on human visual sensitivity and amplitude spectrum
CN108520229A (zh) 图像检测方法、装置、电子设备和计算机可读介质
CN108875537B (zh) 对象检测方法、装置和系统及存储介质
CN105354248B (zh) 基于灰度的分布式图像底层特征识别方法及系统
CN108805058B (zh) 目标对象变化姿态识别方法、装置及计算机设备
CN109447990A (zh) 图像语义分割方法、装置、电子设备和计算机可读介质
CN111832447B (zh) 建筑图纸构件识别方法、电子设备及相关产品
US20150379743A1 (en) Image-based color palette generation
CN109325450A (zh) 图像处理方法、装置、存储介质及电子设备
CN108961303A (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
KR102056806B1 (ko) 영상 통화 서비스를 제공하는 단말과 서버
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN110443769A (zh) 图像处理方法、图像处理装置及终端设备
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
JP2020507159A (ja) ピクチャプッシュの方法、移動端末および記憶媒体
CN111506758A (zh) 物品名称确定方法、装置、计算机设备及存储介质
CN112215171A (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN108985263A (zh) 一种数据采集方法、装置、电子设备和计算机可读介质
WO2022002262A1 (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
CN112651333A (zh) 静默活体检测方法、装置、终端设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Image processing methods, devices, electronic devices, and computer-readable media

Effective date of registration: 20230404

Granted publication date: 20210122

Pledgee: Shanghai Yunxin Venture Capital Co.,Ltd.

Pledgor: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Registration number: Y2023990000193