CN110414433A - 图像处理方法、装置、存储介质和计算机设备 - Google Patents

图像处理方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN110414433A
CN110414433A CN201910690640.2A CN201910690640A CN110414433A CN 110414433 A CN110414433 A CN 110414433A CN 201910690640 A CN201910690640 A CN 201910690640A CN 110414433 A CN110414433 A CN 110414433A
Authority
CN
China
Prior art keywords
face
image
facial image
classification
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910690640.2A
Other languages
English (en)
Inventor
郭梓铿
白琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910690640.2A priority Critical patent/CN110414433A/zh
Publication of CN110414433A publication Critical patent/CN110414433A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取待处理图像、及所述待处理图像中包括的人脸图像；对所述人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别；根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签；依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定所述不同人脸类别间的人脸共现特征；将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。本申请提供的方案可以实现提高用户关系图谱的挖掘效率。

Description

图像处理方法、装置、存储介质和计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着计算机技术和网络技术的发展，社交媒体软件的发展也越来越多样化和便捷化。社交媒体软件大大扩展和丰富了人们的社交生活。其中，用户家庭关系与用户好友关系作为社交媒体软件的重中之重，为了更好的发展和应用社交媒体应用，如何有效地挖掘人物关系图谱则成为了亟待解决的技术问题。
传统的人物关系图谱挖掘方式，通常都是需要从各个网络源搜索用户的关系信息进行整合，从而得到用户关系图谱。传统的用户关系图谱挖掘方式由于需要搜索大量的用户信息而导致用户关系图谱挖掘效率低。
发明内容
基于此，有必要针对用户关系图谱挖掘效率低的技术问题，提供一种图像处理方法、装置、计算机可读存储介质和计算机设备。
一种图像处理方法，包括：
获取待处理图像、及所述待处理图像中包括的人脸图像；
对所述人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别；
根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签；
依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定所述不同人脸类别间的人脸共现特征；
将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。
一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像、及所述待处理图像中包括的人脸图像；
人脸聚类模块，用于对所述人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别；
确定模块，用于根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签；
所述确定模块还用于依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定所述不同人脸类别间的人脸共现特征；
用户关系预测模块，用于将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取待处理图像、及所述待处理图像中包括的人脸图像；
对所述人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别；
根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签；
依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定所述不同人脸类别间的人脸共现特征；
将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取待处理图像、及所述待处理图像中包括的人脸图像；
对所述人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别；
根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签；
依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定所述不同人脸类别间的人脸共现特征；
将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。
上述图像处理方法、装置、计算机可读存储介质和计算机设备，对待处理图像中的人脸图像进行聚类，将满足人脸相似条件的人脸图像聚为同一类人脸类别，从而准确地识别出不同用户所对应的人脸图像。再根据不同用户对应的人脸图像，确定不同用户各自对应的用户属性标签。并且，根据不同用户的人脸在同一张待处理图像中出现的次数，也就是不同用户的合照次数，来确定相应的人脸共现特征。通过预训练的用户关系决策模型可以有效地融合不同用户对应的用户属性标签、及相应的人脸共现特征，从而得到用户关系图谱。这样，可直接对待处理图像进行处理，挖掘出待处理图像中不同用户的自身属性信息、以及不同用户间的亲密程度，以此来准确高效地预测用户关系图谱，无需从各个网络源搜索用户的关系信息，大大提高了用户关系图谱的挖掘效率。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中对人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别的步骤的流程示意图；
图4为一个实施例中根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签步骤的流程示意图；
图5为一个实施例中确定与人脸图像对应的用户年龄标签和用户性别标签的结果示意图；
图6为一个实施例中将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱的流程示意图；
图7为一个实施例中通过决策树模型确定用户关系的结构示意图；
图8为一个实施例中对待处理图像进行人脸检测，从待处理图像中提取出人脸图像的流程示意图；
图9为一个实施例中通过三个层级网络结构对待处理图像进行人脸检测，从待处理图像中提取出人脸图像的流程效果示意图；
图10为一个具体实施例中图像处理方法的流程示意图；
图11为另一个具体实施例中图像处理方法的流程示意图；
图12为一个实施例中图像处理装置的结构框图；
图13为另一个实施例中图像处理装置的结构框图；
图14为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理方法的应用环境图。参照图1，该图像处理方法应用于图像处理系统。该图像处理系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端110和服务器120均可单独用于执行本申请实施例中提供的图像处理方法。终端110和服务器120也可协同用于执行本申请实施例中提供的图像处理方法。
需要说明的是，本申请实施例中涉及多种模型，具体包括机器学习模型和决策树模型。其中，机器学习模型是通过样本学习后具备某种能力的模型。本申请实施例中的一种机器学习模型为通过样本学习能从图像中检测出人脸的人脸检测模型。本申请实施例中的另一种机器学习模型为通过样本学习具有人脸特征提取能力的人脸特征提取模型。本申请实施例中的决策树模型为通过样本学习能进行人物关系判断的决策树模型。其中，机器学习模型可采用神经网络模型，比如CNN(Convolutional Neural Networks，卷积神经网络)模型等。当然，机器学习模型也可以采用其他类型的模型，本申请实施例在此不做限定。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于计算机设备来举例说明，该计算机设备具体可以是上述图1中的终端110或服务器120。参照图2，该图像处理方法具体包括如下步骤：
S202，获取待处理图像、及待处理图像中包括的人脸图像。
其中，待处理图像是待进行图像处理分析的图像，计算机设备可对待处理图像执行本申请实施例中的图像处理方法，以得到用户关系图谱。待处理图像的数量具体可以一张或多于一张。人脸图像是待处理图像中根据包括有人脸的区域所生成的图像。
具体地，计算机设备可从本地或其他计算机设处获取待处理图像，并对待处理图像进行人脸检测，提取待处理图像中的人脸生成人脸图像。可以理解，当一张待处理图像中包括一个人脸时，可提取出一张人脸图像；当一张待处理图像中包括多个人脸时，可提取出多个人脸图像。其中，本申请实施例所提及的“多个”或“多张”等词均表示“多于一个”或“多于一张”的含义。
在一个实施例中，步骤S202，也就是获取待处理图像、及待处理图像中包括的人脸图像的步骤具体包括获取用户图像集合；从用户图像集合中筛选出包括人脸的图像作为待处理图像；对待处理图像进行人脸检测，从待处理图像中提取出人脸图像。
其中，用户图像集合是由多张用户图像所构成的集合，具体可以是用户上传的照片的集合，比如用户相册等。具体地，用户可通过终端的摄像头采集用户图像并存储在终端，或者用户可通过网络连接或数据线连接等方式从其他计算机设备处获取用户图像并存储在终端。当通过终端直接执行该图像处理方法时，终端可直接获取本地存储的用户图像并执行本申请实施例所提及的图像处理方法。当通过服务器执行该图像处理方式时，终端可通过本地运行的社交媒体软件，将用户图像上传至服务器，服务器获取终端上传的用户图像并执行本申请实施例所提及的图像处理方法。其中，社交媒体软件具体可以是管理用户的媒体数据的软件，比如，相册管家软件。用户可通过相册管家软件管理自己的照片或视频等媒体数据。
进一步地，计算机设备可从用户图像集合中筛选出包括人脸的图像作为待处理图像，并通过预训练的人脸检测模型对待处理图像进行人脸检测，从待处理图像中提取出人脸图像。
在一个实施例中，用户图像集合可包括多种类别的图像，多种类别比如，人物图像类别、自然风景图像类别、美食图像类别、或建筑物图像类别等。计算机设备可对用户图像进行分类处理，得到各个用户图像所对应的类别，进而将对应人物图像类别的图像作为待处理图像。
在一个实施例中，计算机设备可通过预训练的人脸检测模型对用户图像集合中的各用户图像进行人脸检测，确定包括有人脸的图像为待处理图像，并从待处理图像中提取出人脸图像。
在一个实施例中，计算机设备可将待处理图像输入至预训练的人脸检测模型，通过人脸检测模型对输入的图像进行人脸检测，输出用于标记人脸区域的人脸检测框的坐标。根据该人脸检测框的坐标所确定的区域中的各像素即可生成人脸图像。
在一个实施例中，计算机设备可获取样本图像、以及样本图像中用于标记人脸区域的样本人脸检测框。计算机设备可将样本人脸检测框做为训练标签，根据样本图像和训练标签训练人脸检测模型，并在模型训练过程中，不断调整模型参数，直到满足训练停止条件时结束训练，得到训练好的人脸检测模型。其中，训练停止条件具体可以是达到预设迭代次数、或实际输出与训练标签间的差异小于预设差异等。
上述实施例中，从用户图像集合中筛选出包括人脸的图像作为待处理图像，并对待处理图像进行人脸检测，可从待处理图像中快速准确地提取出人脸图像。
S204，对人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别。
其中，聚类是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。人脸类别是人脸图像所属的类别，在本申请实施例中，不同用户对象所对应的人脸图像属于不同的人脸类别；相同用户对象对应的人脸图像属于同一个人脸类别。
具体地，计算机设备可提取各人脸图像中的人脸特征，根据不同人脸图像对应的人脸特征，计算特征相似度，并依据特征相似度确定两张人脸图像的相似程度。进而，计算机设备可将相似度大于预设阈值的人脸图像聚类为同一类人脸类别。其中，特征相似度的计算方式具体可以通过计算特征间的欧氏距离或余弦距离来表示，本申请实施例中不做具体限定。
在一个实施例中，计算机设备可为不同的人脸类别分配对应的用户标识。一个人脸类别对应一个用户标识。其中，用户标识用于唯一标识用户，具体可以是数字、字母、或字符等。
在一个实施例中，步骤S204，也就是对人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别的步骤，包括：
S302，通过预训练的人脸特征提取模型，提取人脸图像中的人脸特征。
其中，人脸特征提取模型是预先训练好的用于提取人脸特征的模型。人脸特征提取模型具体可以是轻量级深度卷积网络FaceNet模型、VGGNet((Visual Geometry Group，视觉集合组)模型、ResNet残差神经网络(Residual Neural Network，能效评估系统)、或其他卷积网络模型，本申请实施例在此不做限定。人脸特征是人脸特征提取模型对人脸图像进行处理后，提取出的可用于从整体上描述人脸的特征，也称人脸特征向量。
具体地，计算机设备可获取预先训练好的人脸特征提取模型，将人脸图像输入至人脸特征提取模型中，通过人脸特征提取模型的模型参数及网络结构，对人脸图像进行特征提取，提取人脸图像中的人脸特征。
在一个实施例中，计算机设备可通过样本图像和训练标签来训练人脸特征提取模型。其中，样本图像是包括有人脸的图像，训练标签是该人脸图像所属的人脸类别，不同的人脸类别对应不同的用户标识。计算机设备可将样本图像输入至人脸特征提取模型中，通过人脸特征提取模型的输出层，输出该样本图像属于各人脸类别的概率。计算机设备可根据人脸特征提取模型的输出结果和训练标签间的差异，朝减小差异的方向调整模型参数。不断迭代计算，直到满足训练停止条件时结束。这样，根据样本图像和训练标签即可训练得到人脸特征提取模型。进一步地，计算机设备可将人脸图像输入至训练好的人脸特征提取模型中，通过人脸特征提取模型的中间层提取人脸特征。
在一个实施例中，步骤S302具体包括：调整人脸图像的尺寸至标准尺寸，得到标准人脸图像；对标准人脸图像进行归一化处理；将经过归一化处理后的标准人脸图像输入至预训练的人脸特征提取模型，通过人脸特征提取模型从标准人脸图像中提取出人脸特征。
其中，标准尺寸是预先设置的规范尺寸。具体地，计算机设备可将人脸图像的尺寸调整至标准尺寸，得到标准人脸图像。进而对标准人脸图像中各像素的值进行归一化处理，将经过归一化处理后的标准人脸图像输入至人脸检测模型，提取出预设维度的人脸特征，其中预设维度比如128维。
在一个实施例中，计算机设备可将人脸图像的尺寸调整为标准尺寸，比如112*112*3，然后将标准人脸图像中各个像素的像素值按RGB(red green blue，红绿蓝)通道的顺序进行排列，得到RGB人脸图像。计算机设备可将RGB人脸图像进行归一化处理，将归一化处理后的RGB人脸图像输入至人脸检测模型中，得到人脸特征。其中，对RGB人脸图像进行归一化处理，具体可以是将RGB图像中的各像素的像素值除以256，得到处理后的各像素的像素值。
上述实施例中，通过对人脸图像进行尺寸调整和归一化处理，可以使得各式各样大小和规格的人脸图像统一规格化，便于人脸特征提取模型进行处理。
S304，依据各人脸图像所对应的人脸特征，计算不同人脸图像间的相似度。
具体地，计算机设备可对多张人脸图像进行两两组合，分别根据两张人脸图像各自对应的人脸特征，计算特征相似度，该特征相似度即可认为是两张人脸图像的相似度。
S306，根据不同人脸图像间的相似度，将满足人脸相似条件的人脸图像聚为同一类人脸类别。
具体地，计算机设备可根据各人脸图像中两两人脸图像间的相似度，将相似度大于预设的相似度阈值的两张人脸图像聚为同一类人脸类别。也就是，可以初步认为，相似度大于相似度阈值的人脸图像为同一用户的人脸图像。这样，不断循环处理，将互相间相似度大于相似度阈值的人脸图像聚类为同一类人脸类别。
在一个实施例中，计算机设备根据各人脸图像中两两人脸图像间的相似度，确定所有人脸图像所对应的相似度矩阵。假设所有用户开始都是单独一个人，将相似度矩阵中的各个相似度值与预设相似度阈值比较，当两张人脸图像间的相似度大于相似度阈值时，则可关联这两张人脸图像，比如通过虚拟线段连接这两张人脸图像。在第一轮迭代时，对于同一张人脸图像，在其他的人脸图像中存在多张相似度大于相似度阈值的候选人脸图像与之对应时，可将最大相似度所对应的候选人脸图像，与该人脸图像聚类为一类人脸图像。也就是说，每张人脸图像所对应的身份信息由关联的人脸图像中最大相似度所对应的人脸图像所确定。此时，对于该人脸图像，可以保存该人脸图像与最大相似度所对应的人脸图像间的关联关系，取消该人脸图像与其他的人脸图像间的关联关系。第一轮迭代过后，当某张人脸图像与多类人脸类别均存在对应关系时，可将该张人脸图像聚类到包括人脸图像数量最多的人脸类别中。也就是，每张人脸图像所对应的人脸类别由包括最多相同人脸图像的人脸类别决定。不断循环第一轮迭代后的步骤，直至收敛，得到至少一个类的人脸类别。每类人脸类别包括至少一张人脸图像。可以理解，同一个人脸类别所包括的人脸图像，可以认为是同一个用户所对应的人脸图像。
上述实施例中，通过预训练的人脸特征提取模型，可以准确地提取出人脸图像中的人脸特征，并依据各人脸图像所对应的人脸特征，计算不同人脸图像间的相似度。这样就可根据不同人脸图像间的相似度，将满足人脸相似条件的人脸图像聚为同一类人脸类别，从而准确地对人脸图像进行人脸识别和聚类，得到每个用户各自对应的人脸图像。
S206，根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签。
其中，用户属性标签是用于标记用户属性特征的类别标签，也可理解为用户的属性特征。用户属性具体包括用户年龄、用户性别、用户着装、用户眼神、用户行为等中的至少一种。
具体地，对于每一类人脸类别，计算机设备可根据该人脸类别所包括的人脸图像，确定该人脸类别对应的用户属性标签。在一个实施例中，计算机设备可将人脸类别所包括的人脸图像输入至预训练的用户属性判别模型，通过用户属性判别模型输出对应的用户属性标签。
在一个实施例中，用户属性标签包括用户年龄标签和用户性别标签；根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签，包括：
S402，对于每类人脸类别，从人脸类别所包括的人脸图像中，筛选出满足大脸条件的代表人脸图像。
其中，满足大脸条件具体可以是该人脸图像中的人脸面积最大。其中，人脸面积是具体可以是人脸图像的面积。具体地，对于每类人脸类别，计算机设备可计算该类人脸类别所包括的人脸图像中，每张人脸图像所对应的人脸面积，将人脸面积最大的人脸图像作为代表人脸图像。或者，计算机设备可将人脸图像中人脸所占面积最大的人脸图像作为代表人脸图像。
S404，将各类人脸类别对应的代表人脸图像分别输入至用户年龄判别模型中，得到与各类人脸类别对应的用户年龄标签。
其中，用户年龄标签是表示用户年龄类别的标签，比如婴儿、儿童、青少年、青年、中年及老年等。或者，还可用不同数值表示不同的用户年龄标签，比如用数值“1”表示“婴儿”，数值“2”表示“儿童”，数值“3”表示“青少年”等。
具体地，对于每类人脸类别，计算机设备将该类人脸类别对应的代表人脸图像输入至预训练的用户年龄判别模型中，得到与该类人脸类别对应的用户年龄标签。
在一个实施例中，计算机设备可根据深度卷积神经网络构建用户年龄判别模型，比如基于3层的卷积神经网络来构建用户年龄判别模型。通过样本人脸图像和该人脸图像对应的样本年龄标签训练用户年龄判别模型，通过梯度下降算法获得用户年龄判别网络的模型参数。当计算机设备将代表人脸图像输入至训练好的用户年龄判别模型后，通过该用户年龄判别模型可得到该代表人脸图像属于各个用户年龄标签的概率，将最大概率对应的用户年龄标签作为该人脸类别对应的用户年龄标签。
S406，将各类人脸类别对应的代表人脸图像分别输入至用户性别判别模型中，得到与各类人脸类别对应的用户性别标签。
其中，用户性别标签是表示用户性别类别的标签，比如男和女等。或者，还可用不同数值表示不同的用户年龄标签，比如用数值“1”表示“男”，数值“2”表示“女”。
具体地，对于每类人脸类别，计算机设备将该类人脸类别对应的代表人脸图像输入至预训练的用户性别判别模型中，得到与该类人脸类别对应的用户性别标签。
在一个实施例中，计算机设备可根据深度卷积神经网络构建用户性别判别模型，比如基于2层的卷积神经网络来构建用户性别判别模型。通过样本人脸图像和该人脸图像对应的样本性别标签训练用户性别判别模型，通过梯度下降算法获得用户性别判别网络的模型参数。当计算机设备将代表人脸图像输入至训练好的用户性别判别模型后，通过该用户性别判别模型可得到该代表人脸图像属于各个用户性别标签的概率，将最大概率对应的用户性别标签作为该人脸类别对应的用户性别标签。
参考图5，图5为一个实施例中，确定与人脸图像对应的用户年龄标签和用户性别标签的结果示意图。如图5所示，计算机设备可将该人脸图像分别输入至用户年龄判别模型、以及用户性别判别模型中，得到用户年龄标签和用户性别标签，比如用户年龄标签为“小孩”，用户性别标签为“男孩”。
上述实施例中，将满足大脸条件的人脸图像作为该类人脸类别中具有代表性的代表人脸图像，从而可将该代表人脸图像依次输入至用户年龄判别模型、及用户性别判别模型中，从而得到可以代表该人脸类别的用户年龄标签和用户性别标签，能准确快捷地确定出用户属性标签。
可以理解，用户属性标签还包括用户着装标签和用户眼神标签等，本申请实施例对此不做限定。其中，用户着装标签是表示用户着装类别的标签，比如休闲装、正式装、运动装等类别标签。用户眼神标签是表示用户眼神类别的标签，比如慈爱眼神类别、或亲密眼神类别等标签。相应的，计算机设备可将代表人脸图像依次输入至用于进行用户着装任务判别的模型、以及用于进行用户眼神任务判别的模型，从而得到该人脸类别对应的用户着装标签和用户眼神标签等。
S208，依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定不同人脸类别间的人脸共现特征。
其中，人脸共现特征是不同的用户所对应的人脸图像同时出现在同一张图像中的特征，比如，不同用户的合照次数。具体地，计算机设备可为每类人脸类别各自分配一个用户标识，该用户标识用于标识该人脸类别对应的用户。对于每个用户标识所标识的用户，计算机设备可统计两个用户对应的合照次数，也就是两个用户标识对应的人脸图像，在同一张待处理图像中出现的次数，并将该合照次数作为这两个用户对应的人脸共现特征。
在一个实施例中，计算机设备对待处理图像进行人脸检测，并从待处理图像中提取出人脸图像后，可记录该人脸图像出自哪张待处理图像，也就是确定人脸图像与待处理图像间的对应关系。当两个用户各自对应的人脸图像出现在同一张待处理图像中时，这两个用户对应的合照次数即可加一。基于此，计算机设备可计算出所有的两两用户间的合照次数。
在一个实施例中，步骤S208，也就是依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定不同人脸类别间的人脸共现特征，包括：对人脸类别进行两两组合，得到至少一组人脸类别组合；对于每组人脸类别组合，依据属于人脸类别组合中的两类人脸类别的人脸图像在同一张待处理图像中出现的次数，确定人脸类别组合对应的人脸共现特征。
具体地，计算机设备可所有的对人脸类别进行两两组合，将不同的两个人脸类别组合为一个人脸类别组合，也就是将两个用户标识组合为一组。对于每组人脸类别组合，计算机设备均可根据这两个用户标识所对应的人脸图像，同时出现在同一张待处理图像中出现的次数，也就是这两个用户标识所对应的用户的合照次数，确定该人脸类别组合对应的人脸共现特征。基于此，可计算出所有的用户两两合照的次数，进而得到相应人脸类别组合对应的人脸共现特征。
S210，将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。
其中，用户关系决策模型是用于对用户关系进行决策的模型，具体可以是决策树模型或深度学习网络模型等。用户关系图谱是用于表示不同用户间相关关系的图谱。
具体地，计算机设备预先通过训练样本和训练标签来训练用户关系决策模型，得到训练好的用户关系决策模型。从而将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征输入至预训练的用户关系决策模型，得到用户关系图谱。其中，训练样本具体可以是不同用户对应的用户属性标签、及相应的人脸共现特征，训练标签具体可以是两个不同用户的用户关系信息。
在一个实施例中，当计算机设备可对人脸类别进行两两组合，得到至少一组人脸类别组合；对于每组人脸类别组合，依据属于人脸类别组合中的两类人脸类别的人脸图像在同一张待处理图像中出现的次数，确定人脸类别组合对应的人脸共现特征。进而，步骤S210，也就是将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征输入至预训练的用户关系决策模型，得到用户关系图谱的步骤，包括：对于每组人脸类别组合，将人脸类别组合所包括的人脸类别对应的用户属性标签、及相应的人脸共现特征输入至预训练的决策树模型，得到人脸类别组合对应的用户关系信息；依据各组人脸类别组合所对应的用户关系信息，构建与待处理图像对应的用户关系图谱。
其中，决策树模型是一种对输入数据进行分类的模型，具有计算速度较快，结果容易解释，而且稳健性强的特点。用户关系信息是表示不同用户间的关系的信息，比如用户A是用户B的父亲、用户C和用户D是好友、用户E和用户F是姐妹等信息。
在一个实施例中，对于每组人脸类别组合，计算机设备可将两个不同人脸类别各自对应的用户属性标签、及相应的人脸共现特征输入至预训练的决策树模型中，通过该用户关系模型输出这组人脸类别组合对应的两类人脸类别间的用户关系信息。相应的，对每组人脸类别组合，计算机设备都可通过上述方式，得到两类人脸类别间的用户关系信息。进一步地，计算机设备可依据各组人脸类别组合所对应的用户关系信息，整合所有的用户关系信息，构建与待处理图像对应的用户关系图谱。
举例说明，参考图6，图6为一个实施例中将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱的流程示意图。如图6所示，计算机设备可将两类人脸类别各自对应的用户年龄标签、用户性别标签、及相应的人脸共现特征，输入至决策树模型中，通过该决策树模型预测用户关系，从而得到用户关系图谱。
参考图7，图7为一个实施例中通过决策树模型确定用户关系的结构示意图。如图7所示，当计算机设备需要判别用户A和用户B之间的关系时，计算机设备可将用户A对应的A年龄标签和A性别标签、用户B对应的B年龄B标签和B性别标签、以及用户A和用户B之间的头像共现特征，比如合照次数，输入至决策树模型中，通过决策树模型中的非叶子节点一步一步进行判断，比如当用户A的年龄<20岁时，走左边分支；当用户A的年龄>＝20岁时走右边的分支。一步一步地判断，从而输出A和B之间的用户关系信息。其中，A和B之间的用户关系信息，比如A是B父亲、A是B母亲、A是B儿子、AB无关系等。
上述实施例中，通过依次将所述人脸类别组合所包括的两类人脸类别对应的用户属性标签、及相应的人脸共现特征输入至预训练的决策树模型，可以快速准确地得到人脸类别组合对应的用户关系信息，直到得到各组人脸类别组合所对应的用户关系信息，并基于此构建与待处理图像对应的用户关系图谱。
在一个实施例中，计算机设备可依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定该不同人脸类别间的人脸共现特征。以人脸共现特征为基础，分别将该人脸共现特征、以及与该人脸共现特征所对应的两类人脸类别相应的用户属性标签，作为一组输入数据。依照此，计算机设备可确定至少一组的输入数据。计算机设备可分别将多组输入数据分别输入至用户关系决策模型的不同输入通道中，通过多个输入通道各自对应的中间层分别对各自的输入数据进行处理，得到每组输入数据相应的用户关系信息。计算机设备再通过用户关系决策模型中的融合层结构，将每组输入数据相应的用户关系信息进行整合，得到用户关系图谱。
在一个实施例中，决策树模型具体可以是包括多个树的模型，比如包括2000到3000之间棵树的模型。对于包括多棵树的决策树模型，每棵决策树的输入数据都是不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，但后面一棵树的输出会根据前面树的输出的结果进行调整修正，直到最后一棵树输出用户关系信息。计算机设备可将最后一棵树所输出的用户关系信息作为输入数据对应的用户关系信息。
在一个实施例中，计算机设备确定好待构建的决策树模型的结构后，可根据样本数据和样本标签来训练决策树模型。其中，样本数据具体可以是两个用户对应的用户属性标签、及相应的头像贡献特征；样本标签具体可以是这两个用户间的用户关系信息。计算机设备可采用动态学习速度方式进行算法学习，采用交叉熵损失函数进行自动学习决策树模型，不断学习，直到达到预设迭代次数时停止。这样，训练得到的决策树模型可以准确地判别不同用户间的用户关系。
举例说明，计算机设备可采用标准Xgboost(eXtreme Gradient Boosting，极端梯度提升)决策树框架，并确定好决策树模型中每棵树的叶子节点个数及决策树的深度，比如构建包括5、10或15个叶子节点，深度为6、7、或8的决策树。确定好树的架构后，比如采用2000至3000棵树共同构建决策树模型。计算机设备可根据训练数据和训练标签来训练决策树模型，在训练过程中可采用动态学习速度方式进行算法学习，初始学习速率比如设为0.001。采用交叉熵损失函数进行自动学习决策树模型，不断学习，直到达到预设迭代次数时停止，预设迭代次数比如10000次。
上述图像处理方法，对待处理图像中的人脸图像进行聚类，将满足人脸相似条件的人脸图像聚为同一类人脸类别，从而准确地识别出不同用户所对应的人脸图像。再根据不同用户对应的人脸图像，确定不同用户各自对应的用户属性标签。并且，根据不同用户的人脸在同一张待处理图像中出现的次数，也就是不同用户的合照次数，来确定相应的人脸共现特征。通过预训练的用户关系决策模型可以有效地融合不同用户对应的用户属性标签、及相应的人脸共现特征，从而得到用户关系图谱。这样，可直接对待处理图像进行处理，挖掘出待处理图像中不同用户的自身属性信息、以及不同用户间的亲密程度，以此来准确高效地预测用户关系图谱，无需从各个网络源搜索用户的关系信息，大大提高了用户关系图谱的挖掘效率。
在一个实施例中，对待处理图像进行人脸检测，从待处理图像中提取出人脸图像的步骤具体包括：
S802，将待处理图像输入至人脸检测模型，通过人脸检测模型中的第一卷积神经网络处理待处理图像，得到用于标记人脸的候选人脸检测框。
其中，人脸检测模型是对输入图像进行人脸检测，以确定输入图像中的人脸位置的模型。人脸检测模型具体可包括多个层级的网络结构，比如包括第一卷积神经网络、第二卷积神经网络和第三卷积神经网络。其中，各卷积神经网络的网络结构可以相同或者不同，各卷积神经网络的参数不同。在模型训练时，人脸检测模型中各卷积神经网络可以采用独立训练、或联合训练的方式等，本申请实施例在此不做限定。
具体地，计算机设备可将待处理图像输入至人脸检测模型中的第一卷积神经网络，通过第一卷积神经网络处理该待处理图像，对待处理图像进行特征提取并分析，输出用于标记人脸的候选人脸检测框。该候选人脸检测框可由左上角及右下角两个顶点的坐标所决定。
S804，通过人脸检测模型中的第二卷积神经网络，从由候选人脸检测框所确定的候选人脸图像中筛选出备用人脸图像；备用人脸图像属于有效人脸图像的概率满足第一概率条件。
其中，第一概率条件具体可以是待筛选的人脸图像属于有效人脸图像的概率值大于或等于预设阈值。具体地，计算机设备可从待处理图像中提取出由候选人脸检测框所确定的区域图像，得到候选人脸图像。进而通过人脸检测模型中的第二卷积神经网络，对候选人脸图像进行分类处理，得到各候选人脸图像属于有效人脸图像的概率值。当某张候选人脸图像所对应的概率值大于或等于预设阈值，或将所有候选人脸图像所对应的概率值按从大到小进行排序，排序名次小于预设名次的候选人脸图像，作为备用人脸图像。
在一个实施例中，由第一卷积神经网络处理后输出的候选人脸检测框的数量有多个，多个候选人脸检测框所确定的区域有很多都是重合，也就是对于同一张人脸，很可能对应多个候选人脸检测框。基于上述情况，计算机设备可采用NMS(Non-MaximumSuppression，非极大值抑制)算法从候选人脸检测框中剔除掉重叠的、无效的候选人脸检测框。进而，计算机设备可通过NMS算法剔除掉部分无效的候选人脸检测框、或者合并重合度高的候选人脸框。再根据处理的结果，将确定相应的候选人脸图像，从而再输入至第二卷积神经网络中进行处理。可减少第二卷积神经网络的处理数据，剔除掉无效数据，进而提高处理效率和准确度。
S806，通过人脸检测模型中的第三卷积神经网络，从备用人脸图像中筛选出待进行聚类处理的人脸图像；筛选出的人脸图像属于有效人脸图像的概率满足第二概率条件。
其中，第二概率条件具体可以是待筛选的人脸图像属于有效人脸图像的概率值大于或等于预设阈值。具体地，计算机设备可根据第二卷积神经网络所筛选出的备用人脸图像，作为输入数据输入至第三卷积神经网络。通过第三卷积神经网络对备用人脸图像进行分类处理，得到各备用人脸图像属于有效的人脸图像的概率值。当某张备用人脸图像所对应的概率值大于预设阈值，或将所有备用人脸图像所对应的概率值按从大到小进行排序，排序名次小于预设名次的备用人脸图像，作为待进行聚类处理的人脸图像，也可以认为筛选出的人脸图像是有效人脸图像。
在一个实施例中，由第二卷积神经网络处理后输出的备用人脸检测框的数量有多个，多个备用人脸检测框所确定的区域有很多都是重合，也就是对于同一张人脸，很可能对应多个备用人脸检测框。基于上述情况，计算机设备可采用NMS算法从备用人脸检测框中剔除掉重叠的、无效的候选人脸检测框。进而，计算机设备可通过NMS算法剔除掉部分无效的备用人脸检测框、或者合并重合度高的备用人脸检测框。再根据处理的结果，将确定相应的备用人脸图像，从而再输入至第三卷积神经网络中进行处理。可减少第三卷积神经网络的处理数据，剔除掉无效数据，进而提高处理效率和准确度。
在一个实施例中，参考图9，图9为一个实施例中通过三个层级网络结构对待处理图像进行人脸检测，从待处理图像中提取出人脸图像的流程效果示意图。如图9所示，第一卷积神经网络具体可以是Small(小)卷积神经网络、第二卷积神经网络具体可以是Middle(中)卷积神经网络、及第三卷积神经网络具体可以是Big(大)卷积神经网络。计算机设备可将待处理图像输入至Small卷积神经网络中，产生若干候选人脸检测框，该候选人脸检测框由左上角、及右下角两个顶点坐标决定，然后采用经典NMS算法对候选人脸检测框中的无效框剔除。接下来，根据将无效框提出后所到的候选人脸检测框，确定候选人脸图像，将候选人脸图像输入Middle卷积神经网络进行二次过滤，结合NMS算法再次剔除无效框。最后，将提出无效框所得到的备用人脸检测框对应的备用人脸图像，输入到Big卷积神经网络中得到最终的有效的人脸图像。也就是图9中右上角中用有效人脸检测框标记的人脸图像。
在一个实施例中，计算机设备将待处理图像输入至训练好的人脸检测模型，得到有效的人脸图像。计算机设备可将提取出的有效的人脸图像进行修正后作为新的训练样本来重新训练人脸检测模型。这样能持续优化人脸检测模型，提高人脸检测模型的效果。
上述实施例中，通过多个层级网络结构，可对不同尺度的人脸进行检测，并基于第二卷积神经网络和第三卷积神经网络，逐层对检测的结果进行合并筛选处理，得到可以准确标记人脸的人脸图像。
在一个实施例中，步骤S210，也就是将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱的步骤具体包括：将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的决策树模型，得到不同人脸类别间的用户关系信息；确定人脸类别中的中心人脸类别；根据不同人脸类别间的用户关系信息，确定各人脸类别分别与中心人脸类别间的用户关系信息；依据各人脸类别分别与中心人脸类别间的用户关系信息，构建中心人脸类别所对应的中心用户的用户关系图谱。
具体地，计算机设备可将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的决策树模型，得到不同人脸类别间的用户关系信息。其中，不同人脸类别间的用户关系信息，是指，两个不同人脸类别间的用户关系信息。计算机设备可根据各人脸类别所包括的人脸图像，确定中心人脸类别。计算机设备确定中心人类类别的方式有多种，比如，计算机设备可从多个人脸类别中随机选择一个人脸类别作为中心人脸类别；或者计算机设备将用户选中的人脸类别作为中心人脸类别；或者计算机设备可将包括最多数量人脸图像的人脸类别作为中心人脸类别；或者采用其他的方式确定中心人脸类别，本申请实施例在此不做限定。其中，中心人脸类别所对应的用户是中心用户，也就是说，待构建的用户关系图谱是围绕该用户而构建的。
进一步地，计算机设备可根据两两不同的人脸类别间的用户关系信息，确定各人脸类别分别与中心人脸类别间的用户关系信息。再依据各人脸类别分别与中心人脸类别间的用户关系信息，构建中心人脸类别所对应的中心用户的用户关系图谱。
上述实施例中，计算机设备可依据中心人脸类别来调整用户关系信息，从而构建以中心人脸类别为中心的用户关系图谱。
在一个实施例中，确定人脸类别中的中心人脸类别具体包括：对于每类人脸类别所包括的各人脸图像，计算各人脸图像分别与相对应的待处理图像间的面积比值；计算各人脸类别所包括的人脸图像中，面积比值大于或等于预设比值的人脸图像的数量；将最大数量所对应的人脸类别，作为待构建的用户关系图谱所对应的中心人脸类别。
具体地，对于每类人脸类别，计算每类人脸类别中的各个人脸图像各自对应的面积比值，其中，人脸图像对应的面积比值是该人脸图像的面积与该人脸图像所对应的待处理图像的面积之间的比值。该人脸图像所对应的待处理图像是指该人脸图像是从该待处理图像中提取出的，也就是对应的待处理图像为该人脸图像的源图像。
进一步地，对于每类人脸类别，计算机设备可计算该人脸类别所包括的人脸图像中，面积比值大于或等于预设比值的人脸图像的数量。将最大数量所对应的人脸类别，作为待构建的用户关系图谱所对应的中心人脸类别。其中，中心人脸类别所对应的用户是中心用户，也就是说，待构建的用户关系图谱是围绕该用户而构建的。
可以理解，当人脸图像与相对应的待处理图像间的面积比值大于或等于预设阈值时，可以认为该张待处理图像为该人脸图像所对应的用户的自拍照。对于待处理图像所对应的多个人脸类别，将对应最大数量的自拍照的人脸类别，作为中心人脸类别。也就是将自拍照最多的用户作为待处理图像的归属者，也可以认为是待处理图像的主人。
上述实施例中，计算各人脸图像分别与相对应的待处理图像间的面积比值，将包括数量最多的面积比值大于或等于预设比值的人脸图像的人脸类别，作为中心人脸类别，从而可构建以该中心人脸类别为中心的用户关系图谱。
在一个实施例中，该图像处理方法还包括展示关系图谱的步骤，该步骤具体包括：获取用户关系图谱展示指令；根据用户关系图谱展示指令，展示包括有人脸图像、及人脸图像间的关系的用户关系图谱。
具体地，计算机设备具体可以是终端，终端可展示有交互界面，终端可检测用户在该交互界面中触发的用户关系图谱展示指令。比如，检测到预设的触发操作时触发用户关系图谱展示指令。并根据该用户图谱展示指令，在交互界面中展示包括有人脸图像、及人脸图像间的关系的用户关系图谱。
其中，预设的触发操作具体可以是触摸操作、光标操作、按键操作或者语音操作。其中，触摸操作可以是触摸点击操作、触摸按压操作或者触摸滑动操作，触摸操作可以是单点触摸操作或者多点触摸操作；光标操作可以是控制光标进行点击的操作或者控制光标进行按压的操作；按键操作可以是虚拟按键操作或者实体按键操作等。
在一个实施例中，终端上运行有社交媒体软件，用户可通过触发用户关系图谱展示指令，比如用户可点击或按压社交媒体软件所展示的图像导入按钮，以触发用户关系图谱展示指令，进而将本地或其他计算机设备中的用户图像导致至社交媒体软件中。进一步地，终端或服务器可执行上述实施例中的图像处理方法，以得到用户关系图谱，进而以图文的形式在终端的显示界面中展示用户关系图谱。
上述实施例中，通过获取用户关系图谱展示指令，展示包括有人脸图像、及人脸图像间的关系的用户关系图谱，可以直观明了地展示出用户关系图谱，使得对相应的用户关系信息一目了然。
如图10所示，在一个具体的实施例中，该图像处理方法包括以下步骤：
S1002，获取用户图像集合。
S1004，从用户图像集合中筛选出包括人脸的图像作为待处理图像。
S1006，将待处理图像输入至人脸检测模型，通过人脸检测模型中的第一卷积神经网络处理待处理图像，得到用于标记人脸的候选人脸检测框。
S1008，通过人脸检测模型中的第二卷积神经网络，从由候选人脸检测框所确定的候选人脸图像中筛选出备用人脸图像；备用人脸图像属于有效人脸图像的概率满足第一概率条件。
S1010，通过人脸检测模型中的第三卷积神经网络，从备用人脸图像中筛选出待进行聚类处理的人脸图像；筛选出的人脸图像属于有效人脸图像的概率满足第二概率条件。
S1012，调整人脸图像的尺寸至标准尺寸，得到标准人脸图像。
S1014，对标准人脸图像进行归一化处理。
S1016，将经过归一化处理后的标准人脸图像输入至预训练的人脸特征提取模型，通过人脸特征提取模型从标准人脸图像中提取出人脸特征。
S1018，依据各人脸图像所对应的人脸特征，计算不同人脸图像间的相似度。
S1020，根据不同人脸图像间的相似度，将满足人脸相似条件的人脸图像聚为同一类人脸类别。
S1022，对于每类人脸类别，从人脸类别所包括的人脸图像中，筛选出满足大脸条件的代表人脸图像。
S1024，将各类人脸类别对应的代表人脸图像分别输入至用户年龄判别模型中，得到与各类人脸类别对应的用户年龄标签。
S1026，将各类人脸类别对应的代表人脸图像分别输入至用户性别判别模型中，得到与各类人脸类别对应的用户性别标签。
S1028，依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定不同人脸类别间的人脸共现特征。
S1030，将与不同人脸类别分别对应的用户年龄标签、用户性别标签、及相应的人脸共现特征，输入至预训练的决策树模型，得到不同人脸类别间的用户关系信息。
S1032，对于每类人脸类别所包括的各人脸图像，计算各人脸图像分别与相对应的待处理图像间的面积比值。
S1034，计算各人脸类别所包括的人脸图像中，面积比值大于或等于预设比值的人脸图像的数量。
S1036，将最大数量所对应的人脸类别，作为待构建的用户关系图谱所对应的中心人脸类别。
S1038，根据不同人脸类别间的用户关系信息，确定各人脸类别分别与中心人脸类别间的用户关系信息。
S1040，依据各人脸类别分别与中心人脸类别间的用户关系信息，构建中心人脸类别所对应的中心用户的用户关系图谱。
S1042，获取用户关系图谱展示指令。
S1044，根据用户关系图谱展示指令，展示包括有人脸图像、及人脸图像间的关系的用户关系图谱。
上述图像处理方法，对待处理图像中的人脸图像进行聚类，将满足人脸相似条件的人脸图像聚为同一类人脸类别，从而准确地识别出不同用户所对应的人脸图像。再根据不同用户对应的人脸图像，确定不同用户各自对应的用户属性标签。并且，根据不同用户的人脸在同一张待处理图像中出现的次数，也就是不同用户的合照次数，来确定相应的人脸共现特征。通过预训练的用户关系决策模型可以有效地融合不同用户对应的用户属性标签、及相应的人脸共现特征，从而得到用户关系图谱。这样，可直接对待处理图像进行处理，挖掘出待处理图像中不同用户的自身属性信息、以及不同用户间的亲密程度，以此来准确高效地预测用户关系图谱，无需从各个网络源搜索用户的关系信息，大大提高了用户关系图谱的挖掘效率。
图10为一个实施例中图像处理方法的流程示意图。应该理解的是，虽然图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个具体实施例中，参考图11，图11为具体实施例中图像处理方法的流程示意图。如图11所示，计算机设备可从用户相册中获取用户图像，对用户图像进行人脸检测、人脸识别和人脸聚类处理，从而确定不同用户各自对应的人脸图像。接着，计算机设备可对人脸图像进行不同维度的特征分析，比如确定人脸图像对应的年龄标签、性别标签、动作标签、合照次数等。进而将这些不同维度的特征数据输入至多个树模型中，以预测用户关系。比如图11中下部分的用户关系图谱中所展示的不同用户间的用户关系，用户关系图谱中间的用户为该相册的主人，左上角的用户与该用户的爱人，右上角的用户为该用户的母亲，左下角和右下角的用户为该用户的孩子。
如图12所示，在一个实施例中，提供了图像处理装置1200，包括获取模块1201、人脸聚类模块1202、确定模块1203和用户关系预测模块1204。
获取模块1201，用于获取待处理图像、及待处理图像中包括的人脸图像。
人脸聚类模块1202，用于对人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别。
确定模块1203，用于根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签。
确定模块1203还用于依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定不同人脸类别间的人脸共现特征。
用户关系预测模块1204，用于将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。
在一个实施例中，获取模块1201包括筛选单元12011和人脸检测单元12012，其中，筛选单元12011，用于获取用户图像集合；从用户图像集合中筛选出包括人脸的图像作为待处理图像；人脸检测单元12012，用于对待处理图像进行人脸检测，从待处理图像中提取出人脸图像。
在一个实施例中，人脸检测单元12012还用于将待处理图像输入至人脸检测模型，通过人脸检测模型中的第一卷积神经网络处理待处理图像，得到用于标记人脸的候选人脸检测框；通过人脸检测模型中的第二卷积神经网络，从由候选人脸检测框所确定的候选人脸图像中筛选出备用人脸图像；备用人脸图像属于有效人脸图像的概率满足第一概率条件；通过人脸检测模型中的第三卷积神经网络，从备用人脸图像中筛选出待进行聚类处理的人脸图像；筛选出的人脸图像属于有效人脸图像的概率满足第二概率条件。
在一个实施例中，人脸聚类模块1202包括提取单元12021、计算单元12022和聚类单元12023，其中：
提取单元12021，用于通过预训练的人脸特征提取模型，提取人脸图像中的人脸特征。
计算单元12022，用于依据各人脸图像所对应的人脸特征，计算不同人脸图像间的相似度。
聚类单元12023，用于根据不同人脸图像间的相似度，将满足人脸相似条件的人脸图像聚为同一类人脸类别。
在一个实施例中，提取单元12021还用于调整人脸图像的尺寸至标准尺寸，得到标准人脸图像；对标准人脸图像进行归一化处理；将经过归一化处理后的标准人脸图像输入至预训练的人脸特征提取模型，通过人脸特征提取模型从标准人脸图像中提取出人脸特征。
在一个实施例中，用户属性标签包括用户年龄标签和用户性别标签；确定模块1203还用于对于每类人脸类别，从人脸类别所包括的人脸图像中，筛选出满足大脸条件的代表人脸图像；将各类人脸类别对应的代表人脸图像分别输入至用户年龄判别模型中，得到与各类人脸类别对应的用户年龄标签；将各类人脸类别对应的代表人脸图像分别输入至用户性别判别模型中，得到与各类人脸类别对应的用户性别标签。
在一个实施例中，确定模块1203还用于对人脸类别进行两两组合，得到至少一组人脸类别组合；对于每组人脸类别组合，依据属于人脸类别组合中的两类人脸类别的人脸图像在同一张待处理图像中出现的次数，确定人脸类别组合对应的人脸共现特征。用户关系预测模块1204还用于对于每组人脸类别组合，将人脸类别组合所包括的人脸类别对应的用户属性标签、及相应的人脸共现特征输入至预训练的决策树模型，得到人脸类别组合对应的用户关系信息；依据各组人脸类别组合所对应的用户关系信息，构建与待处理图像对应的用户关系图谱。
在一个实施例中，用户关系预测模块1204还用于将与不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的决策树模型，得到不同人脸类别间的用户关系信息；确定人脸类别中的中心人脸类别；根据不同人脸类别间的用户关系信息，确定各人脸类别分别与中心人脸类别间的用户关系信息；依据各人脸类别分别与中心人脸类别间的用户关系信息，构建中心人脸类别所对应的中心用户的用户关系图谱。
在一个实施例中，用户关系预测模块1204还用于对于每类人脸类别所包括的各人脸图像，计算各人脸图像分别与相对应的待处理图像间的面积比值；计算各人脸类别所包括的人脸图像中，面积比值大于或等于预设比值的人脸图像的数量；将最大数量所对应的人脸类别，作为待构建的用户关系图谱所对应的中心人脸类别。
参考图13，在一个实施例中，该图像处理装置1200还包括展示模块1205，其中：获取模块1201还用于获取用户关系图谱展示指令；展示模块1205，用于根据用户关系图谱展示指令，展示包括有人脸图像、及人脸图像间的关系的用户关系图谱。
上述图像处理装置，对待处理图像中的人脸图像进行聚类，将满足人脸相似条件的人脸图像聚为同一类人脸类别，从而准确地识别出不同用户所对应的人脸图像。再根据不同用户对应的人脸图像，确定不同用户各自对应的用户属性标签。并且，根据不同用户的人脸在同一张待处理图像中出现的次数，也就是不同用户的合照次数，来确定相应的人脸共现特征。通过预训练的用户关系决策模型可以有效地融合不同用户对应的用户属性标签、及相应的人脸共现特征，从而得到用户关系图谱。这样，可直接对待处理图像进行处理，挖掘出待处理图像中不同用户的自身属性信息、以及不同用户间的亲密程度，以此来准确高效地预测用户关系图谱，无需从各个网络源搜索用户的关系信息，大大提高了用户关系图谱的挖掘效率。
图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或服务器120。如图14所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图12所示的获取模块、人脸聚类模块和确定模块和用户关系预测模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图14所示的计算机设备可以通过如图12所示的图像处理装置中的获取模块执行步骤S202。计算机设备可通过人脸聚类模块执行步骤S204。计算机设备可通过确定模块执行步骤S206和S208。计算机设备可通过用户关系预测模块执行步骤S210。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理方法，包括：
获取待处理图像、及所述待处理图像中包括的人脸图像；
对所述人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别；
根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签；
依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定所述不同人脸类别间的人脸共现特征；
将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像、及所述待处理图像中包括的人脸图像，包括：
获取用户图像集合；
从所述用户图像集合中筛选出包括人脸的图像作为待处理图像；
对所述待处理图像进行人脸检测，从所述待处理图像中提取出人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述待处理图像进行人脸检测，从所述待处理图像中提取出人脸图像，包括：
将所述待处理图像输入至人脸检测模型，通过所述人脸检测模型中的第一卷积神经网络处理所述待处理图像，得到用于标记人脸的候选人脸检测框；
通过所述人脸检测模型中的第二卷积神经网络，从由所述候选人脸检测框所确定的候选人脸图像中筛选出备用人脸图像；所述备用人脸图像属于有效人脸图像的概率满足第一概率条件；
通过所述人脸检测模型中的第三卷积神经网络，从备用人脸图像中筛选出待进行聚类处理的人脸图像；筛选出的所述人脸图像属于有效人脸图像的概率满足第二概率条件。
4.根据权利要求1所述的方法，其特征在于，所述对所述人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别，包括：
通过预训练的人脸特征提取模型，提取所述人脸图像中的人脸特征；
依据各人脸图像所对应的人脸特征，计算不同人脸图像间的相似度；
根据不同人脸图像间的相似度，将满足人脸相似条件的人脸图像聚为同一类人脸类别。
5.根据权利要求4所述的方法，其特征在于，所述通过预训练的人脸特征提取模型，提取所述人脸图像中的人脸特征，包括：
调整所述人脸图像的尺寸至标准尺寸，得到标准人脸图像；
对所述标准人脸图像进行归一化处理；
将经过归一化处理后的标准人脸图像输入至预训练的人脸特征提取模型，通过所述人脸特征提取模型从所述标准人脸图像中提取出人脸特征。
6.根据权利要求1所述的方法，其特征在于，所述用户属性标签包括用户年龄标签和用户性别标签；所述根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签，包括：
对于每类人脸类别，从所述人脸类别所包括的人脸图像中，筛选出满足大脸条件的代表人脸图像；
将各类人脸类别对应的代表人脸图像分别输入至用户年龄判别模型中，得到与各类人脸类别对应的用户年龄标签；
将各类人脸类别对应的代表人脸图像分别输入至用户性别判别模型中，得到与各类人脸类别对应的用户性别标签。
7.根据权利要求1所述的方法，其特征在于，所述依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定所述不同人脸类别间的人脸共现特征，包括：
对所述人脸类别进行两两组合，得到至少一组人脸类别组合；
对于每组人脸类别组合，依据属于所述人脸类别组合中的两类人脸类别的人脸图像在同一张待处理图像中出现的次数，确定所述人脸类别组合对应的人脸共现特征；
所述将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱，包括：
对于每组人脸类别组合，将所述人脸类别组合所包括的人脸类别对应的用户属性标签、及相应的人脸共现特征输入至预训练的决策树模型，得到所述人脸类别组合对应的用户关系信息；
依据各组人脸类别组合所对应的用户关系信息，构建与所述待处理图像对应的用户关系图谱。
8.根据权利要求1所述的方法，其特征在于，所述将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱，包括：
将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的决策树模型，得到不同人脸类别间的用户关系信息；
确定所述人脸类别中的中心人脸类别；
根据所述不同人脸类别间的用户关系信息，确定各人脸类别分别与中心人脸类别间的用户关系信息；
依据各人脸类别分别与中心人脸类别间的用户关系信息，构建所述中心人脸类别所对应的中心用户的用户关系图谱。
9.根据权利要求8所述的方法，其特征在于，所述确定所述人脸类别中的中心人脸类别，包括：
对于每类人脸类别所包括的各人脸图像，计算各人脸图像分别与相对应的待处理图像间的面积比值；
计算各人脸类别所包括的人脸图像中，面积比值大于或等于预设比值的人脸图像的数量；
将最大数量所对应的人脸类别，作为待构建的用户关系图谱所对应的中心人脸类别。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述方法还包括：
获取用户关系图谱展示指令；
根据所述用户关系图谱展示指令，展示包括有所述人脸图像、及所述人脸图像间的关系的用户关系图谱。
11.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像、及所述待处理图像中包括的人脸图像；
人脸聚类模块，用于对所述人脸图像进行聚类处理，将满足人脸相似条件的人脸图像聚为同一类人脸类别；
确定模块，用于根据各人脸类别所包括的人脸图像，确定各人脸类别对应的用户属性标签；
所述确定模块还用于依据属于不同人脸类别的人脸图像，在同一张待处理图像中出现的次数，确定所述不同人脸类别间的人脸共现特征；
用户关系预测模块，用于将与所述不同人脸类别分别对应的用户属性标签、及相应的人脸共现特征，输入至预训练的用户关系决策模型，得到用户关系图谱。
12.根据权利要求11所述的装置，其特征在于，所述获取模块包括筛选单元和人脸检测单元，其中：
筛选模块，用于获取用户图像集合；从所述用户图像集合中筛选出包括人脸的图像作为待处理图像；
人脸检测模块，用于对所述待处理图像进行人脸检测，从所述待处理图像中提取出人脸图像。
13.根据权利要求11所述的装置，其特征在于，所述人脸聚类模块包括提取单元、计算单元和聚类单元，其中：
提取单元，用于通过预训练的人脸特征提取模型，提取所述人脸图像中的人脸特征；
计算单元，用于依据各人脸图像所对应的人脸特征，计算不同人脸图像间的相似度；
聚类单元，用于根据不同人脸图像间的相似度，将满足人脸相似条件的人脸图像聚为同一类人脸类别。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
CN201910690640.2A 2019-07-29 2019-07-29 图像处理方法、装置、存储介质和计算机设备 Pending CN110414433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910690640.2A CN110414433A (zh) 2019-07-29 2019-07-29 图像处理方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910690640.2A CN110414433A (zh) 2019-07-29 2019-07-29 图像处理方法、装置、存储介质和计算机设备

Publications (1)

Publication Number Publication Date
CN110414433A true CN110414433A (zh) 2019-11-05

Family

ID=68363901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910690640.2A Pending CN110414433A (zh) 2019-07-29 2019-07-29 图像处理方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN110414433A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507232A (zh) * 2020-04-10 2020-08-07 三一重工股份有限公司 多模态多策略融合的陌生人识别方法和系统
CN111680753A (zh) * 2020-06-10 2020-09-18 创新奇智(上海)科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN111813532A (zh) * 2020-09-04 2020-10-23 腾讯科技（深圳）有限公司 一种基于多任务机器学习模型的图像管理方法及装置
CN112069982A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 目标图像的获取方法、装置、电子设备以及存储介质
CN112270361A (zh) * 2020-10-30 2021-01-26 重庆紫光华山智安科技有限公司 一种人脸数据处理方法、系统、存储介质及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507232A (zh) * 2020-04-10 2020-08-07 三一重工股份有限公司 多模态多策略融合的陌生人识别方法和系统
CN111680753A (zh) * 2020-06-10 2020-09-18 创新奇智(上海)科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN112069982A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 目标图像的获取方法、装置、电子设备以及存储介质
CN111813532A (zh) * 2020-09-04 2020-10-23 腾讯科技（深圳）有限公司 一种基于多任务机器学习模型的图像管理方法及装置
CN112270361A (zh) * 2020-10-30 2021-01-26 重庆紫光华山智安科技有限公司 一种人脸数据处理方法、系统、存储介质及设备
CN112270361B (zh) * 2020-10-30 2021-10-22 重庆紫光华山智安科技有限公司 一种人脸数据处理方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
CN110414433A (zh) 图像处理方法、装置、存储介质和计算机设备
Yang et al. Cross-modal relationship inference for grounding referring expressions
Zhang et al. A gated peripheral-foveal convolutional neural network for unified image aesthetic prediction
TWI766618B (zh) 關鍵點檢測方法、電子設備及電腦可讀儲存介質
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
CN110162593A (zh) 一种搜索结果处理、相似度模型训练方法及装置
CN109697416A (zh) 一种视频数据处理方法和相关装置
CN107851092A (zh) 个人实体建模
CN107992746A (zh) 恶意行为挖掘方法及装置
CN106156702A (zh) 身份认证方法及设备
KR101986418B1 (ko) 병해충 검색을 위한 통합 시스템
CN110162970A (zh) 一种程序处理方法、装置以及相关设备
CN105843947A (zh) 基于大数据关联规则挖掘的异常行为检测方法和系统
CN108416314A (zh) 图片重要人脸检测方法
Li et al. Learning to learn relation for important people detection in still images
CN113111657B (zh) 一种跨语言知识图谱对齐与融合方法、装置及存储介质
WO2021127841A1 (zh) 属性识别方法、装置、存储介质及电子设备
CN110009224A (zh) 嫌疑人违规概率预测方法、装置、计算机设备及存储介质
Nauata et al. Structured label inference for visual understanding
Yu et al. Group emotion recognition based on global and local features
Nemmour et al. Fuzzy neural network architecture for change detection in remotely sensed imagery
Balim et al. Diagnosing fashion outfit compatibility with deep learning techniques
Aljrees et al. Criminal pattern identification based on modified K-means clustering
CN112364852B (zh) 融合全局信息的动作视频段提取方法
CN103227810B (zh) 一种在网络监控中识别远程桌面语义的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination