CN110147833A - 人像处理方法、装置、系统和可读存储介质 - Google Patents

人像处理方法、装置、系统和可读存储介质 Download PDF

Info

Publication number
CN110147833A
CN110147833A CN201910384912.6A CN201910384912A CN110147833A CN 110147833 A CN110147833 A CN 110147833A CN 201910384912 A CN201910384912 A CN 201910384912A CN 110147833 A CN110147833 A CN 110147833A
Authority
CN
China
Prior art keywords
aesthstic
quantized value
candidate
aesthetics
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910384912.6A
Other languages
English (en)
Other versions
CN110147833B (zh
Inventor
牛然森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910384912.6A priority Critical patent/CN110147833B/zh
Publication of CN110147833A publication Critical patent/CN110147833A/zh
Application granted granted Critical
Publication of CN110147833B publication Critical patent/CN110147833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种人像处理方法、装置、系统和可读存储介质。该方法包括:获取待处理人像,并生成待处理人像的多个候选裁剪框;将待处理人像输入骨架检测网络模型进行骨架检测处理,得到待处理人像的骨架节点位置;以及根据各候选裁剪框和骨架节点位置,计算各候选裁剪框的第一类美学量化值;根据各候选裁剪框,对待处理人像进行裁剪处理,得到待处理人像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值;根据各候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为待处理人像的目标裁剪框。采用本方法获得的目标裁剪框往往较为准确。

Description

人像处理方法、装置、系统和可读存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种人像处理方法、装置、系统和可读存储介质。
背景技术
基于对美的追求,人们通常会对图像进行裁剪,来增强图像的构图效果,使得裁剪后得到的图像美感增加,主体更为突出。
近些年,有不少研究在尝试用深度学习来自动对待处理图像进行裁剪。示例性地,针对待处理图像,可以根据不同的纵横比得到一些候选裁剪框(predefined croppingwindows),并基于各候选裁剪框对待处理图像进行裁剪处理得到各候选裁剪图像;然后基于深度学习模型提取各候选裁剪图像的图像特征,并根据各候选裁剪图像的图像特征,计算各候选裁剪图像的美学分数,并将美学分数最高的候选裁剪框输出,作为目标裁剪框,以对待处理图像进行裁剪。
然而,由于上述深度学习模型一般是通过训练样本图像的标注美学分数和预测美学分数之间的损失来训练得到的,而标注美学分数存在较大的主观性,因此上述美学分数的计算存在不够合理、不够稳定的问题,导致基于上述图像裁剪方法得到的目标裁剪框往往不够准确。
发明内容
基于此,有必要针对上述技术问题,提供一种能够准确确定目标裁剪框的人像处理方法、装置、系统和可读存储介质。
第一方面,一种人像处理方法,包括:
获取待处理人像,并生成所述待处理人像的多个候选裁剪框;
将所述待处理人像输入骨架检测网络模型进行骨架检测处理,得到所述待处理人像的骨架节点位置;以及根据各所述候选裁剪框和所述骨架节点位置,计算各所述候选裁剪框的第一类美学量化值;
根据各所述候选裁剪框,对所述待处理人像进行裁剪处理,得到所述待处理人像的各候选裁剪图像;以及将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪框的第二类美学量化值;
根据各所述候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为所述待处理人像的目标裁剪框。
在其中一个实施例中,所述根据各所述候选裁剪框和所述骨架节点位置,计算各所述候选裁剪框的第一类美学量化值,包括:
根据各所述候选裁剪框和所述骨架节点位置,确定各所述候选裁剪框对应的边缘骨架节点;所述候选裁剪框的边缘骨架节点与所述候选裁剪框的边缘位置匹配;
根据预设的边缘骨架节点与美学等级的对应关系,确定各所述候选裁剪框对应的边缘骨架节点的美学等级;
根据各所述候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各所述候选裁剪框的第一类美学量化值。
在其中一个实施例中,所述根据各所述候选裁剪框和所述骨架节点位置,确定各所述候选裁剪框对应的边缘骨架节点,包括:
根据各所述候选裁剪框的边缘位置和所述骨架节点位置,确定与各所述候选裁剪框的边缘位置距离最近的骨架节点,作为各所述候选裁剪框对应的边缘骨架节点。
在其中一个实施例中,所述方法还包括:
获取各样本人像;所述样本人像标记有美学量化值;
将各所述样本人像输入所述骨架检测网络模型进行骨架检测处理,得到各所述样本人像的骨架节点位置;
根据各所述样本人像和各所述样本人像的骨架节点位置,确定各所述样本人像对应的边缘骨架节点;所述样本人像的边缘骨架节点与所述样本人像的边缘位置匹配;
根据各所述样本人像的边缘骨架节点和各所述样本人像的美学量化值,建立所述边缘骨架节点与美学等级的对应关系。
在其中一个实施例中,所述根据各所述样本人像的边缘骨架节点和各所述样本人像的美学量化值,建立所述边缘骨架节点与美学等级的对应关系,包括:
建立边缘骨架节点美学向量并初始化;所述边缘骨架节点美学向量中每个元素的值对应每个类别的边缘骨架节点的美学量化值;
遍历各所述样本人像,若所述样本人像的美学量化值大于预设的第一美学量化阈值,则从所述边缘骨架节点美学向量的各元素中,确定与所述样本人像的边缘骨架节点相应的元素,并对所述元素增加第一预设数值;若所述样本人像的美学量化值小于预设的第二美学量化阈值,则从所述边缘骨架节点美学向量的各元素中,确定与所述样本人像的边缘骨架节点相应的元素,并对所述元素减去第二预设数值;所述第一美学量化阈值大于所述第二美学量化阈值;
针对所述边缘骨架节点美学向量中每个元素,根据各元素的值从大到小进行排序,并根据所述排序建立所述边缘骨架节点与美学等级的对应关系;其中,排序靠前的元素所对应类别的边缘骨架节点的美学等级,高于排序靠后的元素所对应类别的边缘骨架节点的美学等级。
在其中一个实施例中,所述根据各所述候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各所述候选裁剪框的第一类美学量化值,包括:
根据各所述候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各所述候选裁剪框对应的边缘骨架节点的美学量化值;
若所述候选裁剪框对应的边缘骨架节点为一个,则将所述候选裁剪框对应的边缘骨架节点的美学量化值,作为所述候选裁剪框的第一类美学量化值;若所述候选裁剪框对应的边缘骨架节点为多个,则将所述候选裁剪框对应的多个边缘骨架节点的多个美学量化值中的最小值,作为所述候选裁剪框的第一类美学量化值;若所述候选裁剪框对应的边缘骨架节点为零个,则将预设的完整人像美学量化值作为所述候选裁剪框的第一类美学量化值。
在其中一个实施例中,所述第二类美学量化值与所述候选裁剪图像的场景类别预测向量相关;所述美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,所述中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述场景类别预测向量为所述美学网络模型根据所述训练样本图像计算得到的,所述美学量化值损失与各训练样本图像的预测美学量化值相关。
在其中一个实施例中,所述美学网络模型包括:特征提取子网络、美学量化子网络和场景预测子网络;所述将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪图像的第二类美学量化值,包括:
将各所述候选裁剪图像输入所述特征提取子网络进行特征提取处理,得到各所述候选裁剪图像的图像特征;
将各所述候选裁剪图像的图像特征输入所述场景预测子网络进行场景预测处理,得到各所述候选裁剪图像的场景类别预测向量;
将各所述候选裁剪图像的图像特征和所述场景类别预测向量输入所述美学量化子网络进行美学量化处理,得到各所述候选裁剪图像的第二类美学量化值。
在其中一个实施例中,所述方法还包括:
获取各训练样本图像和各所述训练样本图像的场景类别,将各所述训练样本图像分别标注场景类别标记向量;所述场景类别标记向量与所述场景类别对应;
将各所述训练样本图像输入初始美学网络模型中,输出各所述训练样本图像的场景类别预测向量和预测美学量化值;
根据各所述训练样本图像的场景类别预测向量和场景类别标记向量,计算所述中心损失,以及根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,并根据所述中心损失和所述美学量化值损失,计算所述初始神经网络模型的损失函数的值;
根据所述损失函数的值,对所述初始美学网络模型的待训练参数进行调整,得到所述美学网络模型。
在其中一个实施例中,各所述训练样本图像分别还标注有标记美学量化值;所述根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,包括:
计算各所述训练样本图像的预测美学量化值和标记美学量化值之间的损失之和,作为所述美学量化值损失。
在其中一个实施例中,各所述训练样本图像被划分为多个训练样本图像组;每个训练样本图像组包括两个所述训练样本图像,并标注有两个所述训练样本图像之间的美学量化值大小关系;所述根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,包括:
针对各训练样本图像组,根据所述训练样本图像组中两个训练样本图像之间的美学量化值大小关系,计算两个所述训练样本图像中美学量化值较小的训练样本图像的预测美学量化值,与美学量化值较大的训练样本图像的预测美学量化值之间的差值;
根据各训练样本图像组对应的所述差值,计算所述美学量化值损失。
在其中一个实施例中,所述获取各所述训练样本图像的场景类别,包括:
将各所述训练样本图像输入场景特征提取网络模型进行场景特征提取处理,得到各所述训练样本图像的场景特征向量;所述场景特征向量中各元素的值表征所述训练样本图像是否包括所述元素对应的场景特征;
对各所述训练样本图像的场景特征向量进行聚类处理,将各所述训练样本图像划分为多个场景类别。
在其中一个实施例中,所述根据各所述候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为所述待处理人像的目标裁剪框,包括:
分别对各所述候选裁剪框的所述第一类美学量化值和所述第二类美学量化值进行加权求和,得到各所述候选裁剪框的美学量化值;
对各所述候选裁剪框的美学量化值由高到低进行排序,选取排序靠前的至少一个候选裁剪框作为目标裁剪框。
第二方面,一种图像处理方法,包括:
获取待处理图像,并生成所述待处理图像的多个候选裁剪框;
根据各所述候选裁剪框,对所述待处理图像进行裁剪处理,得到所述待处理图像的各候选裁剪图像;以及将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪框的第二类美学量化值;所述第二类美学量化值与所述候选裁剪图像的场景类别预测向量相关;所述美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,所述中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述场景类别预测向量为所述美学网络模型根据所述训练样本图像计算得到的,所述美学量化值损失与各训练样本图像的预测美学量化值相关;
根据各所述候选裁剪框的第二类美学量化值,选择至少一个候选裁剪框作为所述待处理图像的目标裁剪框。
第三方面,一种美学网络模型的训练方法,包括:
获取各训练样本图像和各所述训练样本图像的场景类别,将各所述训练样本图像分别标注场景类别标记向量;所述场景类别标记向量与所述场景类别对应;
将各所述训练样本图像输入初始美学网络模型中,输出各所述训练样本图像的场景类别预测向量和预测美学量化值;所述预测美学量化值与所述训练样本图像的场景类别预测向量相关;
根据各所述训练样本图像的场景类别预测向量和场景类别标记向量,计算所述中心损失,以及根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,并根据所述中心损失和所述美学量化值损失,计算所述初始神经网络模型的损失函数的值;所述损失函数包括:中心损失和美学量化值损失,所述中心损失为各所述训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述美学量化值损失与各训练样本图像的预测美学量化值相关;
根据所述损失函数的值,对所述初始美学网络模型的待训练参数进行调整,得到所述美学网络模型。
第四方面,一种人像处理装置,包括:
人像预处理模块,用于获取待处理人像,并生成所述待处理人像的多个候选裁剪框;
第一类美学量化模块,用于将所述待处理人像输入骨架检测网络模型进行骨架检测处理,得到所述待处理人像的骨架节点位置;以及根据各所述候选裁剪框和所述骨架节点位置,计算各所述候选裁剪框的第一类美学量化值;
第二类美学量化模块,用于根据各所述候选裁剪框,对所述待处理人像进行裁剪处理,得到所述待处理人像的各候选裁剪图像;以及将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪框的第二类美学量化值;
第一裁剪框确定模块,用于根据各所述候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为所述待处理人像的目标裁剪框。
第五方面,一种图像处理装置,包括:
图像预处理模块,用于获取待处理图像,并生成所述待处理图像的多个候选裁剪框;
美学量化模块,用于根据各所述候选裁剪框,对所述待处理图像进行裁剪处理,得到所述待处理图像的各候选裁剪图像;以及将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪框的第二类美学量化值;所述第二类美学量化值与所述候选裁剪图像的场景类别预测向量相关;所述美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,所述中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述场景类别预测向量为所述美学网络模型根据所述训练样本图像计算得到的,所述美学量化值损失与各训练样本图像的预测美学量化值相关;
第二裁剪框确定模块,用于根据各所述候选裁剪框的第二类美学量化值,选择至少一个候选裁剪框作为所述待处理图像的目标裁剪框。
第六方面,一种美学网络模型的训练装置,包括:
训练样本获取模块,用于获取各训练样本图像和各所述训练样本图像的场景类别,将各所述训练样本图像分别标注场景类别标记向量;所述场景类别标记向量与所述场景类别对应;
训练样本处理模块,用于将各所述训练样本图像输入初始美学网络模型中,输出各所述训练样本图像的场景类别预测向量和预测美学量化值;所述预测美学量化值与所述训练样本图像的场景类别预测向量相关;
损失函数计算模块,用于根据各所述训练样本图像的场景类别预测向量和场景类别标记向量,计算所述中心损失,以及根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,并根据所述中心损失和所述美学量化值损失,计算所述初始神经网络模型的损失函数的值;所述损失函数包括:中心损失和美学量化值损失,所述中心损失为各所述训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述美学量化值损失与各训练样本图像的预测美学量化值相关;
模型训练模块,用于根据所述损失函数的值,对所述初始美学网络模型的待训练参数进行调整,得到所述美学网络模型。
第七方面,一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述第一方面、第二方面、第三方面中任一项所述的方法的步骤。
第八方面,一种人像处理系统,包括拍摄装置和计算机设备;所述拍摄装置用于拍摄获取待处理人像,并将所述待处理人像发送给所述计算机设备进行图像处理;所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面、第二方面、第三方面中任一项所述的方法的步骤。
上述人像处理方法、装置、系统和可读存储介质,计算机设备可以将待处理人像输入骨架检测网络模型进行骨架检测处理,得到骨架节点位置,并根据各候选裁剪框和骨架节点位置,计算各所述候选裁剪框的第一类美学量化值;也可以将根据各候选裁剪框对待处理人像进行裁剪处理得到的各候选裁剪图像,输入美学网络模型,得到各候选裁剪框的第二类美学量化值;最终根据各候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为目标裁剪框;其中,第一类美学量化值是基于各候选裁剪框与各骨架节点位置的相对关系来确定的,其计算方式相对合理且稳定,避免了标注美学分数等不够客观的问题,因此基于本实施例得到的目标裁剪框往往较为准确,可以得到美学量化值较高的裁剪图像。
附图说明
图1为一个实施例中人像处理方法的应用环境图;
图2为一个实施例中人像处理方法的流程示意图;
图3a为一个实施例中第一类美学量化值的计算流程示意图;
图3b为一个实施例中第一类美学量化值的计算示意图;
图4a为一个实施例中建立边缘骨架节点与美学等级的对应关系的流程示意图;
图4b为一个实施例中建立边缘骨架节点与美学等级的对应关系的示意图;
图5a为一个实施例中美学网络模型的示意图;
图5b为一个实施例中第二类美学量化值的计算流程示意图;
图6为一个实施例中美学网络模型的训练方法的流程示意图;
图7为一个实施例中图像处理方法的流程示意图;
图8为一个实施例中美学网络模型的训练方法的流程示意图;
图9为一个实施例中人像处理装置的结构框图;
图10为一个实施例中图像处理装置的结构框图;
图11为一个实施例中美学网络模型的训练装置的结构框图;
图12为一个实施例中人像处理系统的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的人像处理方法,可以但不限于应用于如图1所示的应用环境中。其中,拍摄装置12可以获取待识别对象的待处理人像,并将待处理人像发送给计算机设备11;计算机设备11可以根据待处理人像,生成待处理人像的多个候选裁剪框,并计算各个候选裁剪框的美学分数,以及基于各候选裁剪框的美学分数,选择至少一个候选裁剪框作为目标裁剪框。其中,计算机设备11可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、服务器等。
在一个实施例中,如图2所示,提供了一种人像处理方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
S201,获取待处理人像,并生成待处理人像的多个候选裁剪框。
上述待处理人像可以是计算机设备接收到的其它设备发送的待处理人像,如拍摄装置、其它计算机设备等,也可以是计算机设备本地存储的待处理人像,或者是其它来源的待处理人像;总之,计算机设备需要对待处理人像进行裁剪处理,以得到美学效果更为突出的人像。
上述多个候选裁剪框的生成过程可以如下:生成不同大小、不同纵横比的滑动窗口,然后基于不同滑动窗口,在待处理人像上采用不同滑动幅度对滑动窗口进行滑动,可以是水平滑动,也可以是竖直滑动;滑动幅度可以自定义,取决于期望的候选裁剪框的数量;滑动窗口的纵横比可以自定义,如常见的4:3,3:4,2:3等,也可以基于待处理人像的纵横比,确定与该纵横比接近的一系列纵横比作为滑动窗口的纵横比;滑动窗口的大小也可以自定义,如原图的10%、30%、40%、……、100%等;当然,也可以将上述比例,作为滑动窗口与待处理人像的长度之比,和/或,宽度之比,以此计算滑动窗口的大小。
当然,上述各候选裁剪框也不限于是长方形,也可以是圆形、椭圆形、心形、扇形等,可以自行定义,本实施例对此并不限制。
S202,将待处理人像输入骨架检测网络模型进行骨架检测处理,得到待处理人像的骨架节点位置;以及根据各候选裁剪框和骨架节点位置,计算各候选裁剪框的第一类美学量化值。
上述骨架检测网络模型可以为任一能够进行骨架节点识别和检测的神经网络模型,可以从待处理人像中识别出各骨架节点,并定位各骨架节点的位置;示例性地,该骨架节点位置可以包括不同类别的骨架节点的位置,如腕部节点位置、腰部节点位置、头部节点位置等。可选地,该骨架检测网络模型可以为卷积神经网络模型。
可以理解的是,对人像的裁剪远比风景之类的裁剪要求高,例如在处理人像时会忌讳不正当的裁剪,比如脸部被裁剪,美学量化值较低;但有时对人像从小腿中部节点(人像为斜坐姿态)裁剪、从膻中节点裁剪(可以得到半身像)等可能会得到与原待处理人像美学风格不同的图像,美学量化值较高。
因此,本实施例专注于人像在候选裁剪框中的位置,具体地:计算机设备可以获取各候选裁剪框的位置,也可以获取待处理人像中各骨架节点的位置,因此可以分别确定各候选裁剪框与各骨架节点位置的相对关系,包括但不限于:可以确定位于每个候选裁剪框范围内的骨架节点,可以确定位于每个候选裁剪框边缘位置的骨架节点等等。因此,计算机设备可以根据各候选裁剪框和骨架节点位置,计算各候选裁剪框的第一类美学量化值。
示例性地,头部节点具体可以包括:下巴节点、头顶节点。可以理解的是,本实施例可以判断候选裁剪框是否进行了预设的裁剪方式(忌讳的裁剪方式),并根据判断结果来确定候选裁剪框的第一类美学量化值;例如,头部被剪裁是一种忌讳的裁剪方式,本实施例可以通过获取头顶节点和下巴节点与候选裁剪框的相对位置来确定头部是否被裁减;一种简单的方式如下:若对于某一候选裁剪框,下巴节点位于该候选裁剪框之内,而头顶节点位于该候选裁剪框之外,意味着头部被裁减,则该候选裁剪框的第一类美学量化值为预设的第一美学量化值;若下巴节点和头顶节点均位于该候选裁剪框之内或均位于该候选裁剪框之外,意味着头部未被裁剪,则该候选裁剪框的第一类美学量化值为预设的第二美学量化值;其中,第二美学量化值大于第一美学量化值。例如,预设的第一美学量化值可以为-E,第二美学量化值可以为+E,E为参考量化值,可以为任一正数。
在一个实施方式中,根据各候选裁剪框和所述骨架节点位置,计算各候选裁剪框的第一类美学量化值,可以包括:根据各候选裁剪框和骨架节点位置,确定各候选裁剪框范围内的骨架节点;根据预设的骨架节点与美学等级的对应关系,确定各候选裁剪框范围内的骨架节点的美学等级;根据各候选裁剪框范围内的骨架节点的美学等级,确定各所述候选裁剪框的第一类美学量化值。
示例型性的,预先通过大量统计的方式,可以统计得到人像中哪些骨架节点可以增加人像美感,或者对美感的贡献等级,即骨架节点与美学等级的对应关系,具体统计方式可参照本申请中其它实施例的描述;针对某候选裁剪框,候选裁剪框范围可以体现为候选裁剪框所包围的区域范围,因此可以比较各骨架节点的位置(如位置坐标)和候选裁剪框所包围的区域范围,通过计算方式确定该骨架节点是否位于该候选裁剪框范围内,从而确定该候选裁剪框范围内的各骨架节点,并确定该候选裁剪框范围内的各骨架节点的美学等级,示例性地,可以将该候选裁剪框范围内的各骨架节点的美学等级进行平均运算,得到该候选裁剪框范围内的各骨架节点的平均美学等级,作为该候选裁剪框的第一类美学量化值。
需要说明的是,在本实施例中,涉及的美学量化值可以为具体的数值,也可以是等级(不同的数值可以对应不同的等级),也可以是其它类型的美学评价方式,本实施例对此并不限制;同样的,美学等级同样也是如此。
S203,根据各候选裁剪框,对待处理人像进行裁剪处理,得到待处理人像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值。
一般地,裁剪处理是保留候选裁剪框范围内的图像,而舍弃候选裁剪框范围外的图像。在本实施例中,美学网络模型可以从候选裁剪图像中提取出图像特征,然后基于图像特征(一般基于全连接层)计算得到候选裁剪图像的第二类美学量化值。可选地,该美学网络模型可以为卷积神经网络模型。
S204,根据各候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为待处理人像的目标裁剪框。
本实施例可以采用各候选裁剪框的第一类美学量化值作为评价标准,也可以采用各候选裁剪框的第二类美学量化值作为评价标准,也可以将各候选裁剪框的第一类美学量化值和第二类美学量化值共同作为评价标准。
例如,计算机设备可以将各候选裁剪框的第一类美学量化值作为各候选裁剪框的美学量化值;对各候选裁剪框的美学量化值由高到低进行排序,选取排序靠前的至少一个候选裁剪框作为目标裁剪框。
其中,目标裁剪框可以为一个,也可以为多个。可以理解的是,在S204之后,计算机设备可以直接根据目标裁剪框对待处理人像进行裁剪,得到裁剪后的裁剪图像;也可以通过将目标裁剪框和待处理人像共同显示等多种方式向用户进行展示,并接收用户针对展示的目标裁剪框和待处理人像所输入的裁剪指令,根据裁剪指令中用户选择的目标裁剪框,对待处理人像进行裁剪,得到裁剪后的裁剪图像;或者是计算机设备根据目标裁剪框的进行的其它图像处理,本实施例对此并不限制。
总之,本实施例的人像处理方法中,计算机设备可以将待处理人像输入骨架检测网络模型进行骨架检测处理,得到骨架节点位置,并根据各候选裁剪框和骨架节点位置,计算各所述候选裁剪框的第一类美学量化值;也可以将根据各候选裁剪框对待处理人像进行裁剪处理得到的各候选裁剪图像,输入美学网络模型,得到各候选裁剪框的第二类美学量化值;最终根据各候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为目标裁剪框;其中,第一类美学量化值是基于各候选裁剪框与各骨架节点位置的相对关系来确定的,其计算方式相对合理且稳定,避免了标注美学分数等不够客观的问题,因此基于本实施例得到的目标裁剪框往往较为准确,可以得到美学量化值较高的裁剪图像。
参照图3a所示,本实施例涉及如何根据各候选裁剪框和骨架节点位置,计算上述第一类美学量化值的具体实现方式,可以包括:
S301,根据各候选裁剪框和骨架节点位置,确定各候选裁剪框对应的边缘骨架节点;候选裁剪框的边缘骨架节点与候选裁剪框的边缘位置匹配。
示例性地,针对各候选裁剪框,计算机设备可以根据候选裁剪框的位置,确定包括该候选裁剪框在内的预设大小区域为该候选裁剪框的边缘区域;将位于该候选裁剪框的边缘区域内的骨架节点,作为该候选裁剪框对应的边缘骨架节点。例如,对于圆形的半径为R的候选裁剪框,其边缘区域可以是距离该候选裁剪框的圆心的距离在(R-x,R+x)范围内的环形区域,其中x为相对R的小量,例如x=R/10。
示例性地,计算机设备可以根据各候选裁剪框的边缘位置和骨架节点位置,确定与各候选裁剪框的边缘位置距离最近的骨架节点,作为各候选裁剪框对应的边缘骨架节点。例如,针对各候选裁剪框,计算机设备可以计算各骨架节点与候选裁剪框的距离,并由小到大进行排序,选取排序靠前的至少一个骨架节点作为该候选裁剪框的边缘骨架节点。
此外,候选裁剪框的位置可以体现为组成候选裁剪框的各框节点的位置;因此,计算机设备还可以选取各框节点的位置,针对各框节点,计算机设备可以根据框节点的位置和各骨架节点的位置,计算各骨架节点与框节点的距离,确定距离该框节点距离最近的骨架节点,若距离该框节点距离最近的骨架节点与该框节点的距离小于预设距离阈值,则确定距离该框节点距离最近的骨架节点为该候选裁剪框的边缘骨架节点。其中,该距离阈值为相对候选裁剪框的大小的小量。
再比如,如图3b所示,某候选裁剪框,横切了人像的腰部,可以理解的是,在人体骨架由脚到头的方向上,横切部位(对应该候选裁剪框的某一边)之下可能存在至少一个骨架节点X,横切部位之上可能存在至少一个骨架节点Y,则可以计算X与横切部位的距离和Y与横切部位的距离,并将距离更近的骨架节点X作为该候选裁剪框的边缘骨架节点。
S302,根据预设的边缘骨架节点与美学等级的对应关系,确定各候选裁剪框对应的边缘骨架节点的美学等级。
因为边缘骨架节点实际为相对人体骨架的裁剪位置,因此上述预设的边缘骨架节点与美学等级的对应关系,可以理解为相对人体骨架的裁剪位置对美学量化值的贡献,具体可以为不同骨架节点的类别与美学等级的一一对应关系;示例性地,美学等级由高到低可以为:第一等级(好,Good,G)、第二等级(中,Neutral,N)、第三等级(不好,Bad,B);该对应关系可以为基于经验建立的,如头顶节点对应第一等级,膻中节点对应第一等级,髋节点对应第二等级,腕节点对应第三等级。
在一种实施方式中,参照图4a所示,上述预设的边缘骨架节点与美学等级的对应关系的建立过程可以如下:
S401,获取各样本人像;样本人像标记有美学量化值;
S402,将各样本人像输入骨架检测网络模型进行骨架检测处理,得到各样本人像的骨架节点位置;
S403,根据各样本人像和各样本人像的骨架节点位置,确定各样本人像对应的边缘骨架节点;样本人像的边缘骨架节点与样本人像的边缘位置匹配;
S404,根据各样本人像的边缘骨架节点和各样本人像的美学量化值,建立边缘骨架节点与美学等级的对应关系。
示例性地,获取多个人针对各样本人像的打分得到的美学分数值,并计算每个样本人像的平均美学分数值作为美学量化值。可选地,各样本人像可以为未经裁剪处理的人像,也可以是经过裁剪处理得到的裁剪人像。上述建立过程中的部分描述可以参照上述实施例的描述,这里不再赘述。
例如,针对某一类别的边缘骨架节点,例如髋节点,可以确定边缘骨架节点中存在髋节点的各样本人像,然后对上述髋节点相关的各样本人像的美学量化值进行求和,得到髋节点对应的总美学量化值;同理,可以得到各类别的边缘骨架节点对应的总美学量化值,并根据各类别的边缘骨架节点对应的总美学量化值,确定各类别的边缘骨架节点对应的美学等级,并建立边缘骨架节点与美学等级的对应关系。可以理解的是,某一类别的边缘骨架节点对应的总美学量化值越大,其美学等级越高。
上述建立过程是基于大量样本人像进行统计得到的,因此得到的边缘骨架节点与美学等级的对应关系更为客观准确。
可选地,上述S404可以包括:建立边缘骨架节点美学向量并初始化;边缘骨架节点美学向量中每个元素的值对应每个类别的边缘骨架节点的美学量化值;遍历各样本人像,若样本人像的美学量化值大于预设的第一美学量化阈值,则从边缘骨架节点美学向量的各元素中,确定与样本人像的边缘骨架节点相应的元素,并对元素增加第一预设数值;若样本人像的美学量化值小于预设的第二美学量化阈值,则从边缘骨架节点美学向量的各元素中,确定与样本人像的边缘骨架节点相应的元素,并对元素减去第二预设数值;第一美学量化阈值大于第二美学量化阈值;针对边缘骨架节点美学向量中每个元素,根据各元素的值从大到小进行排序,并根据排序建立边缘骨架节点与美学等级的对应关系;其中,排序靠前的元素所对应类别的边缘骨架节点的美学等级,高于排序靠后的元素所对应类别的边缘骨架节点的美学等级。
参照图4b所示,边缘骨架节点美学向量V为一个多维向量[V1,V2,……,Vn],其中每个元素的值对应每个类别的边缘骨架节点的美学量化值,例如V2为髋节点作为边缘骨架节点的美学量化值,V3为腕节点作为边缘骨架节点的美学量化值,V7为膻中节点作为边缘骨架节点的美学量化值;n为人体的总的骨架节点数目,每个元素的初始值可以为0或相等的其它数值。对一般骨架检测,n=17,但17个骨架节点过少,n可以更大,V能尽可能覆盖一个人全身所有关键点,因为裁剪图像的时候不一定会在哪个部位裁,所以向量V覆盖越广泛,向量V会更精确,上述边缘骨架节点与美学等级的对应关系会更精确,计算的第一类美学量化值也会更精确,对目标裁剪框的确定也会更准确。因此,在本实施例中,骨架节点并不限于实际的骨骼节点,例如可以增加腕节点到胳膊肘节点之间1/2位置处的点作为新的骨架节点。需要说明的是,以腕节点为例,腕节点可以分为左腕节点和右腕节点,可以为两个不同类别的骨架节点,也可以为同一类别的骨架节点。
例如,各样本人像的美学量化值在1~10分范围内,第一美学量化阈值为6分,第二美学量化阈值为4分。遍历各样本人像,若当前样本人像为7分,边缘骨架节点包括髋节点和腕节点,则元素V2和V3均加1;若当前样本人像为3分,边缘骨架节点包括膻中节点,则元素V7减1,如此遍历所有样本人像,得到最终的向量V作为边缘骨架节点美学向量;示例性地,针对边缘骨架节点美学向量中每个元素,根据各元素的值从大到小进行排序,将排序靠前的元素所对应类别的边缘骨架节点的美学等级标记为较高等级,将排序靠后的元素所对应类别的边缘骨架节点的美学等级标记为较低等级,如标记排序前40%计数的元素所对应类别的骨架节点的美学等级为G,后40%计数的元素所对应类别的骨架节点的美学等级为B,剩下的标记为N(neutral)。比如,代表髋节点的元素值有100(假设是个很高的值),那髋节点可能就是适合裁剪的位置,美学等级可以为G。
其中,对于美学量化值大于或等于第二美学量化阈值且小于或等于第一美学量化阈值的样本人像,可以舍弃,即将属于模棱两可评价的美学量化值对应的样本人像丢弃,以提高上述对应关系的建立效率。
S303,根据各候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各候选裁剪框的第一类美学量化值。
示例性地,当每个候选裁剪框对应的边缘骨架节点为多个时,根据每个候选裁剪框对应的多个边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各候选裁剪框对应的多个边缘骨架节点的美学量化值,并计算各候选裁剪框对应的多个边缘骨架节点的平均美学量化值,作为各候选裁剪框的第一类美学量化值。
例如,预设的边缘骨架节点的美学等级与美学量化值的对应关系可以为:美学等级G对应美学量化值H,B对应-H,N对应0。
在一种实施方式中,上述S303可以包括:根据各候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各候选裁剪框对应的边缘骨架节点的美学量化值;若候选裁剪框对应的边缘骨架节点为一个,则将候选裁剪框对应的边缘骨架节点的美学量化值,作为候选裁剪框的第一类美学量化值;若候选裁剪框对应的边缘骨架节点为多个,则将候选裁剪框对应的多个边缘骨架节点的多个美学量化值中的最小值,作为候选裁剪框的第一类美学量化值;若候选裁剪框对应的边缘骨架节点为零个,则将预设的完整人像美学量化值作为候选裁剪框的第一类美学量化值。
例如,若候选裁剪框对应的边缘骨架节点为一个膻中节点,且对应美学等级G,则候选裁剪框的第一类美学量化值为H;若候选裁剪框对应的边缘骨架节点为一个腕节点,且对应美学等级B,则候选裁剪框的第一类美学量化值为-H;若候选裁剪框对应的边缘骨架节点为一个髋节点,且对应美学等级N,则候选裁剪框的第一类美学量化值为0;若候选裁剪框对应的边缘骨架节点为三个,分别对应G、B、N三个美学等级,则候选裁剪框的第一类美学量化值为-H;若候选裁剪框对应的边缘骨架节点为零个,候选裁剪框未直接裁过人体骨架,则候选裁剪框的第一类美学量化值为H,因为这种情况下候选裁剪框对应的图像为完整人像,不需要考虑裁剪,所以最起码应与美学等级G对应的美学量化值一致,也可以为其它自定义的完整人像美学量化值。
需要说明的是,计算机设备可以在确定各候选裁剪框的第一类美学量化值之前,可以先检测各候选裁剪框中人的个数;当人的个数为1个时,可以参照上述描述方式确定各候选裁剪框的第一类美学量化值;当人的个数为多个时,候选裁剪框对应的边缘骨架节点的美学量化值修正为原美学量化值的N分之一,继而进行后续的计算,当然,需要分别计算不同人对应的美学量化值,并求和得到候选裁剪框的第一类美学量化值。
示例性地,计算机设备可以在对待处理人像进行骨架检测处理过程中,可以得到待处理人像中人的个数,以及不同人的骨架节点位置;进而针对某一候选裁剪框,计算机设备可以根据该候选裁剪框对应的各边缘骨架节点的位置和不同人的骨架节点位置,确定该候选裁剪框中人的个数和不同人的边缘骨架节点。例如,候选裁剪框中存在甲、乙两个人,且存在甲的髋节点、腕节点,以及乙的膻中节点,则该候选裁剪框中甲对应的第一类美学量化值为-H/2,该候选裁剪框中乙对应的第一类美学量化值为H/2,则候选裁剪框的第一类美学量化值为-H/2+H/2=0。
在本实施例中,第一类美学量化值是基于与候选裁剪框的边缘位置匹配的边缘骨架节点,以及预设的边缘骨架节点与美学等级的对应关系来确定的,也就是说,本实施例实际根据相对人体骨架的裁剪位置对美学量化值的贡献,来计算第一类美学量化值的,其计算方式相对更为合理且稳定,避免了不正当的裁剪。
下面,本实施例对涉及第二类美学量化值的技术方案进行详细描述。上述第二类美学量化值是将各候选裁剪图像输入美学网络模型得到的;而在本实施例中,对美学网络模型进行了改进,本实施例的美学网络模型中候选裁剪图像的第二类美学量化值与候选裁剪图像的场景类别预测向量相关,美学网络模型也是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,场景类别预测向量为美学网络模型根据训练样本图像计算得到的,美学量化值损失与各训练样本图像的预测美学量化值相关。可以理解的是,中心损失用于约束美学网络模型对候选裁剪图像的场景类别预测向量的预测,美学量化值损失用于约束美学网络模型对候选裁剪图像的第二类美学量化值的预测,因此双管旗下,可以保证美学网络模型得到较为准确第二类美学量化值,且第二类美学量化值与场景类别相关。
其中,场景类别标记向量位于预先确定的该训练样本图像的场景类别,如总的场景类别数目为5时,场景类别预测向量(0,1,0,0,0)表示第二场景类别,场景类别预测向量(0,0,0,0,1)表示第五场景类别;相应地,场景类别预测向量可以表征预测得到的该训练样本图像的场景类别,场景类别预测向量中每个元素的值可以表征该训练样本图像属于该元素对应的场景类别的概率,如场景类别预测向量(0,0.2,0,0.8,0)表示该训练样本图像属于第二场景类别的概率为0.2,属于第四场景类别的概率为0.8,属于其它场景类别的概率为0。
当应用于人像处理时,该训练样本图像可以是人像;当应用于其它类型的图像处理,如花卉图像、家居图像、风景图像等处理时,该训练样本可以为相应类型的图像。
该美学网络模型可以从输入的训练样本图像中提取出图像特征,并基于该图像特征进行预测得到该训练样本图像的场景类别预测向量,以及从输入的候选裁剪图像中提取出图像特征,并基于该图像特征进行预测得到该候选裁剪图像的场景类别预测向量。而且,候选裁剪图像的第二类美学量化值与候选裁剪图像的场景类别预测向量相关,因此美学量化值一般很主观,所以本实施例的美学网络模型可以根据场景类别的不同采取不同的量化值评判方法,其计算方式相对合理且稳定,避免了标注美学分数等不够客观的问题,因此基于本实施例得到的目标裁剪框往往较为准确,可以得到美学量化值较高的裁剪图像。
参照图5a所示,上述美学网络模型可以包括:特征提取子网络、美学量化子网络和场景预测子网络;则参照图5b所示,本实施例涉及计算上述第二类美学量化值的具体实现方式,具体可以包括:
S501,将各候选裁剪图像输入特征提取子网络进行特征提取处理,得到各候选裁剪图像的图像特征。
该特征提取子网络可以从各候选裁剪图像中提取出图像特征,示例性地,可以包括至少一个卷积层。
S502,将各候选裁剪图像的图像特征输入场景预测子网络进行场景预测处理,得到各候选裁剪图像的场景类别预测向量。
上述美学网络模型中,特征提取子网络的输出可以为场景预测子网络的输入;该场景预测子网络可以根据候选裁剪图像的图像特征预测出候选裁剪图像的场景类别预测向量,可以包括至少一个卷积层和一个全连接层,卷积层可以从图像特征中提取出更深层次的特征,全连接层可以根据更深层次的特征预测得到场景类别预测向量,可以体现为对更深层次的特征进行后续处理,如加权求和操作,以及对加权求和操作结果进行激活操作,将激活操作结果作为场景类别预测向量等。
S503,将各候选裁剪图像的图像特征和场景类别预测向量输入美学量化子网络进行美学量化处理,得到各候选裁剪图像的第二类美学量化值。
上述美学网络模型中,特征提取子网络的输出和场景预测子网络的输出可以作为美学量化子网络的共同输入,因此第二类美学量化值与候选裁剪图像的场景类别预测向量相关。
示例性地,该美学量化子网络可以将候选裁剪图像的图像特征和场景类别预测向量合成为一个新的图像特征,该新的图像特征与候选裁剪图像的场景类别预测向量相关;美学量化子网络可以根据候选裁剪图像的新的图像特征计算出候选裁剪图像的第二类美学量化值;同样可以包括至少一个卷积层和一个全连接层。
本实施例的美学网络模型可以将候选裁剪图像的图像特征和场景类别预测向量作为美学量化子网络的共同输入,因此计算出的第二类美学量化值与候选裁剪图像的场景类别相关,相对合理且稳定。
参照图6所示,本实施例涉及美学网络模型的训练方式,具体可以包括:
S601,获取各训练样本图像和各训练样本图像的场景类别,将各训练样本图像分别标注场景类别标记向量;场景类别标记向量与场景类别对应。
可选地,各训练样本图像的场景类别可以为预先人工标注得到的。当然,也可以是通过机器(如计算机设备)进行标注得到的,相应的,获取各训练样本图像的场景类别,可以包括:将各训练样本图像输入场景特征提取网络模型进行场景特征提取处理,得到各训练样本图像的场景特征向量;场景特征向量中各元素的值表征训练样本图像是否包括元素对应的场景特征;对各训练样本图像的场景特征向量进行聚类处理,将各训练样本图像划分为多个场景类别。其中,场景类别的数量根据自定义阈值决定,聚类处理可以采用K-means聚类,也可以采用CLARANS(基于随机选择的聚类算法)算法等。
场景特征提取网络模型可以为任一能够进行场景特征提取处理的神经网络模型,可以从训练样本图像中识别出该训练样本图像中是否包括预设的多个场景特征,得到场景特征向量;场景特征向量可以记作V_att,该向量中各元素的值为1和0中的某个值;某元素的值为1,表示该训练样本图像中存在此元素表示的场景特征;某元素的值为0,表示该训练样本图像中不存在此元素表示的场景特征。示例性地,V_att中第一个元素对应地平线特征,第二个元素对应桌子特征,则[0,1,……,0]表示该该训练样本图像中不存在地平线特征,存在桌子特征,不存在最后一个元素对应的场景特征。可选地,场景特征提取网络模型可以为scene attribute(提取场景特征)网络。
可以理解的是,在本实施例中,可以对部分的训练样本图像采用上述方案获取场景类别,在另一种实施方式中,可以根据上述方案中获取聚类处理得到的多个场景类别的聚类中心场景特征向量,然后针对另一部分的训练样本图像,可以根据训练样本图像的场景特征向量和上述多个场景类别的聚类中心场景特征向量,确定与场景特征向量距离最近的聚类中心场景特征向量,并将距离最近的聚类中心场景特征向量的场景类别,作为训练样本图像的场景类别,如此,通过简单的距离比对的方式可以获得场景类别,避免再进行聚类处理所需的大量运算,后续的训练样本图像均可以采用上述方式确定其场景类别,提高了计算效率。
S602,将各训练样本图像输入初始美学网络模型中,输出各训练样本图像的场景类别预测向量和预测美学量化值。
此处参照上面的描述,这里不再赘述。
S603,根据各训练样本图像的场景类别预测向量和场景类别标记向量,计算中心损失,以及根据各训练样本图像的预测美学量化值,计算美学量化值损失,并根据中心损失和美学量化值损失,计算初始神经网络模型的损失函数的值。
例如,上述损失函数可以由中心损失和美学量化值损失加权求和得到,如:
Loss=α*center loss+β*original loss
其中,center loss为中心损失,α为中心损失的系数,例如0.5;original loss为美学量化值损失,β为美学量化值损失的系数,例如1。
示例性地,中心损失可以采用如下的关系式计算得到:
其中,xi为第i个训练样本图像的场景类别预测向量,cyi为第i个训练样本图像的场景类别标记向量,为xi和cyi之间的L2损失,m为训练样本图像的数量。
在一个实施方式中,各训练样本图像分别还标注有标记美学量化值;根据各训练样本图像的预测美学量化值,计算美学量化值损失,包括:计算各训练样本图像的预测美学量化值和标记美学量化值之间的损失之和,作为美学量化值损失。
具体地,美学量化值损失可以可以采用如下的关系式计算得到:
其中,fi为第i个训练样本图像的预测美学量化值,pyi为第i个训练样本图像的标记美学量化值,||fi-pyi||为fi和pyi之间的L1损失。
在一个实施方式中,各训练样本图像被划分为多个训练样本图像组;每个训练样本图像组包括两个训练样本图像,并标注有两个训练样本图像之间的美学量化值大小关系;根据各训练样本图像的预测美学量化值,计算美学量化值损失,包括:针对各训练样本图像组,根据训练样本图像组中两个训练样本图像之间的美学量化值大小关系,计算两个训练样本图像中美学量化值较小的训练样本图像的预测美学量化值,与美学量化值较大的训练样本图像的预测美学量化值之间的差值;根据各训练样本图像组对应的差值,计算美学量化值损失。
具体地,美学量化值损失可以采用如下的关系式计算得到:
其中,f(j1)为第j个训练样本图像组中美学量化值较小的训练样本图像的预测美学量化值,f(j2)为第j个训练样本图像组中美学量化值较大的训练样本图像的预测美学量化值,n为训练样本图像组的数量。
例如,针对图1和图2,但受主观因素影响较多,难以得到较为准确的图1和图2的美学量化值,而比较容易可以获知的是图1和图2中哪张图像更美,因此在训练样本图像组中,可以预先训练样本图像组中标注两个训练样本图像之间的美学量化值大小关系,而不清楚两个训练样本图像的美学量化值的具体数值,在理想情况下,两个训练样本图像的预测美学量化值之间的大小关系应该与上述标注的美学量化值大小关系符合,因此可以基于此对美学网络模型进行训练,降低训练样本图像标注数据的主观性,提高美学网络模型的客观性。
可选地,美学网络模型可以为rank-based(排序基础的)网络结构,孪生网络是rank-based网络最常用的网络结构。
S604,根据损失函数的值,对初始美学网络模型的待训练参数进行调整,得到美学网络模型。
示例性地,根据上述损失函数的值,可以计算损失函数的梯度,基于梯度下降法等优化方法可以不断优化初始美学网络模型的待训练参数,包括但不限于卷积层中卷积核、全连接层中权值等,直至损失函数的阈值小于预设损失阈值,可以得到美学网络模型。
基于本实施例的美学网络模型训练方法得到的美学网络模型,可以根据场景类别的不同采取不同的量化值评判方法,其计算方式相对合理且稳定,避免了标注美学分数等不够客观的问题,因此基于本实施例得到的目标裁剪框往往较为准确,可以得到美学量化值较高的裁剪图像。
相应地,在一个实施例中,上述S204可以包括:分别对各候选裁剪框的第一类美学量化值和第二类美学量化值进行加权求和,得到各候选裁剪框的美学量化值;对各候选裁剪框的美学量化值由高到低进行排序,选取排序靠前的至少一个候选裁剪框作为目标裁剪框。
也就是说,美学量化值可以采用如下的关系式计算得到:
F=A*F1+B*F2
其中,F1和F2分别为第一类美学量化值和第二类美学量化值,A和B分别为F1和F2的系数,取决于F1和F2分别的权重,可以自定义,示例性地,A=B=1。
在一种实施方式中,上述F1与上述F2的值相关,例如,上述H=F2/2,即第一类美学量化值的最大值可以为第二类美学量化值的一半F2/2,最小值为-F2/2,如此可以保证在采用第一类美学量化值和第二类美学量化值联合判定时,始终以第二类美学量化值为主,第二类美学量化值为辅,可以提高美学量化值的准确性。
在对各候选裁剪框的美学量化值由高到低进行排序后,可以通过非极大值抑制去除冗余的候选裁剪框,将非极大值抑制处理后排序靠前的至少一个候选裁剪框作为目标裁剪框。其中,非极大值抑制可以是针对覆盖范围重合度(即任意两个候选裁剪框的覆盖范围的重合区域大小的度量)高于重合度阈值的多个裁剪框,将美学量化值较低的候选裁剪框去除,保留美学量化值较高的至少一个候选裁剪框,可以避免出现多个覆盖范围重合度高的目标候选框。
在一个实施例中,如图7所示,提供了一种图像处理方法,包括以下步骤:
S701,获取待处理图像,并生成待处理图像的多个候选裁剪框;
S702,根据各候选裁剪框,对待处理图像进行裁剪处理,得到待处理图像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值;第二类美学量化值与候选裁剪图像的场景类别预测向量相关;美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,场景类别预测向量为美学网络模型根据训练样本图像计算得到的,美学量化值损失与各训练样本图像的预测美学量化值相关;
S703,根据各候选裁剪框的第二类美学量化值,选择至少一个候选裁剪框作为待处理图像的目标裁剪框。
相应地,在一个实施例中,如图8所示,提供了一种美学网络模型的训练方法,包括以下步骤:
S801,获取各训练样本图像和各训练样本图像的场景类别,将各训练样本图像分别标注场景类别标记向量;场景类别标记向量与场景类别对应;
S802,将各训练样本图像输入初始美学网络模型中,输出各训练样本图像的场景类别预测向量和预测美学量化值;预测美学量化值与训练样本图像的场景类别预测向量相关;
S803,根据各训练样本图像的场景类别预测向量和场景类别标记向量,计算中心损失,以及根据各训练样本图像的预测美学量化值,计算美学量化值损失,并根据中心损失和美学量化值损失,计算初始神经网络模型的损失函数的值;损失函数包括:中心损失和美学量化值损失,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,美学量化值损失与各训练样本图像的预测美学量化值相关;
S804,根据损失函数的值,对初始美学网络模型的待训练参数进行调整,得到美学网络模型。
上述图像处理方法和美学网络模型的训练方法的具体描述可以参照上述人像处理方法中的描述,这里不再赘述。
应该理解的是,虽然图2,3a,4a,5b,6-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2,3a,4a,5b,6-8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种人像处理装置,可以包括:
人像预处理模块91,用于获取待处理人像,并生成待处理人像的多个候选裁剪框;
第一类美学量化模块92,用于将待处理人像输入骨架检测网络模型进行骨架检测处理,得到待处理人像的骨架节点位置;以及根据各候选裁剪框和骨架节点位置,计算各候选裁剪框的第一类美学量化值;
第二类美学量化模块93,用于根据各候选裁剪框,对待处理人像进行裁剪处理,得到待处理人像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值;
第一裁剪框确定模块94,用于根据各候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为待处理人像的目标裁剪框。
在其中一个实施例中,第一类美学量化模块92可以包括:
边缘骨架节点确定单元,用于根据各候选裁剪框和骨架节点位置,确定各候选裁剪框对应的边缘骨架节点;候选裁剪框的边缘骨架节点与候选裁剪框的边缘位置匹配;
美学等级确定单元,用于根据预设的边缘骨架节点与美学等级的对应关系,确定各候选裁剪框对应的边缘骨架节点的美学等级;
第一类美学量化单元,用于根据各候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各候选裁剪框的第一类美学量化值。
在其中一个实施例中,边缘骨架节点确定单元具体用于根据各候选裁剪框的边缘位置和骨架节点位置,确定与各候选裁剪框的边缘位置距离最近的骨架节点,作为各候选裁剪框对应的边缘骨架节点。
在其中一个实施例中,还包括:
样本人像获取模块,用于获取各样本人像;样本人像标记有美学量化值;
样本骨架检测模块,用于将各样本人像输入骨架检测网络模型进行骨架检测处理,得到各样本人像的骨架节点位置;
样本边缘骨架节点确定模块,用于根据各样本人像和各样本人像的骨架节点位置,确定各样本人像对应的边缘骨架节点;样本人像的边缘骨架节点与样本人像的边缘位置匹配;
对应关系建立模块,用于根据各样本人像的边缘骨架节点和各样本人像的美学量化值,建立边缘骨架节点与美学等级的对应关系。
在其中一个实施例中,对应关系建立模块具体用于建立边缘骨架节点美学向量并初始化;边缘骨架节点美学向量中每个元素的值对应每个类别的边缘骨架节点的美学量化值;遍历各样本人像,若样本人像的美学量化值大于预设的第一美学量化阈值,则从边缘骨架节点美学向量的各元素中,确定与样本人像的边缘骨架节点相应的元素,并对元素增加第一预设数值;若样本人像的美学量化值小于预设的第二美学量化阈值,则从边缘骨架节点美学向量的各元素中,确定与样本人像的边缘骨架节点相应的元素,并对元素减去第二预设数值;第一美学量化阈值大于第二美学量化阈值;针对边缘骨架节点美学向量中每个元素,根据各元素的值从大到小进行排序,并根据排序建立边缘骨架节点与美学等级的对应关系;其中,排序靠前的元素所对应类别的边缘骨架节点的美学等级,高于排序靠后的元素所对应类别的边缘骨架节点的美学等级。
在其中一个实施例中,第一类美学量化单元具体用于根据各候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各候选裁剪框对应的边缘骨架节点的美学量化值;若候选裁剪框对应的边缘骨架节点为一个,则将候选裁剪框对应的边缘骨架节点的美学量化值,作为候选裁剪框的第一类美学量化值;若候选裁剪框对应的边缘骨架节点为多个,则将候选裁剪框对应的多个边缘骨架节点的多个美学量化值中的最小值,作为候选裁剪框的第一类美学量化值;若候选裁剪框对应的边缘骨架节点为零个,则将预设的完整人像美学量化值作为候选裁剪框的第一类美学量化值。
在其中一个实施例中,第二类美学量化值与候选裁剪图像的场景类别预测向量相关;美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,场景类别预测向量为美学网络模型根据训练样本图像计算得到的,美学量化值损失与各训练样本图像的预测美学量化值相关。
在其中一个实施例中,美学网络模型包括:特征提取子网络、美学量化子网络和场景预测子网络;第二类美学量化模块93可以包括:
图像特征提取单元,用于将各候选裁剪图像输入特征提取子网络进行特征提取处理,得到各候选裁剪图像的图像特征;
场景类别预测单元,用于将各候选裁剪图像的图像特征输入场景预测子网络进行场景预测处理,得到各候选裁剪图像的场景类别预测向量;
第二类美学量化单元,用于将各候选裁剪图像的图像特征和场景类别预测向量输入美学量化子网络进行美学量化处理,得到各候选裁剪图像的第二类美学量化值。
在其中一个实施例中,还包括美学网络训练模块,美学网络训练模块可以包括:
训练样本获取单元,用于获取各训练样本图像和各训练样本图像的场景类别,将各训练样本图像分别标注场景类别标记向量;场景类别标记向量与场景类别对应;
训练样本处理单元,用于将各训练样本图像输入初始美学网络模型中,输出各训练样本图像的场景类别预测向量和预测美学量化值;
损失函数计算单元,用于根据各训练样本图像的场景类别预测向量和场景类别标记向量,计算中心损失,以及根据各训练样本图像的预测美学量化值,计算美学量化值损失,并根据中心损失和美学量化值损失,计算初始神经网络模型的损失函数的值;
模型训练单元,用于根据损失函数的值,对初始美学网络模型的待训练参数进行调整,得到美学网络模型。
在其中一个实施例中,各训练样本图像分别还标注有标记美学量化值;损失函数计算单元具体用于计算各训练样本图像的预测美学量化值和标记美学量化值之间的损失之和,作为美学量化值损失。
在其中一个实施例中,各训练样本图像被划分为多个训练样本图像组;每个训练样本图像组包括两个训练样本图像,并标注有两个训练样本图像之间的美学量化值大小关系;损失函数计算单元具体用于针对各训练样本图像组,根据训练样本图像组中两个训练样本图像之间的美学量化值大小关系,计算两个训练样本图像中美学量化值较小的训练样本图像的预测美学量化值,与美学量化值较大的训练样本图像的预测美学量化值之间的差值;根据各训练样本图像组对应的差值,计算美学量化值损失。
在其中一个实施例中,训练样本获取单元具体用于将各训练样本图像输入场景特征提取网络模型进行场景特征提取处理,得到各训练样本图像的场景特征向量;场景特征向量中各元素的值表征训练样本图像是否包括元素对应的场景特征;对各训练样本图像的场景特征向量进行聚类处理,将各训练样本图像划分为多个场景类别。
在其中一个实施例中,第一裁剪框确定模块94可以包括:
美学量化值确定单元,用于分别对各候选裁剪框的第一类美学量化值和第二类美学量化值进行加权求和,得到各候选裁剪框的美学量化值;
第一裁剪框确定单元,用于对各候选裁剪框的美学量化值由高到低进行排序,选取排序靠前的至少一个候选裁剪框作为目标裁剪框。
在一个实施例中,如图10所示,提供了一种图像处理装置,可以包括:
图像预处理模块101,用于获取待处理图像,并生成待处理图像的多个候选裁剪框;
美学量化模块102,用于根据各候选裁剪框,对待处理图像进行裁剪处理,得到待处理图像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值;第二类美学量化值与候选裁剪图像的场景类别预测向量相关;美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,场景类别预测向量为美学网络模型根据训练样本图像计算得到的,美学量化值损失与各训练样本图像的预测美学量化值相关;
第二裁剪框确定模块103,用于根据各候选裁剪框的第二类美学量化值,选择至少一个候选裁剪框作为待处理图像的目标裁剪框。
在一个实施例中,如图11所示,提供了一种美学网络模型的训练装置,可以包括:
训练样本获取模块111,用于获取各训练样本图像和各训练样本图像的场景类别,将各训练样本图像分别标注场景类别标记向量;场景类别标记向量与场景类别对应;
训练样本处理模块112,用于将各训练样本图像输入初始美学网络模型中,输出各训练样本图像的场景类别预测向量和预测美学量化值;预测美学量化值与训练样本图像的场景类别预测向量相关;
损失函数计算模块113,用于根据各训练样本图像的场景类别预测向量和场景类别标记向量,计算中心损失,以及根据各训练样本图像的预测美学量化值,计算美学量化值损失,并根据中心损失和美学量化值损失,计算初始神经网络模型的损失函数的值;损失函数包括:中心损失和美学量化值损失,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,美学量化值损失与各训练样本图像的预测美学量化值相关;
模型训练模块114,用于根据损失函数的值,对初始美学网络模型的待训练参数进行调整,得到美学网络模型。
上述人像处理装置的具体描述可以参照上述人像处理方法中的描述,上述图像处理装置和美学网络模型的训练装置的具体描述可以参照上述人像处理方法中的描述,这里不再赘述。人像处理装置、图像处理装置和美学网络模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时一方面可以实现以下步骤:
获取待处理人像,并生成待处理人像的多个候选裁剪框;
将待处理人像输入骨架检测网络模型进行骨架检测处理,得到待处理人像的骨架节点位置;以及根据各候选裁剪框和骨架节点位置,计算各候选裁剪框的第一类美学量化值;
根据各候选裁剪框,对待处理人像进行裁剪处理,得到待处理人像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值;
根据各候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为待处理人像的目标裁剪框;
另一方面也可以实现以下步骤:
获取待处理图像,并生成待处理图像的多个候选裁剪框;
根据各候选裁剪框,对待处理图像进行裁剪处理,得到待处理图像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值;第二类美学量化值与候选裁剪图像的场景类别预测向量相关;美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,场景类别预测向量为美学网络模型根据训练样本图像计算得到的,美学量化值损失与各训练样本图像的预测美学量化值相关;
根据各候选裁剪框的第二类美学量化值,选择至少一个候选裁剪框作为待处理图像的目标裁剪框;
再一方面也可以实现以下步骤:
获取各训练样本图像和各训练样本图像的场景类别,将各训练样本图像分别标注场景类别标记向量;场景类别标记向量与场景类别对应;
将各训练样本图像输入初始美学网络模型中,输出各训练样本图像的场景类别预测向量和预测美学量化值;预测美学量化值与训练样本图像的场景类别预测向量相关;
根据各训练样本图像的场景类别预测向量和场景类别标记向量,计算中心损失,以及根据各训练样本图像的预测美学量化值,计算美学量化值损失,并根据中心损失和美学量化值损失,计算初始神经网络模型的损失函数的值;损失函数包括:中心损失和美学量化值损失,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,美学量化值损失与各训练样本图像的预测美学量化值相关;
根据损失函数的值,对初始美学网络模型的待训练参数进行调整,得到美学网络模型。
参照图12所示,本实施例提出了一种人像处理系统,包括拍摄装置121和计算机设备122;拍摄装置用于拍摄获取待处理人像,并将待处理人像发送给计算机设备进行图像处理;计算机设备包括存储器和处理器,存储器存储有计算机程序,该处理器执行计算机程序时一方面可以实现以下步骤:
获取待处理人像,并生成待处理人像的多个候选裁剪框;
将待处理人像输入骨架检测网络模型进行骨架检测处理,得到待处理人像的骨架节点位置;以及根据各候选裁剪框和骨架节点位置,计算各候选裁剪框的第一类美学量化值;
根据各候选裁剪框,对待处理人像进行裁剪处理,得到待处理人像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值;
根据各候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为待处理人像的目标裁剪框;
另一方面也可以实现以下步骤:
获取待处理图像,并生成待处理图像的多个候选裁剪框;
根据各候选裁剪框,对待处理图像进行裁剪处理,得到待处理图像的各候选裁剪图像;以及将各候选裁剪图像输入美学网络模型,得到各候选裁剪框的第二类美学量化值;第二类美学量化值与候选裁剪图像的场景类别预测向量相关;美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,场景类别预测向量为美学网络模型根据训练样本图像计算得到的,美学量化值损失与各训练样本图像的预测美学量化值相关;
根据各候选裁剪框的第二类美学量化值,选择至少一个候选裁剪框作为待处理图像的目标裁剪框;
再一方面也可以实现以下步骤:
获取各训练样本图像和各训练样本图像的场景类别,将各训练样本图像分别标注场景类别标记向量;场景类别标记向量与场景类别对应;
将各训练样本图像输入初始美学网络模型中,输出各训练样本图像的场景类别预测向量和预测美学量化值;预测美学量化值与训练样本图像的场景类别预测向量相关;
根据各训练样本图像的场景类别预测向量和场景类别标记向量,计算中心损失,以及根据各训练样本图像的预测美学量化值,计算美学量化值损失,并根据中心损失和美学量化值损失,计算初始神经网络模型的损失函数的值;损失函数包括:中心损失和美学量化值损失,中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,美学量化值损失与各训练样本图像的预测美学量化值相关;
根据损失函数的值,对初始美学网络模型的待训练参数进行调整,得到美学网络模型。
该计算机设备可以但不限于是终端、服务器等,以终端为例,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人像处理方法、图像处理方法和美学网络模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种人像处理方法,其特征在于,包括:
获取待处理人像,并生成所述待处理人像的多个候选裁剪框;
将所述待处理人像输入骨架检测网络模型进行骨架检测处理,得到所述待处理人像的骨架节点位置;以及根据各所述候选裁剪框和所述骨架节点位置,计算各所述候选裁剪框的第一类美学量化值;
根据各所述候选裁剪框,对所述待处理人像进行裁剪处理,得到所述待处理人像的各候选裁剪图像;以及将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪框的第二类美学量化值;
根据各所述候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为所述待处理人像的目标裁剪框。
2.根据权利要求1所述的方法,其特征在于,所述根据各所述候选裁剪框和所述骨架节点位置,计算各所述候选裁剪框的第一类美学量化值,包括:
根据各所述候选裁剪框和所述骨架节点位置,确定各所述候选裁剪框对应的边缘骨架节点;所述候选裁剪框的边缘骨架节点与所述候选裁剪框的边缘位置匹配;
根据预设的边缘骨架节点与美学等级的对应关系,确定各所述候选裁剪框对应的边缘骨架节点的美学等级;
根据各所述候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各所述候选裁剪框的第一类美学量化值。
3.根据权利要求2所述的方法,其特征在于,所述根据各所述候选裁剪框和所述骨架节点位置,确定各所述候选裁剪框对应的边缘骨架节点,包括:
根据各所述候选裁剪框的边缘位置和所述骨架节点位置,确定与各所述候选裁剪框的边缘位置距离最近的骨架节点,作为各所述候选裁剪框对应的边缘骨架节点。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取各样本人像;所述样本人像标记有美学量化值;
将各所述样本人像输入所述骨架检测网络模型进行骨架检测处理,得到各所述样本人像的骨架节点位置;
根据各所述样本人像和各所述样本人像的骨架节点位置,确定各所述样本人像对应的边缘骨架节点;所述样本人像的边缘骨架节点与所述样本人像的边缘位置匹配;
根据各所述样本人像的边缘骨架节点和各所述样本人像的美学量化值,建立所述边缘骨架节点与美学等级的对应关系。
5.根据权利要求4所述的方法,其特征在于,所述根据各所述样本人像的边缘骨架节点和各所述样本人像的美学量化值,建立所述边缘骨架节点与美学等级的对应关系,包括:
建立边缘骨架节点美学向量并初始化;所述边缘骨架节点美学向量中每个元素的值对应每个类别的边缘骨架节点的美学量化值;
遍历各所述样本人像,若所述样本人像的美学量化值大于预设的第一美学量化阈值,则从所述边缘骨架节点美学向量的各元素中,确定与所述样本人像的边缘骨架节点相应的元素,并对所述元素增加第一预设数值;若所述样本人像的美学量化值小于预设的第二美学量化阈值,则从所述边缘骨架节点美学向量的各元素中,确定与所述样本人像的边缘骨架节点相应的元素,并对所述元素减去第二预设数值;所述第一美学量化阈值大于所述第二美学量化阈值;
针对所述边缘骨架节点美学向量中每个元素,根据各元素的值从大到小进行排序,并根据所述排序建立所述边缘骨架节点与美学等级的对应关系;其中,排序靠前的元素所对应类别的边缘骨架节点的美学等级,高于排序靠后的元素所对应类别的边缘骨架节点的美学等级。
6.根据权利要求2所述的方法,其特征在于,所述根据各所述候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各所述候选裁剪框的第一类美学量化值,包括:
根据各所述候选裁剪框对应的边缘骨架节点的美学等级和预设的边缘骨架节点的美学等级与美学量化值的对应关系,确定各所述候选裁剪框对应的边缘骨架节点的美学量化值;
若所述候选裁剪框对应的边缘骨架节点为一个,则将所述候选裁剪框对应的边缘骨架节点的美学量化值,作为所述候选裁剪框的第一类美学量化值;若所述候选裁剪框对应的边缘骨架节点为多个,则将所述候选裁剪框对应的多个边缘骨架节点的多个美学量化值中的最小值,作为所述候选裁剪框的第一类美学量化值;若所述候选裁剪框对应的边缘骨架节点为零个,则将预设的完整人像美学量化值作为所述候选裁剪框的第一类美学量化值。
7.根据权利要求1所述的方法,其特征在于,所述第二类美学量化值与所述候选裁剪图像的场景类别预测向量相关;所述美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,所述中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述场景类别预测向量为所述美学网络模型根据所述训练样本图像计算得到的,所述美学量化值损失与各训练样本图像的预测美学量化值相关。
8.根据权利要求7所述的方法,其特征在于,所述美学网络模型包括:特征提取子网络、美学量化子网络和场景预测子网络;所述将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪图像的第二类美学量化值,包括:
将各所述候选裁剪图像输入所述特征提取子网络进行特征提取处理,得到各所述候选裁剪图像的图像特征;
将各所述候选裁剪图像的图像特征输入所述场景预测子网络进行场景预测处理,得到各所述候选裁剪图像的场景类别预测向量;
将各所述候选裁剪图像的图像特征和所述场景类别预测向量输入所述美学量化子网络进行美学量化处理,得到各所述候选裁剪图像的第二类美学量化值。
9.根据权利要求7或8所述的方法,其特征在于,所述方法还包括:
获取各训练样本图像和各所述训练样本图像的场景类别,将各所述训练样本图像分别标注场景类别标记向量;所述场景类别标记向量与所述场景类别对应;
将各所述训练样本图像输入初始美学网络模型中,输出各所述训练样本图像的场景类别预测向量和预测美学量化值;
根据各所述训练样本图像的场景类别预测向量和场景类别标记向量,计算所述中心损失,以及根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,并根据所述中心损失和所述美学量化值损失,计算所述初始神经网络模型的损失函数的值;
根据所述损失函数的值,对所述初始美学网络模型的待训练参数进行调整,得到所述美学网络模型。
10.根据权利要求9所述的方法,其特征在于,各所述训练样本图像分别还标注有标记美学量化值;所述根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,包括:
计算各所述训练样本图像的预测美学量化值和标记美学量化值之间的损失之和,作为所述美学量化值损失。
11.根据权利要求9所述的方法,其特征在于,各所述训练样本图像被划分为多个训练样本图像组;每个训练样本图像组包括两个所述训练样本图像,并标注有两个所述训练样本图像之间的美学量化值大小关系;所述根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,包括:
针对各训练样本图像组,根据所述训练样本图像组中两个训练样本图像之间的美学量化值大小关系,计算两个所述训练样本图像中美学量化值较小的训练样本图像的预测美学量化值,与美学量化值较大的训练样本图像的预测美学量化值之间的差值;
根据各训练样本图像组对应的所述差值,计算所述美学量化值损失。
12.根据权利要求9所述的方法,其特征在于,所述获取各所述训练样本图像的场景类别,包括:
将各所述训练样本图像输入场景特征提取网络模型进行场景特征提取处理,得到各所述训练样本图像的场景特征向量;所述场景特征向量中各元素的值表征所述训练样本图像是否包括所述元素对应的场景特征;
对各所述训练样本图像的场景特征向量进行聚类处理,将各所述训练样本图像划分为多个场景类别。
13.根据权利要求1所述的方法,其特征在于,所述根据各所述候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为所述待处理人像的目标裁剪框,包括:
分别对各所述候选裁剪框的所述第一类美学量化值和所述第二类美学量化值进行加权求和,得到各所述候选裁剪框的美学量化值;
对各所述候选裁剪框的美学量化值由高到低进行排序,选取排序靠前的至少一个候选裁剪框作为目标裁剪框。
14.一种图像处理方法,其特征在于,包括:
获取待处理图像,并生成所述待处理图像的多个候选裁剪框;
根据各所述候选裁剪框,对所述待处理图像进行裁剪处理,得到所述待处理图像的各候选裁剪图像;以及将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪框的第二类美学量化值;所述第二类美学量化值与所述候选裁剪图像的场景类别预测向量相关;所述美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,所述中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述场景类别预测向量为所述美学网络模型根据所述训练样本图像计算得到的,所述美学量化值损失与各训练样本图像的预测美学量化值相关;
根据各所述候选裁剪框的第二类美学量化值,选择至少一个候选裁剪框作为所述待处理图像的目标裁剪框。
15.一种美学网络模型的训练方法,其特征在于,包括:
获取各训练样本图像和各所述训练样本图像的场景类别,将各所述训练样本图像分别标注场景类别标记向量;所述场景类别标记向量与所述场景类别对应;
将各所述训练样本图像输入初始美学网络模型中,输出各所述训练样本图像的场景类别预测向量和预测美学量化值;所述预测美学量化值与所述训练样本图像的场景类别预测向量相关;
根据各所述训练样本图像的场景类别预测向量和场景类别标记向量,计算所述中心损失,以及根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,并根据所述中心损失和所述美学量化值损失,计算所述初始神经网络模型的损失函数的值;所述损失函数包括:中心损失和美学量化值损失,所述中心损失为各所述训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述美学量化值损失与各训练样本图像的预测美学量化值相关;
根据所述损失函数的值,对所述初始美学网络模型的待训练参数进行调整,得到所述美学网络模型。
16.一种人像处理装置,其特征在于,包括:
人像预处理模块,用于获取待处理人像,并生成所述待处理人像的多个候选裁剪框;
第一类美学量化模块,用于将所述待处理人像输入骨架检测网络模型进行骨架检测处理,得到所述待处理人像的骨架节点位置;以及根据各所述候选裁剪框和所述骨架节点位置,计算各所述候选裁剪框的第一类美学量化值;
第二类美学量化模块,用于根据各所述候选裁剪框,对所述待处理人像进行裁剪处理,得到所述待处理人像的各候选裁剪图像;以及将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪框的第二类美学量化值;
第一裁剪框确定模块,用于根据各所述候选裁剪框的第一类美学量化值,和/或第二类美学量化值,选择至少一个候选裁剪框作为所述待处理人像的目标裁剪框。
17.一种图像处理装置,其特征在于,包括:
图像预处理模块,用于获取待处理图像,并生成所述待处理图像的多个候选裁剪框;
美学量化模块,用于根据各所述候选裁剪框,对所述待处理图像进行裁剪处理,得到所述待处理图像的各候选裁剪图像;以及将各所述候选裁剪图像输入美学网络模型,得到各所述候选裁剪框的第二类美学量化值;所述第二类美学量化值与所述候选裁剪图像的场景类别预测向量相关;所述美学网络模型是基于包括中心损失和美学量化值损失在内的损失函数训练得到的,所述中心损失为各训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述场景类别预测向量为所述美学网络模型根据所述训练样本图像计算得到的,所述美学量化值损失与各训练样本图像的预测美学量化值相关;
第二裁剪框确定模块,用于根据各所述候选裁剪框的第二类美学量化值,选择至少一个候选裁剪框作为所述待处理图像的目标裁剪框。
18.一种美学网络模型的训练装置,其特征在于,包括:
训练样本获取模块,用于获取各训练样本图像和各所述训练样本图像的场景类别,将各所述训练样本图像分别标注场景类别标记向量;所述场景类别标记向量与所述场景类别对应;
训练样本处理模块,用于将各所述训练样本图像输入初始美学网络模型中,输出各所述训练样本图像的场景类别预测向量和预测美学量化值;所述预测美学量化值与所述训练样本图像的场景类别预测向量相关;
损失函数计算模块,用于根据各所述训练样本图像的场景类别预测向量和场景类别标记向量,计算所述中心损失,以及根据各所述训练样本图像的预测美学量化值,计算所述美学量化值损失,并根据所述中心损失和所述美学量化值损失,计算所述初始神经网络模型的损失函数的值;所述损失函数包括:中心损失和美学量化值损失,所述中心损失为各所述训练样本图像的场景类别预测向量和场景类别标记向量之间的损失,所述美学量化值损失与各训练样本图像的预测美学量化值相关;
模型训练模块,用于根据所述损失函数的值,对所述初始美学网络模型的待训练参数进行调整,得到所述美学网络模型。
19.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
20.一种人像处理系统,其特征在于,包括拍摄装置和计算机设备;所述拍摄装置用于拍摄获取待处理人像,并将所述待处理人像发送给所述计算机设备进行图像处理;所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述方法的步骤。
CN201910384912.6A 2019-05-09 2019-05-09 人像处理方法、装置、系统和可读存储介质 Active CN110147833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910384912.6A CN110147833B (zh) 2019-05-09 2019-05-09 人像处理方法、装置、系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910384912.6A CN110147833B (zh) 2019-05-09 2019-05-09 人像处理方法、装置、系统和可读存储介质

Publications (2)

Publication Number Publication Date
CN110147833A true CN110147833A (zh) 2019-08-20
CN110147833B CN110147833B (zh) 2021-10-12

Family

ID=67595049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910384912.6A Active CN110147833B (zh) 2019-05-09 2019-05-09 人像处理方法、装置、系统和可读存储介质

Country Status (1)

Country Link
CN (1) CN110147833B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796663A (zh) * 2019-09-17 2020-02-14 北京迈格威科技有限公司 图片剪裁方法、装置、设备和存储介质
CN111080667A (zh) * 2019-12-17 2020-04-28 杭州趣维科技有限公司 一种快速人像照片的自动构图裁剪方法及系统
CN112884787A (zh) * 2021-01-28 2021-06-01 北京有竹居网络技术有限公司 图像剪裁方法、装置、可读介质及电子设备
CN112927231A (zh) * 2021-05-12 2021-06-08 深圳市安软科技股份有限公司 车身污垢检测模型的训练方法、车身污垢检测方法及装置
US11917288B2 (en) 2018-11-06 2024-02-27 Huawei Technologies Co., Ltd. Image processing method and apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7980473B2 (en) * 2008-02-28 2011-07-19 Microsoft Corporation Camera based code reading
CN104717413A (zh) * 2013-12-12 2015-06-17 北京三星通信技术研究有限公司 拍照辅助方法及设备
CN107146198A (zh) * 2017-04-19 2017-09-08 中国电子科技集团公司电子科学研究院 一种照片智能裁剪方法及装置
CN107392244A (zh) * 2017-07-18 2017-11-24 厦门大学 基于深度神经网络与级联回归的图像美感增强方法
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109146892A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种基于美学的图像裁剪方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7980473B2 (en) * 2008-02-28 2011-07-19 Microsoft Corporation Camera based code reading
CN104717413A (zh) * 2013-12-12 2015-06-17 北京三星通信技术研究有限公司 拍照辅助方法及设备
CN107146198A (zh) * 2017-04-19 2017-09-08 中国电子科技集团公司电子科学研究院 一种照片智能裁剪方法及装置
CN107392244A (zh) * 2017-07-18 2017-11-24 厦门大学 基于深度神经网络与级联回归的图像美感增强方法
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109146892A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种基于美学的图像裁剪方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WENGUAN WANG等: "Deep Cropping via Attention Box Prediction and Aesthetics Assessment", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》 *
杨文雅等: "基于语义感知的图像美学质量评估方法", 《计算机应用》 *
温坤哲等: "深度卷积神经网络在图像美学评价的应用综述", 《计算机工程与应用》 *
秦红星等: "基于贝叶斯模型的骨架裁剪方法", 《电子与信息学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11917288B2 (en) 2018-11-06 2024-02-27 Huawei Technologies Co., Ltd. Image processing method and apparatus
CN110796663A (zh) * 2019-09-17 2020-02-14 北京迈格威科技有限公司 图片剪裁方法、装置、设备和存储介质
CN110796663B (zh) * 2019-09-17 2022-12-02 北京迈格威科技有限公司 图片剪裁方法、装置、设备和存储介质
CN111080667A (zh) * 2019-12-17 2020-04-28 杭州趣维科技有限公司 一种快速人像照片的自动构图裁剪方法及系统
CN111080667B (zh) * 2019-12-17 2023-04-25 杭州小影创新科技股份有限公司 一种快速人像照片的自动构图裁剪方法及系统
CN112884787A (zh) * 2021-01-28 2021-06-01 北京有竹居网络技术有限公司 图像剪裁方法、装置、可读介质及电子设备
CN112884787B (zh) * 2021-01-28 2023-09-15 北京有竹居网络技术有限公司 图像剪裁方法、装置、可读介质及电子设备
CN112927231A (zh) * 2021-05-12 2021-06-08 深圳市安软科技股份有限公司 车身污垢检测模型的训练方法、车身污垢检测方法及装置
CN112927231B (zh) * 2021-05-12 2021-07-23 深圳市安软科技股份有限公司 车身污垢检测模型的训练方法、车身污垢检测方法及装置

Also Published As

Publication number Publication date
CN110147833B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN110147833A (zh) 人像处理方法、装置、系统和可读存储介质
US10417526B2 (en) Object recognition method and device
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109359559B (zh) 一种基于动态遮挡样本的行人再识别方法
CN110543578B (zh) 物体识别方法及装置
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN107871101A (zh) 一种人脸检测方法及装置
CN108229397A (zh) 基于Faster R-CNN的图像中文本检测方法
CN108304820A (zh) 一种人脸检测方法、装置及终端设备
CN105844283A (zh) 用于识别图像类目归属的方法、图像搜索方法及装置
CN111428771B (zh) 视频场景分类方法、装置和计算机可读存储介质
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
KR20180038169A (ko) 딥 러닝 기반의 데이터특징을 이용한 도시영상의 안전도 분류방법
KR102593835B1 (ko) 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN109344720B (zh) 一种基于自适应特征选择的情感状态检测方法
CN111967464A (zh) 一种基于深度学习的弱监督目标定位方法
CN108256473A (zh) 用于数据扩增的方法、装置和系统、计算机可读存储介质
CN112818995A (zh) 图像分类方法、装置、电子设备及存储介质
CN111967527A (zh) 一种基于人工智能牡丹品种识别方法及识别系统
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
WO2011096010A1 (ja) パターン認識装置
CN112926616B (zh) 图像匹配方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant