CN114511754A - 样本图像生成方法、装置、电子设备及存储介质 - Google Patents

样本图像生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114511754A
CN114511754A CN202210002021.1A CN202210002021A CN114511754A CN 114511754 A CN114511754 A CN 114511754A CN 202210002021 A CN202210002021 A CN 202210002021A CN 114511754 A CN114511754 A CN 114511754A
Authority
CN
China
Prior art keywords
image
processed
attribute
morphological
form attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210002021.1A
Other languages
English (en)
Inventor
方轲
宋丛礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210002021.1A priority Critical patent/CN114511754A/zh
Publication of CN114511754A publication Critical patent/CN114511754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种样本图像生成方法、装置、电子设备及存储介质,属于图像处理技术领域。方法包括:获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,并确定参考形态主体的参考形态属性,再根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,实现将参考图像中参考形态主体的参考形态属性迁移至待处理图像中,使得生成的样本图像能够充分地表征出参考形态主体的参考形态属性,实现扩充得到包含参考形态属性的样本图像,能够有效地辅助对样本图像进行扩充,从而使得样本图像能够有效地满足实际图像处理场景中个性化的形态属性处理需求。

Description

样本图像生成方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种样本图像生成方法、装置、电子设备及存储介质。
背景技术
在深度学习任务中,模型训练通常需要依赖大量的样本图像,以提升模型训练的鲁棒性和模型训练效果,但是针对一些特定领域,其样本图像的数量不足以满足深度学习任务的样本图像的数量需求,因此,亟需提出一种样本图像生成方法,以满足实际图像处理场景中样本图像的数量需求。
相关技术中的样本图像生成方法,无法对样本图像进行有效扩充。
发明内容
本公开提供一种样本图像生成方法、装置、电子设备、存储介质及计算机程序产品。
本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种样本图像生成方法,包括:获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同;确定参考形态主体的参考形态属性;根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
在本公开的一些实施例中,确定参考形态主体的参考形态属性,包括:
确定参考图像的形态属性类型;
根据参考形态主体,确定与形态属性类型对应的参考形态属性值;
将形态属性类型和参考形态属性值共同作为参考形态属性。
在本公开的一些实施例中,参考图像的数量为第一数量,待处理图像的数量为第二数量,第一数量大于第二数量;
其中,根据参考形态主体,确定与形态属性类型对应的参考形态属性值,包括:
提取参考图像中与参考形态主体对应的参考隐变量;
提取待处理图像中与待处理形态主体对应的待处理隐变量;
对第一数量参考隐变量和第二数量待处理隐变量采样,得到多个采样隐变量,其中,采样隐变量是参考隐变量或者是待处理隐变量;
根据多个采样隐变量,确定参考形态属性值。
在本公开的一些实施例中,根据多个采样隐变量,确定参考形态属性值,包括:
确定与采样隐变量配对的采样图像,其中,采样图像是参考图像或者是待处理图像;
根据采样隐变量,确定相应配对的采样图像的虚拟形态属性值;
对多个虚拟形态属性值进行排序处理;
从排序处理后多个虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为参考形态属性值。
在本公开的一些实施例中,从排序处理后多个虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为参考形态属性值,包括:
从排序处理后多个虚拟形态属性值中,选取出排序在前的第一设定数量比例虚拟形态属性值作为参考形态属性值;和/或
从排序处理后多个虚拟形态属性值中,选取出排序在后的第二设定数量比例虚拟形态属性值作为参考形态属性值。
在本公开的一些实施例中,根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,包括:
确定与多个参考形态属性分别对应的多个采样隐变量;
采用各个采样隐变量对待处理隐变量进行编辑处理,得到相应的编辑后隐变量;
根据编辑后隐变量,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
在本公开的一些实施例中,采用各个采样隐变量对待处理隐变量进行编辑处理,得到相应的编辑后隐变量,包括:
将待处理隐变量输入至二分类模型中,得到二分类模型输出的相应的编辑后隐变量,其中,二分类模型,由多个采样隐变量训练得到。
在本公开的一些实施例中,形态属性类型包括以下任一种或者多种的组合:
年龄属性、性别属性、姿态属性。
根据本公开实施例的第二方面,提供一种样本图像生成装置,包括:
获取模块,被配置为执行获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同;
确定模块,被配置为执行确定参考形态主体的参考形态属性;
调整模块,被配置为执行根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
在本公开的一些实施例中,确定模块,包括:
第一确定子模块,被配置为执行确定参考图像的形态属性类型;
第二确定子模块,被配置为执行根据参考形态主体,确定与形态属性类型对应的参考形态属性值;
第一处理子模块,被配置为执行将形态属性类型和参考形态属性值共同作为参考形态属性。
在本公开的一些实施例中,参考图像的数量为第一数量,待处理图像的数量为第二数量,第一数量大于第二数量;
其中,第二确定子模块,被配置为执行:
提取参考图像中与参考形态主体对应的参考隐变量;
提取待处理图像中与待处理形态主体对应的待处理隐变量;
对第一数量参考隐变量和第二数量待处理隐变量采样,得到多个采样隐变量,其中,采样隐变量是参考隐变量或者是待处理隐变量;
根据多个采样隐变量,确定参考形态属性值。
在本公开的一些实施例中,第二确定子模块,被配置为执行:
确定与采样隐变量配对的采样图像,其中,采样图像是参考图像或者是待处理图像;
根据采样隐变量,确定相应配对的采样图像的虚拟形态属性值;
对多个虚拟形态属性值进行排序处理;
从排序处理后多个虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为参考形态属性值。
在本公开的一些实施例中,第二确定子模块,被配置为执行:
从排序处理后多个虚拟形态属性值中,选取出排序在前的第一设定数量比例虚拟形态属性值作为参考形态属性值;和/或
从排序处理后多个虚拟形态属性值中,选取出排序在后的第二设定数量比例虚拟形态属性值作为参考形态属性值。
在本公开的一些实施例中,调整模块,包括:
第三确定子模块,被配置为执行确定与多个参考形态属性分别对应的多个采样隐变量;
第二处理子模块,被配置为执行采用各个采样隐变量对待处理隐变量进行编辑处理,得到相应的编辑后隐变量;
调整子模块,被配置为执行根据编辑后隐变量,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
在本公开的一些实施例中,第二处理子模块,被配置为执行:
将待处理隐变量输入至二分类模型中,得到二分类模型输出的相应的编辑后隐变量,其中,二分类模型,由多个采样隐变量训练得到。
在本公开的一些实施例中,形态属性类型包括以下任一种或者多种的组合:
年龄属性、性别属性、姿态属性。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现如前的样本图像生成方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如前的样本图像生成方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如前的样本图像生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本实施例中,通过获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同,并确定参考形态主体的参考形态属性,再根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,实现将参考图像中参考形态主体的参考形态属性迁移至待处理图像中,使得生成的样本图像能够充分地表征出参考形态主体的参考形态属性,实现扩充得到包含参考形态属性的样本图像,能够有效地辅助对样本图像进行扩充,从而使得样本图像能够有效地满足实际图像处理场景中个性化的形态属性处理需求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种样本图像生成方法的流程图;
图2是根据另一示例性实施例示出的一种样本图像生成方法的流程图;
图3是根据另一示例性实施例示出的一种样本图像生成方法的流程图;
图4是根据另一示例性实施例示出的一种样本图像生成方法的流程图;
图5是根据一示例性实施例示出的一种参考图像和待处理图像的人脸偏转角度的分布示意图;
图6是根据一示例性实施例示出的一种样本图像数据中人脸偏转角度的分布示意图;
图7是根据一示例性实施例示出的一种成年人和小孩的配对图像数据的平均水平角度的误差示意图;
图8是根据一示例性实施例示出的一种样本图像生成装置框图;
图9是根据另一示例性实施例示出的一种样本图像生成装置框图;
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的用户账户,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种样本图像生成方法的流程图。
本实施例以样本图像生成方法被配置为样本图像生成装置中来举例说明。
本实施例中样本图像生成方法可以被配置在样本图像生成装置中,样本图像生成装置可以设置在电子设备中。
需要说明的是,本公开实施例的执行主体,在硬件上可以例如为电子设备的中央处理器(Central Processing Unit,CPU),在软件上可以例如为电子设备的相关后台服务,对此不作限制。
如图1所示,该样本图像生成方法包括以下步骤:
在步骤S101中,获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同。
其中,当前待对其进行处理的图像,即可以被称为待处理图像,该待处理图像的数量可以是一张或者多张,该待处理图像可以是通过手机、相机等具有拍摄功能的装置拍摄得到的,或者,该待处理图像也可以是从视频中解析得到的,例如,该待处理图像,可以是从视频包含的多个视频帧之中提取出的部分视频帧图像,对此不做限制。
其中,在样本图像生成方法执行过程中,对待处理图像起到参考作用的图像即可以被称为参考图像,该参考图像的数量可以是一张或者多张,该参考图像可以是与待处理图像具有相关联信息的图像,具体可以例如为与待处理图像具有语义关联信息的图像,与待处理图像具有属性关联信息的图像,对此不做限制。
其中,参考图像和待处理图像可以用于对相应的形态主体进行描述,该形态主体可以具体例为为人脸,人体头部等,对此不做限制。
参考图像可以包括:参考形态主体,即参考图像可以用于对参考形态主体进行描述,相应地,获取参考图像可以是采用摄像装置针对参考形态主体进行拍摄,得到相应的参考图像,对此不做限制。
待处理图像可以包括:待处理形态主体,即待处理图像可以用于对待处理形态主体进行描述,相应地,获取待处理图像可以是采用摄像装置针对待处理形态主体进行拍摄,得到相应的待处理图像,对此不做限制。
需要说明的是,上述的参考形态主体和待处理形态主体不相同。
则本公开实施例中支持根据参考形态主体,处理待处理图像中的待处理形态主体,以对待处理图像处理得到样本图像,具体可以参见后续实施例。
需要说明的是,本公开实施例中的参考图像和待处理图像,并不是针对某一特定用户获取的图像,其并不能反映出某一特定用户的个人信息,并且参考图像和待处理图像均是在经过相关用户授权后获取的,其获取过程均符合相关法律、法规的规定,且不违背公序良俗。
在步骤S102中,确定参考形态主体的参考形态属性。
其中,参考形态主体可以具有相应的形态属性,该形态属性即可以被称为参考形态属性,而参考形态属性可以是参考形态主体的姿态属性,参考形态主体的年龄属性等,具体可以例如为小孩属性,老人属性等,对此不做限制。
一些实施例中,确定参考形态主体的参考形态属性,可以是通过确定参考图像中参考形态主体的配饰特征,姿态特征,面部特征,而后根据参考图像中参考形态主体的配饰特征,姿态特征,面部特征,确定参考形态主体的参考形态属性。
举例而言,可以对参考图像中的参考形态主体(例如,人脸形态主体)进行人脸图像识别,并判断人脸是否存在皱纹,若识别到人脸存在皱纹,则可以确定参考形态主体的参考形态属性为老人属性,对此不做限制。
另一些实施例中,确定参考形态主体的参考形态属性,还可以是针对参考形态主体相应的参考图像,预先提取多个图像特征,而后可以对前述提取得到的多个图像特征进行特征解析,以根据特征解析结果,确定参考形态主体的参考形态属性,或者,也可以采用其他任意可能的方式,确定参考形态主体的参考形态属性,对此不做限制。
在步骤S103中,根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
本公开实施例在确定参考形态主体的参考形态属性后,可以根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到调整处理后的与待处理图像对应的图像,该图像即可以被称为样本图像。
其中,待处理图像中的待处理形态主体可以具有对应的形态属性,该形态属性可以具体例如为待处理形态主体的姿态属性,待处理形态主体的年龄属性等,具体可以例如为小孩属性,老人属性等,对其不做限制。
其中,待处理形态主体相应的形态属性,和参考形态主体相应的参考形态属性不相同。
也即是说,本公开实施例的一种应用场景可以具体例如为,根据参考图像中参考形态主体对应的参考形态属性,对待处理图像中待处理形态主体对应的形态属性进行处理,得到样本图像,本公开实施例下述的描述说明,将以前述应用场景进行示例,当然,本公开实施例描述的样本图像生成方法,也可以应用于其他任意可能的样本图像生成场景中,对此不做限制。
一些实施例中,根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,可以是在确定参考形态主体的参考形态属性后,根据该参考形态属性,确定参考形态主体的局部图像特征,而后,根据局部图像特征,对待处理图像中与待处理形态主体的局部图像特征进行特征编辑处理,得到与待处理图像对应的样本图像,或者,还可以采用其他任意可能的方式,实现根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,例如,模型预测的方式,图像融合的方式,工程学方式等等,对此不做限制。
本实施例中,通过获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同,并确定参考形态主体的参考形态属性,再根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,实现将参考图像中参考形态主体的参考形态属性迁移至待处理图像中,使得生成的样本图像能够充分地表征出参考形态主体的参考形态属性,实现扩充得到包含参考形态属性的样本图像,能够有效地辅助对样本图像进行扩充,从而使得样本图像能够有效地满足实际图像处理场景中个性化的形态属性处理需求。
图2是根据另一示例性实施例示出的一种样本图像生成方法的流程图。
如图2所示,该样本图像生成方法包括以下步骤。
在步骤S201中,获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同。
步骤S201的说明可以参见上述实施例,在此不再赘述。
在步骤S202中,确定参考图像的形态属性类型。
其中,形态属性类型可以用于描述参考图像中的待处理形态主体对应的形态属性所属的属性类型,而形态属性类型可以具体为年龄属性,性别属性,姿态属性,形体属性、性格属性等,对此不做限制。
一些实施例中,确定参考图像的形态属性类型,可以是确定参考图像中的待处理形态主体对应的形态属性,而后可以对前述确定的形态属性进行分类处理,以确定参考图像的形态属性类型。
举例而言,可以在确定参考图像中的待处理形态主体对应的形态属性后,将前述确定的形态属性,输入至预训练的分类模型(例如,支持向量机模型(Support VectorMachines,SVM),对此不做限制)中,由预训练的分类模型对该形态属性进行分类处理,并输出相应的形态属性类型,对此不做限制。
另一些实施例中,确定参考图像的形态属性类型,还可以是确定与不同形态属性类型分别对应的多种形态属性,而后可以确定参考图像中的待处理形态主体对应的参考形态属性,再将参考图像的参考形态属性与前述确定的不同形态属性类型分别对应的多种形态属性进行比对,并在参考形态属性与不同形态属性类型分别对应的某一种形态属性相匹配时,将与该形态属性相应的形态属性类型作为参考图像的形态属性类型。
或者,也可以采用其他任意可能的方式,确定参考图像的形态属性类型,对此不做限制。
在步骤S203中,根据参考形态主体,确定与形态属性类型对应的参考形态属性值。
其中,用于对参考形态主体的参考形态属性进行量化描述的值,即可以被称为参考形态属性值,该参考形态属性值可以具体例如为与年龄属性类型对应的年龄值,与性别属性类型对应的性别,与姿态属性类型对应的参考形态主体的偏转角度值,对此不做限制。
一些实施例中,以形态属性类型是姿态属性为例,根据参考形态主体,确定与形态属性类型对应的参考形态属性值,可以是确定参考形态主体(例如,人脸形态)的偏转角度值,该偏转角度值可以是人脸向左右方向和/或者俯仰方向偏转的角度值,具体例如为,人脸向左偏转的角度值,人脸向右偏转的角度值等,并将前述确定的人脸的偏转角度值,作为参考形态属性值。
举例而言,确定人脸的偏转角度值,可以是参考图像进行解析处理,以确定参考图像中人脸偏转的欧拉角,并将前述确定的参考图像中人脸偏转的欧拉角作为人脸偏转的角度值,再将该人脸偏转的角度值,作为参考形态属性值,对此不做限制。
或者,还可以是结合预训练的深度学习模型,实现根据参考形态主体,确定与形态属性类型对应的参考形态属性值,即可以将参考形态主体相应的参考图像以及形态属性类型输入至预训练的深度学习模型中,得到预训练的深度学习模型输出的与形态属性类型对应的参考形态属性值,对此不做限制。
在步骤S204中,将形态属性类型和参考形态属性值共同作为参考形态属性。
本公开实施例在确定参考图像的形态属性类型,和与形态属性类型对应的参考形态属性值后,可以将形态属性类型和参考形态属性值共同作为参考形态属性,由于是先确定参考图像的形态属性类型,从而能够基于形态属性类型,有效地滤除其他形态属性类型的形态属性对参考形态属性值的确定所带来的噪声干扰,实现准确地确定与形态属性类型对应的参考形态属性值,使得参考形态属性值可以准确地对相应形态属性类型的参考图像的形态属性进行表征,从而在将形态属性类型和参考形态属性值共同作为参考形态属性时,有效地提升参考形态属性的可参考性。
在步骤S205中,根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
步骤S205的说明可以参见上述实施例,在此不再赘述。
本实施例中,通过获取参考图像和待处理图像,并确定参考图像的形态属性类型,再将形态属性类型和参考形态属性值共同作为参考形态属性,从而能够基于形态属性类型,有效地滤除其他形态属性类型的形态属性对参考形态属性值的确定所带来的噪声干扰,实现准确地确定与形态属性类型对应的参考形态属性值,使得参考形态属性值可以准确地对相应形态属性类型的参考图像的形态属性进行表征,从而在将形态属性类型和参考形态属性值共同作为参考形态属性时,有效地提升参考形态属性的可参考性,再根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,实现将参考图像中参考形态主体的参考形态属性迁移至待处理图像中,使得生成的样本图像能够充分地表征出参考形态主体的参考形态属性,实现扩充得到包含参考形态属性的样本图像,能够有效地辅助对样本图像进行扩充,从而使得样本图像能够有效地满足实际图像处理场景中个性化的形态属性处理需求。
图3是根据另一示例性实施例示出的一种样本图像生成方法的流程图。
如图3所示,该样本图像生成方法包括以下步骤。
在步骤S301中,获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同。
在步骤S302中,确定参考图像的形态属性类型。
步骤S301-步骤S302的说明可以参见上述实施例,在此不再赘述。
在步骤S303中,提取参考图像中与参考形态主体对应的参考隐变量。
其中,隐变量是指图像的属性空间的潜在编码表示,该隐变量可以用于对图像相应的形态主体的属性信息进行描述,通过对图像相应的隐变量进行编辑,即可以控制改变图像相应形态主体的属性。
其中,参考图像中与参考形态主体对应的隐变量,即可以被称为参考隐变量,该参考隐变量可以在后续的样本图像生成方法中,被用作对待处理图像进行处理的参考,即可以根据参考图像中与参考形态主体对应的参考隐变量,对待处理图像进行相应处理,以生成样本图像,具体可以参见后续实施例。
本公开实施例中,可以是采用预先训练好的风格生成式对抗网络(StyleGenerative Adversarial Network,StyleGAN),提取参考图像中与参考形态主体对应的参考隐变量,即可以将参考图像输入至预先训练好的StyleGAN网络中,得到StyleGAN网络输出的参考图像中与参考形态主体对应的参考隐变量,对此不做限制。
在步骤S304中,提取待处理图像中与待处理形态主体对应的待处理隐变量。
其中,待处理图像中与待处理形态主体对应的隐变量,即可以被称为待处理隐变量。
本公开实施例中,可以是采用预先训练好的风格生成式对抗网络(StyleGenerative Adversarial Network,StyleGAN),提取待处理图像中与待处理形态主体对应的待处理隐变量,即可以将待处理图像输入至预先训练好的StyleGAN网络中,得到StyleGAN网络输出的与待处理图像中的待处理形态主体对应的待处理隐变量,对此不做限制。
在步骤S305中,对第一数量参考隐变量和第二数量待处理隐变量采样,得到多个采样隐变量。
本公开实施例在从第一数量的参考图像中提取得到第一数量的参考隐变量,并从第二数量的待处理图像中提取得到第二数量的待处理隐变量后,可以对第一数量的参考隐变量和第二数量的待处理隐变量进行随机采样处理,以采样得到多个隐变量,该隐变量即可以被称为采样隐变量。
在步骤S306中,根据多个采样隐变量,确定参考形态属性值。
本公开实施例在提取参考图像中与参考形态主体对应的参考隐变量,并提取待处理图像中与待处理形态主体对应的待处理隐变量后,可以对第一数量参考隐变量和第二数量待处理隐变量采样,得到多个采样隐变量采样得到多个采样隐变量后,可以根据多个采样隐变量,确定参考形态属性值,由于是预先提取参考图像对应的参考隐变量,并提取待处理图像对应的待处理隐变量,从而能够获取得到较为丰富的隐变量,从而能够在对参考隐变量和待处理隐变量进行采样处理时,为采样处理的执行提供丰富的采样基础,此外,通过对参考隐变量和待处理隐变量进行采样处理,得到采样隐变量,从而能够使得采样隐变量能够对参考隐变量和待处理隐变量的分布情况进行准确表征,从而在根据多个采样隐变量,确定参考形态属性值时,能够在一定程度上有效降低数据处理量的同时,从而有效地提升参考形态属性值的确定效率。
一些实施例中,根据多个采样隐变量,确定参考形态属性值,可以是将多个采样隐变量输入预先训练好的三维人脸统计模型(Three Dimensional Morphable Model,3DMM)中,得到3DMM模型输出的参考形态属性值。
或者,还可以采用其他任意可能的方式,实现根据多个采样隐变量,确定参考形态属性值,例如,算法的方式,工程学的方式等,对此不做限制。
可选地,一些实施例中,根据多个采样隐变量,确定参考形态属性值,可以是确定与采样隐变量配对的采样图像,其中,采样图像是参考图像或者是待处理图像,并根据采样隐变量,确定相应配对的采样图像的虚拟形态属性值,再对多个虚拟形态属性值进行排序处理,以从排序处理后多个虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为参考形态属性值,由于是对采样图像的虚拟形态属性值进行排序处理,从而能够实现对虚拟形态属性值进行更为清晰的整理,从而在从排序处理后多个虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为参考形态属性值,避免重复选取事态的发生,还能够支持对需求的虚拟形态属性值进行灵活选取,从而能够有效地提升参考形态属性值的确定效果。
本公开实施例中,由于多个采样隐变量是从参考图像对应的参考隐变量和待处理图像对应的待处理隐变量采样得到的,也即是说,对于任一采样隐变量,可以存在与其相匹配的参考图像或者是待处理图像,该参考图像或者待处理图像即可以被称为采样图像,相应的,该采样图像对应的形态属性值,即可以被称为虚拟形态属性值。
也即是说,本公开实施例中,可以在确定采样隐变量后,确定与该隐变量配对的采样图像,例如,可以根据采样隐变量从参考图像和待处理图像中,确定与该采样隐变量对应的图像,并将该图像作为采样图像,或者,还可以是根据采样隐变量,结合预先训练好的StyleGAN网络,生成与该采样隐变量配对的图像,并将该图像作为采样图像,对此不做限制。
本公开实施例在确定与采样隐变量配对的采样图像后,可以根据采样隐变量,确定相应配对的采样图像的虚拟形态属性值,再对多个虚拟形态属性值进行排序处理,以从排序处理后多个虚拟形态属性值中,选取出设定数量比例(该设定数量比例,可以根据实际样本图像生成场景的业务需求,自适应配置,对此不做限制)的虚拟形态属性值作为参考形态属性值,而后可以结合该参考形态属性值,执行后续的样本图像生成方法,具体可以参见后续实施例。
举例而言,可以对前述确定的多个虚拟形态属性值,进行从小至大排序处理,并从排序处理后的多个虚拟形态属性值中,确定设定数量比例(例如10%,对此不做限制)的最小虚拟形态属性值,并将其作为参考形态属性值,对此不做限制。
可选地,一些实施例中,从排序处理后多个虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为参考形态属性值,可以是从排序处理后多个虚拟形态属性值中,选取出排序在前的第一设定数量比例虚拟形态属性值作为参考形态属性值,和/或从排序处理后多个虚拟形态属性值中,选取出排序在后的第二设定数量比例虚拟形态属性值作为参考形态属性值,由于是从排序处理后多个虚拟形态属性值中,选取排序在前的第一设定数量比例虚拟形态属性值,和/或排序在后的第二设定数量比例的虚拟形态属性值作为参考形态属性值,从而为虚拟形态值的选取提供了清晰可循的选取逻辑,从而可以基于该选取逻辑,实现对虚拟形态值进行高效的选取,此外,由于是选取排序在前和/或排序在后的虚拟形态属性值作为参考形态属性值作为参考形态属性值,从而可以使得参考形态属性值可以对虚拟形态属性值的分布情况进行表征,从而可以基于该参考形态属性值,有效地保障后续样本图像生成方法的顺利执行。
其中,针对多个排序处理后多个虚拟形态属性值,预先设定的排序在前的多个虚拟形态属性值的数量比例,即可以被称为第一设定数量比例,该第一设定数量比例可以根据实际样本图像生成场景的业务需求,自适应配置,对此不做限制。
其中,针对多个排序处理后多个虚拟形态属性值,预先设定的排序在后的多个虚拟形态属性值的数量比例,即可以被称为第二设定数量比例,该第二设定数量比例可以根据实际样本图像生成场景的业务需求,自适应配置,对此不做限制。
也即是说,本公开实施例在对多个虚拟形态属性值进行排序处理后,可以从排序处理后多个虚拟形态属性值中,选取出第一设定数量比例的且排序在前的虚拟形态属性值作为参考形态属性值,和/或,选取出第二设定数量比例的且排序在后的虚拟形态属性值作为参考形态属性值,对此不做限制,
举例而言,以多个虚拟形态属性值是人脸向左偏转角度值为例,可以对人脸向左偏转角度值进行从大至小排序,并从排序处理后的人脸向左偏转角度值中,确定10%的且排序在前的人脸向左偏转角度值作为参考形态属性值,和/或,选取出10%的且排序在后的人脸向左偏转角度值作为参考形态属性值,对此不做限制。
在步骤S307中,将形态属性类型和参考形态属性值共同作为参考形态属性。
步骤S307的说明可以参见上述实施例,在此不再赘述。
在步骤S308中,确定与多个参考形态属性分别对应的多个采样隐变量。
本公开实施例在确定参考形态属性值,并将形态属性类型和参考形态属性值共同作为参考形态属性后,可以从前述采样得到的多个采样隐变量中,确定与多个参考形态属性分别对应的多个采样隐变量,而后可以基于前述确定的多个采样隐变量,执行后续的样本图像生成方法。
在步骤S309中,采用各个采样隐变量对待处理隐变量进行编辑处理,得到相应的编辑后隐变量。
本公开实施例在确定与多个参考形态属性分别对应的多个采样隐变量后,可以采用各个采样隐变量对待处理隐变量进行编辑处理,并将前述编辑处理得到的隐变量,作为编辑后隐变量。
可选地,一些实施例中,采用各个采样隐变量对待处理隐变量进行编辑处理,可以是将待处理隐变量输入至二分类模型中,得到二分类模型输出的相应的编辑后隐变量,由于是通过二分类模型对待处理隐变量进行编辑处理,从而能够有效地简化隐变量的编辑处理逻辑,从而能够有效地提升隐变量的编辑处理效率,此外,还能够为后续的样本图像生成方法的执行,提供清晰的属性编辑方向,从而可以基于该属性编辑方向,辅助后续样本图像生成方法的顺利执行。
其中,二分类模型,由多个采样隐变量训练得到,也即是说,上述在对第一数量参考隐变量和第二数量待处理隐变量采样,得到多个采样隐变量后,可以根据多个采样隐变量对二分类模型进行训练,直至二分类模型收敛,而后可以基于前述收敛的二分类模型执行后续的样本图像生成方法。
本公开实施例中,可以将待处理隐变量输入至二分类模型中,由二分类模型对该待处理隐变量进行处理,以确定与该待处理隐变量相应的属性编辑方向,并将该属性编辑方向和待处理隐变量共同作为编辑后隐变量。
其中,属性编辑方向可以用于对形态主体的属性做更进一步的具体描述,以形态属性类型是姿态属性为例,属性编辑方向可以是形态主体向左偏转的方向,形态主体向右偏转的方向,对此不做限制。
在步骤S310中,根据编辑后隐变量,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
本公开实施例在确定待处理图像相应的待处理隐变量的属性编辑方向后,可以在该属性编辑方向上,根据多个采样隐变量,对待处理图像的待处理隐变量进行编辑处理,例如可以采用用于语义人脸编辑的生成对抗式网络(Inter Face Generative AdversarialNetwork,InterFaceGAN)对待处理图像中相应的待处理隐变量进行编辑处理,以实现根据编辑后隐变量对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,对此不做限制。
本实施例中,通过获取参考图像和待处理图像,并确定参考图像的形态属性类型,再提取参考图像中与参考形态主体对应的参考隐变量,并提取待处理图像中与待处理形态主体对应的待处理隐变量,再对第一数量参考隐变量和第二数量待处理隐变量采样,得到多个采样隐变量,以及根据多个采样隐变量,确定参考形态属性值,从而能够在对参考隐变量和待处理隐变量进行采样处理时,为采样处理的执行提供丰富的采样基础,此外,通过对参考隐变量和待处理隐变量进行采样处理,得到采样隐变量,从而能够使得采样隐变量能够对参考隐变量和待处理隐变量的分布情况进行准确表征,从而在根据多个采样隐变量,确定参考形态属性值时,能够在一定程度上有效降低数据处理量的同时,从而有效地提升参考形态属性值的确定效率,再将形态属性类型和参考形态属性值共同作为参考形态属性,并确定与多个参考形态属性分别对应的多个采样隐变量,再采用各个采样隐变量对待处理隐变量进行编辑处理,得到相应的编辑后隐变量,并根据编辑后隐变量,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,由于是根据多个参考形态属性分别对应的多个采样隐变量,对待处理隐变量进行编辑处理,从而能够有效的简化对待处理图像进行编辑处理的处理逻辑,实现将参考图像中参考形态主体的参考形态属性迁移至待处理图像中,使得生成的样本图像能够充分地表征出参考形态主体的参考形态属性,实现扩充得到包含参考形态属性的样本图像,能够有效地辅助对样本图像进行扩充,从而使得样本图像能够有效地满足实际图像处理场景中个性化的形态属性处理需求。
本公开实施例中,以形态属性类型是姿态属性为例,本公开实施例描述的样本图像生成方法,可以基于人脸大角度偏转属性的成年人图像数据,对正脸属性的小孩图像数据进行处理,以实现将人脸大角度偏转属性迁移至小孩图像数据中,得到具有人脸大角度偏转属性的小孩图像数据。
举例而言,如图4所示,图4是根据另一示例性实施例示出的一种样本图像生成方法的流程图,可以获取具有大角度偏转属性的成年人图像数据(参考图像),和具有正脸属性的三岁孩子图像数据(待处理图像),并采用风格生成式对抗网络(Style GenerativeAdversarial Network,StyleGAN),分别提取参考图像对应的参考隐变量和待处理图像对应的待处理隐变量,而后,可以对前述确定的参考隐变量和待处理隐变量进行采样处理,得到多个采样隐变量,多个采样隐变量可以具有配对的采样图像,再从采样图像对应的采样隐变量中,确定设定数量比例的参考形态属性值,并根据参考形态属性值对应的采样隐变量训练二分类模型,而后可以将待处理图像输入至前述训练得到的二分类模型中,再结合语义人脸编辑的生成对抗式网络(Inter Face Generative Adversarial Network,InterFaceGAN)对三岁孩子图像数据(待处理图像)进行编辑处理,得到与待处理图像对应的具有大角度偏转属性的小孩图像数据,再将前述得到的具有大角度偏转属性的小孩图像数据和初始获取的三岁孩子图像数据(待处理图像),共同用于后续的任务,以实现对大角度偏转属性的小孩图像数据进行样本扩增。
综上,在基于人脸大角度偏转属性的成年人图像数据,对具有正脸属性的小孩图像数据进行处理后,可以具有如下有益效果,图5是根据一示例性实施例示出的一种参考图像和待处理图像的人脸偏转角度的分布示意图。如图5所示,初始获得的参考图像(成年人图像数据)的人脸偏转角度的丰富程度和最大范围都优于待处理图像(小孩图像数据),而通过执行本公开实施例描述的样本图像生成方法,生成的样本图像数据中人脸偏转角度的分布可以如图6所示,图6是根据一示例性实施例示出的一种样本图像数据中人脸偏转角度的分布示意图。如图6所示,通过执行公开实施例描述的样本图像生成方法,生成的样本图像数据中成年人的图像数据的人脸偏转角度和小孩的图像数据的丰富程度和最大范围基本相同,这表示成年人图像数据的大角度偏转属性很好的迁移到了小孩的图像数据中,此外,图7是根据一示例性实施例示出的一种成年人和小孩的配对图像数据的平均水平角度的误差示意图。如图7所示,通过执行公开实施例描述的样本图像生成方法,生成的样本图像数据中成年人和小孩的配对图像数据的平均水平角度的误差,远小于初始获得的待处理图像和参考图像中,成年人和小孩的配对图像数据的平均水平角度的误差。
图8是根据一示例性实施例示出的一种样本图像生成装置框图。参照图8,该装置包括获取模块801,确定模块802和调整模块803。
该获取模块801,被配置为执行获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同;
该确定模块802,被配置为执行确定参考形态主体的参考形态属性;
该调整模块803,被配置为执行根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
在本公开的一些实施例中,如图9所示,图9是根据另一示例性实施例示出的一种样本图像生成装置框图,确定模块802,包括:
第一确定子模块8021,被配置为执行确定参考图像的形态属性类型;
第二确定子模块8022,被配置为执行根据参考形态主体,确定与形态属性类型对应的参考形态属性值;
第一处理子模块8023,被配置为执行将形态属性类型和参考形态属性值共同作为参考形态属性。
在本公开的一些实施例中,如图9所示,参考图像的数量为第一数量,待处理图像的数量为第二数量,第一数量大于第二数量;
其中,第二确定子模块8022,被配置为执行:
提取参考图像中与参考形态主体对应的参考隐变量;
提取待处理图像中与待处理形态主体对应的待处理隐变量;
对第一数量参考隐变量和第二数量待处理隐变量采样,得到多个采样隐变量,其中,采样隐变量是参考隐变量或者是待处理隐变量;
根据多个采样隐变量,确定参考形态属性值。
在本公开的一些实施例中,如图9所示,第二确定子模块8022,被配置为执行:
确定与采样隐变量配对的采样图像,其中,采样图像是参考图像或者是待处理图像;
根据采样隐变量,确定相应配对的采样图像的虚拟形态属性值;
对多个虚拟形态属性值进行排序处理;
从排序处理后多个虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为参考形态属性值。
在本公开的一些实施例中,如图9所示,第二确定子模块8022,被配置为执行:
从排序处理后多个虚拟形态属性值中,选取出排序在前的第一设定数量比例虚拟形态属性值作为参考形态属性值;和/或
从排序处理后多个虚拟形态属性值中,选取出排序在后的第二设定数量比例虚拟形态属性值作为参考形态属性值。
在本公开的一些实施例中,如图9所示,调整模块803,包括:
第三确定子模块8031,被配置为执行确定与多个参考形态属性分别对应的多个采样隐变量;
第二处理子模块8032,被配置为执行采用各个采样隐变量对待处理隐变量进行编辑处理,得到相应的编辑后隐变量;
调整子模块8033,被配置为执行根据编辑后隐变量,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像。
在本公开的一些实施例中,如图9所示,第二处理子模块8032,被配置为执行:
将待处理隐变量输入至二分类模型中,得到二分类模型输出的相应的编辑后隐变量,其中,二分类模型,由多个采样隐变量训练得到。
在本公开的一些实施例中,如图9所示,形态属性类型包括以下任一种或者多种的组合:
年龄属性、性别属性、姿态属性。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本实施例中,通过获取参考图像和待处理图像,其中,参考图像包括:参考形态主体,待处理图像包括:待处理形态主体,参考形态主体和待处理形态主体不相同,并确定参考形态主体的参考形态属性,再根据参考形态属性,对待处理图像中的待处理形态主体对应的形态属性进行调整,得到与待处理图像对应的样本图像,实现将参考图像中参考形态主体的参考形态属性迁移至待处理图像中,使得生成的样本图像能够充分地表征出参考形态主体的参考形态属性,实现扩充得到包含参考形态属性的样本图像,能够有效地辅助对样本图像进行扩充,从而使得样本图像能够有效地满足实际图像处理场景中个性化的形态属性处理需求。
本公开实施例还提供了一种电子设备,图10是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备1000可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图10,电子设备1000可以包括以下一个或多个组件:处理组件1002,存储器1004,电源组件1006,多媒体组件1008,音频组件1010,输入/输出(I/O)的接口1012,传感器组件1014,以及通信组件1016。
处理组件1002通常控制电子设备1000的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1002可以包括一个或多个模块,便于处理组件1002和其他组件之间的交互。例如,处理组件1002可以包括多媒体模块,以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统,一个或多个电源,及其他与为电子设备1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在电子设备1000和用户账户之间的提供一个输出接口的触控显示屏。在一些实施例中,触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1008包括一个前置摄像头和/或后置摄像头。当电子设备1000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如,音频组件1010包括一个麦克风(MIC),当电子设备1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。
在一些实施例中,音频组件1010还包括一个扬声器,用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器,用于为电子设备1000提供各个方面的状态评估。例如,传感器组件1014可以检测到电子设备1000的打开/关闭状态,组件的相对定位,例如组件为电子设备1000的显示器和小键盘,传感器组件1014还可以检测电子设备1000或电子设备1000一个组件的位置改变,用户账户与电子设备1000接触的存在或不存在,电子设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1014还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1016被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件1016还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述样本图像生成方法。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器1004,上述指令可由电子设备1000的处理器1020执行以完成上述方法。可选地,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如前所述的样本图像生成方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种样本图像生成方法,其特征在于,包括:
获取参考图像和待处理图像,其中,所述参考图像包括:参考形态主体,所述待处理图像包括:待处理形态主体,所述参考形态主体和所述待处理形态主体不相同;
确定所述参考形态主体的参考形态属性;
根据所述参考形态属性,对所述待处理图像中的所述待处理形态主体对应的形态属性进行调整,得到与所述待处理图像对应的样本图像。
2.根据权利要求1所述的样本图像生成方法,其特征在于,所述确定所述参考形态主体的参考形态属性,包括:
确定所述参考图像的形态属性类型;
根据所述参考形态主体,确定与所述形态属性类型对应的参考形态属性值;
将所述形态属性类型和所述参考形态属性值共同作为所述参考形态属性。
3.根据权利要求2所述的样本图像生成方法,其特征在于,所述参考图像的数量为第一数量,所述待处理图像的数量为第二数量,所述第一数量大于所述第二数量;
其中,所述根据所述参考形态主体,确定与所述形态属性类型对应的参考形态属性值,包括:
提取所述参考图像中与所述参考形态主体对应的参考隐变量;
提取所述待处理图像中与所述待处理形态主体对应的待处理隐变量;
对所述第一数量所述参考隐变量和所述第二数量所述待处理隐变量采样,得到多个采样隐变量,其中,所述采样隐变量是所述参考隐变量或者是所述待处理隐变量;
根据所述多个采样隐变量,确定所述参考形态属性值。
4.根据权利要求3所述的样本图像生成方法,其特征在于,所述根据所述多个采样隐变量,确定所述参考形态属性值,包括:
确定与所述采样隐变量配对的采样图像,其中,所述采样图像是所述参考图像或者是所述待处理图像;
根据所述采样隐变量,确定相应配对的所述采样图像的虚拟形态属性值;
对多个所述虚拟形态属性值进行排序处理;
从排序处理后多个所述虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为所述参考形态属性值。
5.根据权利要求4所述的样本图像生成方法,其特征在于,所述从排序处理后多个所述虚拟形态属性值中,选取出设定数量比例的虚拟形态属性值作为所述参考形态属性值,包括:
从排序处理后多个所述虚拟形态属性值中,选取出排序在前的第一设定数量比例所述虚拟形态属性值作为所述参考形态属性值;和/或
从排序处理后所述多个虚拟形态属性值中,选取出排序在后的第二设定数量比例所述虚拟形态属性值作为所述参考形态属性值。
6.根据权利要求5所述的样本图像生成方法,其特征在于,所述根据所述参考形态属性,对所述待处理图像中的所述待处理形态主体对应的形态属性进行调整,得到与所述待处理图像对应的样本图像,包括:
确定与多个所述参考形态属性分别对应的多个所述采样隐变量;
采用各个所述采样隐变量对所述待处理隐变量进行编辑处理,得到相应的编辑后隐变量;
根据所述编辑后隐变量,对所述待处理图像中的所述待处理形态主体对应的形态属性进行调整,得到与所述待处理图像对应的所述样本图像。
7.一种样本图像生成装置,其特征在于,包括:
获取模块,被配置为执行获取参考图像和待处理图像,其中,所述参考图像包括:参考形态主体,所述待处理图像包括:待处理形态主体,所述参考形态主体和所述待处理形态主体不相同;
确定模块,被配置为执行确定所述参考形态主体的参考形态属性;
调整模块,被配置为执行根据所述参考形态属性,对所述待处理图像中的所述待处理形态主体对应的形态属性进行调整,得到与所述待处理图像对应的样本图像。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法。
CN202210002021.1A 2022-01-04 2022-01-04 样本图像生成方法、装置、电子设备及存储介质 Pending CN114511754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210002021.1A CN114511754A (zh) 2022-01-04 2022-01-04 样本图像生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210002021.1A CN114511754A (zh) 2022-01-04 2022-01-04 样本图像生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114511754A true CN114511754A (zh) 2022-05-17

Family

ID=81548901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210002021.1A Pending CN114511754A (zh) 2022-01-04 2022-01-04 样本图像生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114511754A (zh)

Similar Documents

Publication Publication Date Title
CN110517185B (zh) 图像处理方法、装置、电子设备及存储介质
CN105488527B (zh) 图像分类方法及装置
CN106651955B (zh) 图片中目标物的定位方法及装置
CN109257645B (zh) 视频封面生成方法及装置
KR101694643B1 (ko) 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체
CN107945133B (zh) 图像处理方法及装置
CN105809704A (zh) 识别图像清晰度的方法及装置
CN107944447B (zh) 图像分类方法及装置
CN104035558A (zh) 终端设备控制方法及装置
CN104700353A (zh) 图像滤镜生成方法及装置
CN114025105B (zh) 视频处理方法、装置、电子设备、存储介质
US11961278B2 (en) Method and apparatus for detecting occluded image and medium
CN107220614B (zh) 图像识别方法、装置及计算机可读存储介质
CN107832746A (zh) 表情识别方法及装置
CN110717399A (zh) 人脸识别方法和电子终端设备
CN114266840A (zh) 图像处理方法、装置、电子设备及存储介质
CN111144266A (zh) 人脸表情的识别方法及装置
CN113032627A (zh) 视频分类方法、装置、存储介质及终端设备
CN113014801A (zh) 录像方法、装置、电子设备及介质
CN111783517A (zh) 图像识别方法、装置、电子设备及存储介质
CN112948704A (zh) 用于信息推荐的模型训练方法、装置、电子设备以及介质
CN107992894B (zh) 图像识别方法、装置及计算机可读存储介质
CN111145080B (zh) 一种图像生成模型的训练方法、图像生成方法及装置
CN105635573B (zh) 摄像头视角调整方法和装置
CN113709548B (zh) 基于图像的多媒体数据合成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination