CN117078974B - 图像处理方法及装置、电子设备、存储介质 - Google Patents
图像处理方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN117078974B CN117078974B CN202311230982.9A CN202311230982A CN117078974B CN 117078974 B CN117078974 B CN 117078974B CN 202311230982 A CN202311230982 A CN 202311230982A CN 117078974 B CN117078974 B CN 117078974B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- synthesized
- images
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000012216 screening Methods 0.000 claims abstract description 33
- 239000002131 composite material Substances 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 237
- 230000001815 facial effect Effects 0.000 claims description 96
- 238000004590 computer program Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 98
- 238000010586 diagram Methods 0.000 description 22
- 230000001276 controlling effect Effects 0.000 description 9
- 210000001508 eye Anatomy 0.000 description 8
- 210000000887 face Anatomy 0.000 description 8
- 210000004209 hair Anatomy 0.000 description 7
- 241000282326 Felis catus Species 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 244000144730 Amygdalus persica Species 0.000 description 1
- 244000018633 Prunus armeniaca Species 0.000 description 1
- 235000009827 Prunus armeniaca Nutrition 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请的实施例公开了一种图像处理方法及装置、电子设备、存储介质,可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景,该方法包括:先获取用于描述待生成的面部图像的面部属性类别的面部属性需求信息,以从面部图像集包含的多张面部图像中,筛选出与面部属性类别相匹配的样本面部图像,根据样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型,并调用目标面部生成模型生成与面部属性需求信息相匹配的面部图像,得到合成面部图像。本申请实施例的技术方案能够生成满足面部属性需求信息的合成面部图像,提升合成面部图像的可控性和利用率。
Description
技术领域
本申请涉及计算机领域,具体而言,涉及一种图像处理方法及装置、电子设备、存储介质、程序产品。
背景技术
面部是人或动物等最重要的标识,在很多场景中,会使用面部生成技术来生成面部图像,例如,可以生成虚拟主播等。
相关技术中,通常机器学习模型生成合成面部图像,在生成的过程中,通常是任意构建面部特征,使得很多合成面部图像无法应用于对应的应用场景,降低了合成面部图像的可控性和利用率,浪费了计算资源。
发明内容
本申请的实施例提供了一种图像处理方法及装置、电子设备、存储介质、程序产品,可以生成满足面部属性需求信息的合成面部图像,提升合成面部图像的可控性和利用率,节约计算资源。
根据本申请实施例的一个方面,提供了一种图像处理方法,所述方法包括:
获取面部属性需求信息;其中,所述面部属性需求信息用于描述待生成的面部图像的面部属性类别;
从面部图像集包含的多张面部图像中,筛选出与所述面部属性类别相匹配的样本面部图像;
根据所述样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型;
调用所述目标面部生成模型生成与所述面部属性需求信息相匹配的面部图像,得到合成面部图像。
根据本申请实施例的一个方面,提供了一种图像处理装置,所述装置包括:
获取模块,配置为获取面部属性需求信息;其中,所述面部属性需求信息用于描述待生成的面部图像的面部属性的属性类别;
筛选模块,配置为从面部图像集包含的多张面部图像中,筛选出与所述面部属性需求信息相匹配的样本面部图像;
调整模块,配置为根据所述样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型;
生成模块,配置为调用所述目标面部生成模型生成与所述面部属性需求信息相匹配的面部图像,得到合成面部图像。
在一示例性实施例中,基于前述方案,所述装置还包括显示模块,配置为:获取包含至少两张所述合成面部图像的第一图像集;根据所述第一图像集中不同合成面部图像之间的相似度,从所述第一图像集中筛选出第一数量张待显示的合成面部图像;显示筛选出的合成面部图像。
在一示例性实施例中,基于前述方案,所述显示模块具体配置为:从所述第一图像集中提取出第二数量张合成面部图像,以构建第二图像集,并计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度;其中,所述第二数量小于所述第一数量;根据计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集;其中,所述第一图像集中包含的合成面部图像被移动至所述第二图像集的概率与所对应的相似度负相关;重新计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度,并根据重新计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集,直至所述第二图像集中包含的合成面部图像的数量达到所述第一数量;将所述第二图像集中包含的合成面部图像作为所述待显示的合成面部图像。
在一示例性实施例中,基于前述方案,所述显示模块具体配置为:从所述第一图像集中,查找出所对应的相似度最低的合成面部图像,并将查找出的合成面部图像由所述第一图像集移动至所述第二图像集;或,从所述第一图像集中,查找出所对应的相似度低于设定相似度阈值的合成面部图像,并将查找出的合成面部图像由所述第一图像集移动至所述第二图像集。
在一示例性实施例中,基于前述方案,所述显示模块具体配置为:若所述第二图像集中包含多张合成面部图像,则计算所述第二图像集中包含的多张合成面部图像分别与所述第一图像集中包含的每张合成面部图像之间的相似度;计算所述第二图像集中包含的多张合成面部图像与所述第一图像集中包含的每张合成面部图像之间的相似度的平均值,以作为所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度。
在一示例性实施例中,基于前述方案,所述装置还包括删除模块,配置为:在所述根据所述第一图像集中不同合成面部图像之间的相似度,从所述第一图像集中筛选出第一数量张待显示的合成面部图像之前,获取指定对象对应的多张面部图像,并从所述指定对象对应的多张面部图像中提取出所述指定对象的面部特征;从所述第一图像集中查找出与所述指定对象的面部特征相匹配的合成面部图像,并从所述第一图像集中删除查找出的合成面部图像。
在一示例性实施例中,基于前述方案,所述装置还包括构建模块,具体配置为:获取包含面部的待处理图像,并从获取到的待处理图像中筛选出所对应的图像质量满足设定质量需求信息的图像;从筛选出的每张图像中识别出面部区域,并根据所述面部区域对所述每张图像进行裁剪;根据裁剪得到的面部图像构建所述面部图像集。
在一示例性实施例中,基于前述方案,所述生成模块具体配置为:在所述目标面部生成模型对应的隐空间中进行随机采样,得到隐向量;通过所述目标面部生成模型对所述隐向量进行非线性映射,得到在所述目标面部生成模型对应的风格空间中的风格向量;根据所述风格向量生成所述隐向量对应的合成面部图像。
在一示例性实施例中,基于前述方案,在所述目标面部生成模型包含多层依次连接的生成网络的条件下,所述生成模块具体配置为:通过所述多层生成网络依次生成特征图,并根据最后一层生成网络生成的特征图生成所述合成面部图像;其中,在通过任一层生成网络生成特征图的过程中,将所述风格向量输入至所述任一层生成网络,得到所述任一层生成网络根据前一层生成网络生成的特征图、以及所述风格向量生成的特征图。
在一示例性实施例中,基于前述方案,所述生成模块具体配置为:随机生成噪声数据;将所述噪声数据和所述风格向量输入至所述任一层生成网络,得到所述任一层生成网络根据前一层生成网络生成的特征图、所述风格向量、以及所述噪声数据生成的特征图。
在一示例性实施例中,基于前述方案,在所述隐向量的数量是多个的条件下,所述生成模块具体配置为:计算多个隐向量分别对应的风格向量的平均值,得到平均风格向量;根据每个隐向量对应的风格向量与所述平均风格向量之间的差异,以及所述平均风格向量,计算所述每个隐向量对应的目标风格向量;根据所述每个隐向量对应的目标风格向量,生成所述每个隐向量对应的合成面部图像。
在一示例性实施例中,基于前述方案,所述生成模块具体配置为:获取面部属性编辑信息;其中,所述面部属性编辑信息用于指示将指定面部属性的属性类别编辑为目标属性类别;从所述风格向量包含的多个向量中,查找出用于控制所述指定面部属性的目标向量;根据所述目标属性类别对所述目标向量进行修改,并根据目标向量修改后的风格向量生成所述隐向量对应的合成面部图像。
根据本申请实施例的一个方面,提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述电子设备实现如前所述的图像处理方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被电子设备的处理器执行时,使电子设备实现如前所述的图像处理方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如前所述的图像处理方法。
在本申请的实施例所提供的技术方案中,先获取用于描述待生成的面部图像的面部属性类别的面部属性需求信息,以从面部图像集包含的多张面部图像中,筛选出与面部属性类别相匹配的样本面部图像,根据样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型,并调用目标面部生成模型生成与面部属性需求信息相匹配的面部图像,得到合成面部图像;相比相关技术,通过满足面部属性需求信息的样本面部图像来调整面部生成模型的模型参数,以控制合成面部图像的生成范围,从而生成满足面部属性需求信息的合成面部图像,实现了合成面部图像的可控性,提升了合成面部图像与应用场景的匹配度,提升了合成面部图像的利用率,节约了计算资源。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
图1是本申请的一示例性实施例示出的实施环境的示意图。
图2是本申请的一示例性实施例示出的图像处理方法的流程图。
图3是本申请的另一示例性实施例示出的图像处理方法的流程图。
图4是本申请的另一示例性实施例示出的图像处理方法的流程图。
图5是本申请的另一示例性实施例示出的图像处理方法的示意图。
图6是本申请的另一示例性实施例示出的图像处理方法的流程图。
图7是本申请的另一示例性实施例示出的图像处理方法的流程图。
图8是本申请的另一示例性实施例示出的图像处理方法的流程图。
图9是本申请的一示例性实施例示出的图像处理方法的流程图。
图10是本申请的一示例性实施例示出的模型的部分架构图。
图11是本申请的另一示例性实施例示出的图像处理方法的流程图。
图12是本申请的另一示例性实施例示出的模型的部分架构图。
图13是本申请的另一示例性实施例示出的图像处理方法的流程图。
图14是本申请的另一示例性实施例示出的图像处理方法的流程图。
图15是本申请的另一示例性实施例示出的图像处理方法的流程图。
图16是本申请的一示例性实施例示出的合成人脸图像的示意图。
图17是本申请的一示例性实施例示出的合成人脸图像的示意图。
图18是本申请的一示例性实施例示出的相似度曲线图。
图19是本申请的一示例性实施例示出的图像处理装置的示意图。
图20示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
还需要说明的是:在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以下对本申请实施例的技术方案进行详细介绍:
相关技术中,通过机器学习模型生成合成面部图像的过程中,通常任意构建发型、姿态等面部特征,使得很多合成面部图像无法应用于对应的应用场景,降低了合成面部图像的可控性和利用率,浪费了计算资源。基于此,本申请的实施例提供了一种图像处理方法及装置、电子设备、存储介质、程序产品,可以生成满足面部属性需求信息的合成面部图像,提升合成面部图像的可控性和利用率,节约计算资源。
请参阅图1,图1是本申请涉及的一种实施环境的示意图,该实施环境包括终端设备110和服务器120。终端设备110和服务器120之间通过有线或者无线网络进行通信,终端设备110可以将自身的数据上传至服务器120,也可以从服务器120获取数据。
其中,终端设备110可以包括但不限于智能手机、平板、笔记本电脑、计算机、智能语音交互设备、智能家电、车载终端、飞行器、远程驾驶终端等等;服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器,本处不对终端设备和服务器的具体形式进行限制。
需要说明的是,图1中的终端设备110以及服务器120的数量仅仅是示意性的,根据实际需要,可以具有任意数量的终端设备110以及服务器120。
在一示例性实施例中,本申请的实施例提供的图像处理方法可以由终端设备110执行。示例性的,终端设备110可以先获取用于描述待生成的面部图像的面部属性类别的面部属性需求信息,以从面部图像集包含的多张面部图像中,筛选出与面部属性类别相匹配的样本面部图像,根据样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型,并调用目标面部生成模型生成与面部属性需求信息相匹配的面部图像,得到合成面部图像;相比相关技术,通过满足面部属性需求信息的样本面部图像来调整面部生成模型的模型参数,以控制合成面部图像的生成范围,从而生成满足面部属性需求信息的合成面部图像,实现了合成面部图像的可控性,提升了合成面部图像与应用场景的匹配度,提升了合成面部图像的利用率,节约了计算资源。
在另一示例性实施例中,服务器120可以具有与终端设备110相似的功能,从而执行本申请实施例提供的图像处理方法。示例性的,服务器120可以先获取用于描述待生成的面部图像的面部属性类别的面部属性需求信息,以从面部图像集包含的多张面部图像中,筛选出与面部属性类别相匹配的样本面部图像,根据样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型,并调用目标面部生成模型生成与面部属性需求信息相匹配的面部图像,得到合成面部图像。
在另一示例性实施例中,终端设备110和服务器120还可以共同执行本申请的实施例提供的图像处理方法。示例性的,终端设备110可以获取用于描述待生成的面部图像的面部属性类别的面部属性需求信息,并将面部属性需求信息发送至服务器120;服务器120从面部图像集包含的多张面部图像中,筛选出与面部属性类别相匹配的样本面部图像,根据样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型,并调用目标面部生成模型生成与面部属性需求信息相匹配的面部图像,得到合成面部图像,并将合成面部图像发送至终端设备110;终端设备110可以显示接收到的合成面部图像,以供用户挑选。
本申请实施例中的图像处理方法可以应用于各种需要生成合成面部图像的场景,例如,可以用于生成电商或广告模特的合成面部图像,也就是说,合成面部图像可以用于展示商品(例如,服装、化妆品等);又例如,可以用于生成虚拟主播的面部图像。本申请的实施例中涉及到面部图像、面部特征等与用户相关的数据,在本申请的方法应用于具体产品或技术中时,其均为获得用户许可或者同意,且相关的数据的提取、使用和处理均遵守当地安全标准和当地法律法规的规定。
参见图2,图2是本申请的一示例性实施例示出的一种图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图2所示,在一示例性实施例中,图像处理方法可以包括步骤S210-步骤S240,详细介绍如下:
步骤S210,获取面部属性需求信息;其中,面部属性需求信息用于描述待生成的面部图像的面部属性类别。
需要说明的是,面部属性是表征面部特征的属性,用于表征不同的视觉效果,人或动物(例如,猫、狗等)的面部都具有不同的面部属性,举例而言,人的面部属性包括但不限于性别、年龄、面部姿态、皮肤颜色、五官(眉、眼、耳、鼻、口)、发型、妆容、美观度等中的至少一种;动物的面部属性包括但不限于品种、毛色、脸型等中的至少一种;每种面部属性包含多种属性类别,例如,针对性别,包含男、女属性类别;针对年龄,包含幼儿、儿童、青少年、成年人、老年人等属性类别;针对面部姿态,包含正脸、侧脸、低头、抬头等属性类别;针对发型,包含长发、短发、直发、卷发等属性类别;针对妆容,包含淡妆、烟熏妆、猫眼妆等属性类别;针对眼睛,包含桃花眼、丹凤眼、杏眼、圆眼等属性类别;针对猫的品种,包含橘猫、短毛猫、布偶猫等属性类别。面部特征是指能够区分不同面部的特征,可以用于面部识别,例如,针对人而言,其可以是人脸识别特征(ID,identity),人脸识别特征可以从包含人脸的图像中提取出,同一人的不同图像(包括不同的场景,妆容,拍摄时间,拍摄条件等)中提取出的人脸识别特征是相同或相近的,不同人的人脸识别特征是不同的;其中,人脸识别特征可以体现为文字描述、向量、数组等形式。
面部图像是指包含面部的图像,其可以是只包含面部区域的图像,也可以是包含面部区域以及其他身体部位的图像,例如,半身图、全身图等。
面部属性需求信息用于描述针对待生成的面部图像的需求,以根据面部属性需求信息生成满足需求的面部图像。其中,面部属性需求信息中可以包含待生成的面部属性类别,用于表征对面部属性的需求,面部属性需求信息中可以包含针对一种或多种面部属性的需求,对应的,面部属性需求信息中可以包含一种或多种面部属性分别对应的属性类别,例如,面部属性需求信息中可以包含短发、淡妆、低头,以用于生成短发、淡妆、低头的面部图像。可选的,面部属性需求信息的具体内容可以根据应用场景设置,例如,若图像处理方法用于生成电商模特、广告模特或虚拟主播,美观度较高的模特和主播更有利于吸引用户,有利于商品的推广和用户的观看,因此,面部属性需求信息可以包含美观度高。
步骤S220,从面部图像集包含的多张面部图像中,筛选出与面部属性类别相匹配的样本面部图像。
面部图像集中包含多张面部图像,该面部图像对应的对象可以是真实世界中的人或动物,也可以是漫画、动漫等视觉作品中的虚拟形象。
样本面部图像是指从面部图像集中筛选出的、与面部属性需求信息中包含的面部属性类别相匹配的面部图像。例如,假设面部属性需求信息包含短发、男性、小麦皮肤颜色,则从面部图像集中筛选出短发、小麦皮肤颜色的男性的面部图像作为样本面部图像。
其中,可以从面部图像集中筛选出所有与面部属性需求信息中包含的面部属性类别相匹配的样本面部图像;或者,为了提升处理效率,也可以从面部图像集中筛选出与面部属性需求信息中包含的面部属性类别相匹配的设定数量张样本面部图像,其中,该设定数量的具体数值可以根据实际需要灵活设置,例如,可以是固定的10张、20张等;或者,设定数量可以根据后续面部生成模型的类型来确定,若面部生成模型为扩散模型(DiffusionModel),设定数量可以是20张、30张等,若面部生成模型为GAN(Generative AdversarialNetwork,生成对抗网络),则设定数量可以是几百或上千张;或者,设定数量可以根据面部属性需求信息来确定,若面部属性需求信息中对面部属性类别的要求较高,则设定数量的数值可以相对较大,若面部属性需求信息中对面部属性类别的要求较低,则设定数量的数值可以相对较小;或者,还可以根据面部属性需求信息中是否包含针对强主观的面部属性的需求来确定设定数量,其中,若面部属性需求信息中包含针对强主观的面部属性的需求,则设定数量的数值可以较大,若面部属性需求信息中不包含针对强主观的面部属性的需求,则设定数量的数值可以较小,其中,强主观的面部属性是指主观性比较强的面部属性,例如,美观、可爱等;或者,该设定数量还可以根据待生成的合成面部图像的数量确定,若需要生成较多的合成面部图像,为了保障合成面部图像的多样化,设定数量的数值可以相对较大,即,设定数量与需要生成的合成面部图像的数量正相关。
可选的,筛选出与面部属性类别相匹配的样本面部图像的具体方式可以是人工筛选,也可以是通过对应的算法自动筛选。
步骤S230,根据样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型。
面部生成模型是指用于生成面部图像的机器学习模型,面部生成模型可以是基于GAN、扩散模型等创建的;其中,GAN包含生成网络和判别网络,通过让生成网络和判别网络相互博弈的方式进行学习,其中,生成网络用于从潜在空间(latent space,也称作隐空间)中随机取样作为输入,其输出结果需要尽量模仿训练样本,判别网络的输入则为训练样本或生成网络的输出,其目的是将生成网络从训练样本中尽可能分辨处理,而生成网络则要尽可能地欺骗判别网络,生成网络和判别网络相互对抗、不断调整参数,从而生成真实度比较高的图像;GAN的类型包括但不限于传统的GAN、StyleGAN(风格生成对抗网络)、StyleGAN2等;扩散模型通过正向过程将噪声逐渐加入到数据中,然后通过反向过程预测每一步加入的噪声,通过将噪声去掉的方式逐渐还原得到无噪声的图像。
目标面部生成模型是根据样本面部图像对设定的面部生成模型进行模型参数调整后,得到的面部生成模型。
可选的,在调整模型参数的过程中,可以采用样本面部图像对设定的面部生成模型进行训练,使得面部生成模型学习样本面部图像的面部特征,从而根据学习到的面部特征优化模型参数。
步骤S240,调用目标面部生成模型生成与面部属性需求信息相匹配的面部图像,得到合成面部图像。
在得到目标面部生成模型后,可以调用目标面部生成模型生成面部图像,将生成的面部图像作为合成面部图像,也就是说,合成面部图像是模型生成的,并非现实世界中存在的面部图像,并且,由于目标面部生成模型中的模型参数是根据样本面部图像确定出的,样本面部图像满足面部属性需求信息,也就是说,目标面部生成模型中学习到了满足面部属性需求信息的面部图像的面部特征,因此,根据目标面部生成模型生成的合成面部图像满足面部属性需求信息,从而实现了合成面部图像的可控性,使得合成面部图像更能满足用户需求。
在图2所示的实施例中,通过满足面部属性需求信息的样本面部图像来调整面部生成模型的模型参数,以控制合成面部图像的生成范围,从而生成满足面部属性需求信息的合成面部图像,也就是说,通过控制样本面部图像来控制合成面部图像,实现了合成面部图像的可控性,提升了合成面部图像与应用场景的匹配度,提升了合成面部图像的利用率,节约了计算资源。
在一示例性实施例中,参见图3,图3是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图3所示,该方法包括步骤S210-步骤S240,以及步骤S310-步骤S330,其中,步骤S310-步骤S330的详细介绍如下:
步骤S310,获取包含至少两张合成面部图像的第一图像集。
第一图像集中包含目标面部生成模型生成的至少两张合成面部图像,可选的,可以将目标面部生成模型生成的合成面部图像添加至第一图像集。
步骤S320,根据第一图像集中不同合成面部图像之间的相似度,从第一图像集中筛选出第一数量张待显示的合成面部图像。
目标面部生成模型生成的合成面部图像的数量可能较多,因此,可以从第一图像集中筛选出第一数量张用于显示的合成面部图像,一方面,可以降低数据处理量,另一方面,也便于用户观看、选择。其中,第一数量可以是10张、20张等,具体取值可以根据实际需要灵活设置。
在筛选过程中,为了提升筛选出的合成面部图像的多样性,可以根据第一图像集中不同合成面部图像之间的相似度,从第一图像集在筛选出第一数量张待显示的合成面部图像,使得筛选出的合成面部图像之间的相似度较低。其中,不同合成面部图像之间的相似度是指不同合成面部图像的面部特征之间的相似度,相似度越高,合成面部图像中包含的面部属于同一人(或同一动物)的概率越高;在一可选的示例中,不同面部图像之间的相似度可以通过不同面部图像的面部特征向量之间的余弦相似度来度量。
其中,根据相似度,从第一图像集在筛选出第一数量张待显示的合成面部图像的具体方式可以根据实际需要灵活设置,在一可选的示例中,可以计算第一图像集中的每张合成面部图像与第一图像集中其他合成面部图像之间的相似度,按照所对应的相似度由小到大的顺序从第一图像集中提取出第一数量张待显示的合成面部图像,其中,若其他合成面部图像的数量是多张,则可以计算第一图像集中的每张合成面部图像与每张其他合成面部图像之间的相似度,再计算每张合成面部图像与多张其他合成面部图像之间的相似度的平均值,以作为每张合成面部图像与其他合成面部图像之间的相似度;例如,假设第一图像集中包含合成面部图像a1-a3,a1与a2之间的相似度、a1与a3之间的相似度、a2与a3之间的相似度分别为0.1、0.2、0.3,第一数量为2,则a1与其他合成样本图像(即,a2、a3)之间的相似度为0.15,a2与其他合成样本图像(即,a1、a3)之间的相似度为0.2,a3与其他合成样本图像(即,a1、a2)之间的相似度为0.25,因此,选择a1和a2作为待显示的合成面部图像。
步骤S330,显示筛选出的合成面部图像。
在筛选出第一数量张合成面部图像后,显示筛选出的合成面部图像,以供用户挑选、观看等。
需要说明的是,图3所示的步骤S210-步骤S240的具体实现细节可以参照图2所示的步骤S210-步骤S240,此处不再赘述。
在图3所示的实施例中,根据第一图像集中不同合成面部图像之间的相似度,从第一图像集中筛选出第一数量张待显示的合成面部图像,可以提升显示的合成面部图像的多样性,从而提升用户的可选择范围,使用户快速选择出适合的合成面部图像。
在一示例性实施例中,参见图4,图4是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图4所示,该方法包括步骤S210-步骤S240、步骤S310、步骤S410-步骤S440,以及步骤S330,其中,步骤S410-步骤S440的详细介绍如下:
步骤S410,从第一图像集中提取出第二数量张合成面部图像,以构建第二图像集,并计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度;其中,第二数量小于第一数量。
为了从第一图像集中筛选出用于显示的第一数量张合成面部图像,可以先从第一图像集中提取出第二数量张合成面部图像,并根据第二数量张合成面部图像,构建第二图像集,也就是说,从第一图像集中移动第一数量张合成面部图像至第二图像集中。其中,提取方式可以是随机提取,或者,也可以是按照生成时间由前到后(或,由后到前)的顺序提取;第二数量小于第一数量,其具体取值可以根据实际需要灵活设置,例如,为了尽可能了降低筛选出的合成面部图像之间的相似度,第一数量可以是1;或者,第二数量还可以设置为第一数量的50%、60%等。
在构建第二图像集后,可以计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度。可选的,若第二图像集中只包含一张合成面部图像,则可以计算第一图像集中包含的每张合成面部图像与第二图像集中包含的合成面部图像之间的相似度,以作为第一图像集中包含的每张合成面部图像与第二图像集之间的相似度;若第二图像集中包含多张合成面部图像,计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度的具体方式可以参见后续记载,此处不再赘述。
步骤S420,根据计算出的相似度将第一图像集中包含的合成面部图像移动至第二图像集;其中,第一图像集中包含的合成面部图像被移动至第二图像集的概率与所对应的相似度负相关。
根据计算出的相似度,将第一图像集中包含的合成面部图像移动至第二图像集,也就是说,根据计算出的相似度,从第一图像集中查找出待移动的合成面部图像,从将待移动的合成面部图像添加至第二图像集中,并从第一图像集中删除待移动的合成面部图像;其中,为了提升第二图像集中的合成面部图像的多样性,合成面部图像被移动至第二图像集的概率与其对应的相似度负相关,也就是说,第一图像集中的合成面部图像与第二图像集之间的相似度越大,其被移动至第二图像集的概率越小。
在一可选的示例中,可以按照所对应的相似度,从第一图像集中移动一张合成面部图像至第二图像集中,例如,移动方式可以参见步骤S510或步骤S520。
步骤S430,重新计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度,并根据重新计算出的相似度将第一图像集中包含的合成面部图像移动至第二图像集,直至第二图像集中包含的合成面部图像的数量达到第一数量。
在移动后,若第二图像集中包含的合成面部图像的数量还未达到第一数量,则重新计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度,并根据重新计算出的相似度将第一图像集中包含的合成面部图像移动至第二图像集,直至第二图像集中包含的合成面部图像的数量达到第一数量。也就是说,在步骤S420之后,判断第二图像集中包含的合成面部图像的数量是否达到第一数量,若否,则返回至步骤S410中的计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度步骤进行循环,若是,则转步骤S440。
步骤S440,将第二图像集中包含的合成面部图像作为待显示的合成面部图像。
若第二图像集中包含的合成面部图像的数量达到第一数量,则表明从第一图像集中筛选出第一数量张合成面部图像,因此,对其第二图像集中包含的合成面部图像进行显示。
需要说明的是,图4所示的步骤S210-步骤S240的具体实现细节可以参照图2所示的步骤S210-步骤S240,图4所示的步骤S310、步骤S330的具体实现细节可以参照图3所示的步骤S310、步骤S330,此处不再赘述。
在图4所示的实施例中,计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度,根据计算出的相似度将第一图像集中包含的合成面部图像移动至第二图像集,其中,第一图像集中包含的合成面部图像被移动至第二图像集的概率与所对应的相似度负相关,从而可以降低第二图像集中合成面部图像之间的相似度,提升第二图像集中合成面部图像之间的差异性,从而提升第二图像集中合成面部图像的多样性。
在一示例性实施例中,参见图5,图5是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图5所示,该方法包括步骤S210-步骤S240、步骤S310、步骤S410、步骤S510-步骤S520、步骤S430-步骤S440,以及步骤S330,其中,步骤S510-步骤S520的详细介绍如下:
步骤S510,从第一图像集中,查找出所对应的相似度最低的合成面部图像,并将查找出的合成面部图像由第一图像集移动至第二图像集。
为了尽可能的提升第二图像集中包含的合成面部图像之间的差异性,在每次移动过程中,将第一图像集中与第二图像集之间的相似度最低的合成面部图像移动至第二图像集。也就是说,按照所对应的相似度由低到高的顺序,从第一图像集中移动一张合成面部图像至第二图像集。
步骤S520,从第一图像集中,查找出所对应的相似度低于设定相似度阈值的合成面部图像,并将查找出的合成面部图像由第一图像集移动至第二图像集。
或者,为了提升第二图像集中包含的合成面部图像之间的差异性,同时提升筛选效率,设置了相似度阈值,用于衡量是否将合成面部图像移动至第二图像集;并且,在每次移动过程中,将第一图像集中与第二图像集之间的相似度低于设定相似度阈值的合成面部图像移动至第二图像集。
可选的,若从第一图像集中查找出所对应的相似度低于设定相似度阈值的多张合成面部图像,则可以从查找出的多张合成面部图像中随机挑选一张合成面部图像移动至第二图像集。
需要说明的是,图5所示的步骤S210-步骤S240的具体实现细节可以参照图2所示的步骤S210-步骤S240,图5所示的步骤S310、步骤S330的具体实现细节可以参照图3所示的步骤S310、步骤S330,图5所示的步骤S410、步骤S430-步骤S440的具体实现细节可以参照图4所示的步骤S410、步骤S430-步骤S440,此处不再赘述。
在图5所示的实施例中,通过将第一图像集中所对应的相似度最低的、或所对应的相似度低于设定相似度阈值的合成面部图像移动至第二图像集中,可以降低第二图像集中合成面部图像之间的相似度。
在一示例性实施例中,参见图6,图6是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图6所示,该方法包括步骤S210-步骤S240、步骤S310、步骤S610-步骤S630、步骤S420-步骤S440,以及步骤S330,其中,步骤S610-步骤S630的详细介绍如下:
步骤S610,从第一图像集中提取出第二数量张合成面部图像,以构建第二图像集。
其中,从第一图像集中提取出第二数量张合成面部图像的具体方式可以参见前述实施例的记载,此处不再赘述。
步骤S620,若第二图像集中包含多张合成面部图像,则计算第二图像集中包含的多张合成面部图像分别与第一图像集中包含的每张合成面部图像之间的相似度。
在第二图像集中包含多张合成面部图像的条件下,先计算第二图像集中包含的每张合成面部图像与第一图像集中包含的每张合成面部图像之间的相似度。
步骤S630,计算第二图像集中包含的多张合成面部图像与第一图像集中包含的每张合成面部图像之间的相似度的平均值,以作为第一图像集中包含的每张合成面部图像与第二图像集之间的相似度。
将第二图像集中包含的多张合成面部图像与第一图像集中包含的每张合成面部图像之间的相似度的平均值,作为第一图像集中包含的每张合成面部图像与第二图像集之间的相似度;举例来说,假设第二图像集中包含合成面部图像b1-b2,第一图像集中包含c1,则计算b1与c1之间的相似度d1,b2与c1之间的相似度d2,将d1与d2的平均值作为c1与第二图像集之间的相似度。
需要说明的是,图6所示的实施例中,将第二图像集中包含的多张合成面部图像与第一图像集中包含的每张合成面部图像之间的相似度的平均值,作为第一图像集中包含的每张合成面部图像与第二图像集之间的相似度,在其他实施例中,也可以将第二图像集中包含的多张合成面部图像与第一图像集中包含的每张合成面部图像之间的相似度中的最大值、最小值、中位数等中的一个,作为第一图像集中包含的每张合成面部图像与第二图像集之间的相似度,承接前例,将d1与d2中的最大值(或,最小值,中位数)作为c1与第二图像集之间的相似度。图6所示的步骤S210-步骤S240的具体实现细节可以参照图2所示的步骤S210-步骤S240,图6所示的步骤S310、步骤S330的具体实现细节可以参照图3所示的步骤S310、步骤S330,图6所示的步骤S420-步骤S440的具体实现细节可以参照图4所示的步骤S420-步骤S440,此处不再赘述。
在图6所示的实施例中,若第二图像集中包含多张合成面部图像,则将第二图像集中包含的多张合成面部图像与第一图像集中包含的每张合成面部图像之间的相似度的平均值,作为第一图像集中包含的每张合成面部图像与第二图像集之间的相似度,从而提升相似度的准确度。
在一示例性实施例中,参见图7,图7是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图7所示,该方法包括步骤S210-步骤S240、步骤S310、步骤S710-步骤S720,以及步骤S320-步骤S330,其中,步骤S710-步骤S720的详细介绍如下:
步骤S710,获取指定对象对应的多张面部图像,并从指定对象对应的多张面部图像中提取出指定对象的面部特征。
指定对象是指预先设置的、期望不要在最终显示的合成面部图像中出现的对象,其对象类别可以与合成面部图像对应的对象类别相匹配,例如,若合成面部图像对应于人,则指定对象也是人,若合成面部图像对应于虚拟形象,则指定对象也是虚拟形象。指定对象的具体设置方式可以根据实际需要灵活设置,例如,若合成面部图像对应于人,为了避免侵权,指定对象可以是知名度较高的人(例如,明星等);若合成面部图像对应于虚拟形象,为了避免侵权,指定对象可以是具备知识产权的虚拟形象。
为了使最终显示的合成面部图像中不出现指定对象,在从第一图像集中筛选出第一数量张待显示的合成面部图像之前,可以先从第一图像集中删除指定对象对应的合成面部图像。在删除过程中,为了识别合成面部图像中是否出现指定对象,需要先获取指定对象的面部特征,其中,为了提升指定对象的面部特征的准确度,可以获取指定对象对应的多张面部图像,并从中提取出指定对象的面部特征。其中,获取到的面部图像可以是指定对象的正面、清晰、无遮挡的面部图像。
步骤S720,从第一图像集中查找出与指定对象的面部特征相匹配的合成面部图像,并从第一图像集中删除查找出的合成面部图像。
在提取出指定对象的面部特征后,为了确定第一图像集中是否出现指定对象,可以将第一图像集中包含的每张合成面部图像的面部特征与指定对象的面部特征进行比对,若任一合成面部图像的面部特征与指定对象的面部特征相匹配,则从第一图像集中删除该合成面部图像,从而避免最终显示的合成面部图像出现指定对象的情况。其中,面部特征相匹配可以是指面部特征之间的相似度(例如,余弦相似度)大于对应的指定阈值,该指定阈值用于判断面部特征是否属于同一对象,若相似度大于指定阈值,则表明属于同一对象,若相似度小于指定阈值,则表明不属于同一对象。
可选的,在包含多个不同类型的指定对象的条件下,考虑到合成面部图像是与面部属性需求信息相匹配的,合成面部图像中通常只会出现与面部属性需求信息相匹配的对象,而不会出现与面部属性需求信息相匹配的对象;因此,为了降低比对量,可以从多个指定对象中筛选出与面部属性需求信息相匹配的指定对象,并将第一图像集中每张面部图像的面部特征与筛选出的指定对象的面部特征进行比对,以从第一图像集中删除与筛选出的指定对象的面部特征相匹配的合成面部图像;例如,假设指定对象中包含男性和女性,合成面部图像中包含的是女性的面部,因此,则可以将合成面部图像与指定对象中女性的面部特征进行比对。又或者,考虑到合成面部图像是基于样本面部图像的面部特征生成的,因此,可以从多个指定对象中筛选出在样本面部图像中出现过的指定对象,并将第一图像集中每张面部图像的面部特征与筛选出的指定对象的面部特征进行比对,以从第一图像集中删除与筛选出的指定对象的面部特征相匹配的合成面部图像。当然,在一些实施方式中,也可以将第一图像集中的每张合成面部图像的面部特征与多个不同类型的指定对象的面部特征分别进行比对。
需要说明的是,图7所示的步骤S210-步骤S240的具体实现细节可以参照图2所示的步骤S210-步骤S240,图7所示的步骤S310-步骤S330的具体实现细节可以参照图3所示的步骤S310-步骤S330,此处不再赘述。
在图7所示的实施例中,从第一图像集中删除与指定对象的面部特征相匹配的合成面部图像,从而规避指定对象,避免由于指定对象造成的侵权风险等问题;并且,从指定对象对应的多张面部图像中提取出指定对象的面部特征,可以提升面部特征的准确性。
在一示例性实施例中,参见图8,图8是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图8所示,该方法包括步骤S810-步骤S830,以及步骤S210-步骤S240,其中,步骤S810-步骤S830的详细介绍如下:
步骤S810,获取包含面部的待处理图像,并从获取到的待处理图像中筛选出所对应的图像质量满足设定质量需求信息的图像。
为了提升样本面部图像的质量,从而提升合成面部图像的质量,设置了质量需求信息,用于描述针对图像质量的需求,其可以是针对图像的清晰度、面部姿态(正面)等的需求,例如,质量需求信息可以用于筛选出清晰度高、且面部无遮挡的图像。在获取到包含面部的待处理图像后,从中筛选出满足设定质量需求信息的图像。
其中,可以通过人工筛选的方式从包含面部的待处理图像中筛选出满足设定质量需求信息的图像;或者,可以通过设定的算法自动从包含面部的待处理图像中筛选出满足设定质量需求信息的图像,例如,可以通过图像质量评估模型(用于评估图像质量的机器学习模型)评估每张待处理图像的图像质量,并从待处理图像中筛选出所对应的图像质量满足设定质量需求信息的图像;或者,可以先通过设定的算法对待处理图像进行初筛,再通过人工筛选的方式从初筛出的图像中筛选出满足设定质量需求信息的图像,从而提升准确性。
步骤S820,从筛选出的每张图像中识别出面部区域,并根据面部区域对每张图像进行裁剪。
从筛选出的每张图像中裁剪出面部区域,从而得到面部图像,使得面部图像只包含面部区域,基于该面部图像调整面部生成模型的模型参数,可以降低数据处理量,提升生成的合成面部图像的分辨率。
步骤S830,根据裁剪得到的面部图像构建面部图像集。
在裁剪得到面部图像后,根据裁剪得到的面部图像构建面部图像集。
可选的,在构建面部图像集之后,从面部图像集中包含的多张面部图像中,筛选出与面部属性类别相匹配的样本面部图像之前,还可以对通过面部关键点配准模型识别出面部图像集中每张面部图像的面部关键点,根据面部关键点进行面部的标准化对齐,得到标准的面部图像。在标准化对齐的过程中,还可以提升面部图像的分辨率,得到分辨率较高的面部图像,例如,得到1024分辨率的面部图像。
需要说明的是,图8所示的步骤S210-步骤S240的具体实现细节可以参照图2所示的步骤S210-步骤S240,此处不再赘述。
在图8所示的实施例中,通过筛选出所对应的图像质量满足设定质量需求信息的图像,再从筛选出的图像中裁剪出只包含面部区域的面部图像,以从中筛选样本面部图像,这样,可以降低模型参数修改过程中的数据处理量,提升模型学习效率,并且,使得生成的合成面部图像中只包含面部区域,可以提升面部的分辨率,生成高分辨率的面部图像。
在一示例性实施例中,参见图9,图9是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图9所示,该方法包括步骤S210-步骤S230,以及步骤S910-步骤S930,其中,步骤S910-步骤S930的详细介绍如下:
步骤S910,在目标面部生成模型对应的隐空间中进行随机采样,得到隐向量。
隐空间是指潜在空间,可以服从正态分布,为了提升合成面部图像的随机性,从而提升合成面部图像的多样性,可以从隐空间中进行随机采样,得到用于生成合成面部图像的隐向量。其中,隐向量的维度可以根据实际需要灵活设置,例如,可以是512维度。
步骤S920,通过目标面部生成模型对隐向量进行非线性映射,得到在目标面部生成模型对应的风格空间中的风格向量。
需要说明的是,风格空间是指目标面部生成模型学习到的向量空间,用于控制合成面部图像的风格;风格向量(Style Code)是指风格空间的中的向量;目标面部生成模型可以通过风格向量恢复出合成面部图像。可选的,风格向量的维度与隐向量的维度可以相同。
目标面部生成模型可以是StyleGAN、StyleGAN2等,模型中包含非线性映射网络,用于将隐向量转换为风格向量。非线性映射网络的具体结构可以根据实际需要灵活设置,例如,非线性映射网络可以是包含多层(例如,8层,9层等)依次连接的FC(FullyConnected,全连接)层的网络。
步骤S930,根据风格向量生成隐向量对应的合成面部图像。
在得到隐向量对应的风格向量后,通过目标面部生成模型生成该隐向量对应的合成面部图像。其中,可以根据一个隐向量生成一张合成面部图像。
参见图10所示,图10示出了目标面部生成模型的部分架构图,目标面部生成模型可以是StyleGAN模型,包含归一化层(normalize层)、非线性映射网络以及生成网络,非线性映射网络中包含多层全连接层;在生成合成面部图像的过程中,从隐空间Z中随机采样得到隐向量z(例如,512维的隐向量)后,通过归一化层对z进行归一化处理,再通过非线性映射网络对归一化后的隐向量z进行非线性映射,得到隐向量z在风格空间W中的风格向量w(例如,512维的风格向量),将w输入生成网络,以使生成网络根据风格向量生成合成面部图像,由于风格向量不必遵循训练数据的输入分布,减少了特征之间的相关性,可以提升生成的合成面部图像与样本训练图像之间的差异,从而提升合成面部图像的多样化。
需要说明的是,图9所示的步骤S210-步骤S230的具体实现细节可以参照图2所示的步骤S210-步骤S230,此处不再赘述。
在图9所示的实施例中,根据隐向量对应的风格向量生成合成面部图像,可以提升合成面部图像与样本面部图像之间的差异性,提升合成面部图像的多样性。
在一示例性实施例中,参见图11,图11是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图11所示,在目标面部生成模型包含多层依次连接的生成网络的条件下,该方法包括步骤S210-步骤S230、步骤S910-步骤S920,以及步骤S1110-步骤S1120,其中,步骤S1110-步骤S1120的详细介绍如下:
步骤S1110,通过多层生成网络依次生成特征图,并根据最后一层生成网络生成的特征图生成合成面部图像。
目标面部生成模型中可以包含多层依次连接的生成网络,其中,可以通过多层生成网络依次生成特征图,并根据最后一层生成网络生成的特征图来生成合成面部图像。
步骤S1120,在通过任一层生成网络生成特征图的过程中,将风格向量输入至任一层生成网络,得到任一层生成网络根据前一层生成网络生成的特征图、以及风格向量生成的特征图。
在通过多层生成网络依次生成特征图的过程中,针对任一层生成网络,可以根据隐向量对应的风格向量以及任一层生成网络的前一层生成网络生成的特征图,生成特征图;也就是说,将隐向量对应的风格向量以及该前一层生成网络生成的特征图输入至该任一层生成网络,得到任一层生成网络生成的特征图,任一层生成网络生成的特征图被输出至下一层生成网络。需要说明的是,针对多层生成网络中的第一层生成网络,由于不存在对应的前一层生成网络,则可以将指定的特征图、或者随机生成的特征图输入至第一层生成网络,以使第一层生成网络根据风格向量以及输入的特征图生成特征图,并将生成的特征图输出至第二层生成网络。
其中,每层生成网络的具体结构、以及每层生成网络中风格向量的输入位置可以根据实际需要灵活设置。例如,参见图10所示,图10为一种StyleGAN模型的局部架构图,包含多层生成网络,将风格向量作为每层生成网络的输入,可以提升风格向量对合成面部图像的控制,从而提升合成面部图像的随机性;其中,生成网络中可以包含常数层(Const)层、加噪层、样式处理层(AdaIN)、卷积层(Conv层)以及上采样层(Upsample),可以通过A模块将风格向量输入至每层生成网络中的样式处理层;其中,常数层用于根据一个常数生成特征图(例如,分辨率为4×4,维度为512的图像),将生成的特征图输入至下一层;加噪层用于通过B模块接收噪声数据,将噪声数据添加至接收到的特征图中,并将添加噪声数据后的特征图输入至下一层;样式处理层用于通过A模块接收风格向量,根据风格向量对接收到的特征图进行尺度和平移等变化,将变换后的特征图输入至下一层;卷积层用于对接收到的特征图进行卷积处理,将卷积处理后的特征图输入至下一层;上采样层用于对接收到的特征图进行上采样,将采样得到的特征图输入至下一层。又例如,参见图12所示,图12为一种StyleGAN2模型的局部架构图,包含多层生成网络,将风格向量作为每层生成网络的输入,其中,生成网络可以包含卷积层、上采样层、加噪层、调制层(mod层)、解调层(demod层),风格向量可以输入至每层生成网络的调制层。
需要说明的是,图11所示的步骤S210-步骤S230的具体实现细节可以参照图2所示的步骤S210-步骤S230,图11所示的步骤S910-步骤S920的具体实现细节可以参照图9所示的步骤S910-步骤S920,此处不再赘述。
在图11所示的实施例中,将风格向量输入至任一层生成网络,可以提升合成面部图像的随机性,从而提升合成面部图像的多样性。
在一示例性实施例中,参见图13,图13是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图13所示,该方法包括步骤S210-步骤S230、步骤S910-步骤S920、步骤S1110,以及步骤S1310-步骤S1320,其中,步骤S1310-步骤S1320的详细介绍如下:
步骤S1310,随机生成噪声数据。
为了使合成面部图像拥有更多的细节,可以随机生成噪声数据。
可选的,噪声数据可以满足正态分布。
步骤S1320,将噪声数据和风格向量输入至任一层生成网络,得到任一层生成网络根据前一层生成网络生成的特征图、风格向量、以及噪声数据生成的特征图。
将噪声数据、隐向量对应的风格向量以及前一层生成网络生成的特征图输入至任一层生成网络,以使任一层生成网络根据噪声数据、隐向量对应的风格向量以及前一层生成网络生成的特征图来生成特征图。
其中,噪声数据的输入位置可以根据实际需要灵活设置,例如,噪声的输入位置可以参见图10所示。
需要说明的是,图13所示的步骤S210-步骤S230的具体实现细节可以参照图2所示的步骤S210-步骤S230,图13所示的步骤S910-步骤S920的具体实现细节可以参照图9所示的步骤S910-步骤S920,图13所示的步骤S1110的具体实现细节可以参照图11所示的步骤S1110,此处不再赘述。
在图13所示的实施例中,根据隐向量对应的风格向量以及噪声生成合成面部图像,隐向量对应的风格向量能够控制五官姿态等,噪声能够影响发丝、皱纹、皮肤颜色等面部细节部分,可以提升合成面部图像的细节,提升真实性。
在一示例性实施例中,参见图14,图14是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图14所示,在隐向量的数量是多个的条件下,该方法包括步骤S210-步骤S230、步骤S910-步骤S920,以及步骤S1410-步骤S1430,其中,步骤S1410-步骤S1430的详细介绍如下:
步骤S1410,计算多个隐向量分别对应的风格向量的平均值,得到平均风格向量。
在随机生成多个隐向量,对多个隐向量分别进行非线性映射,可以得到多个风格向量,每个风格向量对应一个隐向量;计算多个风格向量的平均值,得到平均风格向量。
可选的,在图14所示的实施例中,将多个隐向量分别对应的风格向量的平均值作为平均风格向量,在其他实施例中,还可以根据风格空间的范围计算出平均风格向量。
步骤S1420,根据每个隐向量对应的风格向量与平均风格向量之间的差异,以及平均风格向量,计算每个隐向量对应的目标风格向量。
目标面部生成模型的学习过程中,低概率密度的数据出现的次数少,学习的机会少,低概率密度的数据在模型中的表达能力很弱,合成出的面部图像容易出现失真的情况,因此,可以先计算每个风格向量与平均风格向量之间的差异,并根据该差异以及平均风格向量,得到每个风格向量对应的目标风格向量,从而滤除出现次数比较低的风格向量,提升生成的合成面部图像的质量。
可选的,可以通过以下公式计算每个风格向量对应的目标风格向量:
其中,是指风格向量,/>是指/>对应的目标风格向量,/>是指平均风格向量;/>是设定的系数,取值范围为0-1,/>越接近于0,合成面部图像的质量越好,但是多样性越差,/>越接近于1,合成面部图像多样性越好,但是容易出现合成伪影,/>可以设置为1、0.5等,具体取值可以根据实际需要灵活设置。其中,合成伪影(artifacts)是指合成图像中,不自然的、能让人分辨出来图像是合成的痕迹、区域、瑕疵等。
步骤S1430,根据每个隐向量对应的目标风格向量,生成每个隐向量对应的合成面部图像。
在得到每个风格向量对应的目标风格向量后,可以目标面部生成模型可以根据目标风格向量生成面部图像,得到目标风格向量对应的隐向量的合成面部图像。
需要说明的是,图14所示的步骤S210-步骤S230的具体实现细节可以参照图2所示的步骤S210-步骤S230,图14所示的步骤S910-步骤S920的具体实现细节可以参照图9所示的步骤S910-步骤S920,此处不再赘述。
在图14所示的实施例中,根据每个隐向量对应的风格向量与平均风格向量之间的差异,以及平均风格向量,计算每个隐向量对应的目标风格向量,从而滤除出现频率较低的风格向量,提升合成面部图像的真实性和质量。
在一示例性实施例中,参见图15,图15是本申请的另一示例性实施例示出的图像处理方法的流程图。该方法可以应用于图1所示的实施环境,其可以由图1所示的实施环境中的终端设备110执行,也可以由图1所示的实施环境中的服务器120执行,或者,也可以由图1所示的实施环境中的终端设备110和服务器120共同执行。
如图15所示,该方法包括步骤S210-步骤S230、步骤S910-步骤S920,以及步骤S1510-步骤S1530,其中,步骤S1510-步骤S1530的详细介绍如下:
步骤S1510,获取面部属性编辑信息;其中,面部属性编辑信息用于指示将指定面部属性的属性类别编辑为目标属性类别。
面部属性编辑信息中包含目标属性类别,用于将指定面部属性的属性类别编辑为目标属性类别,例如,将面部姿态编辑为正面。也就是说,面部属性编辑信息中包含对指定面部属性的需求。
可选的,为了避免冲突,面部属性需求信息中包含的面部属性类别对应的面部属性与指定面部属性不同,例如,面部属性需求信息中可以包含对发型的需求,则指定面部属性不能是发型。或者,面部属性需求信息中包含的面部属性类别与面部属性编辑信息中包含的目标属性类别可以相同,从而通过对样本面部图像的控制以及面部属性的编辑这两种控制方式,保障生成的合成面部图像为目标属性类别,实现合成面部图像的可控性。
步骤S1520,从风格向量包含的多个向量中,查找出用于控制指定面部属性的目标向量。
每个风格向量中包含用于控制不同面部属性的向量。
为了实现对指定面部属性的编辑,可以从风格向量中查找出用于控制指定面部属性的目标向量,每种指定面部属性对应的目标向量的数量可以是1个,也可以是多个。
步骤S1530,根据目标属性类别对目标向量进行修改,并根据目标向量修改后的风格向量生成隐向量对应的合成面部图像。
风格向量中的目标向量用于控制指定面部属性,根据指定面部属性对应的目标属性类别,对风格向量中的目标向量进行修改,使得根据修改后的风格向量生成的合成面部图像中,指定面部属性为目标属性类别。
需要说明的是,图15所示的步骤S210-步骤S230的具体实现细节可以参照图2所示的步骤S210-步骤S230,图15所示的步骤S910-步骤S920的具体实现细节可以参照图9所示的步骤S910-步骤S920,此处不再赘述。
在图15所示的实施例中,通过对风格向量进行调整,实现了面部属性的编辑,可以用于面部姿态矫正,例如,将低头、抬头、侧脸的合成结果变成完全正脸的情况,有助于进行后续的面部三维重建,人脸驱动等技术的应用。
在一示例性实施例中,以图像处理方法应用于合成人脸图像为例进行说明,其中,图像处理方法包含以下4个过程:
1)构造训练数据
为了生成多样化的高清拟真人脸形象可以通过以下步骤构造训练数据:
步骤(1)通过图像质量评估模型和人工筛选的方式,筛选出满足设定质量需求信息的、且包含人脸的图像,例如,高清无遮挡的人脸图像。其中,可以先通过图像质量评估模型进行初筛,然后,通过人工筛选的方式对初筛结果进行再次筛选。
步骤(2)对筛选出的图像进行裁剪,得到只包含头部区域的人脸图像,从而使训练目标集中在人脸,降低训练难度和数据处理量;
步骤(3)对每张人脸图像进行分析,得到每张人脸图像的面部属性类别。其中,可以通过对应的机器学习模型来分析。
步骤(4)根据分析结果,筛选出与面部属性需求信息相匹配的人脸图像。
步骤(5)对步骤(4)中筛选出的每张人脸图像进行识别,得到每张人脸图像的人脸关键点,再根据人脸关键点对进行人脸的标准化对齐,得到1024分辨率的人脸图像,将该人脸图像作为样本人脸图像(即,训练数据)。
2)生成合成人脸图像
其中,根据样本人脸图像对StyleGAN2模型进行训练,得到用于生成人脸图像的目标StyleGAN2模型,通过目标StyleGAN2模型生成人脸图像,得到多张合成人脸图像,以构建第一图像集。其中,具体的生成方式可以参见前述实施例的记载,此处不再赘述。
可选的,在得到第一图像集后,还可以通过人像增强模型对第一图像集中的每张合成人脸图像进行人像增强,以进行瑕疵修复和纹理增强等,得到更高指令的合成人脸图像。其中,人像增强模型包括但不限于GPEN(GAN prior embedded network,GAN先验嵌入式网络),GFPGAN(Generative Face Parsing with Guide of GAN)等中的至少一种。
3)指定对象规避
为了避免侵权,可以预先构建特征库,库中包含需要规避的对象(例如,影视明星、球星等)对应的人脸识别特征,每个对象的人脸识别特征可以是从该对象对应的多张(例如,3至5张)正面清晰无遮挡的人脸图像中提取出中,其中,可以先从每张人脸图像中提取出人脸识别特征,再对多张人脸图像对应的人脸识别特征的平均值作为该对象的人脸识别特征。可选的,可以按照性别对指定对象库中的人脸识别特征进行分类,得到男性特征库和女性特征库,其中,男性特征库中包含需要规避的男性的人脸识别特征,女性特征库中包含需要规避的女性的人脸识别特征。
从男性特征库和女性特征库中筛选出与第一图像集中包含的合成人脸图像的性别相匹配的目标特征图,将第一图像集中的每张合成人脸图像的人脸识别特征与目标特征图库中包含的人脸识别特征进行比对,若任一合成人脸图像的人脸识别特征与目标特征库中任一对象的人脸识别特征之间的余弦相似度大于设定相似度阈值,则将该合成人脸图像从第一图像集中删除,使得第一图像集中不包含需要规避的对象。
4)多样性控制
模型可以生成大量的合成人脸图像,而用户的精力优先,因此,为了提升用户选择合成人脸图像的效率,可以从第一图像集中筛选出第一数量张合成人脸图像,得到第二图像集,并将第二图像集中的合成人脸图像呈现给用户,以供用户选择。其中,可能会出现从第一图像集中筛选出比较相似的合成人脸图像的情况,从而导致用户的可选择性大幅下降,因此,可以通过以下方式从第一图像集中筛选出第一数量张合成人脸图像,以提升第二图像集中合成人脸图像的多样性,从而增加用户的可选择性:
步骤(1)从第一图像集中随机提取一张合成人脸图像,以构建第二图像集;
步骤(2)计算第一图像集中的多张合成人脸图像分别与第二图像集之间的相似度,以将第一图像集中所对应的相似度最小的合成人脸图像添加至第二图像集中,并在第一图像集中删除该合成人脸图像;其中,可以并行计算第一图像集中的多张合成人脸图像分别与第二图像集之间的相似度,以提升效率。
步骤(3)返回至“计算第一图像集中的多张合成人脸图像分别与第二图像集之间的相似度”进行循环,直至第二图像集中包含的合成人脸图像的数量达到第一数量。通过这种方式得到的第二图像集中,可以得到多样化的合成人脸识别图像。在一示例中,参见图16所示,图16示出了随机从第一图像集中筛选出的20张合成人脸图像,合成人脸图像之间的相似度较高,同质化严重;参见图17所示,图17示出了通过多样性控制方案从第一图像集中筛选出的20张合成人脸图像,合成人脸图像之间的相似度较低,合成人脸图像更加多样化,能够让用户快速获取更加丰富的选择。
可选的,在得到包含第一数量张合成人脸图像的第二图像集后,可以计算第二图像集对应的平均互相似度,将该平均互相似度作为第二图像集的多样性评估指标。其中,第二图像集对应的平均互相似度的计算过程如下:计算第二图像集中任意两张合成人脸图像的人脸识别特征之间的余弦相似度,得到多个相似度值,并将多个相似度值的平均值作为第二图像集对应的平均互相似度。
可选的,还可以判断第二图像集对应的平均互相似度是否小于或等于设定的阈值,若是,再将第二图像集中包含的合成人脸图像呈现给用户,以供用户选择;若第二图像集对应的平均互相似度大于设定的阈值,则还可以重新构建第二图像集,直至第二图像集对应的平均互相似度小于或等于设定的阈值。
通过本实施例提供的图像处理方法生成合成人脸图像,可以提升合成人脸的多样性和差异性,控制合成人脸的范围,便于商业使用;并且,可以是合成人脸规避指定对象,避免侵权的情况。
其中,为了验证本实施例提供的图像处理方法的效果,进行了实验,实验结果如图18所示,图18中横轴为相似度,取值范围为0至1,纵轴为相似度对应的比例,取值范围为0至1。
图18中,线1801表征T=K1的条件下,FAR=0.001;线1802表征T=K2的条件下,FAR=0.0001。其中,FAR(0 Accept Rate,误识率)的计算公式如下:
其中,T是用于衡量是否为同一人的阈值,若两张人脸图像的相似度大于T,则表征这两张图像对应于同一人。FAR表征将不同人脸图像进行比对的过程中,相似度高于T的次数占总比对次数的比例。
图18中,线1803表征通过随机提取的方式得到第二图像集后,根据第二图像集中任意两张合成人脸图像之间的相似度生成的相似度占比曲线,由此可以看出,采用这种方式得到的第二图像集中,有大量的图像超过了K1和K2阈值,即,第二图像集中存在比较类似的合成人脸图像;线1804-1806为采用多样化控制方案得到第二图像集后,根据第二图像集中任意两张合成人脸图像之间的相似度生成的相似度占比曲线,其中,线1804-线1806分别对应的第二图像集中,第一张合成人脸图像不同,由此可以看出,采用这种方式得到的第二图像集中,最大相似度也没有超过K1和K2阈值,即,第二图像集中合成人脸图像之间的差异较大;线1807是指采用指定对象规避方案后得到第二图像集后,根据第二图像集中的合成人脸图像与特征库之间的相似度生成的相似度占比曲线,线1808是指采用指定对象规避方案后得到第二图像集后,根据第二图像集中的合成人脸图像与特征库之间的最大相似度生成的相似度占比曲线,其中,第二图像集中的每张合成人脸图像与特征库之间的最大相似度是指第二图像集中的每张合成人脸图像与特征库中包含的多个人脸识别特征之间的相似度中的最大值;线1809是指没有采用指定对象规避方案得到第二图像集后,根据第二图像集中的合成人脸图像与特征库之间的相似度生成的相似度占比曲线,由此可以看出,若不采用指定对象规避方案,则第二图像集中可能会存在与特征库中的人脸识别特征之间的相似度超过K1、K2阈值的合成人脸图像,从而出现侵权风险。
参见图19,图19是本申请的一示例性实施例示出的图像处理装置的框图。如图19所示,该装置包括:
获取模块1901,配置为获取面部属性需求信息;其中,面部属性需求信息用于描述待生成的面部图像的面部属性的属性类别;
筛选模块1902,配置为从面部图像集包含的多张面部图像中,筛选出与面部属性需求信息相匹配的样本面部图像;
调整模块1903,配置为根据样本面部图像调整设定的面部生成模型的模型参数,得到目标面部生成模型;
生成模块1904,配置为调用目标面部生成模型生成与面部属性需求信息相匹配的面部图像,得到合成面部图像。
在一示例性实施例中,基于前述方案,装置还包括显示模块,配置为:获取包含至少两张合成面部图像的第一图像集;根据第一图像集中不同合成面部图像之间的相似度,从第一图像集中筛选出第一数量张待显示的合成面部图像;显示筛选出的合成面部图像。
在一示例性实施例中,基于前述方案,显示模块具体配置为:从第一图像集中提取出第二数量张合成面部图像,以构建第二图像集,并计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度;其中,第二数量小于第一数量;根据计算出的相似度将第一图像集中包含的合成面部图像移动至第二图像集;其中,第一图像集中包含的合成面部图像被移动至第二图像集的概率与所对应的相似度负相关;重新计算第一图像集中包含的每张合成面部图像与第二图像集之间的相似度,并根据重新计算出的相似度将第一图像集中包含的合成面部图像移动至第二图像集,直至第二图像集中包含的合成面部图像的数量达到第一数量;将第二图像集中包含的合成面部图像作为待显示的合成面部图像。
在一示例性实施例中,基于前述方案,显示模块具体配置为:从第一图像集中,查找出所对应的相似度最低的合成面部图像,并将查找出的合成面部图像由第一图像集移动至第二图像集;或,从第一图像集中,查找出所对应的相似度低于设定相似度阈值的合成面部图像,并将查找出的合成面部图像由第一图像集移动至第二图像集。
在一示例性实施例中,基于前述方案,显示模块具体配置为:若第二图像集中包含多张合成面部图像,则计算第二图像集中包含的多张合成面部图像分别与第一图像集中包含的每张合成面部图像之间的相似度;计算第二图像集中包含的多张合成面部图像与第一图像集中包含的每张合成面部图像之间的相似度的平均值,以作为第一图像集中包含的每张合成面部图像与第二图像集之间的相似度。
在一示例性实施例中,基于前述方案,装置还包括删除模块,配置为:在根据第一图像集中不同合成面部图像之间的相似度,从第一图像集中筛选出第一数量张待显示的合成面部图像之前,获取指定对象对应的多张面部图像,并从指定对象对应的多张面部图像中提取出指定对象的面部特征;从第一图像集中查找出与指定对象的面部特征相匹配的合成面部图像,并从第一图像集中删除查找出的合成面部图像。
在一示例性实施例中,基于前述方案,装置还包括构建模块,具体配置为:获取包含面部的待处理图像,并从获取到的待处理图像中筛选出所对应的图像质量满足设定质量需求信息的图像;从筛选出的每张图像中识别出面部区域,并根据面部区域对每张图像进行裁剪;根据裁剪得到的面部图像构建面部图像集。
在一示例性实施例中,基于前述方案,生成模块1904具体配置为:在目标面部生成模型对应的隐空间中进行随机采样,得到隐向量;通过目标面部生成模型对隐向量进行非线性映射,得到在目标面部生成模型对应的风格空间中的风格向量;根据风格向量生成隐向量对应的合成面部图像。
在一示例性实施例中,基于前述方案,在目标面部生成模型包含多层依次连接的生成网络的条件下,生成模块1904具体配置为:通过多层生成网络依次生成特征图,并根据最后一层生成网络生成的特征图生成合成面部图像;其中,在通过任一层生成网络生成特征图的过程中,将风格向量输入至任一层生成网络,得到任一层生成网络根据前一层生成网络生成的特征图、以及风格向量生成的特征图。
在一示例性实施例中,基于前述方案,生成模块1904具体配置为:随机生成噪声数据;将噪声数据和风格向量输入至任一层生成网络,得到任一层生成网络根据前一层生成网络生成的特征图、风格向量、以及噪声数据生成的特征图。
在一示例性实施例中,基于前述方案,在隐向量的数量是多个的条件下,生成模块1904具体配置为:计算多个隐向量分别对应的风格向量的平均值,得到平均风格向量;根据每个隐向量对应的风格向量与平均风格向量之间的差异,以及平均风格向量,计算每个隐向量对应的目标风格向量;根据每个隐向量对应的目标风格向量,生成每个隐向量对应的合成面部图像。
在一示例性实施例中,基于前述方案,生成模块1904具体配置为:获取面部属性编辑信息;其中,面部属性编辑信息用于指示将指定面部属性的属性类别编辑为目标属性类别;从风格向量包含的多个向量中,查找出用于控制指定面部属性的目标向量;根据目标属性类别对目标向量进行修改,并根据目标向量修改后的风格向量生成隐向量对应的合成面部图像。
需要说明的是,上述实施例所提供的图像处理装置与上述实施例所提供的图像处理方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。
本申请的实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个计算机程序,当一个或多个计算机程序被一个或多个处理器执行时,使得电子设备实现上述各个实施例中提供的图像处理方法。
图20示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图20示出的电子设备的计算机系统2000仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图20所示,计算机系统2000包括中央处理单元(Central Processing Unit,CPU)2001,其可以根据存储在只读存储器(Read-Only Memory,ROM)2002中的计算机程序或者从储存部分2008加载到随机访问存储器(Random Access Memory,RAM)2003中的计算机程序而执行各种适当的动作和处理,例如执行上述实施例中的图像处理方法。在RAM 2003中,还存储有系统操作所需的各种计算机程序和数据。CPU 2001、ROM 2002以及RAM 2003通过总线2004彼此相连。输入/输出(Input /Output,I/O)接口2003也连接至总线2004。
在一些实施例中,以下部件连接至I/O接口2003:包括键盘、鼠标等的输入部分2006;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid CrystalDisplay,LCD)等以及扬声器等的输出部分2007;包括硬盘等的储存部分2008;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分2009。通信部分2009经由诸如因特网的网络执行通信处理。驱动器2010也根据需要连接至I/O接口2003。可拆卸介质2011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器2010上,以便于从其上读出的计算机程序根据需要被安装入储存部分2008。
特别地,根据本申请的实施例,实现图像处理方法的计算机程序可以承载在计算机可读介质上,该计算机程序可以通过通信部分2009从网络上被下载和安装,和/或从可拆卸介质2011被安装。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储计算机程序的有形介质,该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序,这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读介质包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机程序的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被电子设备的处理器执行时,使电子设备实现如前的图像处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,计算机程序被处理器执行时实现上述各个实施例中提供的图像处理方法。其中,该计算机程序可以存储在计算机可读存储介质中。该计算机程序产品可以是作为产品的计算机程序,例如,APP(Application,手机应用软件)、网页、小程序等;或者,该计算机程序产品也可以是包含计算机程序的存储介质、设备、终端、虚拟机等。
上述内容仅为本申请的较佳示例性实施例,并非用于限制本申请的实施方案,本领域普通技术人员根据本申请的主要构思和精神,可以十分方便地进行相应变通或修改,故本申请的保护范围应以权利要求书所要求的保护范围为准。
Claims (14)
1.一种图像处理方法,其特征在于,所述方法包括:
获取面部属性需求信息;其中,所述面部属性需求信息用于描述待生成的面部图像的面部属性类别;
从面部图像集包含的多张面部图像中,筛选出与所述面部属性类别相匹配的样本面部图像;
根据所述样本面部图像对设定的面部生成模型进行训练,得到目标面部生成模型;
调用所述目标面部生成模型生成面部图像,得到与所述面部属性需求信息相匹配的合成面部图像;
其中,所述调用所述目标面部生成模型生成面部图像,得到与所述面部属性需求信息相匹配的合成面部图像,包括:在所述目标面部生成模型对应的隐空间中进行随机采样,得到隐向量;通过所述目标面部生成模型对所述隐向量进行非线性映射,得到在所述目标面部生成模型对应的风格空间中的风格向量;根据所述风格向量生成所述隐向量对应的合成面部图像;
所述根据所述风格向量生成所述隐向量对应的合成面部图像,包括:根据所述风格空间的范围计算第一平均风格向量,并计算所述第一平均风格向量与所述风格向量之间的差异;计算所述差异与设定的系数之间的乘积,并将所述乘积与所述第一平均风格向量的和作为所述隐向量对应的第一目标风格向量,并根据所述第一目标风格向量生成所述隐向量对应的合成面部图像。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取包含至少两张所述合成面部图像的第一图像集;
根据所述第一图像集中不同合成面部图像之间的相似度,从所述第一图像集中筛选出第一数量张待显示的合成面部图像;
显示筛选出的合成面部图像。
3.如权利要求2所述的方法,其特征在于,所述根据所述第一图像集中不同合成面部图像之间的相似度,从所述第一图像集中筛选出第一数量张待显示的合成面部图像,包括:
从所述第一图像集中提取出第二数量张合成面部图像,以构建第二图像集,并计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度;其中,所述第二数量小于所述第一数量;
根据计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集;其中,所述第一图像集中包含的合成面部图像被移动至所述第二图像集的概率与所对应的相似度负相关;
重新计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度,并根据重新计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集,直至所述第二图像集中包含的合成面部图像的数量达到所述第一数量;
将所述第二图像集中包含的合成面部图像作为所述待显示的合成面部图像。
4.如权利要求3所述的方法,其特征在于,所述根据计算出的相似度将所述第一图像集中包含的合成面部图像移动至所述第二图像集,包括:
从所述第一图像集中,查找出所对应的相似度最低的合成面部图像,并将查找出的合成面部图像由所述第一图像集移动至所述第二图像集;
或,
从所述第一图像集中,查找出所对应的相似度低于设定相似度阈值的合成面部图像,并将查找出的合成面部图像由所述第一图像集移动至所述第二图像集。
5.如权利要求3所述的方法,其特征在于,所述计算所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度,包括:
若所述第二图像集中包含多张合成面部图像,则计算所述第二图像集中包含的多张合成面部图像分别与所述第一图像集中包含的每张合成面部图像之间的相似度;
计算所述第二图像集中包含的多张合成面部图像与所述第一图像集中包含的每张合成面部图像之间的相似度的平均值,以作为所述第一图像集中包含的每张合成面部图像与所述第二图像集之间的相似度。
6.如权利要求2所述的方法,其特征在于,在所述根据所述第一图像集中不同合成面部图像之间的相似度,从所述第一图像集中筛选出第一数量张待显示的合成面部图像之前,所述方法还包括:
获取指定对象对应的多张面部图像,并从所述指定对象对应的多张面部图像中提取出所述指定对象的面部特征;
从所述第一图像集中查找出与所述指定对象的面部特征相匹配的合成面部图像,并从所述第一图像集中删除查找出的合成面部图像。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取包含面部的待处理图像,并从获取到的待处理图像中筛选出所对应的图像质量满足设定质量需求信息的图像;
从筛选出的每张图像中识别出面部区域,并根据所述面部区域对所述每张图像进行裁剪;
根据裁剪得到的面部图像构建所述面部图像集。
8.如权利要求7所述的方法,其特征在于,所述目标面部生成模型包含多层依次连接的生成网络;
所述根据所述风格向量生成所述隐向量对应的合成面部图像,包括:
通过所述多层生成网络依次生成特征图,并根据最后一层生成网络生成的特征图生成所述合成面部图像;
其中,在通过任一层生成网络生成特征图的过程中,将所述风格向量输入至所述任一层生成网络,得到所述任一层生成网络根据前一层生成网络生成的特征图、以及所述风格向量生成的特征图。
9.如权利要求8所述的方法,其特征在于,所述将所述风格向量输入至所述任一层生成网络,得到所述任一层生成网络根据前一层生成网络生成的特征图、以及所述风格向量生成的特征图,包括:
随机生成噪声数据;
将所述噪声数据和所述风格向量输入至所述任一层生成网络,得到所述任一层生成网络根据前一层生成网络生成的特征图、所述风格向量、以及所述噪声数据生成的特征图。
10.如权利要求7所述的方法,其特征在于,所述隐向量的数量是多个;所述根据所述风格向量生成所述隐向量对应的合成面部图像,包括:
计算多个隐向量分别对应的风格向量的平均值,得到第二平均风格向量;
根据每个隐向量对应的风格向量与所述第二平均风格向量之间的差异,以及所述第二平均风格向量,计算所述每个隐向量对应的第二目标风格向量;
根据所述每个隐向量对应的第二目标风格向量,生成所述每个隐向量对应的合成面部图像。
11.如权利要求7所述的方法,其特征在于,所述根据所述风格向量生成所述隐向量对应的合成面部图像,包括:
获取面部属性编辑信息;其中,所述面部属性编辑信息用于指示将指定面部属性的属性类别编辑为目标属性类别;
从所述风格向量包含的多个向量中,查找出用于控制所述指定面部属性的目标向量;
根据所述目标属性类别对所述目标向量进行修改,并根据目标向量修改后的风格向量生成所述隐向量对应的合成面部图像。
12.一种图像处理装置,其特征在于,所述装置包括:
获取模块,配置为获取面部属性需求信息;其中,所述面部属性需求信息用于描述待生成的面部图像的面部属性的属性类别;
筛选模块,配置为从面部图像集包含的多张面部图像中,筛选出与所述面部属性需求信息相匹配的样本面部图像;
调整模块,配置为根据所述样本面部图像对设定的面部生成模型进行训练,得到目标面部生成模型;
生成模块,配置为调用所述目标面部生成模型生成面部图像,得到与所述面部属性需求信息相匹配的合成面部图像;
其中,其中,所述调用所述目标面部生成模型生成面部图像,得到与所述面部属性需求信息相匹配的合成面部图像,包括:在所述目标面部生成模型对应的隐空间中进行随机采样,得到隐向量;通过所述目标面部生成模型对所述隐向量进行非线性映射,得到在所述目标面部生成模型对应的风格空间中的风格向量;根据所述风格向量生成所述隐向量对应的合成面部图像;
所述根据所述风格向量生成所述隐向量对应的合成面部图像,包括:根据所述风格空间的范围计算第一平均风格向量,并计算所述第一平均风格向量与所述风格向量之间的差异;计算所述差异与设定的系数之间的乘积,并将所述乘积与所述第一平均风格向量的和作为所述隐向量对应的第一目标风格向量,并根据所述第一目标风格向量生成所述隐向量对应的合成面部图像。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述电子设备实现权利要求1-11中的任一项所述的图像处理方法。
14.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述电子设备实现权利要求1-11中的任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311230982.9A CN117078974B (zh) | 2023-09-22 | 2023-09-22 | 图像处理方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311230982.9A CN117078974B (zh) | 2023-09-22 | 2023-09-22 | 图像处理方法及装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117078974A CN117078974A (zh) | 2023-11-17 |
CN117078974B true CN117078974B (zh) | 2024-01-05 |
Family
ID=88711830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311230982.9A Active CN117078974B (zh) | 2023-09-22 | 2023-09-22 | 图像处理方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117078974B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004102359A (ja) * | 2002-09-04 | 2004-04-02 | Advanced Telecommunication Research Institute International | 画像処理装置、画像処理方法および画像処理プログラム |
CN110084193A (zh) * | 2019-04-26 | 2019-08-02 | 深圳市腾讯计算机系统有限公司 | 用于面部图像生成的数据处理方法、设备和介质 |
CN112991160A (zh) * | 2021-05-07 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN113327191A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 人脸图像合成方法及装置 |
CN115294368A (zh) * | 2022-08-12 | 2022-11-04 | 零束科技有限公司 | 数据筛选方法、装置、电子设备及计算机存储介质 |
-
2023
- 2023-09-22 CN CN202311230982.9A patent/CN117078974B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004102359A (ja) * | 2002-09-04 | 2004-04-02 | Advanced Telecommunication Research Institute International | 画像処理装置、画像処理方法および画像処理プログラム |
CN110084193A (zh) * | 2019-04-26 | 2019-08-02 | 深圳市腾讯计算机系统有限公司 | 用于面部图像生成的数据处理方法、设备和介质 |
CN113327191A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 人脸图像合成方法及装置 |
CN112991160A (zh) * | 2021-05-07 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN115294368A (zh) * | 2022-08-12 | 2022-11-04 | 零束科技有限公司 | 数据筛选方法、装置、电子设备及计算机存储介质 |
Non-Patent Citations (2)
Title |
---|
Facial-sketch Synthesis: A New Challenge;Fan Deng Ping et al.;《Machine Intelligence Research》;第1-9页 * |
基于GAN的人脸表情与妆容迁移方法研究;陈卓;《中国优秀硕士学位论文全文数据库(信息科技辑)》;第1-65页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117078974A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10535163B2 (en) | Avatar digitization from a single image for real-time rendering | |
US12002160B2 (en) | Avatar generation method, apparatus and device, and medium | |
US8692830B2 (en) | Automatic avatar creation | |
US9478054B1 (en) | Image overlay compositing | |
CN108961369A (zh) | 生成3d动画的方法和装置 | |
WO2020216033A1 (zh) | 用于面部图像生成的数据处理方法、设备和介质 | |
US11068746B2 (en) | Image realism predictor | |
US20210343063A1 (en) | Computing photorealistic versions of synthetic images | |
CN113362263B (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
US11574392B2 (en) | Automatically merging people and objects from multiple digital images to generate a composite digital image | |
KR101743764B1 (ko) | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 | |
CN108460398A (zh) | 图像处理方法、装置、云处理设备和计算机程序产品 | |
CN111275784A (zh) | 生成图像的方法和装置 | |
CN113870133B (zh) | 多媒体显示及匹配方法、装置、设备及介质 | |
CN110555896A (zh) | 一种图像生成方法、装置以及存储介质 | |
CN113255551A (zh) | 一种人脸编辑器的训练、人脸编辑、直播方法及相关装置 | |
CN114913303A (zh) | 虚拟形象生成方法及相关装置、电子设备、存储介质 | |
CN111597928A (zh) | 三维模型处理方法及装置、电子设备、存储介质 | |
CN111340913A (zh) | 图片生成与模型训练方法、装置及存储介质 | |
CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN117078974B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
Liu et al. | A3GAN: An attribute-aware attentive generative adversarial network for face aging | |
CN115272057A (zh) | 卡通素描图像重构网络的训练及其重构方法与设备 | |
CN113952738A (zh) | 虚拟角色头像的生成方法、装置、电子设备及可读介质 | |
CN114648601A (zh) | 虚拟形象的生成方法、电子设备、程序产品及用户终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |