CN112581356B - 一种人像变换的处理方法、装置及存储介质 - Google Patents

一种人像变换的处理方法、装置及存储介质 Download PDF

Info

Publication number
CN112581356B
CN112581356B CN202011466704.XA CN202011466704A CN112581356B CN 112581356 B CN112581356 B CN 112581356B CN 202011466704 A CN202011466704 A CN 202011466704A CN 112581356 B CN112581356 B CN 112581356B
Authority
CN
China
Prior art keywords
user
image
transformation
face
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011466704.XA
Other languages
English (en)
Other versions
CN112581356A (zh
Inventor
岳风顺
刘晓坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shore Network Technology Co ltd
Original Assignee
Guangzhou Shore Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shore Network Technology Co ltd filed Critical Guangzhou Shore Network Technology Co ltd
Priority to CN202011466704.XA priority Critical patent/CN112581356B/zh
Publication of CN112581356A publication Critical patent/CN112581356A/zh
Application granted granted Critical
Publication of CN112581356B publication Critical patent/CN112581356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人像变老的图像处理方法,为用户输入的图像进行图像变换,所述用户图像匹配不同的变换方式,并为用户图像选择相应的变换模板,根据所述变换模板输出人像变老后的图像数据。不同的变换模板具有不同的变换效果,其中,通用的变换模板为:用户在图片上传后,系统对图片中的人脸进行检测,获取所述图片中的特征点定位后,对局部区域进行分割,准备样本训练得到成熟的人像预测模型,得出设定年龄下共有特征的平均脸模型,再和需预测用户的照片进行融合或数学加权,合成得到用户期望的设定年龄下的人像图片,所述不同的变换模板包括贴图和模型预测。

Description

一种人像变换的处理方法、装置及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人像变换的处理方法、装置及存储介质。
背景技术
20世纪人类的杰出成果之一计算机技术把人类社会带入了信息化时代。计算机技术给各个领域都带来了革命性的变化。随着计算机应用的深入,电脑特技在游戏与影像制作中起着越来越重要的作用,通过特技处理,人们可以制作出许多无法简单地通过演员表演模仿的角色或场景,使画面更为逼真和自然。这些特技在许多游戏和电影用得到了应用,这些特技将人类社会推进到数字娱乐时代。而使数字娱乐蓬勃发展的动力和源泉就是以计算机为载体的数字图像处理/计算机图形学以及多媒体技术。
人脸的变老是影像或者游戏制作中经常要面临的问题,通常情形下,人们通过化妆来达到这样的效果,耗费时间长,效果不稳定,常常使人觉得不够真实。通过数字图像处理方法获得变老的人脸图像是一种低成本,快速的方法,老人的脸部普遍带有较多的皱纹和斑点,针对这种特点,对人脸变老进行建模,通过样例中的老年人脸照片,较方便的实现目标人脸的变老处理。传统的数字图像处理进行人脸变老的方法普遍需要有一个人由年轻到年老的过程照片,通过前后照片的相减或比较获得变老操作值,而这类照片在实际中很难获得。
现有技术中,还有的人像变老方式为:图片上传——人脸检测——特征点定位——局部区域分割——准备样本训练——得出某种年龄下共有特征的平均脸模型——然后和需预测人的照片进行融合或某种加权——合成该预测人的某年龄段老年照片或幼年照片。
现有技术中会遇到如下问题亟待解决,例如图像变换的时间过长,生成的图片要么是简单的图像贴图拼接和换,要么是通过预测模型生成的预测图,需要快速生成变换图像的用户不需要特别准确的用户预测图像,而需要较为高进度的预测照片的用户往往通过可以等待长时间的图像变换时间,而神经网络模型得到的变老图像又不够精准。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明公开了一种人像变老的图像处理方法,为用户输入的图像进行图像变换,所述用户图像匹配不同的变换方式,并为用户图像选择相应的变换模板,根据所述变换模板输出人像变老后的图像数据。
更进一步的,不同的变换模板具有不同的变换效果,其中,通用的变换模板为:用户在图片上传后,系统对图片中的人脸进行检测,获取所述图片中的特征点定位后,对局部区域进行分割,准备样本训练得到成熟的人像预测模型,得出设定年龄下共有特征的平均脸模型,再和需预测用户的照片进行融合或数学加权,合成得到用户期望的设定年龄下的人像图片。
更进一步的,所述不同的变换模板包括贴图和模型预测。
本发明还公开了一种人像变换的处理方法,所述方法包括如下步骤:
步骤1,搭建人像变换处理系统,所述人像变换处理系统接收用户输入的用户人脸图像、变换参数和用户期望的图像变换准确度数值,识别用户人脸图像并获取所述人脸部位所在区域的特征坐标,其中,接收的期望的准确度数值越高,用户需要授予的权限越大;
步骤2,当检测到用户输入的准确度数值小于第一预设值时,对接收到的所述用户人脸图像进行图像处理,识别人像面部区域并对所属人像面部区域进行分割,根据人像变换素材库中的贴图图像,对分割的区域进行皱纹纹理图贴图处理,其中,所述分割区域对应不同的皱纹纹理图贴图处理方式;
步骤3,当检测到用户输入的准确度数值大于第一预设值且小于第二预设值时,构建神经网络人脸预测模型,所述模型采集不同年龄段的人脸样本图像,并将所述人脸样本图像输入值构建的模型中进行训练,将用户人脸图像输入至经过训练后的人脸预测模型,得到变换图像,获取用户的父母信息,根据父母的人像信息对得到的变化图像进行相似度计算,若相似度达到预设阈值则对用户输出所述变换图像,若相似度不能达到所述预设阈值则根据父母的人像信息对神经网络的局部参数进行更新并重新计算变换图像;
步骤4,当检测到用户输入的准确度数值大于第二预设值时,获取用户的家族人像信息,对全部人脸面部区域进行分割,分别计算不同人像区域的用户的家族人像与用户人像的相似度,公式如下:其中,σ为用户区域特征的遗传离散值,X为用户区域特征值,μ为人像对应区域的平均值,N为家族人像信息总体数量,δ为离散纠正值,根据该公式对不同人像区域的遗传相似度进行排序,离散值越小表示该区域的图像变化越小,将用户人脸图像输入区域人脸预测模型,由得到的遗传相似度排序情况对不同人脸图像区域设置不同的损失函数,并在训练模型时采用Adam算法对模型参数进行更新,在训练结束后得到可用的区域人脸预测模型,然后采用所述步骤3的方法输出多个变换图像,再通过图像拟合算法得到最终变换图像。
更进一步的,所述人像面部区域包括眼睛区域、鼻子区域、嘴唇区域、下颚区域及脸颊轮廓区域。
更进一步的,所述人脸样本图像包括相同人像的不同年龄阶段的人脸样本图像。
更进一步的,所述第一预设值小于所述第二预设值,其中,所述第一预设值设置为30,第二预设值设置为60。
更进一步的,进一步包括:步骤5,当用户输入的准确度数值大于第一预设值时,系统输出多个不同变换参数的变换图像,通过设置插值补帧的方式,将所述多个不同变换参数的变换图像转换为动态图进行输出。
本发明还公开了一种装置,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行上述方法。
本发明还一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。
本发明与现有技术相比,有益效果为:用户需要付出的权限与预测精准度进行对应,用户在进行人像识别时会被告知需要付出的权限,例如查询用户信息等,同时,用户可以选择的选择快速人像变换或者精准人像变换的算法,多种不同模式的人像图像变换可以满足用户的全部需求。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制,而是将重点放在示出实施例的原理上。在图中,在不同的视图中,相同的附图标记指定对应的部分。
图1为本发明一实施例中的一种人像变换的处理方法的流程图。
具体实施方式
实施例一
本实施例公开了一种人像变老的图像处理方法,为用户输入的图像进行图像变换,所述用户图像匹配不同的变换方式,并为用户图像选择相应的变换模板,根据所述变换模板输出人像变老后的图像数据。
更进一步的,不同的变换模板具有不同的变换效果,其中,通用的变换模板为:用户在图片上传后,系统对图片中的人脸进行检测,获取所述图片中的特征点定位后,对局部区域进行分割,准备样本训练得到成熟的人像预测模型,得出设定年龄下共有特征的平均脸模型,再和需预测用户的照片进行融合或数学加权,合成得到用户期望的设定年龄下的人像图片。
更进一步的,所述不同的变换模板包括贴图和模型预测。
实施例二
如图1所示,本实施例还公开了一种人像变换的处理方法,所述方法包括如下步骤:
步骤1,搭建人像变换处理系统,所述人像变换处理系统接收用户输入的用户人脸图像、变换参数和用户期望的图像变换准确度数值,识别用户人脸图像并获取所述人脸部位所在区域的特征坐标,其中,接收的期望的准确度数值越高,用户需要授予的权限越大;
步骤2,当检测到用户输入的准确度数值小于第一预设值时,对接收到的所述用户人脸图像进行图像处理,识别人像面部区域并对所属人像面部区域进行分割,根据人像变换素材库中的贴图图像,对分割的区域进行皱纹纹理图贴图处理,其中,所述分割区域对应不同的皱纹纹理图贴图处理方式;
步骤3,当检测到用户输入的准确度数值大于第一预设值且小于第二预设值时,构建神经网络人脸预测模型,所述模型采集不同年龄段的人脸样本图像,并将所述人脸样本图像输入值构建的模型中进行训练,将用户人脸图像输入至经过训练后的人脸预测模型,得到变换图像,获取用户的父母信息,根据父母的人像信息对得到的变化图像进行相似度计算,若相似度达到预设阈值则对用户输出所述变换图像,若相似度不能达到所述预设阈值则根据父母的人像信息对神经网络的局部参数进行更新并重新计算变换图像;
步骤4,当检测到用户输入的准确度数值大于第二预设值时,获取用户的家族人像信息,对全部人脸面部区域进行分割,分别计算不同人像区域的用户的家族人像与用户人像的相似度,公式如下:其中,σ为用户区域特征的遗传离散值,X为用户区域特征值,μ为人像对应区域的平均值,N为家族人像信息总体数量,δ为离散纠正值,根据该公式对不同人像区域的遗传相似度进行排序,离散值越小表示该区域的图像变化越小,将用户人脸图像输入区域人脸预测模型,由得到的遗传相似度排序情况对不同人脸图像区域设置不同的损失函数,并在训练模型时采用Adam算法对模型参数进行更新,在训练结束后得到可用的区域人脸预测模型,然后采用所述步骤3的方法输出多个变换图像,再通过图像拟合算法得到最终变换图像。
在本实施例中,步骤4是计算用户的脸部各个部位的遗传稳定性,例如,用户与家族的长辈的眼部的变化离散较小,说明用户的眼部可以采用用户长辈的老年照片眼部作为生成人脸预测的高权重信息,并基于此在训练模型时采用Adam算法对模型参数进行更新。
更进一步的,所述人像面部区域包括眼睛区域、鼻子区域、嘴唇区域、下颚区域及脸颊轮廓区域。
更进一步的,所述人脸样本图像包括相同人像的不同年龄阶段的人脸样本图像。
更进一步的,所述第一预设值小于所述第二预设值,其中,所述第一预设值设置为30,第二预设值设置为60。
更进一步的,进一步包括:步骤5,当用户输入的准确度数值大于第一预设值时,系统输出多个不同变换参数的变换图像,通过设置插值补帧的方式,将所述多个不同变换参数的变换图像转换为动态图进行输出。
本发明还公开了一种装置,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行上述方法。
本发明还一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然上面已经参考各种实施例描述了本发明,但是应当理解,在不脱离本发明的范围的情况下,可以进行许多改变和修改。因此,其旨在上述详细描述被认为是例示性的而非限制性的,并且应当理解,以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种人像变换的处理方法,其特征在于,所述方法包括如下步骤:
步骤1,搭建人像变换处理系统,所述人像变换处理系统接收用户输入的用户人脸图像、变换参数和用户期望的图像变换准确度数值,识别用户人脸图像并获取人脸部位所在区域的特征坐标,其中,接收的期望的准确度数值越高,用户需要授予的权限越大;
步骤2,当检测到用户输入的准确度数值小于第一预设值时,对接收到的所述用户人脸图像进行图像处理,识别人像面部区域并对所属人像面部区域进行分割,根据人像变换素材库中的贴图图像,对分割的区域进行皱纹纹理图贴图处理,其中,所述分割区域对应不同的皱纹纹理图贴图处理方式;
步骤3,当检测到用户输入的准确度数值大于第一预设值且小于第二预设值时,构建神经网络人脸预测模型,所述模型采集不同年龄段的人脸样本图像,并将所述人脸样本图像输入构建的模型中进行训练,将用户人脸图像输入至经过训练后的人脸预测模型,得到变换图像,获取用户的父母信息,根据父母的人像信息对得到的变化图像进行相似度计算,若相似度达到预设阈值则对用户输出所述变换图像,若相似度不能达到所述预设阈值则根据父母的人像信息对神经网络的局部参数进行更新并重新计算变换图像;
步骤4,当检测到用户输入的准确度数值大于第二预设值时,获取用户的家族人像信息,对全部人脸面部区域进行分割,分别计算不同人像区域的用户的家族人像与用户人像的相似度,公式如下:其中,σ为用户区域特征的遗传离散值,X为用户区域特征值,μ为人像对应区域的平均值,N为家族人像信息总体数量,δ为离散纠正值,根据该公式对不同人像区域的遗传相似度进行排序,离散值越小表示该区域的图像变化越小,将用户人脸图像输入区域人脸预测模型,由得到的遗传相似度排序情况对不同人脸图像区域设置不同的损失函数,并在训练模型时采用Adam算法对模型参数进行更新,在训练结束后得到训练好的区域人脸预测模型,将用户人脸图像输入至经过训练好的区域人脸预测模型,得到变换图像,通过图像拟合算法得到最终变换图像。
2.如权利要求1所述的一种人像变换的处理方法,其特征在于,所述人像面部区域包括眼睛区域、鼻子区域、嘴唇区域、下颚区域及脸颊轮廓区域。
3.如权利要求1所述的一种人像变换的处理方法,其特征在于,所述人脸样本图像包括相同人像的不同年龄阶段的人脸样本图像。
4.如权利要求1所述的一种人像变换的处理方法,其特征在于,所述第一预设值小于所述第二预设值,其中,所述第一预设值设置为30,第二预设值设置为60。
5.如权利要求1所述的一种人像变换的处理方法,其特征在于,进一步包括:步骤5,当用户输入的准确度数值大于第一预设值时,系统输出多个不同变换参数的变换图像,通过设置插值补帧的方式,将所述多个不同变换参数的变换图像转换为动态图进行输出。
6.一种装置,其特征在于,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任一项所述的一种人像变换的处理方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5任一项所述的一种人像变换的处理方法。
CN202011466704.XA 2020-12-14 2020-12-14 一种人像变换的处理方法、装置及存储介质 Active CN112581356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011466704.XA CN112581356B (zh) 2020-12-14 2020-12-14 一种人像变换的处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011466704.XA CN112581356B (zh) 2020-12-14 2020-12-14 一种人像变换的处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112581356A CN112581356A (zh) 2021-03-30
CN112581356B true CN112581356B (zh) 2024-05-07

Family

ID=75134792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011466704.XA Active CN112581356B (zh) 2020-12-14 2020-12-14 一种人像变换的处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112581356B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425138A (zh) * 2008-11-18 2009-05-06 北京航空航天大学 一种基于人脸超分辨率处理的人脸老化模拟方法
CN105787974A (zh) * 2014-12-24 2016-07-20 中国科学院苏州纳米技术与纳米仿生研究所 仿生人脸衰老模型建立方法
CN107967463A (zh) * 2017-12-12 2018-04-27 武汉科技大学 一种基于合成图像和深度学习的虚拟人脸识别方法
CN108171167A (zh) * 2017-12-28 2018-06-15 百度在线网络技术(北京)有限公司 用于输出图像的方法和装置
CN108334886A (zh) * 2018-03-08 2018-07-27 殷韩 图像预测方法、终端设备及可读存储介质
CN108932536A (zh) * 2018-07-18 2018-12-04 电子科技大学 基于深度神经网络的人脸姿态重建方法
CN109509142A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种人脸变老图像处理方法、系统、可读存储介质及设备
CN111275610A (zh) * 2020-01-08 2020-06-12 杭州趣维科技有限公司 一种人脸变老图像处理方法及系统
CN111553857A (zh) * 2020-04-27 2020-08-18 齐力软件科技(广州)有限公司 一种人脸图像处理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425138A (zh) * 2008-11-18 2009-05-06 北京航空航天大学 一种基于人脸超分辨率处理的人脸老化模拟方法
CN105787974A (zh) * 2014-12-24 2016-07-20 中国科学院苏州纳米技术与纳米仿生研究所 仿生人脸衰老模型建立方法
CN107967463A (zh) * 2017-12-12 2018-04-27 武汉科技大学 一种基于合成图像和深度学习的虚拟人脸识别方法
CN108171167A (zh) * 2017-12-28 2018-06-15 百度在线网络技术(北京)有限公司 用于输出图像的方法和装置
CN108334886A (zh) * 2018-03-08 2018-07-27 殷韩 图像预测方法、终端设备及可读存储介质
CN108932536A (zh) * 2018-07-18 2018-12-04 电子科技大学 基于深度神经网络的人脸姿态重建方法
CN109509142A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种人脸变老图像处理方法、系统、可读存储介质及设备
CN111275610A (zh) * 2020-01-08 2020-06-12 杭州趣维科技有限公司 一种人脸变老图像处理方法及系统
CN111553857A (zh) * 2020-04-27 2020-08-18 齐力软件科技(广州)有限公司 一种人脸图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Perception of Age in Adult Caucasian Male Faces:Computer Graphic Manipulation of Shape and Color Information;D.Michael Burt et al.;《Proceedings of the Royal Society of London. Series B》;第137-143页 *
基于特征提取和度量学习的亲属关系认证算法研究;郭增洁;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2019年05期);I138-1250 *

Also Published As

Publication number Publication date
CN112581356A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
US10169905B2 (en) Systems and methods for animating models from audio data
US10657652B2 (en) Image matting using deep learning
US10860838B1 (en) Universal facial expression translation and character rendering system
US10559111B2 (en) Systems and methods for generating computer ready animation models of a human head from captured data images
US10783690B2 (en) Image regularization and retargeting system
CN108122264B (zh) 促进草图到绘画变换
JP5895703B2 (ja) 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
CN111325846B (zh) 表情基确定方法、虚拟形象驱动方法、装置及介质
US20210158593A1 (en) Pose selection and animation of characters using video data and training techniques
KR20180097915A (ko) 개인 맞춤형 3차원 얼굴 모델 생성 방법 및 그 장치
CN115393486B (zh) 虚拟形象的生成方法、装置、设备及存储介质
CN111340932A (zh) 图像处理方法以及信息处理设备
JP2022528999A (ja) 動画キャラクターの駆動方法並びにその、装置、機器及びコンピュータプログラム
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
CN107862387B (zh) 训练有监督机器学习的模型的方法和装置
US11893681B2 (en) Method for processing two-dimensional image and device for executing method
CN112581356B (zh) 一种人像变换的处理方法、装置及存储介质
KR102288001B1 (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 이를 포함한 포토 부스
KR102247481B1 (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
CN112150347A (zh) 从有限的修改后图像集合中学习的图像修改样式
JP2021086462A (ja) データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
US20240037826A9 (en) Image Regularization and Retargeting System
EP3872768A1 (en) Method for processing two-dimensional image and device for executing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant