CN108460398B - 图像处理方法、装置、云处理设备 - Google Patents

图像处理方法、装置、云处理设备 Download PDF

Info

Publication number
CN108460398B
CN108460398B CN201711446372.7A CN201711446372A CN108460398B CN 108460398 B CN108460398 B CN 108460398B CN 201711446372 A CN201711446372 A CN 201711446372A CN 108460398 B CN108460398 B CN 108460398B
Authority
CN
China
Prior art keywords
face
model
attribute information
face model
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711446372.7A
Other languages
English (en)
Other versions
CN108460398A (zh
Inventor
石芙源
王恺
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Beijing Technologies Co Ltd
Original Assignee
Cloudminds Beijing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Beijing Technologies Co Ltd filed Critical Cloudminds Beijing Technologies Co Ltd
Priority to CN201711446372.7A priority Critical patent/CN108460398B/zh
Publication of CN108460398A publication Critical patent/CN108460398A/zh
Application granted granted Critical
Publication of CN108460398B publication Critical patent/CN108460398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本发明实施例提供一种图像处理方法、装置、云处理设备和计算机程序产品,涉及图像处理领域,在获取大量训练样本上无需人工参与,可以根据需要自动生成大量的训练样本图片,耗时短,速度快。本发明实施例提供的图像处理方法,包括:获取2D面部图像信息;对所述2D面部图像信息进行重建,生成对应的3D面部模型;提取所述3D面部模型的特征点,根据特征点确定人脸属性信息;根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型;利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。

Description

图像处理方法、装置、云处理设备
技术领域
本发明涉及图像处理技术领域,特别涉及图像处理方法、装置、云处理设备。
背景技术
在人机交互日渐发展的今天,人脸识别作为智能识别技术中的重要分支,得到了广泛关注,而且得到了迅猛的发展。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,其可以用于银行、交通、智能门禁、信息安全等领域。现阶段,为提高人脸识别的精准程度,多使用机器学习的方式来对人脸识别的算法进行训练。通过使用大量的、多样化训练样本,不断的提高算法的精准程度。
由于人脸包含五官,具有一定的特殊性,往往在算法中会使用包含五官等特征作为识别基础,相应的,训练样本也会包含标注过前述特征的人脸图像数据。然而,现实生活中,被识别者的面部可能有各种样式的装饰物、遮挡物、光线明暗等情况,对人脸识别造成了很大的干扰,严重影响识别结果的精准程度。
而对于采集训练样本来说,采集具有装饰物、遮挡物等样本的数量有限,并且人工采集大量的样本具有一定的难度,因此,现有技术中缺少一种可以快速生成具有装饰物、遮挡物等训练样本的方法。
发明内容
本发明实施例提供一种图像处理方法、装置、云处理设备和计算机程序产品,无需人工参与,可以根据需要自动生成大量的训练样本图片,速度快,耗时短,且样本数量庞大。
第一方面,本发明实施例提供一种图像处理方法,包括:
获取2D面部图像信息;
对所述2D面部图像信息进行重建,生成对应的3D面部模型;
提取所述3D面部模型的特征点,根据所述特征点确定人脸属性信息;
根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型;
利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述根据所述人脸属性信息匹配增强现实模型,包括:
确定所述人脸属性信息满足的判定条件并得到判定结果;
根据所述判定结果检索对应的增强现实模型;
将检索到的增强现实模型叠加至所述3D面部模型。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,在所述根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型之前,所述方法还包括:
根据所述人脸属性信息对所述3D面部模型进行调整。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述方法还包括:
添加背景至所述叠加3D面部模型;
所述利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本,包括:
利用摄像机为添加背景后的所述叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,在所述根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型之前,所述方法还包括:
对所述2D面部图像信息进行光照估计,得到光照估计结果;
在所述利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本之前,所述方法还包括:
根据所述光照估计结果,对所述叠加3D面部模型进行调整。
第二方面,本发明实施例还提供一种图像处理装置,包括:
获取单元,用于获取2D面部图像信息;
生成单元,用于对所述2D面部图像信息进行重建,生成对应的3D面部模型;
提取单元,用于提取所述3D面部模型的特征点,根据特征点确定人脸属性信息;
匹配单元,用于根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型;
拍照单元,用于利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述匹配单元,具体用于:
确定所述人脸属性信息满足的判定条件并得到判定结果;
根据所述判定结果检索对应的增强现实模型;
将检索到的增强现实模型叠加至所述3D面部模型。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述装置还包括:
调整单元,用于根据所述人脸属性信息对所述3D面部模型进行调整。
第三方面,本发明实施例还提供一种云处理设备,所述设备包括处理器以及存储器;所述存储器用于存储指令,所述指令被所述处理器执行时,使得所述设备执行如第一方面中任一种所述的方法。
第四方面,本发明实施例还提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现如第一方面中任一种所述的方法。
本发明实施例提供的图像处理方法、装置、云处理设备和计算机程序产品,通过对2D面部图像信息进行重建得到3D面部模型,然后再根据3D模型提取的人脸属性信息匹配增强现实模型叠加至3D面部模型形成叠加3D面部模型,最后使用摄像机为3D面部模型进行拍照,得到大量的训练样本图片,采用本发明实施例提供的技术方案,无需人工参与,可以根据需要自动生成大量的训练样本图片,速度快,耗时短,且样本数量庞大,解决了现有技术中缺少一种可以快速生成具有装饰物、遮挡物等训练样本的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法实施例的流程图;
图2为本发明实施例提供的图像处理方法实施例的另一流程图;
图3为本发明实施例提供的图像处理方法实施例的另一流程图;
图4为本发明实施例提供的图像处理方法实施例的另一流程图;
图5为本发明实施例提供的图像处理装置实施例的结构示意图;
图6为本发明实施例提供的图像处理装置实施例的另一结构示意图;
图7为本发明实施例提供的图像处理装置实施例的另一结构示意图;
图8为本发明实施例提供的图像处理装置实施例的另一结构示意图;
图9为本发明实施例提供的云处理设备实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在日常生活中,有很多需要精确的人脸识别和真实人脸重现的场景,随着2D人脸识别和追踪技术的日渐成熟,大多数的人脸识别方法,都是基于2D人脸识别和追踪方法。然而,基于2D人脸追踪的方法并不能得到形象生动的真实人脸重现,对于人脸运动估计要求比较精确的应用领域,并不能到达需求。因此,3D人脸识别被广泛提出。为了提高人脸识别的精确程度,在本发明实施例中可以使用机器学习的方式对算法进行训练,训练过程需要使用大量的训练样本。现有技术中,人脸图像数据集大多采用选取多人面部作为基础,通过调整不同光照、摆出不同表情、不同姿态来获取更多的图片。然而,对于采集具有面部装饰(例如:眼镜)、遮挡物(例如:伤疤)的人脸图片则需要大量的人力与时间,耗时长效率低。因此,本发明实施例中,通过采用3D图像渲染的技术对2D图像进行处理,得到大量的3D模型的方式来实现获得大量训练样本的目的。具体的,图1为本发明实施例提供的图像处理方法实施例的流程图,如图1所示,本发明实施例提供的图像处理方法,具体可以包括如下步骤:
101、获取2D面部图像信息。
在本发明实施例中,2D面部图像信息可以通过相机、摄像头等采集图像的设备进行采集,也可以从视频流中进行截取,还可以使用现有人脸数据库中的图像信息。在本发明实施例中,2D面部图像信息优选使用无遮挡的面部图像。
102、对2D面部图像信息进行重建,生成对应的3D面部模型。
在一个具体的实现过程中,对2D面部图像信息进行重建可以通过如下方式来实现:首先,确定一张2D图像中的特征点,例如:左眼睛的内眼角,左眼睛的外眼角,右眼睛的内眼角,右眼睛的外眼角,鼻尖等位置的坐标。然后,加载标准3D脸模,利用2D人脸图像作为纹理对3D脸模进行渲染,得到该张2D面部图像对应的3D面部模型。在实际应用中,还可以采用其他的方式对2D面部图像信息进行重建,并且在重建过程中可以根据需要采用不同的算法进行。
103、提取3D面部模型的特征点,根据特征点确定人脸属性信息。
由于人脸具有特殊性,从人脸的特征中可以区分年龄段、性别、肤色、种族等信息,因此,在本发明实施例中,可以对3D面部模型的特征点进行提取,然后根据特征点来确定人脸属性信息,以获取该3D面部模型对应的人脸属性信息,其目的在于为后续叠加遮挡物或者装饰物提供基础。在本发明实施例中,人脸属性信息至少包括性别、年龄段、种族、肤色等属性信息。
例如,在一个具体的实现过程中,可以提取眼睛部位的特征点,对年龄段进行判断。又例如,在一个具体的实现过程中,可以通过面部整体结构以及肌肉等组织的形态,对性别进行判断。再例如,在一个具体的实现过程中,可以利用现有技术中的数据集,对种族进行区分。
104、根据人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型。
在本发明实施例中,可以预先建立一个数据库,用于存储各类遮挡物或者装饰物等的AR(Augmented Reality,增强现实)模型,其中,AR模型包括但不限于帽子、耳环、口罩、胡子、眼睛、饰品等具有装饰性的模型,AR模型还可以包括不同风格的妆容、伤疤、痘痘、斑点等具有遮盖性的模型。AR模型还可以包括各种阴影,例如,树枝在面部形成的阴影,建筑物再面部形成的阴影等阴影模型。AR模型还可以包括手部等肢体对面部的遮挡,如,挥手、托腮等肢体动作模型。在实际应用中,还可以包括其他AR模型,并不限定于本发明实施例中列举的上述几种。
以及,在本发明实施例中,可以预先在算法中设定多种判定条件,由于人脸属性信息包含至少一种属性信息,因此,需要为每一种属性信息设定一个对应的判定条件。例如,性别设定的判定条件为男或者女;年龄段设定的判定条件可以为11~20岁、21~30岁等;肤色设定的判定条件为黄色、白色、黑色;种族设定的判定条件为东亚人种、高加索人种、尼格罗人种、澳洲人种等。然后为每个判定条件匹配至少一个AR模型,AR模型至少包括装饰性模型、遮盖性模型、阴影模型以及肢体动作模型等中的一种或多种。例如,性别女对应的AR模型包括耳环、妆容、帽子等;11~20岁对应的AR模型包括眼镜、口罩、伤疤等。
需要说明的是,在本发明实施例中,判定条件以及判定条件对应的AR模型可以根据需要预先设定,也可以在生成3D面部模型后再进行设定。
所以,当获取了人脸属性信息后,首先确定人脸属性信息满足的判定条件并得到判定结果;然后根据判定结果检索对应的AR模型,最后将检索到的增强现实模型叠加至3D面部模型。在本发明实施例中,当有多个人脸属性信息时,需要为每一个属性信息分别确定其满足的判定条件,然后根据每个判定条件的判定结果分别检索对应的AR模型。例如,在一个具体的实现过程中,设定性别为判定条件,性别为男,对应的AR模型为胡子,性别为女,对应的AR模型为桃花妆以及耳环;当获取到该3D面部模型对应的人脸属性信息为女时,在数据库中检索桃花妆以及耳环两种AR模型,然后将桃花妆以及耳环两种AR模型叠加至该3D面部模型上,生成叠加3D模型。又例如,设定年龄段、肤色为判定条件,年龄段为21~30岁,对应的AR模型为眼镜,肤色为白色,对应的AR模型为疤痕;当获取到该3D面部模型对应的人脸属性信息为21~30岁且肤色为白色时,在数据库中检索疤痕以及眼镜两种AR模型,然后将疤痕以及眼镜两种AR模型叠加至该3D面部模型上,生成叠加3D模型。
在本发明实施例中,由于不同的3D面部模型其形状会有不同,因此,为了提高真实性,在叠加AR模型至3D面部模型过程中,需要将AR模型叠加至适合的位置,也可以根据需要对大小、方向等进行调整。
此外,设定的判定条件与其对应的AR模型之间的关系,可以根据实际需要进行调整,在本发明实施例中,每一个3D面部模型均可以生成至少一个叠加3D面部模型,即可以在每一个3D面部模型上叠加至少一个AR模型。
并且,除了前述的判定条件以外,还可以在3D面部模型上叠加阴影模型以及肢体动作模型等,例如,在一个具体的实现过程中,若2D面部图像中有树叶形成的阴影,则重建后的3D面部模型也会有一定的阴影,为了更加的真实,可以检索树叶阴影AR模型,叠加在3D面部模型上,模拟出人脸被投上树叶形成的阴影的效果。
105、利用摄像机为叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。
在本发明实施例中,可以使用至少一个虚拟摄像机从多个角度对叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。具体的,可以使用一个虚拟摄像机不断的变换位姿为叠加3D面部模型进行拍照,得到N张2D训练样本图片,还可以使用多个虚拟摄像机固定位置为叠加3D面部模型进行拍照,得到N张2D训练样本图片,还可以使用一个虚拟摄像机仅从正面为叠加3D面部模型进行拍照,得到1张2D训练样本图片。
本发明实施例提供的图像处理方法,通过对2D面部图像信息进行重建得到3D面部模型,然后再根据3D模型提取的人脸属性信息叠加AR模型形成叠加3D面部模型,最后使用摄像机为3D面部模型进行拍照,得到大量的训练样本图片,采用本发明实施例提供的技术方案,无需人工参与,可以根据需要自动生成大量的训练样本图片,速度快,耗时短,且样本数量庞大,解决了现有技术中缺少一种可以快速生成具有装饰物、遮挡物等训练样本的问题。
在前述内容的基础上,为了进一步的提高真实性,使得叠加3D模型更加的贴近真实生活,如图2所示,图2为本发明实施例提供的图像处理方法实施例的另一流程图,本发明实施例提供的图像处理方法,在步骤105之前,还可以包括如下步骤:
106、添加背景至叠加3D面部模型。
在本发明实施例中,可以利用3D引擎技术为叠加3D面部模型增加2D的背景图像,从视觉角度上使得叠加3D面部模型更加的贴近真实场景中的人物。
当为叠加3D面部模型添加了背景图像后,前述步骤105中在使用虚拟摄像机为叠加3D面部模型进行拍照过程中,就需要利用虚拟摄像机为添加背景后的叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。
由于人脸是立体结构,在自然状态下会有一定的阴影,和不同的折光效果,因此,为了使得叠加3D面部模型更加的逼真,在前述内容的基础上,如图3所示,图3为本发明实施例提供的图像处理方法实施例的另一流程图,本发明实施例提供的图像处理方法,在步骤104之前,还可以包括如下步骤:
107、对2D面部图像信息进行光照估计,得到光照估计结果。
在本发明实施例中,可以利用任意一种光照估计模型对每一张2D面部图像进行光照估计,确定每一张2D面部图像中是否具有完全遮挡区域、部分遮挡区域、以及过渡区域,进而确定对应的区域的光照量,进而得到光照估计结果。
并且,在步骤105之前,还可以包括如下步骤:
108、根据光照估计结果,对叠加3D面部模型进行调整。
因此,当确定了2D面部图像中的光照量后,相应的根据光照估计结果,对叠加3D面部模型进行调整,使得叠加3D面部模型的光影效果与真实环境中的人脸基本相同,提高精确度和准确性。
表情是人类及其他动物从身体外观投射出的情绪指标,多数指面部肌肉及五官形成的状态,常见的表情包括愤怒、厌、恐惧、高兴、悲伤和惊讶等。而且,在步骤101中获取到的2D面部图像信息中,每一张2D面部图像均只有一种表情,因此,为了进一步的增加训练样本的数量,在前述内容的基础上,如图4所示,图4为本发明实施例提供的图像处理方法实施例的另一流程图,本发明实施例提供的图像处理方法,在步骤104之前,还可以包括如下步骤:
109、根据人脸属性信息对3D面部模型进行调整。
在本发明实施例中,根据步骤103中得到的人脸属性信息,其中,不但能够识别出前述内容中提到的性别、年龄段、种族、肤色等,还可以识别出表情,为了增加训练样本的数量,可以对其中的肤色、表情、年龄段等进行调整,例如,将皮肤为黑色的3D面部模型调整为皮肤为黄色,又例如,将表情为微笑的3D面部模型调整为表情为大笑。
通过调整,就可以成倍数的增加练样本的数量,方便快捷,效率高。
图5为本发明实施例提供的图像处理装置实施例的结构示意图,如图5所示,本发明实施例提供的图像处理装置,具体可以包括:获取单元11、生成单元12、提取单元13、匹配单元14以及拍照单元15。
获取单元11,用于获取2D面部图像信息。
生成单元12,用于对2D面部图像信息进行重建,生成对应的3D面部模型。
提取单元13,用于取3D面部模型的特征点,根据特征点确定人脸属性信息。
匹配单元14,用于根据人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型。
拍照单元15,用于利用摄像机为叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。
在一个具体的实现过程中,匹配单元14,具体用于:
确定人脸属性信息满足的判定条件并得到判定结果;
根据判定结果检索对应的增强现实模型;
将检索到的增强现实模型叠加至3D面部模型。
图6为本发明实施例提供的图像处理装置实施例的另一结构示意图,如图6所示,本发明实施例提供的图像处理装置,在前述内容的基础上,还可以包括:调整单元16。
调整单元16,用于根据人脸属性信息对3D面部模型进行调整。
图7为本发明实施例提供的图像处理装置实施例的另一结构示意图,如图7所示,本发明实施例提供的图像处理装置,在前述内容的基础上,还可以包括:添加单元17。
添加单元17,用于添加背景至叠加3D面部模型。
相应的,拍照单元15,具体用于:
利用摄像机为添加背景后的叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。
图8为本发明实施例提供的图像处理装置实施例的另一结构示意图,如图8所示,本发明实施例提供的图像处理装置,在前述内容的基础上,还可以包括:估计单元18和光照调整单元19。
估计单元18,用于对2D面部图像信息进行光照估计,得到光照估计结果。
光照调整单元19,用于根据光照估计结果,对叠加3D面部模型进行调整。
本发明实施例提供的图像处理装置,可以用于执行图1~图4所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本发明实施例提供的云处理设备实施例的结构示意图,如图9所示,本发明实施例提供的云处理设备,具体可以包括:处理器21以及存储器22。
其中,存储器21用于存储指令,指令被处理器22执行时,使得设备执行如图1~图4所示任意一种方法。
本发明实施例提供的云处理设备,可以用于执行图1~图4所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例还提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,计算机程序经由计算机载入并执行后能够实现如图1~图4所示任意一种方法。
本发明实施例提供的计算机程序产品,可以用于执行图1~图4所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (5)

1.一种图像处理方法,其特征在于,包括:
获取2D面部图像信息;
对所述2D面部图像信息进行重建,生成对应的3D面部模型;
提取所述3D面部模型的特征点,根据所述特征点确定人脸属性信息;所述人脸属性信息至少包括性别、年龄段、种族、肤色中的至少一种;
根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型;
利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本图片;
所述根据所述人脸属性信息匹配增强现实模型,包括:
确定所述人脸属性信息满足的判定条件并得到判定结果;
根据所述判定结果检索对应的增强现实模型;
将检索到的增强现实模型叠加至所述3D面部模型;
在所述根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型之前,所述方法还包括:
根据所述人脸属性信息对所述3D面部模型进行调整。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
添加背景至所述叠加3D面部模型;
所述利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本,包括:
利用摄像机为添加背景后的所述叠加3D面部模型进行拍照,得到至少一张2D训练样本图片。
3.根据权利要求1所述的方法,其特征在于,在所述根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型之前,所述方法还包括:
对所述2D面部图像信息进行光照估计,得到光照估计结果;
在所述利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本之前,所述方法还包括:
根据所述光照估计结果,对所述叠加3D面部模型进行调整。
4.一种图像处理装置,其特征在于,包括:
获取单元,用于获取2D面部图像信息;
生成单元,用于对所述2D面部图像信息进行重建,生成对应的3D面部模型;
提取单元,用于提取所述3D面部模型的特征点,根据所述特征点确定人脸属性信息;所述人脸属性信息至少包括性别、年龄段、种族、肤色中的至少一种;
匹配单元,用于根据所述人脸属性信息匹配增强现实模型,生成至少一个叠加3D面部模型;
拍照单元,用于利用摄像机为所述叠加3D面部模型进行拍照,得到至少一张2D训练样本图片;
所述匹配单元,具体用于:
确定所述人脸属性信息满足的判定条件并得到判定结果;
根据所述判定结果检索对应的增强现实模型;
将检索到的增强现实模型叠加至所述3D面部模型;
所述装置还包括:
调整单元,用于根据所述人脸属性信息对所述3D面部模型进行调整。
5.一种云处理设备,其特征在于,所述设备包括处理器以及存储器;所述存储器用于存储指令,所述指令被所述处理器执行时,使得所述设备执行如权利要求1~3中任一种所述的方法。
CN201711446372.7A 2017-12-27 2017-12-27 图像处理方法、装置、云处理设备 Active CN108460398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711446372.7A CN108460398B (zh) 2017-12-27 2017-12-27 图像处理方法、装置、云处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711446372.7A CN108460398B (zh) 2017-12-27 2017-12-27 图像处理方法、装置、云处理设备

Publications (2)

Publication Number Publication Date
CN108460398A CN108460398A (zh) 2018-08-28
CN108460398B true CN108460398B (zh) 2021-08-10

Family

ID=63220132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711446372.7A Active CN108460398B (zh) 2017-12-27 2017-12-27 图像处理方法、装置、云处理设备

Country Status (1)

Country Link
CN (1) CN108460398B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111152653A (zh) * 2018-11-07 2020-05-15 行为科技(北京)有限公司 一种基于多信息融合的疲劳驾驶检测方法
CN109753873B (zh) * 2018-11-23 2021-03-23 合刃科技(武汉)有限公司 图像处理方法及相关装置
CN109801335A (zh) * 2019-01-08 2019-05-24 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN110059724A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术(沈阳)有限公司 一种视觉图片样本的获取方法及装置
CN111178128B (zh) * 2019-11-22 2024-03-19 北京迈格威科技有限公司 图像识别方法、装置、计算机设备和存储介质
CN111127422A (zh) * 2019-12-19 2020-05-08 北京旷视科技有限公司 图像标注方法、装置、系统及主机
CN113554045B (zh) * 2020-04-23 2024-04-09 国家广播电视总局广播电视科学研究院 数据集制作方法、装置、设备及存储介质
CN111932439A (zh) * 2020-06-28 2020-11-13 深圳市捷顺科技实业股份有限公司 一种戴口罩人脸图像生成方法及相关装置
CN112562066B (zh) * 2020-12-21 2024-03-22 维沃移动通信有限公司 图像重建方法和装置、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034079A (zh) * 2009-09-24 2011-04-27 汉王科技股份有限公司 眼镜遮挡下的人脸识别方法和系统
CN106339390A (zh) * 2015-07-09 2017-01-18 中兴通讯股份有限公司 基于人体特征数据的匹配方法及装置
CN107423678A (zh) * 2017-05-27 2017-12-01 电子科技大学 一种提取特征的卷积神经网络的训练方法及人脸识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
CN103731583B (zh) * 2013-12-17 2016-05-18 四川金手指时代投资管理有限公司 用于拍照智能化合成、打印处理方法
CN104408764B (zh) * 2014-11-07 2017-05-24 成都好视界眼镜有限公司 眼镜虚拟试戴方法、装置及系统
CN104376160A (zh) * 2014-11-07 2015-02-25 薛景 真人模拟个性装饰搭配系统
CN104331564B (zh) * 2014-11-10 2019-07-19 努比亚技术有限公司 基于终端设备的妆饰指导方法和终端设备
CN107464244A (zh) * 2017-03-09 2017-12-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络的图像光照估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034079A (zh) * 2009-09-24 2011-04-27 汉王科技股份有限公司 眼镜遮挡下的人脸识别方法和系统
CN106339390A (zh) * 2015-07-09 2017-01-18 中兴通讯股份有限公司 基于人体特征数据的匹配方法及装置
CN107423678A (zh) * 2017-05-27 2017-12-01 电子科技大学 一种提取特征的卷积神经网络的训练方法及人脸识别方法

Also Published As

Publication number Publication date
CN108460398A (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
CN108460398B (zh) 图像处理方法、装置、云处理设备
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
Olszewski et al. High-fidelity facial and speech animation for VR HMDs
CN105404392B (zh) 基于单目摄像头的虚拟穿戴方法及系统
Wood et al. Rendering of eyes for eye-shape registration and gaze estimation
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
CN109377557B (zh) 基于单帧人脸图像的实时三维人脸重建方法
CN108629339B (zh) 图像处理方法及相关产品
CN107820591A (zh) 控制方法、控制器、智能镜子和计算机可读存储介质
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
CN108537126B (zh) 一种人脸图像处理方法
CN108513089B (zh) 群组视频会话的方法及装置
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
CN109671142A (zh) 一种智能美妆方法及智能美妆镜
CN110717391A (zh) 一种基于视频图像的身高测量方法、系统、装置和介质
Karaoğlu et al. Self-supervised face image manipulation by conditioning GAN on face decomposition
CN110210449A (zh) 一种用于虚拟现实交友的人脸识别系统及方法
CN117095128A (zh) 一种无先验多视角人体服饰编辑方法
CN111597928A (zh) 三维模型处理方法及装置、电子设备、存储介质
Liu et al. Face geometry and appearance modeling: concepts and applications
Li et al. EyeNeRF: a hybrid representation for photorealistic synthesis, animation and relighting of human eyes
Danieau et al. Automatic generation and stylization of 3d facial rigs
Kaneko et al. Processing of face images and its applications
CN109242982A (zh) 一种网络三维ar动态模板场景技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant