CN104378620A - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN104378620A CN104378620A CN201410683143.7A CN201410683143A CN104378620A CN 104378620 A CN104378620 A CN 104378620A CN 201410683143 A CN201410683143 A CN 201410683143A CN 104378620 A CN104378620 A CN 104378620A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- rendering
- camera
- subobject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种图像处理方法,所述电子设备包含设置在所述电子设备的第一面的第一位置的第一摄像头,以及设置在所述第一面上的与所述第一位置不同的第二位置的第二摄像头,所述方法包括:获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
Description
技术领域
本发明涉及图像处理领域,特别涉及一种图像处理方法及电子设备。
背景技术
随着通信技术的不断发展,人们在存储电话号码,微信号码,QQ号码,邮箱地址时,不仅要存储对应的人名,职称等,还会存储对应联系对象的头像。
在现有技术中,头像通常都是2D图像,如:可以是联系对象的头部图像,也可以是一朵花,一棵树等。但由于2D图像是平面图像,所包括的图像信息有限,且2D图像的平面呈现特点也与实际联系对象的3D呈现特点不一样。
为此,在现有技术,便有将3D图像来作为联系对象的头像的技术,在该现有技术中,在需要制作3D头像时,就需要获得联系对象的两张不同视角的图像,然后,基于这两张图像来获得3D头像。
本申请发明人在实现本申请实施例中技术方案的过程中,发现现有技术至少存在如下技术问题:
现有技术中,在需要换当前3D头像时,就不得不重复制作3D头像的技术,显然,这使得现有技术中的电子设备存在换3D头像时,效率不高,耗时较长的技术问题。
现有技术中,由于只能基于联系对象的两张不同角度的图像来制作3D图像,所以,制作出的3D头像,一定是联系对象自己,而不能是别的,如:一只可爱猴子的3D头像,即现有技术中的电子设备存在制作的3D头像形式单一的技术问题。
由于上述技术问题的存在,所以,用户在使用现有技术中的电子设备时,会有换3D头像时,花费时间长,且不能制作出个性化3D头像,可见,现有技术中的电子设备存在用户体验欠佳的问题。
发明内容
本申请实施例提供一种图像处理方法及电子设备,用于解决现有技术中的电子设备存在制作的3D头像形式单一的技术问题,实现制作出个性化的3D头像的技术效果。
本申请实施例一方面提供一种图像处理方法,应用于一电子设备,所述电子设备包含设置在所述电子设备的第一面的第一位置的第一摄像头,以及设置在所述第一面上的与所述第一位置不同的第二位置的第二摄像头,所述方法包括:获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
可选的,所述至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像,具体包括:
至少基于所述第一2D图像和所述第二2D图像,获得所述第一对象的至少一个第一对象几何特征信息;
基于所述至少一个第一对象几何特征信息,对一参考3D模型进行几何特征调整,获得所述第一对象的第一3D图像,其中,所述第一3D图像具有所述至少一个第一对象几何特征信息。
可选的,所述基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,具体包括:
检测获得所述第一对象的M个子对象;
依次取i从1至M,基于所述第一3D图像,获得所述M个子对象中的第i个子对象在所述第一摄像头的第一坐标系中的第i个第一图像坐标和所述第i个子对象在所述第二摄像头的第二坐标系中的第i个第二图像坐标,在i为M时,获得M个第一图像坐标及M个第二图像坐标;
基于所述M个第一图像坐标和所述M个第二图像坐标,计算获得所述第一坐标系到所述第二坐标系的旋转矩阵和平移向量;
基于所述旋转矩阵和所述平移向量,获得所述M个子对象的M个深度信息。
可选的,在所述基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型之后,所述方法还包括:
获得所述第一对象的第三2D图像;
从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
可选的,在所述基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型之后,所述方法还包括:
获得第二对象的第三2D图像;
从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
本申请实施例另一方面提供一种电子设备,所述电子设备包含设置在所述电子设备的第一面的第一位置的第一摄像头,以及设置在所述第一面上的与所述第一位置不同的第二位置的第二摄像头,所述电子设备还包括:第一获取单元,用于获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;第二获取单元,用于至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;第三获取单元,用于基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;第四获取单元,用于基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
可选的,所述第二获取单元具体包括:
第一获取子单元,用于至少基于所述第一2D图像和所述第二2D图像,获得所述第一对象的至少一个第一对象几何特征信息;
第二获取子单元,用于基于所述至少一个第一对象几何特征信息,对一参考3D模型进行几何特征调整,获得所述第一对象的第一3D图像,其中,所述第一3D图像具有所述至少一个第一对象几何特征信息。
可选的,所述第三获取单元具体包括:
第一检测子单元,用于检测获得所述第一对象的M个子对象;
第三获取子单元,用于依次取i从1至M,基于所述第一3D图像,获得所述M个子对象中的第i个子对象在所述第一摄像头的第一坐标系中的第i个第一图像坐标和所述第i个子对象在所述第二摄像头的第二坐标系中的第i个第二图像坐标,在i为M时,获得M个第一图像坐标及M个第二图像坐标;
第一计算子单元,用于基于所述M个第一图像坐标和所述M个第二图像坐标,计算获得所述第一坐标系到所述第二坐标系的旋转矩阵和平移向量;
第四获取子单元,用于基于所述旋转矩阵和所述平移向量,获得所述M个子对象的M个深度信息。
可选的,所述电子设备还包括:
第五获取单元,用于获得所述第一对象的第三2D图像;
第一确定单元,用于从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
第六获取单元,用于基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
可选的,所述电子设备还包括:
第七获取单元,用于获得第二对象的第三2D图像;
第二确定单元,用于从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
第八获取单元,用于基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
一、由于本申请实施例中的技术方案,通过采用至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像,基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,然后,基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型的技术手段,这样,当用户想要改变当前3D图像模型时,只需要根据M个深度信息对当前的3D图像模型进行调整,即能获得与当前3D图像模型不同的第二3D图像,所以,有效解决了现有技术中的电子设备存在换3D头像时,效率不高,耗时较长的技术问题,实现了快速更换3D头像的技术效果。
二、由于本申请实施例中的技术方案,通过采用获得第二对象的第三2D图像,从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型,基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像的技术手段,这样,用户可以根据需要,将其他对象的面部表情投影到自己的3D图像模型上,或者是将自己的面部表情投影到其他对象的3D图像模型上,建立出个性化的3D图像模型,所以,有效解决了现有技术中的电子设备存在制作的3D头像形式单一的技术问题,实现了3D图像模型的个性化的技术效果。
三、由于本申请实施例中的技术方案,采用获得第二对象的第三2D图像,从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型,基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像的技术手段,这样,用户可以根据需要建立个性化的3D图像模型,能给用户带来更多的乐趣,所以,有效解决了现有技术中的电子设备存在用户体验欠佳的问题,实现了提高用户体验的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例一提供的一种图像处理方法的流程图;
图2为本申请实施例一提供的图像处理方法中步骤S102的具体实现方式流程图;
图3为本申请实施例一提供的图像处理方法中步骤S103的具体实现方式流程图;
图4为本申请实施例一提供的图像处理方法中步骤S104的具体实现方式示意图;
图5为本申请实施例一提供的图像处理方法中对所述第一对象的第一个性图像的处理步骤的第一种具体实现方式流程图;
图6为本申请实施例一提供的图像处理方法中对所述第一对象的第一个性图像的处理步骤的第一种具体实现方式示意图;
图7为本申请实施例一提供的图像处理方法中对所述第一对象的第一个性图像的处理步骤的第二种具体实现方式流程图;
图8为本申请实施例二提供的一种电子设备的结构框图。
具体实施方式
本申请实施例提供一种图像处理方法及电子设备,用于解决现有技术中的电子设备存在制作的3D头像形式单一的技术问题,实现制作出个性化的3D头像的技术效果。
本申请实施例中的技术方案为解决上述的技术问题,总体思路如下:
提供一种图像处理方法,应用于一电子设备,所述电子设备包含设置在所述电子设备的第一面的第一位置的第一摄像头,以及设置在所述第一面上的与所述第一位置不同的第二位置的第二摄像头,所述方法包括:获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
在上述技术方案中,通过采用至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像,基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,然后,基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型的技术手段,这样,当用户想要改变当前3D图像模型时,只需要根据M个深度信息对当前的3D图像模型进行调整,即能获得与当前3D图像模型不同的第二3D图像,制作出个性化的3D图像模型,所以,有效解决了现有技术中的电子设备存在制作的3D头像形式单一的技术问题,实现制作出个性化的3D头像的技术效果。
下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
实施例一
请参考图1,本申请实施例一提供一种图像处理方法,应用于一电子设备,所述电子设备包含设置在所述电子设备的第一面的第一位置的第一摄像头,以及设置在所述第一面上的与所述第一位置不同的第二位置的第二摄像头,所述方法包括:
S101:获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;
S102:至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;
S103:基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;
S104:基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
在具体实施过程中,所述电子设备可以为手机、平板电脑等,也可以是其他具有两个摄像头的电子设备,在此,就不一一举例了。在本申请实施例中,将以所述电子设备为手机为例,来对本申请实施例中的方法的实现过程进行详细描述。
在具体实施过程中,在手机屏幕所在的一面,分别在不同的位置设置有两个摄像头,可以是一个设置在手机的左上方,一个设置在手机的右上方;也可以在手机的底面上,在不同的位置分别设置两个摄像头,如分别设置在手机底面的左下角和手机底面的右下角。为了能拍摄到不同的角度,两个摄像头之间需保证一定的距离,如两个摄像头之间相隔2cm或3cm,当然,本领域普通技术人员也可以根据实际情况对两个摄像头之间的距离进行设定,在本申请中不作具体限定。
在本申请实施例中,以所述电子设备为手机为例,本申请实施例中的方法首先执行步骤S101,即:获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像。
在具体实施过程中,当手机的两个摄像头分别设置在手机屏幕所在面的左上方和右上方时,由于两个摄像头所在的位置不同,在同一时间对第一对象进行拍照时,可以从这两个摄像头中获得第一对象在两个不同角度的2D图像,如,当人脸正对两个摄像头的中间位置进行拍照时,左上方的摄像头能拍摄到包含人的左脸的2D图像,而右上方的摄像头则拍摄到包含人的右脸的2D图像,这样便同时获得了人脸在同一姿势时不同视角的两张2D图像,也可以将人脸正对其中一个摄像头,如人脸正对左上角的摄像头进行拍照,这时由左上角的摄像头得到了包含人脸正面的2D图像,由右上角的摄像头则得到了包含人的右脸的2D图像。
得到通过两个摄像头采集到的不同视角的多个2D图像后,本申请实施例中的方法便执行步骤S102,即:至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像。
请参考图2,步骤S102的具体实现方式为:
S1021:至少基于所述第一2D图像和所述第二2D图像,获得所述第一对象的至少一个第一对象几何特征信息;
S1022:基于所述至少一个第一对象几何特征信息,对一参考3D模型进行几何特征调整,获得所述第一对象的第一3D图像,其中,所述第一3D图像具有所述至少一个第一对象几何特征信息。
继续以所述电子设备为手机为例,在具体实施过程中,当获得包含人的左脸2D图像和包含人的右脸2D图像后,手机的图像处理单元,如相机,则检测所获得2D图像中是否含有人脸,并确定所获得的2D图像中所含人脸的个数,然后确定出人脸在2D图像中的具体位置,获得人脸区域的位置和尺寸的粗略信息,然后对图像进行边缘检测,将人脸侧面轮廓中最右的点定位为鼻尖,鼻尖将人脸分成了两个部分,每一部分都可以通过积分投影得到一个多项式,也可以通过曲面匹配得到该多项式,然后通过求多项式一阶导数为0来获得各个极值点,从而获得了前额、鼻梁、上嘴唇、嘴巴、下嘴唇特征点信息,同时,利用已获得的特征点信息及面部器官结构关系的统计先验知识,获得眼皮点、下巴点、嘴唇下点等其他特征点信息。
在具体实施过程中,手机的图像处理单元,如相机,会预先存储一个根据多张照片建立的包含有面部特征的参考3D模型,根据获得的人脸的几何特征信息,如鼻子、嘴巴、下巴等,对参考3D模型的几何特征参数进行调整,如,将参考3D模型中鼻子的参数调整为上述处理获得的鼻子的几何特征信息,将参考3D模型中下巴的参数调整为上述处理获得的下巴的几何特征信息,这样,通过将上述处理获得的面部几何特征信息匹配到参考3D模型中相应的位置上,将调整后的3D模型投影成照片,便获得了人脸的第一3D图像。
在执行完步骤S102之后,本申请实施例中的方法便执行步骤S103,即:基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数。
在本申请实施例中,请参考图3,步骤S103的具体实现方式为:
S1031:检测获得所述第一对象的M个子对象;
S1032:依次取i从1至M,基于所述第一3D图像,获得所述M个子对象中的第i个子对象在所述第一摄像头的第一坐标系中的第i个第一图像坐标和所述第i个子对象在所述第二摄像头的第二坐标系中的第i个第二图像坐标,在i为M时,获得M个第一图像坐标及M个第二图像坐标;
S1033:基于所述M个第一图像坐标和所述M个第二图像坐标,计算获得所述第一坐标系到所述第二坐标系的旋转矩阵和平移向量;
S1034:基于所述旋转矩阵和所述平移向量,获得所述M个子对象的M个深度信息。
继续以所述电子设备为手机为例,在具体实施过程中,手机的图像处理单元,如相机,获得人脸的第一3D图像后,将3D图像中人脸的特征点作为M个子对象,如,即将右眉头、鼻梁、右眼角、左眼角作为人脸的4个子对象,分别获得这4个子对象在第一摄像头对应的第一图像坐标分别为(193,63)、(180,47)、(212,52)、(164,51)及这4个子对象在第二摄像头对应的第二图像坐标分别为(160,76)、(146,60)、(178,66)、(114,64),而第一图像坐标与第二图像坐标的关系可以有旋转矩阵和平移向量来计算,计算公式为 其中R为旋转矩阵,T为平移向量,因此,获得每个子对象在第一摄像头的第一图像坐标和在第二摄像头的第二图像坐标后,通过计算公式,便可计算出第一摄像头与第二摄像头的旋转矩阵和平移向量,假设第i个子对象在空间坐标系中的三维坐标为(X,Y,Z),空间坐标系与摄像头所在的二维图像坐标系的对应关系为: 则在计算出R/T之后,便可通过已知的二维图像坐标计算出第i个子对象在空间坐标系的三维坐标。在本申请实施例中,通过计算可以得出右眉头、鼻梁、右眼角、左眼角这4个子对象的三维坐标分别为(70,-143,443)、(66,-145,441)、(75,-145,446)、(63,-144,439),即这4个子对象的深度信息。
在具体实施过程中,本领域普通技术人员可以根据实际需要来确定需要获取的子对象及子对象的个数,在本申请中不作具体限定。
在执行完步骤S103之后,本申请实施例中的方法便执行步骤S104,即:基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
在具体实施过程中,根据上述步骤获得的子对象的深度信息,对第一3D图像进行调整,请参考图4,当需要获得人仰脸的3D模型时,在保证深度信息的相对位置不变的情况下,将3D图像沿鼻尖所在的位置旋转一定的角度,即将鼻尖以上的部位显示比例减小,鼻尖以下的部位显示比例增大;当需要左侧脸的3D模型时,通过同样的方式,将鼻梁左侧的部位显示比例增大,而鼻梁右侧的部位显示比例减小,由此,可以根据用户的需求获得不同姿势的人脸3D模型,如图4所示。
由于执行完步骤S101-步骤S103之后,仅能获得的一个第一3D图像,通过执行步骤S104,当用户需要更换3D图像的姿势时,可以直接对现有的3D图像进行一定角度的旋转调整,便能得到其他姿势的3D模型,并存储在手机对应的存储单元中。
在执行完步骤S104之后,本申请实施例中的方法还包括获得所述第一对象的第一个性图像的处理步骤,具体有两种实现方式:
请参考图5,第一种方式:
获得所述第一对象的第三2D图像;
从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
继续以所述电子设备为手机,所述第一对象为人脸为例,在具体实施过程中,通过手机的图库或者拍照功能,获得包含人脸的第三2D图像,由于要建立个性图像,所以,所述第三2D图像可以是一张表情很夸张的图像,如大笑、挑眉毛、咧嘴等表情,然后手机的图像处理单元通过检测第三2D图像中人脸的几何特征信息,确定人脸的姿势,如左侧脸、仰头、低头等,搜索手机存储单元存储的至少一个第一对象的3D模型,找出与第三2D图像姿势最接近的3D模型,如,第三2D图像为歪着头,则确定出第一对象的3D模型中歪头的模型为所需要的第一对象3D模型。基于检测出的第三2D图像中人脸的几何特征信息,提取出具体的面部器官特征信息,请参考图6,如,当第三2D图像中的人脸表情为惊讶时,则人的眼睛为圆球状,嘴巴为张开状,嘴唇呈圆弧状,然后将第一对象3D模型中的眼睛、嘴巴、嘴唇调整为与第三2D图像中相应的器官的形状,将调整后的3D模型投影到照片,即可获得人脸的第一个性图像。
请参考图7,第二种方式:
获得第二对象的第三2D图像;
从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
继续以所述电子设备为手机为例,当建立人脸各姿势的3D模型之后,用户还可以通过手机的图像处理单元,如相机,随机拍摄另一个对象的照片,如猴子、小猫、小狗等,也可以是另一个人物,或者通过手机的图库找到另一个对象的照片,以猴子的照片为例,然后手机的图像处理单元通过检测出猴子脸的几何特征信息,确定头部的姿势,如左侧脸、仰头、低头等,搜索手机存储单元存储的至少一个第一对象的3D模型,找出与猴子的照片姿势最接近的3D模型,如,猴子的照片中猴子的头部姿势为歪着头,则确定出第一对象的3D模型中歪头的模型为所需要的第一对象3D模型。基于检测出的猴子的照片中脸部的几何特征信息,提取出具体的面部器官特征信息,如,当猴子的表情为惊讶,则猴子的眼睛为张开状且呈圆形,嘴巴为张开状,嘴唇呈圆弧状,然后将歪着头的第一对象3D模型中的眼睛、嘴巴、嘴唇调整为与猴子的照片中相应的器官的形状,将调整后的3D模型投影成照片,即可获得人脸的第一个性图像,请参考图6。
实施例二
基于与本申请实施例一中的图像处理方法同样的发明构思,本申请实施例二提供一种电子设备,所述电子设备包含设置在所述电子设备的第一面的第一位置的第一摄像头,以及设置在所述第一面上的与所述第一位置不同的第二位置的第二摄像头,请参考图8,所述电子设备还包括:
第一获取单元101,用于获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;
第二获取单元102,用于至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;
第三获取单元103,用于基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;
第四获取单元104,用于基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
为了获取所述第一对象的第一3D图像,所述第二获取单元具体包括:
第一获取子单元,用于至少基于所述第一2D图像和所述第二2D图像,获得所述第一对象的至少一个第一对象几何特征信息;
第二获取子单元,用于基于所述至少一个第一对象几何特征信息,对一参考3D模型进行几何特征调整,获得所述第一对象的第一3D图像,其中,所述第一3D图像具有所述至少一个第一对象几何特征信息。
为了获取所述第一对象的M个深度信息,所述第三获取单元具体包括:
第一检测子单元,用于检测获得所述第一对象的M个子对象;
第三获取子单元,用于依次取i从1至M,基于所述第一3D图像,获得所述M个子对象中的第i个子对象在所述第一摄像头的第一坐标系中的第i个第一图像坐标和所述第i个子对象在所述第二摄像头的第二坐标系中的第i个第二图像坐标,在i为M时,获得M个第一图像坐标及M个第二图像坐标;
第一计算子单元,用于基于所述M个第一图像坐标和所述M个第二图像坐标,计算获得所述第一坐标系到所述第二坐标系的旋转矩阵和平移向量;
第四获取子单元,用于基于所述旋转矩阵和所述平移向量,获得所述M个子对象的M个深度信息。
为了获得所述第一对象的第一个性图像,所述电子设备还包括:
第五获取单元,用于获得所述第一对象的第三2D图像;
第一确定单元,用于从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
第六获取单元,用于基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
为了所述第一对象的第一个性图像,所述电子设备还包括:
第七获取单元,用于获得第二对象的第三2D图像;
第二确定单元,用于从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
第八获取单元,用于基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
通过本申请实施例中的一个或多个技术方案,可以实现如下一个或多个技术效果:
一、由于本申请实施例中的技术方案,通过采用至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像,基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,然后,基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型的技术手段,这样,当用户想要改变当前3D图像模型时,只需要根据M个深度信息对当前的3D图像模型进行调整,即能获得与当前3D图像模型不同的第二3D图像,所以,有效解决了现有技术中的电子设备存在换3D头像时,效率不高,耗时较长的技术问题,实现了快速更换3D头像的技术效果。
二、由于本申请实施例中的技术方案,通过采用获得第二对象的第三2D图像,从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型,基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像的技术手段,这样,用户可以根据需要,将其他对象的面部表情投影到自己的3D图像模型上,或者是将自己的面部表情投影到其他对象的3D图像模型上,建立出个性化的3D图像模型,所以,有效解决了现有技术中的电子设备存在制作的3D头像形式单一的技术问题,实现了3D图像模型的个性化的技术效果。
三、由于本申请实施例中的技术方案,采用获得第二对象的第三2D图像,从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型,基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像的技术手段,这样,用户可以根据需要建立个性化的3D图像模型,能给用户带来更多的乐趣,所以,有效解决了现有技术中的电子设备存在用户体验欠佳的问题,实现了提高用户体验的效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
具体来讲,本申请实施例中的图像处理方法对应的计算机程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与图像处理方法对应的计算机程序指令被一电子设备读取或被执行时,包括如下步骤:
获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;
至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;
至少基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;
基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
可选的,所述存储介质中存储的与步骤:所述至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像,对应的计算机指令在具体被执行过程中,具体包括:
基于所述第一2D图像和所述第二2D图像,获得所述第一对象的至少一个第一对象几何特征信息;
基于所述至少一个第一对象几何特征信息,对一参考3D模型进行几何特征调整,获得所述第一对象的第一3D图像,其中,所述第一3D图像具有所述至少一个第一对象几何特征信息。
可选的,所述存储介质中存储的与步骤:所述基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,对应的计算机指令在具体被执行过程中,具体包括:
检测获得所述第一对象的M个子对象;
依次取i从1至M,基于所述第一3D图像,获得所述M个子对象中的第i个子对象在所述第一摄像头的第一坐标系中的第i个第一图像坐标和所述第i个子对象在所述第二摄像头的第二坐标系中的第i个第二图像坐标,在i为M时,获得M个第一图像坐标及M个第二图像坐标;
基于所述M个第一图像坐标和所述M个第二图像坐标,计算获得所述第一坐标系到所述第二坐标系的旋转矩阵和平移向量;
基于所述旋转矩阵和所述平移向量,获得所述M个子对象的M个深度信息。
可选的,当所述存储介质中的图像处理方法对应的计算机程序指令在被一电子设备或读取或执行时,在步骤所述基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型之后,还包括如下步骤:
获得所述第一对象的第三2D图像;
从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
可选的,当所述存储介质中的图像处理方法对应的计算机程序指令在被一电子设备读取或执行时,在步骤所述基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型之后,还包括如下步骤:
获得第二对象的第三2D图像;
从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像处理方法,应用于一电子设备,所述电子设备包含设置在所述电子设备的第一面的第一位置的第一摄像头,以及设置在所述第一面上的与所述第一位置不同的第二位置的第二摄像头,所述方法包括:
获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;
至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;
基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;
基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
2.如权利要求1所述的方法,其特征在于,所述至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像,具体包括:
至少基于所述第一2D图像和所述第二2D图像,获得所述第一对象的至少一个第一对象几何特征信息;
基于所述至少一个第一对象几何特征信息,对一参考3D模型进行几何特征调整,获得所述第一对象的第一3D图像,其中,所述第一3D图像具有所述至少一个第一对象几何特征信息。
3.如权利要求2所述的方法,其特征在于,所述基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,具体包括:
检测获得所述第一对象的M个子对象;
依次取i从1至M,基于所述第一3D图像,获得所述M个子对象中的第i个子对象在所述第一摄像头的第一坐标系中的第i个第一图像坐标和所述第i个子对象在所述第二摄像头的第二坐标系中的第i个第二图像坐标,在i为M时,获得M个第一图像坐标及M个第二图像坐标;
基于所述M个第一图像坐标和所述M个第二图像坐标,计算获得所述第一坐标系到所述第二坐标系的旋转矩阵和平移向量;
基于所述旋转矩阵和所述平移向量,获得所述M个子对象的M个深度信息。
4.如权利要求1-3中任一权项所述的方法,其特征在于,在所述基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型之后,所述方法还包括:
获得所述第一对象的第三2D图像;
从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
5.如权利要求1-3中任一权项所述的方法,其特征在于,在所述基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型之后,所述方法还包括:
获得第二对象的第三2D图像;
从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
6.一种电子设备,所述电子设备包含设置在所述电子设备的第一面的第一位置的第一摄像头,以及设置在所述第一面上的与所述第一位置不同的第二位置的第二摄像头,所述电子设备还包括:
第一获取单元,用于获得通过所述第一摄像头在第一视角采集获得的包含第一对象的第一2D图像,及通过所述第二摄像头在与所述第一视角不同的第二视角采集获得的包含所述第一对象的第二2D图像;
第二获取单元,用于至少基于所述第一2D图像和所述第二2D图像,获得包含所述第一对象的第一3D图像;
第三获取单元,用于基于所述第一3D图像,获得所述第一对象中的M个子对象的M个深度信息,M为大于等于1的整数;
第四获取单元,用于基于所述第一3D图像与所述M个深度信息,获得所述第一对象的第一个第一对象3D模型。
7.如权利要求6所述的电子设备,其特征在于,所述第二获取单元具体包括:
第一获取子单元,用于至少基于所述第一2D图像和所述第二2D图像,获得所述第一对象的至少一个第一对象几何特征信息;
第二获取子单元,用于基于所述至少一个第一对象几何特征信息,对一参考3D模型进行几何特征调整,获得所述第一对象的第一3D图像,其中,所述第一3D图像具有所述至少一个第一对象几何特征信息。
8.如权利要求7所述的电子设备,其特征在于,所述第三获取单元具体包括:
第一检测子单元,用于检测获得所述第一对象的M个子对象;
第三获取子单元,用于依次取i从1至M,基于所述第一3D图像,获得所述M个子对象中的第i个子对象在所述第一摄像头的第一坐标系中的第i个第一图像坐标和所述第i个子对象在所述第二摄像头的第二坐标系中的第i个第二图像坐标,在i为M时,获得M个第一图像坐标及M个第二图像坐标;
第一计算子单元,用于基于所述M个第一图像坐标和所述M个第二图像坐标,计算获得所述第一坐标系到所述第二坐标系的旋转矩阵和平移向量;
第四获取子单元,用于基于所述旋转矩阵和所述平移向量,获得所述M个子对象的M个深度信息。
9.如权利要求6-8所述的电子设备,其特征在于,所述电子设备还包括:
第五获取单元,用于获得所述第一对象的第三2D图像;
第一确定单元,用于从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
第六获取单元,用于基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
10.如权利要求6-8所述的电子设备,其特征在于,所述电子设备还包括:
第七获取单元,用于获得第二对象的第三2D图像;
第二确定单元,用于从所述第一对象的包含所述第一个第一对象3D模型的至少一个第一对象3D模型中,确定出与所述第三2D图像匹配的所述第一个第一对象3D模型;
第八获取单元,用于基于所述第三2D图像,调整所述第一个第一对象3D模型,获得所述第一对象的第一个性图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410683143.7A CN104378620B (zh) | 2014-11-24 | 2014-11-24 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410683143.7A CN104378620B (zh) | 2014-11-24 | 2014-11-24 | 一种图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104378620A true CN104378620A (zh) | 2015-02-25 |
CN104378620B CN104378620B (zh) | 2017-01-18 |
Family
ID=52557234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410683143.7A Active CN104378620B (zh) | 2014-11-24 | 2014-11-24 | 一种图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104378620B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105100616A (zh) * | 2015-07-27 | 2015-11-25 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
CN105516785A (zh) * | 2016-02-18 | 2016-04-20 | 启云科技股份有限公司 | 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器 |
CN108496357A (zh) * | 2017-04-11 | 2018-09-04 | 深圳市柔宇科技有限公司 | 图片处理方法及装置 |
CN110532751B (zh) * | 2019-09-02 | 2022-05-31 | 联想(北京)有限公司 | 信息处理方法、电子设备和可读存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784299A (zh) * | 2019-01-28 | 2019-05-21 | Oppo广东移动通信有限公司 | 模型处理方法、装置、终端设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452582A (zh) * | 2008-12-18 | 2009-06-10 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
CN102647606A (zh) * | 2012-02-17 | 2012-08-22 | 钰创科技股份有限公司 | 立体影像处理器、立体影像互动系统及立体影像显示方法 |
CN102682469A (zh) * | 2011-02-01 | 2012-09-19 | 卡西欧计算机株式会社 | 具有制作三维模型的功能的图像处理装置及方法 |
JP2013097588A (ja) * | 2011-11-01 | 2013-05-20 | Dainippon Printing Co Ltd | 三次元ポートレートの作成装置 |
CN104123749A (zh) * | 2014-07-23 | 2014-10-29 | 邢小月 | 一种图像处理方法及系统 |
-
2014
- 2014-11-24 CN CN201410683143.7A patent/CN104378620B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452582A (zh) * | 2008-12-18 | 2009-06-10 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
CN102682469A (zh) * | 2011-02-01 | 2012-09-19 | 卡西欧计算机株式会社 | 具有制作三维模型的功能的图像处理装置及方法 |
JP2013097588A (ja) * | 2011-11-01 | 2013-05-20 | Dainippon Printing Co Ltd | 三次元ポートレートの作成装置 |
CN102647606A (zh) * | 2012-02-17 | 2012-08-22 | 钰创科技股份有限公司 | 立体影像处理器、立体影像互动系统及立体影像显示方法 |
CN104123749A (zh) * | 2014-07-23 | 2014-10-29 | 邢小月 | 一种图像处理方法及系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105100616A (zh) * | 2015-07-27 | 2015-11-25 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
CN105100616B (zh) * | 2015-07-27 | 2021-02-19 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
CN105516785A (zh) * | 2016-02-18 | 2016-04-20 | 启云科技股份有限公司 | 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器 |
CN108496357A (zh) * | 2017-04-11 | 2018-09-04 | 深圳市柔宇科技有限公司 | 图片处理方法及装置 |
CN108496357B (zh) * | 2017-04-11 | 2020-11-24 | 深圳市柔宇科技有限公司 | 图片处理方法及装置 |
CN110532751B (zh) * | 2019-09-02 | 2022-05-31 | 联想(北京)有限公司 | 信息处理方法、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104378620B (zh) | 2017-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10652522B2 (en) | Varying display content based on viewpoint | |
CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
KR102697772B1 (ko) | 메시징 시스템 내의 3d 데이터를 포함하는 증강 현실 콘텐츠 생성기들 | |
CN106705837B (zh) | 一种基于手势的物体测量方法及装置 | |
US9886102B2 (en) | Three dimensional display system and use | |
CN110488969B (zh) | 相对于实际物理对象定位虚拟对象的技术 | |
KR102624635B1 (ko) | 메시징 시스템에서의 3d 데이터 생성 | |
US11276238B2 (en) | Method, apparatus and electronic device for generating a three-dimensional effect based on a face | |
US20180276882A1 (en) | Systems and methods for augmented reality art creation | |
US11328481B2 (en) | Multi-resolution voxel meshing | |
US11176355B2 (en) | Facial image processing method and apparatus, electronic device and computer readable storage medium | |
WO2019196745A1 (zh) | 人脸建模方法及相关产品 | |
WO2020024569A1 (zh) | 动态生成人脸三维模型的方法、装置、电子设备 | |
CN104378620A (zh) | 一种图像处理方法及电子设备 | |
US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
US11138743B2 (en) | Method and apparatus for a synchronous motion of a human body model | |
CN111357034A (zh) | 点云生成方法、系统和计算机存储介质 | |
US11727675B2 (en) | Object detection with instance detection and general scene understanding | |
US11978248B1 (en) | Scene graph-based scene re-identification | |
CN109710054B (zh) | 用于头戴式显示设备的虚拟物体呈现方法和装置 | |
CN103218775A (zh) | 一种人像照片变脸的方法 | |
CN104952058B (zh) | 一种信息处理的方法及电子设备 | |
WO2020219379A1 (en) | Generating a semantic construction of a physical setting | |
US20240257478A1 (en) | Portal view for content items | |
US11816798B1 (en) | 3D surface representation refinement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |