CN104881114A - 一种基于3d眼镜试戴的角度转动实时匹配方法 - Google Patents

一种基于3d眼镜试戴的角度转动实时匹配方法 Download PDF

Info

Publication number
CN104881114A
CN104881114A CN201510242422.4A CN201510242422A CN104881114A CN 104881114 A CN104881114 A CN 104881114A CN 201510242422 A CN201510242422 A CN 201510242422A CN 104881114 A CN104881114 A CN 104881114A
Authority
CN
China
Prior art keywords
glasses
face
glasses model
model
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510242422.4A
Other languages
English (en)
Other versions
CN104881114B (zh
Inventor
陈洪标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinshidai Eye Health Technology Co.,Ltd.
Original Assignee
Shenzhen That Like Its Vision Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen That Like Its Vision Science And Technology Ltd filed Critical Shenzhen That Like Its Vision Science And Technology Ltd
Priority to CN201510242422.4A priority Critical patent/CN104881114B/zh
Publication of CN104881114A publication Critical patent/CN104881114A/zh
Application granted granted Critical
Publication of CN104881114B publication Critical patent/CN104881114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种基于3D眼镜试戴的角度转动实时匹配方法,包括:步骤S1,通过摄像头对人脸画面进行捕捉,并在人脸上进行三维注册,建立原始的人脸三维坐标;步骤S2,建模得到原始的眼镜模型;步骤S3,对人脸三维坐标进行缩放、平移和旋转,得到标准的人脸图像;步骤S4,原始的眼镜模型跟随人脸三维坐标的变化而实时进行缩放、平移和旋转,得到标准的眼镜模型;步骤S5,将标准的眼镜模型放置在标准的人脸图像上实现图像合成;步骤S6,对眼镜模型和人脸图像进行叠加生成演示图像。本发明即使在人脸转动很小的角度也能够实现3D眼镜试戴的实时跟随和匹配,无需特别的设备,使用方便,成本低,效果好。

Description

一种基于3D眼镜试戴的角度转动实时匹配方法
技术领域
本发明涉及一种虚拟产品试戴的角度转动匹配方法,尤其涉及一种基于3D眼镜试戴的角度转动实时匹配方法。
背景技术
目前基于3D眼镜试戴的方式有以下几种方式:第一,通过微软发行的Kinect体感设备和微软发布的Kinect程序二次开发包,以红外检测的方式,达到人体移动的时候红外检测点实时的进行移动,再将虚拟的眼镜模型与已经检测到的红外点进行绑定,达到位置的同步移动;第二,基于平面图片的眼镜虚拟试戴,通过用户上传自己的照片来实现眼镜虚拟试戴,通过对平面图形的面部识别算法来识别用户上传的照片中的人脸部分,从而将眼镜图片与之叠加;第三,基于Total Immersion SDK的眼镜虚拟试戴,这是目前国外的一款非常流行的二次开发SDK,通过国外已经开发并封装好的SDK进行项目的二次技术开发,开发效果和性能较好,但是加入开发的成本高昂,而且每一个项目,每一个平台都需要向法国总部支付费用,而且开发限制非常多,不能连接数据库、不能随意让客户进行修改等。
以上几种方式均存在各种各样的缺陷:第一,基于Kinect体感设备的眼镜虚拟试戴缺陷包括:需要特定的Kinect体感硬件设备,费用高昂;识别过程需要先通过人体识别从而进行面部识别;识别过程容易收到干扰,识别不稳定。第二,基于平面图片的眼镜虚拟试戴缺陷包括:试戴过程过于死板和僵化,没有实时的互动性;通过用户上传照片的方式进行试戴,无法同一时刻体验到戴上眼镜的不同角度试戴,操作麻烦不简便。第三,基于Total Immersion SDK的眼镜虚拟试戴缺陷包括:基于原厂家的二次开发难度大,不方便,而且成本高;技术限制多,如无法连接数据库,无法实时修改开发内容;二次开发产品带有水印,去水印费用高,且每年都需要缴费,不利于长期发展。
同时,现有的3D眼镜试戴在客户转动角度的时候,实时跟随的效果很差,特别是在小角度转动时,虚拟试戴的模型很可能不会有跟随的反应。
发明内容
本发明所要解决的技术问题是需要提供一种即使是很小的角度也能够实时跟随的基于3D眼镜试戴的角度转动实时匹配方法,实现3D眼镜试戴无需特别的设备,使用方便,成本低,效果好。
对此,本发明提供一种基于3D眼镜试戴的角度转动实时匹配方法,包括以下步骤:
步骤S1,通过摄像头对人脸画面进行捕捉,采集摄像头区域的灰度数据,通过人脸与人脸周围的灰度变化关系判断出人脸的区域,在判断出人脸区域之后,在人脸上进行三维注册,把三维空间坐标定位在人脸位置并以人脸中心为坐标原点,建立原始的人脸三维坐标;
步骤S2,通过3dmax软件对试戴眼镜进行原始建模,得到原始的眼镜模型;
步骤S3,对人脸三维坐标进行缩放、平移和旋转,得到标准的人脸图像;
步骤S4,控制眼镜模型与标准的人脸图像实现同步的移动与旋转,并在人脸与摄像头之间的距离发生变化的时候,眼镜模型根据人脸与摄像头之间的距离变化进行缩放变化,进而实现原始的眼镜模型跟随人脸三维坐标的变化而实时进行缩放、平移和旋转,得到标准的眼镜模型;
步骤S5,将步骤S4得到的标准的眼镜模型放置在步骤S3得到的标准的人脸图像上,实现图像合成;
以及,步骤S6,对步骤S5的眼镜模型和人脸图像进行叠加,生成最终的演示图像。
本发明的进一步改进在于,所述眼镜模型在3dmax软件中设定了自己的坐标点和位置信息,当人脸转动时眼镜模型便跟着人脸的转动而转动。
本发明的进一步改进在于,步骤S2中,通过3dmax软件对试戴眼镜的照片进行原始建模,得到原始的眼镜模型,然后对眼镜模型进行贴图烘焙处理;所述贴图烘焙处理为对眼镜模型各个不同的部位贴上贴图,贴图由试戴眼镜的照片拍摄并且通过PS处理得到,通过贴图与眼镜模型之间的关系划分眼镜模型的UV数据,最后在3dmax软件或maya软件中对眼镜模型进行打光和烘焙效果处理,将效果烘焙到一张或者几张贴图上面,进而得到烘焙处理后的贴图文件。
本发明的进一步改进在于,所述步骤S4中,将得到的眼镜模型的中点放置在人脸图像的中点下方的2~4mm后实现图像合成。
本发明的进一步改进在于,所述步骤S3的缩放和步骤S4中的缩放均采用事先约定好的缩放倍数。
本发明的进一步改进在于,若原始的穿戴部位三维坐标中的两个点的实际距离为2x毫米,这两个点在标准的穿戴部位图像中的像素差约定为3x,那么当这两点在原始的穿戴部位三维坐标中的像素差为h,则其从原始的穿戴部位三维坐标到标准的穿戴部位图像的缩放比例为3x/h。
本发明的进一步改进在于,所述步骤S3和步骤S4中,所述平移的位移量为: ΔX = 200 - ( ( x 1 + x 2 ) / 2 ) * zoomface = 200 - ( ( x 1 + x 2 ) / 2 ) * ( 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) ) ; ΔY = 250 - ( ( y 1 + y 2 ) / 2 ) * zoomface = 250 - ( ( y 1 + y 2 ) / 2 ) * ( 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) ) ; 其中,ΔX是人脸图像和眼镜模型所需要平移的x轴数据,ΔY人脸图像和眼镜模型所需要平移的y轴数据,x1为人脸图像的中心的x轴数据,x2为眼镜模型的中心的x轴数据,y1为人脸图像的中心的y轴数据,y2为眼镜模型的中心的y轴数据,zoomface是固定的偏移参数,PD是矫正参数,所述PD为0.5~1,所述 zoomface = 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) . 经证明,所述PD最佳为0.85。
本发明的进一步改进在于,还包括步骤S7,实时检测用户的拍照指令,在接收到用户的拍照指令后对演示图像进行拍照并生成本地二维码,用户扫描本地二维码即可在无网络状态下直接下载穿戴效果图。
本发明的进一步改进在于,所述步骤S7中,在接收到拍照指令后,对当前整个屏幕画面进行捕捉,并将捕捉到的画面以二进制文件的形式进行本地存储,然后将存储二进制文件的位置编写进本地二维码中。
与现有技术相比,本发明的有益效果在于:本发明将人脸与人脸边缘环境进行灰度计算,得到人脸的区域,将获得的人脸区域作为一个新的坐标轴建立XYZ轴,这个XYZ轴便是注册在人脸上的三维标记,进而得到人脸三维坐标,当头部有转动的时候人脸三维坐标会跟着转动,即使人脸在转动角度为小于3°以下的小角度时,虚拟的眼镜模型也能够实时跟随人脸三维坐标一起转动,进而使得虚拟的眼镜试戴能够有真的戴在人脸上一般神奇和顺畅的效果,哪怕是在3°以下的小角度转动的时候跟踪稳定贴合度也非常高,并且,由于建模细致并经过了贴图烘焙处理,因此眼镜模型效果真实;在此基础上,本发明无需特别的设备,普通电脑或手机摄像头便能实现虚拟穿戴和虚拟试戴,消费者使用方便,成本低,试戴过程方便简单,只要用户的人脸出现在摄像头检测范围内即可,当用户穿戴效果良好想要进行拍照的时候,只需通过触摸拍照按钮等方式发送拍照指令,即可实现穿戴效果图的拍照并自动生成本地二维码,用户扫描本地二维码便能访问下载图片,这一过程无需连接网络,在连通网络之后还能对其进行微信和朋友圈分享等功能,将试戴效果传播出去,让更多人了解。
附图说明
图1是本发明一种实施例的工作流程示意图。
具体实施方式
下面结合附图,对本发明的较优的实施例作进一步的详细说明。
如图1所示,本例提供一种基于3D眼镜试戴的角度转动实时匹配方法,包括以下步骤:
步骤S1,通过摄像头对人脸画面进行捕捉,采集摄像头区域的灰度数据,通过人脸与人脸周围的灰度变化关系判断出人脸的区域,在判断出人脸区域之后,在人脸上进行三维注册,把三维空间坐标定位在人脸位置并以人脸中心为坐标原点,建立原始的人脸三维坐标;
步骤S2,通过3dmax软件对试戴眼镜进行原始建模,得到原始的眼镜模型;
步骤S3,对人脸三维坐标进行缩放、平移和旋转,得到标准的人脸图像;
步骤S4,控制眼镜模型与标准的人脸图像实现同步的移动与旋转,并在人脸与摄像头之间的距离发生变化的时候,眼镜模型根据人脸与摄像头之间的距离变化进行缩放变化,进而实现原始的眼镜模型跟随人脸三维坐标的变化而实时进行缩放、平移和旋转,得到标准的眼镜模型;
步骤S5,将步骤S4得到的标准的眼镜模型放置在步骤S3得到的标准的人脸图像上,实现图像合成;
以及,步骤S6,对步骤S5的眼镜模型和人脸图像进行叠加,生成最终的演示图像。
本例所述步骤S1和步骤S2的不是顺序步骤,可以步骤S2和步骤S1同时进行;也可以是先完成步骤S2,即事先对试戴眼镜进行好原始建模,得到原始的眼镜模型对应的数据库,使用的时候,直接根据用户的选择在数据库中调取用户所需要的眼镜模型即可。所述步骤S3和步骤S4用于实现在使用者移动或转动的时候,使得原始的人脸三维坐标和原始的眼镜模型实时跟随变化,进而得到最新的、实时跟随的人脸图像和眼镜模型,即得到标准的人脸图像和标准的眼镜模型,步骤S4对眼镜模型的缩放、平移和旋转处理与步骤S3对人脸图像的缩放、平移和旋转处理是实时跟随的。
本例首先通过摄像头对人脸进行捕捉,对人脸进行灰度采集与坐标确定,即以人脸的中心为中点在人脸上建立起三维空间的人脸三维坐标,所述建立起三维空间的人脸三维坐标的过程为:通过摄像头对人脸的画面进行捕捉,通过人脸与人脸周围的灰度变化关系判断出人脸的区域,因为人脸在摄像头的捕捉下即使人是静止不动的,人脸也会有极轻微的转动,那么,人脸周围区域也会有灰度变化,依此原理判断出人脸区域之后,我们在人脸上进行人脸三维注册,并把空间坐标定位在人脸位置,而眼镜模型位于人脸三维坐标的在建模软件中所设定的位置中,该眼镜模型拥有自己的坐标点,当人脸转动时眼镜模型便跟着人脸进行转动。
现有技术中,当人脸转动角度过小时,比如转动小于3°时,虚拟的3D眼镜试戴是没办法实时跟随的,导致试戴效果不好;而本例将人脸与人脸边缘环境进行灰度计算,得到人脸的区域,将获得的人脸区域作为一个新的坐标轴建立XYZ轴,这个XYZ轴便是注册在人脸上的三维标记,进而得到人脸三维坐标,当头部有转动的时候人脸三维坐标会跟着转动,即使人脸在转动角度为小于3°以下的小角度时,虚拟的眼镜模型也能够实时跟随人脸三维坐标一起转动,进而使得虚拟的眼镜试戴能够有真的戴在人脸上一般神奇和顺畅的效果,哪怕是在3°以下的小角度转动的时候跟踪稳定贴合度也非常高。
然后再将眼镜模型放置在虚拟的三维坐标的中点,让眼镜模型与人脸三维坐标一起移动与旋转,当人脸与摄像头的距离发生变化的时候,其眼镜模型与人脸坐标也一起根据透视的原理进行缩放变化,这整个过程都是通过虚拟图像与现实场景叠加的方式进行,在这个变换的过程中,用户可以随时进行合成图像和拍照等功能。
本例所述眼镜模型在3dmax软件中设定了自己的坐标点和位置信息,当人脸转动时眼镜模型便跟着人脸的转动而转动,这样做的好处在于能够促进实时跟随的效果。
本例所述步骤S2中,通过3dmax软件对试戴眼镜的照片进行原始建模,得到原始的眼镜模型,然后对眼镜模型进行贴图烘焙处理;所述贴图烘焙处理为对眼镜模型各个不同的部位贴上贴图,贴图由试戴眼镜的照片拍摄并且通过PS处理得到,通过贴图与眼镜模型之间的关系划分眼镜模型的UV数据,最后在3dmax软件或maya软件中对眼镜模型进行打光和烘焙效果处理,将效果烘焙到一张或者几张贴图上面,进而得到烘焙处理后的贴图文件,以便得到更加真实的眼镜模型。
本例所述步骤S4中,将得到的眼镜模型的中点放置在人脸图像的中点下方的2~4mm后实现图像合成。也就是说,本例所述的平移算法与实施例1的平移算法有所改进,改进的地方主要是考虑了眼镜镜架自身重力因素,进而提高虚拟试戴真实度,这是眼镜试戴放大的一个关键,因为眼镜通过鼻托安放在鼻梁上,因其自身重力影响而自然下垂2-4mm,因此,本例在眼镜试戴方法的时候考虑了眼镜自然下垂的影响,没有将瞳孔位置直接放在镜架水平中心线上,否则就会显得不真实。
所述缩放是指原始的人脸三维坐标与原始的眼镜模型的缩放,即指的是对原始的人脸三维坐标或人脸图像以及原始的眼镜模型的缩放,需要进行人脸与试戴眼镜按照真实比例演示虚拟穿戴,就必须要进行图像的缩放。
这种图像的缩放的解决方案有三种:第一种是缩放人脸三维坐标以适应眼镜模型的大小;第二种是缩放眼镜模型以适应人脸三维坐标的大小;第三种是将原始的人脸三维坐标与原始的眼镜模型按照事先约定好的“协议”同时缩放人脸三维坐标和眼镜模型,本例使用的是第三种方案,它将更有利于用制作好的标准的人脸图像去适应大量不同的镜架库中的标准的眼镜模型;本例应用第三种方案,相当于对眼镜模型和人脸三维坐标提出了一种相互之间都遵循的协议,或者说是一种预先设置好的标准,来达到原始的人脸三维坐标与原始的眼镜模型在缩放这点上的“默契”。
本例所述步骤S3的缩放和步骤S4中的缩放均采用事先约定好的缩放倍数,其所采用缩放协议的内容为:设定原始的人脸三维坐标中的目标物上的两个点的实际距离为2x毫米,这两个点在标准的人脸图像中的像素差约定为3x,那么当这两点在原始的人脸三维坐标中的像素差为h,则其从原始的人脸三维坐标到标准的人脸图像的缩放比例为3x/h,所述标准的人脸图像也称标准图像。
该缩放协议的正确性的推导如下:假设真实世界中有两点间的距离为2x毫米,那么在标准的人脸图像中的像素差为3x;原始的人脸三维坐标中这两点的像素差为h1,按照协议得到缩放比例则为3x/h1。另外两点间的距离为2y毫米,那么在标准的人脸图像中的像素差为3y;原始的人脸三维坐标中这两点的像素差为h2按照协议得到缩放比例为3y/h2。真实世界中距离比=2y:2x=(h2*3y/h2):(h1*3x/h1)=3y:3x=标准的人脸图像中的像素差比。本例所述的x、y和h均为自然数。
本例所述步骤S3和步骤S4中,所述平移的位移量为: ΔX = 200 - ( ( x 1 + x 2 ) / 2 ) * zoomface = 200 - ( ( x 1 + x 2 ) / 2 ) * ( 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) ) ; ΔY = 250 - ( ( y 1 + y 2 ) / 2 ) * zoomface = 250 - ( ( y 1 + y 2 ) / 2 ) * ( 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) ) ; 其中,ΔX是人脸图像和眼镜模型所需要平移的x轴数据,ΔY人脸图像和眼镜模型所需要平移的y轴数据,x1为人脸图像的中心的x轴数据,x2为眼镜模型的中心的x轴数据,y1为人脸图像的中心的y轴数据,y2为眼镜模型的中心的y轴数据,zoomface是固定的偏移参数,PD是矫正参数,所述PD为0.5~1,所述 zoomface = 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) . 经证明,所述PD最佳为0.85。
本例由于在眼镜模型与人脸图像之间经过了上述标准化算法处理,因此眼镜模型与人脸图像之间的跟踪识别便特别准确顺畅;所述眼镜模型通过3dmax软件建模得到,每一个眼镜模型都是超过10万个面的高精模型。
本例所述的平移采用上述的平移算法进而得到平移的位移量,即针对人脸三维坐标和眼镜模型分别计算出相对位移量,然后根据相对位移量分别对人脸三维坐标和眼镜模型进行平移,使得眼镜模型到达人脸三维坐标的合适位置。
本例所述的旋转,主要是根据采集人脸的灰度数据变换进而判断人脸的角度变化,进而控制眼镜模型实现实时的角度跟随,使得眼镜模型就像是贴在标准的人脸图像上一样,能够根据使用者的位置和角度变换,进而实现虚拟穿戴效果的实时跟随。
本例还优选包括步骤S7,实时检测用户的拍照指令,在接收到用户的拍照指令后对演示图像进行拍照并生成本地二维码,用户扫描本地二维码即可在无网络状态下直接下载试戴效果图;所述步骤S7中,在接收到拍照指令后,对当前整个屏幕画面进行捕捉,并将捕捉到的画面以二进制文件的形式进行本地存储,然后将存储二进制文件的位置编写进本地二维码中;所述试戴效果图即演示图像。
在步骤S7中,用户可以对当前整个画面进行捕捉,并将其以文件的形式进行保存;在图片文件保存之后,会出现一个二维码图片,使用者用手机扫描二维码便可获取图片进行下一步分享操作;与现有技术不同的是:我们的拍照功能会将整个屏幕截图文件进行储存,存储的格式是二进制文件,存储的方式是本地存储,然后将储存的位置编写进二维码中,用户在通过手机进行二维码扫描即可直接访问二进制文件的存储位置,无需网络条件下即可进行图片的保存,保存的图片文件没有经过压缩,不会产生失真,并且还能够分享至朋友圈。
所述本地二维码是指存储位置位于本地智能终端、本地存储器或本地服务器的二维码,该二维码会以二进制文件的格式对进行试戴效果图存储,不经过压缩和处理,因此,试戴效果图不会产生失真,即使在无网络的情况下,也能够方便的实现下载和保存功能。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,包括以下步骤:
步骤S1,通过摄像头对人脸画面进行捕捉,采集摄像头区域的灰度数据,通过人脸与人脸周围的灰度变化关系判断出人脸的区域,在判断出人脸区域之后,在人脸上进行三维注册,把三维空间坐标定位在人脸位置并以人脸中心为坐标原点,建立原始的人脸三维坐标;
步骤S2,通过3dmax软件对试戴眼镜进行原始建模,得到原始的眼镜模型;
步骤S3,对人脸三维坐标进行缩放、平移和旋转,得到标准的人脸图像;
步骤S4,控制眼镜模型与标准的人脸图像实现同步的移动与旋转,并在人脸与摄像头之间的距离发生变化的时候,眼镜模型根据人脸与摄像头之间的距离变化进行缩放变化,进而实现原始的眼镜模型跟随人脸三维坐标的变化而实时进行缩放、平移和旋转,得到标准的眼镜模型;
步骤S5,将步骤S4得到的标准的眼镜模型放置在步骤S3得到的标准的人脸图像上,实现图像合成;
以及,步骤S6,对步骤S5的眼镜模型和人脸图像进行叠加,生成最终的演示图像。
2.根据权利要求1所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,所述眼镜模型在3dmax软件中设定了自己的坐标点和位置信息,当人脸转动时眼镜模型便跟着人脸的转动而转动。
3.根据权利要求1所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,步骤S2中,通过3dmax软件对试戴眼镜的照片进行原始建模,得到原始的眼镜模型,然后对眼镜模型进行贴图烘焙处理;所述贴图烘焙处理为对眼镜模型各个不同的部位贴上贴图,贴图由试戴眼镜的照片拍摄并且通过PS处理得到,通过贴图与眼镜模型之间的关系划分眼镜模型的UV数据,最后在3dmax软件或maya软件中对眼镜模型进行打光和烘焙效果处理,将效果烘焙到一张或者几张贴图上面,进而得到烘焙处理后的贴图文件。
4.根据权利要求1所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,所述步骤S4中,将得到的眼镜模型的中点放置在人脸图像的中点下方的2~4mm后实现图像合成。
5.根据权利要求1至4任意一项所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,所述步骤S3的缩放和步骤S4中的缩放均采用事先约定好的缩放倍数。
6.根据权利要求5所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,若原始的穿戴部位三维坐标中的两个点的实际距离为2x毫米,这两个点在标准的穿戴部位图像中的像素差约定为3x,那么当这两点在原始的穿戴部位三维坐标中的像素差为h,则其从原始的穿戴部位三维坐标到标准的穿戴部位图像的缩放比例为3x/h。
7.根据权利要求1至4任意一项所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,所述步骤S3和步骤S4中,所述平移的位移量为: ΔX = 200 - ( ( x 1 + x 2 ) / 2 ) * zoomface = 200 - ( ( x 1 + x 2 ) / 2 ) * ( 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) ) ; ΔY = 250 - ( ( y 1 + y 2 ) / 2 ) * zoomface = 250 - ( ( y 1 + y 2 ) / 2 ) * ( 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) ) ; 其中,ΔX是人脸图像和眼镜模型所需要平移的x轴数据,ΔY人脸图像和眼镜模型所需要平移的y轴数据,x1为人脸图像的中心的x轴数据,x2为眼镜模型的中心的x轴数据,y1为人脸图像的中心的y轴数据,y2为眼镜模型的中心的y轴数据,zoomface是固定的偏移参数,PD是矫正参数,所述PD为0.5~1,所述 zoomface = 3 * PD / ( 2 * ( y 2 - y 1 ) 2 + ( x 2 - x 1 ) 2 ) .
8.根据权利要求7所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,所述PD为0.85。
9.根据权利要求1至4任意一项所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,还包括步骤S7,实时检测用户的拍照指令,在接收到用户的拍照指令后对演示图像进行拍照并生成本地二维码,用户扫描本地二维码即可在无网络状态下直接下载穿戴效果图。
10.根据权利要求9所述的基于3D眼镜试戴的角度转动实时匹配方法,其特征在于,所述步骤S7中,在接收到拍照指令后,对当前整个屏幕画面进行捕捉,并将捕捉到的画面以二进制文件的形式进行本地存储,然后将存储二进制文件的位置编写进本地二维码中。
CN201510242422.4A 2015-05-13 2015-05-13 一种基于3d眼镜试戴的角度转动实时匹配方法 Active CN104881114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510242422.4A CN104881114B (zh) 2015-05-13 2015-05-13 一种基于3d眼镜试戴的角度转动实时匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510242422.4A CN104881114B (zh) 2015-05-13 2015-05-13 一种基于3d眼镜试戴的角度转动实时匹配方法

Publications (2)

Publication Number Publication Date
CN104881114A true CN104881114A (zh) 2015-09-02
CN104881114B CN104881114B (zh) 2019-09-03

Family

ID=53948637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510242422.4A Active CN104881114B (zh) 2015-05-13 2015-05-13 一种基于3d眼镜试戴的角度转动实时匹配方法

Country Status (1)

Country Link
CN (1) CN104881114B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648098A (zh) * 2016-12-23 2017-05-10 武汉市马里欧网络有限公司 一种自定义场景的ar投影方法及系统
CN107103513A (zh) * 2017-04-23 2017-08-29 广州帕克西软件开发有限公司 一种眼镜虚拟试戴方法
CN107122774A (zh) * 2017-03-28 2017-09-01 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统
WO2019033923A1 (zh) * 2017-08-14 2019-02-21 迈吉客科技(北京)有限公司 一种图像渲染方法和系统
CN110533775A (zh) * 2019-09-18 2019-12-03 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
CN110619556A (zh) * 2019-08-27 2019-12-27 镜本营科技有限公司 一种ar试戴自动售卖系统
CN110892315A (zh) * 2017-06-01 2020-03-17 卡尔蔡司光学国际有限公司 用于眼镜架的虚拟配适的方法、设备和计算机程序
CN111009031A (zh) * 2019-11-29 2020-04-14 腾讯科技(深圳)有限公司 一种人脸模型生成的方法、模型生成的方法及装置
CN112258280A (zh) * 2020-10-22 2021-01-22 恒信东方文化股份有限公司 一种提取多角度头像生成展示视频的方法及系统
CN112883919A (zh) * 2021-03-22 2021-06-01 温州大学 一种基于人脸特征增强匹配的眼镜选配方法及装置
CN112927343A (zh) * 2019-12-05 2021-06-08 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1495447A1 (en) * 2002-03-26 2005-01-12 KIM, So-Woon System and method for 3-dimension simulation of glasses
CN103456008A (zh) * 2013-08-26 2013-12-18 刘晓英 一种面部与眼镜匹配方法
CN104111954A (zh) * 2013-04-22 2014-10-22 腾讯科技(深圳)有限公司 一种获取位置信息的方法、装置和系统
CN104407709A (zh) * 2014-12-09 2015-03-11 北京银河润泰科技有限公司 可穿戴设备的穿戴状态的处理方法及装置
CN104408764A (zh) * 2014-11-07 2015-03-11 成都好视界眼镜有限公司 眼镜虚拟试戴方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1495447A1 (en) * 2002-03-26 2005-01-12 KIM, So-Woon System and method for 3-dimension simulation of glasses
CN104111954A (zh) * 2013-04-22 2014-10-22 腾讯科技(深圳)有限公司 一种获取位置信息的方法、装置和系统
CN103456008A (zh) * 2013-08-26 2013-12-18 刘晓英 一种面部与眼镜匹配方法
CN104408764A (zh) * 2014-11-07 2015-03-11 成都好视界眼镜有限公司 眼镜虚拟试戴方法、装置及系统
CN104407709A (zh) * 2014-12-09 2015-03-11 北京银河润泰科技有限公司 可穿戴设备的穿戴状态的处理方法及装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648098A (zh) * 2016-12-23 2017-05-10 武汉市马里欧网络有限公司 一种自定义场景的ar投影方法及系统
CN107122774B (zh) * 2017-03-28 2019-12-03 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统
CN107122774A (zh) * 2017-03-28 2017-09-01 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统
WO2018176958A1 (zh) * 2017-03-28 2018-10-04 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统
CN107103513A (zh) * 2017-04-23 2017-08-29 广州帕克西软件开发有限公司 一种眼镜虚拟试戴方法
CN107103513B (zh) * 2017-04-23 2020-12-29 广州帕克西软件开发有限公司 一种眼镜虚拟试戴方法
US11215845B2 (en) 2017-06-01 2022-01-04 Carl Zeiss Vision International Gmbh Method, device, and computer program for virtually adjusting a spectacle frame
CN110892315A (zh) * 2017-06-01 2020-03-17 卡尔蔡司光学国际有限公司 用于眼镜架的虚拟配适的方法、设备和计算机程序
US11262597B2 (en) 2017-06-01 2022-03-01 Carl Zeiss Vision International Gmbh Method, device, and computer program for virtually adjusting a spectacle frame
CN110892315B (zh) * 2017-06-01 2021-03-12 卡尔蔡司光学国际有限公司 用于眼镜架的虚拟配适的方法、设备和计算机程序
WO2019033923A1 (zh) * 2017-08-14 2019-02-21 迈吉客科技(北京)有限公司 一种图像渲染方法和系统
CN110619556A (zh) * 2019-08-27 2019-12-27 镜本营科技有限公司 一种ar试戴自动售卖系统
CN110533775A (zh) * 2019-09-18 2019-12-03 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
CN110533775B (zh) * 2019-09-18 2023-04-18 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
CN111009031B (zh) * 2019-11-29 2020-11-24 腾讯科技(深圳)有限公司 一种人脸模型生成的方法、模型生成的方法及装置
CN111009031A (zh) * 2019-11-29 2020-04-14 腾讯科技(深圳)有限公司 一种人脸模型生成的方法、模型生成的方法及装置
CN112927343A (zh) * 2019-12-05 2021-06-08 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN112927343B (zh) * 2019-12-05 2023-09-05 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN112258280A (zh) * 2020-10-22 2021-01-22 恒信东方文化股份有限公司 一种提取多角度头像生成展示视频的方法及系统
CN112883919A (zh) * 2021-03-22 2021-06-01 温州大学 一种基于人脸特征增强匹配的眼镜选配方法及装置

Also Published As

Publication number Publication date
CN104881114B (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN104881114A (zh) 一种基于3d眼镜试戴的角度转动实时匹配方法
CN104881526A (zh) 一种基于3d的物品穿戴方法及眼镜试戴方法
CN104898832A (zh) 一种基于智能终端的3d实时眼镜试戴方法
Arth et al. The history of mobile augmented reality
US9665986B2 (en) Systems and methods for an augmented reality platform
CN114981844A (zh) 3d身体模型生成
CN106973228B (zh) 一种拍摄方法及电子设备
CN110874818B (zh) 图像处理和虚拟空间构建方法、装置、系统和存储介质
CN109584295A (zh) 对图像内目标物体进行自动标注的方法、装置及系统
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
WO2022093939A1 (en) Side-by-side character animation from realtime 3d body motion capture
CN105659592A (zh) 用于三维视频的相机系统
CN116457829A (zh) 个性化化身实时运动捕获
CN116508063A (zh) 身体动画共享和再混合
US11836866B2 (en) Deforming real-world object using an external mesh
CN116457833A (zh) 假肢体的实时运动转移
CN104899917A (zh) 一种基于3d的物品虚拟穿戴的图片保存和分享方法
WO2015112647A1 (en) Object oriented image processing and rendering in a multi-dimensional space
CN115867882A (zh) 用于图像的基于出行的增强现实内容
US10102226B1 (en) Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures
US20130250048A1 (en) Method of capture, display and sharing of orientation-based image sets
CN115769260A (zh) 基于光度测量的3d对象建模
CN108205822B (zh) 贴图方法及装置
CN113253842A (zh) 场景编辑方法和相关装置、设备
CN107945270A (zh) 一种三维数字沙盘系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210907

Address after: 518000 LianJian building 203, Longgang Avenue (Henggang section), Huale community, Henggang street, Longgang District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Xinshidai Eye Health Technology Co.,Ltd.

Address before: 518000 shops 12, 13, 22, 23 and 25, floor 3, Henggang building, No. 5008, Longgang Avenue, Henggang street, Longgang District, Shenzhen, Guangdong

Patentee before: SHENZHEN BIAIQI VISION TECHNOLOGY Co.,Ltd.