CN104809638A - 一种基于移动终端的眼镜虚拟试戴方法和系统 - Google Patents

Abstract

本发明涉及计算机视觉及虚拟穿戴结合的技术领域，本发明公开了一种基于移动终端的眼镜虚拟试戴方法，其具体包括以下的步骤：步骤一、根据已知的识别物的尺寸计算出用户的脸部尺寸；步骤二、用户取下识别物，摄像头获取实时的脸部图像，采用快速脸部识别算法对实时的脸部图像中的人脸特征点进行标注，根据标注的结果估计出头部的姿态信息和脸型信息，并结合步骤一得到的脸部尺寸确定虚拟眼镜的位置坐标；步骤三、获取选中的眼镜的信息，得到眼镜的图像，并将该图像叠加到步骤二确定的坐标上，然后将该叠加了眼镜的人脸图像实时显示在移动终端的显示屏上。以方便用户得到好的购物体验，本发明还公开了基于移动终端的眼镜虚拟试戴系统。

Description

一种基于移动终端的眼镜虚拟试戴方法和系统

技术领域

本发明涉及计算机视觉与虚拟穿戴相结合的技术领域，尤其涉及一种基于移动终端的虚拟眼镜试戴方法和系统。

背景技术

随着移动互联网的深入发展，越来越多的用户开始使用手机、平板电脑等移动终端进行网络购物。与传统店铺购物相比，基于移动终端的网络购物有不受时间地点约束、种类齐全、价格低廉等优点，但是网络购物最大的缺点是对商品的观察不如传统店铺全面直观。网上商城通常只能通过图片或视频对商品进行展示，顾客难以利用这种方式精确选择适合自己的个性化商品。

眼镜是一种典型的个性化商品，受到网上展示不直观的影响，用户难以在网络购物的过程中体验到真实的试戴感觉，从而难以选择适合自己的个性化眼镜。

为了解决上述问题，一些方案提出了自己的解决办法，但目前已知的解决方案在精度、速度和硬件依赖上都有短板，难以有效地应用到手机、平板电脑等移动终端上。

基于人脸识别技术的混合显示眼镜交互展示方法（公开号：CN1034000119A）利用主动外观模型对人脸图像进行标定，而后利用标定结果进行头部姿态估计，最后根据头部姿态估计的结果，将虚拟眼镜显示到原始图像上。该方法的主要问题在于主动外观模型的计算量大，且精度不高，不能较好的运用在手机、平板电脑等移动终端的嵌入式系统中，另外该方法也无法准确获得人脸的尺寸信息，因此无法得到人脸和眼镜大小合适程度的判断，即无法解决眼镜虚拟试戴合不合适的问题；虚拟试穿试戴系统和虚拟试穿试戴方法（公开号：CN104021590A）利用多组摄像头和深度信息传感器共同捕获人体姿态信息，再通过虚拟现实技术将眼镜等虚拟物体展示到原始图像上，得益于多视角视觉信息和深度信息，该方法理论上能达到的精度较高，缺点是计算量大，且需要多组摄像头和额外的深度信息传感器，移动终端的硬件条件不符合要求。眼镜虚拟试戴方法、装置及系统（公开号：CN104408764A）根据获得的人脸图像建立三维坐标系，将选取的预建立的三维眼镜模型定位于预建立的三维人脸模型上，再将三维人脸模型定位于三维坐标系中的人脸图像模型上，并缩放三维人脸模型使得三维人脸模型与三维坐标系中的人脸图像模型相匹配，显示三维眼镜模型及人脸图像模型。该方法缺点明显，首先大量工作需要消费者人工干预，且不支持人侧脸大角度情况下的眼镜佩戴。通常的眼镜试戴解决方案当摆头和侧头时，眼镜会消失或者所戴位置完全错误，导致试戴失败。我们能很好解决这个问题，是因为我们采用了CLM人脸模型并通过机器学习得到的人脸训练库，能确保在侧脸和摆头是仍然可获取人脸的特征点坐标。通常的眼镜试戴解决方案没有脸部尺度计算，无法判断眼镜合不合适。虚拟试戴方法及装置（公开号：CN104299143A）从实景视频中检测出人眼瞳孔，再将眼镜模型和人眼瞳孔位置相融合，完成眼镜虚拟试戴。该方法仅仅靠左右瞳孔两个点确定三维眼镜的6个自由度，坐标一一融合的原理就不通，实际的佩戴效果可以想象。眼镜虚拟试戴互动服务系统与方法（公开号：CN102867321A）先透过画面内的框架来定位人脸，取得相应的人脸影像中的某些特征点位置，后续每一张都和第一张图像特征点进行对比判断人脸的位置、移动状态与缩放比例，再将预设的眼镜模型合成于该位置。这个方法相当于虚拟眼镜是靠消费者自己调整脸而凑上去的，不是通过算法添加上去的，所有试戴的效果只和第一张图像凑的结果有关，这个方法试戴效果难以保证。实现虚拟试戴的方法和装置（公开号：CN104217350A）对于人脸特征的提取速度慢，满足不了实时试戴的要求，且没有人脸尺寸，无法判断试戴合不合适。

发明内容

针对现有技术中的眼镜虚拟试戴方法计算量大，无法在移动终端上实现的技术问题，本发明公开了一种基于移动终端的眼镜虚拟试戴方法，本发明还公开了一种基于移动终端的眼镜虚拟试戴系统。

本发明的具体实现方式如下：

一种基于移动终端的眼镜虚拟试戴方法，其具体包括以下的步骤：步骤一、用户将已知尺寸的识别物贴合于脸部的固定位置，移动终端上的摄像头获取此时用户的脸部图像，并采用脸部识别算法得到用户的脸部轮廓，再从该脸部图像中提取出识别物的边缘图像，根据已知的识别物的尺寸计算出用户的脸部尺寸；步骤二、用户取下识别物，将脸部面对摄像头，摄像头获取实时的脸部图像，采用快速脸部识别算法对实时的脸部图像中的人脸特征点进行标注，根据标注的结果估计出头部的姿态信息和脸型信息，并结合步骤一得到的脸部尺寸确定虚拟眼镜的位置坐标；步骤三、获取选中的眼镜的信息，得到眼镜的图像，并将该图像叠加到步骤二确定的坐标上，然后将该叠加了眼镜的人脸图像实时显示在移动终端的显示屏上。

更进一步地，上述的识别物为标准卡，所述标准卡的边缘为直线，采用霍夫变换检测出图像中的直线，再根据标准卡直线的位置及角度识别出图像中的标准卡的边缘线，根据检测出的边缘长度估计出用户脸部的尺寸。

更进一步地，上述方法还包括当该方法启动时，采用语音提示用户将标准卡贴合在人脸的下巴处，当带有标准卡的图像采集成功后，提示用户将标准卡移走，将人脸面对摄像头。

更进一步地，上述方法还包括根据用户的选择，判断是否对人脸进行美图处理。

更进一步地，上述方法还包括存储用户选中的眼镜的试带效果图，并将多个试带效果图采用对比方式显示在用户的显示屏上。

更进一步地，上述步骤二中的脸部识别采用约束局部模型进行人脸特征点标注，并利用前帧的预测位置对后帧进行初始化。

更进一步地，上述方法还包括集成多种标准脸型的参考数据，比对当前用户脸型和多种标准脸型之间的相似度，然后选择最相似的脸型作为当前用户的脸型。

更进一步地，上述方法还包括利用头部的姿态和尺寸信息来估计眼镜的俯仰角、旋转角和尺寸信息，利用色差信息对虚拟眼镜模型的颜色进行调整。

本发明还公开了一种基于移动终端的眼镜虚拟试戴系统，其具体包括已知尺寸的识别物、带有摄像头的移动终端、以及设置在移动终端内部的脸部识别模块、眼镜图像获取模块、图像叠加模块和显示模块；所述已知尺寸的识别物用于贴合于脸部的固定位置，以计算得到当前用户的脸部尺寸；所述摄像头用于获取当前用户实时的脸部图像；所述脸部识别模块用于从实时的脸部图像中识别出人脸，并根据已知尺寸的识别物计算得到当前用户的脸部尺寸；所述眼镜图像获取模块用于获取眼镜的图像；所述图像叠加模块用于将获取的眼镜的图像叠加在当前用户的实时图像上；所述显示模块用于将叠加后的图像显示在用户的显示屏上。

通过采用以上的技术方案，本发明具有以下的有益效果：为了适应Android、iOS等移动平台计算能力较弱、下载流量有限制等特点，本眼镜虚拟试戴方法与系统具备以下特点和功能：1.基于单摄像头完成眼镜虚拟试戴，无其他额外硬件依赖，能够在当前所有Android手机或苹果手机上运行；2.实时性好，在主流Android和iOS平台上，显示帧率超过25帧/秒；3.显示精度高，能够精确展示不同尺寸眼镜在个体人脸上的效果，误差控制在1毫米内；4.体积小，整个系统的体积不超过10M；5.颜色显示真实，能够准确反映环境光线对眼镜效果的影响；6.可判断用户脸型信息，利用该信息可更有效地推荐适合用户配戴的眼镜；7.利用多个窗口同时展示多款虚拟眼镜的试戴效果，实现细节对比。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为实现眼镜虚拟试戴的工作流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，很显然，下文所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种基于移动终端的眼镜虚拟试戴方法，其具体包括以下的步骤：步骤一、用户将已知尺寸的识别物贴合于脸部的固定位置（比如将二代身份证或者其他的标准卡贴合于下巴处，标准卡的尺寸为85.6mm×54.0mm，当然此处的识别物也可以是其他尺寸的识别物，比如银行卡、公交卡、地铁卡等等，只要是已知的固定尺寸的识别物均可），移动终端上的摄像头获取此时用户的脸部图像，并采用脸部识别算法得到用户的脸部轮廓，再从该脸部图像中提取出识别物的边缘图像，根据已知的识别物的尺寸计算出用户的脸部尺寸；步骤二、用户取下识别物，将脸部面对摄像头，摄像头获取实时的脸部图像，采用快速脸部识别算法（比如采用约束局部模型CLM）对实时的脸部图像中的人脸特征点进行标注，根据标注的结果估计出头部的姿态信息和脸型信息，并结合步骤一得到的脸部尺寸确定虚拟眼镜的位置坐标；步骤三、获取选中的眼镜的信息，得到眼镜的图像，并将该图像叠加到步骤二确定的坐标上，然后将该叠加了眼镜的人脸图像实时显示在移动终端的显示屏上。通过在人脸上贴合识别物，根据识别物的已知尺寸，可快速得到人脸的尺寸，再根据脸部识别算法（比如约束局部模型CLM）快速得到人脸上的多个特征点，结合特征点和人脸的尺寸，就能够知道虚拟眼镜的位置坐标，进而实现虚拟眼镜与人脸图像的准确叠加，最后将实时将叠加后的图片显示在显示屏上，以方便用户得到好的购物体验。本发明对硬件系统的要求低，只需移动终端上有摄像头的硬件配置即可，其方法的实现过程简单，因而能够在手机、IPAD等移动终端上运行，方便用户的使用。

更进一步地，上述的识别物为标准卡，所述标准卡的边缘为直线，采用霍夫变换检测出图像中的直线，再根据标准卡直线的位置及角度识别出图像中的标准卡的边缘线，根据检测出的边缘长度估计出用户脸部的尺寸。针对图片的处理可以如下，比如首先进行降噪滤波处理，滤除图像中的噪声点，然后可以进行二值化处理，得到二值化图像，然后采用霍夫变换直接提取出图像中的直线。标准卡的边缘线在图像中的特点一般包括：1、标准卡的边缘线长度与脸部尺寸之间存在一定的比例阈值，该比例阈值的确定根据数据库中获取到的上千个人脸的尺寸最终进行确定；2、标准卡的边缘线与人脸两眼之间的连线基本平行，其角度不超过设定的角度阈值。在实际应用中还可以根据需要要求用户将该标准卡放置在人脸的固定位置，比如下巴处，也可以要求用户将标准卡横向水平放置，根据要求用户放置的方式进行对应的图像检测。

更进一步，上述方法还包括当该方法启动时，采用语音提示用户将标准卡贴合在人脸的下巴处，当带有标准卡的图像采集成功后，提示用户将标准卡移走，将人脸面对摄像头。通过语音提示的方式，提示用户的操作步骤，方便用户的使用。

更进一步，上述方法还包括根据摄像头获取到的用户的脸部的实时图像，计算出用户面部的三维尺寸。本发明采用单幅图的特征点提取来模拟重建人脸的三维尺寸，基本能做到95%的相似程度，精度能够达到几毫米，满足了眼镜试戴的需求，计算量很小，移动平台可以实现。虚拟眼镜是采用三维模型，其三维模型通过对实物眼镜的多像机3D重建技术来实现，并生成眼镜的标准3D模型OBJ文件，为然后采用OpenGL ES编写的3D引擎来实现3D显示以及纹理贴图和颜色渲染，最后根据人脸的尺度特征来调整眼镜模型参数。

更进一步，上述方法还包括根据用户的选择，判断是否对人脸进行美图处理。其中美图处理可以包括磨皮、美白等等，根据用户的选择，决定是否对人脸进行磨皮美白处理，能够美白处理人脸图片提高了用户的使用体验。这里还可以包括根据用户的其他需要对人脸图片进行其它的用户想要实现的各种美化处理，可以借鉴现有的各种美图工具中的功能，在此不一一进行详细的赘述，此功能的实现能够提高用户的使用体验，进一步方便用户的使用。

更进一步，上述方法还包括存储用户选中的眼镜的试带效果图，并将多个试带效果图采用对比方式显示在用户的显示屏上。当用户有多个相对满意的眼镜时，记录试带这些眼镜的试带效果图并保存，当用户需要时，将这些多个图片对比进行展示，方便用户选择。比如当用户选中了两个较为满意的眼镜时，但又只想买其中一个，这时就可将这两个眼镜的试带效果图的对比照显示在用户的显示屏上，方便用户进行选择。

更进一步，上述脸部识别采用约束局部模型进行人脸特征点标注，并利用前帧的预测位置对后帧进行初始化。约束局部模型通过数千张人脸图片训练得到，可预测面部包含鼻尖、眼角、嘴角和面部轮廓等在内的68个点。考虑到视频相邻两帧的差异很小，本发明可以利用前帧的预测位置对后帧进行初始化，并通过约束局部模型进行预测，极大地提高了预测速度。与主动形状模型、主动轮廓模型等传统方法相比，约束局部模型定位精度更高，计算量更小，模型的体积更小，非常适合用于Android、iOS等移动平台上人脸识别。本发明可以选择眼角、鼻尖、鼻翼等11个不易受表情影响而发生位移的刚体特征点来估计头部姿态。

更进一步，上述方法还包括集成多种标准脸型的参考数据，比对当前用户脸型和多种标准脸型之间的相似度，然后选择最相似的脸型作为当前用户的脸型。在系统内部集成了瓜子脸、国字脸、椭圆脸等多种标准脸型的参考数据，可以通过对比当前用户脸型和多种标准脸型之间的相似度，选择最相似的脸型作为当前用户的脸型，从而快速得到用户的脸型数据。

更进一步，上述方法还包括利用头部的姿态和尺寸信息来估计眼镜的俯仰角、旋转角和尺寸信息，利用色差信息对虚拟眼镜模型的颜色进行调整。确保最终的显示效果符合真实环境。

本发明还公开了一种基于移动终端的眼镜虚拟试戴系统，其具体包括已知尺寸的识别物、带有摄像头的移动终端、以及设置在移动终端内部的脸部识别模块、眼镜图像获取模块、图像叠加模块和显示模块；所述已知尺寸的识别物用于贴合于脸部的固定位置，以计算得到当前用户的脸部尺寸；所述摄像头用于获取当前用户实时的脸部图像；所述脸部识别模块用于从实时的脸部图像中识别出人脸，并根据已知尺寸的识别物计算得到当前用户的脸部尺寸；所述眼镜图像获取模块用于获取眼镜的图像；所述图像叠加模块用于将获取的眼镜的图像叠加在当前用户的实时图像上；所述显示模块用于将叠加后的图像显示在用户的显示屏上。通过在人脸上贴合识别物，根据识别物的已知尺寸，可快速得到人脸的尺寸，再根据脸部识别算法（比如约束局部模型CLM）快速得到人脸上的多个特征点，结合特征点和人脸的尺寸，就能够知道虚拟眼镜的位置坐标，进而实现虚拟眼镜与人脸图像的准确叠加，最后将实时将叠加后的图片显示在显示屏上，以方便用户得到好的购物体验。本发明对硬件系统的要求低，只需移动终端上有摄像头的硬件配置即可，其方法的实现过程简单，因而能够在手机、IPAD等移动终端上运行，方便用户的使用。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种基于移动终端的眼镜虚拟试戴方法，其具体包括以下的步骤：步骤一、用户将已知尺寸的识别物贴合于脸部的固定位置，移动终端上的摄像头获取此时用户的脸部图像，并采用脸部识别算法得到用户的脸部轮廓，再从该脸部图像中提取出识别物的边缘图像，根据已知的识别物的尺寸计算出用户的脸部尺寸；步骤二、用户取下识别物，将脸部面对摄像头，摄像头获取实时的脸部图像，采用快速脸部识别算法对实时的脸部图像中的人脸特征点进行标注，根据标注的结果估计出头部的姿态信息和脸型信息，并结合步骤一得到的脸部尺寸确定虚拟眼镜的位置坐标；步骤三、获取选中的眼镜的信息，得到眼镜的图像，并将该图像叠加到步骤二确定的坐标上，然后将该叠加了眼镜的人脸图像实时显示在移动终端的显示屏上。

2.如权利要求1所述的基于移动终端的眼镜虚拟试戴方法，其特征在于所述的识别物为标准卡，所述标准卡的边缘为直线，采用霍夫变换检测出图像中的直线，再根据标准卡直线的位置及角度识别出图像中的标准卡的边缘线，根据检测出的边缘长度估计出用户脸部的尺寸。

3.如权利要求1所述的基于移动终端的眼镜虚拟试戴方法，其特征在于所述方法还包括当该方法启动时，采用语音提示用户将标准卡贴合在人脸的下巴处，当带有标准卡的图像采集成功后，提示用户将标准卡移走，将人脸面对摄像头。

4.如权利要求1所述的基于移动终端的眼镜虚拟试戴方法，其特征在于所述方法还包括根据用户的选择，判断是否对人脸进行美图处理。

5.如权利要求1所述的基于移动终端的眼镜虚拟试戴方法，其特征在于所述方法还包括存储用户选中的眼镜的试带效果图，并将多个试带效果图采用对比方式显示在用户的显示屏上。

6.如权利要求1所述的基于移动终端的眼镜虚拟试戴方法，其特征在于所述步骤二中的脸部识别采用约束局部模型进行人脸特征点标注，并利用前帧的预测位置对后帧进行初始化。

7.如权利要求1所述的基于移动终端的眼镜虚拟试戴方法，其特征在于所述方法还包括集成多种标准脸型的参考数据，比对当前用户脸型和多种标准脸型之间的相似度，然后选择最相似的脸型作为当前用户的脸型。

8.如权利要求1所述的基于移动终端的眼镜虚拟试戴方法，其特征在于所述方法还包括利用头部的姿态和尺寸信息来估计眼镜的俯仰角、旋转角和尺寸信息，利用色差信息对虚拟眼镜模型的颜色进行调整。

9.一种基于移动终端的眼镜虚拟试戴系统，其特征在于具体包括已知尺寸的识别物、带有摄像头的移动终端、以及设置在移动终端内部的脸部识别模块、眼镜图像获取模块、图像叠加模块和显示模块；所述已知尺寸的识别物用于贴合于脸部的固定位置，以计算得到当前用户的脸部尺寸；所述摄像头用于获取当前用户实时的脸部图像；所述脸部识别模块用于从实时的脸部图像中识别出人脸，并根据已知尺寸的识别物计算得到当前用户的脸部尺寸；所述眼镜图像获取模块用于获取眼镜的图像；所述图像叠加模块用于将获取的眼镜的图像叠加在当前用户的实时图像上；所述显示模块用于将叠加后的图像显示在用户的显示屏上。