CN107330969A - 眼镜虚拟三维试戴方法和眼镜虚拟三维试戴系统 - Google Patents

Abstract

本发明涉及一种眼镜虚拟三维试戴方法和眼镜虚拟三维试戴系统，包括获取人脸戴眼镜和不戴眼镜的三维模型，将人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐，获取佩戴的眼镜在人脸不戴眼镜的三维模型上的佩戴位置，根据佩戴位置将三维眼镜模型佩戴到人脸不戴眼镜的三维模型上，此方法通过三维虚拟试戴，能实现多个不同角度的三维试戴效果展示，提高三维眼镜试戴的逼真度和效率，提高用户试戴体验。

Description

眼镜虚拟三维试戴方法和眼镜虚拟三维试戴系统

技术领域

本发明涉及虚拟产品试戴领域，特别是涉及一种眼镜虚拟三维试戴方法和眼镜虚拟三维试戴系统。

背景技术

随着信息技术与互联网技术的不断发展，眼镜行业对三维试戴的需求越来越紧迫。目前大多技术都是利用二维图像处理技术的眼镜试戴方法与系统，主要有两种：1)基于拍摄或者上传的二维头像图片信息，再把眼镜合成到头像图片上。该方法将图片设置为背景图片，通过眼镜识别算法获取眼镜佩戴的位置，然后把眼镜图贴到背景图片合适的位置，该方法只能得到一个角度的试戴效果，而且眼镜贴图方式影响了展示效果，试戴效果不够逼真。2)试戴者站在摄像头前，试戴系统通过图像处理技术将眼镜模型戴在顾客脸上，顾客转脸模型也跟着转。该方法合成精度不好，效率不高，试戴效果不够逼真，而且，如果是近视客户，摘掉眼镜进行试戴，会看不清试戴效果，戴上眼镜的话就会出现两个眼镜叠加在一起的现象，大大影响试戴体验。

发明内容

基于此，有必要提供一种能进行高效率、高逼真度、用户体验度高的眼镜虚拟三维试戴方法和系统。

一种眼镜虚拟三维试戴方法，包括：

获取人脸戴眼镜和不戴眼镜的三维模型；

将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐；

获取佩戴的眼镜在所述人脸不戴眼镜的三维模型上的佩戴位置；

根据所述佩戴位置将三维眼镜模型佩戴到所述人脸不戴眼镜的三维模型上。

在其中一个实施例中，所述根据所述佩戴位置将三维眼镜模型佩戴到所述人脸不戴眼镜的三维模型上的步骤之前还包括：

从三维眼镜模型库中调取所述三维眼镜模型，所述三维眼镜模型库包括所述三维眼镜模型和所述三维眼镜模型的定位特征位置信息。

在其中一个实施例中，所述获取佩戴的眼镜在所述人脸不戴眼镜的三维模型上的佩戴位置的步骤具体为：

获取所述佩戴的眼镜在所述人脸戴眼镜的三维模型中的定位特征位置；

根据所述定位特征位置将所述眼镜映射到所述人脸不戴眼镜的三维模型上；

根据映射结果得到所述佩戴位置。

在其中一个实施例中，所述根据所述定位特征位置将所述眼镜映射到所述人脸不戴眼镜的三维模型上的步骤具体为:

将所述眼镜的所述定位特征位置的各自法向映射到所述人脸不戴眼镜的三维模型上。

在其中一个实施例中，所述将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐的步骤具体为:

根据ICP算法，将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐。

在其中一个实施例中，所述获取人脸戴眼镜和不戴眼镜的三维模型的步骤包括：

获取人脸戴眼镜和不戴眼镜的彩色三维模型。

在其中一个实施例中，所述佩戴位置包括左边基准点、左边耳夹点、右边基准点、右边耳夹点。

另一方面，本发明还提出一种眼镜虚拟三维试戴系统，包括：

三维人脸数据采集模块，用于获取人脸戴眼镜和不戴眼镜的三维模型；

匹配对齐模块，用于将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐；

定位模块，用于获取佩戴的眼镜在所述人脸不戴眼镜的三维模型上的佩戴位置；

试戴模块，用于根据所述佩戴位置将三维眼镜模型佩戴到所述人脸不戴眼镜的三维模型上。

在其中一个实施例中，还包括：

调取三维眼镜模型模块，用于从三维眼镜模型库中调取所述三维眼镜模型，所述三维眼镜模型库包括所述三维眼镜模型和所述三维眼镜模型的定位特征位置信息。

在其中一个实施例中，所述定位模块包括：

获取定位特征位置模块，用于获取所述佩戴的眼镜在所述人脸戴眼镜的三维模型中的定位特征位置；

映射模块，用于根据所述定位特征位置将所述眼镜映射到所述人脸不戴眼镜的三维模型上；

获取佩戴位置模块，用于根据映射结果得到所述佩戴位置。

上述眼镜虚拟三维试戴方法和眼镜虚拟三维试戴系统，包括获取人脸戴眼镜和不戴眼镜的三维模型，将人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐，获取眼镜在人脸不戴眼镜的三维模型上的佩戴位置，根据佩戴位置将三维眼镜模型佩戴到人脸不戴眼镜的三维模型上，此方法通过三维虚拟试戴，能实现多个不同角度的三维试戴效果，提高三维眼镜试戴的逼真度和效率，提高用户试戴体验。

附图说明

图1为一实施例中眼镜虚拟三维试戴方法的流程图；

图2为另一实施例中眼镜虚拟三维试戴方法的流程图；

图3为一实施例中眼镜虚拟三维试戴系统的系统方框图；

图4为另一实施例中眼镜虚拟三维试戴系统的系统方框图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

参见图1，图1为一实施例中眼镜虚拟三维试戴方法的流程图。

在本实施例中，该眼镜虚拟三维试戴方法包括：

S100，获取人脸戴眼镜和不戴眼镜的三维模型。

在不同时刻使用同一设备分别获取人脸戴眼镜和不戴眼镜的三维模型，分别得到详细的人脸戴眼镜和不戴眼镜的三维模型数据。人脸戴眼镜的三维模型数据包括人脸三维模型数据和佩戴的眼镜的三维模型数据，人脸不戴眼镜的三维模型数据仅包括人脸三维模型数据。

S200，将人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐。

由于步骤S100中获取人脸戴眼镜和不戴眼镜的两个三维模型是在不同时刻采集的，这两个三维模型数据中的人脸三维模型数据可能不一致，因此需要对人脸戴眼镜和不戴眼镜的两个三维模型进行匹配对齐，使这两个模型中的人脸三维模型数据完全一致。在一个实施例中，通过ICP算法对人脸戴眼镜和不戴眼镜的两个三维模型进行匹配对齐。

ICP算法是通过迭代优化来估计精确的变换矩阵T，利用精确的变换矩阵T来完成三维人脸戴眼镜和不戴眼镜中的人脸三维模型数据的自动匹配，从而使这两个人脸三维模型数据完全一致。迭代优化的具体步骤为：1)将变换矩阵T初始化为单位变换矩阵T₀；2)在人脸戴眼镜的三维模型中选取采样点P_i，i＝1，2，…，N；3)在人脸不戴眼镜的三维模型中寻找与T(P，T)相对应的点Q_i，i＝1，2，…，N；4)构造误差测度函数E(T)，通过最小化E(T)来优化T，当误差值的变化小于设定阈值时，结束上述迭代优化，输出最终精确的变换矩阵T。

S300，获取佩戴的眼镜在人脸不戴眼镜的三维模型上的佩戴位置。

由于要把佩戴的眼镜戴在人脸不戴眼镜的三维模型上，需要确定该眼镜在人脸不戴眼镜的三维模型上的佩戴位置。

S400，根据佩戴位置将三维眼镜模型佩戴到人脸不戴眼镜的三维模型上。

佩戴位置确定以后，就可以将想要试戴的三维眼镜模型根据佩戴位置佩戴到人脸不戴眼镜的三维模型上，实现不同角度的三维眼镜试戴效果。

上述眼镜虚拟三维试戴方法，通过获取人脸戴眼镜和不戴眼镜的三维模型，将人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐，获取佩戴的眼镜在人脸不戴眼镜的三维模型上的佩戴位置，根据佩戴位置将想要试戴的三维眼镜模型佩戴到人脸不戴眼镜的三维模型上，能实现多个不同角度的三维眼镜试戴效果，提高三维眼镜试戴的逼真度和效率，提高用户试戴体验。

参见图2，图2为另一实施例中眼镜虚拟三维试戴方法的流程图。

在本实施例中，该眼镜虚拟三维试戴方法包括：

S110，获取人脸戴眼镜和不戴眼镜的彩色三维模型。

在不同时刻使用同一设备分别获取人脸戴眼镜和不戴眼镜的彩色三维模型，分别得到详细的人脸戴眼镜和不戴眼镜的彩色三维模型数据。人脸戴眼镜的彩色三维模型数据包括人脸彩色三维模型数据和佩戴的眼镜的彩色三维模型数据，人脸不戴眼镜的彩色三维模型数据仅包括人脸彩色三维模型数据。

S111，根据ICP算法，将人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐。

S112，获取佩戴的眼镜在人脸戴眼镜的三维模型中的定位特征位置。

佩戴的眼镜在设计时，已经根据该眼镜自身的表面曲率特征将该眼镜的定位特征位置确定，定位特征位置包括左边定位基准点、左边定位耳夹点、右边定位基准点、右边定位耳夹点。左边定位基准点是左桩头，即眼镜镜框与左眼镜腿的交叉位置点。左边定位耳夹点是左眼镜腿与左耳朵相接触的位置点，起到耳朵托起眼镜的作用。右边定位基准点是右桩头，即眼镜镜框与右眼镜腿的交叉位置点。右边定位耳夹点是右眼镜腿与右耳朵相接触的位置点，起到耳朵托起眼镜的作用。

S113，将眼镜的定位特征位置的各自法向映射到人脸不戴眼镜的三维模型上。

在人脸戴眼镜的彩色三维模型上，把佩戴的眼镜的定位特征位置通过各自的法向映射到人脸不戴眼镜的彩色三维模型上。

S114，根据映射结果得到佩戴位置。

将佩戴的眼镜的定位特征位置通过各自的法向映射到人脸不戴眼镜的彩色三维模型上之后，每一个映射后的定位特征位置会与人脸不戴眼镜的彩色三维模型表面有一个交点，每一个交点就作为人脸不戴眼镜的彩色三维模型上的佩戴位置。定位特征位置包括左边定位基准点、左边定位耳夹点、右边定位基准点、右边定位耳夹点。在一个实施例中，佩戴位置包括左边基准点、左边耳夹点、右边基准点、右边耳夹点。左边定位基准点进行法向映射后得到左边基准点，左边定位耳夹点进行法向映射后得到左边耳夹点，右边定位基准点进行法向映射后得到右边基准点，右边定位耳夹点进行法向映射后得到右边耳夹点。

S115，从三维眼镜模型库中调取三维眼镜模型。

彩色三维眼镜模型库中，除了保存每副眼镜的彩色三维结构模型之外，还保存每副眼镜所对应的定位特征位置信息，将彩色三维眼镜模型从彩色三维眼镜模型库中调出，进入步骤S116。

S116，根据佩戴位置将三维眼镜模型佩戴到人脸不戴眼镜的三维模型上。

根据彩色三维眼镜模型的定位特征位置，将定位特征位置的每一个特征点与佩戴位置对应的每一个定位点进行匹配，就可以将该彩色三维眼镜模型佩戴到人脸不戴眼镜的三维模型上。

上述眼镜虚拟三维试戴方法，通过获取人脸戴眼镜和不戴眼镜的彩色三维模型，根据ICP算法，将人脸戴眼镜和不戴眼镜的彩色三维模型进行匹配对齐，获取佩戴的眼镜在人脸戴眼镜的彩色三维模型中的定位特征位置，将眼镜的定位特征位置的各自法向映射到人脸不戴眼镜的彩色三维模型上，根据映射结果得到佩戴位置，从彩色三维眼镜模型库中调取彩色三维眼镜模型，将定位特征位置和佩戴位置进行匹配就可以将该彩色三维眼镜模型佩戴到人脸不戴眼镜的三维模型上。此方法能实现多个不同角度的彩色三维眼镜试戴效果，提高彩色三维眼镜试戴的逼真度和效率，提高用户试戴体验。

参见图3，图3为一实施例中眼镜虚拟三维试戴系统的系统方框图。

在本实施例中，该眼镜虚拟三维试戴系统包括：

三维人脸数据采集模块10，用于获取人脸戴眼镜和不戴眼镜的三维模型。

匹配对齐模块20，用于将人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐。

定位模块30，用于获取佩戴的眼镜在人脸不戴眼镜的三维模型上的佩戴位置。

试戴模块40，用于根据佩戴位置将三维眼镜模型佩戴到人脸不戴眼镜的三维模型上。

参见图4，图4为另一实施例中眼镜虚拟三维试戴系统的系统方框图。

在本实施例中，该眼镜虚拟三维试戴系统还包括：

调取三维眼镜模型模块50，用于从三维眼镜模型库中调取三维眼镜模型，三维眼镜模型库包括三维眼镜模型和三维眼镜模型的定位特征位置信息。

上述定位模块30包括：

获取定位特征位置模块31，用于获取佩戴的眼镜在所述人脸戴眼镜的三维模型中的定位特征位置；

映射模块32，用于根据定位特征位置将眼镜映射到人脸不戴眼镜的三维模型上；

获取佩戴位置模块33，用于根据映射结果得到佩戴位置。

在一个实施例中，映射模块32包括：

法向映射模块321，用于将眼镜的定位特征位置的各自法向映射到人脸不戴眼镜的三维模型上。

在一个实施例中，匹配对齐模块20包括：

算法匹配对齐模块21，用于根据ICP算法，将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐。

ICP算法是通过迭代优化来估计精确的变换矩阵T，利用精确的变换矩阵T来完成三维人脸戴眼镜和不戴眼镜中的人脸三维模型数据的自动匹配，从而使这两个人脸三维模型数据完全一致。迭代优化的具体步骤为：1)将变换矩阵T初始化为单位变换矩阵T₀；2)在人脸戴眼镜的三维模型中选取采样点P_i，i＝1，2，…，N；3)在人脸不戴眼镜的三维模型中寻找与T(P，T)相对应的点Q_i，i＝1，2，…，N；4)构造误差测度函数E(T)，通过最小化E(T)来优化T，当误差值的变化小于设定阈值时，结束上述迭代优化，输出最终精确的变换矩阵T。

在一个实施例中，三维人脸数据采集模块10包括：

彩色三维人脸数据采集模块11，用于获取人脸戴眼镜和不戴眼镜的彩色三维模型。

上述眼镜虚拟三维试戴系统，通过获取人脸戴眼镜和不戴眼镜的三维模型，将人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐，获取佩戴的眼镜在人脸不戴眼镜的三维模型上的佩戴位置，从三维眼镜模型库中调取三维眼镜模型，根据佩戴位置将想要试戴的三维眼镜模型佩戴到人脸不戴眼镜的三维模型上，能实现多个不同角度的三维眼镜试戴效果，提高三维眼镜试戴的逼真度和效率，提高用户试戴体验。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种眼镜虚拟三维试戴方法，其特征在于，包括：

获取人脸戴眼镜和不戴眼镜的三维模型；

将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐；

获取佩戴的眼镜在所述人脸不戴眼镜的三维模型上的佩戴位置；

根据所述佩戴位置将三维眼镜模型佩戴到所述人脸不戴眼镜的三维模型上。

2.根据权利要求1所述的眼镜虚拟三维试戴方法，其特征在于，所述根据所述佩戴位置将三维眼镜模型佩戴到所述人脸不戴眼镜的三维模型上的步骤之前还包括：

从三维眼镜模型库中调取所述三维眼镜模型，所述三维眼镜模型库包括所述三维眼镜模型和所述三维眼镜模型的定位特征位置信息。

3.根据权利要求1所述的眼镜虚拟三维试戴方法，其特征在于，所述获取佩戴的眼镜在所述人脸不戴眼镜的三维模型上的佩戴位置的步骤具体为：

获取所述佩戴的眼镜在所述人脸戴眼镜的三维模型中的定位特征位置；

根据所述定位特征位置将所述眼镜映射到所述人脸不戴眼镜的三维模型上；

根据映射结果得到所述佩戴位置。

4.根据权利要求3所述的眼镜虚拟三维试戴方法，其特征在于，所述根据所述定位特征位置将所述眼镜映射到所述人脸不戴眼镜的三维模型上的步骤具体为:

将所述眼镜的所述定位特征位置的各自法向映射到所述人脸不戴眼镜的三维模型上。

5.根据权利要求1至4中任一项所述的眼镜虚拟三维试戴方法，其特征在于，所述将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐的步骤具体为:

根据ICP算法，将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐。

6.根据权利要求1所述的眼镜虚拟三维试戴方法，其特征在于，所述获取人脸戴眼镜和不戴眼镜的三维模型的步骤包括：

获取人脸戴眼镜和不戴眼镜的彩色三维模型。

7.根据权利要求1所述的眼镜虚拟三维试戴方法，其特征在于，所述佩戴位置包括左边基准点、左边耳夹点、右边基准点、右边耳夹点。

8.一种眼镜虚拟三维试戴系统，其特征在于，包括：

三维人脸数据采集模块，用于获取人脸戴眼镜和不戴眼镜的三维模型；

匹配对齐模块，用于将所述人脸戴眼镜和不戴眼镜的三维模型进行匹配对齐；

定位模块，用于获取佩戴的眼镜在所述人脸不戴眼镜的三维模型上的佩戴位置；

试戴模块，用于根据所述佩戴位置将三维眼镜模型佩戴到所述人脸不戴眼镜的三维模型上。

9.根据权利要求8所述的眼镜虚拟三维试戴系统，其特征在于，还包括：

调取三维眼镜模型模块，用于从三维眼镜模型库中调取所述三维眼镜模型，所述三维眼镜模型库包括所述三维眼镜模型和所述三维眼镜模型的定位特征位置信息。

10.根据权利要求8所述的眼镜虚拟三维试戴系统，其特征在于，所述定位模块包括：

获取定位特征位置模块，用于获取所述佩戴的眼镜在所述人脸戴眼镜的三维模型中的定位特征位置；

映射模块，用于根据所述定位特征位置将所述眼镜映射到所述人脸不戴眼镜的三维模型上；

获取佩戴位置模块，用于根据映射结果得到所述佩戴位置。