CN110533775B - 一种基于3d人脸的眼镜匹配方法、装置及终端 - Google Patents

Abstract

本公开是关于一种基于3D人脸的眼镜匹配方法、装置及终端。该方法是在瞳孔坐标系中根据鼻部在人脸3D模型的范围，确定眼镜候选的安装点，并将人脸特征点数据和镜框镜脚3D模型的元数据按预设条件进行匹配筛选后再得到筛选的镜框镜脚，通过碰撞检测进行匹配优化，将确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚，根据所述得到的最终的安装点和镜框镜脚确定匹配的眼镜。本公开的方案不仅仅考虑了视觉佩戴效果，还考虑眼镜是否与人脸匹配的因素，从而能提高眼镜匹配的精确性。

Description

一种基于3D人脸的眼镜匹配方法、装置及终端

技术领域

本公开涉及计算机及人脸3D技术领域，尤其涉及一种基于3D人脸的眼镜匹配方法、装置及终端。

背景技术

随着信息技术与互联网技术的不断发展，眼镜市场消费也不断升级，眼镜试戴系统也从最初的泛娱乐型产品到仿真的工业系统升级。所谓眼镜试戴，是指利用人脸识别等图像处理技术，将眼镜图片或者模型与人脸进行恰当的融合，给人一种眼镜是戴在人脸上的视觉效果。

相关技术中，大部分是利用二维图像处理技术的眼镜匹配方法，例如基于拍摄或者上传的二维头像图片信息，再将眼镜合成到头像图片上，将图片设置为背景图片，通过眼镜识别算法获取眼镜佩戴的位置，然后把眼镜图贴到背景图片合适的位置，该方法可以得到一个角度的试戴效果。

但是，基于目前眼镜试戴系统的升级要求，对眼镜试戴的科学性和严谨性带来了新的挑战，不仅仅只满足一定的视觉佩戴效果，还需要从科学性以及严谨性等多个角度，考虑眼镜是否与人脸精确匹配，相关技术中还未出现匹配效果较精确的眼镜匹配方法。

发明内容

为克服相关技术中存在的问题，本公开提供一种基于3D人脸的眼镜匹配方法、装置及终端，能提高眼镜匹配的精确性。

根据本公开实施例的第一方面，提供一种基于3D人脸的眼镜匹配方法，包括：

分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据；根据所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点；将所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，确定筛选的镜框镜脚；将所述确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚；根据所述得到的最终的安装点和镜框镜脚确定匹配的眼镜。

其中，所述根据所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，包括：

将瞳孔连线的中点设为瞳孔坐标系原点O(x，y，z)，将人脸3D模型左瞳孔穿过原点连接到右瞳孔，构成X轴，将左右耳朵特征点连线的中点连接原点并穿过原点，构成Y轴，其中Z轴由X轴叉乘Y轴得到。

其中，所述在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点，包括：

在所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点。

其中，所述在所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点，包括：

在所述瞳孔坐标系中，在Z轴选取第一设定数目点，在Y轴选择第二设定数目点，在X轴取一个固定值，得到YZ平面上的第三设定数目点作为光线投射的起点；

从所述起点向所述人脸3D模型的鼻梁部分作光线投射，其中光线投射与鼻梁的两个交叉点的中点为安装点。

其中，所述将所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，包括：

将所述人脸特征点数据中的脸宽、耳朵、瞳孔与所述镜框镜脚3D模型的元数据中的镜框宽度、镜脚长度、镜片光心按以下预设条件进行匹配筛选，

所述预设条件包括：脸宽与设定常量之和小于镜框宽度，脸宽到耳朵的距离小于镜脚长度，耳朵、瞳孔及镜片光心为3点共线。

其中，所述将所述确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚，包括：

将所述筛选的镜框镜脚组装好并放置在候选的安装点上，再与所述人脸3D模型进行碰撞检测，如果碰撞后无交点则确定安装点为符合要求，如果碰撞后有交点则确定安装点不符合要求；

输出符合要求的最终的安装点和镜框镜脚。

根据本公开实施例的第二方面，提供一种基于3D人脸的眼镜匹配装置，包括：

获取模块，用于分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据；

安装点确定模块，用于根据所述获取模块获取的所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点；

镜框镜脚确定模块，用于将所述获取模块获取的所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，确定筛选的镜框镜脚；

碰撞检测模块，用于将所述安装点确定模块所确定的眼镜候选的安装点和所述镜框镜脚确定模块所筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚；

处理模块，用于根据经所述碰撞检测模块碰撞检测后得到的最终的安装点和镜框镜脚确定匹配的眼镜。

其中，所述安装点确定模块包括：

坐标系构建子模块，用于将瞳孔连线的中点设为瞳孔坐标系原点O(x，y，z)，将人脸3D模型左瞳孔穿过原点连接到右瞳孔，构成X轴，将左右耳朵特征点连线的中点连接原点并穿过原点，构成Y轴，其中Z轴由X轴叉乘Y轴得到；

安装点确定子模块，用于在所述坐标系构建子模块构建的所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点。

根据本公开实施例的第三方面，提供一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如上述方法中所执行的操作。

根据本公开实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开提供的基于3D人脸的眼镜匹配方法，在分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据后，根据所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点；将所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，确定筛选的镜框镜脚；然后，将确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚，根据所述得到的最终的安装点和镜框镜脚确定匹配的眼镜。可以发现，本公开的方案，是基于人脸3D模型数据进行眼镜匹配，是在瞳孔坐标系中根据鼻部在人脸3D模型的范围，确定眼镜候选的安装点，并将人脸特征点数据和镜框镜脚3D模型的元数据按预设条件进行匹配筛选后，还进行了碰撞检测，再得到筛选的镜框镜脚，因此不仅仅考虑了视觉佩戴效果，还考虑眼镜是否与人脸匹配的因素，从而能提高眼镜匹配的精确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本公开根据一示例性实施例示出的一种基于3D人脸的眼镜匹配方法的流程图；

图2是本公开根据一示例性实施例示出的基于3D人脸的眼镜匹配方法的一个整体流程图；

图3是本公开根据一示例性实施例示出的人脸3D模型的6个关键人脸特征点的示意图；

图4是本公开根据一示例性实施例示出的产生一个安装点的示意图；

图5是本公开根据一示例性实施例示出的眼镜匹配方法中的产生候选安装点的流程图；

图6是本公开根据一示例性实施例示出的产生的候选安装点的示意图；

图7是本公开根据一示例性实施例示出的眼镜匹配方法中的镜框镜脚初步筛选的流程图；

图8是本公开根据一示例性实施例示出的眼镜示意图；

图9是本公开根据一示例性实施例示出的眼镜匹配方法中的碰撞检测流程图；

图10是本公开根据一示例性实施例示出的一种基于3D人脸的眼镜匹配装置的示意图框图；

图11是本公开根据一示例性实施例示出的一种终端设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开提供一种基于3D人脸的眼镜匹配方法，能提高眼镜匹配的精确性。

图1是本公开根据一示例性实施例示出的一种基于3D人脸的眼镜匹配方法的流程图。

如图1所示，该方法可以应用于服务器端也可以运用于客户端，也可以客户端和服务器端配合运行，该方法包括以下步骤：

在步骤101中，分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据。

该步骤可以从服务器分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据但不局限于此，也可以从本地或网络获取。

在步骤102中，根据所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点。

该步骤中，可以在所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点。

其中，可以在所述瞳孔坐标系中，在Z轴选取第一设定数目点，在Y轴选择第二设定数目点，在X轴取一个固定值，得到YZ平面上的第三设定数目点作为光线投射的起点；

从所述起点向所述人脸3D模型的鼻梁部分作光线投射，其中光线投射与鼻梁的两个交叉点的中点为安装点。

在步骤103中，将所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，确定筛选的镜框镜脚。

该步骤可以将所述人脸特征点数据中的脸宽、耳朵、瞳孔与所述镜框镜脚3D模型的元数据中的镜框宽度、镜脚长度、镜片光心按以下预设条件进行匹配筛选，所述预设条件包括：脸宽与设定常量之和小于镜框宽度，脸宽到耳朵的距离小于镜脚长度，耳朵、瞳孔及镜片光心为3点共线。

在步骤104中，将所述确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚。

该步骤中，可以将所述筛选的镜框镜脚组装好并放置在候选的安装点上，再与所述人脸3D模型进行碰撞检测，如果碰撞后无交点则确定安装点为符合要求，如果碰撞后有交点则确定安装点不符合要求；输出符合要求的最终的安装点和镜框镜脚。

在步骤105中，根据所述得到的最终的安装点和镜框镜脚确定匹配的眼镜。

由该实施例可见，本公开的方案，是基于人脸3D模型数据进行眼镜匹配，是在瞳孔坐标系中根据鼻部在人脸3D模型的范围，确定眼镜候选的安装点，并将人脸特征点数据和镜框镜脚3D模型的元数据按预设条件进行匹配筛选后再得到筛选的镜框镜脚，通过碰撞检测进行了匹配优化，将确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚，根据所述得到的最终的安装点和镜框镜脚确定匹配的眼镜，因此不仅仅考虑了视觉佩戴效果，还考虑眼镜是否与人脸匹配的因素，从而能提高眼镜匹配的精确性。

图2是本公开根据一示例性实施例示出的基于3D人脸的眼镜匹配方法的一个整体流程图。图2相对于图1更详细介绍了本公开的方案。

本公开方案提供了一种在3D场景中，基于人脸3D模型数据，从左右耳朵、左右脸宽、左右瞳孔与眼镜的镜脚长度、镜脚宽度、镜框宽度、鼻托宽度、镜片光心等多个维度进行精确匹配的眼镜匹配方法。

图2更详细描述了本公开方案眼镜匹配挑选的流程，其主要过程是从服务器获取人脸3D模型及其相关用来描述的元数据，及获取镜框镜脚3D模型及其元数据。然后，根据人脸特征点例如左右瞳孔、左右耳朵以及左右脸宽6个关键人脸特征点，计算瞳孔坐标系。在得到瞳孔坐标系后，根据鼻子在人脸3D模型(人脸3D空间)中的大致范围，产生初步的候选的安装点。然后，根据预设条件例如预设挑选公式初步筛选出符合要求的镜框镜脚。最后，可以通过碰撞检测进行进一步优化判断，从而挑选出最终符合该人脸的镜框镜脚列表。需说明的是，碰撞检测是一个优化的匹配步骤，可以进一步优化匹配结果，根据需要也可以不设置碰撞检测步骤。

需说明的是，本公开的方案可以将一些计算量小的如瞳孔坐标系、选取安装点以及镜框筛选的步骤放在客户端，将计算量比较大的碰撞检测放在服务器进行但不局限于此；也可以都放在客户端进行，或都放在服务器进行，可以根据需要进行设置。

如图2所示，该方法包括以下步骤：

在步骤201中，从服务器获取人脸3D模型及其元数据，然后导入人脸3D模型到3D场景中。

其中所所说的3D场景例如可以是ThreeJs(Three.js是一款运行在浏览器中的3D引擎)或者SceneKit(苹果公司的3D引擎)等3D引擎。

需说明的是，这里以从服务器获取为例但不局限于此，人脸3D模型及其元数据也可以从本地或者网络导入。

人脸3D模型的元数据，包括但不限于人脸特征点数据等，可以采用相关人脸识别技术获取人脸特征点，本公开不加以限制。

在步骤202中，从人脸3D模型的元数据中获取人脸特征点数据。

其中，一般人脸特征点的概念是在2D平面内用于标识人脸的五官等关键点信息，而3D人脸特征点是在三维人脸模型上标识出人脸的五官等关键点信息。

其中，人脸特征点数据可以包括左右瞳孔、左右耳朵、左右脸宽等6个关键人脸特征点但不局限于此，可以参见图3，是本公开根据一示例性实施例示出的人脸3D模型的6个关键人脸特征点的示意图，图3中包括左瞳孔、左耳朵、左脸宽、右瞳孔、右耳朵、右脸宽6个点。

在步骤203中，根据6个关键人脸特征点构造瞳孔坐标系。

瞳孔坐标系：在世界坐标系中，计算3D人脸模型的两瞳孔的中点，并以此作为原点而建立的一个相对坐标系，主要用于方便进行其它的3D计算。在计算机视觉中，常用的包括三个坐标系：图像坐标系、相机坐标系和世界坐标系，而世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。

该步骤根据左右瞳孔、左右耳朵、左右脸宽等6个关键人脸特征点，构造瞳孔坐标系。

本公开方案所构造的瞳孔坐标系，默认采用右手坐标系为例但不局限于此，也可以使用左手坐标系。以下以右手坐标系举例说明，原点O(x,y,z)是瞳孔连线的中点，也即将瞳孔连线的中点设为瞳孔坐标系原点O(x，y，z)。将人脸3D模型左瞳孔穿过原点，连接到右瞳孔，构成X轴，指向屏幕左方(如果是左手坐标系则指向屏幕右方)。将左右耳朵即双耳特征点连线的中点，连接原点并穿过原点，构成Y轴，指向屏幕外。其中Z轴是X轴叉乘Y轴得到，指向大约头顶方向。

本公开方案，记瞳孔坐标系原点为O(x，y，z)，左瞳孔特征点为A(x，y，z)，右瞳孔特征点为B(x，y，z)，左耳朵特征点为C(x，y，z)，右耳朵特征点为D(x，y，z)，则瞳孔坐标系的原点以及XYZ轴的计算公式分别为公式1、公式2、公式3和公式4：

公式1中表示原点O(x，y，z)为左瞳孔特征点A(x，y，z)和右瞳孔特征点B(x，y，z)的瞳孔连线的中点位置。

公式2表示将左瞳孔特征点A(x，y，z)穿过原点，连接到右瞳孔特征点B(x，y，z)，构成X轴。

公式3表示将左耳朵特征点C(x，y，z)与右耳朵特征点D(x，y，z)连线的中点，连接原点并穿过原点，构成Y轴。

公示4表示Z轴是X轴叉乘Y轴得到。

关于眼镜的倾斜度数horizontalTilt，是指眼镜镜框两端的端点所组成的向量p1p2绕着瞳孔坐标系Y轴旋转的角度θ(单位：度数)，其计算公式为公式5。

在步骤204中，从服务器获取所有的镜框镜脚3D模型及其元数据。

需说明的是，这里以从服务器获取为例但不局限于此，镜框镜脚3D模型及其元数据也可以从本地或者网络导入。

镜框镜脚3D模型的元数据，包括镜框宽度、镜脚长度、镜片光心，另外还可以包括镜脚宽度、鼻托宽度等。

在步骤205中，在瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点。

该步骤在瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点。

其中，在所述瞳孔坐标系中，在Z轴选取第一设定数目点，在Y轴选择第二设定数目点，在X轴取一个固定值，得到YZ平面上的第三设定数目点作为光线投射的起点；从所述起点向所述人脸3D模型的鼻梁部分作光线投射，其中光线投射与鼻梁的两个交叉点的中点为安装点。

其中，在Z轴选取第一设定数目点可以为在Z轴选取-15到-4共12个点，在Y轴选择第二设定数目点可以为在Y轴选取10到50共40个点，在X轴取一个固定值可以为在X轴选取固定值-50，得到YZ平面上的第三设定数目点可以为得到YZ平面上的480个点，以上是举例说明但不局限于此。

光线投射，是一种光线追踪算法，主要思想是从视点向成像平面上的像素发射光线，找到与该光线相交的最近物体的交点。

安装点，实际指的是眼镜在3D空间中的摆放位置，这里指的是在瞳孔坐标系中，分别沿着Y轴和Z轴选取合适的点作为视平面坐标，选取的依据是鼻子在人脸区域的大致位置与范围。

该步骤205产生安装点的完整流程图可以参见图5所示，图5是本公开根据一示例性实施例示出的眼镜匹配方法中的产生候选安装点的流程图。

在图5中包括：

在步骤501中，获取入口参数：人脸3D模型、瞳孔坐标系。

在步骤502中，设置光线投射方向为瞳孔坐标系X轴正方向。

在步骤503中，在Z轴选取-15到-4共12个点，在Y轴选取10到50共40个点，在X轴选取固定值-50共组成480个点作为光线射的起点。

根据经验，本公开方案可以在Z轴选取-15到-4共12个点，在Y轴选取10到50共40个点，而在X轴选取固定值-50，从而得到YZ平面上的480个点。然后，向人脸3D模型的鼻梁部分作光线投射，光线投射与鼻梁的两个交叉点的中点就是安装点，如图4所示，图4是本公开根据一示例性实施例示出的产生一个安装点的示意图，图4中显示了两个交叉点的中点。另外，安装点的数据结构可以包括安装点及与鼻梁交叉的左右2个点。

本公开方案可以用480个点为起点，作480次光线投射，结果也是获得480个点。在进行光线投射时，可以看成是分别以这些点为起点，以X轴正方向，也就是屏幕左侧为方向画一条水平的射线，这条水平的射线就是穿过鼻梁。再进一步理解，这480个点，其实就是在YZ平面上的由480个点组成的离散平面。

在步骤504中，向人脸3D模型的鼻梁部分作光线投射。

在步骤505中，得到眼镜候选的安装点列表。

选取安装点的过程结束后，将产生480个候选安装点，如图6所示，图6是本公开根据一示例性实施例示出的产生的候选安装点的示意图。

在步骤206中，根据预设的挑选公式初步筛选镜框镜脚，确定筛选的镜框镜脚。

该步骤将人脸特征点数据中的脸宽、耳朵、瞳孔与镜框镜脚3D模型的元数据中的镜框宽度、镜脚长度、镜片光心按以下预设条件进行匹配筛选，所述预设条件包括：脸宽与设定常量之和小于镜框宽度，脸宽到耳朵的距离小于镜脚长度，耳朵、瞳孔及镜片光心为3点共线。

该步骤镜框镜脚初步筛选的流程图可以参见图7所示，图7是本公开根据一示例性实施例示出的眼镜匹配方法中的镜框镜脚初步筛选的流程图。

在图7中包括：

在步骤701中，获取入口参数1：包括所有镜框镜脚的元数据列表。

在步骤702中，获取入口参数2：包括人脸3D模型、瞳孔坐标系、人脸特征点数据、480个候选的安装点。

在步骤703中，按照预设的眼镜挑选公式执行初步筛选。

本公开预设的眼镜挑选公式为公式6，其中设左耳朵特征点为E1，右耳朵特征点为E2，左脸宽特征点为F1，右脸宽特征点为F2，左瞳孔特征点为C1，右瞳孔特征点为C2，设W为镜框宽度，L为镜脚长度，Q1为左镜片光心点，Q2为右镜片光心点。眼镜的各参数点示意可以参见图8，图8是本公开根据一示例性实施例示出的眼镜示意图。

上述公式中，D为距离，代表2点之间的距离，c是一个常量，一般可以取经验值6mm但不局限于此。

其中，第1条计算公式表示脸宽与设定常量之和小于镜框宽度W；

第2条计算公式表示脸宽到耳朵的距离小于镜脚长度L；

第3条与第4条计算公式表示耳朵特征点、瞳孔特征点以及镜片光心须共线。

其中，镜框宽度、镜脚长度以及镜片光心从眼镜的元数据中获取。

在步骤704中，输出符合筛选要求的安装点列表和镜框镜脚的元数据列表。

在步骤207中，将眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测来更进一步筛选，通过判断镜框镜脚与人脸3D模型是否产生碰撞来得到最终的安装点和镜框镜脚。

本公开所说的碰撞盒，形象描述就是给虚拟场景中的对象加上一个几何体的外壳，本公开可以利用相关技术中的碰撞盒技术。

碰撞检测，是指检测虚拟场景中不同对象之间是否发生了碰撞。在碰撞检测领域中，经常采用的一种高效检测方法是通过采用碰撞盒方式来进行。

上述步骤中，已经得到了候选的安装点以及初步筛选出来的镜框镜脚列表，以此作为输入进行碰撞检测，碰撞后人脸3D模型与镜框镜脚无任何交点则表示安装点为符合要求。最后，输出最终符合此人脸3D模型的最终的安装点和镜框镜脚列表。

该步骤具体的碰撞检测流程可参见图9，图9是本公开根据一示例性实施例示出的眼镜匹配方法中的碰撞检测流程图。

在图9中包括：

在步骤901中，获取入口参数1：人脸3D模型。

在步骤902中，获取入口参数2：符合要求的候选的安装点，符合要求的镜框镜脚列表。

在步骤903中，将人脸3D模型导入到3D场景中，通过两层循环迭代，分别将镜框镜脚组装好并放置在候选的安装点，进行碰撞检测。

该步骤中包括双循环，外层循环眼镜列表，内层循环安装点列表。因为每个眼镜的镜框和镜脚都是3D物体，所以眼镜列表就是由许多眼镜组成。

需说明的是，进行碰撞检测可以采用相关技术中的碰撞检测技术，本公开不加以限定。

在步骤904中，如果碰撞检测后人脸3D模型与镜框镜脚存在交点则确定安装点不符合要求，如果无交点则确定安装点为符合要求。

在进行碰撞检测后，如果人脸3D模型与镜框镜脚存在交点则确定安装点不符合要求，如果人脸3D模型与镜框镜脚无交点则确定安装点为符合要求。

在步骤905中，输出符合要求的最终的安装点和镜框镜脚。

经过碰撞检测步骤优化判断后，该步骤输出符合要求的最终的安装点和镜框镜脚。

在步骤208中，根据得到的最终的安装点和镜框镜脚确定匹配的眼镜。

从该实施例可以发现，本公开的方案，基于人脸3D模型数据，从左右耳朵、左右脸宽、左右瞳孔与眼镜的镜脚长度、镜框宽度、镜片光心等多个维度进行精确匹配，不仅仅考虑了视觉佩戴效果，还考虑了眼镜是否与人脸匹配的因素，从而提高了眼镜匹配的精确性。而且，通过碰撞检测进行了匹配优化，将确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚，从而进一步提高了眼镜匹配的精确性。

与前述应用功能实现方法实施例相对应，本公开还提供了一种基于3D人脸的眼镜匹配装置、终端设备及相应的实施例。

图10是本公开根据一示例性实施例示出的一种基于3D人脸的眼镜匹配装置的示意图框图。

该装置可以是位于客户端或服务器中。参照图10，在一种基于3D人脸的眼镜匹配装置中可以包括：获取模块1001、安装点确定模块1002、镜框镜脚确定模块1003、碰撞检测模块1004和处理模块1005。

获取模块1001，用于分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据。

本实施例中的获取模块1001可以从服务器分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据但不局限于此，也可以从本地或网络获取。

安装点确定模块1002，用于根据所述获取模块1001获取的所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点。

其中安装点确定模块1002还可以包括：坐标系构建子模块10021，用于将瞳孔连线的中点设为瞳孔坐标系原点O(x，y，z)，将人脸3D模型左瞳孔穿过原点连接到右瞳孔，构成X轴，将左右耳朵特征点连线的中点连接原点并穿过原点，构成Y轴，其中Z轴由X轴叉乘Y轴得到。

更具体的在计算机视觉中，常用的包括三个坐标系：图像坐标系、相机坐标系和世界坐标系，而世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。

本实施例的瞳孔坐标系是指：在世界坐标系中，计算3D人脸模型的两瞳孔的中点，并以此作为原点而建立的一个相对坐标系，主要用于方便进行其它的3D计算。安装点确定模块1002是根据左右瞳孔、左右耳朵、左右脸宽等6个关键人脸特征点，构造瞳孔坐标系。

本实施例所安装点确定模块1002构造的瞳孔坐标系，默认采用右手坐标系为例但不局限于此，也可以使用左手坐标系。以下以右手坐标系举例说明，原点O(x,y,z)是瞳孔连线的中点，也即将瞳孔连线的中点设为瞳孔坐标系原点O(x，y，z)。将人脸3D模型左瞳孔穿过原点，连接到右瞳孔，构成X轴，指向屏幕左方(如果是左手坐标系则指向屏幕右方)。将左右耳朵即双耳特征点连线的中点，连接原点并穿过原点，构成Y轴，指向屏幕外。其中Z轴是X轴叉乘Y轴得到，指向大约头顶方向。

本实施例的方案安装点确定模块1002记瞳孔坐标系原点为O(x，y，z)，左瞳孔特征点为A(x，y，z)，右瞳孔特征点为B(x，y，z)，左耳朵特征点为C(x，y，z)，右耳朵特征点为D(x，y，z)，则瞳孔坐标系的原点以及XYZ轴的计算公式分别为公式1、公式2、公式3和公式4：

公式1中表示原点O(x，y，z)为左瞳孔特征点A(x，y，z)和右瞳孔特征点B(x，y，z)的瞳孔连线的中点位置。

公式2表示将左瞳孔特征点A(x，y，z)穿过原点，连接到右瞳孔特征点B(x，y，z)，构成X轴。

公式3表示将左耳朵特征点C(x，y，z)与右耳朵特征点D(x，y，z)连线的中点，连接原点并穿过原点，构成Y轴。

公示4表示Z轴是X轴叉乘Y轴得到。

关于眼镜的倾斜度数horizontalTilt，是指眼镜镜框两端的端点所组成的向量p1p2绕着瞳孔坐标系Y轴旋转的角度θ(单位：度数)，其计算公式为公式5。

本实施例中的安装点确定模块1002还可以包括安装点确定子模块10022，用于在所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点。具体的可以在所述瞳孔坐标系中，在Z轴选取第一设定数目点，在Y轴选择第二设定数目点，在X轴取一个固定值，得到YZ平面上的第三设定数目点作为光线投射的起点；从所述起点向所述人脸3D模型的鼻梁部分作光线投射，其中光线投射与鼻梁的两个交叉点的中点为安装点。

镜框镜脚确定模块1003，用于将所述获取模块1001获取的所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，确定筛选的镜框镜脚。

本实施例中的镜框镜脚确定模块1003可以将所述人脸特征点数据中的脸宽、耳朵、瞳孔与所述镜框镜脚3D模型的元数据中的镜框宽度、镜脚长度、镜片光心按以下预设条件进行匹配筛选，所述预设条件包括：脸宽与设定常量之和小于镜框宽度，脸宽到耳朵的距离小于镜脚长度，耳朵、瞳孔及镜片光心为3点共线。

更具体的本实施例的镜框镜脚确定模块1003的镜框镜脚初步筛选的流程图可以参见图7所示，

在图7中包括：

在步骤701中，获取入口参数1：包括所有镜框镜脚的元数据列表。

在步骤702中，获取入口参数2：包括人脸3D模型、瞳孔坐标系、人脸特征点数据、480个候选的安装点。

在步骤703中，按照预设的眼镜挑选公式执行初步筛选。

本公开的镜框镜脚确定模块1003预设的眼镜挑选公式为公式6，其中设左耳朵特征点为E1，右耳朵特征点为E2，左脸宽特征点为F1，右脸宽特征点为F2，左瞳孔特征点为C1，右瞳孔特征点为C2，设W为镜框宽度，L为镜脚长度，Q1为左镜片光心点，Q2为右镜片光心点。眼镜的各参数点示意可以参见图8，图8是本公开根据一示例性实施例示出的眼镜示意图。

上述公式中，D为距离，代表2点之间的距离，c是一个常量，一般可以取经验值6mm但不局限于此。

其中，第1条计算公式表示脸宽与设定常量之和小于镜框宽度W；

第2条计算公式表示脸宽到耳朵的距离小于镜脚长度L；

第3条与第4条计算公式表示耳朵特征点、瞳孔特征点以及镜片光心须共线。其中，镜框宽度、镜脚长度以及镜片光心从眼镜的元数据中获取。

碰撞检测模块1004，用于将述安装点确定模块1002所确定的眼镜候选的安装点和镜框镜脚确定模块1003所筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚。

更具体的本实施例中碰撞检测模块1004可以将所述筛选的镜框镜脚组装好并放置在候选的安装点上，再与所述人脸3D模型进行碰撞检测，如果碰撞后无交点则确定安装点为符合要求，如果碰撞后有交点则确定安装点不符合要求；输出符合要求的最终的安装点和镜框镜脚。

本实施例公开所说的碰撞盒，形象描述就是给虚拟场景中的对象加上一个几何体的外壳，本实施例公开可以利用相关技术中的碰撞盒技术。

碰撞检测，是指检测虚拟场景中不同对象之间是否发生了碰撞。在碰撞检测领域中，经常采用的一种高效检测方法是通过采用碰撞盒方式来进行。

本实施例碰撞检测模块1004进行碰撞检测的流程可参见图9。

在图9中包括：

在步骤901中，获取入口参数1：人脸3D模型。

在步骤902中，获取入口参数2：符合要求的候选的安装点，符合要求的镜框镜脚列表。

在步骤903中，将人脸3D模型导入到3D场景中，通过两层循环迭代，分别将镜框镜脚组装好并放置在候选的安装点，进行碰撞检测。

该步骤中包括双循环，外层循环眼镜列表，内层循环安装点列表。因为每个眼镜的镜框和镜脚都是3D物体，所以眼镜列表就是由许多眼镜组成。

需说明的是，进行碰撞检测可以采用相关技术中的碰撞检测技术，本公开不加以限定。

在步骤904中，如果碰撞检测后人脸3D模型与镜框镜脚存在交点则确定安装点不符合要求，如果无交点则确定安装点为符合要求。

在进行碰撞检测后，如果人脸3D模型与镜框镜脚存在交点则确定安装点不符合要求，如果人脸3D模型与镜框镜脚无交点则确定安装点为符合要求。

本实施例处理模块1005，用于根据经所述碰撞检测模块1004碰撞检测后得到的最终的安装点和镜框镜脚确定匹配的眼镜。

由该实施例可见，本公开的装置是基于人脸3D模型数据进行眼镜匹配，是在瞳孔坐标系中根据鼻部在人脸3D模型的范围，确定眼镜候选的安装点，并将人脸特征点数据和镜框镜脚3D模型的元数据按预设条件进行匹配筛选后再得到筛选的镜框镜脚，还通过碰撞检测进行了匹配优化，将确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚，因此不仅仅考虑了视觉佩戴效果，还考虑眼镜是否与人脸匹配的因素，从而能提高眼镜匹配的精确性。

图11是根据一示例性实施例示出的一种终端设备的结构示意图，该终端设备可用于实现上述基于3D人脸的眼镜匹配方法。

参见图11，终端设备1100包括存储器1110和处理器1120。

处理器1120可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器1120可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器1120可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器1110可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1120或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1110可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1110可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器1110上存储有可执行代码，当可执行代码被处理器1120处理时，可以使处理器1120执行上文述及的上述基于3D人脸的眼镜匹配方法。

本公开提供一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现上述方法中所执行的操作。

上文中已经参考附图详细描述了根据本公开的上述方法。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (7)

1.一种基于3D人脸的眼镜匹配方法，其特征在于：

分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据；

根据所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点；

将所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，确定筛选的镜框镜脚；

将所述确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚；

根据所述得到的最终的安装点和镜框镜脚确定匹配的眼镜；

所述根据所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，包括：

将瞳孔连线的中点设为瞳孔坐标系原点O(x，y，z)，将人脸3D模型左瞳孔穿过原点连接到右瞳孔，构成X轴，将左右耳朵特征点连线的中点连接原点并穿过原点，构成Y轴，其中Z轴由X轴叉乘Y轴得到；

所述在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点，包括：

在所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点；

所述在所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点，包括：

在所述瞳孔坐标系中，在Z轴选取第一设定数目点，在Y轴选择第二设定数目点，在X轴取一个固定值，得到YZ平面上的第三设定数目点作为光线投射的起点；

从所述起点向所述人脸3D模型的鼻梁部分作光线投射，其中光线投射与鼻梁的两个交叉点的中点为安装点。

2.根据权利要求1所述的方法，其特征在于，所述将所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，包括：

将所述人脸特征点数据中的脸宽、耳朵、瞳孔与所述镜框镜脚3D模型的元数据中的镜框宽度、镜脚长度、镜片光心按以下预设条件进行匹配筛选，

所述预设条件包括：脸宽与设定常量之和小于镜框宽度，脸宽的特征点到耳朵的距离小于镜脚长度，耳朵、瞳孔及镜片光心为3点共线。

3.根据权利要求1至2任一项所述的方法，其特征在于，所述将所述确定的眼镜候选的安装点和筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚，包括：

将所述筛选的镜框镜脚组装好并放置在候选的安装点上，再与所述人脸3D模型进行碰撞检测，如果碰撞后无交点则确定安装点为符合要求，如果碰撞后有交点则确定安装点不符合要求；

输出符合要求的最终的安装点和镜框镜脚。

4.一种基于3D人脸的眼镜匹配装置，其特征在于：

获取模块，用于分别获取人脸3D模型及其元数据、镜框镜脚3D模型及其元数据；

安装点确定模块，用于根据所述获取模块获取的所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点；

镜框镜脚确定模块，用于将所述获取模块获取的所述人脸特征点数据和所述镜框镜脚3D模型的元数据按预设条件进行匹配筛选，确定筛选的镜框镜脚；

碰撞检测模块，用于将所述安装点确定模块所确定的眼镜候选的安装点和所述镜框镜脚确定模块所筛选的镜框镜脚输入到碰撞盒进行碰撞检测，得到最终的安装点和镜框镜脚；

处理模块，用于根据经所述碰撞检测模块碰撞检测后得到的最终的安装点和镜框镜脚确定匹配的眼镜；

其中，所述根据所述人脸3D模型的元数据中的人脸特征点数据构造瞳孔坐标系，包括：将瞳孔连线的中点设为瞳孔坐标系原点O(x，y，z)，将人脸3D模型左瞳孔穿过原点连接到右瞳孔，构成X轴，将左右耳朵特征点连线的中点连接原点并穿过原点，构成Y轴，其中Z轴由X轴叉乘Y轴得到；

所述在所述瞳孔坐标系中根据鼻部在所述人脸3D模型的范围，确定眼镜候选的安装点，包括：在所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点；

所述在所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点，包括：在所述瞳孔坐标系中，在Z轴选取第一设定数目点，在Y轴选择第二设定数目点，在X轴取一个固定值，得到YZ平面上的第三设定数目点作为光线投射的起点；从所述起点向所述人脸3D模型的鼻梁部分作光线投射，其中光线投射与鼻梁的两个交叉点的中点为安装点。

5.根据权利要求4所述的装置，其特征在于：

其中，所述安装点确定模块包括：

坐标系构建子模块，用于将瞳孔连线的中点设为瞳孔坐标系原点O(x，y，z)，将人脸3D模型左瞳孔穿过原点连接到右瞳孔，构成X轴，将左右耳朵特征点连线的中点连接原点并穿过原点，构成Y轴，其中Z轴由X轴叉乘Y轴得到；

安装点确定子模块，用于在所述坐标系构建子模块构建的所述瞳孔坐标系中，选取设定点向所述人脸3D模型中的鼻梁作光线投射，确定眼镜候选的安装点。

6.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1-3中任一项所述方法中所执行的操作。

7.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-3中任一项所述的方法。

Images