CN103456008A - 一种面部与眼镜匹配方法 - Google Patents

Abstract

本发明实施例提供了一种面部与眼镜匹配方法，所述方法包括：采集用户的面部图像数据视频流；根据所述面部图像数据视频流，提取所述用户的面部关键信息；根据所述面部关键信息，建立所述用户的头部姿态模型；根据所述头部姿态模型，与眼镜3D模型进行匹配。通过本发明实施例提供的方法，可以实现人脸与眼镜模型的实时匹配，将眼镜模型实时适配到用户的面部正确的位置，并且根据用户的需求和环境实时调整，实现用户远程试戴，满足用户的应用体验。

Description

一种面部与眼镜匹配方法

技术领域

本发明涉及图像处理领域，具体涉及一种面部与眼镜匹配方法。

背景技术

人脸识别技术是一系列相关技术的集合体，其包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；通过系统输入一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图像或者相应的编码，经过定位、边缘检测、特征点提取等一系列环节后，输出则是一系列相似度数值，表明待识别的人脸的身份。可以使用人脸图像采集、定位、边缘检测、特征点提取等技术，构建头部的3D模型，识别头部在三维空间中的姿态及运动轨迹，这些信息可以协助处理头部与眼镜的适配信息。

3D建模是通过编程方式或者三维制作软件通过虚拟三维空间构建出具有三维数据的模型，目前已经被广泛使用，在移动设备上也广泛存在，如OpenGL框架即是在Android、IOS平台上都被广泛使用的图形程序接口。

本发明使用3D建模技术处理眼镜的建模，并利用3D模型的实时渲染技术来处理头部与眼镜的适配动作。

发明内容

本发明的目的是提供一种面部与眼镜匹配方法，以实现基于3D模型技术的用户与眼镜的实时佩戴。

为实现上述目的，本发明实施例提供了一种面部与眼镜匹配方法，所述方法包括：

采集用户的面部图像数据视频流；

根据所述面部图像数据视频流，提取所述用户的面部关键信息；

根据所述面部关键信息，建立所述用户的头部姿态模型；

根据所述头部姿态模型，与眼镜3D模型进行匹配。

优选的，所述根据所述面部图像数据，提取所述用户的面部关键信息，其中，所述的面部关键信息包括：双眼位置、耳朵位置、面部轮廓。

优选的，所述根据所述面部关键信息，建立所述用户的头部姿态模型，具体包括：

根据所述双眼位置，计算瞳距；

根据所述双眼位置，计算面部中心线；

根据所述双眼位置，计算所述用户的头部偏转角；

根据所述面部轮廓与所述双眼位置，确定所述用户的适应镜架宽度。

优选的，所述眼镜3D模型包括眼镜模型的瞳距信息、镜架宽度信息、镜架材质信息、镜片的材质信息以及镜片和境况的颜色信息。

优选的，所述根据所述头部姿态模型，与眼镜3D模型进行匹配，具体包括：

根据所述头部姿态模型中的瞳距和所述眼镜3D模型中第一眼镜的瞳距信息是否匹配，确定所述第一眼镜是否能够使用；

如果所述第一眼镜能够使用，则检查所述头部姿态模型中的适应镜架宽度是否与所述第一眼镜的镜架宽度信息匹配；

在所述头部姿态模型中的适应镜架宽度与所述第一眼镜的镜架宽度信息匹配时，将所述头部姿态模型中的头部偏转角，设定为所述第一眼镜的偏转角度；

根据所述双眼位置信息，以及所述第一眼镜的偏转角度，确定所述第一眼镜的显示位置和显示角度；

按照所述确定的显示位置和显示角度，将所述第一眼镜插入所述用户的面部视频流数据，并显示。

优选的，所述根据所述头部姿态模型中的瞳距和所述眼镜3D模型中第一眼镜的瞳距信息是否匹配，确定所述第一眼镜是否能够使用，其中，

如果所述第一眼镜为非近视镜片，则当所述头部姿态模型中的瞳距在所述第一眼镜的瞳距区间之内时，确定第一眼镜能够使用；

如果所述第一眼镜为近视镜片，则当所述头部姿态模型中的瞳距等于所述第一眼镜的瞳距时，确定所述第一眼镜能够使用。

优选的，所述根据所述双眼位置，计算瞳距；具体为：

定位两个眼睛区域中心位置的距离，作为所述瞳距。

优选的，所述根据所述双眼位置，计算面部中心线；具体为：

将与所述两个眼睛的区域中心连线垂直，且与所述两个眼睛的区域中心连线垂直的线，作为面部中心线。

优选的，所述根据所述双眼位置，计算所述用户的头部偏转角；具体为：

将所述面部中心线与重力线相交的角度作为头部偏转角，其中所述重力线为视角平面内与地平面垂直的一条线。

优选的，所述根据所述面部轮廓与所述双眼位置，确定所述用户的适应镜架宽度，具体为：

沿所述双眼的中心线，画一条直线；

所述直线与所述面部轮廓左右两侧的交点之间的线段的长度，作为适应镜架宽度。

通过本发明实施例提供的方法，可以实现人脸与眼镜模型的实时匹配，将眼镜模型实时适配到用户的面部正确的位置，并且根据用户的需求和环境实时调整，实现用户远程试戴，满足用户的应用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的应用架构图；

图2是本发明实施例提供的面部与眼镜匹配方法的流程图；

图3是图2中的步骤203的详细流程图；

图4是图2中步骤204的详细流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，当用户需要购买商品时，可以登陆电子商务平台，通过电子商务平台提供的目标对象(例如眼镜，首饰、帽子等)的3D模型与用户进行匹配，用户可以观察匹配效果，进一步决定是否需要选择所述的目标对象。图1为例，以眼镜为目标对象为例，服务器10提供了眼镜的3D模型，服务器10可以通过摄像设备20采集用户30的面部图像数据，将面部图像数据与眼镜3D模型中的一个或几个眼镜进行匹配，供用户30查看匹配效果。当然，本实施例，也可以作为一种应用设置在智能手机、平板电脑等手持终端，藉由手持终端的摄像装置，采集用户的面部数据，之后通过网络连接服务器，与服务器提供的供调用的眼镜3D模型进行匹配操作。

具体而言，每个眼镜3D模型包括模型文件和模型描述两个部分，两个部分一一对应，共同组成一个完整的眼镜3D模型。其中，模型文件部分为OpenGL或OpenGL ES引擎可以调用的格式(OBJ格式)；模型描述部分为文本文件，具体包含眼镜模型的瞳距信息、镜架宽度信息、镜架的材质描述信息、镜片的材质描述信息、镜架的颜色描述信息、镜片的颜色描述信息、眼镜整体的款式描述信息；

其中瞳距信息为某一个眼镜模型所表现的眼镜两幅镜片焦点之间的距离，对于部分镜片，例如非近视镜片，该信息可以表达为一个区间，即两个镜片的最近距离至最远距离；镜架宽度信息为某一个眼镜模型所表现的眼镜两支镜腿之间的距离；3D模型中每一款眼镜模型的空白部分使用透明色。

基于上述的应用场景，本发明实施例提供了一种面部与眼镜的匹配方法，图2是所述方法的流程图，由图2可见，所述方法包括：

201，采集用户的面部图像数据视频流；

具体的，所述的面部图像数据视频流，可以通过PC、笔记本电脑或者移动设备上的摄像头采集。

202，根据所述面部图像数据视频流，提取所述用户的面部关键信息；

具体的，所述根据所述面部图像数据，提取所述用户的面部关键信息，其中，所述的面部关键信息包括：双眼位置、耳朵位置、面部轮廓。

在采集到用户的面部图像数据视频流之后，可以通过多种方式采集用户的面部关键信息，例如，通过使用OpenCV(Open Computer Vision，一个开源计算机视觉库，下简称OpenCV)中的AdaBoost算法来定位眼睛，计算双眼位置；使用OpenCV中经过训练的Haar级联分类器，定位视频流当前帧中的耳朵位置；使用OpenCV中的相关方法检测出面部轮廓，使用OpenCV中的FaceRecognizer方法来定位出准确的面部区域；通过OpenCV中的Canny方法来二值化(131)中定位出的面部区域；通过OpenCV中的cvfindcontours方法在二值化后的面部区域检测面部轮廓；

203，根据所述面部关键信息，建立所述用户的头部姿态模型；

204，根据所述头部姿态模型，与眼镜3D模型进行匹配。

如图3所示，在一种较佳的实施方式中，所述根据所述面部关键信息，建立所述用户的头部姿态模型，具体包括：

301，根据所述双眼位置，计算瞳距；

具体为：定位两个眼睛区域中心位置的距离，作为所述瞳距。

302，根据所述双眼位置，计算面部中心线；

具体为：将与所述两个眼睛的区域中心连线垂直，且与所述两个眼睛的区域中心连线垂直的线，作为面部中心线。

303，根据所述双眼位置，计算所述用户的头部偏转角；

具体为：将所述面部中心线与重力线相交的角度作为头部偏转角，其中所述重力线为视角平面内与地平面垂直的一条线。

304，根据所述面部轮廓与所述双眼位置，确定所述用户的适应镜架宽度。

具体而言，在步骤304中，先沿所述双眼的中心线，画一条直线；之后，将所述直线与所述面部轮廓左右两侧的交点之间的线段的长度，作为适应镜架宽度。

如图4所示，在一种较佳的实施方式中，所述根据所述头部姿态模型，与眼镜3D模型进行匹配的步骤，具体包括：

401，根据所述头部姿态模型中的瞳距和所述眼镜3D模型中第一眼镜的瞳距信息是否匹配，确定所述第一眼镜是否能够使用；

其中，第一眼镜为眼镜3D模型中的一个眼镜模型，如果所述第一眼镜为非近视镜片，则当所述头部姿态模型中的瞳距在所述第一眼镜的瞳距区间之内时，确定第一眼镜能够使用；

如果所述第一眼镜为近视镜片，则当所述头部姿态模型中的瞳距等于所述第一眼镜的瞳距时，确定所述第一眼镜能够使用。

如果不满足上述的条件，则退出，如果满足，则执行步骤402。

402，如果所述第一眼镜能够使用，则检查所述头部姿态模型中的适应镜架宽度是否与所述第一眼镜的镜架宽度信息匹配；

具体的，如果适应镜架宽度不等于当前选择的眼镜3D模型中的镜架宽度信息，则提示用户当前镜片不能使用并退出；如果满足，则进行到下一步骤；

403，在所述头部姿态模型中的适应镜架宽度与所述第一眼镜的镜架宽度信息匹配时，将所述头部姿态模型中的头部偏转角，设定为所述第一眼镜的偏转角度；

404，根据所述双眼位置信息，以及所述第一眼镜的偏转角度，确定所述第一眼镜的显示位置和显示角度；

具体的，根据双眼位置、偏转角度等，确定眼镜3D模型的显示位置及显示角度。确定显示位置时，按照偏转角度适度旋转模型，使眼镜3D模型的两个镜片中心位置的连线与双眼中心连线相重合；

405，按照所述确定的显示位置和显示角度，将所述第一眼镜插入所述用户的面部视频流数据，并显示。

具体的，可以调用OpenGL或者OpenGL ES引擎，按照给定的显示位置和显示角度，在视频流当前帧中插入当前眼镜的3D模型。

最后，可以在头部连续的运动过程中，调整匹配结果，每一帧结束后，重复图1所示的步骤。

通过本发明实施例，可以实现人脸与眼镜模型的实时匹配，将眼镜模型实时适配到用户的面部正确的位置，并且根据用户的需求和环境实时调整，实现用户远程试戴，满足用户的应用体验。

需要指出的是，另一方面，本发明中眼镜实际使用的是3D模型，而这些模型的建模技术是通用的。鉴于此，本发明可以适用于任何需要与人的面部特征匹配的物体，包括但不限于首饰、发型、耳机、帽子、围巾等。因此，本发明中所描述的技术，可以为一大类产品成功进行电子商务营销提供新的技术手段。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面部与眼镜匹配方法，其特征在于，所述方法包括：

采集用户的面部图像数据视频流；

根据所述面部图像数据视频流，提取所述用户的面部关键信息；

根据所述面部关键信息，建立所述用户的头部姿态模型；

根据所述头部姿态模型，与眼镜3D模型进行匹配。

2.如权利要求1所述的方法，其特征在于，所述根据所述面部图像数据，提取所述用户的面部关键信息，其中，所述的面部关键信息包括：双眼位置、耳朵位置、面部轮廓。

3.如权利要求2所述的方法，其特征在于，所述根据所述面部关键信息，建立所述用户的头部姿态模型，具体包括：

根据所述双眼位置，计算瞳距；

根据所述双眼位置，计算面部中心线；

根据所述双眼位置，计算所述用户的头部偏转角；

根据所述面部轮廓与所述双眼位置，确定所述用户的适应镜架宽度。

4.如权利要求1至3任一项所述的方法，其特征在于，所述眼镜3D模型包括眼镜模型的瞳距信息、镜架宽度信息、镜架材质信息、镜片的材质信息以及镜片和境况的颜色信息。

5.如权利要求4所述的方法，其特征在于，所述根据所述头部姿态模型，与眼镜3D模型进行匹配，具体包括：

根据所述头部姿态模型中的瞳距和所述眼镜3D模型中第一眼镜的瞳距信息是否匹配，确定所述第一眼镜是否能够使用；

如果所述第一眼镜能够使用，则检查所述头部姿态模型中的适应镜架宽度是否与所述第一眼镜的镜架宽度信息匹配；

在所述头部姿态模型中的适应镜架宽度与所述第一眼镜的镜架宽度信息匹配时，将所述头部姿态模型中的头部偏转角，设定为所述第一眼镜的偏转角度；

根据所述双眼位置信息，以及所述第一眼镜的偏转角度，确定所述第一眼镜的显示位置和显示角度；

按照所述确定的显示位置和显示角度，将所述第一眼镜插入所述用户的面部视频流数据，并显示。

6.如权利要求5所述的方法，其特征在于，所述根据所述头部姿态模型中的瞳距和所述眼镜3D模型中第一眼镜的瞳距信息是否匹配，确定所述第一眼镜是否能够使用，其中，

如果所述第一眼镜为非近视镜片，则当所述头部姿态模型中的瞳距在所述第一眼镜的瞳距区间之内时，确定第一眼镜能够使用；

如果所述第一眼镜为近视镜片，则当所述头部姿态模型中的瞳距等于所述第一眼镜的瞳距时，确定所述第一眼镜能够使用。

7.如权利要求1至6任一项所述的方法，其特征在于，所述根据所述双眼位置，计算瞳距；具体为：

定位两个眼睛区域中心位置的距离，作为所述瞳距。

8.如权利要求1至7任一项所述的方法，其特征在于，所述根据所述双眼位置，计算面部中心线；具体为：

将与所述两个眼睛的区域中心连线垂直，且与所述两个眼睛的区域中心连线垂直的线，作为面部中心线。

9.如权利要求8所述的方法，其特征在于，所述根据所述双眼位置，计算所述用户的头部偏转角；具体为：

将所述面部中心线与重力线相交的角度作为头部偏转角，其中所述重力线为视角平面内与地平面垂直的一条线。

10.如权利要求9所述的方法，其特征在于，所述根据所述面部轮廓与所述双眼位置，确定所述用户的适应镜架宽度，具体为：

沿所述双眼的中心线，画一条直线；

所述直线与所述面部轮廓左右两侧的交点之间的线段的长度，作为适应镜架宽度。

Images