CN112418138A - 一种眼镜试戴系统及程序 - Google Patents

Abstract

提供了一种眼镜试戴系统，包括：面部眼镜识别模块、判断模块、眼镜摘除模块和眼镜佩戴模块，其中面部眼镜识别模块用于：接受由用户上传的一段任意的佩戴的或未佩戴眼镜的面部视频以及为用户提供眼镜模型供用户选择并获取指定眼镜模型；判断模块用于判断视频中的面部是否已经佩戴了眼镜；眼镜摘除模块用于当判断模块判断出面部已经佩戴了眼镜，则先为视频中的面部摘除原有眼镜再佩戴指定眼镜再调用眼镜佩戴模块；眼镜佩戴模块用于当判断模块判断出面部未佩戴眼镜，则为视频中的面部佩戴指定眼镜并输出佩戴了指定眼镜的面部视频。

Description

一种眼镜试戴系统及程序

技术领域

本发明涉及机器学习在图像处理技术领域的应用，尤其涉及一种眼镜试戴系统，它突破了就近式面向街区化的眼镜购买和销售格局，使眼镜店的销售人群不仅仅是周边的街道，而为消费者提供“足不出户、送货到家”的购物新体验。

背景技术

在近视问题井喷式爆发的今日，中国人群的近视率早已触及了危险峰值，拥有一副及以上的眼镜的人更是不占少数。但是，用户在配试眼镜的过程中，常常会陷入由于摘下眼镜后的裸视力较低而无法清楚地看到自己佩戴新镜框的效果的处境，因此需要研发一款集摘除与佩戴眼镜为一体的眼镜试戴系统。

但是，现有的眼镜摘除技术和眼镜佩戴技术还不够成熟。目前为止，已公开的眼镜摘除技术在实现方式上仍存在多重算法叠加、仅适于特定肤色等局限；而市场上销售的大多眼镜试戴程序都存在镜框偏离面部中心的问题。

发明概述

因此，本发明的目的在于提供一种眼镜试戴系统。

本发明的又一目的在于提供一种眼镜试戴系统的手机端或电脑端应用程序、小程序或网页。

为实现上述目的，根据本发明的一个方面，提供一种眼镜试戴系统，包括：面部眼镜识别模块、判断模块、眼镜摘除模块和眼镜佩戴模块，其中面部眼镜识别模块用于：接受由用户上传的一段任意的佩戴的或未佩戴眼镜的面部视频以及为用户提供眼镜模型供用户选择并获取指定眼镜模型(即，指定眼镜模型的含义是将要佩戴的眼镜模型)；判断模块用于判断视频中的面部是否已经佩戴了眼镜；眼镜摘除模块用于当判断模块判断出面部已经佩戴了眼镜，则先为视频中的面部摘除原有眼镜再佩戴指定眼镜再调用眼镜佩戴模块；眼镜佩戴模块用于当判断模块判断出面部未佩戴眼镜，则为视频中的面部佩戴指定眼镜并输出佩戴了指定眼镜的面部视频。

优选地，面部眼镜识别模块是基于二分类模式下的卷积神经网络实现的。需要说明的是，本发明中的输入图像是从用户的实时面部视频中通过帧提取得到的2D图像。构建卷积神经网络的过程是：首先，采集的用户面部图像包括输入图像集和输出结果集。输入图像集包含了佩戴眼镜的和未佩戴眼镜的面部不同方位的配对的或非配对的用户面部图像。输出结果集包含了与输入图像集一一对应的分类标签，包括“戴眼镜”和“未佩戴眼镜”两类。其次，建立二分类模式下的卷积神经网络(又称：CNN)。其中，卷积神经网络采用双层卷积神经网络结构，包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层及输出层。其中，该池化层夹在连续的卷积层中间，用于压缩图像。然后，根据采集的输入图像集和输出结果集对双层卷积神经网络进行训练，得到眼镜摘除模型。

优选地，眼镜摘除模块是基于变分编码器的循环模式下的生成对抗网络实现的。构建生成对抗网络的过程是：首先，采集用户面部图像作为输入图像集，包括第一输入图像集---佩戴眼镜的输入图像集和第二输入图像集---未佩戴眼镜的输入图像集，此两种输入图像集的区别在于面部是否佩戴眼镜，其中第一输入图像集包含了佩戴眼镜的面部不同方位的用户面部图像，第二输入图像集包含了未佩戴眼镜的面部不同方位的用户面部图像。另外，第一输入图像集和第二输入图像集之间可以是配对关系也可以是非配对关系。其次，建立一种基于变分编码器(又称VAE)的循环模式下的生成对抗网络(又称GAN)，其中生成对抗网络是基于传统GAN网络的G生成器、F生成器与D判别器的结构，在D判别器的基础上加入了局部判别器，在输出结果处添加了损失函数，进而强化了网络对输出结果的判别能力，进一步提高生成对抗网络对眼镜的消除效果。同时，生成对抗网络包括上下两个镜像对称的神经网络：一种网络的输入图像集为第一类佩戴眼镜，一种网络的输入图像集为第二类未佩戴眼镜的网络。然后，根据输入图像集对生成对抗网络进行训练以便得到眼镜摘除模型。

优选地，眼镜佩戴模块的实施过程包括：输入未佩戴眼镜的面部图像，标定面部特征点，估计面部的初始姿态，将3D眼镜模型映射为2D图像，将生成的2D眼镜图像添加至输入的2D面部图像中。具体来说，可分为三步：第一步，输入未佩戴眼镜的面部图像，标定面部特征点，估计面部的初始姿态。首先接受未佩戴的2D面部图像所为输入。其次通过标定得出在眼镜佩戴过程中需要确定的3个标准点的位置。其中该3个标准点是通过dlib算法对用户输入的视频流进行面部检测得到相关特征点，再通过标定得出的。其中，该3个标准点的分别位于左脸最外部(对应dlib标注0)、鼻根(对应dilb标注27)及右脸最外部(对应dlib标注16)。然后，估计输入的面部的初始姿态，获得位态参数信息。其中，该位态参数包括旋转向量和平移向量。其中，该旋转向量表示面部相对于初始坐标轴旋转的程度，该旋转向量表示面部位置坐标相对于初始坐标轴原点的位置变换。第二步，将生成的2D眼镜图像添加至输入的2D面部图像中。首先载入眼镜的3D模型，返回3D模型的载入后的坐标信息。其次通过位态参数信息将加载的眼镜的3D模型调整到与面部姿态相匹配的旋转角度。然后将3D模型映射到2D图像中。其中，该3D模型以obj格式加载。第三步，将生成的2D眼镜图像添加至输入的2D面部图像中。首先经由上述三个标准点标定后，得到面部图像中眼镜应佩戴的位置。其次在对应位置上将2D眼镜图像添加至输入的2D面部图像中，实现面部的眼镜佩戴效果。

根据本发明的再一方面，提供了一种手机端或电脑端应用程序、小程序或网页，用于实现上述的眼镜试戴系统。

发明的有益效果

本发明公开了一种眼镜试戴系统。本发明利用了姿态估计与三维模型旋转技术，训练了基于变分编码器的循环模式下的生成对抗网络，构建了双层卷积神经网络，实现了虚拟试戴功能：先判断是否佩戴眼镜，再可选地去除原有眼镜，然后佩戴其他款式的眼镜。本发明突破了就近式、面向街区化的眼镜购买和销售格局，使眼镜店的销售人群不仅仅是周边的街道；同时为消费者提供“足不出户、送货到家”的购物新体验。

本发明的上述特征和优势将在下文以实施例的方式，配合所附附图详细说明。

附图的简要说明

以下将结合附图对本发明的技术特征进行详细的说明，其中：

图1是根据本发明一个实施例的眼镜试戴系统的主要模块示意图；

图2是根据本发明一个实施例的眼镜试戴系统的流程示意图；

图3是根据本发明一个实施例的面部眼镜识别模块所基于的双层卷积神经网络的构建流程示意图；

图4是根据本发明的双层卷积神经网络模型的结构示意图；

图5是根据本发明一个实施例的眼镜摘除模块所基于的生成对抗网络的构建流程示意图；

图6是根据本发明的基于变分编码器的循环模式下的生成对抗网络的结构示意图；

图7是根据本发明一个实施例的眼镜佩戴模块的流程示意图。

具体实施方式

下面参考附图详细描述本发明的实施例。

图1是根据本发明一个实施例的眼镜试戴系统的主要模块示意图，下面将予以详细说明。

眼镜试戴系统100包括面部眼镜识别模块110、判断模块120、眼镜摘除模块130和眼镜佩戴模块140。面部眼镜识别模块110包括两个功能：第一，接受由用户上传的一段任意的佩戴的或未佩戴眼镜的面部视频；第二，为用户提供眼镜模型供用户选择，获取指定眼镜模型(即，指定眼镜模型的含义是将要佩戴的眼镜模型)。判断模块120用于判断视频中的面部是否已经佩戴了眼镜从而根据判断结果调取眼镜摘除模块或眼镜佩戴模块。如果面部已经佩戴了眼镜，那么眼镜摘除模块130先为视频中的面部摘除原有眼镜再由眼镜佩戴模块140为其佩戴指定眼镜；如果面部没有佩戴眼镜，那么眼镜佩戴模块140为视频中的面部佩戴指定眼镜并且眼镜佩戴模块140输出佩戴了指定眼镜的面部视频。

图2是根据本发明一个实施例的眼镜试戴系统的流程示意图。

第一步，接受由用户上传的一段任意的佩戴的或未佩戴眼镜的面部视频并提供指定的眼镜；

第二步，判断视频中的面部是否已经佩戴了眼镜；

如果面部已经佩戴了眼镜，则执行第三步，即为视频中的面部摘除原有眼镜；

第四步，为视频中的面部佩戴指定眼镜；

第五步，输出佩戴指定眼镜的面部视频。

图3是根据本发明一个实施例的面部眼镜识别模块所基于的双层卷积神经网络的构建流程示意图，下面将详细说明其所包括的各个步骤。

在步骤S310，采集的用户面部图像包括输入图像集和输出结果集。输入图像集包含了佩戴眼镜的和未佩戴眼镜的面部不同方位的配对的或非配对的用户面部图像。输出结果集包含了与输入图像集一一对应的分类标签，包括“佩戴眼镜”和“未佩戴眼镜”两类。

在步骤S320，建立二分类模式下的卷积神经网络(又称：CNN)。其中，卷积神经网络采用双层卷积神经网络结构，包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层及输出层。其中，池化层夹在连续的卷积层中间，用于压缩图像。

在步骤S330，根据所采集的输入图像集和输出结果集对双层卷积神经网络进行训练以便得到眼镜摘除模型。

图4是根据本发明一个实施例的双层卷积神经网络模型的结构示意图。

输入层S410，接受带判别的图像。

第一卷积层S420，核大小5*5，步长1，核数6；

第一池化层S430，核大小2*2，步长2；

第二卷积层S440，核大小5*5，步长1，核数16；

第二池化层S450，核大小2*2，步长2；

第一全连接层S460，包含128个神经元；

第二全连接层S470，包含2个神经元；

输出层S480，返回分类结果。

图5是根据本发明一个实施例的眼镜摘除模块所基于的生成对抗网络的构建流程示意图。

在步骤S510，采集的用户面部图像包括第一类佩戴眼镜的输入图像集和第二类未佩戴眼镜的输入图像集。两类输入图像集的区别在于面部是否佩戴眼镜。第一类佩戴眼镜的输入图像集包含了佩戴眼镜的面部不同方位的用户面部图像。第二类未佩戴眼镜的输入图像集包含了未佩戴眼镜的面部不同方位的用户面部图像。另外，第一类输入图像集和第二类输入图像集间可以是配对的也可以是非配对的关系。

在步骤S520，建立一种基于变分编码器(又称VAE)的、循环模式下的生成对抗网络(又称GAN)。其中，生成对抗网络基于传统GAN网络G生成器、F生成器与D判别器的结构，在D判别器的基础上加入了局部判别器，在输出结果处添加了损失函数，进而强化了网络对输出结果的判别能力，进一步提高生成对抗网络对眼镜的消除效果。同时，生成对抗网络包括上下两个镜像对称的神经网络：一种输入图像集为第一类佩戴眼镜的网络和一种输入图像集为第二类佩戴眼镜的网络。

在步骤S530，根据采集的输入图像集和输出图像集对生成对抗网络进行训练以便得到眼镜摘除模型。

图6是根据本发明的基于变分编码器的循环模式下的生成对抗网络的结构示意图。

一方面，第一类已佩戴眼镜的输入图像集(图中记作真实_X)被传递到第一个生成器61中，其任务是去除图像集真实_X上的眼镜，然后生成与真实_X相对应的未佩戴眼镜的图像集，记为生成_Y。然后这个新生成的图像被传递到第二个生成器62中，其任务是为图像集生成_Y佩戴眼镜，然后生成与图像集生成_Y相对应的佩戴眼镜的图像集，记为重构_X。判别器631的任务是尽力检测出生成器61产生的假图像，帮助生成器61生成消除效果更佳的图像集。改进损失函数641的任务是对比由生成器62还原出来的图像集重构_X与原始的图像集真实_X之间的差别，防止生成器61和判别器631在相互对抗中过度拟合。在本发明的一个实施例中，可选地，在判别器631的基础上加入了局部判别器632，增强了判别器在生成的图像集生成_Y的眼部区域的判别能力，进一步提高生成器61对眼镜的消除效果。在具体实施时可根据实际情况选择是否加入局部判别器。

另一方面，相似地，第二类未佩戴眼镜的输入图像集真实_Y被传递到第二个生成器62中，其任务是为图像集真实_Y佩戴眼镜，然后生成与真实_Y相对应的已佩戴眼镜的图像集，记为生成_X。然后这个新生成的图像被传递到第一个生成器61中，其任务是为图像集生成_X摘除眼镜，然后生成与图像集生成_X相对应的未佩戴眼镜的图像集，记为重构_Y。判别器633的任务是尽力检测出生成器62产生的假图像，帮助生成器62生成佩戴效果更佳的图像集。严格损失函数642的任务是对比由生成器61还原出来的图像集重构_Y与原始的图像集真实_Y之间的差别，防止生成器62和判别器633在相互对抗中过度拟合。

另外，生成对抗网络在上下两个镜像的循环的神经网络中采用了非对称的损失函数。在输入图像集为第一类佩戴眼镜的网络中，使用了改进损失函数641，降低了对由生成器62还原出来的图像集重构_X与原始的图像集真实_X之间的相似度的要求，有效地避免了生成器61在生成的图像集生成_Y中保留真实_X中的部分眼镜信息，解决了在眼镜消除过程中出现的眼镜框残留的问题。在输入图像集为第二类佩戴眼镜的网络中，使用了严格损失函数642，提高了生成器61和62的生成质量，保证了网络的训练效果。

图7是根据本发明一个实施例的眼镜佩戴模块的流程示意图，下面将详细说明其步骤。

步骤S710，此步骤包含三个部分：输入未佩戴眼镜的面部图像、标定面部特征点及估计面部的初始姿态。首先接受未佩戴眼镜的面部实时视频流作为该方法的输入，未佩戴眼镜的面部帧可以经由上述提出的眼镜消除方法获得，亦可由用户直接传入未佩戴眼镜的实际面部实时视频流，通过帧提取得到相应未佩戴的2D面部图像。其次基于dlib算法对用户输入的视频流进行面部检测，将所得到的相关特征点，通过标定得出在眼镜佩戴过程中需要确定的3个标准点的位置，分别位于左脸最外部(对应dlib标注0)、鼻根(对应dilb标注27)、右脸最外部(对应dlib标注16)。然后，估计输入的面部的初始姿态，获得位态参数信息。其中，该位态参数包括旋转向量和平移向量。其中，该旋转向量表示面部相对于初始坐标轴旋转的程度，该旋转向量表示面部位置坐标相对于初始坐标轴原点的位置变换。

步骤S720，此步骤用于将3D眼镜模型映射为2D图像。首先载入眼镜的3D模型，返回3D模型的载入后的坐标信息。其次通过位态参数信息将加载的眼镜的3D模型调整到与面部姿态相匹配的旋转角度。然后将3D模型映射到2D图像中。其中，该3D模型以obj格式加载。

步骤S730，此步骤用于将生成的2D眼镜图像添加至输入的2D面部图像中。首先经由上述三个标准点标定后，得到面部图像中眼镜应佩戴的位置。其次在对应位置上将2D眼镜图像添加至输入的2D面部图像中，实现面部的眼镜佩戴效果。

根据本发明的一个实施例，还提供包含以上眼镜摘除及佩戴系统的手机端或电脑端应用程序、小程序或网页。当执行这些手机端或电脑端应用程序、小程序或网页时，可以实现前述的功能，这里不再赘述。

虽然已给出本发明的实施范例，但本领域的技术人员应当理解，在不脱离本发明精神的情况下，可以对本发明的实施范例进行改变。上述实施范例只是示例性的，不应以本实施范例作为本发明权利范围的限定。

Claims (7)

1.一种眼镜试戴系统，包括：面部眼镜识别模块、判断模块、眼镜摘除模块和眼镜佩戴模块，其中所述面部眼镜识别模块用于：接受由用户上传的一段任意的佩戴的或未佩戴眼镜的面部视频以及为用户提供眼镜模型供用户选择并获取指定眼镜模型；所述判断模块用于判断视频中的面部是否已经佩戴了眼镜；所述眼镜摘除模块用于当所述判断模块判断出面部已经佩戴了眼镜，则先为视频中的面部摘除原有眼镜再佩戴指定眼镜再调用所述眼镜佩戴模块；所述眼镜佩戴模块用于当所述判断模块判断出面部未佩戴眼镜，则为视频中的面部佩戴指定眼镜并输出佩戴了指定眼镜的面部视频。

2.根据权利要求1的眼镜试戴系统，其中所述面部眼镜识别模块是基于二分类模式下的卷积神经网络实现的，并且所述构建卷积神经网络的过程包括：首先，采集用户面部图像，所述用户面部图像包括输入图像集和输出结果集，所述输入图像集包含佩戴眼镜的和未佩戴眼镜的面部不同方位的配对的或非配对的用户面部图像，所述输出结果集包含与所述输入图像集一一对应的分类标签-包括“戴眼镜”和“未佩戴眼镜”两类；其次，建立二分类模式下的卷积神经网络，其中所述卷积神经网络采用双层卷积神经网络结构，包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层及输出层，所述池化层夹在连续的卷积层中间并且用于压缩图像；然后，根据所述采集的输入图像集和输出结果集训练并得到所述双层卷积神经网络。

3.根据权利要求1的眼镜试戴系统，其中所述眼镜摘除模块是基于变分编码器的循环模式下的生成对抗网络实现的，构建所述生成对抗网络的过程包括：首先，采集用户面部图像作为输入图像集，包括第一输入图像集---佩戴眼镜的输入图像集和第二输入图像集---未佩戴眼镜的输入图像集，此两种输入图像集的区别在于面部是否佩戴眼镜，其中所述第一输入图像集包含佩戴眼镜的面部不同方位的用户面部图像，所述第二输入图像集包含未佩戴眼镜的面部不同方位的用户面部图像，并且所述第一输入图像集和第二输入图像集之间可以是配对关系也可以是非配对关系；其次，建立一种基于变分编码器的循环模式下的生成对抗网络，其中所述生成对抗网络是基于传统GAN网络的G生成器、F生成器与D判别器的结构，在所述D判别器的基础上加入局部判别器并且在输出结果处添加了损失函数，所述局部判别器用于增强在生成的图像集中眼部区域的判别能力，所述损失函数包括改进损失函数和严格损失函数，用于防止所述生成器和所述判别器之间的过度拟合，且其中所述生成对抗网络包括上下两个镜像对称的神经网络：一种网络的输入图像集为所述第一输入图像集，另一种网络的输入图像集为所述第二输入图像集；然后，根据所述输入图像集对所述生成对抗网络进行训练以便得到眼镜摘除模型。

4.根据权利要求1或3的眼镜试戴系统，其中所述眼镜佩戴模块的实现过程包括：第一步，输入未佩戴眼镜的面部图像、标定面部特征点及估计面部的初始姿态得到位态参数信息；第二步，载入眼镜的3D模型并返回所述3D模型载入后的坐标信息、将载入的眼镜的3D模型调整到与所述面部的位态参数信息相匹配的旋转角度之后再将所述眼镜的3D模型映射到2D图像中；第三步，将生成的2D眼镜图像添加至输入的2D面部图像中以实现面部的眼镜佩戴效果。

5.根据权利要求4的眼镜试戴系统，其中所述的面部特征点包括3个标准点，所述3个标准点是通过dlib算法对用户输入的视频流进行面部检测得到相关特征点再通过标定得出的，其中所述3个标准点的分别位于左脸最外部-对应dlib标注0、鼻根-对应dilb标注27、右脸最外部-对应dlib标注16；所述面部的位态参数包括旋转向量和平移向量，其中所述旋转向量表示面部相对于初始坐标轴旋转的程度，所述旋转向量表示面部位置坐标相对于初始坐标轴原点的位置变换。

6.根据权利要求4的眼镜试戴系统，其中所述的将生成的2D眼镜图像添加至输入的2D面部图像中时，首先经由所述3个标准点标定后获得所述面部图像中眼镜应佩戴的位置，再在对应位置上将所述2D眼镜图像添加至输入的2D面部图像中。

7.一种手机端或电脑端应用程序、小程序或网页，用于实现上述的眼镜试戴系统。

Images