CN111815382A

CN111815382A - 一种基于人脸识别技术的眼镜虚拟试戴方法

Info

Publication number: CN111815382A
Application number: CN201910289996.5A
Authority: CN
Inventors: 惠开进; 辛羊华; 薛敏
Original assignee: Suzhou Gongqiqi Intelligent Technology Co ltd
Current assignee: Zhejiang Kuaiqi Holding Co.,Ltd.
Priority date: 2019-04-11
Filing date: 2019-04-11
Publication date: 2020-10-23

Abstract

本发明公开一种基于人脸识别技术的眼镜虚拟试戴方法，包括：Unity端启动后，Unity端开启每帧循环视频刷新，Android端调取摄像头获取视频数据，JNI端对获取的图像做美化处理，传到面板显示；Unity端开启每帧循环人脸检测，Android端获取图片数据，JNI端进行检测、对齐以及姿态估算，得到人脸识别数据，经矩阵变换和三维空间转换，数据转换成Unity的挂载点位，通过Unity3D引擎中的相机将显示模型渲染到对应点位；视频与模型通过层级设置合并渲染显示。该方法采用人脸识别技术将虚拟的眼镜模型挂载在屏幕的人脸图像上，同时支持视频的动态挂载和静态多张图片对比的挂载。

Description

一种基于人脸识别技术的眼镜虚拟试戴方法

技术领域

本发明涉及人脸识别应用领域，具体是一种基于人脸识别技术的眼镜虚拟试戴方法。

背景技术

近年来，中国宏观经济稳定发展，伴随高近视率的刚性需求，中国眼镜零售市场也稳步增长。随着居民可支配收入逐年提高，人民生活水平、消费能力不断提高，消费者有能力购买多副眼镜以满足不同场合的佩戴需求，选择超轻新材质的镜架，抗辐射、抗疲劳等多功能的镜片，这些都刺激了眼镜零售市场的快速增长。据Euromonitor研究报告，中国眼镜零售市场规模从2006年的208.20亿元增长到2015年的673.94亿元，年均复合增长率达13.94％。

近年来，我国网络购物环境日趋完善，国内电子网络购物呈现高速发展的态势。与传统线下渠道相比，网络销售眼镜具有如下优势：一是眼镜款式多，解决实体店因面积、库存压力不能尽显产品样式的问题；二是直接接触广大终端客户，可广泛、清晰、深入传递品牌与产品信息。

但由于网络销售眼镜无法提供验光服务，网络销售隐形眼镜受到了严格的控制，目前线上眼镜零售是以太阳镜为主，网络销售眼镜占中国眼镜零售市场比例仍然不高。但是，目前互联网电商采用网上展示，线下体验店配镜，网上预约，上门配镜等等各种手段，正在不断弥补网络销售眼镜的劣势。因此，眼镜虚拟试戴设备应运而生，可以帮助用户方便的更换心仪的眼镜。

发明内容

为实现将虚拟的眼镜模型挂载在屏幕的人脸图像上，同时支持视频的动态挂载和静态多张图片对比的挂载的目的，本发明提供一种基于人脸识别技术的眼镜虚拟试戴方法。

为实现上述目的，本发明采用下述技术方案：

一种基于人脸识别技术的眼镜虚拟试戴方法，包括以下步骤：

步骤一，Unity端启动后，Unity端开启每帧循环视频刷新，Android端调取摄像头获取视频数据，JNI端对获取的图像做美化处理，获取到图像后传到面板显示；

步骤二，Unity端启动后，Unity端开启每帧循环人脸检测，Android端获取图片数据，JNI端进行人脸关键点检测、人脸与识别点位对齐以及人脸姿态估算，得到人脸识别数据，经矩阵变换和三维空间转换，数据转换成Unity的挂载点位，通过Unity3D引擎中的相机将显示模型渲染到对应点位；

步骤三，视频与模型通过层级设置合并渲染显示。

进一步地，步骤二的人脸关键点检测使用Wing Loss函数。

进一步地，步骤二的人脸与识别点位对齐包括数个二维坐标点坐标、每个二维坐标点对应的三维坐标和相机的内参数矩阵，其中进行相机参数估计时首先使用张正友的棋盘格对相机进行标定，相机的内参数矩阵需设定相机的焦距、图像的中心位置并且假设不存在径向畸变。

进一步地，步骤二的人脸姿态估算过程中有三个坐标系，分别为世界坐标系、相机坐标系和图像坐标系。

有益效果：

本发明采用人脸识别技术将虚拟的眼镜模型挂载在屏幕的人脸图像上，同时支持视频的动态挂载和静态多张图片对比的挂载。

附图说明

图1为本发明的Wing loss曲线图；

图2为本发明的人脸68个关键点分布图；

图3为本发明的眼镜虚拟试戴流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明提出一种基于人脸识别技术的眼镜虚拟试戴方法，采用人脸识别技术，将虚拟的眼镜模型挂载在屏幕的人脸图像上，同时支持视频的动态挂载和静态多张图片对比的挂载。

人脸识别技术原理：

①检测--针对人脸关键点检测Wing Loss

Wing Loss函数(如下式1)用不同的参数设置绘制而成如图1所示的曲线图，其中ω为非线性部分的界限范围，ε为控制曲率。通过设计，增强了对中小距离误差样本的网络训练。

②对齐--将人脸与识别点位对齐

人脸68个关键点分布如图2所示。

1.数个二维坐标点坐标

使用人脸关键点检测法对二维人脸图像进行检测。本实施例中，使用鼻尖、下巴、左眼左眼角、右眼右眼角、左嘴角和右嘴角的坐标。

2.每个二维坐标点对应的三维坐标

在实际应用中，不需要获取一个精确的人脸三维模型并且也没法获取这样的模型，因此，本实施例设置了上述六个二维坐标点对应的三维坐标，分别为：

Tip of the nose(鼻尖)：(0.0,0.0,0.0)

Chin(颌)：(0.0,-330.0,-65.0)

Left corner of the left eye(左眼角)：(-225.0f,170.0f,-135.0)

Right corner of the right eye(右眼角)：(-150.0,-150.0,-125.0)

Right corner of the mouth(右嘴角)：(150.0,-150.0,-125.0)

3.相机的内参数矩阵

进行相机参数估计时首先需要对相机进行标定，精确的相机标定需要使用张正友的棋盘格标定，这里还是进行近似。相机的内参数矩阵需要设定相机的焦距、图像的中心位置并且假设不存在径向畸变。本实施例设置了相机焦距为图像的宽度(以像素为单位)。

③姿态估算--针对人脸姿态角度多样而导致的检测精度不高问题，提出一种基于姿态的数据均衡方法，从而提升人脸姿态变化时的关键点检测精度

姿态估计过程中有三个坐标系，分别为世界坐标系、相机坐标系和图像坐标系。一个世界坐标系中的三维点(U,V,W)(U,V,W)通过旋转矩阵R和平移向量t映射到相机坐标系(X,Y,Z)，一个相机坐标系中的三维点(X,Y,Z)通过相机的内参数矩阵映射到图像坐标系(x,y)。

眼镜挂载原理

启动Unity后，Android端调取摄像头数据。图像数据传到C端(JNI)，一方面对图像做磨皮、滤镜、大眼瘦脸处理，再传到Unity端显示；另一方面对图像进行算法识别，得到识别点位，再经点位转换modelPos＝Camera.main.ScreenToWorldPoint(faceScreenPos)把屏幕的二维坐标，转化为三维空间坐标，算出在Unity里的相对位置，经过矩阵变换得到人脸的偏转角度，从而对应到眼镜模型的角度，然后通过Unity3D引擎中的相机把眼镜模型渲染到对应的位置，最后模型相机和视频图像相机通过层级设置合并渲染显示，如图3所示。

视频动态挂载

如上获得的视频图像显示在屏幕上，然后对视频中的每一帧图像做人脸识别处理，获得实时的点位数据，根据这些实时数据更新眼镜模型的状态。眼镜模型的位置会随视频中人脸的上下左右移动，大小会随人脸的大小变化，角度也会随人脸的角度变化，这样就得到了眼镜挂载在人脸上的动态视频图像，如图3所示。

静态多张图片对比的挂载

在视频上截取一张人脸照片，同视频图像识别一样，对截取的图片进行人脸识别，得到相应的挂载点位，点击切换眼镜，就会把对应的眼镜模型按照识别到的人脸点位挂载在图像上，并合成照片，每次点击切换眼镜，上一次的照片保留，新生成的照片依次横向排列，可以左右滑动查看每幅眼镜的试戴效果照片，并且所有的照片都有二维码，可以微信扫码发送到手机，如图3所示。

对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于人脸识别技术的眼镜虚拟试戴方法，其特征在于，包括以下步骤：

步骤三，视频与模型通过层级设置合并渲染显示。

2.根据权利要求1所述的基于人脸识别技术的眼镜虚拟试戴方法，其特征在于，所述步骤二的人脸关键点检测使用Wing Loss函数。

3.根据权利要求1所述的基于人脸识别技术的眼镜虚拟试戴方法，其特征在于，所述步骤二的人脸与识别点位对齐包括数个二维坐标点坐标、每个二维坐标点对应的三维坐标和相机的内参数矩阵，其中进行相机参数估计时首先使用张正友的棋盘格对相机进行标定，相机的内参数矩阵需设定相机的焦距、图像的中心位置并且假设不存在径向畸变。

4.根据权利要求1所述的基于人脸识别技术的眼镜虚拟试戴方法，其特征在于，所述步骤二的人脸姿态估算过程中有三个坐标系，分别为世界坐标系、相机坐标系和图像坐标系。