CN103400119A - 基于人脸识别技术的混合显示眼镜交互展示方法 - Google Patents

Abstract

基于人脸识别技术的混合显示眼镜交互展示方法，基于混合现实技术，将采集的现实中用户脸部图像与眼镜的三维虚拟模型叠加，并显示给用户。本发明针对现有技术中的问题，结合人脸识别技术和混合现实技术，提供一种应用在人机交互领域的虚拟眼镜交互展示方法，通过摄像采集技术，将人脸图像进行数字化采集，之后通过人脸识别模块将图像中的人脸信息分割提取，识别出人脸的三维姿态信息；对虚拟眼镜同人脸的位置变化进行实时配准，最终在显示屏上呈现出虚拟的且具有真实感的眼镜“戴”在人脸上的效果。

Description

基于人脸识别技术的混合显示眼镜交互展示方法

技术领域

本发明属于计算机图像处理技术领域，涉及混合现实技术，为一种基于人脸识别技术的混合显示眼镜交互展示方法。

背景技术

由于眼镜选购时常常需要试戴，因此一方面顾客没法在一个眼镜店中尝试大量的款式，另一方面要求顾客必须到眼镜店中进行试戴，这些原因阻碍了将眼镜销售方式从传统的店铺销售转移到线上销售的创新。人脸识别技术利用图像分析技术，对人脸进行特征定位，特别是通过高性能的算法实现人脸旋转时的实时定位。但是，传统人脸识别定位技术大都用于身份识别技术，较少用于人机交互领域。

混合现实技术通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实施地叠加到了同一个画面或空间同时存在。由于算法比较复杂，常用的混合现实大都以二维码等标记物进行定位，对于人脸等三维自然物体的实时跟踪定位的应用较少。

目前已知较多的虚拟换衣、虚拟穿衣等相关应用，这些应用在基于人体骨骼分析的情况下能够获得较好的匹配效果。但是，尽管有不少应用提到能够实现虚拟眼镜的功能，但大都不能够显示较好的实时性的匹配的效果。

发明内容

本发明针对现有技术中的问题，结合人脸识别技术和混合现实技术，提供一种应用在人机交互领域的虚拟眼镜交互展示方法，通过摄像采集技术，将人脸图像进行数字化采集，之后通过人脸识别模块将图像中的人脸信息分割提取，识别出人脸的三维姿态信息；对虚拟眼镜同人脸的位置变化进行实时配准，最终在显示屏上呈现出虚拟的且具有真实感的眼镜“戴”在人脸上的效果。

本发明的技术方案为：基于人脸识别技术的混合显示眼镜交互展示方法，基于混合现实技术，将采集的现实中用户脸部图像与虚拟眼镜的三维模型叠加，并显示给用户，包括以下步骤：

1）准备阶段，对人脸与虚拟眼镜进行配准：

11）由图像采集装置采集包含人脸的图像；

12）利用主动外观模型算法对采集图像中的人脸进行识别；

13）将人脸识别结果转换为对人脸的位置和旋转的六自由度信息；

14）根据步骤13）的识别结果，将虚拟的眼镜模型与人脸位置进行配准；

15）通过至少六对对应位置和角度配准对，计算得到3×3变换矩阵，所述变换矩阵表示虚拟眼镜所处的虚拟世界坐标系与现实中的现实世界坐标系之间的变换映射关系；

2）实时跟踪阶段，虚拟眼镜同人脸进行实时跟踪匹配：

21）实时获得图像采集装置采集的包含用户脸部的图像，识别出用户脸部位置和角度信息，根据变换矩阵，对应实时变换虚拟眼镜的位置和角度；

22）将步骤21）得到用户脸部图像与对应的虚拟眼镜叠加并显示，用户脸部转动时，虚拟眼镜配合转动，实现眼镜的跟随动作，实时展示用户佩戴眼镜的图像。

步骤14）和步骤15）具体为：

14）首先给出至少6个不同角度和位置下的虚拟眼镜的三维模型，并将这些三维模型分别叠加显示到采集的实时人脸图像中，通过调整人脸位置使虚拟眼镜与脸部位置匹配，通过主动外观模型算法计算获得此时人脸的脸型、位置及角度特征数据并保存，同时将所述位置及角度特征数据同虚拟眼镜在虚拟世界坐标系中的位置与旋转数据相对应，每个角度至少获得一对对应点，一个对应点为根据图像采集后计算出的人脸位置及角度信息，一个对应点为虚拟眼镜在虚拟世界坐标系中的位置及角度信息；

15）通过步骤14）至少6个不同角度和位置下的虚拟眼镜的配准，获得至少6个对应点，即至少六对对应位置和角度配准对，在此基础上按照单点动态匹配法及最小二乘法建立3×3的变换矩阵，所述变换矩阵中包含位置及旋转的转换数据。

进一步的，在准备阶段对人脸与虚拟眼镜进行配准时进行机器学习，重复进行步骤14）和15）对配准进行训练，每一次训练得到一个跟踪优化变换矩阵，对于跟踪优化变换矩阵与上一次执行步骤14）和15）得到的变换矩阵，求两个矩阵中每个元素的平均值，得到优化变换矩阵，经过至少2次以上的迭代训练，最终可得优化后的3×3变换矩阵。

步骤21）中，对于实时获得的包含用户脸部的图像，利用主动外观模型算法实时获得用户脸部形状特征，计算出脸部的位置及旋转数据，将所述旋转数据同变换矩阵相乘，将现实世界坐标系中眼镜应该显示的位置及旋转的角度变换到在虚拟世界坐标系中的对应位置和角度，最后将眼镜的三维虚拟模型放置在对应的位置并旋转到相应的角度，与用户脸部的图像完成配准。

在步骤2）的实时跟踪阶段中，用户在实时跟踪过程中随时暂停眼镜的跟随动作并记录暂停时脸部位置和角度信息，然后用户调整自身脸部的位置和角度以找到同暂停时眼镜最匹配的位置和角度，再通过主动外观模型算法对此时的人脸进行识别，并进行步骤14）和15），得到新的变换矩阵，用户再启动实时跟踪，此时根据新的变换矩阵实现实现眼镜的跟随动作，实时展示用户佩戴眼镜的图像，以此实现用户在使用中动态的优化跟踪的效果。

本发明提供了一种应用在人机交互领域的虚拟眼镜交互展示方法，不需要复杂的设备，通过准备阶段对人脸与眼镜进行配准，得到一个通用的配准变换矩阵，随后用户即可基于这一通用的配准变换矩阵实现实时的虚拟眼镜试戴操作。在此基础上，本发明对于变换矩阵还设置了机器学习的步骤，以增加变换矩阵的精度，另外，针对具体用户的个人体验，也提供了随时根据具体用户重新计算变换矩阵的设置，适应性强。

附图说明

图1为本发明的流程图。

图2为本发明的训练配准流程图。

图3为本发明用户在实时跟踪阶段中，暂停跟踪重新配准的流程图。

图4为本发明的装置示意图。

图5为本发明的实施示意图。

具体实施方式

本发明将最前沿的人脸识别技术同混合技术相结合，通过对人脸的实时采集、实时识别、实时定位，再将实时渲染的虚拟眼镜同人脸进行实时配准、实时跟踪，最终实现使用者可以随意更换虚拟的有真实感的眼镜，获得一种身临其境的眼镜试戴效果。其中，虚拟眼镜的款式可以根据需要进行随意的更换。

本发明通过设置图像采集装置201、混合现实应用服务器202和显示屏203，图像采集装置采集人脸图像，输入混合现实应用服务器中，混合现实应用服务器中预先存有虚拟眼镜的三维模型，将采集的人脸图像与眼镜的虚拟三维模型结合，经过识别计算得到人脸与眼镜配合的图像，在显示屏上进行显示，如图1，所述的图像采集装置包括一台或多台摄像机或摄像头。如图1和2，图像采集装置101进行实时视频采集，将采集后的数据传输至混合现实应用服务器202中，将实时渲染、实时跟踪的虚拟眼镜同人脸相结合。将包含虚拟眼镜和参与者人脸的混合现实实时视频展示在显示屏103，最终原本不佩戴眼镜的参与者104可以看到佩戴虚拟眼镜后的效果102。

下面具体说明本发明的实施。

本发明基于混合现实技术，将采集的现实中用户脸部图像与眼镜的三维虚拟模型叠加，并显示给用户，如图1，包括以下步骤：

1）准备阶段，对人脸与虚拟眼镜进行配准：

11）由图像采集装置采集包含人脸的图像；

12）利用主动外观模型算法对采集图像中的人脸进行识别，主动外观模型算法简称AAM算法，是在对训练数据进行统计分析的基础上，首先建立人脸模型，然后利用先验模型对图像中的目标物体进行匹配运算。它不仅利用形状信息，而且对重要的脸部纹理信息也进行统计分析，并利用找出形状与纹理之间的联系进行分析；

13）将人脸识别结果转换为对人脸的位置和旋转的六自由度信息；

14）根据步骤13）的识别结果，将虚拟眼镜与人脸位置进行配准；

15）通过至少六对对应位置和角度配准对，计算得到3×3变换矩阵，所述变换矩阵表示虚拟眼镜所处的虚拟世界坐标系与现实中的现实世界坐标系之间的变换映射关系；

2）实时跟踪阶段：

21）实时获得图像采集装置采集的包含用户脸部的图像，识别出用户脸部位置和角度信息，根据变换矩阵，对应实时变换眼镜三维虚拟模型的位置和角度；具体为：对于实时获得的包含用户脸部的图像，利用主动外观模型算法实时获得用户脸部形状特征，计算出脸部的位置及旋转数据，将所述旋转数据同变换矩阵相乘，将现实世界坐标系中眼镜应该显示的位置及旋转的角度变换到在虚拟世界坐标系中的对应位置和角度，最后将眼镜的三维虚拟模型放置在对应的位置并旋转到相应的角度，与用户脸部的图像完成配准；

22）将步骤21）得到用户脸部图像与对应的眼镜三维虚拟模型叠加并显示，用户脸部转动时，眼镜的三维虚拟模型配合转动，实时展示用户佩戴眼镜的图像。

其中，步骤14）和步骤15）具体为：

14）首先给出至少6个不同角度和位置下的虚拟眼镜的三维模型，并将这些三维模型分别叠加显示到采集的实时人脸图像中，通过调整人脸位置使虚拟眼镜与脸部位置匹配，通过主动外观模型算法计算获得此时人脸的脸型、位置及角度特征数据并保存，同时将所述位置及角度特征数据同虚拟眼镜在虚拟世界坐标系中的位置与旋转数据相对应，每个角度至少获得一对对应点，一个对应点为根据图像采集后计算出的人脸位置及角度信息，一个对应点为虚拟眼镜在虚拟世界坐标系中的位置及角度信息；

15）通过步骤14）至少6个不同角度和位置下的虚拟眼镜的配准，获得至少6个对应点，即至少六对对应位置和角度配准对，在此基础上按照单点动态匹配法及最小二乘法建立3×3的变换矩阵，所述变换矩阵中包含位置及旋转的转换数据。

进一步的，在准备阶段对人脸与眼镜进行配准时进行机器学习，如图2所示，重复进行步骤14）和15）对配准进行训练，每一次训练得到一个跟踪优化变换矩阵，对于跟踪优化变换矩阵上一次执行步骤14）和15）得到的变换矩阵，求两个矩阵中每个元素的平均值，即假设a11为第一个矩阵中第一行第一列的元素，b11为第二个矩阵中第一行第一列的元素，则c11为优化矩阵中第一行第一列的元素，且c11=（a11+b11)/2，其他元素数值以此类推，直至计算从c11计算至c33，完成整个3×3矩阵中9个元素的数值计算。经过至少2次重复步骤14）和15）后，不断迭代，最终可以获得优化后的3×3变换矩阵。

为了使具体用户在使用眼镜试戴时获得更适应自己的配准效果，特别提供用户在使用中动态优化跟踪的效果的功能。在步骤2）的实时跟踪阶段中，用户在实时跟踪过程中可以随时暂停眼镜的跟随动作并记录暂停时脸部位置和角度信息，然后用户调整自身脸部的位置和角度以找到同暂停时眼镜最匹配的位置和角度，再通过主动外观模型算法对此时的人脸进行识别，并重复进行步骤14）和15），得到新的变换矩阵，如图3所示。用户再启动实时跟踪，此时根据新的变换矩阵实现眼镜的跟随动作，实时展示用户佩戴眼镜的图像，如对显示效果不满意还可再次暂停重复上述过程，直至得到满意的显示效果。

本发明的方法中，通过分析可以发现变换矩阵中包含了图像采集模块中摄像头或摄像机的内参信息，这些信息在摄像头或摄像机为固定型号时变可转变为常数，不需要每次都进行配准计算。因此，通过同一摄像机获得不同用户的变换矩阵进行数值上的加权平均可以获得一个通用的配准变换矩阵，该矩阵的通用性随着更多的用户的变换矩阵参与加权平均可以获得更强的通用性，据此，本发明设计了通用配准矩阵计算的步骤。通用的配准变换矩阵建立后，配准模块中的配准次数可以从至少6次降低为至少1次，即只需要进行一次虚拟眼镜同人脸的位置和角度的匹配，即可以开始进行实时跟踪匹配。由上述可见，本发明的灵活度高，匹配性好，用户可以在通用的配准变换矩阵下直接选择各种虚拟眼镜进行佩戴，观看虚拟佩戴的效果；也可以就自己的脸型进行配准后，选择各种眼镜观看佩戴效果，并且在观看佩戴效果的过程中，还可随时调整眼镜在脸部的位置，实现动态优化。本发明应用广泛，有利于店铺销售至线上销售的转移，节省人力物力，由商家在后台提供混合现实服务器完成配准等数据处理工作，而用户只需要有摄像头和显示器通过网络连接到混合现实服务器即可，整个过程与用户实际选择佩戴眼镜相同，用户选择眼镜后，通过混合现实技术观看佩戴的效果，并可随时调整眼镜的佩戴位置，使得用户即使在线上销售中选择眼镜，也能获得与店铺销售同样的效果。即使是在店铺销售中使用本发明方法，也使得商家不用同时准备大量实体眼镜供客户挑选，节省成本。另外，眼镜的设计公司可以利用该技术，将已设计出、未上市的眼镜模型快速的发送到线上或线下商家，在获得客户的订单后在进行生产，可以极大的降低产品库存。

Claims (5)

1.基于人脸识别技术的混合显示眼镜交互展示方法，其特征是基于混合现实技术，将采集的现实中用户脸部图像与虚拟眼镜的三维模型叠加，并显示给用户，包括以下步骤：

1）准备阶段，对人脸与虚拟眼镜进行配准：

11）由图像采集装置采集包含人脸的图像；

12）利用主动外观模型算法对采集图像中的人脸进行识别；

13）将人脸识别结果转换为对人脸的位置和旋转的六自由度信息；

14）根据步骤13）的识别结果，将虚拟的眼镜模型与人脸位置进行配准；

15）通过至少六对对应位置和角度配准对，计算得到3×3变换矩阵，所述变换矩阵表示虚拟眼镜所处的虚拟世界坐标系与现实中的现实世界坐标系之间的变换映射关系；

2）实时跟踪阶段，虚拟眼镜同人脸进行实时跟踪匹配：

21）实时获得图像采集装置采集的包含用户脸部的图像，识别出用户脸部位置和角度信息，根据变换矩阵，对应实时变换虚拟眼镜的位置和角度；

22）将步骤21）得到用户脸部图像与对应的虚拟眼镜叠加并显示，用户脸部转动时，虚拟眼镜配合转动，实现眼镜的跟随动作，实时展示用户佩戴眼镜的图像。

2.根据权利要求1所述的基于人脸识别技术的混合显示眼镜交互展示方法，其特征是步骤14）和步骤15）具体为：

14）首先给出至少6个不同角度和位置下的虚拟眼镜的三维模型，并将这些三维模型分别叠加显示到采集的实时人脸图像中，通过调整人脸位置使虚拟眼镜与脸部位置匹配，通过主动外观模型算法计算获得此时人脸的脸型、位置及角度特征数据并保存，同时将所述位置及角度特征数据同虚拟眼镜在虚拟世界坐标系中的位置与旋转数据相对应，每个角度至少获得一对对应点，一个对应点为根据图像采集后计算出的人脸位置及角度信息，一个对应点为虚拟眼镜在虚拟世界坐标系中的位置及角度信息；

15）通过步骤14）至少6个不同角度和位置下的虚拟眼镜的配准，获得至少6个对应点，即至少六对对应位置和角度配准对，在此基础上按照单点动态匹配法及最小二乘法建立3×3的变换矩阵，所述变换矩阵中包含位置及旋转的转换数据。

3.根据权利要求2所述的基于人脸识别技术的混合显示眼镜交互展示方法，其特征是在准备阶段对人脸与虚拟眼镜进行配准时进行机器学习，重复进行步骤14）和15）对配准进行训练，每一次训练得到一个跟踪优化变换矩阵，对于跟踪优化变换矩阵与上一次执行步骤14）和15）得到的变换矩阵，求两个矩阵中每个元素的平均值，得到优化变换矩阵，经过至少2次以上的迭代训练，最终可得优化后的3×3变换矩阵。

4.根据权利要求1或2或3所述的基于人脸识别技术的混合显示眼镜交互展示方法，其特征是步骤21）中，对于实时获得的包含用户脸部的图像，利用主动外观模型算法实时获得用户脸部形状特征，计算出脸部的位置及旋转数据，将所述旋转数据同变换矩阵相乘，将现实世界坐标系中眼镜应该显示的位置及旋转的角度变换到在虚拟世界坐标系中的对应位置和角度，最后将眼镜的三维虚拟模型放置在对应的位置并旋转到相应的角度，与用户脸部的图像完成配准。

5.根据权利要求4所述的基于人脸识别技术的混合显示眼镜交互展示方法，其特征是在步骤2）的实时跟踪阶段中，用户在实时跟踪过程中随时暂停眼镜的跟随动作并记录暂停时脸部位置和角度信息，然后用户调整自身脸部的位置和角度以找到同暂停时眼镜最匹配的位置和角度，再通过主动外观模型算法对此时的人脸进行识别，并进行步骤14）和15），得到新的变换矩阵，用户再启动实时跟踪，此时根据新的变换矩阵实现实现眼镜的跟随动作，实时展示用户佩戴眼镜的图像，以此实现用户在使用中动态的优化跟踪的效果。

Images