CN106373085A - 一种基于增强现实的智能终端3d手表试戴方法及系统 - Google Patents

Abstract

本发明涉及一种基于增强现实的智能终端3D手表试戴方法及系统，提取出和手部肤色相近的图像信息，通过从背景图中提取的手部图像信息，轮廓提取后进行凸包检测，根据给定的阀值判断是否是手部；再次获取轮廓进行凸包检测，确定手腕处的凸包；根据不同的智能终端设备给定不同的虚拟场景摄像机内部参数，计算手腕的坐标点与虚拟场景摄像机之间相对变换关系：计算得到投影矩阵，使用手腕的坐标点与虚拟场景摄像机之间相对变换关系和投影矩阵将得到的手腕坐标点投影到三维场景中，将手表的3D模型根据投影矩阵投影到三维场景中手腕位置上。本发明不需要使用标识信息的图片，只要拥有一台智能终端，通过摄像头实时获取用户的手腕图像，经过智能终端处理后在屏幕上显示试戴效果。

Description

一种基于增强现实的智能终端3D手表试戴方法及系统

技术领域

本发明涉及电子商务领域，特别是一种基于增强现实的智能终端3D手表试戴方法及系统。

背景技术

几年来，随着智能终端和电子商务的快速发展，消费者越来越喜欢在智能终端上使用电子商务平台挑选自己喜爱的货物。电子商务和传统商务的差别在于用户只能通过平台提供的图片查看商品，很难判断出商品是否符合自己，为此在电子商务实践中提出了各种解决虚拟试穿试戴的解决方案。

增强现实是一种全新的人机交互技术，是一种综合了图像识别追踪、运动捕捉、计算机图形学等计算机学科的技术，利用这一种技术，将虚拟三维模型动画、视频、文字、图片等数字信息实时显示到真实场景中，它是以交互性和构想为基本特征的高级人机界面。目前手表试戴有一下几种方式：第一，基于图片上传的试戴方法，用户将拍摄的手部图片上传到服务处，经服务器处理后将用户选择的手表图片与手腕特定位置对齐显示在屏幕中，达到手表试戴的效果，但是这种方法只能提供静态试戴图像，实时性不强；第二，基于标识的增强现实手表试戴技术，它需要在使用前，先下载并打印具有标识信息的图片，放置在手腕上，然后通过摄像头识别标识位置信息，将虚拟的手表模型叠加到标识上在屏幕中显示，达到试戴的效果。缺点在于要求用户事先获得标识图片，然后再放置在手腕上，既不实用，步骤也很繁琐。第三，采用一种产生虚拟试戴体验的装置，其采用一个或者多个摄像头来捕捉场景图像，并将这些图像和选择的试戴产品合成为新的图像，在屏幕上显示出来，但由于需要单独使用一个装置来进行试戴体验，用户不能随时随地进行试戴体验。

现有技术中，基于标识的增强现实手表试戴方法需要用户每次使用前获取标识图片和放置在手腕的适当部位。通过增强现实虚拟试戴装置达到手表试戴效果，需要设计硬件，算法复杂，不易携带，手表款式更新较慢，使用成本过高等缺点。而基于图片上传的手表试戴方法，只提供静态试戴图像，不能实时进行多角度展示。

发明内容

有鉴于此，本发明的目的是提出一种基于增强现实的智能终端3D手表试戴方法及系统，不需要使用标识信息的图片，只要拥有一台智能终端，通过摄像头实时获取用户的手腕图像，经过智能终端处理后在屏幕上显示试戴效果。

本发明采用以下方案实现：一种基于增强现实的智能终端3D手表试戴方法，具体包括以下步骤：

步骤S1：摄像头采集用户的手部图像，采用肤色识别模型提取出和手部肤色相近的图像信息，得到初步提取的手部图像信息；

步骤S2：对步骤S1中得到的初步提取的手部图像信息，通过从背景图中提取的手部图像信息，轮廓提取后进行凸包检测，根据给定的阀值判断是否是手部；

步骤S3：再次获取轮廓进行凸包检测，得到起始点、结束点和深度点；计算深度点分别到起始点和结束点的长度，计算以深度点为顶点，以起始点和结束点为边的夹角；根据预先设定好的长度和夹角范围判断此凸包是否是手腕处的凸包，若确定为手腕处的凸包，则将此凸包的深度点作为手腕的坐标点；

步骤S4：根据不同的智能终端设备给定不同的虚拟场景摄像机内部参数，计算手腕的坐标点与虚拟场景摄像机之间相对变换关系：其中，所述变换关系采用下式实现：

P＝A|[R|T]|M；

其中，M表示三维空间的一个点，[R|T]表示一个[3|4]矩阵，该矩阵为一个欧式空间变换，A表示虚拟场景摄像机矩阵的内部参数矩阵，P表示M在屏幕上的投影；

步骤S5：通过计算得到投影矩阵，使用手腕的坐标点与虚拟场景摄像机之间相对变换关系和投影矩阵将得到的手腕坐标点投影到三维场景中，将手表的3D模型根据投影矩阵投影到三维场景中手腕位置上。

进一步地，步骤S1中所述采用肤色识别模型提取出和手部肤色相近的图像信息具体包括以下步骤；

步骤S11：通过建立椭圆模型函数，将椭圆的中心点、椭圆轴的长度、偏转角度、圆弧的起始角度、圆弧的终结角的角度以及填充颜色传入一个背景全黑的图片，创建了一个背景全黑、椭圆内为白色的二值图片；

步骤S12：把摄像头采集的每一帧图像进行处理，将图像帧的每个像素从RGB颜色空间转换到YCrCb颜色空间中，忽略Y值得影响，得到坐标(Cr，Cb)；

步骤S13：遍历每一个像素的YCrCb空间坐标，并判断坐标是否在椭圆内，如果在椭圆内，则保留此像素点，如果不在椭圆内，则为非皮肤像素点，将其抛弃。

进一步地，所述步骤S2具体包括以下步骤：

步骤S21：将初步提取的手部图像信息进行二值化处理；

步骤S22：对二值化处理后的图像进行中值滤波处理，得到去噪后的图像；

步骤S23：对去噪后的图像进行轮廓提取，一个轮廓对应一系列的点，也就是图像中的一条曲线，将得到的一系列的点用序列把轮廓信息存储起来，序列中的每一个元素是曲线中的一个点位置；

步骤S24：遍历每一个轮廓，判断轮廓内序列点的多少，将包含最多序列点的轮廓标记为备选手部轮廓，并进入步骤S25；如果没有找到轮廓则返回步骤S21；

步骤S25：通过凸包检测函数，得到五个手指间的四个凸包和手腕处的两个凸包，共六个凸包；所述凸包包含起始点、结束点、深度点；

步骤S26：分别计算起始点、结束点与深度点的距离；再计算以深度点为顶点，以起始点、结束点为边的夹角大小；用一组预先定义好的范围值判断距离和夹角是否在规定值范围内，如果在规定值范围内则判定这个凸包为手指间的凸包，进行存储，记为备选手部凸包；超过范围值则抛弃此凸包；

步骤S27：将得到的备选手部凸包的起始点或结束点坐标有相同坐标的进行合并，消除重复点，最终得到的起始点加上结束点的个数为手指的个数，如果手指个数没超过五个则判定得到的轮廓是手部，并进入下一步；如果超过则将得到的轮廓抛弃，并返回步骤S21；

步骤S28：根据凸包的起始点和结束点到深度点的长度差值判断手部为正对摄像头还是背对摄像头。

本发明还提供了一种基于上文所述的基于增强现实的智能终端3D手表试戴方法的系统，具体包括肤色识别模块、手腕识别模块、3D模型加载模块、虚拟场景摄像机位置计算模块、试戴效果展示模块；

所述肤色识别模块用以滤除大部分背景信息，提取出和肤色相近图像；

所述手腕识别模块将肤色识别模块输出的实时图像进行进一步的处理，判断图像中是否含有手部；

所述3D模型加载模块根据用户选择的手表模型通过互联网连接到服务器，下载所选模型到本地；

所述虚拟场景摄像机位置计算模块根据当前用户所使用的智能终端提供相应的内部参数，进行摄像机标定，进而进行姿态估计；

所述试戴效果展示模块中定义了一个PROJECTION计算矩阵，把3D模型投影到场景中，用以将手表模型就叠加在手腕上；所述试戴效果展示模块对每次输入的手腕坐标点进行判断是否改变，如果改变则重新渲染场景，在新的手腕位置上显示手表模型。

与现有技术相比，本发明有以下有益效果：

1、基于标识的增强现实试戴方法要求用户在使用前获取标识卡，放置在手腕位置再进行使用，步骤繁琐，极大地影响了用户体验。本发明采用无标识的增强现实试戴方法。用户只需使用智能终端开启摄像有对准自己的手部，就能找到手腕对应的位置进行虚拟试戴。

2.基于图片上传的手表试戴方法只能提供静态图像试戴展示，不能很好的多角度进行展示，本发明通过摄像头实时读取用户手部位置，可以多角度的展示。

3.本发明通过互联网和网络服务器连接获取手表模型，服务提供商可以方便的更新自己的产品模型，保证了款式的新颖性，降低维护成本。

4.大多数增强现实试戴方法算法复杂，占用资源较高，成本大，有得方法还需要使用专门的试戴装置。本发明算法简单，可行性强。能在众多智能终端中使用，用户使用成本降低。

5.传统的手表试戴方法是二维的，用户体验差，不能很好的展示展品。本发明使用3D模型试戴，能多方位展示产品，获得更好的用户体验。

附图说明

图1本发明实施例中的方法流程示意图。

图2为本发明实施例的手腕识别模块方法流程示意图。

图3为本发明实施例中凸包检测示意图。

图4为本发明实施例中虚拟场景摄像机投影示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本实施例提供了一种基于增强现实的智能终端3D手表试戴方法及系统，其中，系统包括肤色识别模块、手腕识别模块、3D模型加载模块、虚拟场景摄像机位置计算模块、试戴效果展示模块。首先用户通过展示列表选择手表模型，3D加载模块根据用户选择模块通过互联网连接到服务器，下载所选模型到本地上。如果模型加载成功，则进行下一步骤，若没有加载成功，则给出错误信息，并返回模型选择列表。

模型加载成功以后就会进行试戴程序初始化工作，并将用户只能终端的摄像有打开，如果摄像头开启失败，则给出错误信息，并返回模型选择列表。摄像头开启以后，用户将智能终端的摄像头对准手部，从摄像头读入的实时图像中包含手腕的用户手部图像，同时也包含其他背景信息，肤色作为手部一个比较明显的特征，可以用在提取手部图像中。肤色识别模块就起到了滤除大部分背景信息，提取出和肤色相近图像这个预处理作用。肤色模型的建立基于这样的事实，肤色在YCrCb空间中集中在一个很小的区域。利用肤色进行手部识别受到光照影响非常严重，但如果将皮肤颜色信息从RGB空间映射到YCrCb空间，则可以忽略Y(亮度)的影响。在映射的CrCb二维空间中这些皮肤像素点近似成一个椭圆分布。肤色识别模块首先建立一个背景全黑的图片，通过建立椭圆模型函数，将椭圆的中心点，椭圆轴的长度，偏转角度，圆弧的起始角度，圆弧的终结角的角度和填充颜色传入，就创建了一个背景全黑，椭圆内为白色的二值图片。然后把摄像头读入的每一帧图像进行处理，将图像帧的每个像素从RGB颜色空间转换到YCrCb颜色空间中，忽略Y值得影响，得到坐标(Cr，Cb)。遍历每一个像素的YCrCb空间坐标，判断坐标是否在椭圆内，如果在椭圆内，则保留此像素点。如果不在椭圆内，则为非皮肤像素点，将其抛弃。这样，经过肤色识别模块的图像就滤除了大部分背景信息，输出和肤色相同的实时图像。为下一模块的处理做好准备。

因为背景中有时也会掺杂和肤色相近的颜色，所以手腕识别模块功能是将肤色识别模块输出的实时图像进行进一步的处理，判断图像中是否含有手部。模块流程如图2所示：一、将肤色识别模块输出的图像进行二值化操作，将图像的每一个像素变为黑色(像素值为0)或白色(像素值为256)，这一步是为了检测轮廓做准备。为了更好的适应光照条件和软强度的变化在二值化操作中采用了自适应阀值法，将给定半径内的所有像素的平均强度作为该像素的强度，这样可以提高轮廓检测的性能；二、中值滤波是一种典型的非线性滤波技术，用像素点邻域灰度值的中值来替代该像素点的灰度值，该方法在去除脉冲噪声、椒盐噪声的同时又能保留图像的边缘细节。经过中值滤波处理后，能将滤除大部分二值化图像的噪声。三、中值滤波后的二值图像需要进行轮廓提取，一个轮廓对应一系列的点，也就是图像中的一条曲线，我们将得到的一系列的点用序列把轮廓信息存储起来，序列中的每一个元素是曲线中的一个点位置。四、因为中值滤波后的噪声无法根本滤除，所以提取的轮廓中可能包含噪声轮廓。但是这些噪声轮廓总是比手部轮廓小。根据这一特性，我们遍历每一个轮廓，判断轮廓内序列点的多少，将包含最多序列点的轮廓标记为备选手部轮廓，传递给下一步骤的处理，如果没有找到轮廓则返回第一步。五、凸包是一个计算几何中常见的概念。简单的说，给定二维平面上的点集，凸包就是将最外层的点连接起来构成的凸多边形，它是能包含点集中所有的点。理解物体形状或轮廓的一种比较有用的方法便是计算一个物体的凸包，然后计算其缺陷。通过建立好的凸包检测函数，可以得到五个手指间的四个凸包和手腕处两边共六个凸包，如图3所示凸包中包含起始点、结束点、深度点。六、在进行凸包检测以后，每个凸包得到的三个值进行手指检测，判断这个凸包是否为手指间的凸包。首先分别计算起始点、结束点与深度点的距离，再计算深度点为顶点，到起始点、结束点为边的夹角大小。用一组预先定义好的范围值判断距离和夹角是否在规定值范围内。如果在规定值范围内则判定这个凸包为手指间的凸包，进行存储，记为备选手部凸包，超过范围值则抛弃此凸包。七、得到备选手部凸包以后就要判断是否为手部凸包，因为手部凸包的起始点和结束点都在之间上，这样根据图3可知手部凸包的无名指、中指、食指同时拥有起始点和结束点，根据这一特点将得到的凸包的起始点或结束点坐标有相同坐标的进行合并，消除重复点，最终得到的起始点加上结束点的个数为手指的个数，如果手指个数没超过五个则判定得到的轮廓是手部，进行下一步检测，如果超过则将得到的轮廓抛弃，返回第一步。八、因为手有一个特征：大拇指和食指的凸包的起始点和结束点到深度点的长度差值是最大的。根据这一特征可以用来判断用户的手部目前是正手对着摄像头还是手背对着摄像头，给定一个状态位，方便试戴效果展示模块使用。九、从第五步确定获得的轮廓是手部以后，从第三步获取凸包，再一次计算凸包的长度和夹角，但这一次用一组判断手腕的范围值进行判断，如果长度和夹角在范围值内，则判定为手腕凸包，将手腕凸包的深度点作为手腕点进行存储。十、将得到的手腕点进行输出。

增强现实试图将虚拟内容与真实物体融合。为了将三维模型放置在场景中，需要知道关于虚拟场景摄像机的姿态。可以在直角坐标系中使用欧氏空间加变换来表示这个姿态。在三维情形下，标记的位置与其在二维空间的投影有如下关系：

P＝A|[R|T]|M

其中，M表示三维空间的一个点，[R|T]表示一个[3|4]矩阵，该矩阵为一个欧式空间变换，A表示虚拟场景摄像机矩阵的内部参数矩阵，P表示M在屏幕上的投影；再执行手腕检测以后已经得到了P点的坐标位置，下面要使用虚拟场景摄像机位置计算模块。这个模块的作用是进行摄像机标定，进行姿态估计。这样就能找到手腕坐标点相对于虚拟场景摄像机的精确位置。

每个相机都有唯一的参数。例如：焦距、主点以及透镜的畸变模型。查找虚拟场景摄像机内参数的过程称为摄像机标定。对于增强现实来讲，对摄像机标定很重要，因为他将透视变换和凸镜的畸变都反映在输出图像上。为了让用户获得最好的手表试戴体验，应该用相同的透视投影来增强物体的可视化效果。虚拟场景摄像机位置计算模块会根据当前用户所使用的智能终端(如安卓设备，苹果设备)提供相应的内部参数。

求虚拟场景摄像机与标记之间的变换，称为姿态估计。在该过程中会在物体与虚拟场景摄像机之间找到一个欧氏变换。如图4所示，图中的C表示虚拟场景摄像机中心，点P1-P4是现实空间中的三维坐标点，而p1-p4是将点P1-P4投影到虚拟场景摄像机的图像平面得到的。位置估计的目的就是在已知三维世界的标记位置、有内部参数矩阵的虚拟场景摄像机C以及已知图像平面的投影点的情况下，找到标记与虚拟场景摄像机之间相对变换关系。通过手腕识别模块已经知道了手腕的屏幕坐标，在三维空间一个手腕坐标点。因为是假定放置在XY平面上，所以z轴的值为零。这样，根据上述公式我们就能得到一个欧氏变换。因为用户手腕位置会实时改变，所以计算的欧氏变换矩阵也会随着改变。

经过前几个模块，已经找到了手腕坐标点，并计算出了它们相对于虚拟场景摄像机的精确位置，接下来就是使用试戴效果展示模块将3D模型叠加到手腕上。3D可视化是增强现实的核心部分。OpenGL为创建高质量的渲染提供了基本的功能。OpenGL的投影模型为PROJECTION矩阵乘以VIEW矩阵和MODLE矩阵。其中将虚拟场景摄像机位置计算模块得到的欧氏变换乘以一个绕x轴旋转180度的旋转矩阵以后即可得到OpenGL投影模型的VIEWMODEL矩阵。根据手腕识别模块检测到的正反手背标志位来判断是否要乘以一个旋转矩阵将3D手表模型翻转反面朝上。因为用户的手腕位置再屏幕上是随机移动的，并且手腕离摄像头远近不一样，手腕的宽度也是不同的，所以模型要实时的进行放缩和旋转，获得最好的视觉效果。将3D手表模型乘以VIEWMODEL矩阵，就可以根据坐标点的位置和手腕的宽度实时改变模型大小的位置。由于OpenGL要做裁切，要求所有在透视椎体中的点都投影到标准设备坐标(NDC)中，在NDC中的点能够显示在屏幕上，之外的点则不能。接下来就是求PROJECTION矩阵，要求不仅要有与内参矩阵相同的透视效果，还得把点投到NDC中。根据这个需求在试戴效果展示模块中我们定义了一个PROJECTION计算矩阵。这样就得到了OpenGL投影模型，将手腕坐标点和VIEWMODEL矩阵和PROJECTION矩阵，这样就把手腕点投影到了OpenGL场景中。再将经过VIEWMODEL变换的3D模型再乘以PROJECTION矩阵，就把3D模型投影到场景中，这样手表模型就叠加在了手腕上。试戴效果展示模块会对每次输入的手腕坐标点进行判断是否改变，如果改变则重新渲染场景。在新的手腕位置上显示手表模型。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于增强现实的智能终端3D手表试戴方法，其特征在于：包括以下步骤：

步骤S1：摄像头采集用户的手部图像，采用肤色识别模型提取出和手部肤色相近的图像信息，得到初步提取的手部图像信息；

步骤S2：对步骤S1中得到的初步提取的手部图像信息，通过从背景图中提取的手部图像信息，轮廓提取后进行凸包检测，根据给定的阀值判断是否是手部；

步骤S3：再次获取轮廓进行凸包检测，得到起始点、结束点和深度点；计算深度点分别到起始点和结束点的长度，计算以深度点为顶点，以起始点和结束点为边的夹角；根据预先设定好的长度和夹角范围判断此凸包是否是手腕处的凸包，若确定为手腕处的凸包，则将此凸包的深度点作为手腕的坐标点；

步骤S4：根据不同的智能终端设备给定不同的虚拟场景摄像机内部参数，计算手腕的坐标点与虚拟场景摄像机之间相对变换关系：其中，所述变换关系采用下式实现：

P＝A|[R|T]|M；

其中，M表示三维空间的一个点，[R|T]表示一个[3|4]矩阵，该矩阵为一个欧式空间变换，A表示虚拟场景摄像机矩阵的内部参数矩阵，P表示M在屏幕上的投影；

步骤S5：通过计算得到投影矩阵，使用手腕的坐标点与虚拟场景摄像机之间相对变换关系和投影矩阵将得到的手腕坐标点投影到三维场景中，将手表的3D模型根据投影矩阵投影到三维场景中手腕位置上。

2.根据权利要求1所述的一种基于增强现实的智能终端3D手表试戴方法，其特征在于：步骤S1中所述采用肤色识别模型提取出和手部肤色相近的图像信息具体包括以下步骤；

步骤S11：通过建立椭圆模型函数，将椭圆的中心点、椭圆轴的长度、偏转角度、圆弧的起始角度、圆弧的终结角的角度以及填充颜色传入一个背景全黑的图片，创建了一个背景全黑、椭圆内为白色的二值图片；

步骤S12：把摄像头采集的每一帧图像进行处理，将图像帧的每个像素从RGB颜色空间转换到YCrCb颜色空间中，忽略Y值得影响，得到坐标(Cr，Cb)；

步骤S13：遍历每一个像素的YCrCb空间坐标，并判断坐标是否在椭圆内，如果在椭圆内，则保留此像素点，如果不在椭圆内，则为非皮肤像素点，将其抛弃。

3.根据权利要求1所述的一种基于增强现实的智能终端3D手表试戴方法，其特征在于：所述步骤S2具体包括以下步骤：

步骤S21：将初步提取的手部图像信息进行二值化处理；

步骤S22：对二值化处理后的图像进行中值滤波处理，得到去噪后的图像；

步骤S23：对去噪后的图像进行轮廓提取，一个轮廓对应一系列的点，也就是图像中的一条曲线，将得到的一系列的点用序列把轮廓信息存储起来，序列中的每一个元素是曲线中的一个点位置；

步骤S24：遍历每一个轮廓，判断轮廓内序列点的多少，将包含最多序列点的轮廓标记为备选手部轮廓，并进入步骤S25；如果没有找到轮廓则返回步骤S21；

步骤S25：通过凸包检测函数，得到五个手指间的四个凸包和手腕处的两个凸包，共六个凸包；所述凸包包含起始点、结束点、深度点；

步骤S26：分别计算起始点、结束点与深度点的距离；再计算以深度点为顶点，以起始点、结束点为边的夹角大小；用一组预先定义好的范围值判断距离和夹角是否在规定值范围内，如果在规定值范围内则判定这个凸包为手指间的凸包，进行存储，记为备选手部凸包；超过范围值则抛弃此凸包；

步骤S27：将得到的备选手部凸包的起始点或结束点坐标有相同坐标的进行合并，消除重复点，最终得到的起始点加上结束点的个数为手指的个数，如果手指个数没超过五个则判定得到的轮廓是手部，并进入下一步；如果超过则将得到的轮廓抛弃，并返回步骤S21；

步骤S28：根据凸包的起始点和结束点到深度点的长度差值判断手部为正对摄像头还是背对摄像头。

4.一种基于权利要求1所述的基于增强现实的智能终端3D手表试戴方法的系统，其特征在于：包括肤色识别模块、手腕识别模块、3D模型加载模块、虚拟场景摄像机位置计算模块、试戴效果展示模块；

所述肤色识别模块用以滤除大部分背景信息，提取出和肤色相近图像；

所述手腕识别模块将肤色识别模块输出的实时图像进行进一步的处理，判断图像中是否含有手部；

所述3D模型加载模块根据用户选择的手表模型通过互联网连接到服务器，下载所选模型到本地；

所述虚拟场景摄像机位置计算模块根据当前用户所使用的智能终端提供相应的内部参数，进行摄像机标定，进而进行姿态估计；

所述试戴效果展示模块中定义了一个PROJECTION计算矩阵，把3D模型投影到场景中，用以将手表模型就叠加在手腕上；所述试戴效果展示模块对每次输入的手腕坐标点进行判断是否改变，如果改变则重新渲染场景，在新的手腕位置上显示手表模型。