CN108256504A - 一种基于深度学习的三维动态手势识别方法 - Google Patents

Abstract

本发明提出了一种基于深度学习和立体视觉的低成本，高精度，快速实时的动态三维手势识别方法。利用深度学习方法，能够快速的提取手势区域特征点，满足实时动态三维重建的要去，解决了立体视觉技术匹配难得问题。利用立体视觉技术，对比结构光，深度相机等方案，降低了成本。通过对于特征点的稀疏重建，在不损失精度的情况下大大减小了运算量。对于特征点的追踪方法提高了轨迹识别的速度与精度，基于特征点的轨迹定义方案也减小了轨迹识别与匹配的难度。

Description

一种基于深度学习的三维动态手势识别方法

技术领域：

本发明属于图像处理技术领域，特别是涉及一种动态手势光学三维重建及识别的方法及装置。

背景技术：

手势识别作为计算机视觉的一个重要部分，是沟通现实世界和虚拟的数字世界的桥梁，被广泛的应用于虚拟现实、增强现实、人机交互、数字娱乐、电子商务等诸多行业。传统用于人机交互的手势识别方法主要是基于触摸交互设备 (鼠标，触摸屏)，这类交互方式无法完全模拟手势动作，只能进行二维的动作识别，而获取三维手势信息一般使用光学测量方法。

光学三维测量由于具有非接触、精度高、速度快的优势，已经发展成为三维检测领域最重要的技术。光学三维测量又可分为主动式和被动式两种。主动三维测量技术包括飞行时间法、结构光投影法、干涉法等。其中，由于结构光立体视觉系统简便，成本比较低，而且精度较高，因此应用最为广泛。

结构光立体视觉，通常向被测物体表面投影特定的编码光，包括数字光投影技术还是物理光栅投影的模拟图案，利用相机拍摄编码光在物体表面的调制信号，在进一步解调得到和深度信息有关的调制信号，最后经过标定得到物体表面的三维形貌。但是两种投影方法都是对底片的呈像，是一种成像关系，因此都存在着景深的限制。大大限制了三维测量的范围。另外，投影结构光需要增加额外的投影设备，大大增加了硬件成本。

被动式测量方法以立体视觉为代表。光学被动式测量不需要投射预设的光栅，而是在自然光(包括室内可控照明光)的条件下，通过相机等光学传感器采集二维图像，主要利用像素坐标信息以获取物体的三维信息，其典型代表就是立体视觉技术采用非结构光照明方式，从一个或多个角度观察系统中的二维信息来合成第三维信息(如物体的三维空间坐标)，从而得到被测物体的三维数据；还可以通过多个观察系统中二维图像的相关或匹配运算来对物体进行三维重建。立体视觉技术模仿人类视觉原理，具有结构简单、不需要投影光、组建灵活等优点，但是立体视觉面临的最大挑战是“匹配难”问题。

发明内容：

鉴于现有技术的缺陷与不足，本发明提出了一种基于深度学习和立体视觉的低成本，高精度，快速实时的动态三维手势识别方法。该方法使用立体视觉系统，通过深度学习方法学习提取出左右相机采集图像上手势的关键特征点，解决“匹配难”的问题，使用预先标定好的立体视觉系统相机内外参数计算关键特征点的三维坐标，最终对多帧采集图像的关键点三维坐标轨迹进行跟踪，与预先定义好的轨迹模型进行对比，判断动态手势含义。

本发明的具体技术方案来如下：

一种基于深度学习的三维动态手势识别方法,由相对设置的两个相机和一个计算中心构成，两个相机都与计算中心连接，两个相机用于采集图像；计算中心用于对采集到的手势图像使用深度学习方法进行手势区域提取、手势在图像上的特征点提取、特征点匹配和三维重建、以及三维姿态分析与轨迹追踪、完成手势的动态识别。

两个相机构成双目立体视觉系统，双目立体视觉系统用于获取手势三维模型；两个相机之间光轴存在0°到120°夹角，保证存在足够重合视场。

双目立体视觉三维重建部分，采用相机标定方法获取相机内外参数，只重建相机采集图像上的手势特征点的三维坐标，用于后续手势动作的分析。

手势特征点提取部分，采用深度学习方法，预先训练深度识别模型a、b，模型a用于识别相机采集到的图像中手势区域ROI，模型b提取模型a识别到的手势区域ROI内的手势在图像上特征点。

三维姿态估计与轨迹追踪部分，根据双目立体视觉系统重建得到的手势特征点三维信息和其每一帧的变化，判断手势动作。

一种基于深度学习的三维动态手势识别方法，包括用于构建双目立体视觉系统的两个相机，用于数据处理的计算中心，按照如下步骤实现：

第一步：相机标定，两个相机构建双目立体视觉系统，标定相机内外参数 (相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵)，用于获取被测物体三维信息。

第二步，使用深度学习方法训练深度识别模型，通过大量预先标记好的手势区域图片训练深度识别模型，通过预先标记好手势特征点图片训练深度识别模型。

第三步，图像采集与手势特征点提取。使用双目立体视觉系统的相机采集图片，使用深度识别模型识别出采集图片中的手势区域和手势在图像上特征点。

第四步，根据双目立体视觉系统内外参数和第三步得到的两个相机拍摄到手势区域的在图像上特征点重建出特征点三维坐标。

第五步，取相机连续多帧的提取的手势特征点三维坐标，与预先定义好的手势动作对比，判读手势含义。

有益效果：

本发明提出了一种基于深度学习和立体视觉的低成本，高精度，快速实时的动态三维手势识别方法。利用深度学习方法，能够快速的提取手势区域特征点，满足实时动态三维重建的要去，解决了立体视觉技术匹配难得问题。利用立体视觉技术，对比结构光，深度相机等方案，降低了成本。通过对于特征点的稀疏重建，在不损失精度的情况下大大减小了运算量。对于特征点的追踪方法提高了轨迹识别的速度与精度，基于特征点的轨迹定义方案也减小了轨迹识别与匹配的难度。

附图说明：

图1为本发明的系统原理图；

图2为标准双目立体视觉原理图；

图3为手势特征点定义图。

图4为手势指尖特征点轨迹。

其中：1为计算中心；2为相机；3为相机；4为被测物体。

具体实施方式：

下面具体结合附图以动态手势识别为例对本发明做详细描述，硬件结构如图1所示。

技术方案为：

第一步，搭建双目立体视觉系统，标定相机内外参数。

1.双目立体视觉根据光学三角法获取物体的三维信息，其关键是精确标定双目系统获得内外参数，匹配空间点分别在两个相机成像面上的像素坐标，根据视差原理计算深度信息。

双目立体视觉利用视差原理，根据光学三角法获取被测物体的深度信息。最简单的双目立体视觉系统结构如图2所示，O₁x_wy_wz_w是世界坐标系(与左摄像机坐标系重合)，y_w垂直纸面；C₁U₁V₁是左摄像机成像平面坐标系，V₁垂直于纸面，C₂U₂V₂是右摄像机成像平面坐标系，V₂垂直于纸面；f是主距，b是基线长度。一空间点P的世界坐标为(x_W,y_W,z_W)，P在左、右摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)。由于摄像机处在标准的双目立体视觉系统下，则 v₁＝v₂＝h，根据相似三角形可得：

令d_w＝u₂-u₁，则P的三维世界空间坐标：

由于主点是以像素为单位的，而d_w的单位是世界单位，因此需要通过使用x 方向上的像素尺寸缩放d_w，将其转换到像素坐标下：

d_p＝d_w/s_x

式中：

s_x——x方向的缩放比例因子。

而在图像坐标系中：

d_p＝(c_c1-c_c2)+(c₂-c₁)

式中：

c_c1,c_c2——主点在图像坐标系下的列坐标；

c₁,c₂——点P₁和P₂在图像坐标系下的列坐标。

由于c_c1-c_c2对所有点都是常量，且通过摄像机标定及校正就可以得到，因此，P的世界坐标是与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差。因此，只要找出左、右图像中的匹配点，获取视差图，再经相机标定内外参数，就能重构出空间点的三维坐标。

2.相机内外参数标定

双目立体视觉系统是通过三角法计算物体的三维尺寸。而所谓三角是，两个相机的图像平面和被测物三者组成一个三角形，必须已知这三者之间的位置关系，才可以通过三角法求解出被测物的三维空间尺寸。为了获取被测物到两个相机图像平面的成像关系和两个相机之间的位置关系，需要在测量前对系统进行标定。求解相机参数的方法有很多，这类方法中，最主流的是美国微软研究院的张正友提出的利用旋转矩阵的正交条件以及非线性优化进行求解。标定图片拍摄过程中，相机和标标定都可以自由移动，且不需要知道运动参数。这种方法简单方便，柔性好，精度高，可以控制在0.5个Pixel以内。相机内外参数，完成了一点P从世界坐标系P_W向图像坐标系(u,v)^T的变换，即：

要完成空间点从世界坐标系向图像坐标系的转换，就要已知上述公式中的所有未知量，A和B分别表示内参矩阵和外参矩阵。其中，s_x，s_y，c_x，c_y和f是相机的内部参数，称作相机内参；R＝R(α，β，γ)和T＝(t_x,t_y,t_z)^T是相机在世界坐标系中的位姿，称作相机外参。

第二步，使用深度学习方法训练深度识别模型。深度学习就是一种特征学习方法，把原始数据通过一些简单的但是非线性的模型转变成为更高层次的，更加抽象的表达。通过足够多的转换的组合，非常复杂的函数也可以被学习。对于分类任务，高层次的表达能够强化输入数据的区分能力方面，同时削弱不相关因素。比如，一副图像的原始格式是一个像素数组，那么在第一层上的学习特征表达通常指的是在图像的特定位置和方向上有没有边的存在。第二层通常会根据那些边的某些排放而来检测图案，这时候会忽略掉一些边上的一些小的干扰。第三层或许会把那些图案进行组合，从而使其对应于熟悉目标的某部分。随后的一些层会将这些部分再组合，从而构成待检测目标。我们可以简单的理解成函数拟合的过程。

我们采集手势图片作为深度学习的训练输入，大量预先标记好的手势区域标签数据(在图片上手势所在框的位置)，手势特征点标签数据(如指尖在图像上的位置)等作为深度学习训练的输出，通过训练学习网络得到用于识别手势特征区域和特征点的深度学习识别模型。

第三步，图像采集与手势特征点提取。使用双目立体视觉系统的相机采集图片，将其作为深度识别模型的输入，识别出采集图片中的手势区域和手势在图像上特征点。其中特征点的定义由标签数据定义，图3为两个相机识别到的五指及掌心特征点，a-1与b-1分别为两相机采集图片上的对应点，以此类推。我们可以得到多组手势上的特征对应点，再通过双目立体视觉系统得三维重建原理就可以得到特征点的三维坐标(如指尖)。

第四步，根据双目立体视觉系统内外参数和第三步得到的两个相机拍摄到手势区域的在图像上特征点重建出特征点三维坐标。由第二步可知，通过摄像机标定及校正，对于图像上任意一点，其三维坐标与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差。因此，只要找出左、右图像中的匹配点(即第三步深度学习方法提取出的两个相机采集到的特征对应点)，获取视差，就能重构出空间点的三维坐标。

第五步，取相机连续多帧的提取的手势特征点三维坐标，与预先定义好的手势动作对比，判读手势含义。以图4所示的指尖点击操作为例，当点击操作进行时，点击的指尖点的三维坐标将在z向发生较大变化，x，y方向发生微小便宜，因此，我们可以依此来定义点击动作。设图4上A,B,C点分别为指尖进行点击操作时采集的三帧图像，通过上面方法求得三维坐标依次为P1(x1,y1,z1)、 P2(x2,y2,z2)、P3(x3,y3,z3),我们定义向量a＝(x2-x1,y2-y1,z2-z1),向量b＝ (x3-x2,y3-y2,z3-z2)，点击移动变化阈值t，向量夹角阈值n，只要指尖坐标变化满足条件{|x1-x2|<t,|x2-x3|<t,|y1-y2|<t,|y2-y3|<t,m＝arccos(ab/|a||b|)>n}，则我们认定发生点击操作。同理，只要我们定义合适约束条件，就能够根据相应特征点运动轨迹判断当前发生动作含义，实现人机交互等功能。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，仍属于本发明技术方案的范围内。

Claims (7)

1.一种基于深度学习的三维动态手势识别方法,其特征在于：由相对设置的两个相机和一个计算中心构成，两个相机都与计算中心连接，两个相机用于采集图像；计算中心用于对采集到的手势图像使用深度学习方法进行手势区域提取、手势在图像上的特征点提取、特征点匹配和三维重建、以及三维姿态分析与轨迹追踪、完成手势的动态识别。

2.如权利要求1所述基于深度学习的三维动态手势识别方法，其特征在于：两个相机构成双目立体视觉系统，双目立体视觉系统用于获取手势三维模型；两个相机之间光轴存在0°到120°夹角，保证存在足够重合视场。

3.基于权利要求1、2所述基于深度学习的三维动态手势识别方法，其特征在于：双目立体视觉三维重建部分，采用相机标定方法获取相机内外参数，只重建相机采集图像上的手势特征点的三维坐标，用于后续手势动作的分析。

4.基于权利要求1、3所述基于深度学习的三维动态手势识别方法，其特征在于：手势特征点提取部分，采用深度学习方法，预先训练深度识别模型a、b，模型a用于识别相机采集到的图像中手势区域ROI，模型b提取模型a识别到的手势区域ROI内的手势在图像上特征点。

5.基于权利要求1、2、3、4所述基于深度学习的三维动态手势识别方法，其特征在于：三维姿态估计与轨迹追踪部分，根据双目立体视觉系统重建得到的手势特征点三维信息和其每一帧的变化，判断手势动作。

6.基于权利要求1所述基于深度学习的三维动态手势识别方法，其特征在于，按照如下步骤：

第一步：相机标定，两个相机构建双目立体视觉系统，分别标定两个相机内外参数，用于获取被测物体三维信息，两个相机内外参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；

第二步，使用深度学习方法训练深度识别模型，通过大量预先标记好的手势区域图像训练深度识别模型a，通过预先标记好手势特征点图像训练深度识别模型b；

第三步，图像采集与手势特征点提取，使用双目立体视觉系统的相机采集图像，使用深度识别模型a、b识别出采集图像中的手势区域和手势在图像上特征点；

第四步，根据双目立体视觉系统内外参数和第三步得到的两个相机拍摄到手势区域的在图像上特征点重建出特征点三维坐标；

第五步，取相机连续多帧的提取的手势特征点三维坐标，与预先定义好的手势动作对比，判读手势含义。

7.基于权利要求6所述基于深度学习的三维动态手势识别方法，其特征在于，按照如下步骤：

第一步，搭建双目立体视觉系统，标定相机内外参数：

(1)双目立体视觉根据光学三角法获取物体的三维信息，其关键是精确标定双目系统获得内外参数，匹配空间点分别在两个相机成像面上的像素坐标，根据视差原理计算深度信息；

双目立体视觉利用视差原理，根据光学三角法获取被测物体的深度信息；O₁x_wy_wz_w是世界坐标系，O₁x_wy_wz_w与左摄像机坐标系重合，y_w垂直纸面；C₁U₁V₁是左摄像机成像平面坐标系，V₁垂直于纸面，C₂U₂V₂是右摄像机成像平面坐标系，V₂垂直于纸面；f是主距，b是基线长度；一空间点P的世界坐标为(x_W,y_W,z_W)，P在左、右摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)；由于摄像机处在标准的双目立体视觉系统下，则v₁＝v₂＝h，根据相似三角形可得：

令d_w＝u₂-u₁，则P的三维世界空间坐标：

由于主点是以像素为单位的，而d_w的单位是世界单位，因此需要通过使用x方向上的像素尺寸缩放d_w，将其转换到像素坐标下：

d_p＝d_w/s_x；

式中：

s_x——x方向的缩放比例因子；

而在图像坐标系中：

d_p＝(c_c1-c_c2)+(c₂-c₁)；

式中：

c_c1,c_c2——主点在图像坐标系下的列坐标；

c₁,c₂——点P₁和P₂在图像坐标系下的列坐标；

由于c_c1-c_c2对所有点都是常量，且通过摄像机标定及校正就可以得到，因此，P的世界坐标是与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差；因此，只要找出左、右图像中的匹配点，获取视差图，再经相机标定内外参数，就能重构出空间点的三维坐标；

(2)相机内外参数标定：

双目立体视觉系统是通过三角法计算物体的三维尺寸；而所谓三角是，两个相机的图像平面和被测物三者组成一个三角形，必须已知这三者之间的位置关系，通过三角法求解出被测物的三维空间尺寸；为了获取被测物到两个相机图像平面的成像关系和两个相机之间的位置关系，需要在测量前对系统进行标定；利用旋转矩阵的正交条件以及非线性优化进行求解；标定图片拍摄过程中，相机和标标定都可以自由移动，且不需要知道运动参数；控制在0.5个Pixel以内；相机内外参数，完成了一点P从世界坐标系P_W向图像坐标系(u,v)^T的变换，即：

要完成空间点从世界坐标系向图像坐标系的转换，就要已知上述公式中的所有未知量，A和B分别表示内参矩阵和外参矩阵；其中，s_x，s_y，c_x，c_y和f是相机的内部参数，称作相机内参；R＝R(α，β，γ)和T＝(t_x,t_y,t_z)^T是相机在世界坐标系中的位姿，称作相机外参；

第二步，使用深度学习方法训练深度识别模型；采集手势图片作为深度学习的训练输入，大量预先标记好的手势区域标签数据，手势区域标签数据为在图片上手势所在框的位置，手势特征点标签数据作为深度学习训练的输出，通过训练学习网络得到用于识别手势特征区域和特征点的深度学习识别模型；

第三步，图像采集与手势特征点提取；使用双目立体视觉系统的相机采集图片，将其作为深度识别模型的输入，识别出采集图片中的手势区域和手势在图像上特征点；其中特征点的定义由标签数据定义，a-1与b-1分别为两相机采集图片上的对应点，以此类推；得到多组手势上的特征对应点，再通过双目立体视觉系统得三维重建原理就可以得到特征点的三维坐标；

第四步，根据双目立体视觉系统内外参数和第三步得到的两个相机拍摄到手势区域的在图像上特征点重建出特征点三维坐标；由第二步可知，通过摄像机标定及校正，对于图像上任意一点，其三维坐标与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差；因此，只要找出左、右图像中的匹配点，所述匹配点即第三步深度学习方法提取出的两个相机采集到的特征对应点，获取视差，就能重构出空间点的三维坐标。

第五步，取相机连续多帧的提取的手势特征点三维坐标，与预先定义好的手势动作对比，判读手势含义；以图4所示的指尖点击操作为例，当点击操作进行时，点击的指尖点的三维坐标将在z向发生较大变化，x，y方向发生微小便宜，因此，我们可以依此来定义点击动作；设图4上A,B,C点分别为指尖进行点击操作时采集的三帧图像，通过上面方法求得三维坐标依次为P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3),我们定义向量a＝(x2-x1,y2-y1,z2-z1),向量b＝(x3-x2,y3-y2,z3-z2)，点击移动变化阈值t，向量夹角阈值n，只要指尖坐标变化满足条件{|x1-x2|<t,|x2-x3|<t,|y1-y2|<t,|y2-y3|<t,m＝arccos(ab/|a||b|)>n}，则我们认定发生点击操作；同理，只要我们定义合适约束条件，就能够根据相应特征点运动轨迹判断当前发生动作含义，实现人机交互等功能。