CN104598915A - 一种手势识别方法与装置 - Google Patents
一种手势识别方法与装置 Download PDFInfo
- Publication number
- CN104598915A CN104598915A CN201410036739.8A CN201410036739A CN104598915A CN 104598915 A CN104598915 A CN 104598915A CN 201410036739 A CN201410036739 A CN 201410036739A CN 104598915 A CN104598915 A CN 104598915A
- Authority
- CN
- China
- Prior art keywords
- gesture
- image
- depth
- model
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Abstract
本发明涉及一种手势识别方法与装置，其中手势识别方法包括训练步骤和识别步骤，训练步骤包括：S1、同步获取具有深度信息和色彩信息的待训练图像；S2、基于深度信息确定初级手部轮廓；S3、基于色彩信息确定精确手部轮廓；S4、调用精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值建立三维手势模型，并采用分类器的方法对多个所述待训练图像的所述三维手势模型进行训练获得优化的三维手势模型；识别步骤中同样运用上述手部轮廓提取方式，并基于步骤S4得到的优化的三维手势模型，识别出对应的三维手势。本发明同时利用深度信息和色彩信息进行识别，具备准确度高、精度高的优点。
Description
技术领域
本发明涉及人机交互技术领域，更具体地说，涉及一种手势识别方法与装置。
背景技术
在人机交互技术领域，手势控制作为一种新型的人机交互方式具有友好性等方面的优势。目前，对于非接触式手势主要有两种识别方法：
第一种为基于具有色彩信息的二维图像的识别方法，其主要通过获取目标的灰度图像或者彩色图像，通过边缘检测或者肤色阈值检测识别出手势。该二维图像识别方法的优点为目标图像的分辨率较高。但是其容易受背景、环境光照的影响，同时也会受到目标距离摄像机的远近距离影响，此外当目标转换角度、发生旋转，尤其手指发生相互遮挡时，识别的准确度会降低，甚至不能识别。
第二种为基于具有深度信息的三维图像的识别方法，通过深度阈值检测等方式识别出手势。该三维图像识别方法的优点为不受目标的远近距离影响，识别的准确度高。但是由于深度图像的分辨率低，从一定程度上降低了识别的精度低；由于对于目标的不连续边缘，间距较小的地方识别不灵敏，比如手指张开缝隙较小，导致对手指的识别不灵敏。
因此，如何准确地对非接触式手势进行识别是亟待解决的问题。
发明内容
本发明要解决的技术问题在于，针对现有非接触式手势识别方法的准确性不高的缺陷，提供一种手势识别方法与装置，基于深度信息及色彩信息对图像中的手势进行识别进而有效地提高了手势识别的准确性。
本发明解决其技术问题所采用的技术方案是：构造一种手势识别方法，包括训练步骤和识别步骤，其中，所述训练步骤包括步骤：
S1、同步获取具有深度信息和色彩信息的待训练图像；
S2、基于所述待训练图像的深度信息确定所述待训练图像的初级手部轮廓；
S3、调用所述待训练图像中的初级手部轮廓内的色彩信息，分割出所述待训练图像的精确手部轮廓；
S4、调用所述待训练图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值建立三维手势模型，并采用分类器的方法对多个所述待训练图像的所述三维手势模型进行训练获得优化的三维手势模型；
所述识别步骤进一步包括步骤：
S5、同步获取具有深度信息和色彩信息的待识别图像；
S6、基于所述待识别图像的深度信息确定所述待识别图像的初级手部轮廓；
S7、调用所述待识别图像中的初级手部轮廓内的色彩信息，分割出所述待识别图像的精确手部轮廓；
S8、调用所述待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，与所述步骤S4训练获得的优化的三维手势模型匹配，识别出对应的三维手势。
在根据本发明所述的手势识别方法中，所述自适应加权计算加权平均值的公式为：
T＝w1·C色彩+w2·D深度
其中，w1是色彩信息的自适应加权系数，w2是深度信息的自适应加权系数，C色彩为色彩信息，D深度为深度信息。
在根据本发明所述的手势识别方法中，所述步骤S4中建立的三维手势模型包括三维手势的特征点联结模型。
在根据本发明所述的手势识别方法中，所述步骤S8包括静态手势识别步骤：对步骤S4中训练获得的优化的特征点联结模型进行边界条件设定，生成对应的模型参量空间；调用所述待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，确定其对应于所述模型参量空间里的点，识别出该静态手势。
在根据本发明所述的手势识别方法中，所述步骤S8还包括动态模型识别步骤：对各帧待识别图像执行静态手势识别步骤，并得到这些静态手势对应于所述模型参量空间里的点形成的轨迹；将所述轨迹分类对应到模型参量空间里生成子集，根据已定义的动态手势的子集，确定对应的动态手势。
在根据本发明所述的手势识别方法中，所述对各帧待识别图像执行静态手势识别步骤中通过自适应加权计算加权平均值时包括：
1）基于确定的精确手部轮廓，使用手部轮廓中心点深度信息初步判断手部的运动方向，分为：a)手部运动方向主要垂直于深度相机光轴，b)手部运动方向主要平行于深度相机光轴；
2）使用自适应加权调用深度信息和色彩信息的方法，当a)手部运动方向主要为垂直于深度相机光轴时，色彩信息的自适应加权系数w1大于深度信息的自适应加权系数w2；当b)手部运动方向主要平行于深度相机光轴时，色彩信息的自适应加权系数w1小于深度信息的自适应加权系数w2。
本发明还提供了一种手势识别装置，包括训练模块和识别模块，其中，所述训练模块包括：
第一图像获取单元，用于同步获取具有深度信息和色彩信息的待训练图像；
第一初级轮廓提取单元，用于基于所述待训练图像的深度信息确定所述待训练图像的初级手部轮廓；
第一精确轮廓提取单元，用于调用所述待训练图像中的初级手部轮廓内的色彩信息，分割出所述待训练图像的精确手部轮廓；
模型建立单元，用于调用所述待训练图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值建立三维手势模型，并采用分类器的方法对多个所述待训练图像的所述三维手势模型进行训练获得优化的三维手势模型；
所述识别步骤进一步包括步骤：
第二图像获取单元，用于同步获取具有深度信息和色彩信息的待识别图像；
第二初级轮廓提取单元，用于基于所述待识别图像的深度信息确定所述待识别图像的初级手部轮廓；
第二精确轮廓提取单元，用于调用所述待识别图像中的初级手部轮廓内的色彩信息，分割出所述待识别图像的精确手部轮廓；
手势识别单元，用于调用所述待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，与所述步模型建立单元训练获得的优化的三维手势模型匹配，识别出对应的三维手势。
在根据本发明所述的手势识别装置中，所述模型建立单元和手势识别单元中均包括通过以下公式进行自适应加权计算加权平均值的子单元：
T＝w1·C色彩十w2·D深度
其中，w1是色彩信息的自适应加权系数，w2是深度信息的自适应加权系数，C色彩为色彩信息，D深度为深度信息。
在根据本发明所述的手势识别装置中，所述模型建立单元进一步包括特征点联结模型建立子单元，用于建立三维手势模型的特征点联结模型。
在根据本发明所述的手势识别装置中，所述手势识别单元包括静态手势识别子单元，用于对所述模型建立单元训练获得的优化的特征点联结模型进行边界条件设定，生成对应的模型参量空间，并调用所述待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，确定其对应于所述模型参量空间里的点，识别出该静态手势。
在根据本发明所述的手势识别装置中，所述手势识别单元还包括动态模型识别子单元，用于对各帧待识别图像执行静态手势识别，并得到这些静态手势对应于所述模型参量空间里的点形成的轨迹，并将所述轨迹分类对应到模型参量空间里生成子集，根据已定义的动态手势的子集，确定对应的动态手势。
在根据本发明所述的手势识别装置中，包括用于在对各帧待识别图像执行静态手势识别中通过自适应加权计算加权平均值的子单元，其首先基于确定的精确手部轮廓，使用手部轮廓中心点深度信息初步判断手部的运动方向，分为：a)手部运动方向主要垂直于深度相机光轴，b)手部运动方向主要平行于深度相机光轴；并使用自适应加权调用深度信息和色彩信息的方法，当a)手部运动方向主要为垂直于深度相机光轴时，色彩信息的自适应加权系数w1大于深度信息的自适应加权系数w2;当b)手部运动方向主要平行于深度相机光轴时，色彩信息的自适应加权系数w1小于深度信息的自适应加权系数w2。
实施本发明的手势识别方法与装置，具有以下有益效果：本发明同时利用深度信息和色彩信息识别出手部轮廓，并通过自适应加权的方法，对手势进行识别，由于深度信息在深度间距的准确识别，避免了色彩信息不能分辨前后距离的缺陷，同时可以利用高分辨率、高像素的色彩图像，具备准确度高、精度高的优点。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为根据本发明优选实施例的手势识别方法的流程图；
图2为根据本发明优选实施例的手势识别装置的模块框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
请参阅图1，为根据本发明优选实施例的手势识别方法的流程图。如图1所示，本发明优选实施例提供的手势识别方法包括训练步骤和识别步骤：
其中，训练步骤进一步包括步骤S1-S4。
首先，在步骤S1中，同步获取具有深度信息和色彩信息的待训练图像。该步骤可以通过一部深度相机、至少一部色彩相机和相机固定组件来实现。通过控制器实现对深度相机和色彩相机采集图像的同步控制。该步骤中可以采用深度相机结合色彩相机，对深度图像和色彩图像进行匹配，同步获得的RGB-D色彩和深度图像。
该步骤中的获取具有深度信息的图像的方法包括但不限于以下方法：（1）基于结构光获取的深度信息，例如light coding（光编码）结构光方法的深度相机，激光散斑法的深度相机Primesense，微软的深度相机kinect；投影光栅、条纹扫描方法获取的深度图。（2）基于激光测距获取的深度信息。以及（3）基于视觉技术获取的深度信息等。
随后，在步骤S2中，基于所述待训练图像的深度信息确定步骤S1中获取的待训练图像的手部轮廓作为初级手部轮廓。
在本发明的一个实施例中，可以直接基于待训练图像的深度信息构成的深度图像对手部区域进行检测，实现手部轮廓的提取。
在本发明的另一个实施例中，该步骤可以分为两个步骤实现：
首先，在步骤S21中使用待训练图像的深度信息，进行人体检测，获取人体区域轮廓，提取出人体区域的深度信息和色彩信息。待训练图像的深度信息构成了深度图像，在基于深度信息将人体区域从背景环境中分离出来时，可以先使用拉普拉斯-高斯算子等方法，对深度图像进行滤波去噪声，采用噪声阈值处理。在噪声处理过程中，当深度图像出现较明显噪声点时，可以使用OpenCV里面的<cvErode>函数，定义合适的结构元素对源图像进行腐蚀，去掉多余噪声点之后，紧接着用<cvDilate>函数对得到的结果图像进行膨胀，以此去除大多的噪声点。在去除噪声后，可以调用整幅深度图像，使用边缘检测、用OpenCV的<autothreshold>函数进行动态深度阈值设定、人体目标特征点分类（Classification）等方法，将人体区域从整幅深度图像中分割出来，同时据此分割出对应区域的色彩信息，从而实现人体检测，提取出人体区域的色彩和深度信息。本实施例中，先提取出人体区域的色彩和深度图像，在后继的处理流程中，可以只传输人体区域的数据，从而降低了运算负荷，提高了处理速度。
随后，在步骤S22中使用步骤S21中提取的人体区域的数据，根据深度信息，识别出手部区域，获取手部区域轮廓作为初级手部轮廓，提取手部区域的色彩信息和深度信息。
在本发明的一个实施例中，使用深度信息提取到人体区域之后进行手部检测，可以使用分类器的方法，基于手部区域特征，训练识别人体模型，用于检测出手部区域。具体为：使用深度信息检测到手部区域的大致位置，可以采用openCV提供的<Canny>、<findContours>等函数对深度信息进行处理，可以进一步分割出较为准确手部区域轮廓，通过设定轮廓面积的阈值，通过与轮廓面积阈值进行比较，筛选出符合的结果，可以得到人手的轮廓，以此分割获取手部轮廓。
随后，在步骤S3中，调用步骤S2中确定的待训练图像中的初级手部轮廓内的色彩信息，对手部轮廓进行识别，分割出待训练图像的精确手部轮廓。在本发明的一些实施例中，可以基于步骤S2中获取的初级手部轮廓，调用对应的手部区域的色彩信息，通过肤值阈值判定、边缘提取等方法，获得手部的精确轮廓，包括手指边缘，实现对手部的精确分割。
基于深度信息识别的手部轮廓是不圆滑，较为粗糙的，而图像的色彩信息一般是采用高分辨率彩色相机获取，其图像分辨率很高，结合手掌区域的色彩信息可获得精度很好的手部信息。在该步骤中首先提取深度图像获取的手部区域在彩色图像中的对应区域，通过肤色阈值判定，可以排除其他不是人手的物体等不符合要求的轮廓，筛选出符合的结果，获取只有人手的轮廓，以此减少无关信息的干扰，接着对得到的结果进行边缘的提取，可获得高精度的手部轮廓，包括手指的精确轮廓。
最后，在步骤S4中，调用步骤S3中确定的待训练图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权的方法计算加权平均值，建立三维手势模型，并采用分类器的方法对多个待训练图像的三维手势模型进行训练获得优化的三维手势模型。该自适应加权计算加权平均值的公式为：
T＝w1·C色彩+w2·D深度 （1）
其中，w1是色彩信息的自适应加权系数，w2是深度信息的自适应加权系数，C色彩为色彩信息，D深度为深度信息。
在本发明的一些实施例中，可以建立的三维手势模型包括但不限于以下一种或几种模型：（a）特征点联结模型；（b）带皮肤纹理信息的模型；（c）深度点云联网的模型；（d）几何体模型。
在本发明的优选实施例中，重点使用（a）特征点联结模型，主要通过以下步骤建立：首先，调用所述待训练图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权找出所述精确手部轮廓的凹凸缺陷，确定手指的指尖位置、手指与手掌的连接位置；随后用带有深度信息的线段标示各个手指，并按比例设定手指关节标志点，以此建立所述特征点联结模型。随后可以通过采集足够多的训练样本，对模型进行训练，得到优化的三维手势模型。本发明还可以对该特征点联结模型进行设定边界条件：1、对手指关节活动角度范围进行设定；2、对手部运动关联进行设定。设定的边界条件与特征点联结模型的自由度有关联。本发明的一个实施例，通过设定边界条件，建立了具有38个自由度的特征点联结模型。
本发明可以采集真实的深度-色彩图和/或采用计算机视觉方法虚拟生成的深度-色彩图作为训练样本，即待训练图像，进行精确手部轮廓的识别以及三维手势模型的建立。其中，计算机视觉方法可以使用虚拟深度图生成器和基于计算机视觉的3D动画技术，生成大量深度图并结合色彩图作为训练样本。三维手势模型对应于静态手势。可以采用svm分类方法、AdaBoosting算法对静态手势进行分类，基于足够多的训练样本，建立优化的三维手势模型。训练数据生成的大致步骤是：1)采集大量常见手势动作，并通过关键帧聚类生成手部深度图像，作为静态训练手势；2)在一定范围内随机生成摄像机参数，对齐渲染与真实世界坐标，使用计算机图形渲染技术生成人物深度图像与部位标识图；3)对手部的深度图像进行后处理，包括加噪、重采样等，使其更接近深度相机拍摄的真实图片。
本发明优选实施例提供的手势识别方法中的识别步骤进一步包括步骤S5-S8。
在步骤S5中，同步获取具有深度信息和色彩信息的待识别图像。该步骤与前述步骤S1相同，区别在于获取的图像为需要进行识别的目标图像。
在步骤S6中，基于步骤S6获取的待识别图像的深度信息确定待识别图像的初级手部轮廓。该步骤与前述步骤S2相同，区别在于以待识别图像为对象进行初级手部轮廓的提取。
在步骤S7中，调用步骤S6中确定的初级手部轮廓内的色彩信息，分割出待识别图像的精确手部轮廓。该步骤与前述步骤S3相同，区别在于以待识别图像为对象进行精确手部轮廓的提取。
在步骤S8中，调用步骤S7中确定的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，与步骤S4训练获得的优化的三维手势模型匹配，识别出对应的三维手势。其中，通过自适应加权计算加权平均值的过程也可以通过前述公式（1）实现，区别在于其中色彩信息的自适应加权系数w1和深度信息的自适应加权系数w2的取值根据需要设定。在本发明的优选实施例中，该步骤S8进一步包括静态手势识别步骤和/或动态手势识别步骤。
静态手势识别步骤可以具体通过以下步骤实现：首先，对步骤S4中训练获得的优化的特征点联结模型进行边界条件设定，生成对应的模型参量空间；随后，调用待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，确定其对应于模型参量空间里的点，识别出该静态手势。在本发明的优选实施例中，可以使用并不限定于模型匹配、决策树、随机森林、递归森林、非线性集簇、人工神经网络方法等方法，进行静态手势识别训练。在进行静态手势识别时，由于建立优化的三维手势模型时，使用自适应加权调用深度信息和色彩信息的方法，w1和w2使得静态手势对应的特征点联结模型中，特征点和联结线的信息最大化，即手势模型的特征点数最多，联结线最完整。
动态模型识别步骤需要对多帧待识别图像执行前述静态手势识别步骤，即一系列色彩图像和深度图像序列分别进行静态手势识别，再跟踪各帧色彩图像和深度图像对应的静态手势之间的运动变化，即对手势运动进行跟踪，然后识别这些运动轨迹。可以具体通过以下步骤实现：首先识别出各帧待识别图像对应的静态手势，并得到这些静态手势对应于模型参量空间里的点形成的轨迹。静态手势对应着模型参量空间里一个点，而动态手势则对应着模型参量空间里的一条轨迹。随后，将获得的轨迹分类对应到模型参量空间里生成子集，子集对应于动态手势。对这样的子集进行定义，就是对动态手势进行定义。本发明的一个实施例中，对动态手势的定义利用了手语的语法规则。根据已定义的动态手势的子集，便可以确定对应的动态手势。在本发明的优选实施例中，动态手势识别，包括手指运动轨迹跟踪、识别，以及手势运动轨迹跟踪、识别。在本发明的另一些优选实施例中，可以在识别过程中将上一帧深度-色彩图像对应的静态手势，用于预测下一帧深度-色彩图像对应的静态手势，以此提高手势跟踪的处理速度。
在本发明的优选实施例中，动态手势识别步骤中对各帧待识别图像执行的静态手势识别步骤具有以下特点，其采用的自适应加权计算加权平均值的过程考虑到了手指的移动方向或者整个手部的移动方向为标准进行自适应加权的设定。具体地，首先基于确定的精确手部轮廓，使用手部轮廓中心点深度信息初步判断手部的运动方向，分为：a)手部运动方向主要垂直于深度相机光轴，b)手部运动方向主要平行于深度相机光轴。然后，使用自适应加权调用深度信息和色彩信息的方法，当a)手部运动方向主要为垂直于深度相机光轴时，色彩信息的权重大于深度信息的权重，即w1＞w2；当b)手部运动方向主要平行于深度相机光轴时，色彩信息的权重小于深度信息的权重，即w1＜w2。例如整个手部即手掌、手指在垂直面内移动时，例如色彩信息采用80%加权，深度信息采用20%加权；在整个手部即手掌、手指垂直面外移动时，深度信息采用80%加权，色彩信息采用20%加权。本发明通过在对动态手势进行识别时，对深度信息和色彩信息的权重的自适应动态设定，使得在对各帧图像进行静态手势识别时，各帧色彩图像和深度图像的对应三维手势与三维手势模型的匹配效果更加优化,提高了动态手势识别的速度和准确性。
请参阅图2，为根据本发明优选实施例的手势识别装置的模块框图。如图2所示，本发明优选实施例提供的手势识别装置主要包括训练模块和识别模块。
其中，训练模块进一步包括第一图像获取单元201、第一初级轮廓提取单元202、第一精确轮廓提取单元203和模型建立单元204。
第一图像获取单元201用于同步获取具有深度信息和色彩信息的待训练图像。该第一图像获取单元201可以通过一部深度相机、至少一部色彩相机和相机固定组件来实现。通过控制器实现对深度相机和色彩相机采集图像的同步控制。该第一图像获取单元201可以采用深度相机结合色彩相机，对深度图像和色彩图像进行匹配，同步获得的RGB-D色彩和深度图像。
该第一图像获取单元201中获取具有深度信息的图像的方式包括但不限于以下方式：（1）基于结构光获取的深度信息，例如light coding（光编码）结构光方法的深度相机，激光散斑法的深度相机Primesense，微软的深度相机kinect；投影光栅、条纹扫描方法获取的深度图。（2）基于激光测距获取的深度信息。以及（3）基于视觉技术获取的深度信息等。
第一初级轮廓提取单元202与第一图像获取单元201相连，用于基于深度信息确定第一图像获取单元201获取的待训练图像的手部轮廓作为初级手部轮廓。
在本发明的一个实施例中，可以直接基于待训练图像的深度信息构成的深度图像对手部区域进行检测，实现手部轮廓的提取。
在本发明的另一个实施例中，该第一初级轮廓提取单元202可以分为两个子单元实现：
首先，通过第一人体区域提取子单元使用待训练图像的深度信息，进行人体检测，获取人体区域轮廓，提取出人体区域的深度信息和色彩信息。待训练图像的深度信息构成了深度图像，在基于深度信息将人体区域从背景环境中分离出来时，可以先使用拉普拉斯-高斯算子等方法，对深度图像进行滤波去噪声，采用噪声阈值处理。在噪声处理过程中，当深度图像出现较明显噪声点时，可以使用OpenCV里面的<cvErode>函数，定义合适的结构元素对源图像进行腐蚀，去掉多余噪声点之后，紧接着用<cvDilate>函数对得到的结果图像进行膨胀，以此去除大多的噪声点。在去除噪声后，可以调用整幅深度图像，使用边缘检测、用OpenCV的<autothreshold>函数进行动态深度阈值设定、人体目标特征点分类（Classification）等方法，将人体区域从整幅深度图像中分割出来，同时据此分割出对应区域的色彩信息，从而实现人体检测，提取出人体区域的色彩和深度信息。本实施例中，先提取出人体区域的色彩和深度图像，在后继的处理流程中，可以只传输人体区域的数据，从而降低了运算负荷，提高了处理速度。
随后，由第一手部区域提取子单元使用第一人体区域提取子单元中提取的人体区域的数据，根据深度信息，识别出手部区域，获取手部区域轮廓作为初级手部轮廓，提取手部区域的色彩信息和深度信息。
在本发明的一个实施例中，使用深度信息提取到人体区域之后进行手部检测，可以使用分类器的方法，基于手部区域特征，训练识别人体模型，用于检测出手部区域。具体为：使用深度信息检测到手部区域的大致位置，可以采用openCV提供的<Canny>、<findContours>等函数对深度信息进行处理，可以进一步分割出较为准确手部区域轮廓，通过设定轮廓面积的阈值，通过与轮廓面积阈值进行比较，筛选出符合的结果，可以得到人手的轮廓，以此分割获取手部轮廓。
第一精确轮廓提取单元203，与第一初级轮廓提取单元202相连，用于调用第一初级轮廓提取单元202确定的待训练图像中的初级手部轮廓内的色彩信息，对手部轮廓进行识别，分割出待训练图像的精确手部轮廓。在本发明的一些实施例中，可以基于第一初级轮廓提取单元202获取的初级手部轮廓，调用对应的手部区域的色彩信息，通过肤值阈值判定、边缘提取等方法，获得手部的精确轮廓，包括手指边缘，实现对手部的精确分割。
基于深度信息识别的手部轮廓是不圆滑，较为粗糙的，而图像的色彩信息一般是采用高分辨率彩色相机获取，其图像分辨率很高，结合手掌区域的色彩信息可获得精度很好的手部信息。在该过程中首先提取深度图像获取的手部区域在彩色图像中的对应区域，通过肤色阈值判定，可以排除其他不是人手的物体等不符合要求的轮廓，筛选出符合的结果，获取只有人手的轮廓，以此减少无关信息的干扰，接着对得到的结果进行边缘的提取，可获得高精度的手部轮廓，包括手指的精确轮廓。
模型建立单元204与第一精确轮廓提取单元203相连，用于调用第一精确轮廓提取单元203中确定的待训练图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权的方法计算加权平均值，建立三维手势模型，并采用分类器的方法对多个待训练图像的三维手势模型进行训练获得优化的三维手势模型。其中，模型建立单元204中包括通过自适应加权计算加权平均值的子单元。该自适应加权同样可以采用前述公式（1）计算加权平均值。
作为在本发明的一些实施例中，可以建立的三维手势模型包括但不限于以下一种或几种模型：（a）特征点联结模型；（b）带皮肤纹理信息的模型；（c）深度点云联网的模型；（d）几何体模型。
在本发明的优选实施例中，重点使用（a）特征点联结模型，主要通过以下步骤建立：首先，调用所述待训练图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权找出所述精确手部轮廓的凹凸缺陷，确定手指的指尖位置、手指与手掌的连接位置；随后用带有深度信息的线段标示各个手指，并按比例设定手指关节标志点，以此建立所述特征点联结模型。随后可以通过采集足够多的训练样本，对模型进行训练，得到优化的三维手势模型。本发明还可以对该特征点联结模型进行设定边界条件：1、对手指关节活动角度范围进行设定；2、对手部运动关联进行设定。设定的边界条件与特征点联结模型的自由度有关联。本发明的一个实施例，通过设定边界条件，建立了具有38个自由度的特征点联结模型。
本发明可以采集真实的深度-色彩图和/或采用计算机视觉方法虚拟生成的深度-色彩图作为训练样本，即待训练图像，进行精确手部轮廓的识别以及三维手势模型的建立。其中，计算机视觉方法可以使用虚拟深度图生成器和基于计算机视觉的3D动画技术，生成大量深度图并结合色彩图作为训练样本。三维手势模型对应于静态手势。可以采用svm分类方法、AdaBoosting算法对静态手势进行分类，基于足够多的训练样本，建立优化的三维手势模型。训练数据生成的大致步骤是：1)采集大量常见手势动作，并通过关键帧聚类生成手部深度图像，作为静态训练手势；2)在一定范围内随机生成摄像机参数，对齐渲染与真实世界坐标，使用计算机图形渲染技术生成人物深度图像与部位标识图；3)对手部的深度图像进行后处理，包括加噪、重采样等，使其更接近深度相机拍摄的真实图片。
本发明优选实施例提供的手势识别装置中的识别模块进一步包括第二图像获取单元211、第二初级轮廓提取单元212、第二精确轮廓提取单元213和手势识别单元214。
第二图像获取单元211用于同步获取具有深度信息和色彩信息的待识别图像。该第二图像获取单元211与前述第一图像获取单元201的实现原理相同，区别在于获取的图像为需要进行识别的目标图像。优选地，该第二图像获取单元211与前述第一图像获取单元201使用同一软固件实现。
第二初级轮廓提取单元212与第二图像获取单元211相连，用于基于第二图像获取单元211获取的待识别图像的深度信息确定待识别图像的初级手部轮廓。该第二初级轮廓提取单元212与前述第一初级轮廓提取单元202的实现原理相同，区别在于以待识别图像为对象进行初级手部轮廓的提取。优选地，该第二初级轮廓提取单元212与前述第一初级轮廓提取单元202可以使用同一软固件实现。
第二精确轮廓提取单元213与第二初级轮廓提取单元212相连，用于调用第二初级轮廓提取单元212中确定的初级手部轮廓内的色彩信息，分割出待识别图像的精确手部轮廓。该第二精确轮廓提取单元213与前述第二精确轮廓提取单元203的实现原理相同，区别在于以待识别图像为对象进行精确手部轮廓的提取。优选地，该第二精确轮廓提取单元213与前述第二精确轮廓提取单元203可以使用同一软固件实现。
手势识别单元214与第二精确轮廓提取单元213以及模型建立单元204相连，调用第二精确轮廓提取单元213中确定的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，与模型建立单元204中训练获得的优化的三维手势模型匹配，识别出对应的三维手势。其中，手势识别单元214中同样包括通过自适应加权计算加权平均值的子单元。该子单元的计算加权平均值过程也可以通过前述公式（1）实现，区别在于其中色彩信息的自适应加权系数w1和深度信息的自适应加权系数w2的取值根据需要设定。在本发明的优选实施例中，该手势识别单元214进一步包括静态手势识别子单元和/或动态手势识别子单元。
其中，静态手势识别子单元可以具体通过以下步骤实现：首先，对模型建立单元训练获得的优化的特征点联结模型进行边界条件设定，生成对应的模型参量空间；随后，调用待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，确定其对应于模型参量空间里的点，识别出该静态手势。在本发明的优选实施例中，可以使用并不限定于模型匹配、决策树、随机森林、递归森林、非线性集簇、人工神经网络方法等方法，进行静态手势识别训练。在进行静态手势识别时，由于建立优化的三维手势模型时，使用自适应加权调用深度信息和色彩信息的方法，w1和w2使得静态手势对应的特征点联结模型中，特征点和联结线的信息最大化，即手势模型的特征点数最多，联结线最完整。
动态模型识别子单元则需要对多帧待识别图像执行前述静态手势识别，即一系列色彩图像和深度图像序列分别进行静态手势识别，再跟踪各帧色彩图像和深度图像对应的静态手势之间的运动变化，即对手势运动进行跟踪，然后识别这些运动轨迹。可以具体通过以下步骤实现：首先识别出各帧待识别图像对应的静态手势，并得到这些静态手势对应于模型参量空间里的点形成的轨迹。静态手势对应着模型参量空间里一个点，而动态手势则对应着模型参量空间里的一条轨迹。随后，将获得的轨迹分类对应到模型参量空间里生成子集，子集对应于动态手势。对这样的子集进行定义，就是对动态手势进行定义。本发明的一个实施例中，对动态手势的定义利用了手语的语法规则。根据已定义的动态手势的子集，便可以确定对应的动态手势。在本发明的优选实施例中，动态手势识别，包括手指运动轨迹跟踪、识别，以及手势运动轨迹跟踪、识别。在本发明的另一些优选实施例中，可以在识别过程中将上一帧深度-色彩图像对应的静态手势，用于预测下一帧深度-色彩图像对应的静态手势，以此提高手势跟踪的处理速度。
在本发明的优选实施例中，动态模型识别子单元中包括用于在对各帧待识别图像执行静态手势识别中通过自适应加权计算加权平均值的子单元，该子单元对各帧待识别图像执行的静态手势识别具有以下特点，其采用的自适应加权计算加权平均值的过程考虑到了手指的移动方向或者整个手部的移动方向为标准进行自适应加权的设定。具体地，首先基于确定的精确手部轮廓，使用手部轮廓中心点深度信息初步判断手部的运动方向，分为：a)手部运动方向主要垂直于深度相机光轴，b)手部运动方向主要平行于深度相机光轴。然后，使用自适应加权调用深度信息和色彩信息的方法，当a)手部运动方向主要为垂直于深度相机光轴时，色彩信息的权重大于深度信息的权重，即w1＞w2;当b)手部运动方向主要平行于深度相机光轴时，色彩信息的权重小于深度信息的权重，即w1＜w2。例如整个手部即手掌、手指在垂直面内移动时，例如色彩信息采用80%加权，深度信息采用20%加权；在整个手部即手掌、手指垂直面外移动时，深度信息采用80%加权，色彩信息采用20%加权。本发明通过在对动态手势进行识别时，对深度信息和色彩信息的权重的自适应动态设定，使得在对各帧图像进行静态手势识别时，各帧色彩图像和深度图像的对应三维手势与三维手势模型的匹配效果更加优化，提高了动态手势识别的速度和准确性。
综上，本发明提供的手势识别方法和装置是同时利用深度信息和色彩信息进行识别，并且在识别的过程中运用了自适应加权的方法，可以利用深度信息在深度间距的准确识别，避免色彩信息不能分辨前后距离的缺陷，同时可以利用高分辨率、高像素的色彩图像，准确地调用对应区域的深度信息，具备准确度高、精度高的优点。
应该说明地是，本发明中的手势识别方法和装置的原理和实现方式相同，因此对手势识别方法实施例的具体阐述也适用于手势识别装置。本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特定场合或材料，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。
Claims (12)
1.一种手势识别方法，其特征在于，包括训练步骤和识别步骤，其中，所述训练步骤包括步骤：
S1、同步获取具有深度信息和色彩信息的待训练图像；
S2、基于所述待训练图像的深度信息确定所述待训练图像的初级手部轮廓；
S3、调用所述待训练图像中的初级手部轮廓内的色彩信息，分割出所述待训练图像的精确手部轮廓；
S4、调用所述待训练图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值建立三维手势模型，并采用分类器的方法对多个所述待训练图像的所述三维手势模型进行训练获得优化的三维手势模型；
所述识别步骤进一步包括步骤：
S5、同步获取具有深度信息和色彩信息的待识别图像；
S6、基于所述待识别图像的深度信息确定所述待识别图像的初级手部轮廓；
S7、调用所述待识别图像中的初级手部轮廓内的色彩信息，分割出所述待识别图像的精确手部轮廓；
S8、调用所述待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，与所述步骤S4训练获得的优化的三维手势模型匹配，识别出对应的三维手势。
2.根据权利要求1所述的手势识别方法，其特征在于，所述自适应加权计算加权平均值的公式为：
T＝w1·C色彩+w2·D深度
其中，w1是色彩信息的自适应加权系数，w2是深度信息的自适应加权系数，C色彩为色彩信息，D深度为深度信息。
3.根据权利要求2所述的手势识别方法，其特征在于，所述步骤S4中建立的三维手势模型包括三维手势的特征点联结模型。
4.根据权利要求3所述的手势识别方法，其特征在于，所述步骤S8包括静态手势识别步骤：
对步骤S4中训练获得的优化的特征点联结模型进行边界条件设定，生成对应的模型参量空间；
调用所述待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，确定其对应于所述模型参量空间里的点，识别出该静态手势。
5.根据权利要求4所述的手势识别方法，其特征在于，所述步骤S8还包括动态模型识别步骤：
对各帧待识别图像执行静态手势识别步骤，并得到这些静态手势对应于所述模型参量空间里的点形成的轨迹；
将所述轨迹分类对应到模型参量空间里生成子集，根据已定义的动态手势的子集，确定对应的动态手势。
6.根据权利要求5所述的手势识别方法，其特征在于，所述对各帧待识别图像执行静态手势识别步骤中通过自适应加权计算加权平均值时包括：
1）基于确定的精确手部轮廓，使用手部轮廓中心点深度信息初步判断手部的运动方向，分为：a)手部运动方向主要垂直于深度相机光轴，b)手部运动方向主要平行于深度相机光轴；
2）使用自适应加权调用深度信息和色彩信息的方法，当a)手部运动方向主要为垂直于深度相机光轴时，色彩信息的自适应加权系数w1大于深度信息的自适应加权系数w2；当b)手部运动方向主要平行于深度相机光轴时色彩信息的自适应加权系数w1小于深度信息的自适应加权系数w2。
7.一种手势识别装置，其特征在于，包括训练模块和识别模块，其中，所述训练模块包括：
第一图像获取单元，用于同步获取具有深度信息和色彩信息的待训练图像；
第一初级轮廓提取单元，用于基于所述待训练图像的深度信息确定所述待训练图像的初级手部轮廓；
第一精确轮廓提取单元，用于调用所述待训练图像中的初级手部轮廓内的色彩信息，分割出所述待训练图像的精确手部轮廓；
模型建立单元，用于调用所述待训练图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值建立三维手势模型，并采用分类器的方法对多个所述待训练图像的所述三维手势模型进行训练获得优化的三维手势模型；
所述识别步骤进一步包括步骤：
第二图像获取单元，用于同步获取具有深度信息和色彩信息的待识别图像；
第二初级轮廓提取单元，用于基于所述待识别图像的深度信息确定所述待识别图像的初级手部轮廓；
第二精确轮廓提取单元，用于调用所述待识别图像中的初级手部轮廓内的色彩信息，分割出所述待识别图像的精确手部轮廓；
手势识别单元，用于调用所述待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，与所述步模型建立单元训练获得的优化的三维手势模型匹配，识别出对应的三维手势。
8.根据权利要求7所述的手势识别装置，其特征在于，所述模型建立单元和手势识别单元中均包括通过以下公式进行自适应加权计算加权平均值的子单元：
T＝w1·C色彩+w2·D深度
其中，w1是色彩信息的自适应加权系数，w2是深度信息的自适应加权系数，C色彩为色彩信息，D深度为深度信息。
9.根据权利要求8所述的手势识别装置，其特征在于，所述模型建立单元进一步包括特征点联结模型建立子单元，用于建立三维手势模型的特征点联结模型。
10.根据权利要求9所述的手势识别装置，其特征在于，所述手势识别单元包括静态手势识别子单元，用于对所述模型建立单元训练获得的优化的特征点联结模型进行边界条件设定，生成对应的模型参量空间，并调用所述待识别图像的精确手部轮廓内的深度信息和色彩信息，通过自适应加权计算加权平均值，确定其对应于所述模型参量空间里的点，识别出该静态手势。
11.根据权利要求10所述的手势识别装置，其特征在于，所述手势识别单元还包括动态模型识别子单元，用于对各帧待识别图像执行静态手势识别，并得到这些静态手势对应于所述模型参量空间里的点形成的轨迹，并将所述轨迹分类对应到模型参量空间里生成子集，根据已定义的动态手势的子集，确定对应的动态手势。
12.根据权利要求9所述的手势识别装置，其特征在于，所述动态模型识别子单元包括用于在对各帧待识别图像执行静态手势识别中通过自适应加权计算加权平均值的子单元，其首先基于确定的精确手部轮廓，使用手部轮廓中心点深度信息初步判断手部的运动方向，分为：a)手部运动方向主要垂直于深度相机光轴，b)手部运动方向主要平行于深度相机光轴；并使用自适应加权调用深度信息和色彩信息的方法，当a)手部运动方向主要为垂直于深度相机光轴时，色彩信息的自适应加权系数w1大于深度信息的自适应加权系数w2;当b)手部运动方向主要平行于深度相机光轴时，色彩信息的自适应加权系数w1小于深度信息的自适应加权系数w2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410036739.8A CN104598915B (zh) | 2014-01-24 | 2014-01-24 | 一种手势识别方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410036739.8A CN104598915B (zh) | 2014-01-24 | 2014-01-24 | 一种手势识别方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104598915A true CN104598915A (zh) | 2015-05-06 |
| CN104598915B CN104598915B (zh) | 2017-08-11 |
Family
ID=53124687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410036739.8A Active CN104598915B (zh) | 2014-01-24 | 2014-01-24 | 一种手势识别方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104598915B (zh) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
| CN105045399A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种具有3d摄像组件的电子设备 |
| CN105046249A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种人机交互方法 |
| CN105068662A (zh) * | 2015-09-07 | 2015-11-18 | 哈尔滨市一舍科技有限公司 | 一种用于人机交互的电子设备 |
| CN105069444A (zh) * | 2015-09-07 | 2015-11-18 | 哈尔滨市一舍科技有限公司 | 一种手势识别装置 |
| CN105160323A (zh) * | 2015-09-07 | 2015-12-16 | 哈尔滨市一舍科技有限公司 | 一种手势识别方法 |
| CN105302294A (zh) * | 2015-09-07 | 2016-02-03 | 哈尔滨市一舍科技有限公司 | 一种交互式虚拟现实演示装置 |
| CN105302295A (zh) * | 2015-09-07 | 2016-02-03 | 哈尔滨市一舍科技有限公司 | 一种具有3d摄像组件的虚拟现实交互设备 |
| CN105718878A (zh) * | 2016-01-19 | 2016-06-29 | 华南理工大学 | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 |
| CN105892637A (zh) * | 2015-11-25 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 手势识别方法及虚拟现实显示输出设备 |
| CN106055091A (zh) * | 2016-05-16 | 2016-10-26 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
| CN106169082A (zh) * | 2015-05-21 | 2016-11-30 | 三菱电机株式会社 | 训练分类器以检测目标环境图像中的对象的方法和系统 |
| CN106200896A (zh) * | 2016-06-23 | 2016-12-07 | 广州亿程交通信息有限公司 | 用于车辆智能装备的手势识别系统及识别方法 |
| CN106327486A (zh) * | 2016-08-16 | 2017-01-11 | 广州视源电子科技股份有限公司 | 跟踪指蹼位置的方法及其装置 |
| CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
| CN106547356A (zh) * | 2016-11-17 | 2017-03-29 | 科大讯飞股份有限公司 | 智能交互方法和装置 |
| CN106981043A (zh) * | 2016-11-23 | 2017-07-25 | 四川大学 | 一种基于随机森林的高精度三维信息快速获取方法 |
| CN107368820A (zh) * | 2017-08-03 | 2017-11-21 | 中国科学院深圳先进技术研究院 | 一种精细化手势识别方法、装置及设备 |
| CN107423698A (zh) * | 2017-07-14 | 2017-12-01 | 华中科技大学 | 一种基于并联卷积神经网络的手势估计方法 |
| CN107481318A (zh) * | 2017-08-09 | 2017-12-15 | 广东欧珀移动通信有限公司 | 用户头像的替换方法、装置和终端设备 |
| CN107563333A (zh) * | 2017-09-05 | 2018-01-09 | 广州大学 | 一种基于测距辅助的双目视觉手势识别方法和装置 |
| CN107742318A (zh) * | 2017-09-28 | 2018-02-27 | 江门市金佣网有限公司 | 商品实时三维成像方法及基于实时三维展示的交易系统 |
| CN108492282A (zh) * | 2018-03-09 | 2018-09-04 | 天津工业大学 | 基于线结构光与多任务级联卷积神经网络的三维涂胶检测 |
| CN108604299A (zh) * | 2016-02-05 | 2018-09-28 | 德尔福技术有限责任公司 | 用于检测三维空间中的手势的系统和方法 |
| CN109005158A (zh) * | 2018-07-10 | 2018-12-14 | 成都理工大学 | 基于模糊保险箱的动态手势认证系统及其认证方法 |
| CN109685042A (zh) * | 2019-02-03 | 2019-04-26 | 同方威视技术股份有限公司 | 一种三维图像识别装置及其识别方法 |
| CN109961005A (zh) * | 2019-01-28 | 2019-07-02 | 山东大学 | 一种基于二维卷积网络的动态手势识别方法及系统 |
| CN110889390A (zh) * | 2019-12-05 | 2020-03-17 | 北京明略软件系统有限公司 | 姿势识别方法、装置、控制设备和机器可读存储介质 |
| CN111091021A (zh) * | 2018-10-23 | 2020-05-01 | 中国海洋大学 | 基于随机森林的手语翻译系统 |
| CN111368800A (zh) * | 2020-03-27 | 2020-07-03 | 中国工商银行股份有限公司 | 手势识别方法及装置 |
| WO2020140798A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
| CN111435429A (zh) * | 2019-01-15 | 2020-07-21 | 北京伟景智能科技有限公司 | 一种基于双目立体数据动态认知的手势识别方法及系统 |
| CN111596767A (zh) * | 2020-05-27 | 2020-08-28 | 广州市大湾区虚拟现实研究院 | 一种基于虚拟现实的姿态捕获方法和装置 |
| CN111680594A (zh) * | 2020-05-29 | 2020-09-18 | 北京计算机技术及应用研究所 | 一种基于手势识别的增强现实交互方法 |
| CN112381925A (zh) * | 2020-11-13 | 2021-02-19 | 广州引力波科技创新发展有限公司 | 一种基于激光编码的全身跟踪定位方法及系统 |
| CN108564070B (zh) * | 2018-05-07 | 2021-05-11 | 京东方科技集团股份有限公司 | 用于提取手势的方法及其装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102467657A (zh) * | 2010-11-16 | 2012-05-23 | 三星电子株式会社 | 手势识别系统和方法 |
| CN102737235A (zh) * | 2012-06-28 | 2012-10-17 | 中国科学院自动化研究所 | 基于深度信息和彩色图像的头部姿势估计方法 |
| CN102855488A (zh) * | 2011-06-30 | 2013-01-02 | 北京三星通信技术研究有限公司 | 三维手势识别方法和系统 |
| CN103093196A (zh) * | 2013-01-14 | 2013-05-08 | 大连理工大学 | 一种基于手势的汉字交互输入与识别方法 |
| US20130156296A1 (en) * | 2010-05-20 | 2013-06-20 | Edge3 Technologies Llc | Three Dimensional Gesture Recognition in Vehicles |
-
2014
- 2014-01-24 CN CN201410036739.8A patent/CN104598915B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130156296A1 (en) * | 2010-05-20 | 2013-06-20 | Edge3 Technologies Llc | Three Dimensional Gesture Recognition in Vehicles |
| CN102467657A (zh) * | 2010-11-16 | 2012-05-23 | 三星电子株式会社 | 手势识别系统和方法 |
| CN102855488A (zh) * | 2011-06-30 | 2013-01-02 | 北京三星通信技术研究有限公司 | 三维手势识别方法和系统 |
| CN102737235A (zh) * | 2012-06-28 | 2012-10-17 | 中国科学院自动化研究所 | 基于深度信息和彩色图像的头部姿势估计方法 |
| CN103093196A (zh) * | 2013-01-14 | 2013-05-08 | 大连理工大学 | 一种基于手势的汉字交互输入与识别方法 |
Cited By (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106169082A (zh) * | 2015-05-21 | 2016-11-30 | 三菱电机株式会社 | 训练分类器以检测目标环境图像中的对象的方法和系统 |
| CN105160323B (zh) * | 2015-09-07 | 2018-11-27 | 哈尔滨市一舍科技有限公司 | 一种手势识别方法 |
| CN105046249B (zh) * | 2015-09-07 | 2018-09-11 | 哈尔滨市一舍科技有限公司 | 一种人机交互方法 |
| CN105045398A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
| CN105069444A (zh) * | 2015-09-07 | 2015-11-18 | 哈尔滨市一舍科技有限公司 | 一种手势识别装置 |
| CN105302294B (zh) * | 2015-09-07 | 2018-08-03 | 哈尔滨市一舍科技有限公司 | 一种交互式虚拟现实演示装置 |
| CN105302294A (zh) * | 2015-09-07 | 2016-02-03 | 哈尔滨市一舍科技有限公司 | 一种交互式虚拟现实演示装置 |
| CN105302295A (zh) * | 2015-09-07 | 2016-02-03 | 哈尔滨市一舍科技有限公司 | 一种具有3d摄像组件的虚拟现实交互设备 |
| CN105302295B (zh) * | 2015-09-07 | 2018-06-26 | 哈尔滨市一舍科技有限公司 | 一种具有3d摄像组件的虚拟现实交互设备 |
| CN105045398B (zh) * | 2015-09-07 | 2018-04-03 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
| CN105068662B (zh) * | 2015-09-07 | 2018-03-06 | 哈尔滨市一舍科技有限公司 | 一种用于人机交互的电子设备 |
| CN105045399A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种具有3d摄像组件的电子设备 |
| CN105069444B (zh) * | 2015-09-07 | 2018-09-11 | 哈尔滨市一舍科技有限公司 | 一种手势识别装置 |
| CN105068662A (zh) * | 2015-09-07 | 2015-11-18 | 哈尔滨市一舍科技有限公司 | 一种用于人机交互的电子设备 |
| CN105160323A (zh) * | 2015-09-07 | 2015-12-16 | 哈尔滨市一舍科技有限公司 | 一种手势识别方法 |
| CN105046249A (zh) * | 2015-09-07 | 2015-11-11 | 哈尔滨市一舍科技有限公司 | 一种人机交互方法 |
| CN105045399B (zh) * | 2015-09-07 | 2018-08-14 | 哈尔滨市一舍科技有限公司 | 一种具有3d摄像组件的电子设备 |
| CN105892637A (zh) * | 2015-11-25 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 手势识别方法及虚拟现实显示输出设备 |
| CN105718878A (zh) * | 2016-01-19 | 2016-06-29 | 华南理工大学 | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 |
| CN105718878B (zh) * | 2016-01-19 | 2019-08-09 | 华南理工大学 | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 |
| CN108604299A (zh) * | 2016-02-05 | 2018-09-28 | 德尔福技术有限责任公司 | 用于检测三维空间中的手势的系统和方法 |
| CN106055091B (zh) * | 2016-05-16 | 2019-08-06 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
| CN106055091A (zh) * | 2016-05-16 | 2016-10-26 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
| CN106200896B (zh) * | 2016-06-23 | 2019-05-21 | 广州亿程交通信息有限公司 | 用于车辆智能装备的手势识别系统及识别方法 |
| CN106200896A (zh) * | 2016-06-23 | 2016-12-07 | 广州亿程交通信息有限公司 | 用于车辆智能装备的手势识别系统及识别方法 |
| CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
| CN106327486A (zh) * | 2016-08-16 | 2017-01-11 | 广州视源电子科技股份有限公司 | 跟踪指蹼位置的方法及其装置 |
| CN106327486B (zh) * | 2016-08-16 | 2018-12-28 | 广州视源电子科技股份有限公司 | 跟踪指蹼位置的方法及其装置 |
| CN106547356A (zh) * | 2016-11-17 | 2017-03-29 | 科大讯飞股份有限公司 | 智能交互方法和装置 |
| CN106547356B (zh) * | 2016-11-17 | 2020-09-11 | 科大讯飞股份有限公司 | 智能交互方法和装置 |
| CN106981043A (zh) * | 2016-11-23 | 2017-07-25 | 四川大学 | 一种基于随机森林的高精度三维信息快速获取方法 |
| CN107423698B (zh) * | 2017-07-14 | 2019-11-22 | 华中科技大学 | 一种基于并联卷积神经网络的手势估计方法 |
| CN107423698A (zh) * | 2017-07-14 | 2017-12-01 | 华中科技大学 | 一种基于并联卷积神经网络的手势估计方法 |
| CN107368820A (zh) * | 2017-08-03 | 2017-11-21 | 中国科学院深圳先进技术研究院 | 一种精细化手势识别方法、装置及设备 |
| CN107481318A (zh) * | 2017-08-09 | 2017-12-15 | 广东欧珀移动通信有限公司 | 用户头像的替换方法、装置和终端设备 |
| CN107563333A (zh) * | 2017-09-05 | 2018-01-09 | 广州大学 | 一种基于测距辅助的双目视觉手势识别方法和装置 |
| CN107742318A (zh) * | 2017-09-28 | 2018-02-27 | 江门市金佣网有限公司 | 商品实时三维成像方法及基于实时三维展示的交易系统 |
| CN108492282A (zh) * | 2018-03-09 | 2018-09-04 | 天津工业大学 | 基于线结构光与多任务级联卷积神经网络的三维涂胶检测 |
| CN108492282B (zh) * | 2018-03-09 | 2021-08-06 | 天津工业大学 | 基于线结构光与多任务级联卷积神经网络的三维涂胶检测 |
| CN108564070B (zh) * | 2018-05-07 | 2021-05-11 | 京东方科技集团股份有限公司 | 用于提取手势的方法及其装置 |
| CN109005158A (zh) * | 2018-07-10 | 2018-12-14 | 成都理工大学 | 基于模糊保险箱的动态手势认证系统及其认证方法 |
| CN111091021A (zh) * | 2018-10-23 | 2020-05-01 | 中国海洋大学 | 基于随机森林的手语翻译系统 |
| US11163373B2 (en) | 2019-01-04 | 2021-11-02 | Beijing Dajia Internet Information Technology Co., Ltd. | Method and electronic device of gesture recognition |
| WO2020140798A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
| CN111435429A (zh) * | 2019-01-15 | 2020-07-21 | 北京伟景智能科技有限公司 | 一种基于双目立体数据动态认知的手势识别方法及系统 |
| CN111435429B (zh) * | 2019-01-15 | 2024-03-01 | 北京伟景智能科技有限公司 | 一种基于双目立体数据动态认知的手势识别方法及系统 |
| CN109961005B (zh) * | 2019-01-28 | 2021-08-31 | 山东大学 | 一种基于二维卷积网络的动态手势识别方法及系统 |
| CN109961005A (zh) * | 2019-01-28 | 2019-07-02 | 山东大学 | 一种基于二维卷积网络的动态手势识别方法及系统 |
| CN109685042A (zh) * | 2019-02-03 | 2019-04-26 | 同方威视技术股份有限公司 | 一种三维图像识别装置及其识别方法 |
| CN110889390A (zh) * | 2019-12-05 | 2020-03-17 | 北京明略软件系统有限公司 | 姿势识别方法、装置、控制设备和机器可读存储介质 |
| CN111368800A (zh) * | 2020-03-27 | 2020-07-03 | 中国工商银行股份有限公司 | 手势识别方法及装置 |
| CN111368800B (zh) * | 2020-03-27 | 2023-11-28 | 中国工商银行股份有限公司 | 手势识别方法及装置 |
| CN111596767A (zh) * | 2020-05-27 | 2020-08-28 | 广州市大湾区虚拟现实研究院 | 一种基于虚拟现实的姿态捕获方法和装置 |
| CN111596767B (zh) * | 2020-05-27 | 2023-05-30 | 广州市大湾区虚拟现实研究院 | 一种基于虚拟现实的姿态捕获方法和装置 |
| CN111680594A (zh) * | 2020-05-29 | 2020-09-18 | 北京计算机技术及应用研究所 | 一种基于手势识别的增强现实交互方法 |
| CN111680594B (zh) * | 2020-05-29 | 2023-06-09 | 北京计算机技术及应用研究所 | 一种基于手势识别的增强现实交互方法 |
| CN112381925A (zh) * | 2020-11-13 | 2021-02-19 | 广州引力波科技创新发展有限公司 | 一种基于激光编码的全身跟踪定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104598915B (zh) | 2017-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104598915A (zh) | 一种手势识别方法与装置 | |
| CN111563446B (zh) | 一种基于数字孪生的人-机交互安全预警与控制方法 | |
| CN106648103B (zh) | 一种vr头戴设备的手势跟踪方法和vr头戴设备 | |
| CN103941866B (zh) | 一种基于Kinect深度图像的三维手势识别方法 | |
| CN104317391A (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
| CN102592112B (zh) | 基于隐马尔科夫模型判断手势运动方向的方法 | |
| Khan et al. | Comparative study of hand gesture recognition system | |
| CN105046710A (zh) | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 | |
| CN103714345B (zh) | 一种双目立体视觉检测手指指尖空间位置的方法与系统 | |
| CN105426827A (zh) | 活体验证方法、装置和系统 | |
| CN110532897A (zh) | 零部件图像识别的方法和装置 | |
| CN103105924B (zh) | 人机交互方法和装置 | |
| CN105046219A (zh) | 一种人脸识别系统 | |
| CN106815578A (zh) | 一种基于深度运动图‑尺度不变特征变换的手势识别方法 | |
| CN106446862A (zh) | 一种人脸检测方法及系统 | |
| CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
| KR20120130090A (ko) | 머리 인식 방법 | |
| CN106960473B (zh) | 一种行为感知系统及方法 | |
| CN104299245A (zh) | 基于神经网络的增强现实跟踪方法 | |
| CN111191535B (zh) | 基于深度学习的行人检测模型构建方法及行人检测方法 | |
| CN113763424B (zh) | 基于嵌入式平台的实时智能目标检测方法及系统 | |
| CN105741326B (zh) | 一种基于聚类融合的视频序列的目标跟踪方法 | |
| CN109343701A (zh) | 一种基于动态手势识别的智能人机交互方法 | |
| CN109712171A (zh) | 一种基于相关滤波器的目标跟踪系统及目标跟踪方法 | |
| CN109670401A (zh) | 一种基于骨骼运动图的动作识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |