CN107103613A - 一种三维手势姿态估计方法 - Google Patents
一种三维手势姿态估计方法 Download PDFInfo
- Publication number
- CN107103613A CN107103613A CN201710192287.6A CN201710192287A CN107103613A CN 107103613 A CN107103613 A CN 107103613A CN 201710192287 A CN201710192287 A CN 201710192287A CN 107103613 A CN107103613 A CN 107103613A
- Authority
- CN
- China
- Prior art keywords
- gesture
- neural networks
- convolutional neural
- full convolutional
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 53
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000007935 neutral effect Effects 0.000 claims description 17
- 238000003475 lamination Methods 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000205 computational method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种三维手势姿态估计方法,包括:S1、获取多张手势深度图并进行手势前景与背景的分割,以得到多张手势前景图并随机分为训练集和测试集;S2、按照手势模型图构建各手势前景图的实际标签图,实际标签图包含手势前景图中代表人手各参考辨识点的多个坐标点,每个坐标点的值包含对应的参考辨识点的坐标值和深度值;S3、选取训练集中的多张手势前景图对全卷积神经网络进行训练,并对应地输出多个预测标签图;S4、比较实际标签图与预测标签图之间的偏差,同时更新网络参数;S5、以不断降低偏差进行迭代,直至网络参数收敛;S6、输入待估计的手势深度图,输出对应的标签图,即为估计结果。
Description
技术领域
本发明涉及计算机视觉与深度学习领域,具体涉及一种三维手势姿态估计方法。
背景技术
近几年,随着虚拟现实、增强现实技术的逐渐普及以及不可估量发展前景,作为人机交互的一种重要手段,手势识别技术一直受到计算机视觉领域的高度关注,由于人手关节较多、形状较复杂、自由度较高且容易出现遮挡现象,迅速且精确的识别出手势位置及手势动作一直是一个难题。
传统的手势姿态估计方法通常可以分成两种:基于传感器和基于图像。基于传感器的手势姿态估计技术,是指通过在人手掌及手指特定的部位固定加速度计、角速度计等传感器,以通过所穿戴的传感器设备获取人手特定部位的位置与运动状态信息,进而通过运用运动学的方法解算出人手手掌及手指的状态,从而达到手势姿态估计的目的。这种方法由于要穿戴传感器设备,对手势检测局限性很大,而且受传感器本身精度与穿戴位置变化等因素的影响,通常检测误差会较大。另一种基于图像的手势姿态估计方法,通常是通过对RGB相机拍摄到的包含人手的图像使用边缘检测、肤色检测等基于边缘或者区域检测的方法,首先确定人手在图像中的大致区域,进而通过图像分割等手段分割出手指、手腕等细节信息。由于普通相机拍摄到包含手的图片,通常只能反映场景的平面信息,如果手指间出现遮挡,便无法识别出遮挡手指的动作细节,因此也存在较大误差。
近年来,随着深度学习在计算机视觉领域的应用,也有不少人提出采用深度卷积神经网络进行手势识别的方法,但这些方法仍存在诸多缺点,例如:由于采集到的RGB图像存在手部光线强弱差别、肤色差别等,识别的准确度因此下降;所采用的卷积神经网络待训练的参数较多,训练和测试速度较慢。
发明内容
本发明的主要目的在于提出一种基于深度图以及全卷积神经网络的三维手势姿态估计方法,以克服现有的采用深度卷积神经网络进行手势识别的方法所存在的识别精度不高、卷积神经网络的训练参数多、训练和测试速度慢的问题。
本发明为达上述目的而提出的技术方案如下:
一种三维手势姿态估计方法,包括以下步骤:
S1、获取多张手势深度图,并对各手势深度图进行手势前景与背景的分割,以得到多张手势前景图并随机分为训练集和测试集;
S2、按照一预定的手势模型图,构建各手势前景图的实际标签图,所述实际标签图包含手势前景图中代表人手各参考辨识点的多个坐标点,每个坐标点的值包含对应的参考辨识点的坐标值和深度值;
S3、选取训练集中的多张手势前景图输入到一全卷积神经网络中进行手势特征的训练,以提取人手辨识点及其坐标值和深度值,并对应地输出多个预测标签图;
S4、对步骤S3中选取的各手势前景图,分别将各自的所述实际标签图与所述预测标签图进行比较求偏差,并依据所述偏差更新所述全卷积神经网络的训练参数;
S5、重复步骤S3和S4以进行不断的迭代,直至所述偏差不再下降时,保存当前训练参数作为全卷积神经网络的最终参数;其中,每迭代预定次数,则选取测试集中的手势前景图输入到所述全卷积神经网络进行测试;
S6、将待估计的手势深度图输入到具有所述最终参数的全卷积神经网络中,输出所述待估计的手势深度图所对应的标签图。
本发明提出的上述三维手势姿态估计方法,将深度图用于全卷积神经网络进行训练,全卷积神经网络只包含线性的、参数少的卷积层,不包含非线性的、参数多的全连接层,本发明使用卷积层替代全连接层,使得需要训练的参数大大减少、训练速度提升,可以达到快速收敛的效果。经过步骤S1至S5的训练所得到的全卷积神经网络,即可用于三维手势姿态的估计,将待估计的手势深度图输入到该具有最终参数的全卷积神经网络中,即可输出对应的标签图,该标签图即为三维手势姿态估计的结果。因此采用本发明的三维手势姿态估计方法,能够快速、准确地进行手势识别。
更进一步地,所述估计方法还包括:将所述预测标签图输入到一反卷积神经网络中进行逆向复原,以得到对应的模拟手势深度图加入到所述训练集中;其中,所述反卷积神经网络具有与所述卷积神经网络完全对称的架构。本优选的方案中,用于训练全卷积神经网络的深度图,部分来源于反卷积神经网络所复原出的模拟手势深度图,而所复原出的模拟手势深度图具有更加简洁的特征,因此在用于全卷积神经网络的训练时,更容易提取特征,所得到的标签图更加准确,进而使得全卷积神经网络收敛得更好,如此,通过多次迭代训练全卷积神经网络和反卷积神经网络,不断更新参数,使得最终进行三维手势姿态估计时,其估计结果更加接近真实手势。
更进一步地,所述全卷积神经网络包括卷积层和池化层,所述反卷积神经网络包括反卷积层和反池化层;其中,所述卷积层与所述反卷积层具有相同的卷积核尺寸和互逆的参数;所述池化层和所述反池化层具有相同大小的池化区域和步长。本优选的方案中,通过反卷积神经网络对全卷积神经网络的输出进行复原,在经过池化层和反池化层后,可以大大减少原手势深度图中的干扰信息,从而复原的所述模拟手势深度图具有更加简洁的特征,后续再输入到全卷积神经网络中进行训练时,更容易提取特征,所得到的标签图更加准确,进而使得全卷积神经网络收敛得更好。
更进一步地,步骤S1具体包括:
S11、采用深度相机拍摄不同人的多张手势深度图并进行仿射变换处理,以使所述多张手势深度图具有相同的尺寸;
S12、对步骤S11得到的手势深度图,采用随机森林分类器进行手势前景与背景的分割,得到多张手势前景图;
S13、将步骤S12得到的多张手势前景图随机分为数量较多的训练集和数量较少的测试集。
更进一步地,步骤S5中进行测试的具体过程是:选取测试集中的部分手势前景图作为测试图片,输入到所述全卷积神经网络中,对应输出测试图片的预测标签图;将测试图片的预测标签图与对应的实际标签图进行比较求偏差,以评价全卷积神经网络当前的训练效果。事先将手势深度图分为训练集和测试集,训练集用于训练网络,而测试集用于测试网络的准确度,采用测试集中的深度图训练了一定的次数后,可以对网络进行测试,以模拟实际中使用该网络去识别新的手势深度图,从而来评价目前的网络训练效果如何,以指导后续的训练。
更进一步地,所述预定的手势模型图绘示有标注出所述参考辨识点的人手模型,所述参考辨识点至少包括手指关节点、指尖点、手腕关键点以及手掌中心点。
更进一步地,步骤S2中的所述坐标值为二维坐标值。
更进一步地,步骤S4中所述偏差为Error,计算方法如下:
其中:
J'为预测标签图中坐标点ji'的集合,由(j1',j2',…,jn')构成,ji'=(xi',yi',di');
J为实际标签图中坐标点ji的集合,由(j1,j2,…,jn)构成,ji=(xi,yi,di);
上述n为坐标点的数量,i∈1,2,…,n;x、y为横、纵坐标,d为深度值;依据所述偏差更新所述全卷积神经网络的训练参数的方法为:ω为当前训练参数,ω'为更新的训练参数。
附图说明
图1是本发明一种优选的三维手势姿态估计方法的流程图;
图2是本发明全卷积神经网络的示意图;
图3是本发明反卷积神经网络的示意图;
图4是手势模型图。
具体实施方式
下面结合附图和优选的实施方式对本发明作进一步说明。
本发明的具体实施方式提出了一种三维手势姿态估计方法,该估计方法包括以下步骤S1至S6:
S1、获取多张手势深度图,并对各手势深度图进行手势前景与背景的分割,以得到多张手势前景图并随机分为训练集和测试集。步骤S1的具体过程包括:采用深度相机拍摄不同人的多张手势深度图并进行仿射变换处理,以使所述多张手势深度图具有相同的尺寸;采用随机森林分类器进行手势前景与背景的分割,得到多张手势前景图;将多张手势前景图随机分为数量较多的训练集和数量较少的测试集。
S2、按照一预定的手势模型图,构建各手势前景图的实际标签图,所述实际标签图包含手势前景图中代表人手各参考辨识点的多个坐标点,每个坐标点的值包含对应的参考辨识点的坐标值和深度值。其中,预定的手势模型图的其中两种示例如图4中(a)和(b)所示,绘示有标注出所述参考辨识点10的人手模型,所述参考辨识点包括但不限于手指关节点、指尖点、手腕关键点以及手掌中心点。构建各手势前景图的实际标签图,可以采用人工标注,在每张手势前景图中按照如图4中任一种模型标注出各个参考辨识点及其坐标值和深度值,然后置于一参考坐标系中并去掉手模型的部分,只留下参考辨识点,形成所述实际标签图(实际标签图中各坐标点依据实际人手连接,即是一个人手的骨架)。
S3、选取训练集中的多张手势前景图输入到一全卷积神经网络中进行手势特征的训练,以提取人手辨识点(通过人手辨识点可大致地描绘出手势轮廓)及其坐标值和深度值,并对应地输出多个预测标签图。所述全卷积神经网络的示意图如图2所示,用于训练的手势前景图100(每次训练输入多张手势前景图)作为输入,手势前景图100进入全卷积神经网络后,依次经过卷积层201、池化层301、卷积层201、池化层302、……,卷积层和池化层的数量都不限于图2中所示的。经全卷积网络后,输出所对应的预测标签图400。
S4、对步骤S3中选取的各手势前景图,分别将各自的所述实际标签图与所述预测标签图进行比较求偏差Error,并依据所述偏差更新所述全卷积神经网络的训练参数。所述偏差采用欧式距离进行量化,具体的求解方法如下:
其中:
J'为预测标签图中坐标点ji'的集合,由(j1',j2',…,jn')构成,ji'=(xi',yi',di');
J为实际标签图中坐标点ji的集合,由(j1,j2,…,jn)构成,ji=(xi,yi,di);
上述n为坐标点的数量,i∈1,2,…,n;x、y为横、纵坐标,d为深度值;
依据所述偏差更新所述全卷积神经网络的训练参数的方法为:ω为当前训练参数,ω'为更新的训练参数。
S5、重复步骤S3和S4以进行不断的迭代,直至所述偏差不再下降时,即网络的参数达到收敛,保存当前训练参数作为全卷积神经网络的最终参数;其中,每迭代预定次数,则选取测试集中的手势前景图输入到所述全卷积神经网络进行测试。步骤S5中进行测试的具体过程是:选取测试集中的部分手势前景图作为测试图片,输入到所述全卷积神经网络中,对应输出测试图片的预测标签图;将测试图片的预测标签图与实际标签图进行比较求偏差,以评价全卷积神经网络当前的训练效果。
S6、将待估计的手势深度图输入到具有所述最终参数的全卷积神经网络中,输出所述待估计的手势深度图所对应的标签图。经过步骤S1至S5进行网络训练后,所得到的具有所述最终参数的全卷积神经网络,即可作为本发明中进行三维手势姿态估计所用的估计模型,实际使用时,只要将待估计的手势深度图输入到该估计模型中,所输出的标签图即是估计结果,即可实现手势识别。
在一种更加优选的实施例中,所述估计方法的流程图如图1所示,还包括:将全卷积神经网络所输出的预测标签图输入到一反卷积神经网络中进行逆向复原,以得到对应的模拟手势深度图,并将这些模拟手势深度图加入到所述训练集中,也用于全卷积神经网络的训练。
其中,如图2和图3所示,所述反卷积神经网络具有与所述卷积神经网络完全对称的架构,所述全卷积神经网络包括卷积层(例如图2中的201、202)和池化层(例如图2中的301、302);具体地,进行训练时,手势前景图100经过卷积层时具有如下的变化,随之图片也以像素为单位按照一定的规则增加/删减,此为公知技术,在此不进行赘述。例如,假设输入卷积层的尺寸为l*l,选取k个尺寸相同、像素值不同的方阵作为卷积核,则卷积核的尺寸可以表示为k*c*c,其中k为卷积核的数量,c为卷积核每一维参数的个数。每张手势前景图100分别与k个卷积核进行卷积操作,分别得到k个尺寸完全相同,但像素点不完全相同的新图片。新图片具有新尺寸lc*lc大小如下公式所示:
lc*lc=(l-c+1)*(l-c+1)
如图3所示,所述反卷积神经网络包括反卷积层601、602和反池化层501、502,但图3仅是一种示例,网络层数的多少仅仅是示例性的,并不用于限制本发明的保护范围;其中,所述卷积层与所述反卷积层具有相同的卷积核尺寸和互逆的参数;所述池化层和所述反池化层具有相同大小的池化区域和步长。图片在网络经过池化层时具有如下的变化:假设图片进入池化层前的尺寸为l'*l'。池化即用一个尺寸为p*p的区域每次以f步长在图片上滑动,每次滑动,在该区域中选出一个像素代表该区域的所有像素,则每张图片经过池化层后具有新尺寸lp*lp:
lp*lp=((l'-(f-p))/f)*((l'-(f-p))/f)
从图2的全卷积神经网络输出的预测标签图400,作为输入进入图3所示的反卷积神经网络中,依次经过反池化层501、反卷积层601、反池化层502、反卷积层602、……,最终复原出模拟手势深度图700。所复原出的模拟手势深度图也加入到所述训练集中作为训练所述全卷积神经网络用的图片。所复原出的模拟手势深度图具有更加简洁的特征,因此在用于全卷积神经网络的训练时,更容易提取特征,所得到的标签图更加准确,进而使得全卷积神经网络收敛得更好,如此,通过多次迭代训练全卷积神经网络和反卷积神经网络,不断更新参数,使得最终进行三维手势姿态估计时,其估计结果更加接近真实手势。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (8)
1.一种三维手势姿态估计方法,包括以下步骤:
S1、获取多张手势深度图,并对各手势深度图进行手势前景与背景的分割,以得到多张手势前景图并随机分为训练集和测试集;
S2、按照一预定的手势模型图,构建各手势前景图的实际标签图,所述实际标签图包含手势前景图中代表人手各参考辨识点的多个坐标点,每个坐标点的值包含对应的参考辨识点的坐标值和深度值;
S3、选取训练集中的多张手势前景图输入到一全卷积神经网络中进行手势特征的训练,以提取人手辨识点及其坐标值和深度值,对应地输出多个预测标签图;
S4、对步骤S3中选取的各手势前景图,分别将各自的所述实际标签图与所述预测标签图进行比较求偏差,并依据所述偏差更新所述全卷积神经网络的训练参数;
S5、重复步骤S3和S4以进行不断的迭代,直至所述偏差不再下降时,保存当前训练参数作为全卷积神经网络的最终参数;其中,每迭代预定次数,则选取测试集中的手势前景图输入到所述全卷积神经网络进行测试;
S6、将待估计的手势深度图输入到具有所述最终参数的全卷积神经网络中,输出所述待估计的手势深度图所对应的标签图。
2.如权利要求1所述的三维手势姿态估计方法,其特征在于:
还包括:将所述预测标签图输入到一反卷积神经网络中进行逆向复原,以得到对应的模拟手势深度图加入到所述训练集中;
其中,所述反卷积神经网络具有与所述卷积神经网络完全对称的架构。
3.如权利要求2所述的三维手势姿态估计方法,其特征在于:所述全卷积神经网络包括卷积层和池化层,所述反卷积神经网络包括反卷积层和反池化层;其中,所述卷积层与所述反卷积层具有相同的卷积核尺寸和互逆的参数;所述池化层和所述反池化层具有相同大小的池化区域和步长。
4.如权利要求1所述的三维手势姿态估计方法,其特征在于:步骤S1具体包括:
S11、采用深度相机拍摄不同人的多张手势深度图并进行仿射变换处理,以使所述多张手势深度图具有相同的尺寸;
S12、对步骤S11得到的手势深度图,采用随机森林分类器进行手势前景与背景的分割,得到多张手势前景图;
S13、将步骤S12得到的多张手势前景图随机分为数量较多的训练集和数量较少的测试集。
5.如权利要求1所述的三维手势姿态估计方法,其特征在于:步骤S5中进行测试的具体过程是:选取测试集中的部分手势前景图作为测试图片,输入到所述全卷积神经网络中,对应输出测试图片的预测标签图;将测试图片的预测标签图与对应的实际标签图进行比较求偏差,以评价全卷积神经网络当前的训练效果。
6.如权利要求1所述的三维手势姿态估计方法,其特征在于:所述预定的手势模型图绘示有标注出所述参考辨识点的人手模型,所述参考辨识点至少包括手指关节点、指尖点、手腕关键点以及手掌中心点。
7.如权利要求1所述的三维手势姿态估计方法,其特征在于:步骤S2中的所述坐标值为二维坐标值。
8.如权利要求1至7任一项所述的三维手势姿态估计方法,其特征在于:
步骤S4中所述偏差为Error,计算方法如下:
其中:
J'为预测标签图中坐标点ji'的集合,由(j1',j2',...,jn')构成,ji'=(xi',yi',di');
J为实际标签图中坐标点ji的集合,由(j1,j2,...,jn)构成,ji=(xi,yi,di);
上述n为坐标点的数量,i∈1,2,…,n;x、y为横、纵坐标,d为深度值;
依据所述偏差更新所述全卷积神经网络的训练参数的方法为:ω为当前训练参数,ω'为更新的训练参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710192287.6A CN107103613B (zh) | 2017-03-28 | 2017-03-28 | 一种三维手势姿态估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710192287.6A CN107103613B (zh) | 2017-03-28 | 2017-03-28 | 一种三维手势姿态估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107103613A true CN107103613A (zh) | 2017-08-29 |
CN107103613B CN107103613B (zh) | 2019-11-15 |
Family
ID=59674851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710192287.6A Active CN107103613B (zh) | 2017-03-28 | 2017-03-28 | 一种三维手势姿态估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107103613B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107622257A (zh) * | 2017-10-13 | 2018-01-23 | 深圳市未来媒体技术研究院 | 一种神经网络训练方法及三维手势姿态估计方法 |
CN107917700A (zh) * | 2017-12-06 | 2018-04-17 | 天津大学 | 基于深度学习的小幅度目标三维姿态角测量方法 |
CN108227912A (zh) * | 2017-11-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 设备控制方法和装置、电子设备、计算机存储介质 |
CN108399367A (zh) * | 2018-01-31 | 2018-08-14 | 深圳市阿西莫夫科技有限公司 | 手部动作识别方法、装置、计算机设备及可读存储介质 |
CN108447094A (zh) * | 2018-03-20 | 2018-08-24 | 清华大学 | 一种单目彩色相机的姿态估算方法及系统 |
CN108537203A (zh) * | 2018-04-22 | 2018-09-14 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的手掌关键点定位方法 |
CN108960178A (zh) * | 2018-07-13 | 2018-12-07 | 清华大学 | 一种人手姿态估计方法及系统 |
CN110222551A (zh) * | 2018-03-02 | 2019-09-10 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN110276768A (zh) * | 2019-06-28 | 2019-09-24 | 京东方科技集团股份有限公司 | 图像分割方法、图像分割装置、图像分割设备及介质 |
CN110363793A (zh) * | 2019-07-24 | 2019-10-22 | 北京华捷艾米科技有限公司 | 一种对象的跟踪方法及装置 |
CN110414402A (zh) * | 2019-07-22 | 2019-11-05 | 北京达佳互联信息技术有限公司 | 一种手势数据标注方法、装置、电子设备及存储介质 |
CN110827247A (zh) * | 2019-10-28 | 2020-02-21 | 上海悦易网络信息技术有限公司 | 一种识别标签的方法及设备 |
CN110941187A (zh) * | 2018-09-21 | 2020-03-31 | 珠海格力电器股份有限公司 | 家电控制方法及装置 |
CN111191632A (zh) * | 2020-01-08 | 2020-05-22 | 梁正 | 一种基于红外反射手套的手势识别方法及系统 |
WO2020140798A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
EP3574828B1 (en) | 2018-05-28 | 2020-10-07 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
CN113449565A (zh) * | 2020-03-27 | 2021-09-28 | 海信集团有限公司 | 三维姿态估计方法、智能设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102789568A (zh) * | 2012-07-13 | 2012-11-21 | 浙江捷尚视觉科技有限公司 | 一种基于深度信息的手势识别方法 |
CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN106648103A (zh) * | 2016-12-28 | 2017-05-10 | 歌尔科技有限公司 | 一种vr头戴设备的手势跟踪方法和vr头戴设备 |
CN106709568A (zh) * | 2016-12-16 | 2017-05-24 | 北京工业大学 | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 |
-
2017
- 2017-03-28 CN CN201710192287.6A patent/CN107103613B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102789568A (zh) * | 2012-07-13 | 2012-11-21 | 浙江捷尚视觉科技有限公司 | 一种基于深度信息的手势识别方法 |
CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN106709568A (zh) * | 2016-12-16 | 2017-05-24 | 北京工业大学 | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 |
CN106648103A (zh) * | 2016-12-28 | 2017-05-10 | 歌尔科技有限公司 | 一种vr头戴设备的手势跟踪方法和vr头戴设备 |
Non-Patent Citations (1)
Title |
---|
JONATHAN LONG ET AL.: "Fully Convolutional Networks for Semantic Segmentation", 《CVPR2015》 * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107622257A (zh) * | 2017-10-13 | 2018-01-23 | 深圳市未来媒体技术研究院 | 一种神经网络训练方法及三维手势姿态估计方法 |
CN108227912A (zh) * | 2017-11-30 | 2018-06-29 | 北京市商汤科技开发有限公司 | 设备控制方法和装置、电子设备、计算机存储介质 |
CN108227912B (zh) * | 2017-11-30 | 2021-05-11 | 北京市商汤科技开发有限公司 | 设备控制方法和装置、电子设备、计算机存储介质 |
CN107917700A (zh) * | 2017-12-06 | 2018-04-17 | 天津大学 | 基于深度学习的小幅度目标三维姿态角测量方法 |
CN107917700B (zh) * | 2017-12-06 | 2020-06-09 | 天津大学 | 基于深度学习的小幅度目标三维姿态角测量方法 |
CN108399367A (zh) * | 2018-01-31 | 2018-08-14 | 深圳市阿西莫夫科技有限公司 | 手部动作识别方法、装置、计算机设备及可读存储介质 |
CN108399367B (zh) * | 2018-01-31 | 2020-06-23 | 深圳市阿西莫夫科技有限公司 | 手部动作识别方法、装置、计算机设备及可读存储介质 |
CN110222551A (zh) * | 2018-03-02 | 2019-09-10 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN110222551B (zh) * | 2018-03-02 | 2021-07-09 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN108447094A (zh) * | 2018-03-20 | 2018-08-24 | 清华大学 | 一种单目彩色相机的姿态估算方法及系统 |
CN108537203B (zh) * | 2018-04-22 | 2020-04-21 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的手掌关键点定位方法 |
CN108537203A (zh) * | 2018-04-22 | 2018-09-14 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的手掌关键点定位方法 |
EP3753489B1 (en) | 2018-05-28 | 2022-01-05 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
US11727728B2 (en) | 2018-05-28 | 2023-08-15 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
US11328534B2 (en) | 2018-05-28 | 2022-05-10 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
US11282298B2 (en) | 2018-05-28 | 2022-03-22 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
EP3574828B1 (en) | 2018-05-28 | 2020-10-07 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
CN108960178A (zh) * | 2018-07-13 | 2018-12-07 | 清华大学 | 一种人手姿态估计方法及系统 |
CN110941187A (zh) * | 2018-09-21 | 2020-03-31 | 珠海格力电器股份有限公司 | 家电控制方法及装置 |
WO2020140798A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
US11163373B2 (en) | 2019-01-04 | 2021-11-02 | Beijing Dajia Internet Information Technology Co., Ltd. | Method and electronic device of gesture recognition |
CN110276768A (zh) * | 2019-06-28 | 2019-09-24 | 京东方科技集团股份有限公司 | 图像分割方法、图像分割装置、图像分割设备及介质 |
US11367195B2 (en) | 2019-06-28 | 2022-06-21 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image segmentation method, image segmentation apparatus, image segmentation device |
CN110414402A (zh) * | 2019-07-22 | 2019-11-05 | 北京达佳互联信息技术有限公司 | 一种手势数据标注方法、装置、电子设备及存储介质 |
CN110414402B (zh) * | 2019-07-22 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 一种手势数据标注方法、装置、电子设备及存储介质 |
CN110363793B (zh) * | 2019-07-24 | 2021-09-21 | 北京华捷艾米科技有限公司 | 一种对象的跟踪方法及装置 |
CN110363793A (zh) * | 2019-07-24 | 2019-10-22 | 北京华捷艾米科技有限公司 | 一种对象的跟踪方法及装置 |
CN110827247A (zh) * | 2019-10-28 | 2020-02-21 | 上海悦易网络信息技术有限公司 | 一种识别标签的方法及设备 |
CN110827247B (zh) * | 2019-10-28 | 2024-03-15 | 上海万物新生环保科技集团有限公司 | 一种识别标签的方法及设备 |
CN111191632A (zh) * | 2020-01-08 | 2020-05-22 | 梁正 | 一种基于红外反射手套的手势识别方法及系统 |
CN111191632B (zh) * | 2020-01-08 | 2023-10-13 | 梁正 | 一种基于红外反射手套的手势识别方法及系统 |
CN113449565A (zh) * | 2020-03-27 | 2021-09-28 | 海信集团有限公司 | 三维姿态估计方法、智能设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107103613B (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107103613A (zh) | 一种三维手势姿态估计方法 | |
TWI742690B (zh) | 人體檢測方法、裝置、電腦設備及儲存媒體 | |
CN110097051B (zh) | 图像分类方法、装置及计算机可读存储介质 | |
Rozantsev et al. | On rendering synthetic images for training an object detector | |
CN107808131A (zh) | 基于双通路深度卷积神经网络的动态手势识别方法 | |
CN107862668A (zh) | 一种基于gnn的文物图像复原方法 | |
CN110246181B (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
CN107688391A (zh) | 一种基于单目视觉的手势识别方法和装置 | |
CN107622257A (zh) | 一种神经网络训练方法及三维手势姿态估计方法 | |
CN107180226A (zh) | 一种基于组合神经网络的动态手势识别方法 | |
CN106981080A (zh) | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 | |
CN106650630A (zh) | 一种目标跟踪方法及电子设备 | |
CN105205453B (zh) | 基于深度自编码器的人眼检测和定位方法 | |
CN107103277B (zh) | 一种基于深度相机和3d卷积神经网络的步态识别方法 | |
CN104299245B (zh) | 基于神经网络的增强现实跟踪方法 | |
CN106709568A (zh) | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 | |
CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
CN109741331A (zh) | 一种图像前景物体分割方法 | |
CN107808129A (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
CN106650615B (zh) | 一种图像处理方法及终端 | |
CN105447529A (zh) | 一种服饰检测及其属性值识别的方法和系统 | |
CN106991147A (zh) | 一种植物识别系统及识别方法 | |
WO2017086841A1 (ru) | Способ воздействия на виртуальные объекты дополненной реальности | |
CN107239727A (zh) | 手势识别方法和系统 | |
CN103324938A (zh) | 训练姿态分类器及物体分类器、物体检测的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |