CN112836597B - 基于级联并行卷积神经网络的多手姿态关键点估计方法 - Google Patents

基于级联并行卷积神经网络的多手姿态关键点估计方法 Download PDF

Info

Publication number
CN112836597B
CN112836597B CN202110056105.9A CN202110056105A CN112836597B CN 112836597 B CN112836597 B CN 112836597B CN 202110056105 A CN202110056105 A CN 202110056105A CN 112836597 B CN112836597 B CN 112836597B
Authority
CN
China
Prior art keywords
key point
hand
network
hand gesture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110056105.9A
Other languages
English (en)
Other versions
CN112836597A (zh
Inventor
李斌
李红颖
彭进业
范建平
乐明楠
张薇
刘宇馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202110056105.9A priority Critical patent/CN112836597B/zh
Publication of CN112836597A publication Critical patent/CN112836597A/zh
Application granted granted Critical
Publication of CN112836597B publication Critical patent/CN112836597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联并行卷积神经网络的多手姿态关键点估计方法，包括：获取公开数据集手势图片和标签文件，对于所述手势图片进行多手关键点标签补齐，制得多手手势数据集；基于公开数据集和所述多手手势数据集，搭建多手目标检测网络，用于通过训练实现对图像中多手目标检测；针对同样的手势图像数据集及手势的关键点标签搭建手部姿态关键点估计网络，用于通过训练实现对图像中手部姿态关键点估计；将多手目标检测网络检测多目标中心点的坐标输出，作为手部姿态关键点估计网络的前端作为输入的一部分；利用手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。提高了多手手部关键点估计速度和识别准确率。

Description

基于级联并行卷积神经网络的多手姿态关键点估计方法
技术领域
本发明属于计算机视觉技术领域，涉及一种估计方法，特别涉及一种基于级联并行卷积神经网络的多手姿态关键点估计方法。
背景技术
手势是人类交流的一种自然形式。手在日常生活中扮演的重要角色同时也是我们与世界互动的方式:使用工具，演奏乐器，触摸，做手势。手势的重要性使手势自动识别技术占据了计算机视觉研究的一个重要领域，在人机接口中有着广泛的应用。消费者市场的需求推动了智能手势识别技术的发展，一些虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)产品更多的投入市场。
其中手部姿态关键点估计是手势识别的重要内容，是人机交互、虚拟现实、增强现实等实际应用中的关键步骤。因此，基于视觉的手部姿态关键点估计的理论以及技术的研究更具有实际应用价值。现有的手部姿态关键点估计通常是在裁剪后的图像区域进行的，该区域包含固定尺度的单手，对于不同尺度下手部区域的检测还没有得到充分的研究。而通常一幅图像中有多个手部，由于视线距离或手部的物理尺寸而导致其尺度不同，单手检测只能将其分割成多个单手输入再进行整合，这样将消耗大量资源，效率低下，因此研究算法应该能够准确、稳健、同时定位手部区域，从而实现多手手部姿态关键点估计。
综上所述，实现手部姿态关键点估计已成为当前计算机视觉领域的热点问题，且具有重要的意义和研究价值。但由于姿势和外观的歧义，强烈的清晰度，和严重的自遮挡以及彩色图像中灵活的手指运动和外观模糊，相似的手色和背景色等问题使得实现这一目标仍然具有挑战性。
发明内容
为了解决现有手部姿态关键点估计卷积神经网络模型识别多手不准确，耗时及计算量大导致的网络模型应用受限的技术问题，本发明的目的在于，提供一种基于级联并行卷积神经网络的多手姿态关键点估计方法，能够提升识别速度和准确率。
为了实现上述任务，本发明采用如下的技术解决方案：
一种基于级联并行卷积神经网络的多手姿态关键点估计方法，其特征在于，包括以下步骤：
步骤一，获取公开数据集手势图片和标签文件，对于所述手势图片进行多手关键点标签补齐，制得多手手势数据集；
步骤二，基于公开数据集和所述多手手势数据集，搭建多手目标检测网络，用于通过训练实现对图像中多手目标检测；针对同样的手势图像数据集及手势的关键点标签搭建手部姿态关键点估计网络，用于通过训练实现对图像中手部姿态关键点估计；
步骤三，将多手目标检测网络检测多目标中心点的坐标输出，作为手部姿态关键点估计网络的前端作为输入的一部分；
步骤四，利用手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。
根据本发明，步骤一所述的多手手势数据集制作方法为：图像数据集包含原始样本图像及对原始样本图像进行手工补齐标注后的标签图像，其中，补齐后的标注信息记录的图像手部关键点标签与原始图像一一对应；采用对原始图像做镜面对称处理的方式重新标记对应图像，以达到强化静态数据集的目的。
进一步地，步骤二中所述的多手目标检测网络为YOLO网络；手部姿态关键点估计网络为Hrnet人脸检测网络迁移学习为手部姿态关键点估计网络。
具体地，步骤二中所述的手部姿态关键点估计网络对所述手部图像进行归一化处理，经过基础提取特征的前期卷积网络后，采用四个连续的多尺度多分辨率的级联并行卷积神经网络进行关节点预测，通过高分辨率的第一层子网，后面网络并行连接高低分辨率子网并且不同分辨率的图像采样到相同尺度反复的融合，即每一层并行子网的分辨率都由前一层高分辨率和依次下降的分辨率组成；得到位置预测结果，所述位置预测结果包括所述手部姿态关键点的位置。
进一步优选地，步骤三中所述多手目标检测网络输出一张图片的多个手掌中心点坐标(x1,y1),(x2,y2).......(xn,yn)，并将其写入手部姿态关键点估计网络的数据输入文件，所述数据集原图像，标签以及手掌中心点坐标进行级联并行卷积神经网络的多手姿态关键点估计的深度学习网络的训练。
本发明的基于级联并行卷积神经网络的多手姿态关键点估计方法，与现有技术相比，具有以下优点：
1、使用大型的公开数据集对手部姿态关键点估计网络预训练，得到神经网络模型的基础权重，使用补齐标签的多手手势数据集对神经网络模型的基础权重进行微调，得到泛化能力更好的手部姿态关键点估计网络模型，该方法有效地解决了手势图片数据匮乏导致的卷积神经网络模型过拟合问题，大幅提高了训练所得手部姿态关键点估计网络模型的准确率和鲁棒性。同时快速训练适用于更多手势类型的新网络模型。
2、由于将两个单一功能的卷积神经网络结合，利用多目标检测网络得到手掌中心坐标作为手部姿态关键点估计网络的部分输入，有效解决了单一手部姿态关键点估计网络模型找手不准确的的问题，从而实现多手手部姿态关键点检测。
3、由于直接输入是多手图片，输出的也是识别后的多手手部关键点图片，所以该框架有端到端的优点，以上特性，不仅提高了多手手部关键点估计的速度，更大大的提高了识别准确率。
附图说明
图1是本发明的基于级联并行卷积神经网络的多手姿态关键点估计方法流程图。
图2是本发明的基于级联并行卷积神经网络的多手姿态关键点估计方法框架图。
图3是手部姿态关键点估计网络的框架图。
图4是是手部姿态关键点估计网络的高分辨率模块框架图。
图5是手部姿态关键点估计网络的关键点预测模块框架图。
图6是采用本发明的方法结果示意图。
下面结合附图和具体实施例进一步阐述本发明。
具体实施方式
首先需要说明的是，以下的实施例是较优的例子，应理解，本发明不限于这些实施例。本领域普通技术人员可以对本发明的技术方案作各种添加、替换或改动，这些等价形式同样属于本发明的保护范围。
实施例：
如图1和图2所示，本实施例给出一种基于级联并行卷积神经网络的多手姿态关键点估计方法，包括：获取公开数据集手势图片和标签文件，基于公开数据集和多手手势数据集，搭建多手手部姿态关键点检测的级联并行卷积神经网络，用于通过训练实现对图像中多手目标检测，多目标中心点的坐标输出；基于所述手势图片数据集，对所述手势图片进行多手关键点标签补齐，制得新的多手手势数据集。
所述多手手势数据集的制作方法为：图像数据集包含原始样本图像及对原始样本图像进行手工补齐标注后的标签图像，其中，补齐后的标注信息记录的图像手部关键点标签与原始图像一一对应；采用对原始图像做镜面对称处理的方式重新标记对应图像，以达到强化静态数据集的目的。
所述的多手手部姿态关键点检测的级联并行卷积神经网络是指：多手目标检测网络和手部姿态关键点估计网络；其中，多手目标检测网络为YOLO网络，是基于公开数据集和所述多手手势数据集搭建的，用于通过训练实现对图像中多手目标检测；手部姿态关键点估计网络为Hrnet人脸检测网络迁移学习为手部姿态关键点估计网络，是针对同样的手势图像数据集及手势的关键点标签所搭建的，用于通过训练实现对图像中手部姿态关键点估计。
训练多手目标检测网络；多手目标检测网络多目标中心点的坐标输出作为手部姿态关键点估计网络的前端作为输入的一部分；改进后的手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。
具体步骤包括：
步骤1：获取公开数据集手势图片和标签文件，对所述手势图片进行多手关键点标签补齐,制得多手手势数据集。本实施例所述的公开数据集是手语数据集NZSL与MPII中的部分多手手势数据集，含原始样本图像及对原始样本图像进行手工标注后的标签图像，标注信息记录的图像标记关键点以及标记框与原始图像一一对应但大部分图片多手标签基本有缺漏；采用对原始图像做镜面对称处理的方式，并重新标记对应图像，达到强化静态手语数据集的目的。用LabelImg程序进行人工补齐标签得到真实目标标签文件。
其中，所述的多手手势数据集制作方法为：图像数据集包含原始样本图像及对原始样本图像进行手工补齐标注后的标签图像，其中，补齐后的标注信息记录的图像手部关键点标签与原始图像一一对应；采用对原始图像做镜面对称处理的方式重新标记对应图像，以达到强化静态数据集的目的。
步骤2：基于公开数据集和所述多手手势数据集，搭建多手目标检测网络，用于通过训练实现对图像中多手目标检测；针对同样的手势图像数据集及手势的关键点标签搭建手部姿态关键点估计网络，用于通过训练实现对图像中手部姿态关键点估计；
本实施例中，所述的多手目标检测网络为YOLO网络；手部姿态关键点估计网络为Hrnet人脸检测网络迁移学习为手部姿态关键点估计网络。
手部姿态关键点估计网络对所述手部图像进行归一化处理，经过基础提取特征的前期卷积网络后，采用四个连续的多尺度多分辨率的级联并行卷积神经网络进行关节点预测，通过高分辨率的第一层子网，后面网络并行连接高低分辨率子网并且不同分辨率的图像采样到相同尺度反复的融合，即每一层并行子网的分辨率都由前一层高分辨率和依次下降的分辨率组成；得到位置预测结果，所述位置预测结果包括所述手部姿态关键点的位置。
利用YOLO网络进行多手目标检测，并输出多手手掌中心点坐标。该网络原理为：先在ImageNet上进行了预训练，其预训练的分类模型采用前20个卷积层，然后添加一个平均池化层和全连接层。预训练之后，在预训练得到的20层卷积层之上加上随机初始化的4个卷积层和2个全连接层。由于检测任务一般需要更高清的图片，所以将网络的输入从224x224增加到了448x448。测试过程得到每个预测中心点的分类置信度分数后，设置阈值，滤掉得分低的预测点，对保留的预测点进行NMS处理，就得到最终的检测结果。
步骤3：将多手目标检测网络检测多目标中心点的坐标输出，作为手部姿态关键点估计网络的前端作为输入的一部分；
所述多手目标检测网络输出一张图片的多个手掌中心点坐标(x1,y1),(x2,y2).......(xn,yn)，并将其写入手部姿态关键点估计网络的数据输入文件，所述数据集原图像，标签以及手掌中心点坐标进行级联并行卷积神经网络的多手姿态关键点估计的深度学习网络的训练。
步骤4：利用手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。
本实施例中，训练手部姿态关键点估计网络：该手部姿态关键点估计网络原理为，对数据集手部图像进行归一化处理，手部姿态关键点估计网络采用Hrnet人脸检测网络迁移学习为手部姿态关键点估计网络，该网络以Resnet做为基础框架，2D手势图像在经过YOLO网络后，通过两类模块，即高分辨率模块和关键点预测模块。高分辨率的第一层子网，后面网络并行连接高低分辨率子网并且不同分辨率的图像采样到相同尺度反复的融合，即每一层并行子网的分辨率都由前一层高分辨率和依次下降的分辨率组成。图3列出的4个LAYER层即为并行子网。得到位置预测结果，所述位置预测结果包括所述手部姿态关键点的位置。
高分辨率模块：该模块为关键点的特征融合部分，通过网络中的融合模块生成分辨率依次下降的分支(当仅包含一个分支时，不需要融合)在生成分支时首先判断各个分支维数和通道是否一致，不一致使用1×1卷积进行升维或者降维。为了保持特征的多样化，在1×1卷积后只接入BN层而不使用ReLu激活。
在融合过程中，要判断特征层是否需要上采样或下采样。如图4所示，j0采用步长为2的3×3的卷积下采样，j1自身融合，不需要额外操作，j2先用1×1的卷积将j分支的通道数变得和i分支一致，然后依据上采样因子将j分支分辨率上采样到和i分支分辨率相同，本实施例采用最近邻插值上采样。
关键点预测模块：目的是生成融合的特征，即上面提到的融合部分的输入特征，以图5第一次特征融合为例，输入w×h×3的图像经过第一层网络处理后，在transition层得到的特征融合部分的输入特征，将原有的一个分支变为两个，分辨率下降。
将多目标中心点的坐标输出作为手部姿态关键点估计网络的前端作为输入的一部分，解决手部姿态关键点全局检测找手不准确的问题，改进后的局部检测手部姿态关键点网络结构进行训练，并输出多手关键点坐标，得到模型，从而实现对图像中多手姿态关键点估计。图6是测试数据集输出效果示意图。

Claims (3)

1.一种基于级联并行卷积神经网络的多手姿态关键点估计方法，其特征在于，包括如下步骤：
步骤一，获取公开数据集手势图片和标签文件，对于所述手势图片进行多手关键点标签补齐，制得多手手势数据集；
步骤二，基于公开数据集和所述多手手势数据集，搭建多手目标检测网络，用于通过训练实现对图像中多手目标检测；针对同样的手势图像数据集及手势的关键点标签搭建手部姿态关键点估计网络，用于通过训练实现对图像中手部姿态关键点估计；
所述的多手目标检测网络为YOLO网络；手部姿态关键点估计网络为Hrnet人脸检测网络迁移学习为手部姿态关键点估计网络；
所述的手部姿态关键点估计网络对所述手部图像进行归一化处理，经过基础提取特征的前期卷积网络后，采用四个连续的多尺度多分辨率的级联并行卷积神经网络进行关节点预测，通过高分辨率的第一层子网，后面网络并行连接高低分辨率子网并且不同分辨率的图像采样到相同尺度反复的融合，即每一层并行子网的分辨率都由前一层高分辨率和依次下降的分辨率组成；得到位置预测结果，所述位置预测结果包括所述手部姿态关键点的位置；
步骤三，将多手目标检测网络检测多目标中心点的坐标输出，作为手部姿态关键点估计网络的前端作为输入的一部分；
步骤四，利用手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。
2.如权利要求1所述的方法，其特征在于，步骤一所述的多手手势数据集制作方法为：图像数据集包含原始样本图像及对原始样本图像进行手工补齐标注后的标签图像，其中，补齐后的标注信息记录的图像手部关键点标签与原始图像一一对应；采用对原始图像做镜面对称处理的方式重新标记对应图像，以达到强化静态数据集的目的。
3.如权利要求1所述的方法，其特征在于，步骤三中所述多手目标检测网络输出一张图片的多个手掌中心点坐标(x1,y1),(x2,y2).......(xn,yn)，并将其写入手部姿态关键点估计网络的数据输入文件，所述数据集原图像，标签以及手掌中心点坐标进行级联并行卷积神经网络的多手姿态关键点估计的深度学习网络的训练。
CN202110056105.9A 2021-01-15 2021-01-15 基于级联并行卷积神经网络的多手姿态关键点估计方法 Active CN112836597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110056105.9A CN112836597B (zh) 2021-01-15 2021-01-15 基于级联并行卷积神经网络的多手姿态关键点估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110056105.9A CN112836597B (zh) 2021-01-15 2021-01-15 基于级联并行卷积神经网络的多手姿态关键点估计方法

Publications (2)

Publication Number Publication Date
CN112836597A CN112836597A (zh) 2021-05-25
CN112836597B true CN112836597B (zh) 2023-10-17

Family

ID=75928379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110056105.9A Active CN112836597B (zh) 2021-01-15 2021-01-15 基于级联并行卷积神经网络的多手姿态关键点估计方法

Country Status (1)

Country Link
CN (1) CN112836597B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673313B (zh) * 2021-07-07 2024-04-09 华南理工大学 一种基于分层卷积神经网络的手势姿态识别方法
CN113657185A (zh) * 2021-07-26 2021-11-16 广东科学技术职业学院 一种钢琴练习智能辅助方法、装置及介质
CN113743247A (zh) * 2021-08-16 2021-12-03 电子科技大学 基于Reders模型的手势识别方法
CN113837130B (zh) * 2021-09-29 2023-08-08 福州大学 一种人体手部骨架检测方法及系统
CN114185429B (zh) * 2021-11-11 2024-03-26 杭州易现先进科技有限公司 手势关键点定位或姿态估计的方法、电子装置和存储介质
CN115223239B (zh) * 2022-06-23 2024-05-07 山东科技大学 一种手势识别方法、系统、计算机设备以及可读存储介质
CN114998453A (zh) * 2022-08-08 2022-09-02 国网浙江省电力有限公司宁波供电公司 一种基于高尺度单元的立体匹配模型及其应用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622257A (zh) * 2017-10-13 2018-01-23 深圳市未来媒体技术研究院 一种神经网络训练方法及三维手势姿态估计方法
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法
WO2020228181A1 (zh) * 2019-05-15 2020-11-19 平安科技（深圳）有限公司 手掌图像裁剪方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622257A (zh) * 2017-10-13 2018-01-23 深圳市未来媒体技术研究院 一种神经网络训练方法及三维手势姿态估计方法
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
WO2020228181A1 (zh) * 2019-05-15 2020-11-19 平安科技（深圳）有限公司 手掌图像裁剪方法、装置、计算机设备及存储介质
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘玮 ; 戴仕明 ; 杨文姬 ; 杨红云 ; 钱文彬 ; .基于级联卷积神经网络的彩色图像三维手势估计.小型微型计算机系统.2020,(第03期),全文. *

Also Published As

Publication number Publication date
CN112836597A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112836597B (zh) 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN107563494B (zh) 一种基于卷积神经网络和热图的第一视角指尖检测方法
WO2018177379A1 (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
CN113393522B (zh) 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN109816725A (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN108363973B (zh) 一种无约束的3d表情迁移方法
CN114429491B (zh) 一种基于事件相机的脉冲神经网络目标跟踪方法和系统
JP2021119506A (ja) ナンバープレート認識方法、ナンバープレート認識モデルの訓練方法及び装置
CN107808129A (zh) 一种基于单个卷积神经网络的面部多特征点定位方法
CN109598234A (zh) 关键点检测方法和装置
Premaratne et al. Centroid tracking based dynamic hand gesture recognition using discrete Hidden Markov Models
CN113255457A (zh) 基于人脸表情识别的动画角色面部表情生成方法及系统
CN111582232A (zh) 一种基于像素级语义信息的slam方法
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN108537109B (zh) 基于OpenPose的单目相机手语识别方法
CN114445853A (zh) 一种视觉手势识别系统识别方法
CN111507184B (zh) 基于并联空洞卷积和身体结构约束的人体姿态检测方法
CN110889854B (zh) 一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质
CN111914595B (zh) 一种基于彩色图像的人手三维姿态估计方法和装置
Caputo et al. SFINGE 3D: A novel benchmark for online detection and recognition of heterogeneous hand gestures from 3D fingers’ trajectories
CN111462132A (zh) 一种基于深度学习的视频物体分割方法及系统
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN111967287A (zh) 一种基于深度学习的行人检测方法
CN116363561A (zh) 一种时序动作定位方法、装置、设备及存储介质
CN112967317B (zh) 一种动态环境下基于卷积神经网络架构的视觉里程计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant