CN112379779B - 一种基于迁移学习的动态手势识别虚拟交互系统 - Google Patents

一种基于迁移学习的动态手势识别虚拟交互系统 Download PDF

Info

Publication number
CN112379779B
CN112379779B CN202011377321.5A CN202011377321A CN112379779B CN 112379779 B CN112379779 B CN 112379779B CN 202011377321 A CN202011377321 A CN 202011377321A CN 112379779 B CN112379779 B CN 112379779B
Authority
CN
China
Prior art keywords
control module
dynamic gesture
data set
recognition
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011377321.5A
Other languages
English (en)
Other versions
CN112379779A (zh
Inventor
张智军
许松青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011377321.5A priority Critical patent/CN112379779B/zh
Publication of CN112379779A publication Critical patent/CN112379779A/zh
Application granted granted Critical
Publication of CN112379779B publication Critical patent/CN112379779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于迁移学习的动态手势识别虚拟交互系统，包括动态手势获取模块、识别及控制模块和虚拟交互系统控制模块，所述动态手势获取模块用于提取手部特征和采集动态手势轨迹；所述识别及控制模块用于识别和分类动态手势轨迹，根据分类结果生成对应的控制信号并通过RPC发送至虚拟交互系统控制模块；所述虚拟交互系统控制模块用于接收并处理控制信号，进行多模态交互。本发明使用基于迁移学习训练的深度神经网络，能够对数字和英文字母进行识别，在降低了训练样本数量的同时将识别准确率提升，在识别到结果之后，虚拟人会通过肢体动作，语音以及面部表情实时得对用户进行反馈。

Description

一种基于迁移学习的动态手势识别虚拟交互系统
技术领域
本发明涉及动态手势识别领域以及虚拟交互领域，具体涉及一种基于迁移学习的动态手势识别虚拟交互系统。
背景技术
随着人机交互技术的发展，医疗行业、学校场景模拟、协商技巧训练、社交能力教学、游戏等领域都融入了人机交互技术。在众多的人机交互技术应用中，如何使人机交互的过程更加鲜活，更加趋近于人与人之间的交互是一个重要的问题。因此，研发具有动作交互、语音交互以及表情交互的多模态人机交互系统成为人机交互技术发展的热门方向。目前已有的虚拟交互系统研究，在实现动态手势交互功能时依靠可穿戴传感器达到良好的识别效果，但是通常会影响用户的体验(D.H.Kim,H.I.Choi,and H.K.Jin,“3d spacehandwriting recognition with ligature model,”in Ubiquitous Computing Systems,Third International Symposium,Ucs,Seoul,Korea,October,2006.)。所以，基于视觉传感器实现动态手势交互的方法被提出，但是往往面临识别效果欠佳的问题。传统分类方法对动作识别的效果远不如深度卷积神经网络，而使用卷积神经网络则需要花费大量的时间进行训练数据的采集才能保证识别效果(F.Liu,W.Zeng,C.Yuan,Q.Wang,and Y.Wang,“Kinect-based hand gesture recognition using trajectory information,handmotion dynamics and neural networks,”Artifificial Intelligence Review,vol.52,pp.563–583,Jun 2019.)。
发明内容
为解决上述技术问题，本发明提出一种基于迁移学习的动态手势识别虚拟交互系统。
本发明至少通过如下技术方案之一实现。
一种基于迁移学习的动态手势识别虚拟交互系统，包括动态手势获取模块、识别及控制模块和虚拟交互系统控制模块，所述动态手势获取模块用于提取手部特征和采集动态手势轨迹；所述识别及控制模块用于识别和分类动态手势轨迹，根据分类结果生成对应的控制信号并通过RPC发送至虚拟交互系统控制模块；所述虚拟交互系统控制模块用于接收并处理控制信号，进行多模态交互。
优选的，所述提取手部特征是基于Micrsoft Kinect获取的骨骼信息进行提取，首先定位到用户的腕关节，基于深度信息选定阈值，将处于腕关节周围的人体部分作为用户的手部，对选取的手掌区域选定外接圆，并计算手掌边缘到手掌外接圆圆心的距离，根据非极大值抑制的原则定位出指尖坐标。
优选的，所述采集动态手势轨迹是跟踪定位出的指尖位置，将动态手势获取过程中跟踪到的每帧指尖位置连接，形成指尖的移动轨迹，对其进行形态学处理，并截取包含轨迹的最小矩形区域，缩放成统一大小得到动态手势轨迹图片。
优选的，所述识别及控制模块采用深度迁移学习网络对动态手势轨迹图片进行分类。
优选的，所述深度迁移学习网络为DCORAL网络，其网络结构为AlexNet网络，并使用CORAL损失函数进行参数训练，得到分类网络模型。
优选的，所述深度迁移学习网络采用源训练数据集与目标数据集进行训练，使用MNIST数据集作为源数据集，使用识别及控制模块采集的动态手写数字轨迹作为目标数据集；使用EnglishHud数据集作为源数据集，使用识别及控制模块采集的动态手写英文字母轨迹作为目标数据集。
优选的，所述DCORAL网络的训练需要源训练数据集DS＝{xi}，x∈Rd，其对应标签为LS＝{yi}，i∈{1,...,L}以及目标数据集DT＝{ui}，u∈Rd，其中x和u均为输入源域与目标域图片在末层全连接层的输出特征，其维数为d，i表示第i个样本，L表示训练集样本总数，yi表示第i个样本所属的类别，Rd表示d维特征空间；
DCORAL网络的损失函数由分类误差lCLASS与lCORAL组成表达式为：
l＝lCLASS+λlCORAL (1)
其中λ表示权重，lCLASS为利用源域训练时的交叉熵损失函数，用于初步拟合网络的参数；lCORAL为CORAL损失函数，其作用为利用源数据集与目标数据集的协方差相似性对网络参数进行优化，lCORAL的表达式为：
Figure BDA0002808494870000021
其中
Figure BDA0002808494870000022
为表示平方矩阵Frobenius范数，其中CS、CT分别为源数据集和目标数据集的全连接层输出的协方差矩阵，表达式为：
Figure BDA0002808494870000023
Figure BDA0002808494870000024
其中1表示元素全为1的列向量，nS表示源数据集的样本数量，nT表示目标数据集的样本数量。
优选的，所述识别及控制模块通过RPC协议将动态手势轨迹图片的分类结果发送给虚拟交互系统控制模块。
优选的，所述虚拟交互系统控制模块控制基于Smartbody设计的虚拟人，根据识别及控制模块所发送的控制信号向用户做出多模态的交互。
优选的，所述多模态的交互包括语音交互、动作交互与表情交互。
与现有的技术相比，本发明的有益效果为：
1、构建了一个具有动态手势识别的虚拟人交互系统，可以实现手写数字和英文的识别。不仅如此，该系统地交互过程具有实时，生动地反馈可以提升用户的体验。
2、提出了一种使用迁移学习进行动态手势识别的方法：基于Kinect的动态手势提取方法，将动态手势提取并保存为图片，并借助已有的大量开源数字英文图片数据集进行训练，不仅降低了训练成本，还提高了识别准确率。此外，这也是首次将深度迁移学习用于动态手势的识别中，对解决相关问题具有借鉴意义。
附图说明
图1为本实施例一种基于迁移学习的动态手势识别虚拟交互系统流程图；
图2a为本实施例基于Kinect骨骼信息获得的手部特征图；
图2b为本实施例指尖坐标定位结果图；
图2c为本实施例动态手势轨迹图；
图3为本实施例基于迁移学习的神经网络结构图。
具体实施方式
下面结合附图和实施例对本发明的具体实施做进一步的说明。
如图1所示的一种基于迁移学习的动态手势识别虚拟交互系统，包括动态手势获取模块、识别及控制模块和虚拟交互系统控制模块，
所述动态手势获取模块用于提取手部特征和采集动态手势轨迹；
所述识别及控制模块用于识别和分类动态手势轨迹，根据分类结果生成对应的控制信号并通过RPC发送至虚拟交互系统控制模块；
所述虚拟交互系统控制模块用于接收并处理控制信号，进行多模态交互。
所述提取手部特征是基于Micrsoft Kinect获取的骨骼信息进行提取，如图2a所示首先定位到用户的腕关节，基于深度信息选定阈值，将处于腕关节周围的人体部分作为用户的手部，如图2b所示对选取的手掌区域选定外接圆，并计算手掌边缘到手掌外接圆圆心的距离，根据非极大值抑制的原则定位出指尖坐标，如图2c所示。
所述采集动态手势轨迹是跟踪定位出的指尖位置，将动态手势获取过程中跟踪到的每帧指尖位置连接，形成指尖的移动轨迹，经过对其进行形态学处理，并截取包含轨迹的最小矩形区域，缩放成统一大小得到动态手势轨迹图片
所述识别及控制模块采用深度迁移学习网络对动态手势轨迹图片进行分类。该深度迁移学习网络结构为AlexNet网络，并使用CORAL损失函数进行参数训练，得到具有高分类准确率的网络模型。
所述深度迁移学习网络采用源训练数据集与目标数据集进行训练，同时需要考虑负迁移的问题。为实现动态手写数字的识别，则使用MNIST数据集作为源数据集，使用虚拟交互系统采集的动态手写数字轨迹作为目标数据集；为实现手写英文字母的识别，则使用EnglishHud数据集作为源数据集，使用虚拟交互系统采集的动态手写英文字母轨迹作为目标数据集。通过计算源数据集与目标数据集在全连接层8输出的特征的协方差矩阵得到CORAL损失，并结合仅使用源数据集训练的分类损失得到总的损失函数，通过迭代收敛该损失函数，得到分类器的参数。
分类使用的DCORAL网络是一种深度迁移学习网络，该深度迁移学习网络结构为AlexNet网络，并使用CORAL损失函数进行参数训练，得到具有搞分类准确率的网络模型。DCORAL网络的训练需要源训练数据集DS＝{xi}，x∈Rd，其对应标签为LS＝{yi}，i∈{1,...,L}以及目标数据集DT＝{ui}，u∈Rd，其中i表示第i个样本，L表示训练集样本总数，yi表示第i个样本所属的类别，Rd表示d维特征空间，x和u均为输入源域与目标域图片在图3所示末层全连接层的输出特征，其维数为d。
DCORAL网络的结构如图3所示，源数据集与目标数据集通过结构参数相同的两个AlexNet网络。该网络由5层卷积层，3层全连接层组成，再第7层输出的特征维数为4096*1*1，末层全连接层输出的特征为2048*1*1。DCORAL网络的损失函数由分类误差lCLASS与lCORAL组成表达式为：
l＝lCLASS+λlCORAL (1)
其中λ表示权重，lCLASS为利用源域训练时的交叉熵损失函数，用于初步拟合网络的参数；lCORAL为CORAL损失函数，其作用为利用源数据集与目标数据集的协方差相似性对网络参数进行优化，lCORAL的表达式为：
Figure BDA0002808494870000051
其中
Figure BDA0002808494870000052
为表示平方矩阵Frobenius范数，其中CS、CT分别为源数据集和目标数据集的全连接层输出的协方差矩阵，表达式为：
Figure BDA0002808494870000053
Figure BDA0002808494870000054
其中1表示元素全为1的列向量，nS表示源数据集的样本数量，nT表示目标数据集的样本数量。
所述识别及控制模块通过RPC协议将动态手势轨迹图片的分类结果发送给虚拟交互系统控制模块。
所述虚拟交互系统控制模块控制基于Smartbody设计的虚拟人，根据识别及控制模块的控制信号向用户做出多模态的交互，包括语音交互、动作交互与表情交互。以用户手写一个数字为例，虚拟人将使用语音播报该数字的识别结果，并做出对应数字的手势。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于迁移学习的动态手势识别虚拟交互系统，其特征在于，包括动态手势获取模块、识别及控制模块和虚拟交互系统控制模块，所述动态手势获取模块用于提取手部特征和采集动态手势轨迹；所述识别及控制模块用于识别和分类动态手势轨迹，根据分类结果生成对应的控制信号并通过RPC发送至虚拟交互系统控制模块；所述虚拟交互系统控制模块用于接收并处理控制信号，进行多模态交互；
所述提取手部特征是基于Micrsoft Kinect获取的骨骼信息进行提取，首先定位到用户的腕关节，基于深度信息选定阈值，将处于腕关节周围的人体部分作为用户的手部，对选取的手掌区域选定外接圆，并计算手掌边缘到手掌外接圆圆心的距离，根据非极大值抑制的原则定位出指尖坐标；
所述采集动态手势轨迹是跟踪定位出的指尖位置，将动态手势获取过程中跟踪到的每帧指尖位置连接，形成指尖的移动轨迹，对其进行形态学处理，并截取包含轨迹的最小矩形区域，缩放成统一大小得到动态手势轨迹图片；
所述识别及控制模块采用深度迁移学习网络对动态手势轨迹图片进行分类；
所述深度迁移学习网络为DCORAL网络，其网络结构为AlexNet网络，并使用CORAL损失函数进行参数训练，得到分类网络模型；所述深度迁移学习网络采用源训练数据集与目标数据集进行训练，使用MNIST数据集作为源数据集，使用识别及控制模块采集的动态手写数字轨迹作为目标数据集；使用EnglishHud数据集作为源数据集，使用识别及控制模块采集的动态手写英文字母轨迹作为目标数据集；
所述DCORAL网络的训练需要源训练数据集DS＝{xi}，x∈Rd，其对应标签为LS＝{yi}，i∈{1,...,L}以及目标数据集DT＝{ui}，u∈Rd，其中x和u均为输入源域与目标域图片在末层全连接层的输出特征，其维数为d，i表示第i个样本，L表示训练集样本总数，yi表示第i个样本所属的类别，Rd表示d维特征空间；
DCORAL网络的损失函数由分类误差lCLASS与lCORAL组成表达式为：
l＝lCLASS+λlCORAL (1)
其中λ表示权重，lCLASS为利用源域训练时的交叉熵损失函数，用于初步拟合网络的参数；lCORAL为CORAL损失函数，其作用为利用源数据集与目标数据集的协方差相似性对网络参数进行优化，lCORAL的表达式为：
Figure FDA0003691169440000011
其中
Figure FDA0003691169440000021
为表示平方矩阵Frobenius范数，其中CS、CT分别为源数据集和目标数据集的全连接层输出的协方差矩阵，表达式为：
Figure FDA0003691169440000022
Figure FDA0003691169440000023
其中1表示元素全为1的列向量，nS表示源数据集的样本数量，nT表示目标数据集的样本数量。
2.根据权利要求1所述的一种基于迁移学习的动态手势识别虚拟交互系统，其特征在于，所述识别及控制模块通过RPC协议将动态手势轨迹图片的分类结果发送给虚拟交互系统控制模块。
3.根据权利要求2所述的一种基于迁移学习的动态手势识别虚拟交互系统，其特征在于，所述虚拟交互系统控制模块控制基于Smartbody设计的虚拟人，根据识别及控制模块所发送的控制信号向用户做出多模态的交互。
4.根据权利要求3所述的一种基于迁移学习的动态手势识别虚拟交互系统，其特征在于，所述多模态的交互包括语音交互、动作交互与表情交互。
CN202011377321.5A 2020-11-30 2020-11-30 一种基于迁移学习的动态手势识别虚拟交互系统 Active CN112379779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011377321.5A CN112379779B (zh) 2020-11-30 2020-11-30 一种基于迁移学习的动态手势识别虚拟交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011377321.5A CN112379779B (zh) 2020-11-30 2020-11-30 一种基于迁移学习的动态手势识别虚拟交互系统

Publications (2)

Publication Number Publication Date
CN112379779A CN112379779A (zh) 2021-02-19
CN112379779B true CN112379779B (zh) 2022-08-05

Family

ID=74589620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011377321.5A Active CN112379779B (zh) 2020-11-30 2020-11-30 一种基于迁移学习的动态手势识别虚拟交互系统

Country Status (1)

Country Link
CN (1) CN112379779B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269025B (zh) * 2021-04-01 2024-03-26 广州车芝电器有限公司 一种自动报警方法及系统
CN113297955B (zh) * 2021-05-21 2022-03-18 中国矿业大学 一种基于多模态分层级信息融合的手语词识别方法
CN114295967A (zh) * 2021-07-26 2022-04-08 桂林电子科技大学 一种基于迁移神经网络的模拟电路故障诊断方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226388A (zh) * 2013-04-07 2013-07-31 华南理工大学 一种基于Kinect的手写方法
CN106502390A (zh) * 2016-10-08 2017-03-15 华南理工大学 一种基于动态3d手写数字识别的虚拟人交互系统及方法
CN106845384A (zh) * 2017-01-17 2017-06-13 西北大学 一种基于递归模型的手势识别方法
CN108960171A (zh) * 2018-07-12 2018-12-07 安徽工业大学 一种基于特征迁移学习的转换手势识别到身份识别的方法
CN111046731A (zh) * 2019-11-11 2020-04-21 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的迁移学习方法和识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714322A (zh) * 2013-12-26 2014-04-09 四川虹欧显示器件有限公司 一种实时手势识别方法及装置
CN110084192B (zh) * 2019-04-26 2023-09-26 南京大学 基于目标检测的快速动态手势识别系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226388A (zh) * 2013-04-07 2013-07-31 华南理工大学 一种基于Kinect的手写方法
CN106502390A (zh) * 2016-10-08 2017-03-15 华南理工大学 一种基于动态3d手写数字识别的虚拟人交互系统及方法
CN106845384A (zh) * 2017-01-17 2017-06-13 西北大学 一种基于递归模型的手势识别方法
CN108960171A (zh) * 2018-07-12 2018-12-07 安徽工业大学 一种基于特征迁移学习的转换手势识别到身份识别的方法
CN111046731A (zh) * 2019-11-11 2020-04-21 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的迁移学习方法和识别方法

Also Published As

Publication number Publication date
CN112379779A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112379779B (zh) 一种基于迁移学习的动态手势识别虚拟交互系统
Kumar et al. A multimodal framework for sensor based sign language recognition
Lim et al. Isolated sign language recognition using convolutional neural network hand modelling and hand energy image
Huang et al. Sign language recognition using 3d convolutional neural networks
Munib et al. American sign language (ASL) recognition based on Hough transform and neural networks
Sincan et al. Using motion history images with 3d convolutional networks in isolated sign language recognition
Agrawal et al. A survey on manual and non-manual sign language recognition for isolated and continuous sign
Verma et al. Gesture recognition using kinect for sign language translation
CN106502390B (zh) 一种基于动态3d手写数字识别的虚拟人交互系统及方法
More et al. Hand gesture recognition system using image processing
Angona et al. Automated Bangla sign language translation system for alphabets by means of MobileNet
CN111444488A (zh) 一种基于动态手势的身份认证方法
Pan et al. Attention-based sign language recognition network utilizing keyframe sampling and skeletal features
Luqman An efficient two-stream network for isolated sign language recognition using accumulative video motion
Wang et al. A deep clustering via automatic feature embedded learning for human activity recognition
Shin et al. Dynamic Korean sign language recognition using pose estimation based and attention-based neural network
Hussain et al. An Efficient and Robust Hand Gesture Recognition System of Sign Language Employing Finetuned Inception-V3 and Efficientnet-B0 Network.
Zhang et al. Hand gesture recognition with SURF-BOF based on Gray threshold segmentation
Zhang et al. Appearance-and-dynamic learning with bifurcated convolution neural network for action recognition
Barbhuiya et al. ASL hand gesture classification and localization using deep ensemble neural network
Zerrouki et al. Deep Learning for Hand Gesture Recognition in Virtual Museum Using Wearable Vision Sensors
Al Farid et al. Single Shot Detector CNN and Deep Dilated Masks for Vision-Based Hand Gesture Recognition From Video Sequences
CN109409246B (zh) 基于稀疏编码的加速鲁棒特征双模态手势意图理解方法
John et al. Hand gesture identification using deep learning and artificial neural networks: A review
Verma et al. Human body pose distance image analysis for action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant