CN109634408B - 一种Hololens手势识别的扩展方法 - Google Patents

一种Hololens手势识别的扩展方法 Download PDF

Info

Publication number
CN109634408B
CN109634408B CN201811361407.1A CN201811361407A CN109634408B CN 109634408 B CN109634408 B CN 109634408B CN 201811361407 A CN201811361407 A CN 201811361407A CN 109634408 B CN109634408 B CN 109634408B
Authority
CN
China
Prior art keywords
gesture
signal
electromyographic
video signal
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811361407.1A
Other languages
English (en)
Other versions
CN109634408A (zh
Inventor
李蔚清
施静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811361407.1A priority Critical patent/CN109634408B/zh
Publication of CN109634408A publication Critical patent/CN109634408A/zh
Application granted granted Critical
Publication of CN109634408B publication Critical patent/CN109634408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种Hololens手势识别的扩展方法。该方法为：预定义手势集合，包括HoloLens内置手势集合和需要增加的手势集合；分别采集各手势对应的视频信号和肌电信号；对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号的特征和肌电信号的特征；基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配；融合两组信号的匹配结果，得到手势识别结果。本发明扩展了可穿戴智能眼镜Hololens的手势识别范围，实现了高精度、高灵活性的手势识别。

Description

一种Hololens手势识别的扩展方法
技术领域
本发明涉及计算机视觉和数据融合技术领域，特别是一种Hololens手势识 别的扩展方法。
背景技术
人机交互是目前研究的热点和难点，而数据融合作为人机交互任务的基础， 已成为人机交互领域中至关重要的研究问题。Hololens是一款增强现实头显设备， 是集增强现实场景展现、即时定位与地图构建、人机交互于一身的可穿戴智能眼 镜设备，该设备可获取视频数据进行简单的手势交互，但其可识别手势有限。
多传感器融合涉及数据融合技术，数据融合技术是指通过某种规则将多个传 感器捕获到的在时间或空间上存在冗余或互补性的运动数据进行组合，得到比单 一传感器通道更加丰富的信息，从而获得对被测目标进行描述或理解的一致性。 多源数据融合可分为3种思路与方法：第一，数据层融合，即先对各模态的数据 进行简单组合形成新的特征向量，再进行后续的常规分类或识别等过程。第二， 特征层融合，即从单模态数据中提取有效互补的特征，通过时间尺度等规则将这 些特征有机结合在一起，作为统一的多模态数据特征。第三，决策层融合，即从 不同模态的数据中分别提取特征，通过模式识别过程获得识别结果与权重，再通 过融合策略获得最后的判别或识别结果。
HoloLens目前只可以识别手掌张开和手指点击两种手势，还存在交互受限 等问题，目前不能结合肌电信号采集设备进行手势识别扩展，无法实现高精度高 灵活性的手势识别。
发明内容
本发明目的在于提供一种高精度、高灵活性的Hololens手势识别的扩展方 法，以增强HoloLens手势识别能力，并扩展其识别的手势种类。
实现本发明目的的技术解决方案为：一种Hololens手势识别的扩展方法， 该方法包括以下步骤：
步骤1、预定义手势集合，包括HoloLens内置手势集合和需要增加的手势 集合；
步骤2、分别采集各手势对应的视频信号和肌电信号；
步骤3、对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号 的特征和肌电信号的特征；
步骤4、基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的 手势进行分类和匹配；
步骤5、融合两组信号的匹配结果，得到手势识别结果。
进一步地，步骤1所述的预定义手势集合，具体如下：
定义手势集合Set，包括HoloLens内置手势集合Set2和需要增加的手势集 合Set1；需要增加的手势集合Set1中的手势包括：握拳、向左挥动手掌和向右 挥动手掌。
进一步地，步骤2所述的分别采集各手势对应的视频信号和肌电信号，具体 如下：
步骤2.1、实验者做出手势集合Set中的手势动作；
步骤2.2、通过Hololens采集各手势对应的视频信号；
步骤2.3、通过肌电信号采集装置采集各手势对应的肌电信号。
进一步地，步骤3所述的对采集到的视频信号和肌电信号分别进行信号处理， 具体如下：
步骤3.1、对采集到的视频信号进行手势分割、特征提取，获得手势运动轨 迹，作为视频信号的特征；
步骤3.2、对采集到的肌电信号进行手势分割、特征提取，获得到肌电信号 活动段中肌电信号的绝对值均值，作为肌电信号的特征。
进一步地，步骤3.1所述的对采集到的视频信号进行手势分割、特征提取， 具体如下：
步骤3.1.1、对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特 征分割出手部区域；
步骤3.1.2、根据分割得到的手势区域序列，获得初始的手部区域中心位置；
步骤3.1.3、采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为 视频信号的特征。
进一步地，步骤3.2所述的对采集到的肌电信号进行手势分割、特征提取， 具体如下：
步骤3.2.1、通过肌电信号强度，检测手势动作的起始点和终止点；
步骤3.2.2、根据手势动作的起始点和终止点，分割肌电信号活动段；
步骤3.2.3、将肌电信号活动段中肌电信号的绝对值取均值，作为肌电信号 的特征。
进一步地，步骤4所述基于视频信号的特征和肌电信号的特征，将对应的手 势与预定义的手势进行分类和匹配，具体如下：
步骤4.1、将获得的视频信号的特征送入HMM分类器，得到初级视频信号 分类结果C1以及对应的置信度Conf1；
步骤4.2、将获得的肌电信号的特征送入NN分类器，得到初级肌电信号分 类结果C2以及对应的置信度Conf2。
进一步地，步骤5所述融合两组信号的匹配结果，得到手势识别结果，具体 如下：
(1)若步骤4.1的视频信号识别结果不属于手势集合Set，则对步骤4.2的 肌电信号识别结果进行判断：
Figure BDA0001867428480000031
若肌电信号特征的初级分类结果属于Set1且置信度Conf2大于0.8，则选择 肌电信号特征为手势识别最终结果Class；否则放弃该组手势数据，不做任何响 应操作；
(2)若步骤4.1的视频信号识别结果属于手势集合Set，但步骤4.2的肌电 信号识别结果不属于手势集合Set，或C1与C2不一致，则对步骤4.1的视频信号 识别结果进行判断：
Figure RE-GDA0001982377110000032
若视频信号特征的初级分类结果的置信度Conf1大于0.8，则选择视频信号 特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；
(3)若该步骤4.1和步骤4.2的识别结果都属于手势集合Set且C1与C2一致， 则定义以下规则：
Figure BDA0001867428480000041
若视频信号特征的初级分类结果与肌电信号特征的初级分类结果均属于手 势集合Set且C1与C2一致，且视频信号特征的初级分类结果的置信度Conf1大 于0.6，则C1作为手势识别最终结果；
若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合 Set，但Conf1不大于0.6，则放弃该组手势数据，不做任何响应操作；
根据上述(1)～(3)得到的结果进行对应响应操作。
本发明与现有技术相比，其显著优点在于：(1)引入了肌电信号处理以及多 传感器结合技术，加入了基于肌电信号的手势识别，使用肌电信号辅助可穿戴智 能眼镜Hololens，扩展了可穿戴智能眼镜Hololens的手势识别功能；(2)在 Hololens原有手势识别功能的基础上，扩展了手势识别的种类，实现了高精度、 高灵活性的手势识别。
附图说明
图1是本发明Hololens手势识别的扩展方法的流程示意图。
图2是本发明中信号处理的流程示意图。
具体实施方式
一种Hololens手势识别的扩展方法，该方法包括以下步骤：
步骤1、预定义手势集合，包括HoloLens内置手势集合和需要增加的手势 集合；
步骤2、分别采集各手势对应的视频信号和肌电信号；
步骤3、对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号 的特征和肌电信号的特征；
步骤4、基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的 手势进行分类和匹配；
步骤5、融合两组信号的匹配结果，得到手势识别结果。
进一步地，步骤1所述的预定义手势集合，具体如下：
定义手势集合Set，包括HoloLens内置手势集合Set2和需要增加的手势集 合Set1；需要增加的手势集合Set1中的手势包括：握拳、向左挥动手掌和向右 挥动手掌。
进一步地，步骤2所述的分别采集各手势对应的视频信号和肌电信号，具体 如下：
步骤2.1、实验者做出手势集合Set中的手势动作；
步骤2.2、通过Hololens采集各手势对应的视频信号；
步骤2.3、通过肌电信号采集装置采集各手势对应的肌电信号。
进一步地，步骤3所述的对采集到的视频信号和肌电信号分别进行信号处理， 具体如下：
步骤3.1、对采集到的视频信号进行手势分割、特征提取，获得手势运动轨 迹，作为视频信号的特征；
步骤3.2、对采集到的肌电信号进行手势分割、特征提取，获得到肌电信号 活动段中肌电信号的绝对值均值，作为肌电信号的特征。
进一步地，步骤3.1所述的对采集到的视频信号进行手势分割、特征提取， 具体如下：
步骤3.1.1、对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特 征分割出手部区域；
步骤3.1.2、根据分割得到的手势区域序列，获得初始的手部区域中心位置；
步骤3.1.3、采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为 视频信号的特征。
进一步地，步骤3.2所述的对采集到的肌电信号进行手势分割、特征提取， 具体如下：
步骤3.2.1、通过肌电信号强度，检测手势动作的起始点和终止点；
步骤3.2.2、根据手势动作的起始点和终止点，分割肌电信号活动段；
步骤3.2.3、将肌电信号活动段中肌电信号的绝对值取均值，作为肌电信号 的特征。
进一步地，步骤4所述基于视频信号的特征和肌电信号的特征，将对应的手 势与预定义的手势进行分类和匹配，具体如下：
步骤4.1、将获得的视频信号的特征送入HMM分类器，得到初级视频信号 分类结果C1以及对应的置信度Conf1；
步骤4.2、将获得的肌电信号的特征送入NN分类器，得到初级肌电信号分 类结果C2以及对应的置信度Conf2。
进一步地，步骤5所述融合两组信号的匹配结果，得到手势识别结果，具体 如下：
(1)若步骤4.1的视频信号识别结果不属于手势集合Set，则对步骤4.2的 肌电信号识别结果进行判断：
Figure BDA0001867428480000061
若肌电信号特征的初级分类结果属于Set1且置信度Conf2大于0.8，则选择 肌电信号特征为手势识别最终结果Class；否则放弃该组手势数据，不做任何响 应操作；
(2)若步骤4.1的视频信号识别结果属于手势集合Set，但步骤4.2的肌电 信号识别结果不属于手势集合Set，或C1与C2不一致，则对步骤4.1的视频信号 识别结果进行判断：
Figure BDA0001867428480000062
若视频信号特征的初级分类结果的置信度Conf1大于0.8，则选择视频信号 特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；
(3)若该步骤4.1和步骤4.2的识别结果都属于手势集合Set且C1与C2一致， 则定义以下规则：
Figure BDA0001867428480000063
若视频信号特征的初级分类结果与肌电信号特征的初级分类结果均属于手 势集合Set且C1与C2一致，且视频信号特征的初级分类结果的置信度Conf1大 于0.6，则C1作为手势识别最终结果；
若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合 Set，但Conf1不大于0.6，则放弃该组手势数据，不做任何响应操作；
根据上述(1)～(3)得到的结果进行对应响应操作。
下面结合附图及具体实施例对本发明作进一步详细说明。
实施例
结合图1，本发明一种Hololens手势识别的扩展方法，所述Hololens为一款 可进行手势交互的智能眼镜，该方法包括以下步骤：
步骤1、预定义手势集合，包括HoloLens内置手势集合和需要增加的手势 集合；具体如下：
定义手势集合Set，包括HoloLens内置手势集合Set2和需要增加的手势集 合Set1；需要增加的手势集合Set1中的手势包括：握拳、向左挥动手掌和向右 挥动手掌。
步骤2、结合图2，分别采集各手势对应的视频信号和肌电信号，具体如下：
步骤2.1、实验者做出手势集合Set中的手势动作；
步骤2.2、通过Hololens采集各手势对应的视频信号；
步骤2.3、通过肌电信号采集装置采集各手势对应的肌电信号。
步骤3、对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号 的特征和肌电信号的特征，具体如下：
步骤3.1、对步骤2.2采集到视频信号进行手势分割、特征提取：
步骤3.1.1、对于视频数据中包含手势运动的帧序列，逐帧使用肤色作 为特征分割出手部区域；
步骤3.1.2、根据分割得到的手势区域序列，获得初始的手部区域中心 位置；
步骤3.1.3、采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹， 作为视频信号的特征；
步骤3.2、对步骤2.3采集到肌电信号进行手势分割、特征提取：
步骤3.2.1、通过肌电信号强度，检测手势动作的起始点和终止点；
步骤3.2.2、根据手势动作的起始点和终止点，分割肌电信号活动段；
步骤3.2.3、将肌电信号活动段中肌电信号的绝对值均值，作为肌电信 号的特征。
步骤4、基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的 手势进行分类和匹配，具体如下：
步骤4.1、将步骤3.1.3获得的视频信号的特征送入HMM分类器，得到初 级视频信号分类结果C1以及对应的置信度Conf1；
步骤4.2、将步骤3.2.3获得的肌电信号的特征送入NN分类器，得到初级 肌电信号分类结果C2以及对应的置信度Conf2。
步骤5、融合两组信号的匹配结果，得到手势识别结果，具体如下：
(1)若步骤4.1的视频信号识别结果不属于手势集合Set，则对步骤4.2的 肌电信号识别结果进行判断：
Figure BDA0001867428480000081
若肌电信号特征的初级分类结果属于Set1且置信度Conf2大于0.8，则选 择肌电信号特征为手势识别最终结果Class；否则放弃该组手势数据，不做任何 响应操作；
(2)若步骤4.1的视频信号识别结果属于手势集合Set，但步骤4.2的肌电 信号识别结果不属于手势集合Set，或C1与C2不一致，则对步骤4.1的视频信号 识别结果进行判断：
Figure BDA0001867428480000082
若视频信号特征的初级分类结果的置信度Conf1大于0.8，则选择视频信 号特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；
(3)若该步骤4.1和步骤4.2的识别结果都属于手势集合Set且C1与C2一致， 则定义以下规则：
Figure BDA0001867428480000091
若视频信号特征的初级分类结果与肌电信号特征的初级分类结果均属于手 势集合Set且C1与C2一致，且视频信号特征的初级分类结果的置信度Comf1大 于0.6，则C1作为手势识别最终结果；
若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合 Set，但Comf1不大于0.6，则放弃该组手势数据，不做任何响应操作；
根据上述(1)～(3)得到的结果进行对应响应操作。
综上所述，本发明一种Hololens手势识别的扩展方法，针对HoloLens目前 只可以识别手掌张开和手指点击两种手势、交互受限等问题，在Hololens原有 手势识别功能的基础上，扩展了手势识别种类；本发明引入了肌电信号处理以及 多传感器结合技术，加入了基于肌电信号的手势识别，使用肌电信号辅助可穿戴 智能眼镜Hololens扩展其手势识别功能，同时实现高精度高灵活性的手势识别。

Claims (4)

1.一种Hololens手势识别的扩展方法，其特征在于，该方法包括以下步骤：
步骤1、预定义手势集合，包括HoloLens内置手势集合和需要增加的手势集合；
步骤2、分别采集各手势对应的视频信号和肌电信号；
步骤3、对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号的特征和肌电信号的特征；
步骤4、基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配；
步骤5、融合两组信号的匹配结果，得到手势识别结果；
步骤1所述的预定义手势集合，具体如下：
定义手势集合Set，包括HoloLens内置手势集合Set2和需要增加的手势集合Set1；需要增加的手势集合Set1中的手势包括：握拳、向左挥动手掌和向右挥动手掌；
步骤2所述的分别采集各手势对应的视频信号和肌电信号，具体如下：
步骤2.1、实验者做出手势集合Set中的手势动作；
步骤2.2、通过Hololens采集各手势对应的视频信号；
步骤2.3、通过肌电信号采集装置采集各手势对应的肌电信号；
步骤3所述的对采集到的视频信号和肌电信号分别进行信号处理，具体如下：
步骤3.1、对采集到的视频信号进行手势分割、特征提取，获得手势运动轨迹，作为视频信号的特征；
步骤3.2、对采集到的肌电信号进行手势分割、特征提取，获得到肌电信号活动段中肌电信号的绝对值均值，作为肌电信号的特征；
步骤3.1所述的对采集到的视频信号进行手势分割、特征提取，具体如下：
步骤3.1.1、对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特征分割出手部区域；
步骤3.1.2、根据分割得到的手势区域序列，获得初始的手部区域中心位置；
步骤3.1.3、采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为视频信号的特征。
2.根据权利要求1所述的Hololens手势识别的扩展方法，其特征在于，步骤3.2所述的对采集到的肌电信号进行手势分割、特征提取，具体如下：
步骤3.2.1、通过肌电信号强度，检测手势动作的起始点和终止点；
步骤3.2.2、根据手势动作的起始点和终止点，分割肌电信号活动段；
步骤3.2.3、将肌电信号活动段中肌电信号的绝对值取均值，作为肌电信号的特征。
3.根据权利要求1所述的Hololens手势识别的扩展方法，其特征在于，步骤4所述基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配，具体如下：
步骤4.1、将获得的视频信号的特征送入HMM分类器，得到初级视频信号分类结果C1以及对应的置信度Conf1；
步骤4.2、将获得的肌电信号的特征送入NN分类器，得到初级肌电信号分类结果C2以及对应的置信度Conf2。
4.根据权利要求3所述的Hololens手势识别的扩展方法，其特征在于，步骤5所述融合两组信号的匹配结果，得到手势识别结果，具体如下：
(1)若步骤4.1的视频信号识别结果不属于手势集合Set，则对步骤4.2的肌电信号识别结果进行判断：
Figure FDA0003393202580000021
若肌电信号特征的初级分类结果属于Set1且置信度Conf2大于0.8，则选择肌电信号特征为手势识别最终结果Class；否则放弃该组手势数据，不做任何响应操作；
(2)若步骤4.1的视频信号识别结果属于手势集合Set，但步骤4.2的肌电信号识别结果不属于手势集合Set，或C1与C2不一致，则对步骤4.1的视频信号识别结果进行判断：
Figure FDA0003393202580000022
若视频信号特征的初级分类结果的置信度Conf1大于0.8，则选择视频信号特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；
(3)若该步骤4.1和步骤4.2的识别结果都属于手势集合Set且C1与C2一致，则定义以下规则：
Figure FDA0003393202580000031
若视频信号特征的初级分类结果与肌电信号特征的初级分类结果均属于手势集合Set且C1与C2一致，且视频信号特征的初级分类结果的置信度Conf1大于0.6，则C1作为手势识别最终结果；
若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合Set，但Conf1不大于0.6，则放弃该组手势数据，不做任何响应操作；
根据上述(1)～(3)得到的结果进行对应响应操作。
CN201811361407.1A 2018-11-15 2018-11-15 一种Hololens手势识别的扩展方法 Active CN109634408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811361407.1A CN109634408B (zh) 2018-11-15 2018-11-15 一种Hololens手势识别的扩展方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811361407.1A CN109634408B (zh) 2018-11-15 2018-11-15 一种Hololens手势识别的扩展方法

Publications (2)

Publication Number Publication Date
CN109634408A CN109634408A (zh) 2019-04-16
CN109634408B true CN109634408B (zh) 2022-06-24

Family

ID=66068126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811361407.1A Active CN109634408B (zh) 2018-11-15 2018-11-15 一种Hololens手势识别的扩展方法

Country Status (1)

Country Link
CN (1) CN109634408B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110585684A (zh) * 2019-07-05 2019-12-20 华东理工大学 基于动作识别的vr互动方法及系统
CN111144259B (zh) * 2019-12-18 2022-12-23 重庆特斯联智慧科技股份有限公司 一种基于hmm模型的社区污染物处理方法和系统
CN116449967A (zh) * 2023-06-20 2023-07-18 浙江强脑科技有限公司 仿生手教具及其控制方法、主控设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155300A (zh) * 2015-04-23 2016-11-23 宁波市美灵思医疗科技有限公司 一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法
CN108205646A (zh) * 2016-12-19 2018-06-26 北京数码视讯科技股份有限公司 一种手部姿态检测方法及装置
CN108784694A (zh) * 2018-04-23 2018-11-13 京东方科技集团股份有限公司 一种信号采集电路、信号采集方法及可穿戴设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180280655A1 (en) * 2017-03-31 2018-10-04 Eye Labs, LLC Emotional manipulation of consumers of digital content
CN107463262A (zh) * 2017-08-14 2017-12-12 中国电子科技集团公司第二十八研究所 一种基于HoloLens的多人协同交互方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155300A (zh) * 2015-04-23 2016-11-23 宁波市美灵思医疗科技有限公司 一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法
CN108205646A (zh) * 2016-12-19 2018-06-26 北京数码视讯科技股份有限公司 一种手部姿态检测方法及装置
CN108784694A (zh) * 2018-04-23 2018-11-13 京东方科技集团股份有限公司 一种信号采集电路、信号采集方法及可穿戴设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于多传感器信息检测和融合的手语手势识别研究》;王文会;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110115;正文第25页第1段至第27页第6段，第42页第2段至第56页第6段 *
Mehmet Aydın Baytaş等.LabDesignAR: Configuring Multi-Camera Motion Capture Systems in Augmented Reality.《VRST"17会议，瑞典哥德堡》.2017, *

Also Published As

Publication number Publication date
CN109634408A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
Athira et al. A signer independent sign language recognition with co-articulation elimination from live videos: an Indian scenario
Asadi-Aghbolaghi et al. A survey on deep learning based approaches for action and gesture recognition in image sequences
Qi et al. Computer vision-based hand gesture recognition for human-robot interaction: a review
Gu et al. Human gesture recognition through a kinect sensor
CN109634408B (zh) 一种Hololens手势识别的扩展方法
CN105069434B (zh) 一种视频中人体动作行为识别方法
Alrubayi et al. A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques
Agrawal et al. A survey on manual and non-manual sign language recognition for isolated and continuous sign
CN114265498B (zh) 一种多模态手势识别和视觉反馈机制结合的方法
Das et al. MMHAR-EnsemNet: A multi-modal human activity recognition model
CN111680660B (zh) 基于多源异构数据流的人体行为检测方法
Kumar et al. A hybrid gesture recognition method for American sign language
Kumar et al. 3D sign language recognition using spatio temporal graph kernels
Moradi et al. Compare of machine learning and deep learning approaches for human activity recognition
CN112200110A (zh) 一种基于深度干扰分离学习的人脸表情识别方法
Padhi et al. Hand gesture recognition using densenet201-mediapipe hybrid modelling
Romaissa et al. Vision-based multi-modal framework for action recognition
Lu et al. Pose-guided model for driving behavior recognition using keypoint action learning
Nguyen et al. A continuous real-time hand gesture recognition method based on skeleton
Liang et al. Egocentric hand pose estimation and distance recovery in a single RGB image
Nguyen et al. Hand Gesture Recognition From Wrist-Worn Camera for Human–Machine Interaction
CN116009695A (zh) 一种基于数据手套的动态手势识别方法及系统
Wang et al. An attention self-supervised contrastive learning based three-stage model for hand shape feature representation in cued speech
CN115188080A (zh) 基于骨架识别和门控循环网络的交警手势识别方法及系统
Ganesh et al. Human Action Recognition based on Depth maps, Skeleton and Sensor Images using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant