CN111766941A - 一种基于智能戒指的手势识别方法及系统 - Google Patents

一种基于智能戒指的手势识别方法及系统 Download PDF

Info

Publication number
CN111766941A
CN111766941A CN202010411317.XA CN202010411317A CN111766941A CN 111766941 A CN111766941 A CN 111766941A CN 202010411317 A CN202010411317 A CN 202010411317A CN 111766941 A CN111766941 A CN 111766941A
Authority
CN
China
Prior art keywords
wearing
hand
wearing hand
gesture
intelligent ring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010411317.XA
Other languages
English (en)
Other versions
CN111766941B (zh
Inventor
张腾翔
曾馨
陈益强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202010411317.XA priority Critical patent/CN111766941B/zh
Publication of CN111766941A publication Critical patent/CN111766941A/zh
Application granted granted Critical
Publication of CN111766941B publication Critical patent/CN111766941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于智能戒指的手势识别方法，包括：将智能戒指佩戴于使用者的手指，且将该使用者佩戴该智能戒指的手作为佩戴手，将该佩戴手对应的未佩戴该智能戒指的手作为非佩戴手；通过该智能戒指的运动传感器，采集该佩戴手的运动数据，通过该智能戒指的摄像头，采集该非佩戴手的图像数据；通过该智能戒指的微处理器分别分析该运动数据和该图像数据，得到该佩戴手和该非佩戴手的手势信息。本发明在单个戒指中集成运动传感器和摄像头，无需用户佩戴多个设备，既可以达到识别双手手势的目的，减轻用户负担，拓展了交互渠道。

Description

一种基于智能戒指的手势识别方法及系统
技术领域
本发明涉及手势识别领域，尤其涉及一种可穿戴智能戒指的手势识别方法。
背景技术
随着传感器、电池等电子电路技术的小型化发展，更多的微型智能终端产品应运而生。但是智能终端体积的减小，现有的手持式的使用形式不再适宜，因此，穿戴式的终端应运而生。许多穿戴设备(如智能手表)都可以检测用户的交互意图，甚至可以检测用户当前所处的情境。其中，佩戴在手指上的智能戒指由于体积小、不影响手部其他动作的方便性等特点，正在成为一种交互的选择。智能戒指可以用来检测细微手势动作，完成与不同设备的手势交互。目前，现有的智能戒指大多采用惯性传感器(IMU)来完成手势识别或者利用一个向手掌内拍摄的鱼眼镜头可以进行手势识别。专利201910620796.3利用戒指中的九轴传感器来获取手部的运动轨迹来进行手势识别。专利201821747517.7在戒指中设置了加速度计和压力传感器来进行与电脑的手势交互。
现有基于智能戒指的手势识别技术的局限有：
(1)基于惯性传感器IMU的智能戒指只能识别动态手势，无法检测静态手势；
(2)基于摄像头的智能戒指受限于摄像头的角度，只能在特定角度下识别手势；
(3)无法识别丰富的双手手势。
发明内容
本方案的目的是克服上述现有技术存在的对于动态手势与静态手势、单手手势与双手手势识别存在的问题，提出一种基于IMU与摄像头级联的智能戒指手势识别方案。
本方案在智能戒指中集成IMU单元和摄像头，基于IMU信号检测佩戴手的动态手势，同时基于摄像头信号检测非佩戴手的静态和动态手势。这样，用户佩戴一个戒指即可同时实现双手动态手势以及非佩戴手静态手势的识别；若双手分别佩戴一个，则可以完成双手动态和静态手势识别，或者使用角度更广的摄像头(例如鱼眼镜头)，也可以达到对佩戴手静态手势的识别。扩展了交互通道，提升了交互体验。
具体来说本发明公开了一种基于智能戒指的手势识别方法，其中包括：
步骤1、将智能戒指佩戴于使用者的手指，且将该使用者佩戴该智能戒指的手作为佩戴手，将该佩戴手对应的未佩戴该智能戒指的手作为非佩戴手；
步骤2、通过该智能戒指的运动传感器，采集该佩戴手的运动数据，通过该智能戒指的摄像头，采集该非佩戴手的图像数据；
步骤3、通过该智能戒指的微处理器分别分析该运动数据和该图像数据，得到该佩戴手和该非佩戴手的手势信息。
所述的基于智能戒指的手势识别方法，其中该步骤3包括：
步骤31、通过该运动数据得到佩戴手绝对运动信息；
步骤32、通过该图像数据得到非佩戴手相对运动信息和非佩戴手静态手势；
步骤33、通过该佩戴手绝对运动信息对该非佩戴手相对运动信息进行补偿，得到非佩戴手绝对运动信息；
步骤34、分别根据该佩戴手绝对运动信息和该非佩戴手绝对运动信息，得到佩戴手动态手势和非佩戴手动态手势，集合该佩戴手动态手势、该非佩戴手动态手势和该非佩戴手静态手势，作为该手势信息。
所述的基于智能戒指的手势识别方法，其中该运动传感器为惯性传感器。
所述的基于智能戒指的手势识别方法，其中该步骤33包括：通过分析该运动数据，得到当前佩戴手的运动速度和运动轨迹，并根据当前佩戴手的运动速度和运动轨迹，得到当前图像数据因为运动产生的变化参数，根据该变化参数补偿该非佩戴手相对运动信息。
本发明还公开了一种基于智能戒指的手势识别系统，其中包括：
模块1、将智能戒指佩戴于使用者的手指，且将该使用者佩戴该智能戒指的手作为佩戴手，将该佩戴手对应的未佩戴该智能戒指的手作为非佩戴手；
模块2、通过该智能戒指的运动传感器，采集该佩戴手的运动数据，通过该智能戒指的摄像头，采集该非佩戴手的图像数据；
模块3、通过该智能戒指的微处理器分别分析该运动数据和该图像数据，得到该佩戴手和该非佩戴手的手势信息。
所述的基于智能戒指的手势识别系统，其中该模块3包括：
模块31、通过该运动数据得到佩戴手绝对运动信息；
模块32、通过该图像数据得到非佩戴手相对运动信息和非佩戴手静态手势；
模块33、通过该佩戴手绝对运动信息对该非佩戴手相对运动信息进行补偿，得到非佩戴手绝对运动信息；
模块34、分别根据该佩戴手绝对运动信息和该非佩戴手绝对运动信息，得到佩戴手动态手势和非佩戴手动态手势，集合该佩戴手动态手势、该非佩戴手动态手势和该非佩戴手静态手势，作为该手势信息。
所述的基于智能戒指的手势识别系统，其中该运动传感器为惯性传感器。
所述的基于智能戒指的手势识别系统，其中该模块33包括：通过分析该运动数据，得到当前佩戴手的运动速度和运动轨迹，并根据当前佩戴手的运动速度和运动轨迹，得到当前图像数据因为运动产生的变化参数，根据该变化参数补偿该非佩戴手相对运动信息。
本发明包括以下关键点：
关键点1，一种利用IMU进行佩戴手动态手势识别的方法，能够识别佩戴戒指手的手势。
关键点2，一种利用摄像头对非佩戴手手势识别的方法，能够识别非戒指佩戴手的手势。
关键点3，一种集成IMU和摄像头的智能戒指，在单个戒指里集成了IMU单元和摄像头单元，能够进行双手手势识别。
由以上方案可知，本发明的优点在于：
相比于现有技术，本方案提出一种基于IMU与摄像头级联的智能戒指手势识别方案。在单个戒指中集成IMU单元和摄像头，无需用户佩戴多个设备，既可以达到识别双手手势的目的，减轻用户负担，拓展了交互渠道。
附图说明
图1为本发明的智能戒指的硬件结构示意图。
图2为本发明手势识别方法的总体流程图；
图3为本发明手势识别方法的详细流程图。
具体实施方式
在研究过程中，我们发现：
(1)戒指中的IMU只能记录戒指在运动中的加速度等动态信息，因此只能识别佩戴手指的动作，无法记录当前手的姿态或手指的状态(如弯曲、伸直)。这降低了手势的表达能力。
因此本方案提出在单个戒指中集成IMU与摄像头，结合两者的特点，进行静态手势和动态手势的识别。IMU记录的信号是由手型的变化、手在空间中的运动等等动态运动而产生的，因此适合用来检测一些动态的手势。此外，IMU只能检测佩戴手的运动，对于非佩戴手的手势识别无能为力。而摄像头不受动作静态或动态的限制，也可以通过设置角度拍摄非佩戴手，因此在戒指中集成摄像头，可以解决这一局限。
(2)在基于摄像头的手势识别方案中，为了获得良好的识别效果，当前技术中摄像头的角度往往有所限制，因此可以识别的手势也会因为摄像头角度而被限制。例如朝向手掌的鱼眼镜头由于视野的限制，无法识别手指伸直时的动作。
因此本方案提出基于IMU信号检测佩戴手的动态手势，避免由于摄像头角度带来的限制问题。集成在戒指中的摄像头往往被限制了其拍摄角度，无法很好的识别戒指佩戴手的一些手势。因此本方案利用IMU信号，检测佩戴手的动态手势，而无需增加戒指的数目。
(3)基于IMU的手势检测方法只能检测戒指佩戴手的单手动态手势。若需检测双手动态手势，则需在两手分别佩戴戒指，增加了用户负担。基于摄像头的手势检测方法可以识别非戒指佩戴手的手势，通过戒指上的特殊镜头也可以识别少数佩戴手手势，但是无法识别丰富的双手手势。
因此本方案提出基于IMU信号检测佩戴手的动态手势，同时利用摄像头拍摄的非佩戴手的视觉信息进行识别，检测非佩戴手的静态和动态手势。双手手势能够表达更丰富的语义，本方案能够在不增加戒指数量的前提下，通过IMU和摄像头的结合，对双手手势进行识别。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
如图1所示，本方案的智能戒指主要包括运动传感器、摄像头、微处理器和无线通信芯片。
如图2所示，本方案的设备基于从一个智能戒指中提取的运动传感和图像信息，识别佩戴手与非佩戴手的动态及静态手势。
本方案的识别流程如图2所示，包括：
将戒指佩戴在两手中任意的一个手指上，运动传感器可以收集佩戴手的运动信息，摄像头可以采集佩戴手和非佩戴手的视觉信息。两类信息通过简单处理后，得到手势识别结果并通过无线通信芯片发送至计算设备，进行后续的与该手势识别结果对应的数据处理。
戒指上的IMU和图像传感器，可以分别检测佩戴手与非佩戴手的手势。但两者需互相配合以完成一些双手手势的手势检测。例如，在检测鼓掌手势时，图像传感器只能提供两手运动的相对信息。需要通过IMU得到绝对运动信息，对图像信息进行补偿，从而恢复两只手的绝对运动。补偿过程包括：通过IMU的数据，可以得到当前佩戴手的运动速度和运动轨迹。根据此信息，即可得到当前图像信息因为IMU运动产生的变化。因此可恢复出当前图像信息中因为非佩戴手运动产生的变化，从而更精准的识别非佩戴手的绝对动作。
其中，图像数据也可以发送至微处理器以外的其他计算设备(如智能手机)进行分析。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还公开了一种基于智能戒指的手势识别系统，其中包括：
模块1、将智能戒指佩戴于使用者的手指，且将该使用者佩戴该智能戒指的手作为佩戴手，将该佩戴手对应的未佩戴该智能戒指的手作为非佩戴手；
模块2、通过该智能戒指的运动传感器，采集该佩戴手的运动数据，通过该智能戒指的摄像头，采集该非佩戴手的图像数据；
模块3、通过该智能戒指的微处理器分别分析该运动数据和该图像数据，得到该佩戴手和该非佩戴手的手势信息。
所述的基于智能戒指的手势识别系统，其中该模块3包括：
模块31、通过该运动数据得到佩戴手绝对运动信息；
模块32、通过该图像数据得到非佩戴手相对运动信息和非佩戴手静态手势；
模块33、通过该佩戴手绝对运动信息对该非佩戴手相对运动信息进行补偿，得到非佩戴手绝对运动信息；
模块34、分别根据该佩戴手绝对运动信息和该非佩戴手绝对运动信息，得到佩戴手动态手势和非佩戴手动态手势，集合该佩戴手动态手势、该非佩戴手动态手势和该非佩戴手静态手势，作为该手势信息。
所述的基于智能戒指的手势识别系统，其中该运动传感器为惯性传感器。
所述的基于智能戒指的手势识别系统，其中该模块33包括：通过分析该运动数据，得到当前佩戴手的运动速度和运动轨迹，并根据当前佩戴手的运动速度和运动轨迹，得到当前图像数据因为运动产生的变化参数，根据该变化参数补偿该非佩戴手相对运动信息。

Claims (8)

1.一种基于智能戒指的手势识别方法，其特征在于，包括：
步骤1、将智能戒指佩戴于使用者的手指，且将该使用者佩戴该智能戒指的手作为佩戴手，将该佩戴手对应的未佩戴该智能戒指的手作为非佩戴手；
步骤2、通过该智能戒指的运动传感器，采集该佩戴手的运动数据，通过该智能戒指的摄像头，采集该非佩戴手的图像数据；
步骤3、通过该智能戒指的微处理器分别分析该运动数据和该图像数据，得到该佩戴手和该非佩戴手的手势信息。
2.如权利要求1所述的基于智能戒指的手势识别方法，其特征在于，该步骤3包括：
步骤31、通过该运动数据得到佩戴手绝对运动信息；
步骤32、通过该图像数据得到非佩戴手相对运动信息和非佩戴手静态手势；
步骤33、通过该佩戴手绝对运动信息对该非佩戴手相对运动信息进行补偿，得到非佩戴手绝对运动信息；
步骤34、分别根据该佩戴手绝对运动信息和该非佩戴手绝对运动信息，得到佩戴手动态手势和非佩戴手动态手势，集合该佩戴手动态手势、该非佩戴手动态手势和该非佩戴手静态手势，作为该手势信息。
3.如权利要求1所述的基于智能戒指的手势识别方法，其特征在于，该运动传感器为惯性传感器。
4.如权利要求2所述的基于智能戒指的手势识别方法，其特征在于，该步骤33包括：通过分析该运动数据，得到当前佩戴手的运动速度和运动轨迹，并根据当前佩戴手的运动速度和运动轨迹，得到当前图像数据因为运动产生的变化参数，根据该变化参数补偿该非佩戴手相对运动信息。
5.一种基于智能戒指的手势识别系统，其特征在于，包括：
模块1、将智能戒指佩戴于使用者的手指，且将该使用者佩戴该智能戒指的手作为佩戴手，将该佩戴手对应的未佩戴该智能戒指的手作为非佩戴手；
模块2、通过该智能戒指的运动传感器，采集该佩戴手的运动数据，通过该智能戒指的摄像头，采集该非佩戴手的图像数据；
模块3、通过该智能戒指的微处理器分别分析该运动数据和该图像数据，得到该佩戴手和该非佩戴手的手势信息。
6.如权利要求5所述的基于智能戒指的手势识别系统，其特征在于，该模块3包括：
模块31、通过该运动数据得到佩戴手绝对运动信息；
模块32、通过该图像数据得到非佩戴手相对运动信息和非佩戴手静态手势；
模块33、通过该佩戴手绝对运动信息对该非佩戴手相对运动信息进行补偿，得到非佩戴手绝对运动信息；
模块34、分别根据该佩戴手绝对运动信息和该非佩戴手绝对运动信息，得到佩戴手动态手势和非佩戴手动态手势，集合该佩戴手动态手势、该非佩戴手动态手势和该非佩戴手静态手势，作为该手势信息。
7.如权利要求5所述的基于智能戒指的手势识别系统，其特征在于，该运动传感器为惯性传感器。
8.如权利要求1所述的基于智能戒指的手势识别系统，其特征在于，该模块33包括：通过分析该运动数据，得到当前佩戴手的运动速度和运动轨迹，并根据当前佩戴手的运动速度和运动轨迹，得到当前图像数据因为运动产生的变化参数，根据该变化参数补偿该非佩戴手相对运动信息。
CN202010411317.XA 2020-05-15 2020-05-15 一种基于智能戒指的手势识别方法及系统 Active CN111766941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010411317.XA CN111766941B (zh) 2020-05-15 2020-05-15 一种基于智能戒指的手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010411317.XA CN111766941B (zh) 2020-05-15 2020-05-15 一种基于智能戒指的手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN111766941A true CN111766941A (zh) 2020-10-13
CN111766941B CN111766941B (zh) 2021-11-09

Family

ID=72719333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010411317.XA Active CN111766941B (zh) 2020-05-15 2020-05-15 一种基于智能戒指的手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN111766941B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093911A (zh) * 2021-04-09 2021-07-09 浙江大学 一种面向三维交互输入的智能指环及其交互方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115439A (ja) * 2004-10-12 2006-04-27 Sunao Furukawa 装着式携帯電話受信リング（携帯電話受信感知機）
KR20110013076A (ko) * 2009-08-01 2011-02-09 강병수 카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控系统和方法
US20150002475A1 (en) * 2013-06-27 2015-01-01 Industrial Technology Research Institute Mobile device and method for controlling graphical user interface thereof
CN104756045A (zh) * 2012-10-04 2015-07-01 微软公司 用于跟踪由关节连接的身体部位的可佩戴传感器
CN105303183A (zh) * 2015-11-13 2016-02-03 南京邮电大学 一种基于穿戴设备的儿童姿态识别分析系统和方法
CN107578023A (zh) * 2017-09-13 2018-01-12 华中师范大学 人机交互手势识别方法、装置及系统
CN109085885A (zh) * 2018-08-14 2018-12-25 李兴伟 智能戒指
CN110490059A (zh) * 2019-07-10 2019-11-22 广州幻境科技有限公司 一种可穿戴智能戒指的手势识别方法、系统及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115439A (ja) * 2004-10-12 2006-04-27 Sunao Furukawa 装着式携帯電話受信リング（携帯電話受信感知機）
KR20110013076A (ko) * 2009-08-01 2011-02-09 강병수 카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控系统和方法
CN104756045A (zh) * 2012-10-04 2015-07-01 微软公司 用于跟踪由关节连接的身体部位的可佩戴传感器
US20150002475A1 (en) * 2013-06-27 2015-01-01 Industrial Technology Research Institute Mobile device and method for controlling graphical user interface thereof
CN105303183A (zh) * 2015-11-13 2016-02-03 南京邮电大学 一种基于穿戴设备的儿童姿态识别分析系统和方法
CN107578023A (zh) * 2017-09-13 2018-01-12 华中师范大学 人机交互手势识别方法、装置及系统
CN109085885A (zh) * 2018-08-14 2018-12-25 李兴伟 智能戒指
CN110490059A (zh) * 2019-07-10 2019-11-22 广州幻境科技有限公司 一种可穿戴智能戒指的手势识别方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于汉超等: "凌空手势识别综述", 《科技导报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093911A (zh) * 2021-04-09 2021-07-09 浙江大学 一种面向三维交互输入的智能指环及其交互方法
CN113093911B (zh) * 2021-04-09 2023-06-30 浙江大学 一种面向三维交互输入的智能指环及其交互方法

Also Published As

Publication number Publication date
CN111766941B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
WO2018161906A1 (zh) 动作识别方法、装置、系统以及存储介质
EP3754542B1 (en) Method and apparatus for recognizing handwriting in air, and device and computer-readable storage medium
CN105353881B (zh) 基于rfid的手势识别方法及系统
EP3109797B1 (fr) Procédé de reconnaissance d'écriture manuscrite sur une surface physique
CN111857356A (zh) 识别交互手势的方法、装置、设备和存储介质
CN105190578A (zh) 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN104272225A (zh) 信息处理装置、信息处理方法和程序
CN104914989A (zh) 姿势辨识装置以及姿势辨识装置的控制方法
CN114995628B (zh) 隔空手势识别方法及其相关设备
WO2016175579A1 (en) User interface control using impact gestures
CN110866468A (zh) 一种基于无源rfid的手势识别系统及方法
Francis et al. Significance of hand gesture recognition systems in vehicular automation-a survey
WO2017184274A1 (en) System and method for determining and modeling user expression within a head mounted display
CN111766941B (zh) 一种基于智能戒指的手势识别方法及系统
CN109634408B (zh) 一种Hololens手势识别的扩展方法
WO2016036197A1 (ko) 손동작 인식 장치 및 그 방법
Muhammad et al. Hand gesture user interface for smart devices based on mems sensors
Iyer et al. Generalized hand gesture recognition for wearable devices in IoT: Application and implementation challenges
CN116009695A (zh) 一种基于数据手套的动态手势识别方法及系统
Nguyen et al. Hand gesture recognition from wrist-worn camera for human-machine interaction
CN111913574B (zh) 用于控制设备的方法、装置、电子设备和计算机可读介质
CN104917878A (zh) 用于智能穿戴设备利用手势输入号码的方法、装置及系统
US20220138625A1 (en) Information processing apparatus, information processing method, and program
CN112363622A (zh) 字符输入方法、装置、电子设备及存储介质
Chen et al. ViWatch: harness vibrations for finger interactions with commodity smartwatches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant