CN111766942A - 基于智能戒指的输入方法、系统、智能戒指及移动设备 - Google Patents

基于智能戒指的输入方法、系统、智能戒指及移动设备 Download PDF

Info

Publication number
CN111766942A
CN111766942A CN202010413596.3A CN202010413596A CN111766942A CN 111766942 A CN111766942 A CN 111766942A CN 202010413596 A CN202010413596 A CN 202010413596A CN 111766942 A CN111766942 A CN 111766942A
Authority
CN
China
Prior art keywords
hand
interactive
input
intelligent ring
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010413596.3A
Other languages
English (en)
Inventor
张腾翔
曾馨
陈益强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202010413596.3A priority Critical patent/CN111766942A/zh
Publication of CN111766942A publication Critical patent/CN111766942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种基于智能戒指的输入方法，包括：以佩戴智能戒指的手为辅助手，以另一只手为交互手，将该智能戒指佩戴于该辅助手的食指；将该辅助手伸平，以该辅助手的拇指与该辅助手的食指之间的区域为交互操作区；由该智能戒指识别该交互手在该交互操作区的交互运动；提取该交互运动的运动信息，并生成输入信息。本发明还提出一种基于智能戒指的输入系统，以及一种智能戒指和一种使用智能戒指的移动设备。

Description

基于智能戒指的输入方法、系统、智能戒指及移动设备
技术领域
本发明涉及输入方法技术领域、手势识别领域，尤其是涉及一种基于智能戒指的输入方法。
背景技术
随着物联网的发展，日常生活中的智能设备逐渐增多。用户可通过智能设备上的输入界面(如按钮、触摸板等)与设备进行交互。用户还可以通过智能手机、智能手表等便携计算设备远程控制相应智能设备。对于虚拟显示(VR)、增强现实(AR)眼镜等头戴式设备，用户则常通过空间定位的控制手柄进行三维输入。在智能交互场景中，现常用的输入方式，如鼠标、键盘、手柄等，一定程度的限制了用户与智能场景交互的多样性。为了应对多样的输入需求，研究人员提出了各种各样的方法。
专利201910881606.3中利用手势与带有折叠屏的智能设备进行交互，作为不同的输入。专利201910798455.5中，利用语音作为输入信号，在智能酒店场景下与智能设备进行交互。专利201910524878.8中，利用手势和语音作为输入信号，进行AR环境下的交互。
现有的智能设备的输入方式的局限有：
(1)不同的输入界面导致输入方式不统一，提高了用户的学习成本。
(2)部分输入界面过于简单，限制了交互效率。
(3)无法提供即时直观的三维输入界面。
发明内容
针对上述问题，本发明提出一种基于智能戒指的输入方法，包括：以佩戴智能戒指的手为辅助手，以另一只手为交互手，将该智能戒指佩戴于该辅助手的食指；将该辅助手伸平，以该辅助手的拇指与该辅助手的食指之间的区域为交互操作区；由该智能戒指识别该交互手在该交互操作区的交互运动；提取该交互运动的运动信息，并生成输入信息。
本发明所述的输入方法，其中该智能戒指包括摄像头，该摄像头的类型包括：RGB摄像头、RGBD摄像头、红外摄像头、热成像摄像头；识别该交互运动的步骤包括：通过该摄像头连续采集该交互手的运动图像，并根据该运动图像对该交互手进行运动轨迹重建，以获取该运动信息。
本发明所述的输入方法，其中该智能戒指与移动终端通信连接；该智能戒指将该运动图像传输给该移动终端，由该移动终端提取该运动信息，并生成该输入信息；或该智能戒指提取该运动信息，并生成该输入信息，并将该输入信息传输给该移动终端。
本发明所述的输入方法，其中，通过该摄像头连续采集该交互手的一个或多个手指指尖的运动图像，以获取该运动信息；或连续采集该交互手的手势运动图像，以获取该运动信息。
本发明还提出一种基于智能戒指的输入系统，包括：输入基准模块，用于确定交互动作的运动范围；其中，以佩戴智能戒指的手为辅助手，以另一只手为交互手，将该智能戒指佩戴于该辅助手的食指；将该辅助手伸平，以该辅助手的拇指与该辅助手的食指之间的区域为交互操作区；交互识别模块，用于识别该交互手的运动信息，以生成输入信息；其中，由该智能戒指识别该交互手在该交互操作区的交互运动；提取该交互运动的运动信息，并生成该输入信息；传输模块，用于将该智能戒指获取的运动信息或该智能戒指生成的输入信息，传送给与该智能戒指通信连接的移动终端。
本发明所述的输入系统，其中，该智能戒指包括摄像头，该交互识别模块包括：采集模块，用于通过该摄像头连续采集该交互手的运动图像；识别模块，用于根据该运动图像对该交互手进行运动轨迹重建，以获取该运动信息；该摄像头的类型包括：RGB摄像头、RGBD摄像头、红外摄像头、热成像摄像头。
本发明还提出一种智能戒指，设置有摄像头，其中该智能戒指用于执行如前所述输入方法，进行手势输入。
本发明还提出一种移动设备，包括：如前所述的智能戒指；移动终端，与该智能戒指通信连接，并以该智能戒指作为输入设备。
附图说明
图1是本发明的基于智能戒指的输入方法的流程图。
图2是本发明的基于智能戒指的输入方法二维识别示意图。
图3是本发明的基于智能戒指的输入方法三维识别示意图。
图4是本发明的基于智能戒指的输入方法手指指尖运动识别流程图。
图5是本发明的基于智能戒指的输入方法手指手势运动识别流程图。
图6是本发明的移动设备示意图。
具体实施方式
本发明的目的是克服上述现有技术的输入方式不统一、学习成本高、输入界面简单、交互效率低、缺少即使直观的输入界面等问题，提出一种基于智能戒指的输入方法。
现有技术中，由于不同移动设备的输入界面不同，用户需要学习不同的输入方式，这提高了用户的学习成本，也增加了用户的交互复杂性。随着移动设备的增多，功能的增强，用户需要学习的输入方式会越来越多。
同时由于尺寸、成本等条件限制，移动设备上的输入界面大多为按键，交互信道较窄，无法以较高效率完成复杂的交互任务。
例如，现有的VR、AR控制手柄需借助外部定位设备进行三维输入，对周围环境要求较高，无法提供即时的交互体验；通过手机触摸屏等二维界面进行三维输入则不够直观且效率较低。
针对上述问题，本发明提出一种基于智能戒指的输入方法。图1是本发明的基于智能戒指的输入方法的流程图。如图1所示，本发明的输入方法包括：
步骤S1，以佩戴智能戒指的手为辅助手，以另一只手为交互手，将智能戒指佩戴于辅助手的食指；根据用户习惯区分辅助手和交互手，例如左利手用户可以将左手设定为交互手，右手设定为辅助手，而右利手用户则正好相反；本发明并不限定使用双手操作，可以将智能戒指固定，通过左手和/或右手的手势运动、左手和/或右手各部位的位置等，或身体的任意部位例如脚掌、肘部、膝盖等的运动进行输入操作；
步骤S2，将辅助手伸平，以辅助手的拇指与辅助手的食指之间的区域为交互操作区；可以将辅助手平放于一实质平面，使交互操作区为实质的二维平面，或实质平面以上一定范围的三维区域；也可以将辅助手悬空，使交互操作区为辅助手掌面内的虚拟二维平面，或虚拟二维平面延伸出的一定范围的三维区域，交互操作区的范围以可以识别交互手的交互运动为准；在实际操作中，可以通过辅助手将交互操作面定位在桌椅、墙壁、门窗等实质物体的表面，或大腿、腹部等身体表面等定义二维平面的实质的交互操作区，以进行公开的或隐秘的交互操作；
步骤S3，由智能戒指识别交互手在交互操作区面的交互运动；通过智能戒指的传感器(如摄像头)连续采集该交互手的运动图像，并根据运动图像对该交互手进行运动轨迹重建，以获取运动信息；通过摄像头连续采集交互手的一个或多个手指指尖的运动图像，或连续采集该交互手的手势运动图像，以获取交互手的运动信息。
步骤S4，提取该交互运动的运动信息，并生成输入信息；可由智能戒指将运动图像传输给与智能戒指通信连接的移动终端，由移动终端根据交互手的运动图像提取运动信息，并生成输入信息；也可由智能戒指根据交互手的运动图像提取运动信息，并生成输入信息传输给移动终端。
其中智能戒指的传感器为摄像头，该摄像头的类型包括：RGB摄像头、RGBD摄像头、红外摄像头、热成像摄像头；智能戒指也可采用例如超声波、雷达等传感器获取交互手的运动信息，本发明并不以此为限。
本发明还提出一种基于智能戒指的输入系统，包括：输入基准模块，用于确定交互动作的运动范围；其中，以佩戴智能戒指的手为辅助手，以另一只手为交互手，将智能戒指佩戴于辅助手的食指；将辅助手伸平，以辅助手的拇指与辅助手的食指之间的平面区域为交互操作区；交互识别模块，用于识别交互手的运动信息，以生成输入信息；其中，由智能戒指识别交互手在交互操作区的交互运动；提取交互运动的运动信息，并生成输入信息；传输模块，用于将智能戒指获取的运动信息或智能戒指生成的输入信息，传送给与智能戒指通信连接的移动终端。
本发明所述的输入系统，其中，该智能戒指包括摄像头，交互识别模块包括：采集模块，用于通过摄像头连续采集该交互手的运动图像；识别模块，用于根据运动图像对交互手进行运动轨迹重建，以获取运动信息；该摄像头的类型包括：RGB摄像头(获取色彩信息的摄像头)、RGBD摄像头(获取深度信息和色彩信息的摄像头)、红外摄像头、热成像摄像头等。
本发明还提出一种智能戒指，设置有摄像头，该智能戒指用于采用本发明的输入方法，进行手势输入。
本发明还提出一种移动智能设备，包括：智能戒指；移动终端，与该智能戒指通信连接，并以该智能戒指作为输入设备。
本发明的基于智能戒指的输入方法，在一只手(辅助手)上佩戴智能戒指，在智能戒指中集成摄像头(包括但不限于RGB摄像头、RGBD摄像头、红外、热成像摄像头)，以采集另一只手(交互手)的图像信息。辅助手的平面作为参考平面，并通过伸展拇指指定交互区域。用户可在交互区域内通过点击、移动手指或其他手势进行交互，本方法通过图像信息对当前手势、指尖位置等本方法将输入界面从移动设备端转移到穿戴设备端，不受移动设备尺寸、成本等条件限制；支持多种交互方式，大大提升了输入效率；还可实现即时、直观的三维操控，满足VR、AR眼镜的输入需求。
本发明的输入方法，能够与不同设备配对，并且对这些设备进行控制。在复杂的智能环境中，用一种和谐统一的输入方式，降低用户交互学习的成本，提高用户体验。本方法在一只手(辅助手)上佩戴智能戒指，在智能戒指中集成摄像头，以采集另一只手(交互手)的图像信息以获得交互手的运动信息。移动设备可以是智能移动设备，如此一来，智能戒指可以只采集交互手的运动信息，并将运动信息传输给智能移动设备，由智能移动设备对交互手的运动信息进行分析，获取输入信息，这样的好处是可以不在智能戒指上做大量的处理工作，降低了对智能戒指的性能要求，也可以由智能戒指进行交互手的运动信息的采集、输入信息的生成，而将输入信息直接发送给智能移动设备，这样是降低了对智能移动设备的性能要求，提高了智能戒指的适配性；移动设备还可以是非智能移动设备，这就要求必须由智能戒指独立进行采集交互手运动信息、生成输入信息的操作，本发明并不以此为限。
本发明的输入方法，以辅助手的平面作为参考平面，并通过伸展拇指指定交互区域。用户可在交互区域内通过点击、移动手指或其他手势进行交互。本方法通过图像信息对当前手势、指尖位置等本方法将输入界面从智能设备端转移到穿戴设备端，不受智能设备尺寸、成本等条件限制。
本方法提出的一种输入方法支持多种交互方式，大大提升了输入效率，还可实现即时、直观的三维操控，满足VR、AR眼镜的输入需求。本发明的输入方法包括如下关键点：
关键点1，基于智能戒指的输入方法，利用可穿戴戒指进行交互。
关键点2，以辅助手为参考平面的交互方式，不受设备尺寸、大小的限制。
关键点3，支持多种交互方式，通过点击、手指移动、手势等形式，进行丰富的交互。
关键点4，提供即时直观的三维操控，有利于在AR、VR环境中进行交互。
下面举例说明本发明的输入方法的具体操作。
如图2所示，用户可将辅助手平放在一个平面上进行二维输入，如写画、点击、单指拖拽、多指拖拽等，模拟触摸板的输入功能。
如图3所示，用户可将辅助手悬空，进行三维输入。本方法根据交互手手指指尖的在图像中的位置，判别其在空间中与参考平面的相对位置，从而完成三维运动轨迹识别。
如图4所示，本方法能够通过此流程，识别交互手手指(如食指)指尖运动轨迹，完成相应指令输入
如图5所示，本方法能够通过此流程，识别交互手当前手势，完成相应指令输入
图6是本发明的移动设备示意图。如图6所示，本发明实施例提供一种移动设备，包括移动终端和智能戒指，本发明的智能戒指作为移动终端的输入设备，通过识别用户的手部动作以进行对移动终端的输入，智能戒指通过蓝牙、wifi、红外等方式与移动终端通信连接。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器、FPGA、ASIC等)完成，所述程序可以存储于可读存储介质中，如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
相比于现有技术，本发明提供的基于智能戒指的输入方法利用可穿戴设备，无需用户手持外设或佩戴复杂设置即可进行交互，并且使得交互不再受限于设备的体积、尺寸等。利用摄像头，可以达到丰富的交互形式，扩大交互信道。该方法可以提供给用户三维环境下即使直观的交互感受，有利于其在AR、VR中的应用。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种基于智能戒指的输入方法，其特征在于，包括：
以佩戴智能戒指的手为辅助手，以另一只手为交互手，将该智能戒指佩戴于该辅助手的食指；将该辅助手伸平，以该辅助手的拇指与该辅助手的食指之间的区域为交互操作区；
由该智能戒指识别该交互手在该交互操作区的交互运动；提取该交互运动的运动信息，并生成输入信息。
2.如权利要求1所述的输入方法，其特征在于，该智能戒指包括摄像头，识别该交互运动的步骤包括：通过该摄像头连续采集该交互手的运动图像，并根据该运动图像对该交互手进行运动轨迹重建，以获取该运动信息。
3.如权利要求2所述的输入方法，其特征在于，该摄像头的类型包括：RGB摄像头、RGBD摄像头、红外摄像头、热成像摄像头。
4.如权利要求2所述的输入方法，其特征在于，该智能戒指与移动终端通信连接；
其中，该智能戒指将该运动图像传输给该移动终端，由该移动终端提取该运动信息，并生成该输入信息；
或该智能戒指提取该运动信息，并生成该输入信息，并将该输入信息传输给该移动终端。
5.如权利要求2所述的输入方法，其特征在于，通过该摄像头连续采集该交互手的一个或多个手指指尖的运动图像，以获取该运动信息；或连续采集该交互手的手势运动图像，以获取该运动信息。
6.一种基于智能戒指的输入系统，其特征在于，包括：
输入基准模块，用于确定交互动作的运动范围；其中，以佩戴智能戒指的手为辅助手，以另一只手为交互手，将该智能戒指佩戴于该辅助手的食指；将该辅助手伸平，以该辅助手的拇指与该辅助手的食指之间的平面区域为交互操作面；
交互识别模块，用于识别该交互手的运动信息，以生成输入信息；其中，由该智能戒指识别该交互手在该交互操作面的交互运动；提取该交互运动的运动信息，并生成该输入信息。
7.如权利要求6所述的输入系统，其特征在于，该智能戒指包括摄像头，该交互识别模块包括：
采集模块，用于通过该摄像头连续采集该交互手的运动图像；
识别模块，用于根据该运动图像对该交互手进行运动轨迹重建，以获取该运动信息；
其中，该摄像头的类型包括：RGB摄像头、RGBD摄像头、红外摄像头、热成像摄像头。
8.如权利要求6所述的输入系统，其特征在于，还包括：
传输模块，用于将该智能戒指获取的运动信息或该智能戒指生成的输入信息，传送给与该智能戒指通信连接的移动终端。
9.一种智能戒指，设置有摄像头，其特征在于，该智能戒指用于执行如权利要求1-5任一项所述输入方法，进行手势输入。
10.一种移动设备，其特征在于，包括：
如权利要求9所述的智能戒指；
移动终端，与该智能戒指通信连接，并以该智能戒指作为输入设备。
CN202010413596.3A 2020-05-15 2020-05-15 基于智能戒指的输入方法、系统、智能戒指及移动设备 Pending CN111766942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413596.3A CN111766942A (zh) 2020-05-15 2020-05-15 基于智能戒指的输入方法、系统、智能戒指及移动设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413596.3A CN111766942A (zh) 2020-05-15 2020-05-15 基于智能戒指的输入方法、系统、智能戒指及移动设备

Publications (1)

Publication Number Publication Date
CN111766942A true CN111766942A (zh) 2020-10-13

Family

ID=72719358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413596.3A Pending CN111766942A (zh) 2020-05-15 2020-05-15 基于智能戒指的输入方法、系统、智能戒指及移动设备

Country Status (1)

Country Link
CN (1) CN111766942A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105945A (zh) * 2012-12-17 2013-05-15 中国科学院计算技术研究所 一种支持多点触摸手势的人机交互戒指
CN104750266A (zh) * 2015-04-01 2015-07-01 上海交通大学 一种指上穿戴式虚拟键盘输入方法
CN109739349A (zh) * 2018-12-10 2019-05-10 河源市汉祖文化科技有限公司 一种手掌虚拟键盘输入方法、系统及输入传感识别器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105945A (zh) * 2012-12-17 2013-05-15 中国科学院计算技术研究所 一种支持多点触摸手势的人机交互戒指
CN104750266A (zh) * 2015-04-01 2015-07-01 上海交通大学 一种指上穿戴式虚拟键盘输入方法
CN109739349A (zh) * 2018-12-10 2019-05-10 河源市汉祖文化科技有限公司 一种手掌虚拟键盘输入方法、系统及输入传感识别器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TENGXIANG ZHANG等: ""ThermalRing: Gesture and Tag Inputs Enabled by a Thermal Imaging Smart Ring"", 《CONFERENCE: CHI "20: CHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS》 *

Similar Documents

Publication Publication Date Title
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
CN102915111B (zh) 一种腕上手势操控系统和方法
WO2017118075A1 (zh) 人机交互系统、方法及装置
CN202584010U (zh) 一种腕上手势操控系统
WO2016185845A1 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
CN104463152B (zh) 一种手势识别方法、系统、终端设备及穿戴式设备
US9063573B2 (en) Method and system for touch-free control of devices
WO2013139181A1 (zh) 一种用户交互系统和方法
CN110568929B (zh) 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
CN102789312B (zh) 一种用户交互系统和方法
CN104090659A (zh) 基于人眼图像和视线追踪的操作指针指示控制设备
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
WO2012119371A1 (zh) 一种用户交互系统和方法
CN104298340A (zh) 控制方法和电子设备
CN106326881B (zh) 用于实现人机交互的手势识别方法和手势识别设备
WO2016026365A1 (zh) 实现非接触式鼠标控制的人机交互方法和系统
WO2021227651A1 (zh) 一种手指动作采集方法及手指动作采集设备
CN116185166A (zh) 一种基于远距离数字交互的触觉反馈式双向人机交互方法
WO2022207821A1 (en) A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
WO2003003185A1 (en) System for establishing a user interface
CN111766942A (zh) 基于智能戒指的输入方法、系统、智能戒指及移动设备
Choondal et al. Design and implementation of a natural user interface using hand gesture recognition method
Jiang et al. A brief analysis of gesture recognition in VR
CN111491066A (zh) 一种支持手势控制的跟踪式扫描装置及扫描方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201013