CN103777746B - 一种人机交互方法、终端及系统 - Google Patents

一种人机交互方法、终端及系统 Download PDF

Info

Publication number
CN103777746B
CN103777746B CN201210407429.3A CN201210407429A CN103777746B CN 103777746 B CN103777746 B CN 103777746B CN 201210407429 A CN201210407429 A CN 201210407429A CN 103777746 B CN103777746 B CN 103777746B
Authority
CN
China
Prior art keywords
light source
secondary light
camera
operational order
movement locus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210407429.3A
Other languages
English (en)
Other versions
CN103777746A (zh
Inventor
方琎
唐沐
陈妍
杜健
梁璟彪
王涛
万喜
金劲松
程俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN RICHEN TECHNOLOGY CO LTD
Shenzhen Institute of Advanced Technology of CAS
Tencent Cyber Tianjin Co Ltd
Original Assignee
SHENZHEN RICHEN TECHNOLOGY CO LTD
Shenzhen Institute of Advanced Technology of CAS
Tencent Cyber Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN RICHEN TECHNOLOGY CO LTD, Shenzhen Institute of Advanced Technology of CAS, Tencent Cyber Tianjin Co Ltd filed Critical SHENZHEN RICHEN TECHNOLOGY CO LTD
Priority to CN201210407429.3A priority Critical patent/CN103777746B/zh
Priority to PCT/CN2013/078373 priority patent/WO2014063498A1/zh
Publication of CN103777746A publication Critical patent/CN103777746A/zh
Priority to US14/690,263 priority patent/US20150227198A1/en
Application granted granted Critical
Publication of CN103777746B publication Critical patent/CN103777746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种人机交互方法，其特征在于，包括：通过摄像头获取多个辅助光源在摄像区域中的位置和/或运动轨迹；根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势，获取对应的操作指令；执行所述获取到的操作指令。本发明实施例还公开了一种人机交互终端和系统。采用本发明，能够提高手势输入的抗干扰能力，从而提升操控的准确率。

Description

一种人机交互方法、终端及系统
技术领域
本发明涉及人机交互技术领域，具体涉及一种人机交互方法及相关设备、系统。
背景技术
人机交互技术(Human-Computer Interaction Techniques)通常是指通过人机交互终端(如计算机、智能手机等)的输入、输出设备，以有效的方式实现人与人机交互终端对话的技术。它包括人机交互终端通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给人机交互终端输入有关操作指令，可以控制人机交互终端执行相应的操作。人机交互技术是计算机用户界面设计中的重要内容之一，它与认知学、人机工程学、心理学等学科领域有密切的联系。
人机交互技术已经由最初的键盘输入、鼠标输入逐渐演进为触摸屏输入、手势输入。其中，手势输入由于具有操控直观、用户体验高等优点，正越来越受到人们的青睐。而在实际应用中，手势输入一般都是通过普通摄像头直接捕捉和理解手势来实现的。实践发现，采用普通摄像头直接捕捉和理解手势的抗干扰能力差，从而导致操控准确率低。
发明内容
本发明实施例所要解决的技术问题在于，提供一种人机交互方法及相关设备、系统，能够提高手势输入的抗干扰能力，从而提升操控的准确率。
为了解决上述技术问题，本发明实施例第一方面提供了一种人机交互方法，包括：
通过摄像头获取多个辅助光源在摄像区域中的位置和/或运动轨迹；
根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势，获取对应的操作指令；
执行所述获取到的操作指令。
相应地，本发明实施例第二方面还提供了一种人机交互终端，所述人机交互终端包括：
光源捕获模块，用于通过摄像头获取多个辅助光源在摄像区域中的位置和/ 或运动轨迹；
操作指令获取模块，用于根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势，获取对应的操作指令；
指令执行模块，用于执行所述获取到的操作指令。
相应的，本发明实施例第三方面还提供了一种人机交互系统，所述人机交互系统包括多个辅助光源和本发明实施例第二方面所述的人机交互终端，其中：
所述人机交互终端用于通过摄像头获取所述多个辅助光源在摄像区域中的位置和/或运动轨迹，根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势，获取对应的操作指令，执行所述获取到的操作指令。
本发明实施例通过利用摄像头来获取辅助光源在摄像区域中的位置或运动轨迹，进而可以获取辅助光源的位置或运动轨迹所对应的操作指令并执行该操作指令。可见本发明所提供的人机交互方法是通过辅助光源来作为人机交互的依据的，这不仅具有非常良好的抗干扰能力以及更高的操控准确率，还具有很好的商业使用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人机交互方法的流程图；
图2是本发明实施例中的辅助光源设置在适于戴在人手的组件上的示意图；
图3是本发明实施例提供的人机交互方法中对摄像头获取到的图像的处理过程示意图；
图4是本发明实施例提供的人机交互方法中摄像区域的分区示意图；
图5是本发明实施例提供的一种辅助光源在摄像区域中的运动轨迹的示意图；
图6a～6d是本发明实施例提供的人机交互方法中组合手势的示意图；
图7是本发明实施例提供的一种人机交互终端的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种人机交互方法的流程图，如图所示本实施例中的人机交互方法可以包括以下步骤：
S101，通过摄像头获取多个辅助光源在摄像区域中的位置或运动轨迹。
实现本发明实施例中实施人机交互方法的人机交互终端可以是装载有控制软件的，并且具有计算能力的电脑、智能手机、电视机以及各种家庭智能设备、商用智能设备、办公智能设备、移动互联网设备(Mobile Internet Devices，MID) 等，本发明实施例不作具体限定。所述摄像头可以内置在所述人机交互终端中，例如笔记本电脑、智能手机等自带的摄像头，也可以独立于人机交互终端部署，例如，摄像头可以通过通用串行总线(UniversalSerial BUS，USB)与人机交互终端连接，或者也可以通过远程网(Wide Area Network，WAN)与人机交互终端连接，或者摄像头也可以通过蓝牙、红外线等无线方式与人机交互终端连接，本发明实施例对人机交互终端和摄像头之间的部署方式以及连接方式不作具体限定，只要连接关系本质存在即可。
本发明实施例中的提及的多个辅助光源可以设置于适于戴在人手的组件上，例如如图2所述的辅助光源手套上的对应于人手的各个手指和/或掌心的多个位置，根据所述多个辅助光源的大小、形状和颜色中的任一种或两种以上的组合区分各个辅助光源的位置和/或运动轨迹，例如可以采用发光面积的大小来区别手掌处和手指处的光源，在手套上的手掌处可以设置一个发光面积较大的光源，手指处可以设置2～5个较小的光源，左右手的辅助光源手套上的光源可以采用如图2中所示的易识别图案设计的光源已进行区分，也可以采用不同颜色的光源区分不同辅助光源手套上的光源。
所述光源可以是可见光光源，也可以是红外光光源，相应的当辅助光源是可见光的光源时，摄像头可以是可见光摄像头，当辅助光源是红外光光源时，摄像头则需要是能够获取红外图像的红外光摄像头。
本发明实施例中摄像头获取辅助光源在摄像区域中的位置，可以为辅助光源在摄像拍摄到的图像中的所在位置，例如通过将摄像头拍摄到的图像划分为多个子区域，分辨辅助光源所在的子区域，即得到辅助光源在摄像区域中的相对位置。具体实现中，可以包括以下步骤：
1)通过摄像头拍摄包括辅助光源在内的图像，并对该图像进行处理，以获得仅显示辅助光源的图像。如图3所示，A表示摄像头正常情况下拍摄到的包括辅助光源在内的图像，而B为通过调低摄像头的曝光后拍摄到的包括辅助光源在内的图像，从B中可以看出，摄像头在低曝光条件下拍摄到的图像除了包括有辅助光源外，还会带有手型、其他照明灯光等背景杂质，这些背景杂质会降低操控准确率。C表示是对B进行去背景杂质处理的图像，D表示背景杂质彻底处理完毕后，仅显示辅助光源(用圆图表示)的图像。其中，对携带的背景杂质的图像进行去背景杂质处理的方式、过程均是本领域普通技术人员所公知的尝试，本实施例不作详细介绍。在可选实施例中，可以采用红外光光源作为辅助光源，摄像头对应采用红外光摄像头，那么可以直接获得D中仅包括辅助光源的图像。
2)确定所示辅助光源在摄像区域中的位置。本实施例中，如图4所示，可以将摄像头拍摄得到的图像划分成多个方格子区域，假设辅助光源落入摄像头拍摄图像中标号为16的方格子区域，那么人机交互终端可以将辅助光源落入的摄像头模块拍摄图像中标号为16的方格子区域作为辅助光源(用于圆圈表示) 在摄像区域中的位置。对于如图3所示的多个辅助光源，则可以取多个辅助光源的平均中心点位置所在的方格子区域作为所述多个辅助光源的位置。
3)进而若所述多个辅助光源在摄像区域中运动，则可以通过对摄像头在一定连续时间内获取到的图像序列进行连续识别，即可获得多个辅助光源在摄像区域中的运动轨迹，若通过将摄像头拍摄到的图像划分为多个子区域，则可以获取辅助光源的运动穿过子区域的个数和方向。其中，可以根据所述多个辅助光源的大小、形状和颜色中的任一种或两种以上的组合区分各个辅助光源在摄像区域中的位置和/或运动轨迹。
S102，根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势，获取对应的操作指令。本发明实施例中根据所述多个辅助光源在摄像区域中的位置或运动轨迹获取对应的操作指令包括三种不同实现方式：
1)是根据多个辅助光源在摄像区域中的多个位置组成的组合手势获取对应的操作指令；
2)是根据多个辅助光源在摄像区域中的多个运动轨迹组成的组合手势获取对应的操作指令；
3)是分别获取多个辅助光源的位置和运动轨迹组成的组合手势，获取对应的操作指令。
其中，在方式1)中，根据多个辅助光源在摄像区域中的多个位置组成的组合手势获取对应的操作指令可以为：根据所述多个辅助光源所在的摄像区域中的方格子区域，从编码库存储的方格子区域与编码的映射关系中查询辅助光源所在的摄像区域中的方格子区域对应的编码，进而根据查询到的编码，从编码指令映射库存储的编码与操作指令的映射关系中获取该编码对应的操作指令。其中编码库存储的方格子区域与编码的映射关系可以如表1所示。
编码 方格区域参数(以摄像头模块拍摄图像的左上角为原点)
A 左边界=0，右边界=图像宽/3，上边界=0，下边界=图像高/3
B 左边界=图像宽/3，右边界=图像宽*2/3，上边界=0，下边界=图像高/3
C 左边界=图像宽*2/3，右边界=图像宽，上边界=0，下边界=图像高/3
D 左边界=0，右边界=图像宽/3，上边界=图像高/3，下边界=图像高*2/3
E 左边界=图像宽/3，右边界=图像宽*2/3，上边界=图像高/3，下边界=图像高*2/3
F 左边界=图像宽*2/3，右边界=图像宽，上边界=图像高/3，下边界=图像高*2/3
G 左边界=0，右边界=图像宽/3，上边界=图像高*2/3，下边界=图像高
H 左边界=图像宽/3，右边界=图像宽*2/3，上边界=图像高*2/3，下边界=图像高
I 左边界=图像宽*2/3，右边界=图像宽，上边界=图像高*2/3，下边界=图像高
表1编码库存储的方格区域与编码的映射关系
其中，表1表示人机交互终端以摄像头拍摄图像的左上角为原点，均匀地将拍摄图像划分成9个方格子区域。举例来说，假设辅助光源落入的拍摄图像中的子方格区域的方格区域参数为“左边界=0，右边界=图像宽/3，上边界=0，下边界=图像高/3”，那么可以根据辅助光源落入的摄像头模块拍摄图像中的方格子区域，从表1所示的编码库存储的方格子区域与编码的映射关系中查询辅助光源落入的方格子区域对应的编码为A。又如，假设辅助光源落入的拍摄图像中的方格子区域的方格区域参数为“左边界=图像宽*2/3，右边界=图像宽，上边界=图像高*2/3，下边界=图像高”，那么可以根据辅助光源落入的拍摄图像中的方格子区域，从表1所示的编码库存储的方格子区域与编码的映射关系中查询辅助光源落入拍摄图像中的方格子区域对应的编码为I。本领域技术人员应当理解，表1仅仅是一个实施例而已，用户也可以根据自己的偏好均匀地将摄像头模块拍摄图像划分成更多的方格区域，并自定义更多的编码，从而可以丰富对人机交互终端的操作。
本实施例中，结合表1所示的编码库存储的方格区域与编码的映射关系，编码指令映射库存储的编码与操作指令的映射关系可以如表2所示。
编码 指令 说明
A 放大音量 当辅助光源出现在摄像头拍摄图像的左上角，就放大音量
B 保留 保留
C 换下一个频道 当辅助光源出现在摄像头拍摄图像的右上角，就换下个频道
D 减小音量 当辅助光源出现在摄像头拍摄图像的左中区，就缩小音量
E 保留 保留
F 保留 保留
G 静音 当辅助光源出现在摄像头拍摄图像的左下角，就静音
H 保留 保留
I 换下一个频道 当辅助光源出现在摄像头拍摄图像的右下角，就换下个频道
表2编码指令映射库存储的编码与操作指令的映射关系
在可选实施例中，也可以直接采用方格子区域与操作指令的映射关系获取多个辅助光源在摄像区域中的位置对应的操作指令，如下表3表示的是在拍摄图像被均匀划分的9个方格区域与对应操作指令的映射关系：
表3方格子区域与操作指令的映射关系
在方式2)中，根据多个辅助光源在摄像区域中的多个运动轨迹组成的组合手势获取对应的操作指令可以包括：根据多个辅助光源所在的摄像区域中的运动轨迹(一齐运动)经过的方格子区域数量和方向，从编码库存储的方格子区域数量、方向以及编码三者的映射关系中查询辅助光源的运动经过方格子区域数量和方向对应的编码，进而根据查询到的编码，从编码指令映射库存储的编码与操作指令的映射关系中获取该编码对应的操作指令。下表为多个辅助光源所经过的方格子区域数量、方向以及编码三者的映射关系
编码 运动轨迹
a 辅助光源向下经过3个方格区域
b 辅助光源向右经过3个方格区域
c 辅助光源斜向上经过3个方格区域
表4方格子区域数量、方向以及编码三者的映射关系
例如，当人机交互终端确定出多个辅助光源一齐向下经过3个方格区域时，人机交互终端可以通过控制软件从编码库存储的如表4所示的辅助光源所经过的方格子区域数量、方向以及编码三者的映射关系中，查询出辅助光源向下经过3个方格子区域时对应的编码a；当多个辅助光源一齐向右经过3个方格子区域时，该运动轨迹对应了编码b；当多个辅助光源一齐斜向上经过3个方格子区域时，该运动轨迹对应了编码c。
编码 指令 说明
a 向下滚动内容 当辅助光源向下经过3个方格区域时，就向下滚动内容
b 放大画面 当辅助光源斜向上经过3个方格区域时，就放大画面
c 翻下一页 当辅助光源向右经过3个方格区域时，翻下一页
表5编码指令映射库存储的编码与操作指令的映射关系
进而可以将根据运动轨迹查询到的编码在上表中编码与操作指令的映射关系中获取对应的操作指令。例如，当人机交互终端根据辅助光源在摄像区域中的运动轨迹，从表4中查询出辅助光源的运动轨迹对应编码是a时，可以进一步从表5中获取操作指令“向下滚动内容”，此时人机交互终端可知执行该操作指令，实现向下滚动内容。
在可选实施例中，也可以直接采用方格子区域数量、方向与操作指令的映射关系获取辅助光源在摄像区域中的运动轨迹对应的操作指令，映射关系如图5 中的运动轨迹分别对应的操作指令为：
多个辅助光源一齐向下运动三个方格子区域对应的操作指令为向下滚动界面内容；
多个辅助光源一齐向下运动三个方格子区域对应的操作指令为翻页操作；
多个辅助光源一齐斜向上运动三个方格子区域对应的操作指令为放大界面显示比例。
在方式3)中，分别获取多个辅助光源的位置和运动轨迹组成的组合手势，获取对应的操作指令可以与前文方式1)或方式2)的获取对应操作指令的原理类似，可以根据获取到的多个辅助光源的位置和运动轨迹组成的组合手势查询对应的编码，再根据查询到的编码获取对应的操作指令，也可以直接根据识别到的组合手势获取其对应的操作指令。例如如图2所述的辅助光源手套上的对应于人手的各个手指和/或掌心的多个位置分别设置有多个辅助光源，可以根据所述各个手指和/或掌心对应的辅助光源的位置和/或运动轨迹组成的组合手势，获取对应的操作指令。以如图6所示的组合手势为例，图6a为一个辅助光源手套伸开手指时的转动的组合手势，其对应的操作指令可以为控制终端的某个转盘按钮沿手掌转动的方向(顺时针或逆时针)进行转动；图6b为一个辅助光源手套从伸开手指状态收拢手指的组合手势，其对应的操作指令可以为模拟鼠标的单击操作，按下了终端的某个按钮；图6c为一个辅助光源手套在收拢手指状态进行移动的组合手势，其对应的操作指令可以为模拟按下鼠标进行拖拽的操作，对于触摸屏终端则可以为模拟在屏幕上滑动手指的感受，与图6b进行结合可以具体为抓取某图标或按钮拖拽的操作指令；图6d为两个辅助光源手套在收拢手指时双手拉开动作的组合手势，其对应的操作指令可以为将当前终端显示界面进行放大比例，相对应的组合手势可以为在收拢手指时双手并拢动作，其对应的操作指令可以为将当前终端显示界面进行缩小比例，等等其他本领域技术人员可以想到的对应方式。
S103，执行所述获取到的操作指令。本实施例中，操作指令可以包括切不限于电脑操作指令(如打开、关闭、放大、缩小等鼠标操作指令)或电视机遥控指令(如开机、关机、放大音量、减小音量、换下一频道、换上一频道、静音等遥控器操作指令)。
图7为本发明实施例中的人机交互终端的结构示意图，该人机交互终端可以是装载有控制软件的，并且具有计算能力的电脑、智能手机、电视机以及各种家庭智能设备、商用智能设备、办公智能设备、MID等，本发明实施例不作具体限定。如图7所示，本发明实施例中的人机交互终端包括：光源捕获模块 10、操作指令获取模块20以及指令执行模块30，其中：
光源捕获模块10，用于通过摄像头获取多个辅助光源在摄像区域中的位置和/或运动轨迹。具体实现中，所述摄像头可以内置在所述人机交互终端中，例如笔记本电脑、智能手机等自带的摄像头，也可以独立于人机交互终端部署，例如，摄像头可以通过通用串行总线(Universal Serial BUS，USB)与人机交互终端连接，或者也可以通过远程网(WideArea Network，WAN)与人机交互终端连接，或者摄像头也可以通过蓝牙、红外线等无线方式与人机交互终端连接，本发明实施例对人机交互终端和摄像头之间的部署方式以及连接方式不作具体限定，只要连接关系本质存在即可。
本发明实施例中的提及的多个辅助光源可以设置于适于戴在人手的组件上，例如如图2所述的辅助光源手套上的对应于人手的各个手指和/或掌心的多个位置，根据所述多个辅助光源的大小、形状和颜色中的任一种或两种以上的组合区分各个辅助光源的位置和/或运动轨迹，例如可以采用发光面积的大小来区别手掌处和手指处的光源，在手套上的手掌处可以设置一个发光面积较大的光源，手指处可以设置2～5个较小的光源，左右手的辅助光源手套上的光源可以采用如图2中所示的易识别图案设计的光源已进行区分，也可以采用不同颜色的光源区分不同辅助光源手套上的光源。所述辅助光源可以是可见光光源，也可以是红外光光源，相应的当辅助光源是可见光的光源时，摄像头可以是可见光摄像头，当辅助光源是红外光光源时，摄像头则需要是能够获取红外图像的红外光摄像头。
本发明实施例中的光源捕获模块10通过摄像头获取多个辅助光源在摄像区域中的位置，可以为辅助光源在摄像拍摄到的图像中的所在位置，例如通过将摄像头拍摄到的图像划分为多个子区域，分辨辅助光源所在的子区域，即作为辅助光源在摄像区域中的相对位置。进而本发明实施例中的光源捕获模块10可以进一步包括：
定位单元101，用于获取所述多个辅助光源的位置所在的子区域；和/或
轨迹获取单元102，用于获取所述多个辅助光源的运动轨迹所经过的子区域和运动方向。具体实现中，若辅助光源在摄像区域中运动，则可以通过对摄像头在一定连续时间内获取到的图像序列进行连续识别，即可获得多个辅助光源的运动轨迹，进而可以获取辅助光源的运动轨迹穿过子区域的个数和方向。其中，可以根据所述多个辅助光源的大小、形状和颜色中的任一种或两种以上的组合区分各个辅助光源在摄像区域中的位置和/或运动轨迹。
操作指令获取模块20，用于根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势，获取对应的操作指令。具体实现中，本发明实施例中根据所述多个辅助光源在摄像区域中的位置和/或运动轨迹获取对应的操作指令包括三种不同实现方式：
1)是根据多个辅助光源在摄像区域中的多个位置组成的组合手势获取对应的操作指令；
2)是根据多个辅助光源在摄像区域中的多个运动轨迹组成的组合手势获取对应的操作指令；
3)是分别获取多个辅助光源的位置和运动轨迹组成的组合手势，获取对应的操作指令。
针对上述三种获取对应操作指令的方法，本发明在前文方法实施例中已详细阐述，这里不再赘述。
指令执行模块30，用于执行所述操作指令获取模块20获取到的操作指令。
本发明实施例提供了一种人机交互系统，其特征在于，包括多个辅助光源和如前文结合图7所述的人机交互终端，其中：
所述人机交互终端用于通过摄像头获取所述多个辅助光源在摄像区域中的位置和/或运动轨迹，根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势获取对应的操作指令，执行所述获取到的操作指令。
所述多个辅助光源可以如图2所示，设置于适于戴在人手的组件上对应于人手的各个手指和/或掌心的多个位置。人机交互终端根据所述各个手指和/或掌心对应的辅助光源的位置和/或运动轨迹组成的组合手势，获取对应的操作指令。
在本发明实施例所提供的人机交互方法、终端及系统可以利用摄像头来获取辅助光源在摄像区域中的位置或运动轨迹，进而可以获取辅助光源的位置或运动轨迹所对应的操作指令并执行该操作指令。可见本发明所提供的人机交互方法是通过辅助光源来作为人机交互的依据的，这不仅具有非常良好的抗干扰能力以及更高的操控准确率，还具有很好的商业使用价值。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例所提供的人机交互方法及相关设备、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种人机交互方法，其特征在于，包括：
通过摄像头获取多个辅助光源在摄像区域中的位置和/或运动轨迹，根据所述多个辅助光源的大小、形状和颜色中的任一种或两种以上的组合区分各个辅助光源的位置和/或运动轨迹，所述摄像区域被划分为多个子区域；
所述通过摄像头获取多个辅助光源在摄像区域中的位置为：获取所述多个辅助光源的位置所在的子区域；
所述通过摄像头获取多个辅助光源在摄像区域中的运动轨迹为：获取所述多个辅助光源的运动轨迹所经过的子区域和运动方向；
根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势查询对应的编码，进而根据查询到的编码，从编码指令映射库存储的编码与操作指令的映射关系中获取该编码对应的操作指令，其中所述根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势查询对应的编码包括：根据所述多个辅助光源所在的摄像区域中的子区域，从编码库存储的子区域与编码的映射关系中查询辅助光源所在的摄像区域中的子区域对应的编码；
执行所述获取到的操作指令。
2.如权利要求1所述的人机交互方法，其特征在于，所述多个辅助光源设置于适于戴在人手的组件上。
3.如权利要求2所述的人机交互方法，其特征在于，所述多个辅助光源设置在所述组件上对应于人手的各个手指和/或掌心的多个位置。
4.如权利要求3所述的人机交互方法，其特征在于，所述根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势，获取对应的操作指令，包括：
根据所述各个手指和/或掌心对应的辅助光源的位置和/或运动轨迹组成的组合手势，获取对应的操作指令。
5.如权利要求1～4中任一项所述的人机交互方法，其特征在于，所述摄像头为红外光摄像头，并且所述辅助光源为红外光辅助光源；或
所述摄像头为可见光摄像头，并且所述辅助光源为可见光辅助光源。
6.一种人机交互终端，其特征在于，所述人机交互终端包括：
光源捕获模块，用于通过摄像头获取多个辅助光源在摄像区域中的位置和/或运动轨迹，根据所述多个辅助光源的大小、形状和颜色中的任一种或两种以上的组合区分各个辅助光源的位置和/或运动轨迹，所述摄像区域被划分为多个子区域；
操作指令获取模块，用于根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势查询对应的编码，进而根据查询到的编码，从编码指令映射库存储的编码与操作指令的映射关系中获取该编码对应的操作指令，其中所述根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势查询对应的编码包括：根据所述多个辅助光源所在的摄像区域中的子区域，从编码库存储的子区域与编码的映射关系中查询辅助光源所在的摄像区域中的子区域对应的编码；
指令执行模块，用于执行所述获取到的操作指令；
所述光源捕获模块包括：
定位单元，用于获取所述多个辅助光源的位置所在的子区域；和/或
轨迹获取单元，用于获取所述多个辅助光源的运动轨迹所经过的子区域和运动方向。
7.如权利要求6所述的人机交互终端，其特征在于，所述多个辅助光源设置于适于戴在人手的组件上对应于人手的各个手指和/或掌心多个位置；
所述操作指令获取模块具体用于：
根据所述各个手指和/或掌心对应的辅助光源的位置和/或运动轨迹组成的组合手势，获取对应的操作指令。
8.如权利要求6或7所述的人机交互终端，其特征在于，所述摄像头为红外光摄像头，并且所述辅助光源为红外光辅助光源；或
所述摄像头为可见光摄像头，并且所述辅助光源为可见光辅助光源。
9.一种人机交互系统，其特征在于，包括多个辅助光源和如权利要求6～8中任一项所述的人机交互终端，其中：
所述人机交互终端用于通过摄像头获取所述多个辅助光源在摄像区域中的位置和/或运动轨迹，根据获取到的所述多个辅助光源在摄像区域中的位置和/或运动轨迹组成的组合手势，获取对应的操作指令，执行所述获取到的操作指令。
10.如权利要求9所述的人机交互系统，其特征在于，所述多个辅助光源设置于适于戴在人手的组件上。
11.如权利要求10所述的人机交互系统，其特征在于，所述多个辅助光源设置在所述组件上对应于人手的各个手指和/或掌心的多个位置。
CN201210407429.3A 2012-10-23 2012-10-23 一种人机交互方法、终端及系统 Active CN103777746B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210407429.3A CN103777746B (zh) 2012-10-23 2012-10-23 一种人机交互方法、终端及系统
PCT/CN2013/078373 WO2014063498A1 (zh) 2012-10-23 2013-06-28 人机交互方法、终端及系统
US14/690,263 US20150227198A1 (en) 2012-10-23 2015-04-17 Human-computer interaction method, terminal and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210407429.3A CN103777746B (zh) 2012-10-23 2012-10-23 一种人机交互方法、终端及系统

Publications (2)

Publication Number Publication Date
CN103777746A CN103777746A (zh) 2014-05-07
CN103777746B true CN103777746B (zh) 2018-03-13

Family

ID=50543956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210407429.3A Active CN103777746B (zh) 2012-10-23 2012-10-23 一种人机交互方法、终端及系统

Country Status (3)

Country Link
US (1) US20150227198A1 (zh)
CN (1) CN103777746B (zh)
WO (1) WO2014063498A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102165818B1 (ko) 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
US10055018B2 (en) * 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
EP3220788B1 (en) 2014-11-20 2019-04-03 Koninklijke Douwe Egberts B.V. An apparatus for preparing a coffee beverage, a system comprising such an apparatus, use of a coffee container in such a system or in such an apparatus and a method for preparing a coffee beverage using such an apparatus or using such a system
CN106768361B (zh) * 2016-12-19 2019-10-22 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
CN107329470B (zh) * 2017-06-07 2021-06-29 北京臻迪科技股份有限公司 一种涉水机器人的控制方法、装置和涉水机器人
CN107998670A (zh) * 2017-12-13 2018-05-08 哈尔滨拓博科技有限公司 基于平面手势识别的遥控玩具控制系统
WO2019232712A1 (zh) * 2018-06-06 2019-12-12 高驰运动科技(深圳)有限公司 一种智能手表交互方法、智能手表以及光电旋钮组件
CN110047442A (zh) * 2018-06-21 2019-07-23 安徽赛迈特光电股份有限公司 一种显示屏背光源亮度调节装置及方法
CN110968181B (zh) * 2018-09-29 2023-07-18 深圳市掌网科技股份有限公司 一种手指弯曲程度检测装置及方法
CN109582144A (zh) * 2018-12-06 2019-04-05 江苏萝卜交通科技有限公司 一种人机交互的手势识别方法
CN111752379B (zh) * 2019-03-29 2022-04-15 福建天泉教育科技有限公司 一种手势检测方法及系统
CN115682924A (zh) * 2021-07-23 2023-02-03 宏达国际电子股份有限公司 无线位置标定装置、显示系统与穿戴装置
CN114816625B (zh) * 2022-04-08 2023-06-16 郑州铁路职业技术学院 一种自动交互系统界面设计方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449265A (zh) * 2006-03-15 2009-06-03 杰里·M·惠特克 具有浏览并与万维网交互的头戴式显示器的移动全球虚拟浏览器
CN101753872A (zh) * 2008-12-02 2010-06-23 康佳集团股份有限公司 能控制电视机的手套和控制方法以及受控的电视机装置
CN102109902A (zh) * 2009-12-28 2011-06-29 鸿富锦精密工业（深圳）有限公司 基于手势识别的输入装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
US20070220108A1 (en) * 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
US8519979B1 (en) * 2006-12-29 2013-08-27 The Mathworks, Inc. Multi-point interface for a graphical modeling environment
TW200907764A (en) * 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
CN102272699B (zh) * 2008-12-29 2018-06-12 惠普开发有限公司 手势检测分区
US8941625B2 (en) * 2009-07-07 2015-01-27 Elliptic Laboratories As Control using movements
US9507411B2 (en) * 2009-09-22 2016-11-29 Facebook, Inc. Hand tracker for device with display
US8861797B2 (en) * 2010-11-12 2014-10-14 At&T Intellectual Property I, L.P. Calibrating vision systems
CA2831618A1 (en) * 2011-03-28 2012-10-04 Gestsure Technologies Inc. Gesture operated control for medical information systems
US8947429B2 (en) * 2011-04-12 2015-02-03 Autodesk, Inc. Gestures and tools for creating and editing solid models
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
CN103576848B (zh) * 2012-08-09 2016-07-13 腾讯科技（深圳）有限公司 手势操作方法和手势操作装置
CN103729131A (zh) * 2012-10-15 2014-04-16 腾讯科技（深圳）有限公司 一种人机交互方法及相关设备、系统
US8473871B1 (en) * 2012-10-16 2013-06-25 Google Inc. Multiple seesawing panels
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
US10223517B2 (en) * 2013-04-14 2019-03-05 Kunal Kandekar Gesture-to-password translation
US20150169070A1 (en) * 2013-12-17 2015-06-18 Google Inc. Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9634833B2 (en) * 2014-06-20 2017-04-25 Google Inc. Gesture-based password entry to unlock an encrypted device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449265A (zh) * 2006-03-15 2009-06-03 杰里·M·惠特克 具有浏览并与万维网交互的头戴式显示器的移动全球虚拟浏览器
CN101753872A (zh) * 2008-12-02 2010-06-23 康佳集团股份有限公司 能控制电视机的手套和控制方法以及受控的电视机装置
CN102109902A (zh) * 2009-12-28 2011-06-29 鸿富锦精密工业（深圳）有限公司 基于手势识别的输入装置

Also Published As

Publication number Publication date
CN103777746A (zh) 2014-05-07
US20150227198A1 (en) 2015-08-13
WO2014063498A1 (zh) 2014-05-01

Similar Documents

Publication Publication Date Title
CN103777746B (zh) 一种人机交互方法、终端及系统
CN110163048B (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN104123007B (zh) 一种多维加权的3d动态手势识别方法
JP5784141B2 (ja) 重畳筆記による手書き入力方法
US8866781B2 (en) Contactless gesture-based control method and apparatus
CN105183338B (zh) 对象处理方法
DE202016001483U1 (de) Geräte zur Steuerung einer Medienpräsentation
CN103440033B (zh) 一种基于徒手和单目摄像头实现人机交互的方法和装置
CN103135748B (zh) 人机交互操作指令的触发控制方法和系统
CN110727496B (zh) 图形用户界面的布局方法、装置、电子设备及存储介质
CN104583902A (zh) 改进的手势的识别
CN106020478A (zh) 一种智能终端操控方法、装置和智能终端
CN110102044B (zh) 基于智能手环的游戏控制方法、智能手环及存储介质
CN112131965B (zh) 一种人体姿态估计方法、装置、电子设备及存储介质
CN107272881A (zh) 一种信息输入方法及装置，输入法键盘和电子设备
CN103106038B (zh) 基于草图手势及弧形摘要时间轴的视频交互方法和系统
CN105138131B (zh) 一种通用的手势命令发射和操作方法
WO2016145827A1 (zh) 终端的控制方法及装置
CN106817538A (zh) 电子设备、图片拍摄方法及装置
CN106383583A (zh) 用于隔空人机交互的控制虚拟物体精确定位的方法与系统
Yamato et al. Hand gesture interaction with a low-resolution infrared image sensor on an inner wrist
Widodo et al. Laser spotlight detection and interpretation of its movement behavior in laser pointer interface
CN106325745A (zh) 一种截图方法及装置
US10359867B2 (en) Information processing apparatus and information processing method
CN103336587B (zh) 一种九轴惯性定向输入装置的远端悬浮触控设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant