CN105487673B - 一种人机交互系统、方法及装置 - Google Patents

一种人机交互系统、方法及装置 Download PDF

Info

Publication number
CN105487673B
CN105487673B CN201610004024.3A CN201610004024A CN105487673B CN 105487673 B CN105487673 B CN 105487673B CN 201610004024 A CN201610004024 A CN 201610004024A CN 105487673 B CN105487673 B CN 105487673B
Authority
CN
China
Prior art keywords
gesture
gestures
current images
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610004024.3A
Other languages
English (en)
Other versions
CN105487673A (zh
Inventor
卢永春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610004024.3A priority Critical patent/CN105487673B/zh
Publication of CN105487673A publication Critical patent/CN105487673A/zh
Priority to PCT/CN2016/098568 priority patent/WO2017118075A1/zh
Priority to US15/519,689 priority patent/US10585488B2/en
Application granted granted Critical
Publication of CN105487673B publication Critical patent/CN105487673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种人机交互系统、方法及装置，涉及人机交互技术领域，为解决用户进行虚拟现实技术的人机交互活动的操作便利性较低的问题。所述人机交互系统，包括可穿戴设备和显示设备；采集设备包括可穿戴设备包括用于采集用户的当前手势图像和显示设备的显示图像的图像采集模块、存储器、用于将当前手势图像与存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像的处理器、用于投射出包括虚拟工具图像和显示图像的虚拟图像的图像投射模块和信息发送接口；本发明提供的人机交互系统用于人机交互活动。

Description

一种人机交互系统、方法及装置
技术领域
本发明涉及人机交互技术领域，尤其涉及一种人机交互系统、方法及装置。
背景技术
随着电子信息科学技术的发展，人与计算机的交互活动在人们的日常生活中占据了重要的地位，其中，结合虚拟现实技术利用人的动作进行人机交互活动也成为了人机交互活动的一个主要发展趋势。
现有技术中，结合虚拟现实技术进行人机交互活动时，用户需要与计算机直接接触，或者使用实体输入装置对计算机发出操作指令。比如，用户对计算机进行触摸操作，从而实现计算机的各种功能，或者，计算机连接有鼠标和键盘，用户利用鼠标和键盘对计算机发出操作指令，从而实现计算机的各种功能。但是，由于用户需要使用实体物理装置来操作计算机的方式较为复杂，使得用户进行虚拟现实技术的人机交互活动的操作便利性较低。
发明内容
本发明的目的在于提供一种人机交互系统、方法及装置，用于提高用户进行虚拟现实技术的人机交互活动的操作便利性。
为了实现上述目的，本发明提供如下技术方案：
第一方面，本发明提供了一种人机交互系统，包括：可穿戴设备和显示设备；
所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接口；
所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像；
所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像；
所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备；
所述显示设备用于在接收到所述控制指令时，执行所述控制指令。
第二方面，本发明提供了一种人机交互方法，包括：
可穿戴设备采集用户的当前手势图像和显示设备的显示图像；
将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
根据所述控制指令，生成与所述控制指令对应的虚拟工具图像，投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；
将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。
第三方面，本发明提供了一种人机交互装置，包括：
采集模块，用于采集用户的当前手势图像和所述显示设备的显示图像；
确定模块，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
生成模块，用于根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
投射模块，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；
发送模块，用于将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。
本发明提供的人机交互系统、方法及装置中，采集用户的当前手势图像和显示设备的显示图像，将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，并向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一中人机交互系统的结构示意图；
图2为本发明实施例二中人机交互系统的结构示意图；
图3为本发明实施例三中人机交互方法的流程图；
图4为本发明实施例四中人机交互方法的流程图；
图5为本发明实施例五中人机交互方法的流程图；
图6为本发明实施例五中用户的视觉效果图；
图7为本发明实施例六中人机交互装置的结构示意图。
附图标记：
10-人机交互系统，11-可穿戴设备，12-显示设备，13-镜片，14-镜框，15-虚拟笔，16-智能眼镜，111-图像采集模块，112-存储器，113-处理器，114-图像投射模块，115-信息发送接口。
具体实施方式
为了进一步说明本发明实施例提供的人机交互系统及方法，下面结合说明书附图进行详细描述。
实施例一
请参阅图1，本发明实施例提供的人机交互系统10包括可穿戴设备11和显示设备12，可穿戴设备11包括图像采集模块111、存储器112、处理器113、图像投射模块114、信息发送接口115；图像采集模块111连接处理器113，用于采集用户的当前手势图像和显示设备12的显示图像，具体的，图像采集模块111可以为摄像头、拍照镜头或图像传感器等具有图像采集功能的结构；处理器113连接存储器112，用于将当前手势图像与存储器112中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像，虚拟工具图像为某种工具的虚拟显示图像，需要说明的是，存储器112中存储有手势数据库，手势数据库中包括多种手势以及多种手势各自的相关数据，在具体实施过程中，手势数据库也具有自学习的功能，能够将学习到的新的手势添加到手势数据库中；图像投射模块114连接处理器113，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像，根据具体需求，除了上述虚拟图像，图像透射模块还可以投射出用户的当前手势图像；信息发送接口115连接处理器113，用于将控制指令发送给显示设备12，信息发送接口115可以根据可穿戴设备11与显示设备12之间使用的通信技术而定，可穿戴设备11与显示设备12之间能够通过有线连接，也可以通过无线连接，优选无线连接，比如利用WiFi(WIreless-Fidelity，无线宽带)、蓝牙、ZigBee(紫蜂协议)等无线通讯手段进行通信，从而使用对应的信息发送接口115；显示设备12用于在接收到控制指令时，执行控制指令，从而完成控制指令对应的功能，控制指令对应的功能能够由虚拟工具完成，比如，与控制指令对应的虚拟工具图像为虚拟笔的图像，则显示装置实现的与控制指令对应的功能为虚拟笔的书写、标记功能。具体的，可穿戴设备11具体可以为智能眼镜、穿戴头盔、智能手环等设备，显示设备12具体可以为智能手机、平板电脑等便于携带的手持显示终端，在此并不限定。
本发明提供的人机交互系统10中，图像采集模块111采集用户的当前手势图像和显示设备12的显示图像，处理器113将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，图像投射模块114投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，信息发送接口115向显示设备12发送控制指令，显示设备12执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备12实现对应的功能，不需要特意使用物理实体装置对显示设备12进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
实施例二
在实施例一的基础上，请参阅图2，以可穿戴设备11为智能眼镜16为例来进行说明。智能眼镜16包括与左右眼对应的两个镜片13以及支持镜片的镜框14，两个镜片13均为近眼透镜，显示设备12上的显示图像以及用户的当前手势图像均可以通过镜片13透射至佩戴智能眼镜16的用户的双眼，图像投射模块114可以集成于镜片13中，将包括虚拟工具图像和显示设备的显示图像的虚拟图像投影至用户眼前，或直接显示在镜片13上，使得用户能够通过智能眼镜16观看到包括虚拟工具图像和显示设备的显示图像的虚拟图像；其中，图像采集模块111、存储器112、处理器113和信息发送接口115均可设置在智能眼镜16的镜框14上。
实施例三
请参阅图3，本发明实施例还提供了一种人机交互方法，该人机交互方法应用于上述实施例中的可穿戴设备，可穿戴设备具体可以为智能眼镜、穿戴头盔、智能手环等设备，人机交互方法包括：
步骤201，采集用户的当前手势图像和显示设备的显示图像；需要说明的是，这里采集到的是当前手势图像和显示设备的显示图像的组合图像，之后再对当前手势图像和显示设备的显示图像进行分离。
步骤202，将当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令；需要说明的是，手势数据库中存储有多种手势，将当前手势图像与手势数据库中的手势进行匹配，检测手势数据库中是否存在与当前手势图像相同或相似的手势，将与当前手势图像相同或相似的手势的手势类别，作为与当前手势图像匹配的手势的手势类别，针对不同的手势类别可以确定不同的控制指令，具体的，可以根据手势类别，直接生成与该手势类别对应的控制指令，也可以预先存储手势类别与控制指令的对应关系，根据当前的手势类别，调用与当前的手势类别对应的控制指令。
步骤203，将控制指令发送给显示设备，使得显示设备执行控制指令；显示设备在接收到可穿戴设备发送的控制指令后，执行控制指令，从而实现与控制指令对应的功能。
步骤204，根据控制指令，生成与控制指令对应的虚拟工具图像；需要说明的是，控制指令具有对应的虚拟工具，在步骤204中需要在可穿戴设备中形成虚拟工具图像，即虚拟工具的图像，这里的虚拟工具并不是实际存在的，用户是通过可穿戴设备看到生成的虚拟工具图像的。
步骤205，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像；需要说明的是，除了上述虚拟图像外，可穿戴设备还可以投射用户的当前手势图像，使得用户能够通过可穿戴设备观看到虚拟工具图像和显示设备上的显示图像，或者观看到虚拟工具图像、显示设备上的显示图像和当前手势图像，且可穿戴设备投射出的图像会根据可穿戴设备采集到的当前手势图像和显示设备的显示图像进行实时更新，可穿戴设备会投射出连贯的画面。
本发明提供的人机交互方法中，采集用户的当前手势图像和显示设备的显示图像，将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，并向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
实施例四
请参阅图4，在实施例三的基础上，实施例三中的步骤201能够具体细化为步骤2011和步骤2012，步骤202能够具体细化为步骤2020-步骤2024，具体内容如下：
步骤2011，同时对用户的当前手势和显示设备的显示图像进行拍照或摄像，获取包含当前手势图像和显示设备的显示图像的混合图像；在用户还未做出手势，即可穿戴设备还未采集到用户的当前手势图像时，可穿戴设备先采集显示设备的显示图像，从而得到当前场景下用户做出的手势所处的主体环境，在可穿戴设备同时采集到用户的当前手势和显示设备的显示图像的混合图像时，执行步骤2012，值得一提的是，采集图像的具体方式可以为拍照或摄像。
步骤2012，从混合图像中分别识别出当前手势图像和显示设备的显示图像；具体的，可以通过背景分离方法将混合图像中的当前手势图像和显示设备当前的显示图像分离开来，从而分别识别出当前手势图像和显示设备的显示图像。
步骤2020，根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹；其中，从当前手势图像中可以获取手势边缘轮廓和手势运动轨迹，手势边缘轮廓用于表示手势的轮廓和具体形状，手势运动轨迹用于表示手势的运动方向以及变化过程等，比如：可穿戴设备采集到用户的手握成实心拳，在显示设备前直线移动的手势，其中，手势边缘轮廓表示握成实心拳的手的轮廓为近似于圆形的形状，以及实心拳的具体各个手指的形状和位置，手势运动轨迹表示实心拳呈直线运动；再比如，可穿戴设备采集到用户的手握成空心拳，在显示设备前曲线移动的手势，手势边缘轮廓表示握成空心拳的手的外部轮廓为近似于圆形的形状，以及空心拳的具体各个手指的形状和位置，手势运动轨迹数据表示空心拳呈曲线运动；当区分实心拳与空心拳时，由于实心拳与空心拳这两个手势中各个手指的形状和位置不同，故可以由手势边缘轮廓来区分实心拳和空心拳的不同。值得一提的是，用于表征手势的特征包括但并不限于上述手势边缘轮廓和手势运动轨迹，能够表征手势的不同的特征均属于本发明的保护范围。
步骤2021，判断当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；需要说明的是，手势数据库中的手势也具有手势边缘轮廓和手势运动轨迹等特征，将当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹进行对比，判断是否匹配。
步骤2022，若匹配，则确定预存的手势的手势类别为当前手势图像对应的手势类别；其中，手势类别是手势自身的一种属性，用于表征手势的种类，比如，开启手势类别、标记手势类别、放大手势类别等等。
步骤2023，若不匹配，则确定预存的手势的手势类别不是当前手势图像对应的手势类别。
步骤2024，根据预存的所手势类别和控制指令的对应关系，查找并得到与手势类别对应的控制指令；需要说明的是，可穿戴设备中还可以预存有手势类别和控制指令的对应关系，当确定手势类别后，查找到与手势类别对应的控制指令，便于进行调用。
实施例五
请参阅图5，在实施例三和实施例四的基础上，实施例三中的步骤202能够具体细化为步骤2025-步骤2029和步骤2024，具体内容如下：
步骤2025，根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立手势边缘轮廓和手势运动轨迹的特征向量；其中，手势边缘轮廓具有对应的特征向量，手势运动轨迹也具有对应的特征向量。
步骤2026，提取手势边缘轮廓和手势运动轨迹对应的特征向量的特征值；可穿戴设备对手势边缘轮廓和手势运动轨迹的特征向量进行分割与特征值提取，提取出手势边缘轮廓和手势运动轨迹对应的特征向量的特征值。
步骤2027，判断手势边缘轮廓和手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配；具体的，手势数据库中的手势的手势边缘轮廓和手势运动轨迹也具有特征向量，可以利用提取出的与当前手势图像对应的各特征值，与手势数据库中的手势对应的各特征值进行匹配，也就是说，判断当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓是否匹配，以及当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹是否匹配。
步骤2028，若匹配，则确定预存的手势的手势类别为当前手势图像对应的手势类别；具体的，当当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓匹配，且当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹匹配，即可确定预存的手势的手势类别为当前手势图像对应的手势类别。
步骤2029，若不匹配，则确定预存的手势的手势类别不是当前手势图像对应的手势类别；当当前手势图像的手势边缘轮廓与预存的手势的手势边缘轮廓不匹配，或者当前手势图像的手势运动轨迹与预存的手势的手势运动轨迹不匹配，或者上述两者均不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
步骤2024，根据预存的手势类别和控制指令的对应关系，查找并得到与手势类别对应的控制指令；具体内容参见实施例四，在此不再赘述。
下面以一具体举例来进行本实施例中人机交互系统实现人机交互活动的说明：如图2所示，智能眼镜16利用摄像头采集图像，显示设备12为平板电脑，平板电脑上显示的画面是文字阅读界面，智能眼镜16上的摄像头对平板电脑显示的文字阅读界面进行采集，得到平板电脑的显示图像；用户此时希望对文字阅读界面中的某句文字进行标记，故用户做出握笔手势，想要在该句文字对应的位置做出标记，需要注意的是，用户手中不存在触摸笔等真实物理工具，此时，摄像头采集到了平板电脑显示的文字阅读界面和用户的握笔手势，从而得到显示图像和当前手势图像；智能眼镜16分别对握笔手势的手势边缘轮廓和手势运动轨迹建立特征向量，并从上述特征向量中提取特征值，在智能眼镜16中存储的手势数据库中进行匹配，从而在手势数据库中得到与提取的特征值匹配的手势的手势类别为握笔标记手势，并将手势为握笔标记手势对应的控制指令传送给平板电脑，平板电脑根据握笔标记手势的控制指令，在智能眼镜16的视野范围内形成虚拟笔15的图像，在握笔手势对应的文字处进行标记，需要注意的是，智能眼镜16生成虚拟笔15的图像，使得用户可以通过智能眼镜16看到虚拟笔15的图像，用户看到的效果图为图6，与用户使用触摸笔等真实物理工具进行标记的效果相同。
下面再以另一具体举例来进行本实施例中人机交互系统实现人机交互活动的说明：智能眼镜利用摄像头采集图像，显示设备为平板电脑，平板电脑上显示的画面是文字阅读界面或游戏界面，用户需要将文字阅读界面或游戏界面放大，则可做出手持放大镜的手势或加号手势，摄像头采集到手持放大镜的手势图像或加号手势图像后，智能眼镜分别对放大镜的手势图像或加号手势图像的手势边缘轮廓和手势运动轨迹建立特征向量，并从上述特征向量中提取特征值，在智能眼镜中存储的手势数据库中进行匹配，从而得到在手势数据库中与提取的特征值匹配的手势的手势类别为放大手势，并将放大手势对应的控制指令传送给平板电脑，平板电脑根据放大手势的控制指令，在智能眼镜的视野范围内形成虚拟放大镜的图像，并将文字阅读界面或游戏界面放大，用户可以通过智能眼镜看到虚拟放大镜的图像以及放大的文字阅读界面或游戏界面。
本实施例中的人机交互系统，智能眼镜利用手势边缘轮廓和手势运动轨迹对采集到的手势进行识别和匹配，并根据目标手势生成控制指令，根据控制指令生成虚拟工具图像，显示设备执行控制指令对应的功能，使得人机交互活动更加精准、完善。
实施例六
请参照图7，本发明实施例还提供了一种人机交互装置30，包括：
采集模块31，用于采集用户的当前手势图像和显示设备的显示图像；
确定模块32，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
发送模块33，用于将控制指令发送给显示设备，使得显示设备执行控制指令；
生成模块34，用于根据控制指令，生成与控制指令对应的虚拟工具图像；
投射模块35，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像。
本发明提供的人机交互装置30中，采集模块31采集用户的当前手势图像和显示设备的显示图像，确定模块32将当前手势图像与手势数据库中的手势进行匹配，确定匹配手势的手势类别，确定与手势类别对应的控制指令，生成模块34生成与控制指令对应的虚拟工具图像，投射模块35投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，发送模块33向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。
实施例七
在实施例六的基础上，下面将介绍上述各个模块的具体功能：
采集模块31具体用于同时对用户的当前手势和显示设备的显示图像进行拍照或摄像，获取包含当前手势图像和显示设备的显示图像的混合图像；从混合图像中分别识别出当前手势图像和显示设备的显示图像。
确定模块32具体用于根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。
确定模块32还可以具体用于：根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹；判断当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；当匹配时，确定预存的手势的手势类别为当前手势图像对应的手势类别；当不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
确定模块32还可以具体用于：根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立手势边缘轮廓和手势运动轨迹的特征向量；提取手势边缘轮廓和手势运动轨迹对应的特征向量的特征值；判断手势边缘轮廓和手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配；当匹配时，确定预存的手势的手势类别为当前手势图像对应的手势类别；当不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于人机交互装置的实施例而言，由于其基本相似于人机交互方法实施例，所以描述得比较简单，相关之处参见人机交互方法实施例的部分说明即可。
在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种人机交互系统，其特征在于，包括：可穿戴设备和显示设备；
所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接口；
所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像；
所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像；
所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备；
所述显示设备用于在接收到所述控制指令时，执行所述控制指令；
所述将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括，
根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹；判断当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；当匹配时，确定预存的手势的手势类别为当前手势图像对应的手势类别；当不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别；
或者，
所述将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括，
根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立所述手势边缘轮廓和所述手势运动轨迹的特征向量；提取所述手势边缘轮廓和所述手势运动轨迹对应的特征向量的特征值；判断所述手势边缘轮廓和所述手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配；当匹配时，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别；当不匹配时，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。
2.根据权利要求1所述的人机交互系统，其特征在于，所述可穿戴设备为智能眼镜，所述智能眼镜包括镜片和支撑所述镜片的镜框，所述图像投射模块集成在所述镜片中，所述图像采集模块设置在所述镜框上。
3.一种人机交互方法，其特征在于，包括：
可穿戴设备采集用户的当前手势图像和显示设备的显示图像；
将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；
将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令；
所述将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括：
根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹；
判断所述当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；
若匹配，则确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别；
若不匹配，则确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别；
或者，
所述将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括：
根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立所述手势边缘轮廓和所述手势运动轨迹的特征向量；
提取所述手势边缘轮廓和所述手势运动轨迹对应的特征向量的特征值；
判断所述手势边缘轮廓和所述手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配；
若匹配，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别；
若不匹配，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。
4.根据权利要求3所述的人机交互方法，其特征在于，采集用户的当前手势图像和显示设备的显示图像，具体包括：
同时对用户的当前手势和所述显示设备的显示图像进行拍照或摄像，获取包含所述当前手势图像和所述显示设备的显示图像的混合图像；
从所述混合图像中分别识别出所述当前手势图像和所述显示设备的显示图像。
5.根据权利要求3所述的人机交互方法，其特征在于，确定与所述手势类别对应的控制指令，具体包括：
根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。
6.一种人机交互装置，其特征在于，包括：
采集模块，用于采集用户的当前手势图像和显示设备的显示图像；
确定模块，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；
生成模块，用于根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；
投射模块，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；
发送模块，用于将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令；
所述确定模块具体用于：根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹；判断所述当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；当匹配时，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别；当不匹配时，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别；
或者，
所述确定模块具体用于：根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立所述手势边缘轮廓和所述手势运动轨迹的特征向量；提取所述手势边缘轮廓和所述手势运动轨迹对应的特征向量的特征值；判断所述手势边缘轮廓和所述手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配；当匹配时，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别；当不匹配时，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。
7.根据权利要求6所述的人机交互装置，其特征在于，所述采集模块具体用于：同时对用户的当前手势和所述显示设备的显示图像进行拍照或摄像，获取包含所述当前手势图像和所述显示设备的显示图像的混合图像；从所述混合图像中分别识别出所述当前手势图像和所述显示设备的显示图像。
8.根据权利要求6所述的人机交互装置，其特征在于，所述确定模块具体用于：根据预存的所述手势类别和控制指令的对应关系，查找并得到与所述手势类别对应的控制指令。
CN201610004024.3A 2016-01-04 2016-01-04 一种人机交互系统、方法及装置 Active CN105487673B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610004024.3A CN105487673B (zh) 2016-01-04 2016-01-04 一种人机交互系统、方法及装置
PCT/CN2016/098568 WO2017118075A1 (zh) 2016-01-04 2016-09-09 人机交互系统、方法及装置
US15/519,689 US10585488B2 (en) 2016-01-04 2016-09-09 System, method, and apparatus for man-machine interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610004024.3A CN105487673B (zh) 2016-01-04 2016-01-04 一种人机交互系统、方法及装置

Publications (2)

Publication Number Publication Date
CN105487673A CN105487673A (zh) 2016-04-13
CN105487673B true CN105487673B (zh) 2018-01-09

Family

ID=55674697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610004024.3A Active CN105487673B (zh) 2016-01-04 2016-01-04 一种人机交互系统、方法及装置

Country Status (3)

Country Link
US (1) US10585488B2 (zh)
CN (1) CN105487673B (zh)
WO (1) WO2017118075A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105487673B (zh) * 2016-01-04 2018-01-09 京东方科技集团股份有限公司 一种人机交互系统、方法及装置
CN105975058A (zh) * 2016-04-26 2016-09-28 上海与德通讯技术有限公司 虚拟现实一体机的控制方法及装置
CN105975158A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟现实交互的方法及装置
CN107450715A (zh) * 2016-05-31 2017-12-08 大唐电信科技股份有限公司 一种基于手势识别的人机交互多功能腕带终端
CN106094989A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 一种增强现实图像定位显示方法、装置和系统
CN106125918A (zh) * 2016-06-18 2016-11-16 深圳晨芯时代科技有限公司 一种虚拟现实装置和虚拟现实分享系统
CN106155311A (zh) * 2016-06-28 2016-11-23 努比亚技术有限公司 Ar头戴设备、ar交互系统及ar场景的交互方法
CN106200964B (zh) * 2016-07-06 2018-10-26 浙江大学 一种虚拟现实中基于移动轨迹识别进行人机交互的方法
CN106200956A (zh) * 2016-07-07 2016-12-07 北京时代拓灵科技有限公司 一种虚拟现实领域多媒体呈现和交互的方法
CN106155324B (zh) * 2016-07-13 2019-05-31 中国人民解放军海军医学研究所 一种操作水下武器装备的人机交互辅助方法及系统
CN106484102A (zh) * 2016-09-19 2017-03-08 惠州Tcl移动通信有限公司 一种根据手势识别用户操作动作的方法及系统
CN106896914A (zh) * 2017-01-17 2017-06-27 珠海格力电器股份有限公司 信息的转换方法和装置
US10261595B1 (en) * 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions
CN107272890A (zh) * 2017-05-26 2017-10-20 歌尔科技有限公司 一种基于手势识别的人机交互方法和装置
CN107340965A (zh) * 2017-06-28 2017-11-10 丝路视觉科技股份有限公司 桌面显示设备及其控制方法、待识别物体及其识别方法
WO2019100247A1 (zh) * 2017-11-22 2019-05-31 华为技术有限公司 应用于虚拟现实的图像显示方法、装置、设备及系统
CN108460354B (zh) * 2018-03-09 2020-12-29 深圳臻迪信息技术有限公司 无人机控制方法、装置、无人机及系统
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN112925418A (zh) * 2018-08-02 2021-06-08 创新先进技术有限公司 一种人机交互方法和装置
CN109710066B (zh) * 2018-12-19 2022-03-25 平安普惠企业管理有限公司 基于手势识别的交互方法、装置、存储介质和电子设备
CN109672866A (zh) * 2018-12-27 2019-04-23 高腾飞 一种监控设备远程安全控制方法及系统
CN111913639B (zh) * 2019-05-07 2022-01-28 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、系统、终端设备及存储介质
US11334212B2 (en) * 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
CN110442238A (zh) * 2019-07-31 2019-11-12 腾讯科技（深圳）有限公司 一种确定动态效果的方法及装置
CN110780734B (zh) * 2019-09-25 2023-11-03 深圳清元文化科技有限公司 一种基于雷达的手势交互ar投影方法及装置
CN112825013A (zh) * 2019-11-20 2021-05-21 百度在线网络技术（北京）有限公司 终端设备的控制方法和装置
CN111377169A (zh) * 2020-01-23 2020-07-07 杭州睿杨环境科技有限公司 一种基于人工智能技术的多功能垃圾箱
CN111627039A (zh) * 2020-05-09 2020-09-04 北京小狗智能机器人技术有限公司 一种基于图像识别的交互系统及交互方法
CN111470216A (zh) * 2020-05-25 2020-07-31 孙科航 基于手势识别控制的分类垃圾箱开盖装置
CN111627097B (zh) * 2020-06-01 2023-12-01 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN112578987A (zh) * 2020-12-25 2021-03-30 广州壹创电子科技有限公司 屏外交互式触摸一体机及其交互方法
CN113764093A (zh) * 2021-08-18 2021-12-07 上海电气集团股份有限公司 混合现实显示设备及其手术信息处理方法、存储介质
CN113419636B (zh) * 2021-08-23 2021-11-30 北京航空航天大学 虚拟维修中手势识别方法及工具自动匹配方法
CN114706486A (zh) * 2022-04-26 2022-07-05 四川大学 基于手势识别的混合现实工业控制方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064514A (zh) * 2012-12-13 2013-04-24 航天科工仿真技术有限责任公司 沉浸式虚拟现实系统中的空间菜单的实现方法
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928590B1 (en) * 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
CN103576840A (zh) 2012-07-24 2014-02-12 上海辰戌信息科技有限公司 基于立体视觉的手势体感控制系统
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN103295029A (zh) 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
CN204463032U (zh) * 2014-12-30 2015-07-08 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和虚拟现实头戴设备
CN105068649A (zh) * 2015-08-12 2015-11-18 深圳市埃微信息技术有限公司 基于虚拟现实头盔的双目手势识别装置及方法
CN105487673B (zh) 2016-01-04 2018-01-09 京东方科技集团股份有限公司 一种人机交互系统、方法及装置
CN205485916U (zh) 2016-01-04 2016-08-17 京东方科技集团股份有限公司 一种人机交互系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064514A (zh) * 2012-12-13 2013-04-24 航天科工仿真技术有限责任公司 沉浸式虚拟现实系统中的空间菜单的实现方法
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备

Also Published As

Publication number Publication date
US20180101237A1 (en) 2018-04-12
US10585488B2 (en) 2020-03-10
WO2017118075A1 (zh) 2017-07-13
CN105487673A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105487673B (zh) 一种人机交互系统、方法及装置
US10146316B2 (en) Method and apparatus for disambiguating a plurality of targets
CN104463152B (zh) 一种手势识别方法、系统、终端设备及穿戴式设备
CN105068646B (zh) 终端的控制方法和系统
CN109154860A (zh) 情感/认知状态触发记录
EP3110141A1 (en) Information processing apparatus, control method, program, and system
CN109219955A (zh) 视频按入
CN102789313A (zh) 一种用户交互系统和方法
US20150015542A1 (en) Control Method And Electronic Device
CN109840465A (zh) 识别图像中的文本的电子装置
WO2021227628A1 (zh) 一种电子设备及其交互方法
CN105653037A (zh) 一种基于行为分析的交互系统及方法
CN110442233B (zh) 一种基于手势交互的增强现实键鼠系统
CN110443794A (zh) 一种基于病理图像的图像状态确定方法、装置以及系统
CN110770688A (zh) 信息处理系统、信息处理方法及程序
CN107688385A (zh) 一种控制方法及装置
CN107463903A (zh) 人脸关键点定位方法及装置
CN107817904A (zh) 用于显示软键的方法及其电子设备
CN108829239A (zh) 终端的控制方法、装置及终端
CN105630157A (zh) 控制方法及控制装置、终端和控制系统
CN108369451A (zh) 信息处理装置、信息处理方法及程序
CN205485916U (zh) 一种人机交互系统
Chen et al. Lisee: A headphone that provides all-day assistance for blind and low-vision users to reach surrounding objects
CN103713387A (zh) 电子设备和采集方法
CN112507880A (zh) 模型训练方法、洗手行为检测方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant