CN205485916U - 一种人机交互系统 - Google Patents

Abstract

本实用新型公开一种人机交互系统，涉及人机交互技术领域，为解决用户进行虚拟现实技术的人机交互活动的操作便利性较低的问题。所述人机交互系统包括可穿戴设备和显示设备，可穿戴设备包括摄像头、存储器、处理器和投影镜头；摄像头用于采集用户的当前手势图像和显示设备的显示图像；处理器用于将当前手势图像与存储器中预存的手势进行匹配，根据匹配出的手势的手势类别，查找预设的与匹配出的手势的手势类别对应的虚拟工具图像；投影镜头用于在可穿戴设备前方投影出包括虚拟工具图像和显示设备的显示图像的虚拟图像。本实用新型提供的人机交互系统用于人机交互活动。

Description

一种人机交互系统

技术领域

本实用新型涉及人机交互技术领域，尤其涉及一种人机交互系统。

背景技术

随着电子信息科学技术的发展，人与计算机的交互活动在人们的日常生活中占据了重要的地位，其中，结合虚拟现实技术利用人的动作进行人机交互活动也成为了人机交互活动的一个主要发展趋势。

现有技术中，结合虚拟现实技术进行人机交互活动时，用户需要与计算机直接接触，或者使用实体输入装置对计算机发出操作指令。比如，用户对计算机进行触摸操作，从而实现计算机的各种功能，或者，计算机连接有鼠标和键盘，用户利用鼠标和键盘对计算机发出操作指令，从而实现计算机的各种功能。但是，由于用户需要使用实体物理装置来操作计算机的方式较为复杂，使得用户进行虚拟现实技术的人机交互活动的操作便利性较低。

实用新型内容

本实用新型的目的在于提供一种人机交互系统，用于提高用户进行虚拟现实技术的人机交互活动的操作便利性。

为了实现上述目的，本实用新型提供如下技术方案：

一种人机交互系统，包括：可穿戴设备和显示设备；

所述可穿戴设备包括摄像头、存储器、处理器和投影镜头；

所述摄像头、投影镜头、存储器分别与所述处理器信号连接，所述摄像头用于采集用户的当前手势图像和所述显示设备的显示图像，并提供给处理器；

所述处理器用于将所述当前手势图像与所述存储器中预存的手势进行匹配，根据匹配出的手势的手势类别，查找预设的与所述匹配出的手势的手势类别对应的虚拟工具图像，并将所述虚拟工具图像和所述显示设备的显示图像提供给投影镜头；

所述投影镜头用于在所述可穿戴设备前方投影出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像。

本实用新型提供的人机交互系统中，摄像头采集用户的当前手势图像和显示设备的显示图像，处理器将当前手势图像与存储器中预存的手势进行匹配，根据匹配出的手势的手势类别，查找预设的与匹配出的手势的手势类别对应的虚拟工具图像，投影镜头投影出包括虚拟工具图像和显示设备的显示图像的虚拟图像。与需要利用物理实体装置实现人机交互活动的现有技术相比，本实用新型利用用户的手势就能生成控制指令，生成与控制指令对应的虚拟工具图像，使用户能够通过可穿戴设备看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术中的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。

附图说明

此处所说明的附图用来提供对本实用新型的进一步理解，构成本实用新型的一部分，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：

图1为本实用新型实施例一中人机交互系统的结构示意图；

图2为本实用新型实施例三、四中人机交互系统的结构示意图；

图3为本实用新型实施例三中智能眼镜的结构示意图；

图4为本实用新型实施例二中人机交互系统的结构示意图；

图5为本实用新型实施例四中人机交互系统的结构示意图；

图6为本实用新型实施例四中用户的视觉效果图。

附图标记：

10-人机交互系统，11-可穿戴设备，12-显示设备，13-镜片，14-镜架，15-虚拟笔，16-智能眼镜，111-摄像头，112-存储器，113-处理器，114-投影镜头，115-信息发送接口，141-镜框，142-镜腿，1111-图像处理器，1131-比较电路。

具体实施方式

为了进一步说明本实用新型实施例提供的人机交互系统，下面结合说明书附图进行详细描述。

实施例一

请参阅图1，本实用新型实施例提供的人机交互系统10包括可穿戴设备11和显示设备12，可穿戴设备11包括摄像头111、存储器112、处理器113和投影镜头114；摄像头111、存储器112、投影镜头114分别与处理器113信号连接，摄像头111用于采集用户的当前手势图像和显示设备12的显示图像，并将当前手势图像和显示设备12的显示图像提供给处理器113，具体的，摄像头111也可以替换为拍照镜头或图像传感器等具有图像采集功能的结构；处理器113用于将当前手势图像与存储器112中预存的手势进行匹配，根据匹配出的手势的手势类别，查找预设的与匹配出的手势的手势类别对应的虚拟工具图像，并将虚拟工具图像和显示设备12的显示图像提供给投影镜头114，虚拟工具图像为某种工具的虚拟显示图像，如虚拟笔的图像、虚拟放大镜的图像或虚拟手枪的图像等，需要说明的是，存储器112中存储有手势数据库，手势数据库中包括多种手势以及多种手势自身的各类属性或特征，其中，手势类别就是手势自身的一种属性，在具体实施过程中，存储器112还具有自学习的功能，能够将学习到的新的手势添加到手势数据库中；投影镜头114用于在可穿戴设备11前方投影出包括虚拟工具图像和显示设备12的显示图像的虚拟图像，且该虚拟图像会根据摄像头111采集到的当前手势图像和显示设备的显示图像进行实时更新，也就是说，投影镜头114能够投影出连贯的画面；具体的，显示设备12具体可以为智能手机、平板电脑等便于携带的手持显示终端，在此并不限定。

本实用新型提供的人机交互系统10中，摄像头111采集用户的当前手势图像和显示设备的显示图像，处理器113将当前手势图像与存储器112中预存的手势进行匹配，根据匹配出的手势的手势类别，查找预设的与匹配出的手势的手势类别对应的虚拟工具图像，投影镜头114投影出包括虚拟工具图像和显示设备12的显示图像的虚拟图像。与需要利用物理实体装置实现人机交互活动的现有技术相比，本实用新型利用用户的手势就能生成控制指令，生成与控制指令对应的虚拟工具图像，使用户能够通过可穿戴设备看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术中的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。

实施例二

请参阅图4，在实施例一的基础上，可穿戴设备11还包括信息发送接口115，信息发送接口115与处理器113信号连接，用于将处理器根据手势类别提供的控制指令发送给显示设备12，信息发送接口115可以根据可穿戴设备11与显示设备12之间使用的通信技术而定，可穿戴设备11与显示设备12之间能够通过有线连接，也可以通过无线连接，优选无线连接，比如利用WiFi(WIreless-Fidelity，无线宽带)、蓝牙、ZigBee(紫蜂协议)等无线通讯手段进行通信，从而使用对应的信息发送接口115，信息发送接口115优选为无线接口，具体的，信息发送接口115可以为WiFi模块、蓝牙模块、ZigBee模块等。

实施例三

请参阅图2和图3，可穿戴设备具体可以为智能眼镜、穿戴头盔、智能手环等设备，下面以智能眼镜16为例进行说明。智能眼镜16包括与左右眼对应的两个镜片13和用于支撑镜片的镜架14，具体的，摄像头111、存储器112、处理器113均设置在镜架14上，投影镜头114设置在镜架14或镜片13上；镜架14包括镜框141和镜腿142，镜片13设置在镜框141中，镜片13为具有投影功能的近眼透镜，显示设备12上的显示图像以及用户的手势图像均可以通过镜片13透射至佩戴智能眼镜16的用户的双眼，使得用户能够通过智能眼镜16观看虚拟工具图像和显示设备12的显示图像，或者观看虚拟工具图像、显示设备12的显示图像和用户的当前手势图像。摄像头111设置在镜框141上，具体的，摄像头111的数量为两个，两个摄像头111分别设置在镜框141上靠近镜腿142的区域。

实施例四

请参阅图5，下面将介绍上述人机交互系统中可穿戴设备中的某些部件的具体构成，具体说明如下：

摄像头111包括图像处理器1111，用于在同时采集到包含用户当前手势和所述显示设备的显示图像的混合图像时，从所述混合图像中分别识别出当前手势图像和所述显示设备的显示图像，需要说明的是，在用户还未做出手势，即摄像头111中的图像处理器1111还未拍摄到用户的手势图像时，图像处理器1111先拍摄显示设备12的显示图像，从而得到当前场景下手势图像所处的主体环境，在图像处理器1111同时拍摄到手势图像和显示设备12的显示图像的混合图像时，图像处理器1111利用背景分离方法将当前手势图像和显示设备12当前的显示图像分离。

处理器113包括比较电路1131，比较电路1131用于比较当前手势图像的手势边缘轮廓和存储器112预存的手势的手势边缘轮廓，以及比较当前手势图像的手势运动轨迹和存储器112预存的手势的手势运动轨迹，输出与当前手势图像的手势边缘轮廓和手势运动轨迹匹配的预存的手势的手势边缘轮廓和手势运动轨迹对应的手势类别。也就是说，当存储器中预存的某一手势的手势边缘轮廓与当前手势图像的手势边缘轮廓匹配，且存储器中预存的该手势的手势运动轨迹与当前手势图像的手势运动轨迹匹配，则存储器中预存的该手势的手势类别与当前手势图像相对应，比较电路输出存储器中预存的该手势的手势类别。需要说明的是，手势边缘轮廓用于表示手势的轮廓和具体形状，手势运动轨迹用于表示手势的运动方向以及变化过程等，比如：摄像头111中的图像处理器1111采集到用户的手握成实心拳，在显示设备12前直线移动的手势，其中，手势边缘轮廓表示握成实心拳的手的轮廓为近似于圆形的形状，以及实心拳的具体各个手指的形状和位置，手势运动轨迹表示实心拳呈直线运动；再比如，摄像头111中的图像处理器1111采集到用户的手握成空心拳，在显示设备12前曲线移动的手势，手势边缘轮廓表示握成空心拳的手的外部轮廓为近似于圆形的形状，以及空心拳的具体各个手指的形状和位置，手势运动轨迹数据表示空心拳呈曲线运动；当区分实心拳与空心拳时，由于实心拳与空心拳这两个手势中各个手指的形状和位置不同，故可以由手势边缘轮廓来区分实心拳和空心拳的不同。值得一提的是，用于表征手势的特征包括但并不限于上述手势边缘轮廓和手势运动轨迹，能够表征手势的不同的特征均属于本实用新型的保护范围。

下面以一具体举例来进行本实施例中人机交互系统实现人机交互活动的说明：如图2所示，智能眼镜16利用摄像头111中的图像处理器1111采集图像，显示设备12为平板电脑，平板电脑上显示的画面是文字阅读界面，图像处理器1111对平板电脑显示的文字阅读界面进行拍摄，得到平板电脑的显示图像；用户此时希望对文字阅读界面中的某句文字进行标记，故用户做出握笔手势，想要在该句文字对应的位置做出标记，需要注意的是，用户手中不存在触摸笔等真实物理工具，此时，图像处理器1111拍摄到了平板电脑显示的文字阅读界面和用户的握笔手势，从而得到显示图像和当前手势图像；智能眼镜16中的处理器113中的比较电路1131比较用户的握笔手势的手势边缘轮廓与存储器112中存储的手势的手势边缘轮廓，并比较用户的握笔手势的手势运动轨迹与存储器112中存储的手势的手势运动轨迹，从而输出握笔手势的手势类别为握笔标记手势，投影镜头114在用户的视野范围内投射出虚拟笔15的图像，以及握笔手势对应的文字处的标记，使得用户可以通过智能眼镜16看到虚拟笔15的图像以及文字阅读界面的标记，用户看到的效果图为图6，与用户使用触摸笔等真实物理工具进行标记的效果相同。

下面再以另一具体举例来进行本实施例中人机交互系统实现人机交互活动的说明：智能眼镜16利用摄像头111中的图像处理器1111采集图像，显示设备12为平板电脑，平板电脑上显示的画面是文字阅读界面或游戏界面，用户需要将文字阅读界面或游戏界面放大，则可做出手持放大镜的手势或加号手势，图像处理器1111拍摄到手持放大镜的手势图像或加号手势图像后，智能眼镜16中的处理器113中的比较电路1131比较用户的放大镜的手势图像或加号手势图像的手势边缘轮廓与存储器112中存储的手势的手势边缘轮廓，并比较用户的放大镜的手势图像或加号手势图像的手势运动轨迹与存储器112中存储的手势的手势运动轨迹，从而输出放大镜的手势或加号手势的手势类别为放大手势，投影镜头114在用户的视野范围内形成虚拟放大镜的图像，并将文字阅读界面或游戏界面放大，用户可以通过智能眼镜16看到虚拟放大镜的图像以及放大的文字阅读界面或游戏界面。

本实施例中的人机交互系统10，可穿戴设备11利用手势边缘轮廓和手势运动轨迹对采集到的手势进行识别和匹配，并根据目标手势生成控制指令，根据控制指令生成虚拟工具图像，使得利用虚拟现实技术的人机交互活动更加精准、完善。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述，仅为本实用新型的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种人机交互系统，其特征在于，包括：可穿戴设备和显示设备；

所述可穿戴设备包括摄像头、存储器、处理器和投影镜头；

所述摄像头、投影镜头、存储器分别与所述处理器信号连接，所述摄像头用于采集用户的当前手势图像和所述显示设备的显示图像，并提供给处理器；

所述处理器用于将所述当前手势图像与所述存储器中预存的手势进行匹配，根据匹配出的手势的手势类别，查找预设的与所述匹配出的手势的手势类别对应的虚拟工具图像，并将所述虚拟工具图像和所述显示设备的显示图像提供给投影镜头；

所述投影镜头用于在所述可穿戴设备前方投影出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像。

2.根据权利要求1所述的人机交互系统，其特征在于，所述可穿戴设备还包括信息发送接口，所述信息发送接口与所述处理器信号连接，用于向显示设备发送所述处理器根据所述手势类别提供的控制指令。

3.根据权利要求1所述的人机交互系统，其特征在于，所述可穿戴设备为智能眼镜，所述智能眼镜包括镜架和镜片，以及设置在所述镜架上的所述摄像头、所述存储器、所述处理器和设置在所述镜架或所述镜片上的所述投影镜头。

4.根据权利要求3所述的人机交互系统，其特征在于，所述镜架包括镜框和镜腿，所述摄像头设置在所述镜框上。

5.根据权利要求3所述的人机交互系统，其特征在于，所述镜片为具有投影功能的近眼透镜。

6.根据权利要求1所述的人机交互系统，其特征在于，所述摄像头包括图像处理器，用于在同时采集到包含用户当前手势和所述显示设备的显示图像的混合图像时，从所述混合图像中分别识别出当前手势图像和所述显示设备的显示图像。

7.根据权利要求1所述的人机交互系统，其特征在于，所述处理器包括比较电路，用于比较所述当前手势图像的手势边缘轮廓和所述存储器预存的手势的手势边缘轮廓，以及比较所述当前手势图像的手势运动轨迹和所述存储器预存的手势的手势运动轨迹，输出与所述当前手势图像的手势边缘轮廓和手势运动轨迹匹配的预存的手势的手势边缘轮廓和手势运动轨迹对应的手势类别。

8.根据权利要求2所述的人机交互系统，其特征在于，所述信息发送接口为无线接口。

9.根据权利要求4所述的人机交互系统，其特征在于，所述摄像头的数量为两个，分别设置在所述镜框上靠近所述镜腿的区域。