CN106325523A - 一种人机交互显示装置及系统 - Google Patents

Abstract

本发明提供了一种人机交互显示装置及系统，其中，该装置包括处理器，以及分别与该处理器电连接的显示器、旋转电机和捕捉器；其中，显示器与旋转电机固定连接；捕捉器用于捕捉用户信息，将该用户信息发送至处理器；其中，用户信息包括位置信息和动作信息；处理器用于根据用户信息控制旋转电机旋转，以使显示器的位置与用户的位置相对应；还用于根据用户信息调整显示器显示的内容。本发明使显示器能够随用户位置变化而做出相应的转动，保持显示器实时面对用户，并同时显示相应的场景，提升了用户的人机交互体验。

Description

一种人机交互显示装置及系统

技术领域

本发明涉及人机交互技术领域，具体而言，涉及一种人机交互显示装置及系统。

背景技术

随着科技发展，人机交互技术已逐渐为人所知，尤其借助人工智能技术，使人与机器的关系变得自然，实现良好互动。

立体交互式显示装置是当前比较流行的一种人机交互方式，通过光学设备捕捉用户在三维空间的位置，并由三维引擎进行相关运算，能够在显示器实时输出用户在其所处位置上应该看到的内容。

然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的交互显示装置采用的显示器均为固定式，实际使用过程中，用户如果想看显示装置显示出的三维虚拟物体的侧面及后面的时候，需要对三维虚拟物体进行旋转，显示装置才能随之显示三维虚拟物体的侧面或后面。这种方式与在现实环境下直接与真实物体进行交互的体验差别太大，因此用户的交互体验度较差。

针对上述现有的人机交互显示装置的显示器均为固定式，用户的人机交互体验度较差的问题，目前尚未提出有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提供人机交互显示装置及系统，使显示器能够随用户位置变化而做出相应的转动，保持显示器实时面对用户，并同时显示相应的场景，极大提升了用户的人机交互体验。

第一方面，本发明实施例提供了一种人机交互显示装置，其中，该装置包括处理器，以及分别与该处理器电连接的显示器、旋转电机和捕捉器；其中，显示器与旋转电机固定连接；捕捉器用于捕捉用户信息，将用户信息发送至处理器；其中，用户信息包括位置信息和动作信息；处理器用于根据用户信息控制旋转电机旋转，以使显示器的位置与用户的位置相对应；还用于根据用户信息调整显示器显示的内容。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中,上述捕捉器包括多台光学捕捉相机，多台光学捕捉相机分别设置在显示器的上方指定位置。

结合第一方面或第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述装置还包括底座和支架；处理器和支架的底端分别固定在底座上，旋转电机设置在支架上，显示器固定在旋转电机上，支架的顶端设置有搭载捕捉器的部件。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述显示器为立体显示器。

第二方面，本发明实施例还提供一种人机交互显示系统，该系统包括第一方面的人机交互显示装置，还包括立体眼镜和手持控制器；立体眼镜用于使用户看到显示屏显示的三维虚拟场景；手持控制器与处理器无线连接，用于将用户发出的控制指令传输至处理器；处理器还用于接收控制指令，根据控制指令控制显示器的显示内容。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中,上述立体眼镜和/或手持控制器上设置有用于辅助捕捉器定位的标识部件。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述标识部件包括多个银色反光球。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述手持控制器上设置有多个控制按键，用于分别向处理器发送控制显示器内所显示的虚拟目标的移动或行为的指令。

结合第二方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述立体眼镜为主动快门式立体眼镜。

结合第二方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述立体眼镜上还设置有辅助光学捕捉跟踪器，用于辅助捕捉器确定用户头部的实时位置。

本发明实施例提供了人机交互显示装置及系统，通过捕捉器获知用户信息，并由处理器根据用户信息控制旋转电机将显示器旋转至与用户相对的位置，并同时调整显示器所显示的内容。与现有技术中人机交互显示装置的显示器均为固定式，使用户在人机交互过程中真实体验度较差的问题相比，本发明实施例可以使显示器随着用户的移动而移动，保持显示器实时面对用户，并同时显示相应的场景，提升了用户在人机交互过程中的真实体验度，使用户仿佛置身于真实场景。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种人机交互显示装置的结构示意图；

图2示出了本发明实施例所提供的一种人机交互显示装置的具体结构示意图；

图3示出了本发明实施例所提供的一种人机交互显示系统的具体结构示意图。

图示说明：

10-处理器 20-捕捉器

21-光学捕捉相机 30-旋转电机

40-显示器 50-底座

60-支架 200-立体眼镜

300-手持控制器 310-控制按键

400-银色反光球

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中人机交互显示装置的显示器均为固定式，使用户在人机交互过程中真实体验度较差的问题的，本发明实施例提供了一种人机交互显示装置及系统，使显示器能够随用户位置变化而做出相应的转动，保持显示器实时面对用户，并同时显示相应的场景，让用户仿佛置身于真实环境中，极大提升了用户的人机交互体验。该技术可以采用相应的软件和硬件实现。下面通过实施例进行详细介绍。

实施例1

参见图1所示的一种人机交互显示装置的结构示意图，该人机交互显示装置包括处理器10，以及分别与处理器10电连接的显示器40、旋转电机30和捕捉器20；其中，显示器40与旋转电机30固定连接；

捕捉器20用于捕捉用户信息，将用户信息发送至处理器10；其中，用户信息包括位置信息和动作信息；

处理器10用于根据用户信息控制旋转电机30旋转，以使显示器40的位置与用户的位置相对应；还用于根据用户信息调整显示器40显示的内容。具体应用中，处理器10可以直接采用电脑主机来实现。

本实施例提供的上述人机交互显示装置，通过捕捉器获知用户信息，并由处理器根据用户信息控制旋转电机将显示器旋转至与用户相对的位置，并同时调整显示器所显示的内容。与现有技术中人机交互显示装置的显示器均为固定式，使用户在人机交互过程中真实体验度较差的问题相比，本发明实施例可以使显示器随着用户的移动而移动，保持显示器实时面对用户，并同时显示相应的场景，提升了用户在人机交互过程中的真实体验度，使用户仿佛置身于真实场景。

理论上对于空间中的任意一个点，只要它能同时被两部相机所拍摄，就可以确定在当前时刻的该点在空间中的位置。而当相机以足够高的速率连续拍摄时，就可以从图像序列中得到该点的运动轨迹。基于上述原理，上述捕捉器主要采用光学捕捉相机来实现实时准确地测量、记录用户的位置、姿态动作等信息。

为了实现更好的捕捉效果，以便捕捉器从不同角度准确捕捉到用户处于各个方位的位置以及动作等信息，上述捕捉器可以包括多台光学捕捉相机，且多台光学捕捉相机分别设置在显示器的上方指定位置，并分别与处理器相连，以将捕捉的用户位置、动作等信息传输至处理器进行相应的处理。至少为两台光学捕捉相机，通常可以设置为四台、六台或者更多。当然，多台光学捕捉相机的分布位置应当合理，例如，若有四台光学捕捉相机，则相邻相机之间夹角为90度；如有六台光学捕捉相机，则相邻相机之间的夹角为60度，依次类推，以使捕捉相机能够从不同角度实现对目标特征点的监视和跟踪。

在具体应用中，上述显示器可以为立体显示器，即为一种建立在人眼立体视觉机制上的新一代自由立体显示设备。它能够出色的利用多通道自动立体现实技术，可以呈现出具有空间深度信息的逼真画面。当然，也可以采用诸如液晶显示屏等实现，具体可以根据实际需求选择显示器的种类。

此外，参见图2所示的一种人机交互显示装置的具体结构示意图，该装置在图1的基础上，还包括底座50和支架60；处理器10和支架60的底端分别固定在底座50上，旋转电机30设置在支架60上，显示器40固定在旋转电机30上，支架60的顶端设置有搭载捕捉器(具体为光学捕捉相机21)的部件，该部件可以是支撑固定捕捉器的横杆，也可以是平台等，在此不限制该部件(支撑件)的形式，只要能搭载、固定捕捉器即可。图2示出了人机交互显示装置的一种合理的布局，在底座50上方固定有处理器10和支架60，在支架60中部贯穿有旋转电机30，该旋转电机30与处理器10相连接，可以在处理器10的控制下旋转；显示器40固定在旋转电机30的侧部，显示屏40朝外，能够随着旋转电机30的旋转而转动。而支架60为杆状，在支架60的顶端设置可以搭载捕捉器的“十字”架(即四个两两垂直的横杆)，“十字”架的四个外端部分别固定有一个光学捕捉相机21(即捕捉器)，应当注意的是，图2从侧面示出了人机交互显示装置的结构示意图，支架60的底端部分被处理器10遮挡。

在布置时，通常将显示器设置在用户的水平视线处，以便于用户直视，并以此为基准固定其它部件，将旋转电机设置在显示器后方，并与显示器相固定，这样旋转电机旋转时会带动显示器一起旋转；而捕捉器为了能够准确捕捉用户的位置、动作等，需要设置在较高的地方，因而可以固定在支架顶端。将各器件合理地布局，有利于提升用户使用该人机交互显示装置时的用户体验。当然，上述装置各个器件的布局仅为实现本发明实施例的一种方式，在具体实现时，也可以采用其它构造布局实现，这里不再赘述。

上述人机交互显示装置在实际应用过程中，例如当用户想看虚拟物体的侧面时，可以直接走到虚拟物体的侧面观看，即人机交互显示装置会通过捕捉器实时感应到用户的位置信息，并通过处理器控制旋转电机实时旋转至与用户正向相对的位置，并控制显示器显示该虚拟物体的侧面，使得用户可直接看到虚拟物体侧面的效果，走到背后可看到虚拟物体的背后效果，有如在真实场景中观看物体一样。其中，虚拟物体的坐标系跟现实物理空间的坐标系一一对应，上述装置可识别用户角度位置变化，驱动显示屏面对用户，同时调整显示内容，增强了用户的交互体验。

综上所述，本实施例提供的人机交互显示装置可以使显示器能够随用户位置变化而做出相应的转动，保持显示器实时面对用户，并同时显示相应的场景，极大提升了用户的人机交互体验。

实施例2

对于实施例1中所提供的人机交互显示装置，本发明实施例提供了一种人机交互显示系统，参见图3所示，该系统包括实施例1所提供的人机交互显示装置，还包括立体眼镜200和手持控制器300；

立体眼镜200用于使用户看到显示器40显示的三维虚拟场景；

手持控制器300与处理器10无线连接，用于将用户发出的控制指令传输至处理器10。具体的，手持控制器300上可以设置有控制按键310。

处理器10还用于接收上述控制指令，根据该控制指令控制显示器40的显示内容。

通过本实施例提供的人机交互显示系统，能够使用户通过手持控制器对人机交互显示装置进行控制，并通过立体眼镜观看显示屏显示的三维虚拟场景，增强了用户的真实体验感。

为了能够让捕捉器准确捕捉到用户的位置、动作等信息，在立体眼镜200和/或手持控制器300上可以设置有用于辅助捕捉器定位的标识部件。即捕捉器采用标记点式光学动作捕捉的方式获知用户信息，可以使人机交互显示装置精准的计算出用户头部及手部在空间中的位置及坐标。基本原理为在用户的关键部位(如人体的关节处等)粘贴标记点(即上述标识部件)，多个动作捕捉相机从不同角度实时探测标记点，并将数据实时传输至处理器进行处理，根据三角测量原理精确额计算标记点的空间坐标，再从生物运动学原理出发则可以解算出骨骼的六自由度运动。在本实施例中，将标识部件设置在立体眼镜和/或手持控制器上，无需粘贴在用户身上，使用户更为自然不受束缚，而且也使得标记点能够更稳固。

在实际应用中，上述标识部件可以包括多个银色反光球400。例如，在立体眼镜和手持控制器上分别设置3～6粒银色反光球，即可达到辅助捕捉器定位的良好效果。

为了便于用户对人机交互显示装置进行远距离控制，在手持控制器300上可以设置有多个控制按键310，用于分别向处理器10发送控制显示器40所显示的虚拟目标的移动或行为的指令。例如，可以设有上、下、左、右控制按钮，使体验者(用户)以第一人称视角在立体场景中前进、后退、左转、右转；此外，用户还可以通过手持控制器300的控制按键310来控制场景中模拟手对场景中的三维立体模型的识别、抓取、空间移动或旋转等操作。

此外，立体眼镜200上还可以设置有辅助光学捕捉跟踪器，用于辅助捕捉器确定用户头部的实时位置，使捕捉器能够更精确的获知用户的位置、姿态等信息。

进一步，以使用户能够感知到更为真实的三维虚拟场景，让用户仿佛置身于真实环境中，以提升用户的人机交互体验度，优选的，上述立体眼镜200为主动快门式立体眼镜。

主动快门式立体眼镜的工作原理是其可以通过高于120hz的快门式切换左右眼图像，并通过显示设备发射红外信号进行同步，逐帧将左右眼画面传递至用户视角内，使用户不仅仅看到前后景深感，即可观看到全高清的3D图像，同时还可以看到观测物体的左右面，呈现一种自然同时也达到景象的深度的感知效果。这种视觉体验有着很强的冲击力，用户观测到的模型近乎全息的效果呈现在眼前的空气中。

上述人机交互显示系统实际应用过程中，用户走到侧面可看到虚拟物体侧面的效果，走到背后可看到虚拟物体的背后，虚拟物体的坐标系跟现实物理空间的坐标系一一对应，该系统可识别用户角度位置变化，驱动显示屏面对用户，同时调整显示内容，增强了用户的交互体验。

本实施例所提供的系统中，人机交互显示装置的实现原理及产生的技术效果和前述实施例相同，为简要描述，本实施例部分未提及之处，可参考前述实施例中相应内容。

综上所述，本实施例所提供的人机交互显示系统，能够使用户通过手持控制器对人机交互显示装置进行控制，并通过立体眼镜观看显示屏显示的三维虚拟场景，较好增强了用户的真实体验感。

需要注意的是，在本发明的描述中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

另外，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种人机交互显示装置，其特征在于，包括处理器，以及分别与所述处理器电连接的显示器、旋转电机和捕捉器；其中，所述显示器与所述旋转电机固定连接；

所述捕捉器用于捕捉用户信息，将所述用户信息发送至所述处理器；其中，所述用户信息包括位置信息和动作信息；

所述处理器用于根据所述用户信息控制所述旋转电机旋转，以使所述显示器的位置与所述用户的位置相对应；还用于根据所述用户信息调整所述显示器显示的内容。

2.根据权利要求1所述的装置，其特征在于，所述捕捉器包括多台光学捕捉相机，多台所述光学捕捉相机分别设置在所述显示器的上方指定位置。

3.根据权利要求1或2所述的装置，其特征在于，所述装置还包括底座和支架；所述处理器和所述支架的底端分别固定在所述底座上，所述旋转电机设置在所述支架上，所述显示器固定在所述旋转电机上，所述支架的顶端设置有搭载所述捕捉器的部件。

4.根据权利要求3所述的装置，其特征在于，所述显示器为立体显示器。

5.一种人机交互显示系统，其特征在于，所述系统包括权利要求1至4任一项所述的人机交互显示装置，还包括立体眼镜和手持控制器；

所述立体眼镜用于使所述用户看到所述显示器显示的三维虚拟场景；

所述手持控制器与所述处理器无线连接，用于将所述用户发出的控制指令传输至所述处理器；

所述处理器还用于接收所述控制指令，根据所述控制指令控制所述显示器的显示内容。

6.根据权利要求5所述的系统，其特征在于，所述立体眼镜和/或所述手持控制器上设置有用于辅助所述捕捉器定位的标识部件。

7.根据权利要求6所述的系统，其特征在于，所述标识部件包括多个银色反光球。

8.根据权利要求5所述的系统，其特征在于，所述手持控制器上设置有多个控制按键，用于分别向所述处理器发送控制所述显示器所显示的虚拟目标的移动或行为的指令。

9.根据权利要求5所述的系统，其特征在于，所述立体眼镜为主动快门式立体眼镜。

10.根据权利要求5所述的系统，其特征在于，所述立体眼镜上还设置有辅助光学捕捉跟踪器，用于辅助所述捕捉器确定所述用户头部的实时位置。