CN108572720A - 人机交互系统、控制装置及人机交互方法 - Google Patents

Abstract

一种人机交互系统，用于与一操控装置交互，所述操控装置包括一显示屏，所述人机交互系统包括：控制终端，所述控制终端包括发光元件及输入单元；拍摄装置，所述拍摄装置用于拍摄所述发光元件的影像或视频；控制装置，与所述拍摄装置通信连接，用于接收所述发光元件的影像或视频，并根据所述发光元件的影像或视频计算所述发光元件对应在所述操控装置的显示屏中的位置坐标。本发明还提供一种控制装置及人机交互方法。所述人机交互系统、人机交互方法及控制装置能够根据控制终端上设置的发光元件的移动来控制所述操控装置的显示屏上的内容，操作简单且操作体验度高。

Description

人机交互系统、控制装置及人机交互方法

技术领域

本发明涉及一种人机交互技术，尤其涉及一种人机交互系统、控制装置及人机交互方法。

背景技术

目前电视、投影设备在使用时，用户与内容的交互很不方便，主流还是使用蓝牙手柄和遥控器等技术，以键盘、按键操作的方式进行上下左右方向的步进式交互，操作困难，效率低下，交互手段单一，用户体验不佳，并且对环境光干扰比较敏感，在使用中需要避免环境光干扰。

发明内容

有鉴于此，有必要提供一种人机交互系统及人机交互方法，可提高交互效率，提升用户体验度。

一种人机交互系统，用于与一操控装置交互，所述操控装置包括一显示屏，所述人机交互系统包括：控制终端，所述控制终端包括发光元件及输入单元；拍摄装置，所述拍摄装置用于拍摄所述发光元件的影像或视频；控制装置，与所述拍摄装置通信连接，用于接收所述发光元件的影像或视频，并根据所述发光元件的影像或视频计算所述发光元件对应在所述操控装置的显示屏中的位置坐标。本发明还提供一种控制装置及人机交互方法。

一种人机交互方法，应用于一控制装置，所述控制装置分别与一拍摄装置、一控制终端及一操控装置通信连接，所述操控装置包括一显示屏，所述人机交互方法包括：

接收所述控制终端到达目标位置的确认信号；

获取所述拍摄装置拍摄的设置在所述控制终端上的发光元件的影像或视频；及

根据所述发光元件的影像或视频计算所述发光元件对应在所述操控装置的显示屏中的位置坐标。

一种控制装置，分别与一拍摄装置、一控制终端及一操控装置通信连接，所述操控装置包括一显示屏，所述控制装置包括：存储单元，用于存储一个或多个程序指令段；处理单元，所述一个或多个程序指令段能够被所述处理单元执行以使得所述处理单元执行：接收所述控制终端到达目标位置的确认信号；获取所述拍摄装置拍摄的设置在所述控制终端上的发光元件的影像或视频；及根据所述发光元件的影像或视频计算所述发光元件对应在所述操控装置的显示屏中的位置坐标。

所述人机交互系统、控制装置及人机交互方法能够允许使用者操控所述控制终端，通过拍摄所述控制终端上设置的发光元件的影像来计算所述发光元件对应在所述操控装置的显示屏上的位置坐标，从而实现使用者通过操控所述控制终端来实现与所述操控装置的交互，操作简单方便，用户体验度高。此外，由于发光元件的光亮度远大于周围环境光亮度，因此受环境光影响小。

附图说明

图1是本发明实施方式提供的一种人机交互系统的架构图。

图2是本发明实施方式提供的一种控制终端的结构示意图。

图3是本发明实施方式提供的一种控制装置的结构示意图。

图4是本发明实施方式提供的一种控制装置的功能模块图。

图5是本发明实施方式提供的一种人机交互方法的流程图。

图6是本发明实施方式提供的一种人机交互方法的初始化流程图。

图7是本发明另一实施方式提供的一种人机交互方法的流程图。

主要元件符号说明

人机交互系统 1

拍摄装置 10

控制终端 20

发光元件 200

输入单元 202

控制装置 30

第一通信单元 300

获取模块 3040

识别模块 3042

计算模块 3044

传送模块 3046

存储单元 302

处理单元 304

第二通信单元 306

操控装置 40

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

以下所描述的系统实施方式仅仅是示意性的，所述模块或电路的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由同一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1所示，本发明实施方式提供一种人机交互系统1，所述人机交互系统1，包括拍摄装置10、控制终端20、控制装置30及操控装置40。所述拍摄装置10、所述控制终端20均与所述控制装置30通信连接，所述控制装置30与所述操控装置40通信连接。所述拍摄装置10用于追踪拍摄所述控制终端20的影像，并将所拍摄的影像发送至所述控制装置30，所述控制装置30用于根据所述控制终端20的影像确定控制指令，并将控制指令发送至所述操控装置40。

所述拍摄装置10用于拍摄所述控制装置30的图像或视频，所述拍摄装置10可与所述控制装置30集成设置在一起，也可为可移除式的拍摄单元，可拆装地设置在所述控制装置30上。可以理解的是，在其他实施方式中，所述拍摄装置10也可为独立的拍摄单元，其与所述控制装置30通信连接，用于将所拍摄的图像或视频以有线或无线的方式传输至所述控制装置30。

所述控制终端20用于在使用者的操控下移动以与所述操控装置40交互。所述控制终端20可为手柄、笔、手套或其他可以手持或佩戴的装置。如图2所示，为本发明实施方式提供的一种控制终端20的模块示意图。所述控制终端20包括发光元件200及输入单元202，所述发光元件200用于在用户操控下发光，可以为LED或白炽灯等各种适宜的光源。所述输入单元202用于在用户操控下接收用户操控指令，可为任意适宜的输入设备，包括但不限于，案件、触摸屏等。例如，输入单元202可以是按键，使用者按下其中一个按键时，所述发光元件200发出特定光(例如闪烁或发出特定颜色的光)，此时，所述拍摄装置拍摄所述控制终端20的图像，所述控制装置30根据所述控制终端20的图像确定所述发光元件200在所述图像中所处位置坐标，并将该位置坐标转换成所述操控装置40的控制坐标，以实现与所述操控装置40的交互。在一些实施例中，所述控制终端20还可以包括一通信单元，用于在使用者通过输入单元输入信号时发送该输入信号至所述控制装置30或所述拍摄装置10。所述通信单元的通信方式可采用有线或无线的方式，有线例如USB等、无线例如蓝牙、WiFi、红外、移动通信网络等。

所述操控装置40可为电视、投影设备等。例如，假定所述操控装置40为电视，所述控制装置30根据所述控制终端20的图像确定所述发光元件在所述电视中的位置坐标发送给所述操控装置40，所述操控装置40的操作系统根据该位置坐标控制所述操控装置40执行与该位置坐标对应的指令，例如，选择播放源等。再假如，假定所述操控装置40为投影设备，所述控制装置30根据所述控制终端20的图像确定所述发光元件在投影文档中的位置坐标，所述投影设备的控制系统根据该位置坐标控制所述投影文档执行相应指令，例如翻页等。

所述控制装置30可为手机、平板电脑、膝上型电脑、桌面型电脑等。如图3所示，为所述控制装置30一实施例的结构示意图。所述控制装置30包括，但不限于，第一通信单元300、存储单元302、处理单元304、第二通信单元306。

所述第一通信单元300用于与所述拍摄装置10通信连接以获取来自所述拍摄装置10所拍摄的影像或视频，所述通信连接的方式可为有线连接或无线连接。其中所述有线方式包括通过通信端口连接，例如通用串行总线(universal serial bus,USB)、控制器局域网(Controller area network，CAN)、串行及/或其他标准网络连接、集成电路间(Inter-Integrated Circuit，I2C)总线等。所述无线方式可采用任意类别的无线通信系统，例如，蓝牙、红外线、无线保真(Wireless Fidelity,WiFi)、蜂窝技术，卫星，及广播。其中所述蜂窝技术可包括第二代(2G)、第三代(3G)、第四代(4G)或第五代(5G)等移动通信技术。当所述拍摄装置10为集成在所述控制装置30上的拍摄单元时，所述拍摄装置10与所述控制装置30的处理单元通过有线方式通信连接。

所述存储单元302可为所述控制装置30的内部存储，例如，硬盘或内存，也可为插接式存储装置，例如：插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)。所述存储单元302也可既包括内部存储单元也包括插接式存储装置。

所述处理单元304可为一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于执行以实现所述控制装置30的功能。所述存储单元302可存储一系列可程式化指令，所述可程式化指令可被所述处理单元304所执行以实现所述控制装置30的功能。

所述第二通信单元306用于与所述操控装置40通信连接以发送所述发光元件的位置坐标至所述操控装置40。所述第二通信单元306通信连接的方式可为有线连接或无线连接。其中所述有线方式包括通过通信端口连接，例如通用串行总线(universal serialbus,USB)、控制器局域网(Controller area network，CAN)、串行及/或其他标准网络连接、集成电路间(Inter-Integrated Circuit，I2C)总线等。所述无线方式可采用任意类别的无线通信系统，例如，蓝牙、红外线、无线保真(Wireless Fidelity,WiFi)、蜂窝技术，卫星，及广播。其中所述蜂窝技术可包括第二代(2G)、第三代(3G)、第四代(4G)或第五代(5G)等移动通信技术。

所述存储单元302可存储以一个或多个程序的形式存在的电脑可执行指令，所述电脑可执行指令可被所述处理单元304所执行以实现所述控制装置30的功能。请参阅图4所示，在本实施例中，所述电脑可执行指令包括，但不仅限于，获取模块3040，识别模块3042，计算模块3044及传送模块3046。本发明所称的功能模块是指一种能够被所述控制装置30的处理单元304所执行并且能够完成固定功能的一系列程序指令段，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述获取模块3040用于从所述拍摄装置10获取拍摄的影像或视频。

所述识别模块3042用于从所述拍摄的影像或视频中识别所述发光元件200。

所述计算模块3044用于计算所述发光元件的位置坐标，并根据特定的位置坐标转换矩阵将所述发光元件的位置坐标映射至所述操控装置40的操控坐标。所述操控装置40的操控坐标为所述操控装置40的屏幕中的位置坐标。

所述传送模块3046用于将所述操控装置40的操控坐标发送至所述操控装置40。

如图5所示，为本发明实施方式提供的一种人机交互方法500的流程图。根据不同需求，该流程图中步骤的顺序可以改变，某些步骤可以省略或合并。

步骤502，初始化步骤，即所述控制装置30将所述控制终端20的发光元件200所在位置坐标与所述操控装置40的某一特定操控位置坐标相关联，例如，屏幕中心点。通过将所述光源所处位置坐标(世界坐标值)与所述操控装置的位置坐标的关联，可获得所述光源当前所处位置坐标与所述操控装置的特定位置的位置坐标之间的转换矩阵。在一些实施例中，为了提升操作体验，当所述控制终端20开启时(例如，开启所述发光元件)，开始所述初始化步骤，初始化完成时，所述操控装置40的屏幕中心点出现一指示标识，例如，可为一类似光标的指示标识、一类似光斑的指示标识，或一类似被选中的高亮或特殊颜色等的指示标识。

步骤504，所述控制装置30获取所述控制终端20的确认信号。当所述操控装置40屏幕中心点出现所述指示标识时，使用者可根据操控需求移动所述控制终端20，当移动到目的位置时，使用者可通过操控所述控制终端20的输入单元202发出确认信号(例如按下某一按键)。在一实施例中，所述控制终端20根据使用者操作发出确认信号时，所述发光元件200闪烁。所述发光元件200闪烁被所述控制装置30作为所述控制终端20的确认信号。在另一实施例中，所述控制终端20根据使用者操作发出确认信号时，该确认信号通过无线方式传送至所述控制装置30，例如，通过蓝牙、WiFi等无线方式传送。

步骤506，所述控制装置30从所述拍摄装置10获取所述发光元件200的影像或视频。在一实施例中，所述拍摄装置10以一特定频率(例如，30帧/秒)获取所述发光元件200的影像或持续拍摄所述发光元件200的视频，所述控制装置30只有在接收到来自所述控制终端20的确认信号时才从所述拍摄装置10获取所述发光元件200的影像或视频。在另一实施例中，所述拍摄装置10只有在接收到所述确认信号时才拍摄所述发光元件200的影像或视频，例如，所述控制终端20的确认信号可以直接发送至所述拍摄装置10，以控制所述拍摄装置10拍摄所述影像或视频；另一些实施例中，所述控制装置30只有在接收到来自所述控制终端20的确认信号时才控制所述拍摄装置10拍摄所述发光元件200的影像或视频。

步骤508，所述控制装置30识别所述影像或视频中的发光元件200。由于光源亮度远大于周围环境，所以从亮度上就能很容易识别所述影像或视频中的发光元件200。

步骤510，所述控制装置30计算所述光源所处位置坐标。具体地，所述控制装置30可以先获取所述光源在所述影像或视频中的第一位置坐标，然后将该第一位置坐标换算成世界坐标值，然后再根据初始化步骤中得到的转换矩阵将所述世界坐标值映射到所述操控装置40的操控坐标值。所述操控装置40的操控坐标值即所述操控装置40的屏幕中的位置坐标值。

步骤512，所述控制装置30将所计算得到的发光元件200所处位置坐标值发送至所述操控装置。根据该所述操控装置40的屏幕中的位置坐标值，所述操控装置40可触发与该位置坐标值对应的功能，从而实现所述控制终端20与所述操控装置40的交互。

如图6所示，为本发明实施方式提供的一种人机交互方法600的流程图。所述人机交互方法600为所述人机交互方法500的初始化步骤的细化流程图。根据不同需求，该流程图中步骤的顺序可以改变，某些步骤可以省略或合并。

步骤602，所述控制装置30接收来自所述控制终端20的初始化信号。在一些实施例中，所述初始化信号可为所述控制终端20的发光元件被按下，或所述控制终端20上电开机。

步骤604，所述控制装置30从所述拍摄装置10获取所述发光元件200的影像。

步骤606，所述控制装置30识别所述影像中的发光元件，由于发光元件200的亮度远大于周围环境的亮度，因此通过亮度的差异即可识别出所述影像中的发光元件200。

步骤608，所述控制装置30计算光源所处位置坐标。所述控制装置30可确定所述光源的中心点来计算所述光源中心点所处的位置坐标。在其他实施例中，也可以选择亮度值最大的点来计算所述光源所处的位置坐标。

步骤610，所述控制装置30将所述控制装置30的当前位置坐标与所述操控装置中的特定点(例如所述操控装置40的屏幕的中心点)的位置坐标相关联。关联成功后，所述操控装置40的屏幕的特定点处可出现一指示标识以提示使用者当前指示位置。

如图7所示，为本发明另一实施方式提供的一种人机交互方法700的流程图。根据不同需求，该流程图中步骤的顺序可以改变，某些步骤可以省略或合并。

步骤702，所述控制装置30接收来自所述控制终端20的确认信号，所述确认信号可为所述使用者通过所述输入单元输入的信号(例如按下某一特定按键)，或者控制所述发光元件200闪烁，通过分析所述发光元件200的亮度值波动来确定所述确认信号。

步骤704，所述控制装置30从所述拍摄装置10获取所述发光元件200的视频，所述视频包括所述控制终端20从初始位置移动至目标位置的影像。

步骤706，所述控制装置30识别所述视频中的发光元件200。

步骤708，所述控制装置30计算所述视频中所述光源移动的方向和位移，将该移动的方向和位移换算成在所述操控装置40的屏幕中的方向和位移。再根据该光源在所述屏幕中的初始位置坐标及所述移动的方向和位移计算所述指示标识在所述操控装置40的屏幕中的目标位置坐标。

步骤710，所述控制装置30将计算所得的所述光源在所述操控装置的屏幕中的目标位置坐标发送至所述操控装置40。

在所述交互方法700中，所述光源在所述操控装置的屏幕中的初始位置可通过预先设定并保存在所述存储单元302中，所述视频中的位移及方向与所述屏幕中的位移及方向的转换关系矩阵可预设保存在所述存储单元302中。这样，可以省略所述人机交互方法500中的初始化步骤，只需要计算位移和方向即可。

可以理解的是，在其他实施例中，也可以先执行方法500中的初始化步骤，获得所述光源在所述视频中的初始位置坐标，然后根据该初始位置坐标及计算得到的位移、方向确定所述光源在视频中的目标位置坐标。

另外，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (13)

1.一种人机交互系统，用于与一操控装置交互，所述操控装置包括一显示屏，其特征在于，所述人机交互系统还包括：

控制终端，所述控制终端包括发光元件及输入单元；

拍摄装置，所述拍摄装置用于拍摄所述发光元件的影像或视频；

控制装置，与所述拍摄装置通信连接，用于接收所述发光元件的影像或视频，并根据所述发光元件的影像或视频计算所述发光元件对应在所述操控装置的显示屏中的位置坐标。

2.如权利要求1所述的人机交互系统，其特征在于，所述拍摄装置设置在所述控制装置上。

3.如权利要求1所述的人机交互系统，其特征在于，所述控制装置根据所述控制终端发出的到达目标位置的确认信号时接收所述发光元件的影像或视频，所述确认信号为所述控制终端的输入单元输入的信号或所述发光元件发出的特定光。

4.如权利要求1所述的人机交互系统，其特征在于，所述控制终端还包括通信单元，当所述控制终端发出确认信号时，所述确认信号通过所述通信单元发送至所述控装置。

5.如权利要求1所述的人机交互系统，其特征在于，所述控制装置根据所述发光元件在所述显示屏的初始位置坐标及所述发光元件的位移、方向计算所述发光元件在目标位置的坐标，其中所述发光元件的初始位置坐标为预先设置的。

6.如权利要求1所述的人机交互系统，其特征在于，所述控制装置在所述发光元件开始发光时获取所述发光元件的影像，并计算所述发光元件在所述影像中的位置坐标，并将该位置坐标与所述操控装置的显示屏中的指定位置点的坐标相关联以得到所述影像的位置坐标与所述屏幕中的位置坐标的关联关系，在接收到所述控制终端到达目标位置的确认信号时，获取所述发光元件在目标位置的影像，然后计算所述发光元件在所述影像中的位置坐标，并根据所述关联关系计算所述发光元件在所述显示屏中的位置坐标。

7.一种控制装置，分别与一拍摄装置、一控制终端及一操控装置通信连接，所述操控装置包括一显示屏，其特征在于，所述控制装置包括：

存储单元，用于存储一个或多个程序指令段；

处理单元，所述一个或多个程序指令段能够被所述处理单元执行以使得所述处理单元执行：

接收所述控制终端到达目标位置的确认信号；

获取所述拍摄装置拍摄的设置在所述控制终端上的发光元件的影像或视频；及

根据所述发光元件的影像或视频计算所述发光元件对应在所述操控装置的显示屏中的位置坐标。

8.如权利要求7所述的控制装置，其特征在于，所述确认信号为所述控制终端的发光元件发出的特定光或从所述控制终端发送至所述控制装置的输入信号。

9.如权利要求7所述的控制装置，其特征在于，所述一个或多个程序指令段还能够使得所述处理单元执行：

在所述发光元件开始发光时获取所述发光元件的影像，并计算所述发光元件在所述影像中的位置坐标，并将该位置坐标与所述操控装置的显示屏中的指定位置点的坐标相关联以得到所述影像的位置坐标与所述屏幕中的位置坐标的关联关系；及

在接收到所述控制终端到达目标位置的确认信号时，获取所述发光元件在目标位置的影像，计算所述发光元件在所述影像中的位置坐标，并根据所述关联关系计算所述发光元件在所述显示屏中的位置坐标。

10.如权利要求7所述的控制装置，其特征在于，所述一个或多个程序指令段还能够使得所述处理单元执行：

根据所述发光元件的影像或视频确定所述发光元件从初始位置移动到所述目标位置的移动方向和位移；

根据所述发光元件在所述显示屏的初始位置坐标及所述发光元件的位移与移动方向计算所述发光元件在所述目标位置的坐标，其中所述发光元件的初始位置坐标为预先设置的。

11.一种人机交互方法，应用于一控制装置，所述控制装置分别与一拍摄装置、一控制终端及一操控装置通信连接，所述操控装置包括一显示屏，其特征在于，所述人机交互方法包括：

接收所述控制终端到达目标位置的确认信号；

获取所述拍摄装置拍摄的设置在所述控制终端上的发光元件的影像或视频；及

根据所述发光元件的影像或视频计算所述发光元件对应在所述操控装置的显示屏中的位置坐标。

12.如权利要求11所述的人机交互方法，其特征在于，所述方法还包括：

在所述发光元件开始发光时获取所述发光元件的影像，并计算所述发光元件在所述影像中的位置坐标，并将该位置坐标与所述操控装置的显示屏中的指定位置点的坐标相关联以得到所述影像的位置坐标与所述屏幕中的位置坐标的关联关系；及

在接收到所述控制终端到达目标位置的确认信号时，获取所述发光元件在目标位置的影像，计算所述发光元件在所述影像中的位置坐标，并根据所述关联关系计算所述发光元件在所述显示屏中的位置坐标。

13.如权利要求11所述的人机交互方法，其特征在于，所述方法还包括：

根据所述发光元件的影像或视频确定所述发光元件从初始位置移动到所述目标位置的移动方向和位移；

根据所述发光元件在所述显示屏的初始位置坐标及所述发光元件的位移与移动方向计算所述发光元件在所述目标位置的坐标，其中所述发光元件的初始位置坐标为预先设置的。