CN102012740B - 人机交互方法及系统 - Google Patents

Abstract

一种人机交互方法，包括以下步骤：根据投影信息，构建虚拟桌面，并沿所述虚拟桌面平行发射红外光；通过所述红外光及交互手势，生成响应指令；根据所述响应指令，响应所述交互手势。上述人机交互方法及系统中构建虚拟桌面，并通过发射红外光探测用户的交互手势，简化了由红外光所生成的图像的处理过程，提高了处理速度，有效地降低了噪声的干扰，提高了系统的可靠性。

Description

人机交互方法及系统

【技术领域】

本发明涉及人机交互技术，特别是涉及一种人机交互方法及系统。

【背景技术】

随着机器人技术的快速发展，机器人的应用已经逐渐从高端的工业应用走向了普通家居生活，而且正在迅速形成一个庞大的新兴产业——家居服务或管家机器人，而作为其中的一项关键技术——人机交互技术，即用户以何种方式实现与机器人之间的交流与控制，这已成为目前机器人领域的研究热点。随着人机交互通道、交互设备等的发展，在计算机领域中，人机交互技术的发展经历了非交互的批处理方式、文本(一维)方式、图形(二维)界面、多媒体与网络化等几个阶段。目前国内外正在开展的“以人为中心”的自然和谐的交互技术已经成为人机交互领域的发展趋势，在娱乐机器人中，需要设计者实现“以人为中心”的理念，增强用户在与机器人交互性能。

传统的人机交互系统中采用基于可见光的手势识别技术，对计算机的计算能力、摄像头的分辨率都有着非常高的要求，处理过程也非常复杂。

【发明内容】

基于此，有必要提供一种可加快处理过程的人机交互方法。

此外，还有必要提供一种可加快处理过程的人机交互系统。

一种人机交互方法，包括以下步骤：根据投影信息，构建虚拟桌面，并沿所述虚拟桌面平行发射红外光；通过所述红外光及交互手势，生成响应指令；根据所述响应指令，响应所述交互手势。

优选地，所述根据投影信息，构建虚拟桌面，并沿所述虚拟桌面平行发射红外光的步骤包括：根据所述投影信息，通过投影展示虚拟桌面；发射与所述虚拟桌面平行的红外光，所述红外光覆盖虚拟桌面。

优选地，所述与所述虚拟桌面平行的红外光在距离所述虚拟桌面1～15毫米的位置发射。

优选地，所述通过所述红外光及交互手势，生成响应指令的步骤包括：接收通过交互手势反射的红外光；根据所述反射的红外光，解算出所述交互手势的空间坐标；通过所述空间坐标及预设策略，生成响应指令。

优选地，所述根据所述反射的红外光，解算出所述交互手势的空间坐标的步骤具体是：通过所述反射的红外光，生成图像；对所述图像进行二值化处理，得到与所述交互手势相对应的手势区域；计算所述手势区域的空间坐标。

优选地，还包括：根据所述响应指令，生成投影信息；根据所述投影信息，更新所述虚拟桌面。

一种人机交互系统，至少包括：服务端，用于根据投影信息构建虚拟桌面，沿所述虚拟桌面平行发射红外光，并通过所述红外光及交互手势，得到响应指令；机器人，用于根据所述响应指令，响应所述交互手势。

优选地，所述服务端包括：投影装置，用于根据所述投影信息，通过投影展示虚拟桌面；发射装置，用于发射与所述虚拟桌面平行的红外光，所述红外光覆盖虚拟桌面。图像采集装置，用于接收所述交互手势反射的红外光；处理器，用于发送投影信息，并根据所述交互手势反射的红外光，生成响应指令。

优选地，所述发射装置中与所述虚拟桌面平行的红外光在距离所述虚拟桌面1～15毫米的位置发射。

优选地，所述处理器包括：计算模块，用于根据反射的红外光，解算出所述交互手势的空间坐标；决策模块，用于通过所述空间坐标及预设策略，生成响应指令。

优选地，所述计算模块通过所述反射的红外光生成图像，对所述图像进行二值化处理，得到与所述交互手势相对应的手势区域，计算所述手势区域的空间坐标。

优选地，所述处理器进一步用于根据所述响应指令生成投影信息，所述投影装置进一步用于根据所述投影信息更新所述虚拟桌面。

上述人机交互方法及系统中构建虚拟桌面，并通过发射红外光探测用户的交互手势，简化了由红外光所生成的图像的处理过程，提高了处理速度，有效地降低了噪声的干扰，提高了系统的可靠性。

上述人机交互方法及系统中以虚拟桌面作为用户和机器人的交互界面，对机器人而言，只需要与虚拟桌面接触即可完成所需要的操作，因此，可有效地降低机器人结构的复杂度，提高了交互过程的智能化、速度及效率。

【附图说明】

图1为一实施例中人机交互方法的流程图；

图2为另一实施例中人机交互方法的流程图；

图3为一实施例中人机交互系统的示意图；

图4为一实施例中服务端的示意图；

图5为一实施例中处理器的模块图；

图6为一实施例中人机交互系统的应用示意图。

【具体实施方式】

如图1所示，一实施例的人机交互方法，包括以下步骤：

在步骤S10中，根据投影信息，构建虚拟桌面，并沿虚拟桌面平行发射红外光。本实施例中，投影信息记录了图形操作界面，例如，投影信息可以是记录了棋盘、棋子及用户操作界面等内容，以便于构建虚拟桌面。与虚拟桌面平行的红外光在距离虚拟桌面1～15毫米的位置发射，使得红外光完全覆盖虚拟桌面，从而通过红外光来检测对虚拟桌面的操作。

在步骤S20中，通过红外光及交互手势，生成响应指令。本实施例中，用户在虚拟桌面中的操作即为交互手势，交互手势与虚拟桌面相接触，通过红外光获知交互手势的存在及其空间坐标，从而生成响应用户操作的响应指令。

在步骤S30中，根据响应指令，响应交互手势。本实施例中，根据响应指令，得到用于响应交互手势的运动轨迹，从而沿着运动轨迹执行相应的操作。

另一实施例中，还包括根据所述响应指令，生成投影信息，并根据投影信息更新虚拟桌面的步骤。本实施例中，在对于随着交互手势的响应，其虚拟桌面也会发生变化的人机交互过程，还有必要对虚拟桌面进行更新，以便于在响应交互手势的操作执行时，虚拟桌面也显示相应的内容，例如，在虚拟桌面中也包括了用户操作界面，因此虚拟桌面中设了虚拟按钮，当响应交互手势的操作是按下该虚拟按钮时，该虚拟桌面也应当进行与该虚拟按钮相对应的桌面内容变换。

如图2所示，在更具体的实施例中，人机交互方法包括以下步骤：

在步骤S201中，根据投影信息，通过投影展示虚拟桌面。本实施例中，如电脑显示屏中看到的桌面一样，虚拟桌面也是一种为用户提供操作界面的方式，所不同的是，虚拟桌面中可通过直接的接触进行控制，而不再需要繁琐的鼠标的方式进行控制。如前所述，投影信息中记录了图形操作界面，并通过投影的方式，投影出投影信息中的内容，向用户展示出虚拟桌面。

在步骤S202中，发射与虚拟桌面平行的红外光，该红外光覆盖虚拟桌面。本实施例中，为便于准确探测用户在虚拟桌面上的操作，在距离虚拟桌面1～15毫米的位置发射与虚拟桌面平行的红外光，使得红外光完全覆盖虚拟桌面。

在步骤S203中，接收通过交互手势反射的红外光。本实施例中，用户的交互手势与虚拟桌面相接触，切断了平行于虚拟桌面的红外光，并使得红外光发生反射，例如，虚拟桌面可以是一五子棋的棋盘，棋盘中布设有虚拟的棋子，当用户的手指末端接触虚拟桌面时，平行于桌面的红外光被切断以发生反射。

在步骤S204中，根据反射的红外光，解算出交互手势的空间坐标。本实施例中，根据反射的红外光，解算出交互手势的空间坐标的过程具体是：通过反射的红外光，生成图像，对该图像进行二值化处理，得到与交互手势相对应的手势区域，计算该手势区域的空间坐标。具体地，根据反射的红外光生成图像，使得图像中的信息较少，可有效地加快处理过程，相对于传统的交互系统中使用的可见光，红外光生成的图像更易于处理，其可靠性更高。红外光的图像中记录了交互手势及其它信息，分为与交互手势相对应的手势区域以及背景，其中，手势区域的亮度大，灰度值高。而背景亮度低，灰度值也低，通过图像的二值化处理，将手势区域转化为白色，背景转化为黑色，再对白色区域进行几何计算确定其中心位置，例如，在五子棋的棋盘中，其中心位置即为用户的手指在棋盘中的坐标值。

在步骤S205中，通过空间坐标及预设策略，生成响应指令。本实施例中，预设策略可以是与交互手势相对应的动作，根据交互手势的空间坐标及预设策略，可以得到响应用户交互手势的动作，进而生成响应指令。例如，人机交互过程为下五子棋的过程，则预设策略包括了棋谱及预先建立的运动模型，此时，根据计算得到的用户交互手势的空间坐标可以知道用户在虚拟桌面上的落子位置，对应该落子位置，通过调出棋谱及预先建立的运动模型来计算出此时应当如何进行五子棋的下一步，并执行相应的动作。

在步骤S206中，根据响应指令，生成投影信息。本实施例中，如前所述，随着对交互手势的响应，其虚拟桌面也在发生着变化，因此，在接收到响应指令时，需要根据该响应指令，生成相应的投影信息，同样以五子棋为例，在执行响应动作时，根据响应动作与虚拟桌面的接触位置，可以获知此时的落子位置，此时，生成投影信息，该投影信息中记录了落子位置，以便于根据该投影信息，在虚拟桌面中相对应的落子位置上显示所下的棋子。

在步骤S207中，根据所述投影信息，更新虚拟桌面。

此外，如图3所示，还有必要提供一种人机交互系统。该人机交互系统至少包括服务端10以及机器人20。

服务端10，用于根据投影信息构建虚拟桌面，沿虚拟桌面平行发射红外光，并通过红外光及交互手势，得到响应指令。本实施例中，投影信息记录了图形操作界面，例如，投影信息可以是记录了棋盘、棋子及用户操作界面等内容，以便于构建虚拟桌面。服务端10根据响应指令，得到用于响应交互手势的运动轨迹。

机器人20，用于根据响应指令，响应交互手势。本实施例中，机器人20根据服务端10产生的响应指令，得到响应该交互手势的运动轨迹，从而沿着运动轨迹执行相应的操作，例如，机器人20的手臂可沿着运动轨迹在虚拟桌面上执行相应的操作。

如图4所示，在更具体的实施例中，服务端10包括投影装置12、发射装置14、图像采集装置16以及处理器18。

投影装置12，用于根据投影信息，通过投影展示虚拟桌面。本实施例中，如电脑显示屏中看到的桌面一样，虚拟桌面也是一种为用户提供操作界面的方式，所不同的是，虚拟桌面中可通过直接的接触进行控制，而不再需要繁琐的鼠标的方式进行控制。投影信息中记录了图形操作界面，投影装置12通过投影的方式，投影出虚拟桌面。

发射装置14，用于发射与虚拟桌面平行的红外光，该红外光覆盖虚拟桌面。本实施例中，发射装置14中与虚拟桌面平行的红外光在距离虚拟桌面1～15毫米的位置发射，使得红外光完全覆盖虚拟桌面。

图像采集装置16，用于接收交互手势反射的红外光。本实施例中，用户的交互手势与虚拟桌面相接触，切断了平行于虚拟桌面的红外光，并使得红外光发生反射，例如，虚拟桌面可以是一五子棋的棋盘，棋盘中布设有虚拟的棋子，当用户的手指末端接触虚拟桌面时，平行于桌面的红外光被切断以发生反射。图像采集装置16接收通过交互手势反射的红外光，以便于获取交互手势的图像，从而实现对交互手势的定位。在优选的实施例中，该图像采集装置16为摄像头，且为使摄像头仅接收红外光，需要在摄像头上安装光波滤片，该光波滤片仅允许红外光通过，这样使得人机交互系统中仅针对红外光进行处理，有效地剔除了可见光的噪声干扰。

处理器18，用于发送投影信息，并根据交互手势反射的红外光，生成响应指令。本实施例中，处理器18向投影装置12发送投影信息，以便于投影出供用户使用的虚拟桌面。随着用户的交互手势，处理器18根据交互手势反射的红外光实现对交互手势的空间定位，从而响应该交互手势。

如图5所示，一实施例中的处理器18包括计算模块182以及决策模块184。

计算模块182，用于根据反射的红外光，解算出交互手势的空间坐标。本实施例中，计算模块182通过反射的红外光生成图像，对图像进行二值化处理，得到与交互手势相对应的手势区域，计算手势区域的空间坐标。具体地，计算模块182根据反射的红外光生成图像，使得图像中的信息较少，可有效地加快处理过程，相对于传统的交互系统中使用的可见光，红外光生成的图像更易于处理，其可靠性更高。红外光的图像中记录了交给手势及其它信息，分为与交互手势相对应的手势区域以及背景，其中，手势区域的亮度大，灰度值高。而背景亮度低，灰度值也低，计算模块182通过图像的二值化处理，将手势区域转化为白色，背景转化为黑色，再对白色区域进行几何计算确定其中心位置。

决策模块184，用于通过空间坐标及预设策略，生成响应指令。本实施例中，预设策略可以是与交互手势相对应的动作，根据交互手势的空间坐标及预设策略，可以得到响应用户交互手势的动作，进而生成响应指令。

在另一实施例中，处理器18进一步用于根据响应指令生成投影信息，投影装置12进一步用于根据投影信息更新虚拟桌面。本实施例中，随着对交互手势的响应，其虚拟桌面也在发生着变化，因此，在接收到响应指令时，需要处理器18根据该响应指令，生成相应的投影信息，投影装置12对虚拟桌面进行更新，以便于在响应交互手势的操作执行时，虚拟桌面也显示相应的内容。

如图6所示，下面结合一个详细的实施例来阐述上述人机交互方法及系统的应用过程。该实施例中，机器人20以下棋机器人为例，人机交互过程为用户与下棋机器人进行互动，下五子棋的过程。服务端10根据投影信息构建虚拟桌面，投影信息中记录了五子棋的棋盘，相应地，虚拟桌面为通过投影的方式得到的五子棋的棋盘。在服务端10中，投影装置12根据投影信息中记录的棋盘，投影出一个虚拟的棋盘，可供用户直接接触。发射装置14在距离虚拟的棋盘1～15毫米的位置发射红外光，使得红外光完全覆盖了虚拟的棋盘。用户的手指与虚拟的棋盘相接触，说明将在接触位置投射出一枚棋子(黑子或白子)，发射装置14所发射出的红外光被用户的手指切断，并反射，图像采集装置16接收被用户手指反射的红外光，并传送至处理器18中，此时，计算模块182根据接收到的红外光生成图像，并对图像进行二值化处理得到与用户手指相对应的手势区域，计算手势区域的空间坐标。决策模块184通过空间坐标及预设策略，计算得到机器人20手臂的空间运动轨迹，预设策略中包括了棋谱及预先建立的运动模型，对应用户所投射出的棋子，决策模块184根据棋谱获知机器人20此时应当投射的棋子，由于采用的是虚拟的棋盘，因此机器人20的手臂与虚拟的棋盘的接触位置即为机器人20的落子位置。机器人20手臂的初始位置为任意的A点，落子位置为B点，即机器人20手臂由A点运动至B点，决策模块184采用空间B样条曲线计算机器人20手臂的空间运动轨迹，根据A点和B点通过B样条插值得到机器从20手臂的空间运动点，并根据预先建立的运动模型，计算出不同空间运动点中对应的各个关节的旋转角度，最终形成完整的空间运动轨迹，生成响应指令。机器人20手臂根据响应指令，与虚拟的棋盘接触，同时，处理器18根据响应指令生成投影信息，投影装置12根据投影信息，在机器人20手臂与虚拟的棋盘的接触位置投影出机器人20下子后的棋盘。机器人20手臂在下棋的过程中通过虚拟的棋盘和投影装置12完成棋子的投射，而不需要抓取棋子，进而减化了机器人的复杂度。

上述人机交互方法及系统中构建虚拟桌面，并通过发射红外光探测用户的交互手势，简化了由红外光所生成的图像的处理过程，提高了处理速度，有效地降低了噪声的干扰，提高了系统的可靠性。

上述人机交互方法及系统中以虚拟桌面作为用户和机器人的交互界面，对机器人而言，只需要与虚拟桌面接触即可完成所需要的操作，因此，可有效地降低机器人结构的复杂度，提高了交互过程的智能化、速度及效率。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种人机交互方法，用于包含机器人和服务端的人机交互系统，该方法包括以下步骤：

服务端根据投影信息，通过投影展示虚拟桌面，并沿所述虚拟桌面平行发射红外光，该红外光覆盖虚拟桌面；

服务端接收通过交互手势反射的红外光；

服务端通过所述反射的红外光，生成图像；

服务端对所述图像进行二值化处理，得到与所述交互手势相对应的手势区域；

服务端计算所述手势区域的空间坐标；

服务端通过所述空间坐标及包含了棋谱和预先建立的运动模型的预设策略，计算得到机器人手臂的空间运动轨迹，生成响应指令；

根据所述响应指令，得到用于响应交互手势的运动轨迹，机器人的手臂沿着所述运动轨迹执行相应的操作；

服务端根据所述响应指令，生成投影信息，并根据所述投影信息，更新所述虚拟桌面。

2.根据权利要求1所述的人机交互方法，其特征在于，所述与所述虚拟桌面平行的红外光在距离所述虚拟桌面1～15毫米的位置发射。

3.一种人机交互系统，其特征在于，至少包括：

服务端，用于根据投影信息构建虚拟桌面，沿所述虚拟桌面平行发射红外光，并通过所述红外光及交互手势，得到响应指令；所述服务端包括：

投影装置，用于根据所述投影信息，通过投影展示虚拟桌面；

发射装置，用于发射与所述虚拟桌面平行的红外光，所述红外光覆盖虚拟桌面；

图像采集装置，用于接收所述交互手势反射的红外光；

处理器，用于发送投影信息，并根据所述交互手势反射的红外光，生成响应指令；所述处理器包括：

计算模块，用于通过所述反射的红外光生成图像，对所述图像进行二值化处理，得到与所述交互手势相对应的手势区域，计算所述手势区域的空间坐标；

决策模块，用于通过所述空间坐标及包含了棋谱和预先建立的运动模型的预设策略，计算得到机器人手臂的空间运动轨迹，生成响应指令；

机器人，用于根据所述响应指令，得到用于响应交互手势的运动轨迹，机器人的手臂沿着所述运动轨迹执行相应的操作；

所述处理器进一步用于根据所述响应指令生成投影信息，所述投影装置进一步用于根据所述投影信息更新所述虚拟桌面。

4.根据权利要求3所述的人机交互系统，其特征在于，所述发射装置中与所述虚拟桌面平行的红外光在距离所述虚拟桌面1～15毫米的位置发射。