CN113183157A - 控制机器人的方法及柔性屏交互四足机器人 - Google Patents

Abstract

本发明涉及控制机器人的方法及柔性屏交互四足机器人，在机器人的身体表面设有与其外形贴合的柔性屏，该方法包括：通过柔性屏显示对话窗口，对话窗口的显示位置配合用户的观察角度；对话窗口的唤出方式可为以下两种方式中的任一一种：方式一、用户触摸柔性屏上任意位置可唤出对话窗口，对话窗口以用户点击的位置为中心展开；方式二、用户通过语音呼唤机器人，根据机器人身上搭载的麦克风阵列对用户语音进行定向，从而朝着用户的方向显示对话窗口。本申请通过在机器人身上安装柔性屏，并采用视觉、听觉、触觉等多传感器信息融合的方案，达到了四足机器人身上的显示对话窗可以追随用户的观察和使用角度动态移动的效果，改善了用户的使用体验。

Description

控制机器人的方法及柔性屏交互四足机器人

技术领域

本发明涉及机器人技术领域，尤其涉及控制机器人的方法及柔性屏交互四足机器人。

背景技术

随着机器人行业的不断发展,服务机器人的形态也越来越丰富,每个机器人都配有显示屏与用户更好的交互。

现有的四足机器人要么没有显示屏，要么在四足机器人身上只有一块小显示屏用于显示四足机器人的眼睛，要么在四足机器人身体侧面有一块较大硬性显示屏。

对于没有屏幕的四足机器人，无法展示信息因而交互性差；

对于只有显示眼睛用的显示屏的四足机器人，只能实现简单的显示和交互功能，交互性也不好；

对于侧面有一块较大硬性显示屏的四足机器人，虽然可显示较多内容，使得交互性能有一定程度的改善，但是因其显示屏为刚性屏，因而存在以下缺陷：一方面，显示屏易碎。刚性屏的物理性质较差，受弯曲及碰撞易碎。四足机器人在运动过程中四足机器人身本身会产生振动及形变，导致屏幕碎裂；并且，四足机器人的活动环境非常复杂，既有复杂的平地，比如街道、草地，又有比较复杂的起伏地形，比如上下楼梯、泥土地面及碎石路面，在如此复杂的活动环境下，一块裸露的刚性屏幕是易碎的。

另一方面，侧身的显示屏在笛卡尔坐标系中与三个坐标轴的夹角都是固定的，在这种条件下，从侧面观察四足机器人屏幕，会面临屏幕反光、漏光等问题，人与四足机器人的交互是非常不方便。

发明内容

本申请为了解决上述技术问题提供控制机器人的方法及柔性屏交互四足机器人。

本申请通过下述技术方案实现：

控制机器人的方法，在机器人的身体表面设有与其外形贴合的柔性屏，所述方法包括：

通过柔性屏显示对话窗口，所述对话窗口的显示位置配合用户的观察角度。

进一步的，所述对话窗口的唤出方式可为以下两种方式中的任一一种：

方式一、用户触摸柔性屏上任意位置可唤出对话窗口，对话窗口以用户点击的位置为中心展开；

方式二、用户通过语音呼唤机器人，根据机器人身上搭载的麦克风阵列对用户语音进行定向，从而朝着用户的方向显示对话窗口。

进一步的，所述方法还包括：通过窗口移动指令启动对话窗口自动移动模式，通过窗口停止移动指令关闭所述对话窗口自动移动模式；

在所述自动移动模式下，所述对话窗口的显示位置自动跟随用户的位置，实现对话窗口的显示位置始终匹配用户的观察角度。

进一步的，当机器人启动对话窗口自动移动模式后，实现所述对话窗口自动移动的方式有以下三种：

方式一、机器人通过视觉系统动态感知用户的人脸和/或眼睛的位置，对话窗口的显示位置动态跟随用户的人脸和/或眼睛的位置；

方式二、机器人通过麦克风阵列动态感知用户语音的方向，对话窗口的显示位置动态跟随用户的语音方向；

当没有声音时，将会触发视觉系统，通过视觉系统动态感知用户的头部的空间位置，对话窗口的显示位置动态跟随用户的人脸和/或眼睛的位置；

方式三、机器人通过触摸柔性屏上的任意位置，对话窗口的显示位置动态跟随用户触摸的位置。

进一步的，所述机器人存储有多种视觉皮肤，所述的方法还包括：通过所述柔性屏显示所述多种视觉皮肤中的任一一种，继而调整机器人的外观皮肤。

进一步的，所述柔性屏在未工作阶段显示机器人的外观皮肤，该外观皮肤可随着不同的环境以及用户不同的需求而变化；在唤出所述对话窗口之后，所述外观皮肤的亮度相比于未唤出对话窗口时降低20%-30%。

其中，所述的方法还包括：获取展示信息，通过所述柔性屏向外界显示所述展示信息。

其中，所述的方法还包括通过所述柔性屏向所述机器人输入信息。

柔性屏交互的四足机器人，包括：

柔性屏，设置在四足机器人的身体表面且与其外形贴合；

交互感知系统，感知用户的观察角度；

对话窗口响应模块，响应用户呼出对话框的需求；

对话窗口位置确定模块，根据所述观察角度确定对话窗口在所述柔性屏上的显示位置；

对话窗口显示控制模块，控制所述对话窗口在所述显示位置显示。

进一步的，柔性屏交互的四足机器人还包括：

存储模块，存储有多种视觉皮肤；

获取模块，用于获取展示信息；

展示模块，通过所述柔性屏向外界显示展示内容，所述展示内容用于表示所述展示信息或任一一种视觉皮肤。

与现有技术相比，本申请具有以下有益效果：

1，本申请在机器人身上设柔性屏做显示器，可解决机器人需要显示屏的问题以及刚性屏带来的物理性质不好、用户交互不便等问题；

2，本申请通过在机器人身上安装柔性屏，并采用视觉、听觉、触觉等多传感器信息融合的方案，达到了四足机器人身上的显示对话窗可以追随用户的观察和使用角度动态移动的效果，改善了用户的使用体验；

3，本申请的四足机器人的柔性屏与外观其完全贴合,可以通过调整屏幕显示内容来调整机器人外观皮肤,解决单一视觉的缺陷,打破工业产品固体形态的模式。

4.本发明在机器人外部柔性屏，可以让机器人外观造型不会被屏幕形状限制,完全贴合外观,更好利用显示空间,增大显示面积。

附图说明

此处所说明的附图用来提供对本申请实施方式的进一步理解，构成本申请的一部分，并不构成对本发明实施方式的限定。

图1是对话窗口显示在柔性屏上的示意图；

图2是柔性屏的示意图；

图3是本发明的系统硬件架构示意图；

图4是本发明中对话窗口的控制流程图；

图5是麦克风阵列示意图；

图6麦克风阵列与麦克风阵列坐标系两坐标轴关系示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本发明实施方式的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

另外，在本申请各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所描述的功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施例1

在机器人的身体表面设有与其外形贴合的柔性屏，控制该机器人的方法，包括：通过柔性屏显示对话窗口，对话窗口的显示位置配合用户的观察角度。

其中，对话窗口的唤出方式可为以下两种方式中的任一一种：

方式一、用户触摸柔性屏上任意位置可唤出对话窗口，对话窗口以用户点击的位置为中心展开；

方式二、用户通过语音呼唤机器人，根据机器人身上搭载的麦克风阵列对用户语音进行定向，从而朝着用户的方向显示对话窗口。

为了进一步改善交互性能，提高用户体验。在另一个实施例中，机器人具有对话窗口自动移动模式，在该自动移动模式下，对话窗口的显示位置自动跟随用户的位置，实现对话窗口的显示位置始终匹配用户的观察角度。

控制该机器人的方法还包括：通过窗口移动指令启动对话窗口自动移动模式，通过窗口停止移动指令关闭对话窗口自动移动模式。当机器人启动对话窗口自动移动模式后，实现对话窗口自动移动的方式有以下三种：

方式一、机器人通过视觉系统动态感知用户的人脸和/或眼睛的位置，对话窗口的显示位置动态跟随用户的人脸和/或眼睛的位置；

方式二、机器人通过麦克风阵列动态感知用户语音的方向，对话窗口的显示位置动态跟随用户的语音方向；

当没有声音时，将会触发视觉系统，通过视觉系统动态感知用户的头部的空间位置，对话窗口的显示位置动态跟随用户的人脸和/或眼睛的位置；

方式三、机器人通过触摸柔性屏上的任意位置，对话窗口的显示位置动态跟随用户触摸的位置。

基于控制该机器人的方法，本申请公开一机器人，该机器人包括：

柔性屏，设置在四足机器人的身体表面且与其外形贴合；

交互感知系统，感知用户的观察角度；

对话窗口响应模块，响应用户呼出对话框的需求；

对话窗口位置确定模块，根据观察角度确定对话窗口在柔性屏上的显示位置；

对话窗口显示控制模块，控制对话窗口在显示位置显示。

值得一提的是，柔性屏可包覆设置机器人身体一周，也可只覆盖住机器人身体的大部分区域。

实施例2

本实施例中，柔性屏在未工作阶段显示机器人的外观皮肤，该外观皮肤可随着不同的环境以及用户不同的需求而变化；在唤出对话窗口之后，外观皮肤的亮度相比于未唤出对话窗口时降低20%-30%。

机器人可存储有多种视觉皮肤，通过柔性屏显示多种视觉皮肤中的任一一种，继而可调整机器人的外观皮肤。视觉皮肤的数量根据需要设置即可。

实施例3

本实施例中的机器人为四足机器人，包覆在四足机器人身上的屏幕本身作为四足机器人的皮肤，在未工作阶段显示四足机器人的外观。该外观可以随着不同的环境以及使用者不同的需求而变化。在唤出对话窗口之后，该背景在对话窗口之外的部分始终存在，但是亮度变为未唤出对话窗口时的70%，以突出对话窗口，如图1所示。

四足机器人的控制方法如下：

一唤出对话窗口有两种方法：

①、用户轻点屏幕上任意位置可唤出对话窗口。对话窗口以用户点击的位置为中心展开，这样就可以跟随用户不同的观察角度及手指与屏幕不同的位置关系而将对话窗口生成在不同的位置，使用户的视线轴始终与对话窗口中心相垂直。

②、用户通过语音呼唤四足机器人。根据四足机器人身上搭载的麦克风阵列可以对用户语音进行定向，从而始终朝着用户的方向显示对话窗口。

本实施例借助柔性屏，可以使显示内容在柔性屏上不同的位置显示；配合四足机器人本身的曲面外壳，达到显示内容的位置和角度可以灵活配合用户的观察角度的功能，使人机交互更灵活，效果如图2所示。

二、显示内容移动

窗口移动指令可为语音指令，也可为四足机器人身上或app上的按键发出。

当发出指令 “嗨XX，窗口移动”时，四足机器人启动对话窗口自动移动模式，该模式下，四足机器人通过其上安置的双目摄像头以及麦克风阵列，动态感知用户的头部的空间位置，随着用户的移动，显示内容将动态追踪用户的头部及眼睛的位置。

当发出指令 “嗨XX，窗口停止移动”时，四足机器人关闭对话窗口自动移动模式。

对话窗口的显示位置配合用户的观察角度的实现分为软、硬件两个层面。硬件系统如图3所示，交互感知系统包括：

交互感知控制系统，连接OLED驱动电路、柔性屏的触摸面板、触摸屏集成电路、两侧视觉系统、头部语音系统和头部听觉系统；

OLED驱动电路，驱动柔性屏显示面板显示具体的内容。

柔性屏的触摸面板和触摸屏集成电路，负责感知用户在柔性屏上的触摸操作，返回相应的触点的坐标值；当用户触摸屏幕唤出对话窗时，触点坐标就是对话窗中心点所在的坐标。

两侧视觉系统，两侧视觉系统负责采集环境图像。

头部语音系统，头部语音系统负责播放声音以使四足机器人可以与用户进行交互；

头部听觉系统，听觉系统配备有麦克风阵列及相应的芯片，用以接收声音信号，并使用声音定向算法得到声音的空间方位。

软件系统流程图如图4所示，具体如下：

有两种外部信号源可以使四足机器人产生对话窗口：触摸或声音。

①当接收到触摸信号后，柔性屏的触摸面板产生触摸坐标信息。该坐标信息直接作为对话窗的中心坐标信息。

②当接收到声音唤醒信息时，由麦克风阵列接收的声音信号结合声音定向算法将会得到声音来源的空间坐标。该空间坐标以四足机器人为三维坐标原点产生，将在柔性屏上映射一个显示坐标。

具体的计算过程如下：

设坐标系H是空间三维坐标系，坐标系原点在四足机器人头部麦克风阵列的几何中心，如图5所示。H坐标系是右手坐标系，其三个坐标轴分别为

，

，

。当四足机器人头部未发生任何角度的旋转，正方向朝前时，我们称此时的四足机器人为标准姿势。则此时可定义三个坐标轴的标准方向。

是垂直于麦克风阵列长边的坐标轴，

是垂直于麦克风阵列短边的坐标轴，如图6所示。

的方向依照右手法则确定。则在此坐标系中，可以通过声音定向方法得到一个声音的方向向量

，其中

，

，

是对应坐标系中的坐标，t是非负实数，作向量参数。

依照类似的方法，可以得到另一个四足机器人的体坐标系B。该体坐标系以四足机器人在的身体几何中心为原点，其三个坐标轴分别为。其三个坐标轴的方向与标准姿态下的四足机器人的H坐标系的三个坐标轴方向一一对应。

在B坐标系下，可得到一个H坐标系原点O的坐标O

。于是，在O坐标系下，可得到声音的方向向量：

。设四足机器人背部的曲面方程为：

其中

，

，

和上文中提到的

，

，

含义类似，是对应坐标系中的坐标变量，b是常数。则将向量

代入曲面方程中，可以解得向量参数t的形式解

。

通过

可获得B坐标系内的对话窗口的显示坐标。本实施例描述中所建立的坐标系是两个右手坐标系，依照上文描述的方法确认的坐标轴方向。在另外的实施例中，可采用其它坐标系，包括但不限于：世界坐标系、身体坐标系、头部坐标系、相机坐标系、体坐标系等。每个坐标系的形式包括但不限于：左手坐标系、右手坐标系、极坐标系、球坐标系、柱坐标系、直角坐标系等。

当四足机器人接收到信号并识别为“窗口移动”指令后，将会重复调用声音唤醒的功能，持续刷新对话窗的中心坐标；当没有声音时，将会触发两侧视觉系统，进行人脸关键点检测，从而确定用户的人眼方位，生成对话窗的中心点坐标。人脸检测、人脸关键点检测以及从人脸关键点到对话窗中心点的坐标映射方法属于一般方法，在此不进行赘述。

具体对话窗口的移动方式有如下两种呈现方式：1. 对话窗口从初始点以直线平移方式移动至目标点，该方式下用户可以观察到整个移动过程；2.对话窗口从初始点闪烁到目标点，用户可以看到闪烁的动画，闪烁频率为每5s进行一次移动。

在另一个实施例中，可通过柔性屏向机器人输入信息。

本实施例的四足机器人包括：

柔性屏，设置在四足机器人的身体表面且与其外形贴合；

交互感知系统，感知用户的观察角度；

对话窗口响应模块，响应用户呼出对话框的需求；

对话窗口位置确定模块，根据观察角度确定对话窗口在柔性屏上的显示位置；

对话窗口显示控制模块，控制对话窗口在显示位置显示；

存储模块，存储有多种视觉皮肤；

获取模块，用于获取展示信息；

展示模块，通过柔性屏向外界显示展示内容，展示内容用于表示展示信息或任一一种视觉皮肤。

通过获取模块可实现更多信息的展示，比如广告信息,视频播放、天气、音乐、机器人心情、动画等与具体交互内容相关的显示内容。值得说明的是，显示的具体内容可直接显示在柔性屏上，也可以通过对话窗口显示。

本实施例的四足机器人的柔性屏与外观其完全贴合,可以通过调整屏幕显示内容,调整机器人外观皮肤,而不是单一视觉效果,打破工业产品固体形态的模式。

本发明通过在机器人身上安装柔性屏，并采用视觉、听觉、触觉等多传感器信息融合的方案，达到了四足机器人身上的显示对话窗可以追随用户的观察和使用角度动态移动的效果，改善了用户的使用体验。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.控制机器人的方法，其特征在于：在机器人的身体表面设有与其外形贴合的柔性屏，所述方法包括：

通过柔性屏显示对话窗口，所述对话窗口的显示位置配合用户的观察角度。

2.根据权利要求1所述的控制机器人的方法，其特征在于：所述对话窗口的唤出方式可为以下两种方式中的任一一种：

方式一、用户触摸柔性屏上任意位置可唤出对话窗口，对话窗口以用户点击的位置为中心展开；

方式二、用户通过语音呼唤机器人，根据机器人身上搭载的麦克风阵列对用户语音进行定向，从而朝着用户的方向显示对话窗口。

3.根据权利要求1或2所述的控制机器人的方法，其特征在于：所述方法还包括：通过窗口移动指令启动对话窗口自动移动模式，通过窗口停止移动指令关闭所述对话窗口自动移动模式；

在所述自动移动模式下，所述对话窗口的显示位置自动跟随用户的位置，实现对话窗口的显示位置始终匹配用户的观察角度。

4.根据权利要求3所述的控制机器人的方法，其特征在于：当机器人启动对话窗口自动移动模式后，实现所述对话窗口自动移动的方式有以下三种：

方式一、机器人通过视觉系统动态感知用户的人脸和/或眼睛的位置，对话窗口的显示位置动态跟随用户的人脸和/或眼睛的位置；

方式二、机器人通过麦克风阵列动态感知用户语音的方向，对话窗口的显示位置动态跟随用户的语音方向；

当没有声音时，将会触发视觉系统，通过视觉系统动态感知用户的头部的空间位置，对话窗口的显示位置动态跟随用户的人脸和/或眼睛的位置；

方式三、机器人通过触摸柔性屏上的任意位置，对话窗口的显示位置动态跟随用户触摸的位置。

5.根据权利要求1所述的控制机器人的方法，其特征在于：所述机器人存储有多种视觉皮肤，所述的方法还包括：通过所述柔性屏显示所述多种视觉皮肤中的任一一种，继而调整机器人的外观皮肤。

6.根据权利要求5所述的控制机器人的方法，其特征在于：所述柔性屏在未工作阶段显示机器人的外观皮肤，该外观皮肤可随着不同的环境以及用户不同的需求而变化；在唤出所述对话窗口之后，所述外观皮肤的亮度相比于未唤出对话窗口时降低20%-30%。

7.根据权利要求1、2、4、5或6任一所述的控制机器人的方法，其特征在于：所述的方法还包括：获取展示信息，通过所述柔性屏向外界显示所述展示信息。

8.根据权利要求1或2所述的控制机器人的方法，其特征在于：所述的方法还包括通过所述柔性屏向所述机器人输入信息。

9.柔性屏交互的四足机器人，其特征在于：包括：

柔性屏，设置在四足机器人的身体表面且与其外形贴合；

交互感知系统，感知用户的观察角度；

对话窗口响应模块，响应用户呼出对话框的需求；

对话窗口位置确定模块，根据所述观察角度确定对话窗口在所述柔性屏上的显示位置；

对话窗口显示控制模块，控制所述对话窗口在所述显示位置显示。

10.根据权利要求7所述的四足机器人，其特征在于：还包括：

存储模块，存储有多种视觉皮肤；

获取模块，用于获取展示信息；

展示模块，通过所述柔性屏向外界显示展示内容，所述展示内容用于表示所述展示信息或任一一种视觉皮肤。

Images