CN112788148A - 一种智能人机交互系统及方法 - Google Patents

Abstract

本发明公开了智能玩具设备交互技术领域的一种智能人机交互系统及方法，实现人与玩具、玩具与玩具之间的多端交互，提高了玩具的智能化程度。动作输入模块用于接收外部动作输入，动作处理模块用于将动作输入模块接收到的外部动作输入转换为信号量，第一交互管理模块用于根据输入处理模块发送的信号量从“动作‑反馈”匹配表中匹配动作‑反馈关系，并根据单机/联机模式本端输出或发送至云系统；第二交互管理模块用于接收云系统转发的动作‑反馈关系，并从“动作‑反馈”匹配表中匹配对应的信号量，反馈处理模块用于将第二交互管理模块中产生的信号量转换为反馈输出，反馈输出模块用于根据反馈处理模块给定的反馈输出做出反馈响应。

Description

一种智能人机交互系统及方法

技术领域

本发明属于智能玩具设备交互技术领域，具体涉及一种智能人机交互系统及方法。

背景技术

当前智能玩具主要有动物或者人物（如娃娃）造型、会说话、能与人产生一些简单互动的玩具。该类型玩具配备各类传感器，可识别动作、声音、环境变化等要素，并产生不同的声光反馈。例如，对着一个玩具吹气，玩具产生摇头，并不断发生“痒”的声音反馈。但是，当前玩具还处在初级拟人阶段，单机反馈系统已经无法满足部分用户的诉求，如玩偶的一些大消费群体：年轻恋人。

发明内容

为解决现有技术中的不足，本发明提供一种智能人机交互系统及方法，实现人与玩具之间的多端交互，提高了玩具的智能化程度。

为达到上述目的，本发明所采用的技术方案是：一种智能人机交互系统，包括分别与云系统通信连接的设备A和设备B，所述设备A包括动作输入模块、动作处理模块和第一交互管理模块，所述动作输入模块用于接收外部动作输入，所述动作处理模块用于将所述动作输入模块接收到的外部动作输入转换为信号量，所述第一交互管理模块用于根据所述输入处理模块发送的信号量从“动作-反馈”匹配表中匹配动作-反馈关系，并在单机模式下本端输出，或在联机模式下发送至所述云系统；所述设备B包括第二交互管理模块、反馈处理模块和反馈输出模块，所述第二交互管理模块用于接收所述云系统转发的动作-反馈关系，并从“动作-反馈”匹配表中匹配对应的信号量，所述反馈处理模块用于将所述第二交互管理模块中产生的信号量转换为反馈输出，所述反馈输出模块用于根据所述反馈处理模块给定的反馈输出做出反馈响应。

进一步地，所述第一交互管理模块包括第一自定义单元，所述第一自定义单元用于接收用户设定的自定义动作及对应的反馈；所述第一交互管理模块将用户在所述第一自定义单元设定的自定义信息同步至云系统，同时，云系统将所述第一自定义单元的自定义信息同步至设备B。

进一步地，所述第二交互管理模块包括第二自定义单元，所述第二自定义单元从云系统接收用户设定的自定义信息并保存。

进一步地，所述云系统包括信息采集模块和信息推荐模块，所述信息采集模块用于通过设备A采集用户的常用标签；所述信息推荐模块用于存储与所述信息采集模块采集的常用标签相匹配的推荐信息，并向用户和设备A发送推荐信息。

进一步地，所述设备A用于存储被选择的推荐信息，同时将选择的推荐信息通过云系统同步至所述设备B。

进一步地，所述第一交互管理模块包括第一配对信息单元，所述第一配对信息单元用于将设备A的物理地址通过云系统发送至设备B请求配对许可。

进一步地，所述第二交互管理模块包括第二配对信息单元，所述第二配对信息单元用于存储所述设备A的物理地址，并将所述设备B的物理地址通过云系统发送至设备A以允许设备A的配对请求。

一种智能人机交互方法，包括分别与云系统通信连接的设备A和设备B，方法由所述设备A执行：发送设备A的物理地址请求配对许可并保存接收到的设备B的物理地址；响应于外部动作输入，从“动作-反馈”匹配表中匹配动作-反馈关系，并同步至云系统；响应于用户输入的自定义信息，并同步至云系统；响应于用户选择的推荐信息，并同步至云系统。

一种智能人机交互方法，包括分别与云系统通信连接的设备A和设备B，方法由所述云系统执行：响应于设备A发送的设备A的物理地址并转发至设备B，同时响应于设备B发送的设备B的物理地址并转发至设备A；响应于设备A同步的动作-反馈关系并转发至设备B；响应于设备A同步的自定义信息，并转发至设备B；响应于设备A同步的推荐信息，并转发至设备B。

一种智能人机交互方法，包括分别与云系统通信连接的设备A和设备B，方法由所述设备B执行：响应于云系统转发的配对请求保存设备A的物理地址，并发送设备B的物理地址；响应于云系统转发的动作-反馈关系，做出反馈响应；响应于云系统转发的自定义信息，保存到本地；响应于云系统转发的推荐信息，保存到本地。

与现有技术相比，本发明所达到的有益效果：

（1）本发明通过设置分别与云系统通信连接的设备A和设备B，用户基于云系统通过设备A与设备B的多端交互，将传统玩具向智能玩具转化，让玩具/玩偶具备拟人特性，且变成人和人之间的交互寄托，提高了玩具的智能化程度；

（2）本发明通过自定义信息，使用户可以根据需要进行自定义设置，避免了普通玩具存在的千篇一律的反馈，充分尊重个性，让玩具的交互体现个性化和多样性，实现了交互的输入和反馈方式可定制；

（3）本发明通过信息推荐模块，实现玩具的智能化和智慧化，让玩具越来越懂用户；玩具系统根据用户的习惯，自动为用户推荐、选择输入和反馈方式的能力。

附图说明

图1是本发明实施例提供的一种智能人机交互系统的系统结构示意图；

图2是本发明实施例提供的一种智能人机交互系统中信息体的定义示意图；

图3是本发明实施例提供的一种智能人机交互系统的多玩具系统下的交互和反馈流程示意图；

图4是本发明实施例提供的一种智能人机交互系统的“动作-反馈”匹配表示意图；

图5是本发明实施例提供的一种智能人机交互系统中用户定制交互和反馈方式的流程示意图；

图6是本发明实施例提供的一种智能人机交互系统中根据用户的画像推荐交互和反馈的流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

如图1~图4所示，一种智能人机交互系统，包括分别与云系统通信连接的设备A和设备B，设备A包括动作输入模块、动作处理模块和第一交互管理模块，所述动作输入模块用于接收外部动作输入，所述输入处理模块用于将所述动作输入模块接收到的外部动作输入转换为信号量，所述第一交互管理模块用于根据所述输入处理模块发送的信号量从“动作-反馈”匹配表中匹配动作-反馈关系，并在单机模式下本端输出，或在联机模式下发送至所述云系统；设备B包括第二交互管理模块、反馈处理模块和反馈输出模块，所述第二交互管理模块用于接收所述云系统转发的动作-反馈关系，并从“动作-反馈”匹配表中匹配对应的信号量，所述反馈处理模块用于将所述第二交互管理模块中产生的信号量转换为反馈输出，所述反馈输出模块用于根据所述反馈处理模块给定的反馈输出做出反馈响应。

人与玩具之间的多端交互包括单机模式下的人-玩交互，以及联机模式下的人-机-机-人交互。每个玩具中同时包括动作输入、动作处理、交互管理、反馈处理和反馈输出模块，单机模式下，玩具对人的输入匹配合适的反馈在本端输出；联机模式下，用户在玩具A和B都可以进行输入，系统在玩具A和玩具B上匹配出合适的本地反馈、远程反馈并输出给用户。

如图1所示，在本实施例中，设备A（图1中的玩具A）包括动作输入模块、动作处理模块、第一交互管理模块、反馈处理模块和反馈输出模块；设备B（图1中的玩具B）包括第二交互管理模块、反馈处理模块、反馈输出模块、动作输入模块和动作处理模块；设备A中的第一交互管理模块和设备B中的第二交互管理模块结构和功能完全相同；设备A和设备B通过云系统进行信息路由，达到一端输入本端反馈，以及一端输入另一端反馈的目的。

动作输入模块：包括机械的开关信号，重力、加速度、陀螺仪传感器、触摸信号、压力信号、屏幕输入、音频输入等。

动作处理模块：负责对接动作输入模块，通过接收动作输入模块中各传感器等组合信号识别输入动作；预置动作包括但不限于以下几种：

1）转动玩具手臂 手臂旋转开关量 001；

2）玩具头扭动 开关信号量 002；

3）玩具被捧在手心摇一摇 陀螺仪+加速度传感器信号量 003；

4）摸摸玩具头部，头部触摸信号量 004；

5）摸摸玩具耳朵 耳朵上触摸信号量 005；

6）对着玩偶嘴巴/胸口吹气 音频或传感器信号 006；

7）捶玩偶胸口 开关信号量 007；

8）自定义动作范围100-999，自定义动作优先于预置动作。

反馈处理模块：负责对特定的输入进行反馈响应，当前反馈形式有屏幕显示，声光输出，振动，机械动作等；预置反馈多为组合反馈，包括但不限于以下几种：

1）机械摇头+屏幕动画(放电) 001；

2）机械摇头+屏幕动画(开心) 002；

3）机械摇头+屏幕动画(生气)+音频(生气) 003；

4）红心闪烁+屏幕动画(害羞)+音频(害羞) 004；

5）红心闪烁+屏幕动画(爱意)+音频(爱意) 005；

6）自定义反馈范围100-999，自定义反馈优先于预置反馈。

交互管理模块（包括设备A的第一交互管理模块和设备B的第二交互管理模块）：负责存储动作-反馈，动作-反馈匹配表，配对信息，信息路由等，和云侧互联；

1）设备配对信息管理: 多设备交互系统的基础，基于设备唯一识别码识别玩具，多设备联机互动前，需要完成设备间的配对，配对关系存放在设备配对模块，有变化时与云侧同步，由云侧实现多端设备配对管理的一致性。

2）动作信息管理: 管理预置、自定义(本地、配对方用户自定义）动作编码与动作详情；

3）反馈信息管理: 管理预置、自定义(本地、配对方用户自定义）反馈编码与反馈详情。

4）“动作-反馈”匹配表管理: 管理动作-反馈匹配关系，如 001-001，代表转动玩具手臂，触发玩具摇头+放电动画反馈；

5）信息路由: 负责收发信息，发送信息要求配对设备进行响应，接收消息执行反馈并回复结果。

云系统：负责信息的管理和路由，预置、自定义动作-反馈的多端同步，根据用户画像推荐动作-反馈，动作-反馈市场的管理等；

1）如图2所示，是本实施例中对信息体的定义示例；

2）信息路由：

a）检测信息体格式；

b）检测from-to，是否是配对关系；

c）将信息体从from传输到to指定的目的设备；

3）动作-反馈同步：将用户自定义的动作-反馈，向配对设备同步，并保存到配对设备中；

4）根据用户画像运营动作-反馈的推荐：

a）学习用户习惯，形成用户标签；

b）运营云侧的“动作-反馈”市场；

c）根据用户标签向用户推荐合适的“动作-反馈”。

一、如图3所示，本实施例基于多玩具系统下的交互和反馈，详细步骤如下：

1）多端设备进行配对，配对关系“设备A硬件序列号-设备B硬件序列号”（注：硬件序列号唯一，不会重复）存储到设备本地，并将配对关系向云系统同步。设备A中第一交互管理模块包括第一配对信息单元，第一配对信息单元用于将设备A的物理地址通过云系统发送至设备B请求配对许可；设备B中第二交互管理模块包括第二配对信息单元，所述第二配对信息单元用于存储所述设备A的物理地址，并将所述设备B的物理地址通过云系统发送至设备A以允许设备A的配对请求。此处涉及到：配对关系删除，若设备A要求解除配对，则删除本地匹配关系，并同步到云系统，云系统再通知设备B，使设备B本地相应的匹配关系也进行删除，保证多端信息的一致性；

2）用户对设备A进行动作输入，比如摸摸玩具耳朵，设备A进行输入信号汇总，并到预置动作+自定义动作存储中查询是否有匹配动作，若存在，则返回动作id；若不存在，从云侧同步后再次查询，仍未查询到则返回错误表示动作无法识别；

3）设备A从“动作-反馈”匹配表（如图4所示）查询到相应的表项，进行信息体的组织；若查询失败则返回错误，无对应反馈；

4）设备A将信息体发送出去，云系统负责校验信息体，校验内容包括但不限于：字段是否为空；from-to是否是匹配关系等。若校验不通过，则返回错误；校验完成，则根据目的设备是否在线发送或缓存消息；如果目的设备不在线可以给设备A返回提示；

5）设备B接收信息体，解析信息体，校验反馈id本地是否存在，若不存在，从云侧同步后再次查询，仍未查询到返回错误；

6）设备B的反馈处理：根据反馈id向本地预置反馈+自定义反馈表中，查询具体反馈内容，并根据结果驱动反馈输出。

本实施例通过设置分别与云系统通信连接的设备A和设备B，用户基于云系统通过设备A与设备B的多端交互，将传统玩具向智能玩具转化，让玩具/玩偶具备拟人特性，且变成人和人之间的交互寄托，提高了玩具的智能化程度。

二、本实施例中，设备A中第一交互管理模块包括第一自定义单元，第一自定义单元用于接收用户设定的自定义动作及对应的反馈；第一交互管理模块将用户在第一自定义单元设定的自定义信息同步至云系统，同时，云系统将第一自定义单元的自定义信息同步至设备B；设备B中第二交互管理模块包括第二自定义单元，第二自定义单元从云系统接收用户设定的自定义信息并保存。本实施例通过自定义信息，使用户可以根据需要进行自定义设置，避免了普通玩具存在的千篇一律的反馈，充分尊重个性，让玩具的交互体现个性化和多样性，实现了交互的输入和反馈方式可定制。

如图5所示，本实施例中用户定制交互和反馈方式的步骤如下：

1）用户触发自定义动作-反馈；可以在手机、平板、电脑，以及通过玩具的触摸屏，设备上的实体按键进入自定义模式；

2）提示用户输入动作，动作可以在已有的动作里面选择，或者自定义；用户根据一定的顺序向设备传感器进行输入，在一定的时间间隔（如2s）内完成的动作可识别为同时并行动作。动作输入完成进入下一步；

3）提示用户输入反馈，反馈可以在已有的反馈里面选择，或者自定义；用户根据一定的顺序进行输出的配置，并配置反馈输出的时间点，可以并行、顺序、延迟输出；完成反馈结果输入；

4）设备A完成设置，向云系统进行反馈同步，云系统将自定义的反馈 id+反馈内容，同步到设备B；

5）设备B从云侧接收信息，保存自定义反馈id+反馈内容；

6）用户触发设备A自定义的动作，则按照“多玩具系统下的交互和反馈”流程，完成自定义的反馈输出。

三、本实施例中，云系统包括信息采集模块和信息推荐模块，信息采集模块用于通过设备A采集用户的常用标签；信息推荐模块用于存储与信息采集模块采集的常用标签相匹配的推荐信息，并向用户和设备A发送推荐信息；设备A存储被选择的推荐信息，同时将选择的推荐信息通过云系统同步至设备B。本实施例通过信息推荐模块，实现玩具的智能化和智慧化，让玩具越来越懂用户；玩具系统根据用户的习惯，自动为用户推荐、选择输入和反馈方式的能力。

如图6所示，本实施例根据用户的画像，推荐交互和反馈，详细步骤如下：

1）设备和云系统在尊重用户隐私的前提下，学习用户常见的标签（性别、地点、常用时间段等）。比如用户：女孩，长期在南方活动，9点左右总是使用该设备；

2）云系统中市场，负责运营专业人员设计+用户自定义的精品“动作-反馈”。系统根据用户标签匹配，给用户和设备（如设备A）推荐。例如步骤1里面，推荐早安+温婉类型的反馈；

3）设备A提示用户有新的推荐“动作-反馈”，是否需要下载；

4）用户确认下载，设备A下载完成后，将动作-反馈内容本地存储；

5）设备A通过云系统同步动作-反馈到设备B；

6）设备B保存动作-反馈匹配关系到“动作-反馈”匹配表。

实施例二：

基于实施例一所述的智能人机交互系统，本实施例提供一种智能人机交互方法，包括分别与云系统通信连接的设备A和设备B，

方法由所述设备A执行：

发送设备A的物理地址请求配对许可并保存接收到的设备B的物理地址；

响应于外部动作输入，从“动作-反馈”匹配表中匹配动作-反馈关系，并同步至云系统；

响应于用户输入的自定义信息，并同步至云系统；

响应于用户选择的推荐信息，并同步至云系统。

方法由所述云系统执行：

响应于设备A发送的设备A的物理地址并转发至设备B，同时响应于设备B发送的设备B的物理地址并转发至设备A；

响应于设备A同步的动作-反馈关系并转发至设备B；

响应于设备A同步的自定义信息，并转发至设备B；

响应于设备A同步的推荐信息，并转发至设备B。

方法由所述设备B执行：

响应于云系统转发的配对请求保存设备A的物理地址，并发送设备B的物理地址；

响应于云系统转发的动作-反馈关系，做出反馈响应；

响应于云系统转发的自定义信息，保存到本地；

响应于云系统转发的推荐信息，保存到本地。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种智能人机交互系统，其特征是，包括分别与云系统通信连接的设备A和设备B；

所述设备A包括动作输入模块、动作处理模块和第一交互管理模块，所述动作输入模块用于接收外部动作输入，所述动作处理模块用于将所述动作输入模块接收到的外部动作输入转换为信号量，所述第一交互管理模块用于根据所述动作处理模块发送的信号量从“动作-反馈”匹配表中匹配动作-反馈关系，并在单机模式下本端输出，或在联机模式下发送至所述云系统；

所述设备B包括第二交互管理模块、反馈处理模块和反馈输出模块，所述第二交互管理模块用于接收所述云系统转发的动作-反馈关系，并从“动作-反馈”匹配表中匹配对应的信号量，所述反馈处理模块用于将所述第二交互管理模块中产生的信号量转换为反馈输出，所述反馈输出模块用于根据所述反馈处理模块给定的反馈输出做出反馈响应。

2.根据权利要求1所述的智能人机交互系统，其特征是，所述第一交互管理模块包括第一自定义单元，所述第一自定义单元用于接收用户设定的自定义动作及对应的反馈；所述第一交互管理模块将用户在所述第一自定义单元设定的自定义信息同步至云系统，同时，云系统将所述第一自定义单元的自定义信息同步至设备B。

3.根据权利要求2所述的智能人机交互系统，其特征是，所述第二交互管理模块包括第二自定义单元，所述第二自定义单元从云系统接收用户设定的自定义信息并保存。

4.根据权利要求1所述的智能人机交互系统，其特征是，所述云系统包括信息采集模块和信息推荐模块，所述信息采集模块用于通过设备A采集用户的常用标签；所述信息推荐模块用于存储与所述信息采集模块采集的常用标签相匹配的推荐信息，并向用户和设备A发送推荐信息。

5.根据权利要求4所述的智能人机交互系统，其特征是，所述设备A用于存储被选择的推荐信息，同时将选择的推荐信息通过云系统同步至所述设备B。

6.根据权利要求1所述的智能人机交互系统，其特征是，所述第一交互管理模块包括第一配对信息单元，所述第一配对信息单元用于将设备A的物理地址通过云系统发送至设备B请求配对许可。

7.根据权利要求6所述的智能人机交互系统，其特征是，所述第二交互管理模块包括第二配对信息单元，所述第二配对信息单元用于存储所述设备A的物理地址，并将所述设备B的物理地址通过云系统发送至设备A以允许设备A的配对请求。

8.一种智能人机交互方法，其特征是，包括分别与云系统通信连接的设备A和设备B，方法由所述设备A执行：

发送设备A的物理地址请求配对许可并保存接收到的设备B的物理地址；

响应于外部动作输入，从“动作-反馈”匹配表中匹配动作-反馈关系，并同步至云系统；

响应于用户输入的自定义信息，并同步至云系统；

响应于用户选择的推荐信息，并同步至云系统。

9.一种智能人机交互方法，其特征是，包括分别与云系统通信连接的设备A和设备B，方法由所述云系统执行：

响应于设备A发送的设备A的物理地址并转发至设备B，同时响应于设备B发送的设备B的物理地址并转发至设备A；

响应于设备A同步的动作-反馈关系并转发至设备B；

响应于设备A同步的自定义信息，并转发至设备B；

响应于设备A同步的推荐信息，并转发至设备B。

10.一种智能人机交互方法，其特征是，包括分别与云系统通信连接的设备A和设备B，方法由所述设备B执行：

响应于云系统转发的配对请求保存设备A的物理地址，并发送设备B的物理地址；

响应于云系统转发的动作-反馈关系，做出反馈响应；

响应于云系统转发的自定义信息，保存到本地；

响应于云系统转发的推荐信息，保存到本地。

Images