CN110347451A - 一种基于ai和iot的通用人机交互系统和方法 - Google Patents

Abstract

本发明公开了一种基于AI和IOT的通用人机交互系统和方法，涉及通信技术领域，通用人机交互系统包括中心服务系统、若干用户应用端和若干接入对象；用户应用端包括即时聊天模块；接入对象包括通信协议接口模块和功能服务执行模块；中心服务系统包括协议转换模块、建模模块、发布订阅模块、自然语言处理模块和规则处理模块。本发明采用新的系统交互方式，建立包含人和设备的群组即时聊天窗口，像微信一样通过语音、文字甚至图片等进行设备(和/或人)的交互操作，统一了设备交互操作形式，让设备应用和管理变的简单、高效、统一、便捷。

Description

一种基于AI和IOT的通用人机交互系统和方法

技术领域

本发明涉及通信技术领域，具体来讲是一种基于AI和IOT的通用人机交互系统和方法。

背景技术

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

物联网(The Internet of Things，简称IOT)是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。

现有的智能音箱、语音助手、或者机器人智能客服等，主要是代替人工来检索信息提供帮助，或者将语音代替传统按键或特定UI界面操作来控制设备。而设备组态软件、设备控制软件、视频监控软件等，通过界面合理布局设计，来方便对设备进行操作管理，大多是强烈依赖鼠标点击来完成交互，如云台上下左右按钮、视频截图，以及条件查询历史录像等。

参见图1、图2和图3所示，现有的交互系统存在以下缺陷：

1、软件操作复杂，界面开发成本高，通过特定的图形界面来对设备进行操作交互。

2、各种交互界面不统一，学习成本大，切换过程中难以快速适应，如图1和图2。

3、随着业务需求变化，界面开发需要持续、用户也需要持续学习和适应。

4、智能客服类交互界面统一，但一般只对内容关键词搜索和展示，如图3。

5、对于智能音箱，软硬件限定了适应场景很单一，一般为局域网下单一方向的人机交互，对传统软件影响不大，例如智能家居场景：语音控制窗帘、灯光等；智能驾驶场景：语音控制天窗、音乐等。具体如天猫精灵等AI智能的用语音文字来对单一设备进行交互反馈。

6、现有人工智能应用场景缺少实物载体，大多停留在纯软件层面。

7、不能组合多个分散(网络及地理位置分散)的设备统一起来进行指令调度(人与物，物与物等多维度交互，尤其是人在群组中下达多对象参与的调度指令后，机器之间、机器和其他人之间，根据调度指令进行彼此间数据交互)。

例如专利《一种基于即时通讯软件与物联网通信的智能家居系统》(专利公开号：CN 108449246 A)和专利《基于人工智能的人机交互方法和系统》(专利公开号：CN105068661 B)都公开了一种交互方法和系统，但是由于主要是特定的图形界面来对设备进行操作交互，学习成本高；最新的如天猫精灵等AI智能等，仅用语音(或文字)来单个设备进行简单的操作，没有对多个分散设备集中进行指令调度类的操作，实现设备到设备，设备到人之间的跨网络、跨区域的联动交互。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于AI和IOT的通用人机交互系统和方法，采用新的系统交互方式，建立包含人和设备的群组即时聊天窗口，像微信一样通过语音、文字甚至图片等进行设备(和/或人)的交互操作，统一了设备交互操作形式，让设备应用和管理变的简单、高效、统一、便捷。

为达到以上目的，本发明采取的技术方案是：一种基于AI和IOT的通用人机交互系统，包括中心服务系统、若干用户应用端和若干接入对象；所述用户应用端包括即时聊天模块，该即时聊天模块用于建立即时聊天窗口，并通过该即时聊天窗口发送指令信息，接收执行结果；所述接入对象包括通信协议接口模块和功能服务执行模块；所述通信协议接口模块，用于与中心服务系统建立通信连接，接收中心服务系统传递的指令，传递并返回功能服务执行模块的执行结果；所述功能服务执行模块，用于执行接入对象相应的功能及服务；所述中心服务系统包括协议转换模块、建模模块、发布订阅模块、自然语言处理模块和规则处理模块；所述建模模块，用于对接入对象进行抽象建模，将接入对象的功能及服务抽象成键值对列表；并为各用户应用端和各接入对象分配唯一的识别信息；所述自然语言处理模块，用于对用户应用端发送来的指令信息进行语义分析，将该指令信息拆解成带逻辑关系的若干条单一指令，并结合对应的键值对列表将指令格式化成中心服务系统内部可识别的统一格式；用于接收定位后的执行结果并进行语义分析，将该执行结果以对用户友好的自然语言方式发送至目标用户应用端；所述规则处理模块，用于对格式化后的指令进行逻辑判断，将满足条件的指令按照逻辑顺序逐条发送至发布订阅模块；所述发布订阅模块，通过识别信息对接收到的指令或者执行结果进行寻址，针对指令的目标接入对象或者执行结果的目标用户应用端进行定位；所述协议转换模块，用于实现中心服务系统通信协议与接入对象通信协议的转换；将定位后的指令传递至目标接入对象，并将目标接入对象的执行结果传递至发布订阅模块。

在上述技术方案的基础上，所述接入对象为硬件设备或者软件服务。

在上述技术方案的基础上，所述中心服务系统还包括动态权限模块，该动态权限模块用于接收发布订阅模块发送来的定位后的指令和定位后的执行结果并对其进行鉴权；鉴权通过后，将定位后的指令发送至协议转换模块，将定位后的执行结果发送至自然语言处理模块。

在上述技术方案的基础上，所述用户应用端还包括好友列表模块，该好友列表模块用于以列表的形式展现已建立好友关系的接入对象和其他用户应用端。

在上述技术方案的基础上，所述用户应用端还包括群组管理模块，该群组管理模块用于建立/解散群组、为已建立的群组添加/删除接入对象和其他用户应用端。

在上述技术方案的基础上，所述即时聊天模块包括预制指令单元，该预制指令单元用于预制固定的常用文字指令。

在上述技术方案的基础上，所述即时聊天模块包括语音识别单元，该语音识别单元用于将接收到的语音信息转换为对应的文字信息。

本发明还公开了一种基于上述通用人机交互系统的交互方法，包括以下步骤：步骤S1.所述建模模块对接入对象进行抽象建模，将接入对象的功能及服务抽象成键值对列表；并为各用户应用端和各接入对象分配唯一的识别信息；步骤S2.所述即时聊天模块建立即时聊天窗口，并通过该即时聊天窗口发送指令信息；步骤S3.所述自然语言处理模块对指令信息进行语义分析，将该指令信息拆解成带逻辑关系的若干条单一指令，并结合对应的键值对列表将指令格式化成中心服务系统内部可识别的统一格式；步骤S4.所述规则处理模块对格式化后的指令进行逻辑判断，将满足条件的指令按照逻辑顺序逐条发送至发布订阅模块；步骤S5.所述发布订阅模块通过识别信息对接收到的指令进行寻址，针对指令的目标接入对象进行定位；步骤S6.所述协议转换模块实现中心服务系统通信协议与接入对象通信协议的转换，将定位后的指令传递至目标接入对象；步骤S7.所述通信协议接口模块与中心服务系统建立通信连接，将中心服务系统传递的指令发送至功能服务执行模块，执行接入对象相应的功能及服务；并返回功能服务执行模块的执行结果。

在上述技术方案的基础上，还包括以下步骤：步骤S8.所述协议转换模块将目标接入对象的执行结果传递至发布订阅模块；步骤S9.所述发布订阅模块通过识别信息对接收到的执行结果进行寻址，针对执行结果的目标用户应用端进行定位；步骤S10.所述自然语言处理模块接收定位后的执行结果并进行语义分析，将该执行结果以对用户友好的自然语言方式发送至目标用户应用端。

在上述技术方案的基础上，步骤S5和步骤S6之间具有步骤S5a.所述动态权限模块接收发布订阅模块发送来的定位后的指令并对其进行鉴权；鉴权通过后，将定位后的指令发送至协议转换模块；步骤S9和步骤S10之间具有步骤S9a.所述动态权限模块接收发布订阅模块发送来的定位后的执行结果并对其进行鉴权；鉴权通过后，将定位后的执行结果发送至自然语言处理模块。

本发明的有益效果在于：

1、本专利针对在业务场景中使用不同厂家、不同型号的物联网设备，交互界面不统一，参数配置复杂，导致厂家开发成本大，用户操作学习成本高等问题，采用新的系统交互方式，建立包含人和设备的群组即时聊天窗口，像微信一样通过语音、文字甚至图片等进行设备(和/或人)的交互操作，统一了设备交互操作形式，让设备应用和管理变的简单、高效、统一、便捷。

2、本发明软件操作界面简单，没有为了适应鼠标点击而设计的各种复杂的交互界面，只要有常见的即时聊天工具的功能，基本就已经通用了，厂家软件界面开发成本大为降低。

3、本发明界面统一，不同的设备、不同行业的用户，不同业务场景，一样的交互操作，用户学习成本非常低，设备操作交互效率高，傻瓜化。

4、本发明业务需求变化，界面基本不需要再开发，只需要增加服务器功能模块或者将特定的功能服务对象作为新的接入对象来建模和转换，接入到物联网服务系统即可。因为功能的扩展，不仅可以从物联服务系统来增加功能服务模块，如人脸识别算法服务，也可以将相应的服务作为接入对象，单独外部部署的作为第三方接入对象，来建模和接口转换来接入到系统内，实现提供扩展的业务、能力服务。

5、本发明有app软件界面，在智能家居、动环监测、物业管理等众多场景通用。

6、本发明通过中心服务系统提供的建模模块，衔接绝大多数物联网设备，以及用户，实现人与人、人与物，以及物与物的交互(物与物交互：举例，添加一个设备好友组，里面是电梯、门禁、摄像头、烟感设备，在群里发一句“@所有人开始布防！”这些设备“好友”收到响应回复后，即按照预定规则做火灾联动、入侵联动等！)

附图说明

图1为背景技术中视频监控软件的界面方案示意图；

图2为背景技术中视频监控软件的另一种界面方案示意图；

图3为背景技术中电商智能客服助理的界面方案示意图；

图4为本发明实施例中通用人机交互系统的示意图；

图5为本发明实施例中用户应用端的示意图；

图6为本发明实施例中中心服务系统的示意图；

图7为本发明实施例中接入对象的示意图；

图8为本发明实施例中通用人机交互方法的步骤流程图；

图9为本发明实施例中用户端的界面方案示意图。

具体实施方式

下面详细描述本发明的实施例，所述的实施例示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

下面结合说明书的附图，通过对本发明的具体实施方式作进一步的描述，使本发明的技术方案及其有益效果更加清楚、明确。下面通过参考附图描述实施例是示例性的，旨在解释本发明，而不能理解为对本发明的限制。

参见图4所示，本发明实施例提供了一种基于AI和IOT的通用人机交互系统，包括中心服务系统、若干用户应用端和若干接入对象；具体的，接入对象为硬件设备或者软件服务。具体的，硬件设备包括传感装置、机电设备等；软件服务包括软件系统、算法服务等。其中，传感装置可以为温度传感器、压力传感器、距离传感器等；机电设备可以为热泵主机、门禁设备、电梯等；软件系统可以为设备资产管理软件、ERP、MES、IBMS等；算法服务可以为阿里云的图片识别服务、车牌识别、人脸识别、邮件服务等。本发明将不同厂家、不同型号、分散在不同位置和(或)网络的接入对象，集中于一个通用界面下按统一的交互方式进行管理，真正实现了万物互联。

参见图5所示，用户应用端包括即时聊天模块，该即时聊天模块用于建立即时聊天窗口，并通过该即时聊天窗口发送指令信息，接收执行结果；使用即时通信技术和语音、语意识别等AI技术，将人为输入的语音、文字等信息。具体的，即时聊天模块包括预制指令单元，该预制指令单元用于预制固定的常用文字指令。该预制指令单元提供固定指令编写功能，完成后保存至服务器；在用户端发送指令集至中心服务系统，由中心服务系统中自然语言处理模块，将指令集中信息拆分成单条信息，并转化为设备可支持的数据格式；优选的，即时聊天模块包括语音识别单元，该语音识别单元用于将接收到的语音信息转换为对应的文字信息。

具体的，用户应用端还包括好友列表模块和群组管理模块，该好友列表模块用于以列表的形式展现已建立好友关系的接入对象和其他用户应用端。传统的设备列表用现代IM即时通信软件的好友列表方式来展现，并且有特殊的标签可供检索分类，如设备类型、位置区域、在线离线状态；设备好友列表中可以有其他用户好友，可以进行人与人的即时通信。简言之，设备好友列表是融合了人与物的列表。物在里面就像聊天机器人一样的存在，但是是具备实际能力(功能服务执行)的。群组管理模块用于建立/解散群组、为已建立的群组添加/删除接入对象和其他用户应用端。

该用户应用端还可包括现有技术中常用的消息列表模块、设备扫码添加模块和设备发现组网模块。消息列表模块类似实时好友消息列表，在上面可以看到最新的消息(消息列表包含了主动采集上报、报警推送、以及其他用户应用端发送的信息)，人的或者设备上报的，点击进去后就是实时聊天窗口。接入对象上面二维码，标识有设备的ID，A用户利用设备扫码添加模块扫码后，发出添加请求，跟微信好友请求类似。设备的所有者B将收到此请求，B通过的情况下，A将成为B的好友，同时被扫码设备也成A的好友，添加到A的设备好友列表中。设备所有者设置设备不需要验证请求就可以添加，同时设置了主动发现时，由于设备都带有GIS坐标定位信息，当用户B到平台设定的一定区域内时，设备发现组网模块会将当前设备自动添加到B的临时好友列表里，可以主动推送信息给用户B；此时B可以搜索，并且进行打开即时聊天窗口进行交互。

参见图7所示，接入对象包括通信协议接口模块和功能服务执行模块；

通信协议接口模块，用于与中心服务系统建立通信连接，接收中心服务系统传递的指令，传递并返回功能服务执行模块的执行结果；具体的，该执行结果既包括功能服务执行模块根据指令返回的执行结果，也包括接入对象主动上报的执行结果。通信协议接口模块用于接入对象与中心服务系统进行信息的对接集成，打通数据孤岛，主要涉及硬件通信模块如以太网、zigbee、蓝牙、红外、wifi、lora、nb-iot、微波、2/3/4G等，以及软件协议接口，主要是建立在tcp、udp、或串口等传输协议的基础上，对设备功能服务或执行做的应用协议，形成特定的数据格式接口，接收传参以及返回结果。向上与中心服务器系统的协议转换模块关系：通过硬件通信模块接入互联网，由中心服务器系统的IP、端口作为参数连接到中心服务器系统。服务器的协议转换模实现与接入对象的软件协议的解析工作，并且将设备的功能服务抽象成点表。向下与接入对象的功能服务执行模块关系：系统功能服务执行模块提供设备能力，通过协议封装，变成对外接口。

功能服务执行模块，用于执行接入对象相应的功能及服务；用于提供设备本身能力并能通过接口对外开放的模块。根据不同类型的设备，提供不同类型的能力，如设备温湿度传感器提供的数据读取功能；图片识别算法提供的传入图片返回图片类型的云端服务；机器的管道电磁阀提供接收控制指令进行打开或关闭的执行能力。如此等等。

参见图6所示，中心服务系统包括协议转换模块、建模模块、发布订阅模块、自然语言处理模块和规则处理模块；

建模模块，用于对接入对象进行抽象建模，将接入对象的功能及服务抽象成键值对列表；并为各用户应用端和各接入对象分配唯一的识别信息；

自然语言处理模块，用于对用户应用端发送来的指令信息进行语义分析，将该指令信息拆解成带逻辑关系的若干条单一指令，并结合对应的键值对列表将指令格式化成中心服务系统内部可识别的统一格式；用于接收定位后的执行结果并进行语义分析，将该执行结果以对用户友好的自然语言方式发送至目标用户应用端；

规则处理模块，用于对格式化后的指令进行逻辑判断，将满足条件的指令按照逻辑顺序逐条发送至发布订阅模块；通过规则处理模块，实现群组内不同设备以及与相关人之间的按指令逻辑的信息传递，实现一句指令来做群组人与人、人与物、物与物的联动调度；

发布订阅模块，通过识别信息对接收到的指令或者执行结果进行寻址，针对指令的目标接入对象或者执行结果的目标用户应用端进行定位；

协议转换模块，用于实现中心服务系统通信协议与接入对象通信协议的转换；将定位后的指令传递至目标接入对象，并将目标接入对象的执行结果传递至发布订阅模块。

具体的，中心服务系统还包括动态权限模块，该动态权限模块用于接收发布订阅模块发送来的定位后的指令和定位后的执行结果并对其进行鉴权；鉴权通过后，将定位后的指令发送至协议转换模块，将定位后的执行结果发送至自然语言处理模块。本实施例中，建立的好友关系，以及群组成员信息，都是在动态权限模块来做支持的；举例：用户端识别码是用户名(账户)，在这个账户下操作建模模块，并且分配接入对象标识符，这样接入的对象就在当前账号下了，对应的用户登录后好友列表就自动有了此接入对象。同时，寻址定位需要结合动态权限模块进行鉴权，结合双方的识别码，判断接入对象是否在目标用户的可寻址的范围内。

参见图8所示，本发明实施例还提供一种基于上述通用人机交互系统的交互方法，包括以下步骤：

步骤S1.建模模块对接入对象进行抽象建模，将接入对象的功能及服务抽象成键值对列表；并为各用户应用端和各接入对象分配唯一的识别信息；

步骤S2.即时聊天模块建立即时聊天窗口，并通过该即时聊天窗口发送指令信息；在用户端登录，通过用户账户、密码，服务器会查验账号，返回所属设备信息；另外，可在用户端创建设备组信息，根据设备名的筛选、搜索添加不同设备，完成设备组创建。

步骤S3.自然语言处理模块对指令信息进行语义分析，将该指令信息拆解成带逻辑关系的若干条单一指令，并结合对应的键值对列表将指令格式化成中心服务系统内部可识别的统一格式；

步骤S4.规则处理模块对格式化后的指令进行逻辑判断，将满足条件的指令按照逻辑顺序逐条发送至发布订阅模块；

步骤S5.发布订阅模块通过识别信息对接收到的指令进行寻址，针对指令的目标接入对象进行定位；

步骤S5a.动态权限模块接收发布订阅模块发送来的定位后的指令并对其进行鉴权；鉴权通过后，将定位后的指令发送至协议转换模块；

步骤S6.协议转换模块实现中心服务系统通信协议与接入对象通信协议的转换，将定位后的指令传递至目标接入对象；

步骤S7.通信协议接口模块与中心服务系统建立通信连接，将中心服务系统传递的指令发送至功能服务执行模块，执行接入对象相应的功能及服务；并返回功能服务执行模块的执行结果。

步骤S8.协议转换模块将目标接入对象的执行结果传递至发布订阅模块；

步骤S9.发布订阅模块通过识别信息对接收到的执行结果进行寻址，针对执行结果的目标用户应用端进行定位；

步骤S9a.动态权限模块接收发布订阅模块发送来的定位后的执行结果并对其进行鉴权；鉴权通过后，将定位后的执行结果发送至自然语言处理模块。

步骤S10.自然语言处理模块接收定位后的执行结果并进行语义分析，将该执行结果以对用户友好的自然语言方式发送至目标用户应用端。

下面通过具体的实施例对本发明作进行一步说明。

参见图9所示，【步骤01】首先选定4类“接入对象”接入到物联网平台：传感器、机器设备、软件系统、算法服务。传感器比如PT100温度探头；机器设备比热泵主机；软件系统比如设备资产管理软件；算法服务比如阿里云的图片识别服务；

【步骤02】接入的方法主要涉及中心服务系统的设备建模模块、协议转换模块和接入对象的通信协议接口模块。

①、对于PT100温度传感器，通过外加带以太网口的支持modbus协议和支持PT100温度变送器的采集器作为其通信协议接口模块，通过服务器的IP端口连接上我们的中心服务系统；对于热泵机器设备，通过设备的以太网接口和服务器通信参数连接上中心服务系统，以热泵主机的网络接口和热泵的协议作为其通信协议接口模块；对于设备资产管理软件系统，通过其部署的主机的网络，有服务器的IP端口连接上我们的中心服务器系统，以其部署的主机网口和软件对外的接口作为其通信协议接口模块；对于图片识别算法服务，通过云端提供的网络服务接口，来连接如我们的中心服务系统，以其部署的服务器网口和算法服务对外的软件接口作为其通信协议接口模块；

②、中心服务系统后台通过设备建模模块分别对这4类接入对象进行抽象建模，将设备的能力抽象成数据点列表，其中每个数据点具备通用的属性字段，如名称、值类型、值、单位等。对于PT100温度传感器，可以抽象成一个数据点，其中点的名称为“xx温度”，点的值类型为浮点数，点的单位为“℃”，读写类型为只读，具体对外形式如“xx温度”：“54.5℃”；对于热泵机器设备，可以按照设备协议提供对外的能力，抽象出对个数据点，比如“开关机”、“水位高度”、“当前电流”、“当前电压”，且分别对应开关类型、浮点类型、浮点类型和浮点类型，单位分别为无、米、安培和伏特，读写类型为可读写、只读、只读和只读；对于设备资产管理系统软件，可以按照软件对开放的接口，抽象出一些需要使用到的数据点形成其点表，比如“报警记录”,值类型为json，读写类型为可读写，支持传入参数查询读取指定设备的报警信息，以及写入指定设备的特定报警信息；对于图片识别算法服务，可以抽象只读类型的数据点，名称为“云识图”，值类型为文档，读写类型为只读，当传入图片文档时，返回识别的结果的文字。

③、在接入对象接入到物联系统，同时经过建模模块做好数据点表后，中心服务系统的协议转换模块就可以来编写对应的“驱动程序”。驱动程序就是实现把接入对象的协议接口与设备模型的数据点表进行逻辑转换。如上述举例中，对于PT100温度传感器，通过modbus协议进行数据采集(匹配接入对象的采集器的协议)，返回的数据格式，封装成数据点表的格式，进行内部统一；对于热泵机器设备，同样是按照接入对象的协议进行采集解析，然后将数据格式封装成内部统一的数据点表格式，而对于下发控制，则反过来将设备建模的数据点表格式，转换成设备协议支持的数据格式下发；对于软件或算法服务，也是一样，读取数据或状态上报，是将设备协议解析转换成平台模型的数据点格式，写入数据或下发控制，是将平台模型的数据点格式转换成接入对象的协议支持的数据格式通过协议接口下发到设备。协议转换模块除了数据格式转换和接入对象的协议接口调用外，还存在平台协议接口的调用，那就是平台标准的API和数据格式，其中API包含数据上报、查询，下发控制、写入，以及设备用户名密码登录(与用户的账号保持一致，这样接入系统的设备就在用户的账号体系下了，体现在用户应用端的好友列表中)；数据格式主要就是基于数据点表格式。

【步骤03】上述1和2实现用户下账号下接入对象的接入，这样好友列表就有了举例中的“PT100”设备、“热泵主机”设备、“资产管理系统”设备和“云识别”设备。注意，这里设备是广义上的概念，包含无形的设备系统——软件、算法、服务。接下来从用户应用端，创建群组，将这4个设备均添加进来。并且可以进行如下操作：

①、对着空气能主机参数面板拍一张照，发到群里

②、发送语音(语音会通过本地APP端的语音识别算法模块转换成对应的文字)或者文字说“@PT100当温度大于50℃，而且@热泵水位低于0.5米时，@云识图把刚刚发群里的那张图识别的信息，传给@资产管理系统同时也把当前@热泵的电流电压数据传给@资产管理系统，进行报警记录，同时停止设备@热泵”

③、自然语言处理模块收到后会将上述文本指令进行拆解成带逻辑关系的多条指令，并且结合设备建模模块对应的数据点信息，进行格式化成如下形式：

a、条件：设备名称：PT100，数据点：温度,值>50℃

b、条件：设备名称：热泵，数据点：液位，值<0.5米

c、执行：设备名称：云识图，数据点：图片，值为最近发群里的图片，通过协议驱动转换传递给云端图片识别算法服务，识别查询到图片对应设备的基础参数信息作为返回结果

d、执行：设备名称：热泵，数据点：电流、电压，值为获取当前值

e、执行：设备名称：设备资产管理系统，数据点：报警记录，值为将c和d的执行结果

f、执行：设备名称：热泵，数据点：开关机，值为下发控制停机

④、在③中将语义拆解并且根据设备模型数据点进行格式化后，将a、b、c、d、e、f传入到规则处理模块。规则处理模块按照指令的逻辑进行判断执行：a和b条件循环持续判断，直到满足条件后，进入c、d、e、f顺序执行。在每一处指令的运行(包含条件判断和执行)过程中，设计对数据点的访问，也就是通过协议转换模块到接入对象中进行的调用，或者根据接入对象实时报上的数据值进行过滤判断，是主动调用还是被动接受上报判断取决于数据点的可读写类型。

⑤在④中每一条指令的处理过程中，都涉及到规则处理模块与协议转换的数据交互，而这都是通过发布定义模块来实现的。对于指令中对数据点的写操或者控制，是通过对数据点在发布订阅模块中进行寻址，找到对应的可以访问的协议转换模块，从而对应到具体接入对象的驱动协议解析，然后进行设备的控制调用，比如指令f；对于指令中的数据点的读操作或者查询，是通过设备数据上报并且经过协议转换模块再由发布定义寻址来推送给使用这个数据点的对象，如a、b、d

⑥当规则处理模块将a～f全部执行完毕后(条件未满足的情况下，会持续参与判断，持续运行，除非再有新的指令下发来解除)，群组里的那句指令执行完成。

在说明书的描述中，参考术语“一个实施例”、“优选地”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点，包含于本发明的至少一个实施例或示例中，在本说明书中对于上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或者示例中以合适方式结合。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于AI和IOT的通用人机交互系统，包括中心服务系统、若干用户应用端和若干接入对象；其特征在于：

所述用户应用端包括即时聊天模块，该即时聊天模块用于建立即时聊天窗口，并通过该即时聊天窗口发送指令信息，接收执行结果；

所述接入对象包括通信协议接口模块和功能服务执行模块；

所述通信协议接口模块，用于与中心服务系统建立通信连接，接收中心服务系统传递的指令，传递并返回功能服务执行模块的执行结果；

所述功能服务执行模块，用于执行接入对象相应的功能及服务；

所述中心服务系统包括协议转换模块、建模模块、发布订阅模块、自然语言处理模块和规则处理模块；

所述建模模块，用于对接入对象进行抽象建模，将接入对象的功能及服务抽象成键值对列表；并为各用户应用端和各接入对象分配唯一的识别信息；

所述自然语言处理模块，用于对用户应用端发送来的指令信息进行语义分析，将该指令信息拆解成带逻辑关系的若干条单一指令，并结合对应的键值对列表将指令格式化成中心服务系统内部可识别的统一格式；用于接收定位后的执行结果并进行语义分析，将该执行结果以对用户友好的自然语言方式发送至目标用户应用端；

所述规则处理模块，用于对格式化后的指令进行逻辑判断，将满足条件的指令按照逻辑顺序逐条发送至发布订阅模块；

所述发布订阅模块，通过识别信息对接收到的指令或者执行结果进行寻址，针对指令的目标接入对象或者执行结果的目标用户应用端进行定位；

所述协议转换模块，用于实现中心服务系统通信协议与接入对象通信协议的转换；将定位后的指令传递至目标接入对象，并将目标接入对象的执行结果传递至发布订阅模块。

2.如权利要求1所述的通用人机交互系统，其特征在于：所述接入对象为硬件设备或者软件服务。

3.如权利要求1所述的通用人机交互系统，其特征在于：所述中心服务系统还包括动态权限模块，该动态权限模块用于接收发布订阅模块发送来的定位后的指令和定位后的执行结果并对其进行鉴权；鉴权通过后，将定位后的指令发送至协议转换模块，将定位后的执行结果发送至自然语言处理模块。

4.如权利要求1所述的通用人机交互系统，其特征在于：所述用户应用端还包括好友列表模块，该好友列表模块用于以列表的形式展现已建立好友关系的接入对象和其他用户应用端。

5.如权利要求1所述的通用人机交互系统，其特征在于：所述用户应用端还包括群组管理模块，该群组管理模块用于建立/解散群组、为已建立的群组添加/删除接入对象和其他用户应用端。

6.如权利要求1所述的通用人机交互系统，其特征在于：所述即时聊天模块包括预制指令单元，该预制指令单元用于预制固定的常用文字指令。

7.如权利要求1所述的通用人机交互系统，其特征在于：所述即时聊天模块包括语音识别单元，该语音识别单元用于将接收到的语音信息转换为对应的文字信息。

8.基于权利要求1所述通用人机交互系统的交互方法，其特征在于，包括以下步骤：

步骤S1.所述建模模块对接入对象进行抽象建模，将接入对象的功能及服务抽象成键值对列表；并为各用户应用端和各接入对象分配唯一的识别信息；

步骤S2.所述即时聊天模块建立即时聊天窗口，并通过该即时聊天窗口发送指令信息；

步骤S3.所述自然语言处理模块对指令信息进行语义分析，将该指令信息拆解成带逻辑关系的若干条单一指令，并结合对应的键值对列表将指令格式化成中心服务系统内部可识别的统一格式；

步骤S4.所述规则处理模块对格式化后的指令进行逻辑判断，将满足条件的指令按照逻辑顺序逐条发送至发布订阅模块；

步骤S5.所述发布订阅模块通过识别信息对接收到的指令进行寻址，针对指令的目标接入对象进行定位；

步骤S6.所述协议转换模块实现中心服务系统通信协议与接入对象通信协议的转换，将定位后的指令传递至目标接入对象；

步骤S7.所述通信协议接口模块与中心服务系统建立通信连接，将中心服务系统传递的指令发送至功能服务执行模块，执行接入对象相应的功能及服务；并返回功能服务执行模块的执行结果。

9.如权利要求8所述的交互方法，其特征在于，还包括以下步骤：

步骤S8.所述协议转换模块将目标接入对象的执行结果传递至发布订阅模块；

步骤S9.所述发布订阅模块通过识别信息对接收到的执行结果进行寻址，针对执行结果的目标用户应用端进行定位；

步骤S10.所述自然语言处理模块接收定位后的执行结果并进行语义分析，将该执行结果以对用户友好的自然语言方式发送至目标用户应用端。

10.如权利要求8所述的交互方法，所述中心服务系统还包括动态权限模块，其特征在于：

步骤S5和步骤S6之间具有步骤S5a.所述动态权限模块接收发布订阅模块发送来的定位后的指令并对其进行鉴权；鉴权通过后，将定位后的指令发送至协议转换模块；

步骤S9和步骤S10之间具有步骤S9a.所述动态权限模块接收发布订阅模块发送来的定位后的执行结果并对其进行鉴权；鉴权通过后，将定位后的执行结果发送至自然语言处理模块。