CN112509579A - 楼宇管理人机交互系统 - Google Patents

Abstract

本发明公开了一种楼宇管理人机交互系统，包括：主控制器、语音交互模块、语音输入模块、语音输出模块以及显示模块；主控制器与语音交互模块和显示模块分别连接；语音交互模块包括：VUI编辑器以及与VUI编辑器分别连接的硬件识别子模块和语音应答子模块；主控制器分别接收楼宇内值班人员、师生用户以及后勤服务人员的语音指令，查询/控制楼宇内设备的运行状态，发布设备故障信息及报警信息。本发明针对楼宇值班人员、师生用户和后勤管理人员分别建立语音通信机制，实现不同的语音交互控制，针对不同职责的后勤工作人员分配对应的管理职责权限，实现多个层级用户的无障碍交流、人机交互工作，显著提高后勤工作效率。

Description

楼宇管理人机交互系统

技术领域

本发明涉及管理服务机器人技术领域，尤其涉及一种楼宇管理人机交互系统。

背景技术

目前，能源的消耗越来越严重，节能问题已经成为人们日益关注的问题。目前照明、供暖及空调使用是产生能耗的重要来源，在大型建筑的照明、供暖和空调使用中出现了很多能源浪费的现象，经常出现无人空房灯光全开，供暖不停，空调持续工作的情况，诸如此类的情况都会造成能源的极大浪费。而这种浪费产生的原因是不能及时的、智能的管理和控制照明、供暖以及空调系统导致的。

随着科技的发展以及人们对管理质量的需求不断增加，目前市面上开始出现物业管理机器人。但是，现有的物业管理机器人仅针对某些单一的场景而实现单一的管理功能；比如：门禁管理、楼宇设备管理控制等等；导致管理效率低、管控能力不足，无法实现复杂场景或者多场景下的协同管理控制功能。

现阶段校园楼宇管理主要面对的场景包括教学场景的教学楼-实验楼，住宿场景的宿舍楼，其他功能性的食堂楼-校医院-行政楼等，不同场景下对楼宇管理机器人的功能需求差异很大，现有的楼宇管理机器人无法实现对用户、设备、能耗和后勤服务全面进行智慧化集中管控。

发明内容

为克服现有技术的不足，本发明提出一种楼宇管理人机交互系统，该系统采用人工智能、物联网等前沿科技，深度收集挖掘楼宇运行状态数据，对用户、设备、能耗和后勤服务全面进行智慧化集中管控，实现无人化楼宇值守与后勤运维。

为实现上述目的，本发明的具体方案如下：

一种楼宇管理人机交互系统，包括：主控制器、语音交互模块、语音输入模块、语音输出模块以及显示模块；所述主控制器与语音交互模块和显示模块分别连接；

所述语音交互模块包括：VUI编辑器以及与所述VUI编辑器分别连接的硬件识别子模块和语音应答子模块；语音输入模块与硬件识别子模块连接，语音输出模块与语音应答子模块连接；

所述主控制器分别接收楼宇内值班人员、师生用户以及后勤服务人员的语音指令，查询/控制楼宇内设备的运行状态，发布设备故障信息及报警信息。

进一步地，所述硬件识别子模块包括：压力传感器、温度传感器、电力传感器和红外感知传感器；上述传感器分别与主控制器连接。

进一步地，所述语音应答子模块包括：NB-IoT通讯模块、单片机应答模块、网关或者服务器；通过语音输入来向控制器发出指令，所述指令通过NB-IoT通讯模块到达网关或者服务器之后，再通过NB-IoT网络传输至单片机应答模块，来实现控制。

进一步地，所述语音交互模块还包括：

语音增强单元，用于实现对输入语音的采集；

语音识别单元，用于对采集到的语音进行识别，将语音信号转换为数字信号；

语音生成单元，当物联网终端接收到控制器发出的信息之后又要通过语音生成单元来实现语音播报。

进一步地，所述语音交互模块还包括：

离线语音库，用于实现在离线状态下的数据交互；

语义库，包括：人员信息，建筑信息和设备信息；用于存储语音指令信息以及相匹配的数据输出。

进一步地，所述离线语音库的交互范围包括：离线唤醒、房间区域状态查询、接受控制指令、反馈控制结果、请求身份验证、危险人员提示、人员撤离提示、设备状态查询、设备维修方案建议、房间资源查询、能耗使用提醒以及后勤人员考勤请求。

进一步地，所述主控制器接收楼宇值班人员的语音指令，与楼宇内设备管控系统通信，查询楼宇内设备运行状态以及能耗情况，控制楼宇内房间门禁以及末端区域的电力、供水和暖通，管理楼宇内多媒体/实验设备的启停，控制区域通道开关。

进一步地，所述主控制器接收楼宇内师生用户的语音指令，对楼宇信息进行查询；当遇到突发紧急情况，及时向师生发布警报信息，引导师生合理分流撤离建筑；所述楼宇信息包括：楼宇内房间分布及使用情况、多媒体设备的使用情况以及天气信息。

进一步地，所述主控制器接收楼宇后勤服务人员的语音指令，对于楼宇保洁工作，进行保洁人员的工作分工定时发布保洁效果；对于设备维护人员，通知设备故障情况和故障区域，提供维护建议，收集维护效果；对于安保工作，通过机器视觉发现危险人员，通知引导安保人员进行查实驱离。

进一步地，还包括：收集楼宇相关数据信息、能耗数据信息、用户分布信息、楼宇管理规章制度信息以及楼宇内设备维护知识信息，建立相应的数据库；基于上述数据库的信息构建辅助决策推理系统。

本发明的有益效果：

针对楼宇值班人员、师生用户和后勤管理人员分别建立语音通信机制，实现不同的语音交互控制，降低人际交流成本与门槛，针对不同职责的后勤工作人员分配对应的管理职责权限，实现多个层级用户的无障碍交流、人机交互工作，显著提高后勤工作效率。

采用基于硬件识别的智能语音系统，无需进行复杂的语音模型训练，只要把编写的识别流程程序下载进芯片即可，识别速度极快，并可实现非特定人(SI)的语音识别，该模块不占用嵌入式系统资源，对于系统的集成具有极大的便利性。

配备的VUI(Voice User Interface)编辑器让用户更方便修改识别流程、随时可以增删控制指令，基于识别分数的拒识算法可以大幅度降低误触发率，提高安全系数；

此外，语音交互模块增加了语音应答的功能，用户可以方便地对语音应答的内容进行更改，更好的实现人机交互的功能；

人机交互配有图形显示界面对人机交互内容及楼宇内相关信息等进行显示，以达到更加直观的交互效果。

附图说明

图1是本发明楼宇管理人机交互系统示意图。

具体实施方式：

下面结合附图对本发明进行详细说明：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

为了解决背景技术提出的问题，本发明公开了一种楼宇管理人机交互系统，如图1所示，包括：主控制器、语音交互模块、语音输入模块、语音输出模块以及显示模块；其中，主控制器与语音交互模块和显示模块分别连接，语音输入模块和语音输出模块分别与语音交互模块连接。

语音输入模块可以选用话筒、麦克风等设备；语音输出模块选用喇叭、扩音器等设备。显示模块采用液晶显示屏，具有图形显示界面，能够显示人机交互内容及楼宇内相关信息，以达到更加直观的交互效果。

本实施例中，语音输入模块选用麦克风阵列，基于麦克风阵列接收外界输入的语音信息，利用麦克风阵列的空域滤波特性，在目标说话人方向形成拾音波束，抑制波束之外的噪声和反射声；输出降噪后的音频信号和声源角度数据。

语音交互模块包括：VUI编辑器以及与VUI编辑器分别连接的硬件识别子模块和语音应答子模块；语音输入模块与硬件识别子模块连接，语音输出模块与语音应答子模块连接。

语音交互模块配备的VUI(Voice User Interface)编辑器让用户更方便修改识别流程、随时可以增删控制指令，基于识别分数的拒识算法可以大幅度降低误触发率，提高安全系数；此外，语音交互模块增加了语音应答的功能，用户可以方便地对语音应答的内容进行更改，更好的实现人机交互的功能；最后，人机交互配有图形显示界面对人机交互内容及楼宇内相关信息等进行显示，以达到更加直观的交互效果。

硬件识别子模块包括：普通传感器，包括压力传感器、温度传感器、电力传感器以及红外感知传感器，另外还有可采集传感器数据的采集器，通过采集器将各个传感器上传的数据进行输出，由主控制器进行接收并分析，当输入的数据与提前设置的状态数据出现误差时，主控器即会发出指令调节出水、用电、空调温度等。

语音应答子模块包括：包含NB-IoT通讯模块，单片机应答模块，网关或者服务器，具体工作流程如下：通过语音输入来向控制器发出指令，中间的网络传输采用工业级的NB-IoT网络，当指令达到网关或者服务器之后，再通过NB-IoT网络传输至单片机应答模块，来实现控制。

主控制器分别接收楼宇内值班人员、师生用户以及后勤服务人员的语音指令，查询/控制楼宇内设备的运行状态，发布设备故障信息及报警信息。具体如下：

(1)楼宇值班人员语音交互

楼宇值班人员是人机交互的主要对象，主要进行事件管理、设备管理和资产管理，机器人识别楼宇值班人员的语义指令，并与设备管控系统交互，查询房间、区域的状态，查询楼宇能耗情况，控制楼宇房间的钥匙门禁，控制水电暖空调系统控制，管理多媒体/实验设备启用。

主控制器对楼宇值班人员进行权限验证后(比如：可以通过指纹识别来进行权限验证)，与楼宇值班人员进行语音交互，主控制器根据楼宇值班人员的语音指令实现如下功能：

①信息查询：识别值班人员语音，与楼宇管理站通讯，查询楼宇内房间温度、灯光、空调状态。

比如：值班语音对语音识别设备提出“**楼**层**房间信息查询”的指令，首先通过语音增强单元来对语音输入信息做一个扩大处理，方便接下来的语音识别单元对其做声音信号变数字信号的处理，将这一数字信号发送到控制器后，控制器做出计算和筛选，将查询信息显示在显示设备上，或者通过语音生成单元通过语音的形式播报给值班人员。

下面的功能原理与此相同，只是识别的语音不同。

②语音控制：识别值班人员语音，控制楼宇内房间门禁，控制末端区域照明、空调、暖气。

③设备管理：识别值班人员语音，控制多媒体、实验设备供电。

④身份识别：语音唤醒机器人系统，协助值班人员通过视频身份验证。

⑤安防管理：识别危险人员及时语音报警；通过语音控制区域通道开关。

(2)师生用户语音交互

楼宇内师生用户利用机器人语音交互，进行楼宇信息查询。基于所存储的楼宇信息，师生可以查询房间分布使用情况，申请进行多媒体实验设备的使用，查询天气情况等信息，当遇到突发紧急情况，及时向师生发布警报信息，引导师生合理分流撤离建筑。

主控制器对师生用户进行权限验证后，与师生用户进行语音交互，主控制器根据师生用户的语音指令实现如下功能：

①信息查询：识别用户语音，查询天气、作息时间；

②房间查询：识别用户语音，查询可用的自习室；

③语音广播：定时语音提示楼宇即将关闭；

④安保广播：突发事件播放撤离提示。

(3)后勤服务人员语音交互

基于楼宇后勤管理实际情况，设计后勤服务人员语音交互系统，对于楼宇保洁工作，分配并通知保洁人员工作分工和保洁效果，对于设备维护人员，通知设备故障情况和故障区域，提供维护建议，收集维护效果。对于安保工作，通过机器视觉发现危险人员，通知引导安保人员进行查实驱离。

主控制器对后勤服务人员进行权限验证后，与后勤服务人员进行语音交互，主控制器根据后勤服务人员的语音指令实现如下功能：

①物业服务工作分配：构建物业精确分配机制，分配保洁工作和物业维修，进行语音提示；

②设备维护提示：通过设备智能管控系统，查询设备可能的故障，提示给维修人员；

③设备维修建议：查询预先设计故障维修手册，提示维修人员或厂家维修操作流程。

作为可选的实施方式，楼宇管理机器人通过通信网络和硬件识别子模块中的末端传感器对楼宇内公共设备和房间设备进行状态监测和智能控制，管控的系统主要为电力系统、供水系统和暖通系统、数据采集系统。

具体地，电力系统：通过采集器采集的电表回路信息，可以获知当前子系统的开关状态，并可以通过管理员配置自动控制参数进行自动控制，自动控制参数包括定时参数、分时控制参数等。楼宇内控制的电力子系统包括以下子系统：室内照明子系统、公共区域照明子系统、多媒体设备子系统、生活热水器子系统、实验设备子系统、电梯子系统、通风机子系统以及消防设备子系统。

供水系统：通过安装在各节点的采集器采集回的压力、流量数据检测供水管线的状态，及时发现跑冒滴漏异常现象，并针对大量跑水事故自动处理，根据节点流量和压力数据及时关闭阀门，减少损失。同时对楼宇内用水子系统进行实时监测，对于异常用水情况告警，子系统包括：实验室用水子系统、清洁用水子系统和生活用水子系统。

暖通系统：暖通系统包括集中供暖系统和中央空调系统，楼宇内集中供暖系统管控主要包括基于采集的压力、流量的管线检测和末端暖气阀的自动控制，管线检测和供水系统类似，暖气阀的自动控制主要为分时分温控制。中央空调系统管控包括中央空调机组控制、供冷管线检测和末端风机控制，机组控制主要通过设定机组自动运行参数，末端风机控制包括基于室内人员状态和温度进行设备开关和温度设定，对于安装单体空调房间，通过红外控制设备进行远程控制。

数据采集系统：掌控数据采集器的运行状态和网络通讯状态，并及时反馈报警信息；识别和传输计量装置运行状态，支持对釆集器连接的计量装置的故障定位和诊断，并及时将故障信息传输到机器人；支持数据采集器远程升级和重启，并且能根据故障原因，设备自行重启，将重启信息上传机器人，解决数据卡死的问题；针对传输网络故障等原因未能成功传输的数据，则待传输网络恢复正常后利用采集器存储的数据进行断点续传。

本实施例语音交互模块采用基于硬件识别的智能语音系统，无需进行复杂的语音模型训练，只要把编写的识别流程程序下载进芯片即可，识别速度极快，并可实现非特定人(SI)的语音识别，该模块不占用嵌入式系统资源，对于系统的集成具有极大的便利性；

非特定人语音识别的应用模式是在产品定型前按照确定的十几个语音交互词条，采集200人左右的声音样本，经过工程师的PC算法处理得到交互词条的语音模型和特征数据库，然后烧录到芯片上。

语音交互模块配备的VUI(Voice User Interface)编辑器让用户更方便修改识别流程、随时可以增删控制指令，基于识别分数的拒识算法可以大幅度降低误触发率，提高安全系数；

基于识别分数的拒识算法类似于面部识别的一种机制，将语音识别进行打分，当分数低于设置阈值时，就会拒绝识别，将可以识别的信号进行处理，换成计算机可以识别的语言。

此外，语音交互模块增加了语音应答的功能，用户可以方便地对语音应答的内容进行更改，更好的实现人机交互的功能；

语音应答的设备用语音，提前存放在离线语音库和语义库中，当语音识别设备将输入的语音转化成计算机能读懂的计算机语言时，主控制器会将相对应的应答语音传送至应答设备，用户可以根据需求，对离线语音库和语义库进行操作，将应答语音进行修改。

语义库中还收集了楼宇相关数据信息、能耗数据信息、用户分布信息、楼宇管理规章制度信息以及楼宇内设备维护知识信息，基于上述语义库的信息构建辅助决策推理系统；

所述辅助决策推理系统具体包括：

用户行为模型挖掘单元，用于将隐藏于海量数据中的深层用户行为、用能习惯等知识挖掘出来，构建用户行为模型，实时掌握并精确预测用户行为，以图表形式展现给管理人员；

楼宇空间资源分配决策单元，用于挖掘校园教室、实验室、图书馆等公共空间使用模型，基于用户行为模型辅助进行空间资源调配，以图表/3D形式展现，并输出参考分配方案；

供能辅助决策单元，用于挖掘校园内能耗使用情况，预测能耗使用情况，辅助进行能源供给决策，以图表/3D形式展现，并输出参考分配方案；

后勤服务需求预测单元，用于挖掘校园内保洁、安保等后勤服务需求，结合用户行为与分布，辅助进行后勤服务需求预测与分配，以图表/3D形式展现，并输出参考分配方案；

突发事件预测单元，用故意挖掘设备运营维护情况，预测设备可能发生故障风险，及时通知机器人系统分配人员，并提供事件处理相关策略。

人机交互的流程如下：用户说话→话筒→语音增强单元→主控制器→离线语音库、语义库→语音生成单元→语音播报。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种楼宇管理人机交互系统，其特征在于，包括：主控制器、语音交互模块、语音输入模块、语音输出模块以及显示模块；所述主控制器与语音交互模块和显示模块分别连接；

所述语音交互模块包括：VUI编辑器以及与所述VUI编辑器分别连接的硬件识别子模块和语音应答子模块；语音输入模块与硬件识别子模块连接，语音输出模块与语音应答子模块连接；

所述主控制器分别接收楼宇内值班人员、师生用户以及后勤服务人员的语音指令，查询/控制楼宇内设备的运行状态，发布设备故障信息及报警信息。

2.如权利要求1所述的楼宇管理人机交互系统，其特征在于，所述硬件识别子模块包括：压力传感器、温度传感器、电力传感器和红外感知传感器；上述传感器分别与主控制器连接。

3.如权利要求1所述的楼宇管理人机交互系统，其特征在于，所述语音应答子模块包括：NB-IoT通讯模块、单片机应答模块、网关或者服务器；通过语音输入来向控制器发出指令，所述指令通过NB-IoT通讯模块到达网关或者服务器之后，再通过NB-IoT网络传输至单片机应答模块，来实现控制。

4.如权利要求1所述的楼宇管理人机交互系统，其特征在于，所述语音交互模块还包括：

语音增强单元，用于实现对输入语音的采集；

语音识别单元，用于对采集到的语音进行识别，将语音信号转换为数字信号；

语音生成单元，当物联网终端接收到控制器发出的信息之后又要通过语音生成单元来实现语音播报。

5.如权利要求1所述的楼宇管理人机交互系统，其特征在于，所述语音交互模块还包括：

离线语音库，用于实现在离线状态下的数据交互；

语义库，包括：人员信息，建筑信息和设备信息；用于存储语音指令信息以及相匹配的数据输出。

6.如权利要求5所述的楼宇管理人机交互系统，其特征在于，所述离线语音库的交互范围包括：离线唤醒、房间区域状态查询、接受控制指令、反馈控制结果、请求身份验证、危险人员提示、人员撤离提示、设备状态查询、设备维修方案建议、房间资源查询、能耗使用提醒以及后勤人员考勤请求。

7.如权利要求1所述的楼宇管理人机交互系统，其特征在于，所述主控制器接收楼宇值班人员的语音指令，与楼宇内设备管控系统通信，查询楼宇内设备运行状态以及能耗情况，控制楼宇内房间门禁以及末端区域的电力、供水和暖通，管理楼宇内多媒体/实验设备的启停，控制区域通道开关。

8.如权利要求1所述的楼宇管理人机交互系统，其特征在于，所述主控制器接收楼宇内师生用户的语音指令，对楼宇信息进行查询；当遇到突发紧急情况，及时向师生发布警报信息，引导师生合理分流撤离建筑；所述楼宇信息包括：楼宇内房间分布及使用情况、多媒体设备的使用情况以及天气信息。

9.如权利要求1所述的楼宇管理人机交互系统，其特征在于，所述主控制器接收楼宇后勤服务人员的语音指令，对于楼宇保洁工作，进行保洁人员的工作分工定时发布保洁效果；对于设备维护人员，通知设备故障情况和故障区域，提供维护建议，收集维护效果；对于安保工作，通过机器视觉发现危险人员，通知引导安保人员进行查实驱离。

10.如权利要求1所述的楼宇管理人机交互系统，其特征在于，还包括：收集楼宇相关数据信息、能耗数据信息、用户分布信息、楼宇管理规章制度信息以及楼宇内设备维护知识信息，建立相应的数据库；基于上述数据库的信息构建辅助决策推理系统；

所述辅助决策推理系统具体包括：

用户行为模型挖掘单元，用于将隐藏于海量数据中的深层用户行为、用能习惯等知识挖掘出来，构建用户行为模型，实时掌握并精确预测用户行为，以图表形式展现给管理人员；

楼宇空间资源分配决策单元，用于挖掘校园教室、实验室、图书馆等公共空间使用模型，基于用户行为模型辅助进行空间资源调配，以图表/3D形式展现，并输出参考分配方案；

供能辅助决策单元，用于挖掘校园内能耗使用情况，预测能耗使用情况，辅助进行能源供给决策，以图表/3D形式展现，并输出参考分配方案；

后勤服务需求预测单元，用于挖掘校园内保洁、安保等后勤服务需求，结合用户行为与分布，辅助进行后勤服务需求预测与分配，以图表/3D形式展现，并输出参考分配方案；

突发事件预测单元，用故意挖掘设备运营维护情况，预测设备可能发生故障风险，及时通知机器人系统分配人员，并提供事件处理相关策略。

Images