CN107092357A - 基于虚拟现实的全息实境建筑设备管理系统 - Google Patents

Abstract

本发明涉及电子信息技术领域，特别是基于虚拟现实的全息实境建筑设备管理系统，包括了沉浸式设备空间渲染模块、交互式设备操控模块、触感式异常反馈模块、VRO‑API数据通信模块、IBMS集成平台和数据中心，通过使用基于虚拟现实的全息实境建筑设备管理系统，让用户能够在VR硬件产品的帮助下，通过虚境增强，把现实中的设备管理推向全息应用的漫游场景中，从而摆脱以往依赖于工作经验和设备熟悉度的管理维护方式，真正做到智能建筑设备管理上的场景与数据同步、位置与知识同步、情景与预案同步以及理论与实践同步。

Description

基于虚拟现实的全息实境建筑设备管理系统

技术领域

本发明涉及电子信息技术领域，特别是基于虚拟现实的全息实境建筑设备管理系统。

背景技术

随着科技的进步，我国的信息化、智能化也发展起来。现代建筑设备的管理与运营，必须借助以智能建筑管理系统（IBMS，Intelligent Building Management System）为基础的软硬件一体化集成平台，从而通过统一的软件平台对建筑物内的设备进行控制和管理。然而，由于智能建筑内的设备多样性和复杂性，以及物业管理人员的信息化技能不足，而导致的系统应用与使用者管理水平的脱节，日益阻碍了建筑内的智能化设备的广泛应用，提升了智能化设备的培训成本与管理成本。

发明内容

本发明的目的在于提供基于虚拟现实的全息实境建筑设备管理系统，通过使用基于虚拟现实的全息实境建筑设备管理系统，让用户能够在VR硬件产品的帮助下，通过虚境增强，把现实中的设备管理推向全息应用的漫游场景中，从而摆脱以往依赖于工作经验和设备熟悉度的管理维护方式，真正做到智能建筑设备管理上的场景与数据同步、位置与知识同步、情景与预案同步以及理论与实践同步。

为实现上述技术目的，达到上述技术效果，本发明公开了基于虚拟现实的全息实境建筑设备管理系统，包括了沉浸式设备空间渲染模块、交互式设备操控模块、触感式异常反馈模块、VRO-API数据通信模块、IBMS集成平台和数据中心，沉浸式设备空间渲染模块用于将虚拟现实渲染中的用户与设备相对位置的坐标换算，交互式设备操控模块用于同步用户肢体动作与设备管理，触感式异常反馈模块用于将设备异常状态以触感式反馈于用户，VRO-API数据通信模块用于建立沉浸式设备空间渲染模块、交互式设备操控模块和触感式异常反馈模块与IBMS集成平台和数据中心的数据处理和通讯。

其中，沉浸式设备空间渲染模块用于将虚拟现实渲染中的用户与设备相对位置的坐标换算具体方法为:

三维标记：将设备在三维渲染空间里的三维坐标固定标记为(x₀, y₀, z₀)，把处于第一视角的用户位置标记为(x, y, z)，第一视角在空间中的旋转向量 δ为i(x₀, y₀, z₀)-i(x,y, z)；

二维渲染：将设备的实时信息，渲染成二维平面图形，并在发送到用户视界之前，并进行δ值的偏移。

其中，交互式设备操控模块用于同步用户肢体动作与设备管理具体操作为：用户通过使用肢体向上、下、左、右、前、后动作，完成设备管理中的启动、停止、参数选择、参数调整上、参数调整下和恢复预设值。

优选的，交互式设备操控模块用于同步用户肢体动作与设备管理具体操作还包括有：

空间结构化：

将建筑空间以0.1m为单位，划分为 0.1m x 0.1m x 0.1m 的空间小块，假设空间的高度为H’米，宽度为 W米，长度为L米，则该建筑空间的空间分辨率为：R’= H’ x W x L/(0.1mx 0.1m x 0.1m) = 1000 x H’x W x L；

动作归一化:

将非正交斜跨空间小块的肢体动作轨迹进行归一化处理,使用 Dx, Dy, Dz 这一组向量来表示所需的六个方向，即用户肢体向上、下、左、右、前、后动作方向,对每个向量进行如下线性函数转换：

Dx = (Mx - Mmin) / (Mmax - Mmin)；

Dy = (My - Mmin) / (Mmax - Mmin)；

Dz = (Mz - Mmin) / (Mmax - Mmin)；

其中,Mx、My、Mz分别为转换前在x、y、z方向上的原始位移向量值，Mmax和Mmin分别为归一化样本采样允许的最大值和最小值。

优选的，交互式设备操控模块用于同步用户肢体动作与设备管理具体操作还包括有：

空间去噪：

将空间的高度H’设置为0.5-2.5m，其余空间内的数据可以在动作捕捉时，视为噪声空间而进行滤除。

其中，触感式异常反馈模块用于将设备异常状态以触感式反馈于用户具体方法如下：

触感式异常反馈模块的力反馈的输出算法基于广度传播优先，以触觉绘制为目标，将用户所使用的可穿戴力反馈设备为终端，定义力反馈输出为 N，设备故障报警输出为N_fault，设备故障报警输出叠加系数为 A_fault，火灾防盗告警输出为 N_alarm，火灾防盗告警输出叠加系数为A_alarm，则基础力反馈输出为：

N = Min(N_max, N_fault + N_alarm)；

其中，N_max是力反馈输出终端允许输出的最大值，系统多故障和报警叠加输出为：

N = Min(N_max, A_fault x ∑N_fault + A_alarm x ∑N_alarm)。

本发明具有以下有益效果：

1.本发明通过使用基于虚拟现实的全息实境建筑设备管理系统，让用户能够在VR硬件产品的帮助下，通过虚境增强，把现实中的设备管理推向全息应用的漫游场景中，从而摆脱以往依赖于工作经验和设备熟悉度的管理维护方式，真正做到智能建筑设备管理上的场景与数据同步、位置与知识同步、情景与预案同步以及理论与实践同步。

2.经过合理设计的管理系统，在沉浸式设备空间渲染模块中通过三维标记和二维渲染，可以使用户在虚拟现实终端设备中，看到完整的角度无偏差的全息界面，并且该步骤均在线性时间内完成计算，可以让展示画面达到每秒75帧以上，开启GPU硬件加速后可以达到每秒150帧，提高沉浸式体验效果。

3.在交互式设备操控模块中，通过空间结构化、空间去噪和动作归一化技术，将算法复杂度降到最低，在进行动作捕捉中，以一个长20米，宽8米，高5米的的设备管理间为例，其可以识别的空间分辨率为800K，低于一个普通显示器的颜色分辨率，开启空间去噪之后的空间分辨率仅为320K，进一步降低了动作捕捉的计算量，用户在使用中的体验延迟非常小，从而可以把一些全息参数显示值与真实设备动作同步起来。

附图说明

图1为本发明的流程示意图。

图2为本发明的沉浸式设备空间渲染模块工作示意图。

图3为本发明的交互式设备操控模块说明示意图。

主要部件符号说明:

1：沉浸式设备空间渲染模块，2：交互式设备操控模块，3：触感式异常反馈模块，4：VRO-API数据通信模块，5：IBMS集成平台，6：数据中心，7：设备群组。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

实施例1

本实施例公开了一种基于虚拟现实的全息实境建筑设备管理系统，包括了沉浸式设备空间渲染模块1、交互式设备操控模块2、触感式异常反馈模块3、VRO-API数据通信模块4、IBMS集成平台5和数据中心6，沉浸式设备空间渲染模块1用于将虚拟现实渲染中的用户与设备相对位置的坐标换算，交互式设备操控模块2用于同步用户肢体动作与设备管理，触感式异常反馈模块3用于将设备异常状态以触感式反馈于用户，VRO-API数据通信模块4用于建立沉浸式设备空间渲染模块1、交互式设备操控模块2和触感式异常反馈模块3与IBMS集成平台5和数据中心6的数据处理和通讯。

对于尚未实施和建立智能建筑管理系统的新建筑，采用全新实施的方式来部署实施本发明。其具体步骤说明如下：

建立空间模型：

从AUTOCAD等设计图中，提取建筑的空间结构，从而得到其房间、楼梯、通道、走廊、设备间、夹层、管网等数据，进而建立与真实建筑环境匹配的空间建构模型，作为沉浸式设备空间渲染模块1(IDSR)的基础模型。

同时，将各个智能化子系统设备的位置从其设计图中提取出来，置入IDSR的基础模型中。考虑到置入时，各个子系统的设计出发点与设备位置实施图与建筑空间的位置可能有所偏差，必须通过坐标偏移、缩放还原、局部调整等手段，将不同子系统的设备点坐标进行校正归一。有必要时，需要进行人工校对。最终形成IDSR用户视界中的虚拟设备点与真实设备点二者在三维空间的坐标位置重合。

空间结构化：

将建筑空间以0.1m为单位，划分为 0.1m x 0.1m x 0.1m 的空间小块，假设空间的高度为H’米，宽度为 W米，长度为L米，则该建筑空间的空间分辨率为：R’= H’ x W x L/(0.1mx 0.1m x 0.1m) = 1000 x H’x W x L；同时，将空间的高度H’设置为0.5-2.5m，其余空间内的数据可以在动作捕捉时，视为噪声空间而进行滤除。

在此基础上，将设备在三维渲染空间里的三维坐标固定标记为(x0, y0, z0)，把处于第一视角的用户位置标记为(x, y, z)。

建立IDSR：

提取建筑内部出入口路径，通过Prism算法，预设人员出入口与可走动空间的动态路径规划，从而完成建筑空间内的初步划分及IDSR第一视角使用者的活动点位置预计算。

通过使用者佩戴的虚拟现实设备，获取其当前坐标i(x0, y0, z0)，并进行三维一次方的向量运算，得到第一视角在空间中的旋转向量δ。其计算公式为：δ=i(x0, y0, z0)–i(x, y, z)；

依据得到第一视角在空间中的旋转向量δ，偏转平面图形，使得建筑内设备的实施信息，始终以二维平面的方式，正面渲染到用户视界，完成IDSR。

设定联动、报警逻辑及交互式设备操控（IDM）操作逻辑：

在后端的IBMS系统，设定联动逻辑，实现任何可读点到任何可写点的联动，以满足任何可读点，均可以作为联动触发源；任何可控点，均可以作为联动响应目标。设定报警逻辑，实现任何可读点的报警，以满足任何可读点，均可以作为报警点；任何可控点，均可以进行报警操作控制。

设定IDM操作逻辑，将用户的六种肢体动作方向，预设至六种常用设备操作动作，如图3所示。

动作捕捉与异常反馈设定：

考虑到当用户处于建筑空间中时，其肢体动作往往不是单一、均匀地分布在预先划分的空间小块中。故将非正交斜跨空间小块的肢体动作轨迹进行归一化处理,使用Dx,Dy,Dz这一组向量来表示所需的六个方向，即用户肢体向上、下、左、右、前、后动作方向,对每个向量进行如下线性函数转换：

Dx=(Mx - Mmin)/(Mmax - Mmin)；

Dy=(My - Mmin)/(Mmax - Mmin)；

Dz=(Mz - Mmin)/(Mmax - Mmin)；

其中,Mx、My、Mz分别为转换前在x、y、z方向上的原始位移向量值，Mmax和Mmin分别为归一化样本采样允许的最大值和最小值。

触感式异常反馈模块3（EMR）的力反馈的输出算法基于广度传播优先，以触觉绘制为目标，将用户所使用的可穿戴力反馈设备为终端，定义力反馈输出为N，设备故障报警输出为N_fault，设备故障报警输出叠加系数为 A_fault，火灾防盗告警输出为N_alarm，火灾防盗告警输出叠加系数为A_alarm，则基础力反馈输出为：

N=Min(N_max, N_fault + N_alarm)；

其中，Nmax是力反馈输出终端允许输出的最大值，系统多故障和报警叠加输出为：

N=Min(N_max, A_fault x ∑N_fault + A_alarm x ∑N_alarm)。

在实际的应用中，根据用户所穿戴的力反馈设备的不同，可以基于输出N，以震动的方式来提供触觉信息。而对于能够提供多点力反馈和纹理感受的设备，将∑N_fault与∑N_alarm独立映射到多个反馈点，形成用户不同部位的纹理感受。例如用手指去摸一个风机盘管开关，设备控制器能够让用户“摸出”开关的形状，则将开关启停时关联的故障信息直接形成反馈力输出到该纹理感受中，用户即可获得开关启停失败的沉浸式体验。

实施例2

本实施例公开了一种基于虚拟现实的全息实境建筑设备管理系统，具体的系统设备与实施例一相同，对于已经拥有IBMS智能建筑管理系统及数据中心6的智能化建筑，采用升级实施的方式来部署实施本发明。

匹配空间模型：

在原有IBMS的基础上，利用其已有的空间划分及设备点位数据，来匹配真实环境中的空间结构模型。考虑到原有IBMS的设计与规划，存在与本发明的空间需求设计不一致的情况，需要对此空间模型进行拆分、合并与平移。例如：

当建筑单一楼层面积较大时（例如会展中心等大型单体建筑），需要对该楼层进行拆分，将物理上的一个大空间拆分为若干个小空间，在大空间的走廊或过道中建立小空间的虚拟出入口。

当建筑内的夹层与房间主体分开的情况下，因为夹层不具有独立的出入口，将夹层合并到房间主体。

当建筑内具有的某种狭小设备间并且使用常闭锁时，将设备间内的设备坐标平移至旁边的过道、房间等临近的空间，让用户无需进入该狭小空间即可获得IDSR的体验。

最终匹配得到良好的IDSR基础模型。

空间二次结构化：

在原有IBMS的二维平面图基础上，引入高度参数，建立空间结构化所需的第三维数据。对于在空间划分已经变动的情况下，在做空间结构化时，以变动后的IDSR模型为基准，进行从二维平面图到三维立体模型的空间二次结构化。

同样，将建筑空间以0.1m为单位，划分为 0.1m x 0.1m x 0.1m 的空间小块；同时，将空间的高度H’设置为0.5-2.5m，其余空间内的数据可以在动作捕捉时，视为噪声空间而进行滤除。在此基础上，将设备在三维渲染空间里的三维坐标固定标记为(x0, y0, z0)，把处于第一视角的用户位置标记为(x, y, z)。

IBMS集成平台5和数据中心6辅助建立IDSR：

利用VRO-API数据通信模块4，从IBMS集成平台5获取建筑内部出入口路径，基于其已有的出入口与可走动空间的动态路径规划，提取出建筑空间内的初步划分。仅当在进行IDSR第一视角使用者的活动点位置进行计算时，才从使用者佩戴的虚拟现实设备，获取其当前坐标 i(x0, y0, z0)。其后，进行的三维一次方的向量运算来得到第一视角在空间中的旋转向量δ的步骤与实施实例1相同。其计算公式为：δ=i(x0, y0, z0)–i(x, y, z)最终使得建筑内设备的实施信息，始终以二维平面的方式，正面渲染到用户视界，完成IDSR。

充分利用已有的IBMS及数据中心6的算力支持，减轻完成IDSR的实时计算量。

VRO-API数据通信模块4订阅IBMS集成平台5报警、联动消息：

VRO-API数据通信模块4作为内置客户端的形式，订阅IBMS集成平台5的异常消息，含设备报警、联动预案等。无需再另行定制报警及联动策略。

当接收到的异常消息格式与VRO-API所预设的格式不同时，需要定制开发消息转换插件，以期在发送到用户VR设备之前，完成消息兼容处理。

对于IDM操作逻辑预先设定，同样将用户的六种肢体动作方向，预设至六种常用设备操作动作，如图3所示。

EMR、IDM标记的反馈力度映射：

若现有IBMS系统的报警级别与触感式异常反馈模块3的反馈力度不是一一对应的关系，则需要做一个报警级别与反馈力度的映射。

根据实际力反馈设备的精度，选择IBMS报警级别的支持范围作为分辨率df，选择做离散傅里叶变换（DFT）后，得到IBMS可支持的报警级别数对应的反馈力度输出值。此步骤里的动作归一化处理，与实施例1相同。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.基于虚拟现实的全息实境建筑设备管理系统，其特征在于，包括了沉浸式设备空间渲染模块、交互式设备操控模块、触感式异常反馈模块、VRO-API数据通信模块、IBMS集成平台和数据中心，所述的沉浸式设备空间渲染模块用于将虚拟现实渲染中的用户与设备相对位置的坐标换算，所述的交互式设备操控模块用于同步用户肢体动作与设备管理，所述的触感式异常反馈模块用于将设备异常状态以触感式反馈于用户，所述的VRO-API数据通信模块用于建立沉浸式设备空间渲染模块、交互式设备操控模块和触感式异常反馈模块与IBMS集成平台和数据中心的数据处理和通讯。

2.如权利要求1所述的基于虚拟现实的全息实境建筑设备管理系统，其特征在于：所述的沉浸式设备空间渲染模块用于将虚拟现实渲染中的用户与设备相对位置的坐标换算具体方法为:

三维标记：将设备在三维渲染空间里的三维坐标固定标记为(x₀, y₀, z₀)，把处于第一视角的用户位置标记为(x, y, z)，第一视角在空间中的旋转向量 δ为i(x₀, y₀, z₀)-i(x,y, z)；

二维渲染：将设备的实时信息，渲染成二维平面图形，并在发送到用户视界之前，并进行δ值的偏移。

3.如权利要求1所述的基于虚拟现实的全息实境建筑设备管理系统，其特征在于：所述的交互式设备操控模块用于同步用户肢体动作与设备管理具体操作为：用户通过使用肢体向上、下、左、右、前、后动作，完成设备管理中的启动、停止、参数选择、参数调整上、参数调整下和恢复预设值。

4.如权利要求3所述的基于虚拟现实的全息实境建筑设备管理系统，其特征在于：所述的交互式设备操控模块用于同步用户肢体动作与设备管理具体操作还包括有：

空间结构化：

将建筑空间以0.1m为单位，划分为 0.1m x 0.1m x 0.1m 的空间小块，假设空间的高度为H’米，宽度为 W米，长度为L米，则该建筑空间的空间分辨率为：R’= H’ x W x L/(0.1mx 0.1m x 0.1m) = 1000 x H’ x W x L；

动作归一化:

将非正交斜跨空间小块的肢体动作轨迹进行归一化处理,使用 Dx, Dy, Dz 这一组向量来表示所需的六个方向，即用户肢体向上、下、左、右、前、后动作方向,对每个向量进行如下线性函数转换：

Dx = (Mx - Mmin) / (Mmax - Mmin)；

Dy = (My - Mmin) / (Mmax - Mmin)；

Dz = (Mz - Mmin) / (Mmax - Mmin)；

其中,Mx、My、Mz分别为转换前在x、y、z方向上的原始位移向量值，Mmax和Mmin分别为归一化样本采样允许的最大值和最小值。

5.如权利要求4所述的基于虚拟现实的全息实境建筑设备管理系统，其特征在于：所述的交互式设备操控模块用于同步用户肢体动作与设备管理具体操作还包括有：

空间去噪：

将空间的高度H’设置为0.5-2.5m，其余空间内的数据可以在动作捕捉时，视为噪声空间而进行滤除。

6.如权利要求1所述的基于虚拟现实的全息实境建筑设备管理系统，其特征在于：所述的触感式异常反馈模块用于将设备异常状态以触感式反馈于用户具体方法如下：

触感式异常反馈模块的力反馈的输出算法基于广度传播优先，以触觉绘制为目标，将用户所使用的可穿戴力反馈设备为终端，定义力反馈输出为 N，设备故障报警输出为N_fault，设备故障报警输出叠加系数为 A_fault，火灾防盗告警输出为 N_alarm，火灾防盗告警输出叠加系数为A_alarm，则基础力反馈输出为：

N = Min(N_max, N_fault + N_alarm)；

其中，N_max是力反馈输出终端允许输出的最大值，系统多故障和报警叠加输出为：

N = Min(N_max, A_fault x ∑N_fault + A_alarm x ∑N_alarm)。