CN103049165A - 用于电网监控的三维人机交互系统及其实现方法 - Google Patents

Abstract

本发明公开了一种用于电网监控的三维人机交互系统。在该系统中，电力调度局域网的数据通过交换机传输至服务器，人机交互设备获取和展示服务器中电力调度局域网的数据，人机交互设备接收用户的交互信息并传输至服务器中保存。本发明还公开一种应用上述三维人机交互系统的人机交互实现方法，包括：实时读取服务器中的数据，绘制初始图像；创建临时文件；根据初始图像在临时文件中绘制二维画面；读取临时文件中的二维画面信息；更新画面材质显示三维画面；用户在三维画面中进行交互操作；收集交互操作信息，优化内存负载并更新画面。采用本发明可以提高电网运行监控系统的运行性能。

Description

用于电网监控的三维人机交互系统及其实现方法

技术领域

本发明涉及一种三维人机交互系统及其实现方法，尤其涉及一种用于电网监控的三维人机交互系统及其实现方法，属于电网调度自动化技术领域。

背景技术

当前，我国电网已进入大电网、特高压、远距离、交直流并联输电的发展阶段，电网结构上的复杂性和运行控制技术的难度是世界罕见的。电网调度系统是电网运行的中枢，在电网运行监控中发挥着重要的作用。电网运行监控系统直接为电网调度运行提供数据采集与监控，可以在线为各级电力调度机构中的生产运行人员提供电力运行信息、电力分析决策工具和必要的控制手段。

国内外现有的电网运行监控系统，主要通过传统的二维手段展示电网数据，例如通过表格、曲线、棒图等方式在二维画面上展示数据。用户对电网的调度和交互操作也是在传统的二维画面上实现。在目前电网规模日益庞大的背景下，现有的电网运行监控系统普遍缺少直观有效的显示方式来表现复杂、大量的信息，也缺少有效的可视化手段对各种应用的计算结果、分析结果进行高效的展示。尤其是，现有电网运行监控系统不能将二维画面转换成三维画面，缺少可视化手段进行信息挖掘与智能告警，对电网的调度和交互操作也不能实时在三维画面中实现。

申请号为201110027057.7的中国发明专利申请公开了一种电力系统的交互控制方法、装置及系统。该控制方法包括：采集所述电力系统的多个子系统的实时信息；根据所述实时信息判断所述多个子系统中是否存在异常，并在所述多个子系统中存在异常时，将所述视频监控系统切换到发生异常的子系统处；以及根据所述视频信息对所述异常的子系统进行控制。该控制装置包括：采集模块；判断模块；以及控制模块。该控制系统包括：采集器；视频监控系统；传输器；以及服务器，用于对异常的子系统进行控制。但是，该技术方案并不能实现基于三维画面的人机交互操作。

发明内容

针对现有技术所存在的不足，本发明所要解决的技术问题在于提供一种用于电网监控的三维人机交互系统及其实现方法。

为实现上述的发明目的，本发明采用下述技术方案：

一方面，本发明提供一种用于电网监控的三维人机交互系统，其特征在于包括：服务器、交换机、人机交互设备；

所述服务器、所述人机交换设备均通过所述交换机与电力调度局域网连接；

电力调度局域网的数据通过所述交换机传输至所述服务器，所述人机交互设备获取和展示所述服务器中电力调度局域网的数据，所述人机交互设备接收用户的交互信息并传输至所述服务器中保存。

其中较优地，所述服务器包括主用服务器和备用服务器，所述主用服务器和所述备用服务器采用主备热备份方式备份数据。

其中较优地，所述人机交互设备包括调度员工作站和触摸显示屏，所述触摸显示屏和所述调度员工作站连接。

另一方面，本发明还提供一种应用上述三维人机交互系统的人机交互实现方法，其特征在于包括如下步骤；

实时读取服务器中的数据，绘制初始图像；

创建临时文件；

根据所述初始图像在所述临时文件中绘制二维画面；

读取临时文件中的二维画面信息；

更新画面材质显示三维画面；

用户在三维画面中进行交互操作；

收集交互操作信息，优化内存负载并更新画面。

其中较优地，所述二维画面是EMS平面图形、虚拟现实画面或GIS画面中的一种或多种。

其中较优地，在收集交互操作信息，优化内存负载并更新画面的步骤中，首先检测用户在所述三维画面中是否有交互操作，如果存在交互操作，则修改所述三维画面的画面刷新时间。

其中较优地，如果存在交互操作，则画面刷新时间变更为毫秒级；如果不存在交互操作，则画面刷新时间维持为秒级。

本发明在三维空间中利用多个平面显示电网运行监控信息。各平面之间的数据可以进行联动，便于比较分析，具有实时交互，方便快捷的特点，能更加有效地分析和处理越来越多的电网运行数据。本发明在实现过程中还采用了内存负载优化的技术手段，进一步提高了三维人机交互系统的运行性能。

附图说明

图1是本发明所提供的用于电网监控的三维人机交互系统的网络结构示意图；

图2是图1所示的三维人机交互系统硬件部署示意图；

图3是三维人机交互系统对EMS画面显示和交互操作流程示意图；

图4是三维人机交互系统对虚拟现实画面显示和交互操作流程示意图；

图5是三维人机交互系统对GIS画面显示和交互操作流程示意图；

图6是三维人机交互系统对内存负载优化流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容做进一步的详细说明。

随着三维技术的发展，三维展示手段也开始应用于电网运行监控系统中，但是展示方式相对单一，缺乏与原有二维系统的良好兼容。本发明将电网运行监控系统中目前拥有的展示画面类型引入到三维空间中；并根据需要进行显示方案的定制。通过三维人机交互系统，实现展示手段多样化、数据抽象精细化、数据挖掘实用化；并实现电网运行信息从静态、二维平面、孤立数据的展示方式到动态、三维立体、连续图形的展示方式的转变。

本发明提供了一种用于电网监控的三维人机交互系统。如图1所示，该三维人机交互系统包括：服务器1、人机交互设备2和交换机3。服务器1、人机交换设备2均通过交换机3与电力调度局域网（图中未示出）连接。分散在各个发电厂和变电站的数据（例如电参量、开关量状态等）均通过电力调度局域网实时传输，服务器1通过交换机3接收这些实时传输的数据并储存在服务器1的数据库中。人机交互设备2获取和展示服务器1中的实时传输的数据，人机交互设备接收用户的交互操作信息并传输至服务器1中保存。

在本发明中，服务器1还包括SCADA（数据采集与监控系统）软件。SCADA软件主要用于收集和处理电力调度局域网中实时采集传输的数据，并将处理后的数据存储于数据库中。如图1所示，服务器1优选采用主备热备份方式，由主用服务器和备用服务器构成。正常情况下，主用服务器负责收集数据和储存数据，备机处于热备状态，当主用异常情况下实现主用服务器和备用服务器自动切换，保证了三维人机交互系统的安全稳定运行。

如图1和图2所示，在本发明提供的用于电网监控的三维人机交互系统中，人机交互设备2优选采用调度员工作站22和触摸显示屏23。当然人机交互设备不仅限于此，触摸一体机或者调度员工作站22、其他具有同等功能的显示装置（例如普通显示屏、投影、大屏幕等）和输入装置（例如鼠标、键盘、控制手柄等）组成的人机交互设备2也可以实现本发明中用户和电网数据的控制交互。本发明中，人机交互设备2优选用一个调度员工作站22配两台触摸显示屏23模式，便于同时监视更多的画面，在触摸显示屏23上用户进行画面的监视和操作。调度员工作站22用于实现三维人机交互系统的数据处理和数据展示。人机交互设备2实时向服务器1发送数据读取命令，服务器1接收到数据读取命令后通过网络将数据传送给调度员工作站22，调度员工作站22处理数据后在触摸显示屏23显示。触摸显示屏23用于三维人机交互系统中画面的展示和交互操作，用户可以实时读取本三维人机交互系统的数据，并以多种多样的效果展示数据。触摸显示屏23可以接收当前用户对系统数据的各种操作交互，将这些操作交互记录并传输给调度员工作站22，调度员工作站22根据交互操作信息处理系统数据，并更新相应触摸显示屏23的显示画面。当多个触摸显示屏23同时访问同一个画面时或相同的数据时，各画面都是通过调度员工作站22实时读取服务器的数据，在各自触摸显示屏实时显示，保证了不同触摸显示屏数据显示的一致性。

本发明提供的用于电网监控的三维人机交互系统具有较强的兼容性和丰富的表现力，具有丰富的用户定制手段；支持各种三维展示效果的定制和扩充，系统自由度比较高；支持对各种定制的三维效果的显示，也可以自由的进行扩充。本三维人机交互系统展示效果包括平面效果、弧形平面效果、三维空间展示效果等。三维空间展示效果包括平面排列样式、立方体样式、屏风样式、多米诺骨牌样式。后文将有进一步的说明。

在本三维人机交互系统中，用户还可以根据自己的实际需求订制各种不同显示效果的二维画面，订制的二维画面以上述各种展示效果在人机交互设备的显示装置中显示，主要有：EMS（能量管理系统）平面图形，例如厂站图、地理接线图、目录图等；标准GUI图形组件，例如表格、按钮、文本框等；图元，例如曲线、棒图、饼图、表计、气泡图、雷达图等；虚拟现实画面，例如变电站场景等；GIS（地理信息系统）画面，例如二维GIS、三维GIS等。定制的画面随着系统的启动加载到系统中。启动定制画面显示，并实时更新显示画面，更新的画面信息传送回显示装置进行显示。本三维人机交互系统可以根据需要进行方案定制展示相关的二维、三维画面，更能全方位、立体化、多角度、多层次的展示电网实时运行状态，还可以根据需要增加显示信息。从宏观上能够总揽全局及时发现异常情况，从微观上能够突出重点、展示细节、直观表现相关场景，实现宏观和微观联动。

本发明还提供一种应用上述用于电网监控的三维人机交互系统进行三维空间人机交互的实现方法。该三维人机交互系统启动完毕后，人机交互设备实时读取服务器中的数据。人机交互设备根据服务器中数据库中的实时数据绘制初始图像，然后根据初始图像创建临时文件（BufferImage），并根据该初始图像信息在该临时文件中绘制二维画面。人机交互设备读取该临时文件中的二维画面信息，以更新画面材质形式将该临时文件中读取的画面信息在三维空间进行显示。此时用户可以根据自己的实际需要对人机交互设备显示的三维画面进行交互操作，例如在EMS系统平面图形中的正常选取、框选、圈选等模式；在虚拟现实画面中的漫游浏览、挂牌等；在GIS画面中放大、缩小定位等，在此不一一赘述。人机交互设备进一步收集用户的交互操作信息，并根据当前的交互操作做出相应的操作响应并实时更新画面。

三维人机交互系统在生成画面和更新画面时，按照窗口和画面的大小以更新画面材质形式在平面上展示三维画面，各种三维画面主要为用户提供各种不同的展示效果，每一种展示效果既能以三维画面展示电网的图形画面以及动态数据，同时也能以二维的画面展示电网的图形以及动态数据。三维画面对电网数据以三维或者二维的展示效果能让用户快速准确的浏览电网数据。用户可以根据具体的画面展示的方案对三维空间平面中画面选择，例如主平面画面显示原有电网运行监控系统中的人机系统的主画面，两侧平面显示与主画面相关的辅助信息画面，并对画面进行关联，各画面之间可以快速进行切换。下面以人机交互设备2选用触摸显示屏23为优选例对本三维人机交互系统的交互展示效果做详细介绍。

平面排列样式中，三维人机交互系统将电网运行中的稳态监控、自动发电控制、自动电压控制、动态监测、动态预警、网络分析六种画面分别显示在六个平面中。在触摸显示屏23显示的三维空间中，当前平面中只显示一种画面。当用户在触摸显示屏23的画面上通过手指向左或向右滑动时，在展示平面上触发拖拽动作，由手指拖拽时的终点与起点计算拖拽的距离判断向左还是向右滑动，从而更换相应展示的画面，实现对不同画面的流畅的切换。

立方体样式中，三维人机交互系统在触摸显示屏23显示的立方体的六个面放置六种画面，分别为稳态监控、自动发电控制、自动电压控制、动态监测、动态预警和网络分析。该样式在开始运行时，触摸显示屏23显示一个倾斜的立方体。当手指在立方体其中一个面上滑动时触发立方体的旋转，根据手指拖拽时的终点与起点计算拖拽的距离判断旋转的方向进行旋转。用户对触摸显示屏23的立方体中的一个画面在屏幕上通过双手指分开进行放大操作，通过手指合拢进行缩小操作。手指的分开和合拢操作相当于同时按下CTRL键和鼠标的滚轮，根据滚轮的方向确定放大还是缩小。画面放大后，会出现与该画面相对应的辅助信息内容，先展开左侧相关画面，再展开右侧相关画面。此时，通过手指拖拽立方体向不同的方向旋转，立方体两侧的辅助信息也会发生相应的变化。

屏风样式中，三维人机交互系统显示了六组画面，分别为稳态监控、自动发电控制、自动电压控制、动态监测、动态预警和网络分析。触摸显示屏23显示的画面在初始时画面由远及近显示出来，屏风的中间部分显示主画面，两侧的平面为画面的辅助信息。用户在触摸显示屏23显示的屏风中间部分的主画面上进行手指的上下滑动，通过手指滑动的终点和起点的距离判断是切换到上一页还是下一页，从而完成主画面的切换，同时两侧的辅助画面也发生同样的变化。主画面两侧的辅助信息是有一定角度的，可以通过手指的横向滑动，通过手指滑动的终点与起点判断画面切换到左侧还是右侧，从而实现两侧的辅助信息也能显示到用户的正前方，便于用户浏览。

多米诺骨牌样式中，三维人机交互系统将稳态监控、自动发电控制、自动电压控制、动态监测、动态预警和网络分析画面像多米诺骨牌一样，纵向排列。用户通过手指在触摸显示屏23显示的画面上向上和向下的滑动操作，各个平面可以前后依次排列移动。当通过两个手指分开的动作对最前端的平面进行放大操作的时候，平面飞到前端进行显示。

下面分别以EMS平面图形、虚拟现实画面、GIS画面在三维人机交互系统中三维空间展示和用户交互操作响应为例展开详细的说明。

实施例1：EMS平面图形在三维人机交互系统中的三维空间展示和交互操作

三维人机交互系统启动完毕后，人机交互设备实时读取服务器中的数据，人机交互设备根据服务器中数据库中的实时数据绘制初始图像，此时绘制的初始图像不进行显示。如图3所示，人机交互设备根据绘制的初始图像创建临时文件；根据该初始图像在该临时文件中绘制二维画面。人机交互设备读取该临时文件中的画面信息；以更新画面材质形式将该临时文件中读取的画面信息在三维画面显示。应当理解，此处人机交互设备显示三维画面可以是触摸显示屏23，也可以是普通显示屏、投影、大屏幕等图像输出设备替代。此时用户可以根据自己的实际需要对人机交互设备显示的三维画面交互操作。应当理解，此处的交互操作模式可以由三维人机交互系统的触摸显示屏23实现，也可以由键盘、鼠标、操作手柄等输入设备替代。人机交互设备收集用户的交互操作信息判断当前的交互操作信息，例如，正常选取、框选、圈选等模式。正常选取模式主要用来处理光敏点交互操作事件；框选模式用来处理矩形框选交互操作事件；圈选模式用来处理多边形的框选交互操作事件。当有操作事件发生时，根据不同的交互操作模式进行不同的处理。人机交互设备收集用户的交互操作信息并根据当前的交互操作做出相应的操作响应并以更新材质形式实时更新画面。下面以用户在触摸显示屏23上分别以正常选取、框选、圈选等模式事件在三维画面中的处理为例做详细的说明。

当用户通过单击操作时，首先依次根据视口变换逆矩阵、投影变换逆矩阵和模型变换逆矩阵将屏幕上的坐标转换为三维空间内的坐标，再将三维空间内的坐标投影到平面上计算出相对坐标。然后向人机交互软件发送光敏点事件，人机交互软件响应后将相对坐标转换为其二维平面上的坐标点，遍历平面上的图形对象查找坐标点处的光敏点，找到后打开光敏点关联的画面，完成光敏点事件的操作响应。同时三维空间内的平面通过刷新线程实时读取人机交互设备在二维空间内绘制的画面，实现画面的同步更新。

当用户将手指按下滑动，记录下手指滑动的起点，将滑动过程中的最后一点作为终点，将起点和终点作为矩形的对角点构建矩形。首先依次根据视口变换逆矩阵、投影变换逆矩阵和模型变换逆矩阵将屏幕上的坐标转换为三维空间内的坐标，将起点和终点作为矩形的对角点绘制矩形。再将三维空间内的坐标投影到平面上计算出相对坐标。然后向人机交互软件送矩形框选事件，人机交互软件响应后根据面板的高度和宽度将相对坐标转换为其平面上的坐标点，判断画面中的图形对象是否在矩形框内，若在矩形框内设为选中状态，并同时发送事件触发辅助信息画面发生相应的变化，完成框选事件的操作响应。同时三维空间内的平面通过刷新线程实时读取人机交互设备在二维空间内绘制的画面，实现画面的同步更新。

当用户在屏幕上按下手指进行滑动，记录手指按下的起点，并记录滑动过程中经过的所有点，直到终点，如起点和终点不重合，将起点和终点连接形成一个闭合图形。首先依次根据视口变换逆矩阵，投影变换逆矩阵和模型变换逆矩阵将屏幕上的坐标转换为三维空间内的坐标，根据多边形在三维空间内的各个顶点坐标进行多边形的绘制，再将三维空间内的坐标投影到平面上计算出相对坐标。然后向人机交互软件发送多边形圈选事件，人机交互软件响应事件后将相对坐标根据面板的高度和宽度转换为其平面上的坐标点，判断画面中的图形对象是否在多边形矩形框内，若在矩形框内设为选中状态，并同时发送事件触发辅助信息画面发生相应的变化，完成圈选事件的操作响应。同时三维空间内的平面通过刷新线程实时读取人机交互设备在二维空间内绘制的画面，实现画面的同步更新。

实施例2：虚拟现实画面在三维人机交互系统中的三维空间展示和交互操作

如图4所示，三维人机交互系统启动完毕后，人机交互设备实时读取服务器中的数据，人机交互设备根据服务器中数据库中的实时数据绘制初始图像，此时绘制的初始图像不在屏幕上进行显示。人机交互设备创建一个用于存储虚拟现实中生成的画面信息的画面缓存文件；将该文件进行共享内存映射，通过内存映象文件来达到内存共享的目的，将虚拟现实中生成的画面写入到共享内存中。三维人机交互系统以字节流的方式将画面缓存文件读入，并将文件的内容直接映射到计算机虚拟内存中，然后把虚拟内存的内容载入物理内存。三维人机交互系统根据绘制的初始图像创建临时文件；并将读入到物理内存的缓存文件进行转换并生成在临时文件中，人机交互设备根据缓存文件中的初始图像在该临时文件中绘制二维画面；人机交互设备读取该临时文件中的画面信息；最后将临时文件中的画面绘制在三维空间中的平面中。人机交互设备以更新画面材质形式将该临时文件中读取的画面信息以三维画面显示；此时用户可以根据自己的实际需要对人机交互设备显示的三维画面交互操作。应当可以理解，此处的显示和交互操作输入装置与实施例2中的三维空间显示和交互操作基本相同。人机交互设备收集用户的交互操作信息，并根据当前的交互操作通过Socket（套接字）以报文的方式传递给虚拟现实画面，完成画面的操作响应，同时三维空间内的平面通过刷新线程实时读取上述的画面缓存文件，实现画面的实时更新。

实施例3：GIS画面在上述三维人机交互系统中的三维空间展示和交互操作：

三维人机交互系统启动完毕后，人机交互设备实时读取服务器中的数据，人机交互设备根据服务器中数据库中的实时数据绘制初始图像，此时绘制的初始图像不进行显示。如图5所示，人机交互设备根据三维空间平面的宽度和高度创建临时文件；人机交互设备根据该初始图像通过人机交互软件实时在该临时文件中绘制GIS画面；人机交互设备读取该临时文件中的画面信息；人机交互设备以更新画面材质形式将该临时文件中读取的画面信息以三维画面显示；此时用户可以根据自己的实际需要对人机交互设备显示的三维画面交互操作；应当可以理解，此处的显示和交互操作输入装置与实施例1中的三维空间显示和交互操作基本相同。人机交互设备收集用户的交互操作信息并根据当前的交互操作做出相应的操作响应并实时更新画面。下面对用户交互操作做详细的说明。

如图5所示，当人机交互设备收集用户的交互操作在GIS画面操作时，首先依次根据视口变换逆矩阵、投影变换逆矩阵和模型变换逆矩阵将屏幕上的坐标转换为三维空间内的坐标，，再将三维空间内的坐标投影到平面上计算出相对坐标。再将相对坐标根据GIS面板的高度和宽度转换为GIS画面内的坐标，然后调用GIS画面操作响应事件接口，触发与GIS实例相关的操作响应事件。同时三维空间内的平面通过刷新线程实时读取GIS生成的图像，实现画面的同步更新。

本发明在收集交互操作信息更新三维空间内画面的同时还对内存负载做了优化。在三维人机交互系统中可以同时显示多个平面，每一个平面中画面的刷新由单独线程进行控制。下面以同时显示三个平面为例做详细说明：如图6所示，三维人机交互系统同时显示A、B、C三个平面，三个平面分别由I、II、III三个刷新线程进行控制，在正常情况下，I、II、III三个线程的画面刷新时间为秒级；当某个平面如A平面中画面检测到操作事件时，自动修改画面刷新的时间，将I线程的画面刷新时间切换为毫秒级（例如20毫秒），从而保证画面浏览操作的实时性，此时，II、III两个线程的画面刷新时间仍为秒级（例如3秒）；当对B平面中的画面进行操作时，将I线程的画面刷新时间维持为秒级（例如3秒），将II线程的画面刷新时间切换为毫秒级（例如20毫秒），III线程的画面刷新时间仍维持为秒级（例如3秒）。从而避免了多个平面同时进行毫秒级刷新而带来的大量内存的消耗导致运行速度变慢的问题。本发明采用内存负载优化的技术手段满足三维空间内多个平面中高分辨率调度自动化系统画面显示操作的实时性要求；大大方便用户电网运行数据的日常监视，实现了相关画面的关联，便于用户对事故状态进行分析，从而快速做出决策。

上面对本发明所提供的用于电网监控的三维人机交互系统及其实现方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (7)

1.一种用于电网监控的三维人机交互系统，其特征在于包括服务器、交换机和人机交互设备；

所述服务器、所述人机交换设备通过所述交换机连接电力调度局域网；

电力调度局域网的数据通过所述交换机传输至所述服务器，所述人机交互设备获取和展示所述服务器中电力调度局域网的数据，所述人机交互设备接收用户的交互信息并传输至所述服务器中保存。

2.如权利要求1所述的三维人机交互系统，其特征在于：

所述服务器包括主用服务器和备用服务器，所述主用服务器和所述备用服务器采用主备热备份方式备份数据。

3.如权利要求1所述的三维人机交互系统，其特征在于：

所述人机交互设备包括调度员工作站和触摸显示屏，所述触摸显示屏和所述调度员工作站连接。

4.一种应用权利要求1、2或3所述三维人机交互系统的人机交互实现方法，其特征在于包括如下步骤：

实时读取服务器中的数据，绘制初始图像；

创建临时文件；

根据所述初始图像在所述临时文件中绘制二维画面；

读取临时文件中的二维画面信息；

更新画面材质显示三维画面；

用户在三维画面中进行交互操作；

收集交互操作信息，优化内存负载并更新画面。

5.如权利要求4所述的人机交互实现方法，其特征在于：

所述二维画面是EMS平面图形、虚拟现实画面或GIS画面中的一种或多种。

6.如权利要求4所述的人机交互实现方法，其特征在于：

在收集交互操作信息，优化内存负载并更新画面的步骤中，首先检测用户在所述三维画面中是否有交互操作，如果存在交互操作，则修改所述三维画面的画面刷新时间。

7.如权利要求6所述的人机交互实现方法，其特征在于：

如果存在交互操作，则画面刷新时间变更为毫秒级；如果不存在交互操作，则画面刷新时间维持为秒级。

Images