CN113849112A - 适用于电网调控的增强现实交互方法、装置及存储介质 - Google Patents

适用于电网调控的增强现实交互方法、装置及存储介质 Download PDF

Info

Publication number
CN113849112A
CN113849112A CN202111165167.XA CN202111165167A CN113849112A CN 113849112 A CN113849112 A CN 113849112A CN 202111165167 A CN202111165167 A CN 202111165167A CN 113849112 A CN113849112 A CN 113849112A
Authority
CN
China
Prior art keywords
virtual
node
real
screen
power grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111165167.XA
Other languages
English (en)
Other versions
CN113849112B (zh
Inventor
蔡忠闽
金瑞达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Xian Jiaotong University
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Xian Jiaotong University filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN202111165167.XA priority Critical patent/CN113849112B/zh
Publication of CN113849112A publication Critical patent/CN113849112A/zh
Application granted granted Critical
Publication of CN113849112B publication Critical patent/CN113849112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种适用于电网调控的增强现实交互方法、装置及存储介质，通过在虚实混合空间中将不可见的虚拟操作平面与操作台真实电脑屏幕叠合的方式为用户提供同真实电脑屏幕增强现实交互的支持；交互方法包括在真实屏幕周围设置多个虚拟屏幕作为辅助显示设备，就近显示与当前内容相关的其他内容，通过坐标映射建立虚拟操作平面上坐标点和真实电脑屏幕中像素点的数学对应关系；感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联信息或相关提示；相关信息可以以虚拟三维对象的方式显示在周围；用户将指定虚拟屏幕上的内容与真实屏幕显示的内容调换，或与虚拟三维对象交互。本发明可以有效提高工作效率，减轻工作负担。

Description

适用于电网调控的增强现实交互方法、装置及存储介质
技术领域
本发明属于增强现实交互技术领域，具体涉及一种适用于电网调控的增强现实交互方法、装置及存储介质。
背景技术
电力系统工作人员在电网状态监控、电网检修以及离线方式安排等工作中，需要对电网中存在的大量信息进行查看分析。这些信息位于不同的位置，如不同的屏幕、软件、系统或是同一系统、软件的不同页面等等。用户经常需要查找不同位置的信息进行关联分析，在信息的查找过程中浪费大量时间。如在仿真计算的过程中，操作人员需要对表示电网结构的不同单线图进行查看，从整体的单线图中选择感兴趣的区域进行放大查看，查看完毕后回到整体的单线图，选择其他感兴趣的区域进行查看。为了寻找感兴趣的节点，需要在众多节点中凭肉眼仔细地寻找，为了查看单线图中节点的属性，需要使用鼠标进行频繁点击。在这些过程中，单线图切换查看、寻找感兴趣节点以及查看节点属性等方面的困难，大大增加了操作人员的工作负担，操作繁杂琐碎，调度计算人员需要花费许多精力去辨别、回忆和记忆，认知负荷很重。
现有的改进方案，如电网沙盘推演，电网可视化等技术都倾向于换成一套全新的电网呈现方式。通过这些方法可以更好地展示电网特性，但是设计的成本高，需要操作人员重新学习操作方法。而在增强现实设备视角下，真实物体和虚拟物体共同存在，用户通过手势、眼动以及语音等交互方式与场景中的虚拟物体交互，并利用这些虚拟物体为真实物体提供更多的辅助信息，甚至达到与真实物体交互的目的。这种交互方式不仅使用辅助提示信息可以帮助用户更好地理解查看的内容，并且可以与这些内容进行实时交互，灵活的进行虚实信息的切换和调整，大幅提高工作的效率。
发明内容
本发明的目的在于提供一种适用于电网调控的增强现实交互方法、装置及存储介质，通过基于增强现实技术的交互手段，将电网状态监控、电网检修以及离线方式安排等场景中的各种相关信息通过虚实结合的方式动态联合显示，并用虚实结合的手段实现方便的信息选择，以解决现有技术中存在的电力调控任务所需相关信息分布在不同位置，检索困难的问题。
为了实现上述目的，本发明有如下的技术方案：
使用增强现实设备建立操作员与电脑操作台屏幕的实时交互。在电网系统查看分析的过程中，使用增强现实设备，在虚实混合空间中使用不可见的虚拟操作平面与操控台上的多个屏幕重合，并且额外设置多个虚拟屏幕显示候选内容。理解屏幕中显示的内容并定义各部分内容的交互方式。通过坐标映射和通信模块建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系，并引入眼动位置信息和鼠标位置信息，支持信息动态关联和交互选择，从而进行关联信息的自动近距离显示，减少用户查找相关信息的时间。本发明可以便捷切换查看不同的电网单线图。借助眼动追踪模块，操作员注视当前单线图中的某个节点时，在注视点处显示该节点的属性信息，并高亮所有相关节点。操作员注视仿真计算结果时，在注视点处显示该计算结果的分析结论。借助语音交互模块和手势交互模块，可以快速定位节点，修改节点的属性值，其他相关节点的属性值随之改变，实现联合调试的目的，从而帮助操作员更快获得满意的电网运行方式，可以有效提高操作员的工作效率，减轻工作负担。
第一方面，本发明实施例提供一种适用于电网调控的增强现实交互方法，包括以下步骤：
使用增强现实设备，在虚实混合空间中为电网操控台上需要交互的每个屏幕设置一个不可见的虚拟操作平面与之重合，同时将虚拟操作平面的状态设置为可响应各种增强现实交互行为的主动响应状态，并且在每个真实屏幕周围设置多个虚拟屏幕作为辅助显示设备，用于就近显示与当前内容相关的其他屏幕显示内容，通过坐标映射建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系；
针对特定的电网调控场景，罗列并定义该场景中可能涉及的关键信息，以及这些关键信息的存储位置、显示或呈现方式，还有这些关键信息之间的关联关系；
对调控屏幕上当前显示的内容进行界面元素提取、图像分割识别，获取软件后台信息，得到正在屏幕上显示的关键信息，以及这些关键信息内容、显示位置及区域，并建立这些关键信息的显示区域与虚拟操作平面上区域之间的映射关系；
当电网调控系统用户查看真实屏幕显示内容时，感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联的其他信息或进行相关提示；
与当前被注视的关键信息相关的内容分别显示在真实屏幕周围的虚拟屏幕上，或以虚拟三维对象的方式显示在周围；用户根据需要将指定虚拟屏幕上的内容与真实屏幕显示的内容进行调换，或与虚拟三维对象进行交互。
作为本发明交互方法的一种优选方案，所述通过坐标映射建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系具体包括：
a)在增强现实设备的虚实混合空间中，将虚拟操作平面设置为与真实电脑屏幕的矩形显示区的形状完全相同，并移动旋转虚拟操作平面使其四个顶点与真实电脑屏幕的矩形显示区的四个顶点重合；
b)获取当前虚实混合空间中虚拟操作平面四个顶点的空间三维坐标；
c)将真实电脑屏幕的矩形显示区和虚拟操作平面重合，根据真实电脑屏幕的分辨率和虚拟操作平面四个顶点在虚实混合空间中的三维坐标，求解得到一个虚拟操作平面三维空间坐标点向真实电脑屏幕二维像素坐标变换的坐标变换矩阵；
d)借助坐标变换矩阵加上取整操作，为虚拟操作平面上的任意三维空间坐标点计算得到唯一与之对应的真实电脑屏幕像素点，从而建立虚拟操作平面上的坐标点和真实屏幕中的像素点的数学对应关系。
作为本发明交互方法的一种优选方案，所述的电网调控场景包括潮流计算、热稳校核以及电网运行方式计算。
作为本发明交互方法的一种优选方案，所述的关键信息包括电网调控场景中各个电网单线图、电网单线图中各个节点的位置和电气参数、电力系统仿真计算软件的仿真计算结果。
作为本发明交互方法的一种优选方案，所述的关键信息存储在真实电脑PC端，通过节点辅助信息快速了解所观察节点的属性信息，通过仿真计算结果的辅助提示信息分析当前仿真计算的结果，快速定位到需要调整的节点；辅助提示信息的呈现方式均是以一个虚拟指示牌的形式在虚实混合空间中显示；通过单线图相关节点显示对当前单线图中的相关节点进行了解，确定调整单个节点的影响范围，同时进行单线图相关节点的联合调试，在调整某个节点的属性时，得到其相关节点的变换情况，从而更快得到可行的电网运行方式；点击虚拟操作平面上节点处的按钮，使用语音交互修改当前节点的属性值；获取PC端使用修改后的属性值，计算得到其他节点的属性值，在相关节点处更新属性值；进行节点查找时，语音说出节点的名称，对应节点的按键高亮，实现快速定位。
作为本发明交互方法的一种优选方案，所述感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联的其他信息或进行相关提示具体包括：
a)分析当前单线图中的节点信息，建立真实屏幕中每个节点的二维坐标与空间中节点的三维坐标的数学对应关系，在这些三维坐标处创建对应于每个节点的按键用于后续交互；
b)当通过增强现实设备查看真实电脑屏幕中电网调控场景数据时，实际上是与真实屏幕对应的虚拟操作平面的三维坐标点进行交互，增强现实设备检测注视的目标所在的位置，对应到虚拟操作平面上的三维坐标点，通过坐标变换矩阵对应到真实电脑屏幕中的像素位置，从而得到用户在观察的关键信息内容，获得相应的交互反馈；
c)记录用户注视点落在虚拟操作平面上的位置，基于对应关系，将其转化为二维坐标；从PC端获得该坐标处的辅助提示信息；当注视点落在节点处时，在增强现实设备视角下，使用一个虚拟指示牌增强显示在注视点旁边来增强显示节点的属性信息并且所有相关节点处的按键高亮；当注视点落在计算结果区域时，以同样的方式增强显示对该结果分析后的结论。
作为本发明交互方法的一种优选方案，所述感知用户是否在真实屏幕上注视关键信息所在区域通过检测用户的视线与虚拟操作平面的交点判断，是否注视关键信息所在区域也能够通过基于屏幕的眼动仪或者通过获取鼠标光标所在位置来检测。
作为本发明交互方法的一种优选方案，所述虚拟三维对象包括电网数字沙盘、电网单线图、虚拟窗体、电网设备模型或立体影像、建筑或地理区域的三维模型，悬浮在当前的操作场景中，用户能够与这些对象进行实时交互，包括平移、旋转、缩放；用户接触到这些虚拟三维对象，接触不同部分，能够显示该部分的描述信息。
第二方面，本发明实施例提供一种适用于电网调控的增强现实交互装置，包括：
实验设备模块：包括增强现实设备和PC；增强现实设备获取场景中虚拟物体的坐标、用户的头部位姿、双手位姿；采集眼动数据并分析得到注视射线；显示按键、备选电网单线图、辅助提示信息指示牌等虚拟物体；支持眼动交互、手势交互、语音交互；与PC端交互；PC端显示电网结构的单线图；分析单线图的内容，包括节点的属性、位置坐标；仿真计算并分析单线图的仿真计算结果；根据已有的节点信息和计算结果生成辅助提示信息；与增强现实设备通信；
系统虚拟物体组件库：虚拟操作平面用于和真实电脑屏幕重合，建立用户与真实屏幕之间的交互关系；虚实混合空间中放置一些虚拟屏幕作为电网单线图候选区为用户提供多个可选择的单线图，能够来回切换查看；点击单线图节点属性修改按钮能够通过语音输入修改节点的属性值，而且当注视节点或者语音查找节点时，该按键高亮；菜单按键面板用于控制虚拟操作平面的状态，浮动或固定，隐藏或显示；当虚拟操作平面为固定状态时，无法通过手势交互模块改变它的位姿；辅助提示信息指示牌用于显示增强现实设备获取的辅助提示信息，在不妨碍正常操作的前提下，提供辅助提示信息；
手势交互模块：平移、旋转、缩放虚拟操作平面，使虚拟操作平面与真实电脑屏幕重合；从电网单线图候选区中点击选择需要查看的单线图；点击菜单面板上的按键，控制虚拟操作平面的状态，浮动或固定，隐藏或显示；点击每个单线图节点处的按键，修改节点属性值进行辅助调试；
眼动追踪模块：采集眼动数据；获取眼睛注视点的三维坐标；获取眼睛注视按键的编号，也就是注视单线图节点的编号；
语音交互模块：修改点击节点处按键后呼出的属性值；语音查找单线图中的某个节点；
辅助提示信息生成模块：生成所观察节点的属性值，仿真计算的分析结果的辅助提示信息；基于某个节点，获取其所有相关节点的编号；根据节点的被修改属性，计算得到其他相关节点的属性的更新值；
辅助提示信息增强显示模块：从注视节点处引出一个虚拟指示牌，在上面增强显示辅助提示信息；注视节点的相关节点按键高亮；语音查找的节点按键高亮。
第三方面，本发明实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述适用于电网调控的增强现实交互方法中的步骤。
相较于现有技术，本发明至少具有以下有益效果：
本发明方法使电网系统规划设计人员与真实电脑中的电力系统分析计算软件可以进行自然交互。通过本发明可以使电网单线图便捷切换查看，进行操作台的多屏管理并且帮助用户切换查看整体单线图和局部单线图。节点辅助提示信息可以帮助用户快速了解所观察节点的属性信息，如有功功率、无功功率。只需要眼睛注视该节点，不需要使用鼠标进行频繁点击。仿真计算结果的辅助提示信息可以帮助用户分析当前的仿真计算的结果，快速定位到需要调整的节点。单线图相关节点显示帮助用户对当前单线图中的相关节点有一个了解，确定调整单个节点的影响范围。单线图相关节点联合调试帮助用户在调整某个节点的属性时，得到其相关节点的变换情况，从而更快得到可行的电网运行方式。利用增强现实设备，在用户使用电力系统分析计算软件的过程中提供辅助提示信息，帮助用户快速查找节点并进行相关节点显示和联合调试，且不需要改变原先用户使用电力系统分析计算软件的内容和习惯。
附图说明
图1本发明实施例适用于电网调控的增强现实交互装置结构框架图；
图2本发明实施例适用于电网调控的增强现实交互装置屏幕布置示意图；
图3本发明实施例适用于电网调控的增强现实交互方法操作流程图；
图4本发明实施例的屏幕切换功能演示图；
图5本发明实施例的电网节点辅助信息提示功能演示图；
图6本发明实施例的电网仿真计算结果分析功能演示图。
具体实施方式
下面结合附图对本发明做进一步的详细说明。
本发明适用于电网调控的增强现实交互方法面向现有的电力监控、分析或计算系统，在不改变操作人员操作内容的前提下，使用增强现实设备，在用户操作过程中提供虚实结合的辅助信息，通过在当前查看的实际信息附近显示虚拟窗口或信息提示实现节点查找，相关节点显示，节点属性联合调试等附加的功能来提高用户的效率，从而提升操作体验。
本发明在增强现实技术支持下，让互相关联的信息进行自动的近距离展示，让用户可以方便地调整所展示的页面，大幅减少用户查找相关信息所耗费的时间。使用增强现实设备在虚实混合空间中将一个不可见的虚拟操作平面与真实电脑操控台基本重合，实现用户和真实电脑操控台的实时交互。使用手势、眼动、语音等多种交互方式在用户电网状态监控，电网检修、离线方式安排的过程中提供辅助提示信息，帮助用户快速查找节点并且进行相关节点的显示和联合调试，从而提高用户的工作效率，减小工作负担。
如图1所示，本发明实施例适用于电网调控的增强现实交互装置，包括实验设备模块、系统虚拟物体组件库、手势交互模块、眼动追踪模块、语音交互模块、通信模块、辅助提示信息生成模块、辅助提示信息增强显示模块。
增强现实设备可采用头戴式增强现实眼镜，增强现实头盔(例如HoloLens)，混合现实(Mixed Reality)设备，只要能够让使用者同时看到所处的真实外部环境和叠加的虚拟现实环境的设备都可用于本发明具体案例的实现。
实验设备模块：包括增强现实设备和电脑操控台(PC)。增强显示设备模块获取场景中虚拟物体的坐标、用户的头部位姿、双手位姿；采集用户的眼动数据并分析得到注视射线；显示按键、备选电网单线图、辅助提示信息指示牌等虚拟物体；支持眼动交互、手势交互、语音交互；与PC端交互。PC端显示表示电网结构的单线图；分析单线图的内容，包括节点的属性、位置坐标；仿真计算并分析单线图的仿真计算结果；根据已有的节点信息和计算结果生成辅助提示信息；与增强现实设备通信。
系统虚拟物体组件库：虚拟操作平面用于和显示电脑屏幕重合，从而建立用户与真实屏幕之间的交互关系。电网单线图候选区为用户提供多个可选择的单线图，可以来回切换查看，非常方便。用户点击单线图节点属性修改按钮可以通过语音输入修改节点的属性值，而且当用户注视节点或者语音查找节点时，该按键高亮。菜单按键面板用于控制虚拟操作平面的状态，浮动或固定，隐藏或显示。当虚拟操作平面为固定状态时，无法通过手势交互模块改变它的位姿。辅助提示信息指示牌用于显示增强现实设备获取的辅助提示信息，在不妨碍用户正常操作的前提下，提供辅助提示信息。
手势交互模块：平移、旋转、缩放虚拟屏幕，使之尽可能与真实电脑屏幕重合；从电网单线图候选区中点击选择需要进一步查看的单线图；点击菜单面板上的按键，控制虚拟操作平面的状态，浮动或固定，隐藏或显示；点击每个单线图节点处的按键，修改节点属性值进行辅助调试。
眼动追踪模块：采集眼动数据；获取用户眼睛注视点的三维坐标；获取用户眼睛注视按键的编号，也就是用户注视单线图节点的编号。
语音交互模块：修改点击节点处按键后呼出的属性值；语音查找单线图中的某个节点。
通信模块：增强现实设备端向PC端传递用户眼睛注视屏幕的二维坐标，用户注视的节点编号，用户修改的节点编号和修改后的属性值；PC端向增强现实设备端传递用户注视点处的辅助提示信息，用户注视节点及其相关节点的编号，根据被修改属性计算完毕得到的所有相关节点改变后的属性值。
辅助提示信息生成模块：生成用户观察的节点属性值，仿真计算的分析结果的辅助提示信息；基于某个节点，通过电力系统分析计算软件获取其所有相关节点的编号；根据节点的被修改属性，使用电力系统分析计算软件计算得到其他相关节点的属性的更新值。
辅助提示信息增强显示模块：从用户的注视点处引出一个虚拟指示牌，在上面增强显示辅助提示信息；用户注视节点的相关节点按键高亮；用户语音查找的节点按键高亮。
各个模块的具体实现方式如下：
增强现实设备通过传感器获取用户的双手位姿并且计算双手与空间中虚拟物体的位置关系，从而触发平移、旋转、缩放、点击等操作；采集用户的眼动数据，分析得到一条表示用户双眼整体视线的射线，当这条射线与场景中的虚拟物体发生碰撞时，显示注视点，并且获取被碰撞虚拟物体的信息；开启增强现实设备的通信权限可以与PC通信，交换信息。
操作控制台电脑上运行着电力系统分析计算软件，可以基于当前的单线图，获得各个节点的属性和位置信息，进行仿真计算输出计算的结果，获得相关节点；使用其他程序实现单线图计算结果分析和节点属性信息提炼的功能；开启通信权限与增强现实设备交换信息。
手势交互模块包含多种手势：
1.单手展开从手心发射一条射线，射线和物体碰撞后，拇指和食指并拢选中该物体，使之跟随手部的平移和旋转做同样的动作；
2.双手展开从手心共发射两条射线，射线和物体碰撞后，双手拇指和食指并拢选中该物体，使之跟随手部的平移和旋转做同样的动作，并且通过双手之间距离的拉开和挨近来缩放物体；
3.单手触摸场景中的虚拟物体后，将手握成拳选中该物体，使之跟随手部的平移和旋转做同样的动作；
4.单手或者双手拉拽场景中虚拟物体的顶点进行缩放和旋转；
5.食指点击。
涉及的功能包括单手隔空或者触摸的方式移动，旋转物体；双手隔空移动、旋转、缩放物体；单手拉拽物体的顶点进行缩放，旋转；选择需要进一步查看得到电网单线图；点击菜单面板上的按键控制虚拟操作平面的状态；点击节点处按键进行节点属性的修改。
眼动追踪模块中，获取眼睛视线与虚拟物体的碰撞点的三维坐标作为注视点。建立虚拟操作平面上各点的三维坐标与屏幕中各个像素的二维坐标之间的数学对应关系，得到变换矩阵。
语音交互需要增强现实设备开启语音输入的权限，语音交互模块获取用户的语音指令，并触发改变虚拟物体属性的函数。本装置对应着节点按键的高亮和节点属性值的修改。
通信模块使用TCP/IP协议，将电脑端作为服务器端，增强现实设备端作为客户端，从而实现通讯。
辅助信息生成模块由PC端完成，根据接受到的用户注视点在屏幕上的二维坐标，分析该位置的信息。当该坐标处是节点，则返回节点的属性信息，以及相关节点的编号；当改坐标处是仿真计算结果，则返回仿真计算结果的分析结论。
辅助信息增强显示模块使用增强现实设备实现，在增强现实设备的视角下，在用户的注视点处以虚拟指示牌的形式显示该位置的辅助提示信息，不需要用户使用鼠标点击节点查看属性的冗余操作。
实施例1
本发明实施例适用于电网调控的增强现实交互装置一个实施过程如图2所示：
步骤①中，虚线框是虚拟屏幕，实线框是真实电脑屏幕。用户在增强现实设备呈现的虚实混合空间中，既可以看到真实电脑屏幕中的内容，也可以看到旁边虚拟屏幕中显示的与当前真实电脑显示内容相关的其他页面，用户可以便捷地在众多屏幕中进行切换查看。用户通过平移、旋转、缩放使虚拟操作平面与真实屏幕的整个显示区域完全重合，并且调整真实屏幕周围虚拟屏幕的位置。调整完毕，将虚拟操作平面设置为虚实混合空间中肉眼不可见，同时将虚拟操作平面的状态设置为可响应各种增强现实交互行为的主动响应状态。
步骤②中，虚拟操作平面上的坐标点与真实屏幕上像素点数学对应关系的建立。用于贴合真实屏幕的虚拟操作平面中各个空间坐标点和真实屏幕中的像素点通过一个变换矩阵实现数学对应，实现虚实映射的效果。
以下公开一种面向真实平面屏幕的建立整个虚拟操作面上的坐标点与真实屏幕上像素点的数学对应关系的实施方案。可以将虚拟操作面的四个顶点的三维坐标，映射为相对于屏幕的二维坐标，得到一个变换矩阵。最后，将得到的三维注视点通过该变换矩阵映射为虚拟操作平面上的二维相对坐标。具体的推导过程如下：
V2*4＝T2*3R3*4 (1)
T＝VRT(RRT)-1 (2)
v2*1＝T2*3r3*1 (3)
式中，V2*4表示由屏幕坐标系下4个顶点相对坐标组成的矩阵，R3*4表示空间世界坐标系下虚拟操作平面4个顶点的三维坐标组成的矩阵，T2*3表示变换矩阵，可以由(2)式求得。r3*1表示世界坐标系下用户注视点的三维坐标的向量表示，v2*1表示屏幕坐标系下用户注视点的相对二维坐标的向量表示。最终可以通过求得的变换矩阵和结果取整操作，将该用户注视点的三维坐标映射为屏幕坐标系下的二维坐标，并研究对应坐标处的内容。
可以使用该变换加上结果取整操作将虚拟平面上的三维坐标点转换成二维的屏幕坐标，从该位置获取辅助提示信息。同样，也可以通过该变换的反变换将由PC端分析得到的各个节点在屏幕中的二维坐标转换成在空间中的三维坐标确定空间中节点的位置，为它们创建按钮。
当计算虚拟操作曲面上的坐标点与曲面屏幕上像素点的对应关系时，可以参照虚拟操作平面的处理方式，建立虚拟操作曲面和屏幕曲面精确的数学模型，并通过数学计算的方法准确给出两者之间坐标点和像素点的对应关系。实际上不管是对于虚拟操作平面或是曲面，都可以通过在真实屏幕上的几个关键点位置显示定标点，再用虚拟射线指向定标点，虚拟射线和虚拟操作平面或曲面之间的交点坐标，就是对应关键点在虚拟操作面上的投影。其他坐标点和像素点的对应关系，可以通过相邻关键点的对应关系按比例求得，比例系数由这些点之间的相对位置决定。进行标注的定标点数目越多，最后建立的虚拟操作面上的坐标点与真实屏幕上像素点的对应关系越准确。
屏幕显示内容的解析：可以使用图像分割匹配算法，目标检测算法，视频内容理解的方法，对当前屏幕上的包括窗体、按钮、文本、图像等界面元素进行解析标注，提取当前屏幕上显示的关键信息和各种可操作控件，包括关键信息和控件的类型、内容及显示位置。关键信息与具体的任务相关，如电网单线图的节点，电气元件的参数等；对于关键信息“图片”的内容为图片在屏幕上的位置，大小，图片的内容等；屏幕上的控件包括窗体、菜单、应用图标、窗体上的按钮、文本框等，其内容为控件的名称、显示内容、触发方式及触发后会产生的系统响应等；
屏幕显示内容的解析也可以通过操作层面的界面窗体结构分析来实现，根据当前窗体对应应用的进程编号，在windows操作系统中，可以获得对应进程的窗体句柄对象，并从该对象中获取该应用窗体上各个元件对象的名称、位置、大小、显示内容等信息。
步骤③④中，增强现实设备通过检测用户的视线与虚拟操作平面的交点的位置坐标，利用虚实映射中的变换矩阵，获得对应的真实电脑屏幕像素位置的交互反馈。
用户用手或虚拟操作手柄触碰真实屏幕控件，用虚拟手柄上的虚拟射线或增强现实设备的虚拟指向光线指向真实屏幕，或用眼睛查看真实屏幕上显示的内容时，增强现实设备检测到交互方式与虚拟操作面的交点，根据交点的位置换算出对应真实屏幕上显示区域的位置，有解析到的屏幕内容，触发相应的交互响应。
具体的适用于电网调控的增强现实交互响应方式，包括：
1.电力系统分析计算软件交互：使用增强现实设备建立用户和真实电脑操控台屏幕的交互关系，从而用户可以与当前屏幕显示的电力系统分析计算软件的内容进行实时交互。
2.电网单线图便捷切换查看：用户可以从整体的电网单线图中找到自己感兴趣的区域放大查看，查看完毕后切换回整体单线图并选择其他区域的单线图。
3.节点辅助提示信息显示：用户注视当前单线图中的某个节点，该节点的辅助提示信息以一个虚拟指示牌的形式显示在注视点处。
4.仿真计算结果信息显示：用户注视电力系统仿真计算软件的结果区域时，该结果分析后的结论以一个虚拟指示牌的形式显示在注视点处。
5.单线图相关节点显示：用户注视当前单线图中的某个节点，所有与该节点相关的其他节点处的按键同时高亮。
6.单线图相关节点联合调试：用户在空间中使用手势交互模块点击某个节点处的按键，使用语音交互模块输入修改后的节点属性值，经过PC端电力系统分析计算软件的计算，更新所有相关节点的属性值。
7.节点快速查找：用户通过语音交互模块说出节点的名称，对应节点的按键高亮，帮助用户快速定位。
用户还可以在增强现实设备呈现的虚实混合空间中与虚拟三维对象交互，所述虚拟三维对象包括电网数字沙盘、电网单线图、虚拟窗体、电网设备模型或立体影像、建筑或地理区域的三维模型，悬浮在当前的操作场景中，用户能够与这些对象进行实时交互，包括平移、旋转、缩放；用户接触到这些虚拟三维对象，接触不同部分，能够显示该部分的描述信息。
实施例2
本发明实施例适用于电网调控的增强现实交互方法操作流程如图3，包括以下步骤：
1.系统准备阶段
步骤S1，编写电网辅助交互系统应用，并烧录到增强现实设备中，命名为PowerGridAuxiliary，开启该应用的眼动追踪权限。
步骤S2，用户佩戴增强现实设备，打开其中的PowerGridAuxiliary应用，可以看到一个右边附带着电网单线图候选区的黑色虚拟操作平面附着在一个名为“电网辅助交互系统”的蓝色幕布上。
步骤S3，如图2步骤②所示，用户使用手势交互模块，平移、旋转、缩放黑色虚拟操作平面，使之与真实电脑操控台屏幕尽可能重合。期间，电网单线图候选区做同样的变换，仍然在黑色屏幕的右边。点击菜单面板中的“stick”键和“conceal”键，将黑色虚拟操作平面设置为固定且不可见。
步骤S4，如图2步骤①所示，根据用户自身的习惯，查看已有的一些备选单线图，可以先看电网整体的单线图，再查看感兴趣的局部电网单线图，对想要了解的区域进行更细致地查看。点击想要查看的单线图，使用通信模块将选择的结果传递给PC端。
步骤S5，PC端获取通信模块传递的被选页面，显示在屏幕上。
步骤S6，PC端分析当前显示的单线图，得到各个节点在屏幕中对应的二维坐标，并对节点编号。
步骤S7，通信模块将所有节点的二维坐标，属性和编号传递给增强现实设备端。
步骤S8，增强现实设备根据所给的节点位置，将所有节点的二维坐标转换成当前空间的三维坐标。在增强现实设备空间的这些三维坐标处生成透明按键大致覆盖对应的节点。按键以对应的编号命名。
2.电网单线图辅助提示信息获取
步骤S9.1，如图2步骤③所示用户在电脑上查看单线图的过程中，增强现实设备采集用户的眼动数据，分析得到用户观察虚拟操作平面的注视点，并将该三维注视点转换成二维的屏幕坐标，也就是用户查看的内容在真实电脑屏幕上的二维坐标。
步骤S9.2，将该二维坐标通过通信模块传递给PC端。
步骤S9.3，PC端从通信模块获取用户查看内容在屏幕上的二维坐标，如果该位置是单线图上的节点，返回该节点的属性信息；如果该位置是单线图的仿真计算结果，返回该结果的分析结论。
步骤S9.4，通信模块将上述两种情况得到的结果都作为辅助提示信息返回给增强现实设备端。
步骤S9.5，如图2步骤④所示，增强现实设备得到用户查看区域的辅助提示信息，从用户的注视点处引出一个虚拟指示牌，在指示牌上增强显示辅助提示信息。
步骤S9.6，循环步骤S4-S8，S9.1-S9.5，用户可以切换查看不同的单线图，并在查看的过程中获得辅助提示信息，对各个单线图有更细致地了解。
3.电网单线图相关节点显示
步骤S10.1，用户查看电网单线图中的某个节点时，眼动追踪模块获取用户查看的节点对应的按键编号。
步骤S10.2，通信模块将该编号传递给PC端。
步骤S10.3，PC端根据该编号确定用户所查看的节点。通过对该单线图的分析，得到该节点的所有相关节点，返回该节点以及所有相关节点的编号。
步骤S10.4，通信模块将节点的编号传递给增强现实设备端。
步骤S10.5，增强现实设备视角下，对应编号的按键高亮。
步骤S10.6，循环步骤S4-S8，S10.1-S10.5，用户可以切换查看不同单线图，并在查看某个节点时，获得其所有相关节点。
4.电网单线图相关节点联合调试
步骤S11.1，点击屏幕中某个节点处的按键，弹出该节点的有功功率，无功功率等属性信息，使用语音交互模块语音输入修改后的属性值。
步骤S11.2，通信模块将节点编号和修改后的属性值传递给PC端。
步骤S11.3，PC端同步修改对应节点的属性，计算完毕后，返回所有相关节点的编号和相应属性值的变化结果。
步骤S11.4，通信模块将节点编号和属性值的变化结果返回给增强现实设备端
步骤S11.5，增强现实设备对相关节点的按键中的属性值进行更新。
步骤S11.6，循环步骤S4-S8，S11.1-S11.5，用户可以修改电网单线图中的节点属性值，并且查看其他相关节点的对应属性变化，进行联合调试。
5.节点快速查找
步骤S12.1，用户使用语音交互模块语音输入对应的节点名称，包括母线名称，变压器名称等等，对应节点的按键高亮。
步骤S12.2，循环步骤S4-S8，S12.1，用户查看不同的单线图，并且快速定位想要查看的节点。
本发明使用增强现实设备建立用户与电脑操作台之间的交互关系，在用户使用电力系统仿真计算软件的过程中显示用户注视节点的属性信息和该节点的相关节点，对当前单线图的仿真计算结果进行分析后将分析结果进行增强显示，语音输入改变节点的属性值进行相关节点的联合调试，并且可以语音查找节点。这些功能提高了用户的工作效率，减轻了工作负担。
本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现本发明所述适用于电网调控的增强现实交互方法中的步骤。
示例性的，所述的计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在计算机可读存储介质中，并由所述处理器执行，以完成本申请所述自监督单目相机深度估计方法中的步骤。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在服务器中的执行过程。
所述服务器可以是智能手机、笔记本、掌上电脑及云端服务器等计算设备。所述服务器可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述服务器还可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(CentraL Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitaL SignaL Processor，DSP)、专用集成电路(AppLication Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieLd-ProgrammabLe Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述服务器的内部存储单元，例如服务器的硬盘或内存。所述存储器也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure DigitaL,SD)卡，闪存卡(FLash Card)等。进一步地，所述存储器还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机可读指令以及所述服务器所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种适用于电网调控的增强现实交互方法，其特征在于，包括以下步骤：
使用增强现实设备，在虚实混合空间中为电网操控台上需要交互的每个屏幕设置一个不可见的虚拟操作平面与之重合，同时将虚拟操作平面的状态设置为可响应各种增强现实交互行为的主动响应状态，并且在每个真实屏幕周围设置多个虚拟屏幕作为辅助显示设备，用于就近显示与当前内容相关的其他屏幕显示内容，通过坐标映射建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系；
针对特定的电网调控场景，罗列并定义该场景中可能涉及的关键信息，以及这些关键信息的存储位置、显示或呈现方式，还有这些关键信息之间的关联关系；
对调控屏幕上当前显示的内容进行界面元素提取、图像分割识别，获取软件后台信息，得到正在屏幕上显示的关键信息，以及这些关键信息内容、显示位置及区域，并建立这些关键信息的显示区域与虚拟操作平面上区域之间的映射关系；
当电网调控系统用户查看真实屏幕显示内容时，感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联的其他信息或进行相关提示；
与当前被注视的关键信息相关的内容分别显示在真实屏幕周围的虚拟屏幕上，或以虚拟三维对象的方式显示在周围；用户根据需要将指定虚拟屏幕上的内容与真实屏幕显示的内容进行调换，或与虚拟三维对象进行交互。
2.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于，所述通过坐标映射建立虚拟操作平面上的坐标点和真实电脑屏幕中的像素点的数学对应关系具体包括：
a)在增强现实设备的虚实混合空间中，将虚拟操作平面设置为与真实电脑屏幕的矩形显示区的形状完全相同，并移动旋转虚拟操作平面使其四个顶点与真实电脑屏幕的矩形显示区的四个顶点重合；
b)获取当前虚实混合空间中虚拟操作平面四个顶点的空间三维坐标；
c)将真实电脑屏幕的矩形显示区和虚拟操作平面重合，根据真实电脑屏幕的分辨率和虚拟操作平面四个顶点在虚实混合空间中的三维坐标，求解得到一个虚拟操作平面三维空间坐标点向真实电脑屏幕二维像素坐标变换的坐标变换矩阵；
d)借助坐标变换矩阵加上取整操作，为虚拟操作平面上的任意三维空间坐标点计算得到唯一与之对应的真实电脑屏幕像素点，从而建立虚拟操作平面上的坐标点和真实屏幕中的像素点的数学对应关系。
3.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于：所述的电网调控场景包括潮流计算、热稳校核以及电网运行方式计算。
4.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于：所述的关键信息包括电网调控场景中各个电网单线图、电网单线图中各个节点的位置和电气参数、电力系统仿真计算软件的仿真计算结果。
5.根据权利要求1或4所述适用于电网调控的增强现实交互方法，其特征在于：所述的关键信息存储在真实电脑PC端，通过节点辅助信息快速了解所观察节点的属性信息，通过仿真计算结果的辅助提示信息分析当前仿真计算的结果，快速定位到需要调整的节点；辅助提示信息的呈现方式均是以一个虚拟指示牌的形式在虚实混合空间中显示；通过单线图相关节点显示对当前单线图中的相关节点进行了解，确定调整单个节点的影响范围，同时进行单线图相关节点的联合调试，在调整某个节点的属性时，得到其相关节点的变换情况，从而更快得到可行的电网运行方式；点击虚拟操作平面上节点处的按钮，使用语音交互修改当前节点的属性值；获取PC端使用修改后的属性值，计算得到其他节点的属性值，在相关节点处更新属性值；进行节点查找时，语音说出节点的名称，对应节点的按键高亮，实现快速定位。
6.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于，所述感知用户是否在真实屏幕上注视关键信息所在区域，并根据事先设定，用增强现实方式显示关联的其他信息或进行相关提示具体包括：
a)分析当前单线图中的节点信息，建立真实屏幕中每个节点的二维坐标与空间中节点的三维坐标的数学对应关系，在这些三维坐标处创建对应于每个节点的按键用于后续交互；
b)当通过增强现实设备查看真实电脑屏幕中电网调控场景数据时，实际上是与真实屏幕对应的虚拟操作平面的三维坐标点进行交互，增强现实设备检测注视的目标所在的位置，对应到虚拟操作平面上的三维坐标点，通过坐标变换矩阵对应到真实电脑屏幕中的像素位置，从而得到用户在观察的关键信息内容，获得相应的交互反馈；
c)记录用户注视点落在虚拟操作平面上的位置，基于对应关系，将其转化为二维坐标；从PC端获得该坐标处的辅助提示信息；当注视点落在节点处时，在增强现实设备视角下，使用一个虚拟指示牌增强显示在注视点旁边来增强显示节点的属性信息并且所有相关节点处的按键高亮；当注视点落在计算结果区域时，以同样的方式增强显示对该结果分析后的结论。
7.根据权利要求1或6所述适用于电网调控的增强现实交互方法，其特征在于，所述感知用户是否在真实屏幕上注视关键信息所在区域通过检测用户的视线与虚拟操作平面的交点判断，是否注视关键信息所在区域也能够通过基于屏幕的眼动仪或者通过获取鼠标光标所在位置来检测。
8.根据权利要求1所述适用于电网调控的增强现实交互方法，其特征在于，所述虚拟三维对象包括电网数字沙盘、电网单线图、虚拟窗体、电网设备模型或立体影像、建筑或地理区域的三维模型，悬浮在当前的操作场景中，用户能够与这些对象进行实时交互，包括平移、旋转、缩放；用户接触到这些虚拟三维对象，接触不同部分，能够显示该部分的描述信息。
9.一种适用于电网调控的增强现实交互装置，其特征在于，包括：
实验设备模块：包括增强现实设备和PC；增强现实设备获取场景中虚拟物体的坐标、用户的头部位姿、双手位姿；采集眼动数据并分析得到注视射线；显示按键、备选电网单线图、辅助提示信息指示牌等虚拟物体；支持眼动交互、手势交互、语音交互；与PC端交互；PC端显示电网结构的单线图；分析单线图的内容，包括节点的属性、位置坐标；仿真计算并分析单线图的仿真计算结果；根据已有的节点信息和计算结果生成辅助提示信息；与增强现实设备通信；
系统虚拟物体组件库：虚拟操作平面用于和真实电脑屏幕重合，建立用户与真实屏幕之间的交互关系；虚实混合空间中放置一些虚拟屏幕作为电网单线图候选区为用户提供多个可选择的单线图，能够来回切换查看；点击单线图节点属性修改按钮能够通过语音输入修改节点的属性值，而且当注视节点或者语音查找节点时，该按键高亮；菜单按键面板用于控制虚拟操作平面的状态，浮动或固定，隐藏或显示；当虚拟操作平面为固定状态时，无法通过手势交互模块改变它的位姿；辅助提示信息指示牌用于显示增强现实设备获取的辅助提示信息，在不妨碍正常操作的前提下，提供辅助提示信息；
手势交互模块：平移、旋转、缩放虚拟操作平面，使虚拟操作平面与真实电脑屏幕重合；从电网单线图候选区中点击选择需要查看的单线图；点击菜单面板上的按键，控制虚拟操作平面的状态，浮动或固定，隐藏或显示；点击每个单线图节点处的按键，修改节点属性值进行辅助调试；
眼动追踪模块：采集眼动数据；获取眼睛注视点的三维坐标；获取眼睛注视按键的编号，也就是注视单线图节点的编号；
语音交互模块：修改点击节点处按键后呼出的属性值；语音查找单线图中的某个节点；
辅助提示信息生成模块：生成所观察节点的属性值，仿真计算的分析结果的辅助提示信息；基于某个节点，获取其所有相关节点的编号；根据节点的被修改属性，计算得到其他相关节点的属性的更新值；
辅助提示信息增强显示模块：从注视节点处引出一个虚拟指示牌，在上面增强显示辅助提示信息；注视节点的相关节点按键高亮；语音查找的节点按键高亮。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述适用于电网调控的增强现实交互方法中的步骤。
CN202111165167.XA 2021-09-30 2021-09-30 适用于电网调控的增强现实交互方法、装置及存储介质 Active CN113849112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111165167.XA CN113849112B (zh) 2021-09-30 2021-09-30 适用于电网调控的增强现实交互方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111165167.XA CN113849112B (zh) 2021-09-30 2021-09-30 适用于电网调控的增强现实交互方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113849112A true CN113849112A (zh) 2021-12-28
CN113849112B CN113849112B (zh) 2024-04-16

Family

ID=78977453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111165167.XA Active CN113849112B (zh) 2021-09-30 2021-09-30 适用于电网调控的增强现实交互方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113849112B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453456A (zh) * 2023-06-14 2023-07-18 北京七维视觉传媒科技有限公司 Led屏幕校准方法、装置、电子设备及存储介质
CN117218320A (zh) * 2023-11-08 2023-12-12 济南大学 基于混合现实的空间标注方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20030640A1 (it) * 2003-08-19 2005-02-20 Luigi Giubbolini Apparato d'interfaccia uomo- macchina mediante
CN107680165A (zh) * 2017-09-25 2018-02-09 中国电子科技集团公司第二十八研究所 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN111949111A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN113282171A (zh) * 2021-05-14 2021-08-20 中国海洋大学 一种甲骨文增强现实内容交互系统、方法、设备及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20030640A1 (it) * 2003-08-19 2005-02-20 Luigi Giubbolini Apparato d'interfaccia uomo- macchina mediante
CN107680165A (zh) * 2017-09-25 2018-02-09 中国电子科技集团公司第二十八研究所 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN111949111A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN113282171A (zh) * 2021-05-14 2021-08-20 中国海洋大学 一种甲骨文增强现实内容交互系统、方法、设备及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄有群;王璐;常燕;: "面向设计任务的增强现实交互技术", 沈阳工业大学学报, no. 02, 30 April 2008 (2008-04-30) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453456A (zh) * 2023-06-14 2023-07-18 北京七维视觉传媒科技有限公司 Led屏幕校准方法、装置、电子设备及存储介质
CN116453456B (zh) * 2023-06-14 2023-08-18 北京七维视觉传媒科技有限公司 Led屏幕校准方法、装置、电子设备及存储介质
CN117218320A (zh) * 2023-11-08 2023-12-12 济南大学 基于混合现实的空间标注方法
CN117218320B (zh) * 2023-11-08 2024-02-27 济南大学 基于混合现实的空间标注方法

Also Published As

Publication number Publication date
CN113849112B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
Beardsley et al. Interaction using a handheld projector
CN108762482B (zh) 一种大屏幕和增强现实眼镜间数据交互方法和系统
US20120124509A1 (en) Information processor, processing method and program
US20130154913A1 (en) Systems and methods for a gaze and gesture interface
US10839572B2 (en) Contextual virtual reality interaction
CN113849112B (zh) 适用于电网调控的增强现实交互方法、装置及存储介质
WO1999040562A1 (en) Video camera computer touch screen system
JP2012068854A (ja) 操作入力装置および操作判定方法並びにプログラム
JPH10134069A (ja) 情報検索装置
Shim et al. Gesture-based interactive augmented reality content authoring system using HMD
CN113961107B (zh) 面向屏幕的增强现实交互方法、装置及存储介质
CN105912101B (zh) 一种投影控制方法和电子设备
JP3608940B2 (ja) 映像探索表示方法及び映像探索表示装置
CN114445525A (zh) 虚拟对象的显示方法、装置及电子设备
CN111708504A (zh) 一种扩展屏幕的显示方法
JP2012048656A (ja) 画像処理装置、画像処理方法
CN109643182B (zh) 信息处理方法、装置、云处理设备及计算机程序产品
CN115328304A (zh) 一种2d-3d融合的虚拟现实交互方法及设备
JP7287172B2 (ja) 表示制御装置、表示制御方法、及びプログラム
CN113961069A (zh) 适用于实物的增强现实交互方法、装置及存储介质
JP2003067048A (ja) 情報処理装置
CN110941389A (zh) 一种焦点触发ar信息点的方法及装置
Piszczek et al. Tools virtualization for command and control systems
Lehikoinen et al. 1D selection of 2D objects in head-worn displays
CN212256285U (zh) 一种扩展屏幕显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant