CN110799916A - 用于促进在多个操作员工作站屏幕当中的用户导航的方法和系统 - Google Patents

用于促进在多个操作员工作站屏幕当中的用户导航的方法和系统 Download PDF

Info

Publication number
CN110799916A
CN110799916A CN201880042957.9A CN201880042957A CN110799916A CN 110799916 A CN110799916 A CN 110799916A CN 201880042957 A CN201880042957 A CN 201880042957A CN 110799916 A CN110799916 A CN 110799916A
Authority
CN
China
Prior art keywords
condition
interest
wearable
operator workstation
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880042957.9A
Other languages
English (en)
Other versions
CN110799916B (zh
Inventor
G·佐里奇
V·多莫瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN110799916A publication Critical patent/CN110799916A/zh
Application granted granted Critical
Publication of CN110799916B publication Critical patent/CN110799916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及促进在控制和监测系统的多个操作员工作站屏幕当中的用户导航的方法,其中该方法由控制和监测系统执行,并且包括:确定(b)感兴趣条件;确定(c)工作站屏幕标识符,该工作站屏幕标识符标识将感兴趣条件显示为感兴趣条件图形(25)的操作员工作站屏幕;以及将工作站屏幕标识符传输(e)至第一可穿戴增强现实AR设备,从而启动显示将感兴趣条件图形进行显示的操作员工作站屏幕的位置的指示。

Description

用于促进在多个操作员工作站屏幕当中的用户导航的方法和 系统
技术领域
本公开涉及一种用于促进在控制和监测系统的多个操作员工作站屏幕当中的导航的方法和系统。
背景技术
在工厂的控制室中,典型的操作员工作站可以包括许多不同尺寸和用途的操作员工作站屏幕。例如,包括
Figure BDA0002337938990000011
800xA系统的工作站可以包括九个不同尺寸的操作员工作站屏幕。对于操作员而言,可能困难的是以高效的方式在所有屏幕中有效地导航。
存在由于具有多个操作员工作站屏幕而引起的若干使用性问题。例如,操作员可能经常地发现在屏幕上定位鼠标指针是困难的。另一个问题在于,在多个屏幕上被示出的过程图形中进行取向是困难的。例如,当警报出现时,操作员应当看哪个屏幕以找到关于警报和警报对象的信息可能是不清晰的。
相似的,在教育过程中,处于训练中的操作员在学习操作员工作空间系统时可能经历困难。操作员需要在模拟机上训练,并且需要来自留在他们身边的有经验操作员的帮助,以帮助他们熟悉系统。
发明内容
鉴于上文,本公开的一个目的是提供一种用于解决或至少减轻上文所述问题的方法和系统。
因此,根据本公开的第一方面,提供了一种促进在控制和监测系统的多个操作员工作站屏幕当中的用户导航的方法,其中该方法由控制和监测系统执行,并且包括:
确定感兴趣条件;确定工作站屏幕标识符,该工作站屏幕标识符标识将感兴趣条件显示为感兴趣条件图形的操作员工作站屏幕;以及将工作站屏幕标识符传输至第一可穿戴增强现实AR设备,从而启动显示将感兴趣条件图形进行显示的操作员工作站屏幕的位置的指示。
工作站屏幕标识符被发送至第一可穿戴AR设备。因此,第一可穿戴AR设备可以借助于AR来向穿戴了第一可穿戴AR设备的操作员指示感兴趣条件图形被定位在哪个操作员工作站屏幕上。因此,操作员可以迅速地意识到感兴趣条件、以及感兴趣条件图形正在其上被显示的操作员工作站屏幕。这允许操作员在必要时快速地导航至感兴趣条件图形,并且处理底层的感兴趣条件。此外,这有助于处于训练中的操作员来熟悉例如由多个操作员工作站屏幕共同显示的过程图形的布局。
另外,因为第一可穿戴AR设备利用AR来向用户指示感兴趣条件图形的位置,所以指示将会保持个人化。为此,在控制室中除了穿戴第一可穿戴AR设备的操作员之外的人员将不会被视觉指示打扰。以此方式,多个操作员可以潜在地共享大量的操作员工作站屏幕,每个操作员穿戴相应的可穿戴AR设备,并且被呈现仅对于该单独的操作员而言重要的单独的AR指示。因此,可以提供不打扰其他操作员的量身定制的数据呈现。这可以使大型工业过程的监测和控制更加有效,并且可以顺利地提供任何缓解动作。
一个实施例包括:确定在显示感兴趣条件图形的操作员工作站屏幕上的感兴趣条件图形位置,其中在步骤c)中的传输还包括传输该感兴趣条件图形位置。
一个实施例包括:接收来自第一可穿戴AR设备的对象位置请求,对象位置请求与在操作员工作站屏幕当中的对象位置相关,其中感兴趣条件的确定基于对象位置请求,并且感兴趣条件图形标记对象位置。
在这种情况下,感兴趣条件与对象位置请求相关联,并且作为接收到的对象位置请求的结果而产生。
一个实施例包括:确定在操作员工作站屏幕上的对象位置,其中传输包括传输对象位置。
根据一个实施例,对象是鼠标指针或警报对象。关于此,用户可能希望例如在多个操作员工作站屏幕当中定位鼠标指针,并且因此指令第一可穿戴AR设备去寻找因此,第一可穿戴AR设备发送对象位置请求至控制和监测系统,作为结果,这确定了感兴趣条件已经发生。因此在这种情况下,感兴趣条件通过用户并且尤其是通过由控制和监测系统接收的对象位置请求而被创建。
根据一个实施例,多个操作员工作站屏幕的第一子集形成第一监测区,第一监测区被配置为显示工业过程的第一区段(section);并且多个操作员工作站屏幕的第二子集形成第二监测区,第二监测区被配置为显示工业过程的第二区段;其中感兴趣条件图形被显示在第一监测区的操作员工作站屏幕上,并且第一可穿戴AR设备与第一监测区相关联;其中传输还包括:将工作站屏幕标识符传输到与第二监测区相关联的第二可穿戴AR设备。
在控制室中,例如可以存在多个操作员工作站或岛,每个操作员工作站或岛由多个操作员工作站屏幕占据。例如,每个操作员工作站可以被专用于工业过程的某个部分或区段。每个操作员工作站或岛可以在相应的操作员的责任下。每个操作员工作站是相同的控制和监测系统的部分。因此,所有的操作员工作站的操作员工作站屏幕从该相同的控制和监测系统接收其数据。因为操作员工作站被用于监测和控制共同的主工业过程,所以第一区段和第二区段可以彼此影响。例如,在第一区段中的故障/警报或趋势可以传播到第二区段。
形成第一监测区的操作员工作站屏幕的第一子集可以是第一操作员工作站或岛的操作员工作站屏幕。形成第二监测区的操作员工作站屏幕的第二子集可以是第二操作员工作站或岛的操作员工作站屏幕。
由于到第二可穿戴AR设备的、涉及与第一区段相关的感兴趣条件图形的交叉通信,所以负责第二操作员工作站的操作员可以在早期意识到即将来临的潜在问题。这可以允许第二操作员工作站的操作员在问题潜在地传播至工业过程的第二区段之前采取预备动作。
根据一个实施例,感兴趣条件的确定包括确定过程变量值在预定阈值之上,其中感兴趣条件通过显示感兴趣条件图形而在操作员工作站屏幕上被指示。
因此,可以例如基于过程变量值与相应的预定阈值的比较来确定作为感兴趣条件图形的基础的感兴趣条件。超过对应的预定阈值的过程变量值可以是趋势、警报情形或另一异常事件的指示,该指示应当通过显示感兴趣条件图形来使操作员意识到。
一个实施例包括:基于感兴趣条件来确定要由第一可穿戴AR设备显示的指示的类型,其中传输包括将确定的要被显示的指示的类型传输至第一可穿戴AR设备。
控制和监测系统可以因此取决于确定的感兴趣条件的类型来确定如何通过第一可穿戴AR设备来显示指示。例如,控制和监测系统可以包括具有多个不同的感兴趣条件的数据库,每个感兴趣条件与某种类型的指示相关联。根据该数据库,控制和监测系统可以被配置为选择适合类型的指示,并且将该适合类型的指示与工作站屏幕标识符一起传输至第一可穿戴AR设备。以此方式,第一可穿戴AR设备将知晓在AR屏幕上显示何种图标、对象和/或文本。
作为上面的备选方案,指示的类型可以由用户来预先选择,例如使用第一可穿戴AR设备或借助于控制和监测系统。作为又一备选方案,当对象位置请求由第一可穿戴AR设备传输时,指示的类型可以由第一可穿戴AR设备基于用户请求位置的对象的类型而被确定。
在一个变型中,如果感兴趣条件基于过程变量值超过预定阈值而被获取,则控制和监测系统也可以传输感兴趣条件。在该变型中,第一可穿戴AR设备可以能够确定在AR屏幕上显示何种类型的指示。
根据本公开的第二方面,提供了一种包括计算机代码的计算机程序,当该计算机代码由控制和监测系统的处理电路系统执行时,使得控制和监测系统执行根据第一方面的方法的步骤。
根据本公开的第三方面,提供了一种包括储存介质的计算机程序产品,该储存介质具有存储在其上的根据第二方面的计算机程序。
根据本公开的第四方面,提供了一种控制和监测系统,包括:多个操作员工作站屏幕;储存介质,包括计算机代码;以及处理电路系统,当该处理电路系统执行计算机代码时,使得控制和监测系统执行根据第一方面的方法的步骤。
根据本公开的第五方面,提供了一种增强现实AR系统,包括:根据第四方面的控制和监测系统;以及第一可穿戴AR设备,包括AR屏幕,第一可穿戴AR设备被配置为与控制和监测系统无线地通信。
根据一个实施例,第一可穿戴AR设备被配置为将对象位置请求传输至控制和监测系统。
根据一个实施例,每个操作员工作站屏幕设置有标识操作员工作站屏幕的屏幕标识元件,其中第一可穿戴AR设备被配置为:基于从控制和监测系统接收的工作站屏幕标识符以及对应的屏幕标识元件,标识显示感兴趣条件图形的操作员工作站屏幕,并且其中第一可穿戴AR设备被配置为:基于屏幕标识元件,在AR屏幕上指示显示感兴趣条件图形的操作员工作站屏幕的位置,以使用户意识到感兴趣条件图形。
例如,屏幕标识元件可以是视觉标记。视觉标记的示例是快速响应(QR)-码。每个屏幕标识元件可以被布置在操作员工作站屏幕的角落上。例如,操作员工作站屏幕的每个角落可以设置有屏幕标识元件。因此,在第一可穿戴AR设备的坐标系统中的操作员工作站屏幕的尺寸以及其位置可以由读取QR-码来确定。备选地,单个屏幕标识元件可以包含尺寸信息以及在四个角落当中的该角落位置,在该情况下,针对每个操作员工作站屏幕可以只设置一个屏幕标识元件。
代替QR-码,屏幕标识元件可以例如是红外(IR)发射器。在这种情况下,由IR发射器发送的IR信号可以包含对应的信息作为QR-码,诸如屏幕标识元件位置和/或对应的操作员工作站屏幕的尺寸。其他近场通信技术可以备选地被使用(例如蓝牙)。
根据一个实施例,第一可穿戴AR设备包括凝视检测器,凝视检测器被配置为确定第一可穿戴AR设备的用户的凝视方向,其中第一可穿戴AR设备被配置为:进一步基于凝视方向,在AR屏幕上指示显示感兴趣条件图形的操作员工作站屏幕的位置。
根据一个实施例,第一可穿戴AR设备被配置为在AR屏幕上显示操作员工作站屏幕的指示,该指示与用户的中或远周边场相对应。因此,指示将不会被显示在中央或近周边场中,并且将因此不会遮挡用户可能当前正在关注的任何对象。
指示可以例如闪烁或移动,特别是在指示被显示在中或远周边场中的情况下。这可以确保用户注意到该指示。
指示可以例如包括箭头,该箭头指向感兴趣的操作员工作站屏幕,或指在感兴趣的操作员工作站屏幕上,感兴趣的操作员工作站屏幕即为显示感兴趣条件图形和/或显示诸如鼠标指针的其他对象的一个操作员工作站屏幕。
根据一个实施例,第一可穿戴AR设备被配置为:除了关于感兴趣条件图形或其他对象的位置的指示之外,还显示图标或文本。例如,该图标或文本可以提供关于感兴趣条件图形的信息。因此,例如,指示可以是箭头,并且图标或文本可以提供与箭头所指向的感兴趣条件图形相关的信息。因此,用户可以能够基于优先性来确定是继续当前工作、还是将关注转移到感兴趣条件图形。
根据第六方面,提供了第一可穿戴增强现实AR可穿戴物(wearable)在根据第五方面的AR系统中的用途。
通常,在权利要求中所使用的所有术语将根据它们在技术领域中的普通含义来解释,除非本文中另有明确地定义。对“一/一个/该元件、装置、组件、部件等”的所有引用将被开放式地解释为表示元件、装置、组件、部件等的至少一个实例,除非另外明确相反说明。另外,方法中的任何步骤不必完全地以所呈现的顺序来进行,除非另外明确相反说明。
附图说明
现在将参考附图、通过示例的方式来描述本发明构思的特定实施例,在附图中:
图1示意性地示出了包括操作员工作站的透视图的控制和监测系统;
图2示意性地示出了可穿戴AR设备;
图3示意性地示出了包括在图1中的控制和监测系统以及在图2中的可穿戴AR设备的AR系统的示例;
图4a至图4c是促进在多个操作员工作站屏幕当中的导航的方法的流程图;
图5a和图5b示出了通过可穿戴AR设备的AR屏幕的视图的示例;
图6a和图6b示出了通过可穿戴AR设备的AR屏幕的视图的示例;
图7示出了操作员使用轮班报告按钮的示例;以及
图8示意性地描绘了设置有多个操作员工作站的控制室。
具体实施方式
现在将在下文中参考附图来更全面地描述本发明构思,在附图中示出了示例性实施例。然而,本发明构思可以以许多不同的形式来实施,并且不应当被解释为限于本文所阐述的实施例;相反,这些实施例以示例的方式提供,使得本公开将是透彻和完整的,并且将向本领域技术人员全面地传达本发明构思的范围。在整个说明书中,相同的附图标记指代相同的元件。
图1描绘了控制和监测系统1。所例示的控制和监测系统1是过程控制和监测控制系统,其被配置为监测并控制工业过程或工业过程的一部分。
控制和监测系统1包括处理电路系统3以及储存介质5。储存介质5包括计算机代码,当该计算机代码由处理电路系统3执行时,使得控制和监测系统1执行本文所公开的方法。
处理电路系统3使用能够执行任何本文所公开的关于在多个操作员工作站屏幕当中进行导航的操作的以下中的一个或多个的任何组合:适合的中央处理器(CPU)、多处理器、微控制器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程栅极阵列(FPGA)等。
储存介质5可以例如被实现为存储器,诸如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、或电可擦除可编程只读存储器(EEPROM),以及更特别地被实现为在外部存储器中的设备的非易失性储存介质,诸如USB(通用串行总线)存储器或闪存(诸如紧凑型闪存)。
控制和监测系统1还包括多个操作员工作站屏幕7a-7i。操作员工作站屏幕7a-7i被配置为与处理电路系统3通信。操作员工作站屏幕7a-7i被配置为显示过程图形。每个操作员工作站屏幕7a-7i可以被配置为显示相对于在其他操作员工作站屏幕7a-7i上所显示的过程图形不同的过程图形。过程图形涉及控制和监测系统1被配置为监测并控制的底层工业过程(未在图1中示出)。
操作员工作站屏幕7a-7i形成操作员工作站7的一部分。例如,操作员工作站7可以包括桌9,操作员工作站屏幕7a-7i被安装在桌9上。单个操作员可以具有用以监测操作员工作站7的所有操作员工作站屏幕7a-7i的工作任务。
图2示出了可穿戴AR设备11的示例,可穿戴AR设备11被配置为与控制和监测系统1无线地通信。可穿戴AR设备11适于由用户穿戴。可穿戴AR设备11包括AR屏幕13。AR屏幕13在可见光谱中是透明的。因此,用户能够看穿AR屏幕13。可穿戴AR设备11被配置为将AR投射到AR屏幕13上。
可穿戴AR设备11还可以包括凝视检测器15。凝视检测器15被配置为确定穿戴第一可穿戴AR设备的用户的凝视方向。
根据一个变型,可穿戴AR设备11可以包括麦克风,麦克风被配置为记录用户语音命令。根据一个变型,可穿戴AR设备11还可以包括扬声器,以将语音指令或其他类型的声音提供给用户。这些示例将会基于下文来阐述。
可穿戴AR设备11还可以包括可穿戴设备处理电路系统。可穿戴设备处理电路系统可以被配置为:在可穿戴AR设备11的坐标系统中,确定在操作员工作站屏幕7a-7i上显示的对象位置,以在AR屏幕13上的特定位置中显示AR、确定用户的凝视方向、并且确定可穿戴AR设备11在可穿戴AR设备11的坐标系统中的空间位置。如果涉及音频、例如语音命令和/或扬声器,则可穿戴设备处理电路系统可以被配置为还执行这些指令。
所例示的可穿戴AR设备11包括AR眼镜,并且AR屏幕13是遮光板。适合的AR眼镜的一个示例是
Figure BDA0002337938990000091
HoloLens。还设想了能够在用户眼前的屏幕上提供AR的其他可穿戴设备。例如,可穿戴AR设备的另一示例是AR隐形眼镜。
现在转向图3和图4a至图4c,现在将描述AR系统17以及其在两种示例情形中的操作的示例。AR系统17包括控制和监测系统1以及可穿戴AR设备11。每个操作员工作站屏幕7a-7i设置有多个屏幕标识元件。屏幕标识元件可以是可见的被动屏幕标识元件或主动屏幕标识元件。在本示例中,每个操作员工作站屏幕设置有四个屏幕标识元件19a-19d、21a-21d。例如,第一操作员工作站屏幕7a具有设置在其角落上的屏幕标识元件19a-19c。第一操作员工作站屏幕7a的第四个屏幕标识元件未被示出。第二操作员工作站屏幕7f设置有四个屏幕标识元件21a-21d,以此类推。
控制和监测系统1被配置为在步骤b)中确定何时出现感兴趣条件。感兴趣条件可以例如是在底层的工业过程中的条件,并且可以例如是可能导致不利条件的趋势或者警报。大体上,感兴趣条件是应当提起操作员注意的条件,或者作为由控制和监测系统1接收的对象位置请求的结果而由用户引起的条件。
控制和监测系统1被配置为接收呈过程变量值的形式的过程变量的测量结果和/或估计结果。控制和监测系统1可以被配置为:基于连续接收的过程变量值,确定是否已经发生感兴趣条件。例如,控制和监测系统1可以被配置为:如果过程变量值在预定阈值之上,则确定已经发生感兴趣条件。
如果过程变量值在预定阈值之上,则控制和监测系统1被配置为:在多个操作员工作站屏幕7a-7i的适合的操作员工作站屏幕7a-7i(例如,具有与感兴趣条件相关联的过程图形的操作员工作站屏幕7a-7i)上显示呈感兴趣条件图形形式的检测到的感兴趣条件。
坐在操作员工作站处并且监测操作员屏幕7a-7i的操作员23穿戴可穿戴AR设备11,并且通过可穿戴AR设备11来监测操作员工作站屏幕7a-7i。
在第一示例情形中,在感兴趣条件由于过程变量值超过对应的预定阈值而被控制和监测系统1检测到、并且在操作员工作站屏幕7a-7i中的一个操作员工作站屏幕7a-7i上被显示为感兴趣条件图形的情况下,控制和监测系统1被配置为:在步骤c)中确定工作站屏幕标识符,该工作站屏幕标识符标识在其上显示感兴趣条件图形的操作员工作站屏幕7a-7i。在本示例中,感兴趣条件图形25被显示在第一操作员工作站屏幕7a上。控制和监测系统1被配置为:在步骤e)中,将标识显示感兴趣条件图形25的操作员工作站屏幕的工作站屏幕标识符进行传输。在本示例中,控制和监测系统1因此将第一操作员工作站屏幕7a的工作站屏幕标识符传输至可穿戴AR设备11。
可穿戴AR设备11被配置为:在步骤B)中接收工作站屏幕标识符,并且使用屏幕标识元件19a-19c来匹配工作站屏幕标识符,从而标识第一操作员工作站屏幕7a。屏幕标识元件19a-19c提供了第一操作员工作站屏幕7a的尺寸的测量,以及第一操作员工作站屏幕7a与可穿戴AR设备11的距离。可穿戴AR设备11被配置为在可穿戴AR设备11的坐标系统中定位第一操作员工作站屏幕7a。
如在图5a中示出的,当上面的操作已经被执行时,可穿戴AR设备11被配置为:在步骤C)中,在AR屏幕13上显示关于感兴趣条件图形25的位置的指示27。该指示27例如可以包括箭头,该箭头指向第一操作员工作站屏幕7a的方向。指示27还可以包括或备选地包括高亮目标操作员工作站屏幕,目标操作员工作站屏幕在该示例中是第一操作员工作站屏幕7a。
控制和监测系统1可以被配置为在操作员工作站屏幕7a上确定感兴趣条件图形位置。在这种情况下,控制和监测系统1可以在步骤e)中将感兴趣条件图形位置传输至可穿戴AR设备11。例如,感兴趣条件图形位置可以是在控制和监测系统1的坐标系统中感兴趣条件图形25的坐标。
可穿戴AR设备11被配置为:接收感兴趣条件图形位置,并且将坐标转换至可穿戴AR设备11的坐标系统。这可以通过首先确定目标操作员工作站屏幕(在该情况中,是第一操作员工作站屏幕7a)的坐标来执行。利用目标操作员工作站屏幕的坐标的知识,感兴趣条件位置可以在可穿戴AR设备11的坐标系统中被确定。如在图5b中示出的,在这种情况下,指示27可以备选地或额外地包括高亮区域,该高亮区域标识感兴趣条件图形25在目标操作员工作站屏幕7a上的位置。
在一个变型中,可穿戴AR设备11被配置为提供感兴趣条件图形25的位置的有声指令。例如,可穿戴AR设备11可以指令用户来“看你的左方”或“看你的右方”,以通知用户感兴趣条件以及感兴趣条件图形25的位置。
在第二示例情形中,用户可以指令可穿戴AR设备11以示出在操作员工作站屏幕7a-7i上显示的某个对象的位置。例如,用户可以借助于语音命令和/或借助于手势来提供指令。可穿戴AR设备11被配置为在步骤A)中将与对象位置相关的对象位置请求发送至控制和监测系统1。控制和监测系统1被配置为在步骤a)中接收对象位置请求。控制和监测系统1被再次配置为在步骤b)中确定感兴趣条件。在这种情况下,感兴趣条件基于对象位置请求而被确定。特别地,可以说感兴趣条件作为对象位置请求的结果而发生。在这种情况下,感兴趣条件图形是用户期望获取其位置的对象的图形显示。与在上文所述的第一示例情形相反,当过程变量值超过对应的预定阈值、从而引起感兴趣条件时,在该示例中的感兴趣条件图形通常在对象位置请求被接收时已经在操作员工作站屏幕7a-7i中的一个操作员工作站屏幕7a-7i上被显示。该对象例如可以是鼠标指针或警报对象。控制和监测系统1在步骤c)中确定当前显示所请求的对象的操作员工作站屏幕7a-7i的工作站屏幕标识符。控制和监测系统1被配置为:在步骤e)中,将显示对象的工作站屏幕标识符传输至可穿戴AR设备11。以与上文已经描述的类似方式,可穿戴AR设备11将执行步骤B),即,定位目标操作员工作站屏幕,并且在步骤C)中,在可穿戴AR设备11的AR屏幕13上显示与在多个操作员工作站屏幕7a-7i当中的对象的位置相关的视觉指示。
附加地,控制和监测系统1可以被配置为确定并向可穿戴AR设备11传输例如作为控制和监测系统1的坐标系统中的坐标的对象位置。可穿戴AR设备11被配置为在可穿戴AR设备11的坐标系统中确定对象位置。
根据一个变型,可穿戴AR设备11可以被配置为:监测用户的凝视方向,并且如果凝视方向与感兴趣条件图形的方向不同的时间长于预定量时间,则向用户提供与在操作员工作站屏幕中的一个操作员工作站屏幕上显示的感兴趣条件图形相关的指示。以这种方式,AR系统可以确保用户最终将会注意到正在被显示的感兴趣条件图形。
另外,根据一个变型,控制和监测系统1可以在步骤d)中被配置为:基于在步骤b)中所确定的感兴趣条件,来确定要由可穿戴AR设备11显示的指示的类型。在这种情况下,在步骤e)中的传输包括将所确定的要显示的指示的类型传输至可穿戴AR设备11。例如,该指示的类型可以例如从数据库中的列表来确定,在该数据库中,每个类型的感兴趣条件可以与一个类型的指示相关联。因此,可穿戴AR设备11将根据从控制和监测系统1接收的指示的类型来显示指示27。
现在转向图6a,示出了视觉指示27如何可以被显示在AR屏幕13上的示例。可穿戴AR设备11可以例如被配置为在用户的中或远周边场显示指示27,而不是在用户的近周边或中央视场中显示指示27。这确保了如果当指示27出现时用户正专注于在操作员工作站屏幕中的一个操作员工作站屏幕上的重要事务,则该用户将不会被干扰。在这种情况下,指示27可以正在闪烁和/或移动以确保用户注意到指示27。
图6b示出了指示27的另一示例。在该示例中,指示27被补充有图标或文本,该图标或文本提供关于感兴趣条件图形的信息。在图5b中的示例中,读作“警报”的文本与箭头被同时地显示。因此,操作员被提供有允许操作员来优先处理是否基本上立即关注与感兴趣条件图形相关的事项的信息。
图7示出了AR系统17还包括轮班报告(shift report)按钮29。轮班报告按钮29与控制和监测系统1以及可穿戴AR设备11集成在一起。当感兴趣条件在一个轮班期间发生时,轮班报告按钮被用作采集所有操作员工作站屏幕的截屏或视频。(一个或多个)截屏以及(一个或多个)视频被保存在储存介质5上。当进行操作员轮班时,新的操作员将穿戴可穿戴AR设备11。作为轮班报告按钮29的备选方案,该功能可以例如通过执行某个手势和/或语音命令以记录截图或视频而被实现在可穿戴AR设备11中。
在图7中示出的示例中,操作员被呈现有在AR屏幕13上的与上次轮班期间发生且被记录的事件相关的信息。事件作为具有在何时采集并且由谁采集的截屏或视频的信息的图标和/或文本31a-31c被呈现。图标和/或文本31a-31c可以额外地包含由先前轮班的操作员制作的注释。(一个或多个)注释可以包括文本、照片、视频或语音消息。因此,刚开始轮班的操作员将能够通过选择图标和/或文本31a-31c来查看截屏和/或视频。该选择可以例如借助于操作员的手势而被提供。图标和/或文本31a-31c可以在操作员工作站屏幕的周围被显示,以便不遮挡操作员工作站屏幕。因为可穿戴AR设备11被配置为使用屏幕标识元件来确定所有操作员工作站屏幕7a-7i的位置,所以这可以实现。然后,用户可以例如拖拽图标/文本31a-31c至操作员工作站显示器中的一个操作员工作站显示器,并且将该图标/文本31a-31c放下以在所有操作员工作站屏幕7a-7i上显示相关联的截屏或视频,正如由在先前轮班中捕获感兴趣条件的操作员一开始所见到的那样。
与先前轮班的诸如来自先前轮班的关于先前操作员活动、性能、警报等级、已确认警报量等统计数据相关的通用信息也可以被显示。
图8示出了包含多个操作员工作站的控制室33的示例。控制室33包含第一操作员工作站7以及第二操作员工作站35。操作员工作站7与35二者形成了公共的控制和监测系统1的部分。第一操作员工作站7包括操作员工作站屏幕的第一子集7a-7i,操作员工作站屏幕的第一子集7a-7i形成第一监测区,第一监测区被配置为显示工业过程的第一区段。第二操作员工作站35包括操作员工作站屏幕的第二子集35a-35i,操作员工作站屏幕的第二子集35a-35i形成第二监测区,第二监测区被配置为显示工业过程的第二区段。因此,操作员工作站屏幕的第一子集7a-7i和操作员工作站屏幕的第二子集35a-35i通常显示与工业过程的相应区段相关的完全不同的过程图形。
第一操作员工作站7可以在穿戴第一可穿戴AR设备11的第一操作员23的责任下,并且第二操作员工作站35可以在穿戴第二可穿戴AR设备12的第二操作员37的责任下,第二可穿戴AR设备12与第一可穿戴AR设备11在操作上相同。第一可穿戴AR设备11被配置为与第一控制区段7一起使用,并且第二可穿戴AR设备12被配置为与第二控制区段35一起使用。这里,第一可穿戴AR设备11通常仅与控制和监测系统1的与在操作员工作站屏幕的第一子集7a-7i上示出的过程图形中的对象相关的对象进行通信。第二可穿戴AR设备12通常仅与控制和监测系统1的与在操作员工作站屏幕的第二子集35a-35i上示出的过程图形中的对象相关的对象进行通信。然而,感兴趣条件以及所显示的感兴趣条件图形可以在两个操作员工作站7和35中的一个操作员工作站的操作员工作站屏幕中的一个操作员工作站屏幕上发生,该感兴趣条件以及所显示的感兴趣条件图形可以针对另一操作员工作站7与35的操作员而言变为相关联的。因此,例如,如果感兴趣条件图形被显示在操作员工作站屏幕7a-7i上,该感兴趣条件图形也可以针对第二操作员37是相关联的。因此,如通过虚线箭头所示出的,控制和监测系统1也可以被配置为将显示感兴趣条件图形的操作员工作站屏幕7a-7i的工作站屏幕标识符传输至第二可穿戴AR设备12。这可以确保,在由第一区段中的感兴趣条件导致的感兴趣条件也变为在第二区段中的感兴趣条件、并且因此在第二操作员工作站35的操作员工作站显示器35a-35i中的一个操作员工作站显示器上被显示之前,第二操作员37注意到该感兴趣条件。
控制和监测系统1可以被配置为选择何时将感兴趣条件报告到第二可穿戴设备12,并且反之亦然。控制和监测系统1可以例如包含数据库,该数据库具有关于感兴趣条件以及该感兴趣条件如何影响工业过程的不同区段的信息。
本发明概念已经主要在上文中参考若干示例被描述。然而,如本领域的技术人员容易意识到的,除了在上文中公开的实施例的其他实施例同样可能在由所附权利要求所限定的本发明概念的范围内。

Claims (15)

1.一种促进在控制和监测系统(1)的多个操作员工作站屏幕(7a-7i、9a-9i)当中的用户导航的方法,其中所述方法由所述控制和监测系统(1)执行,并且所述方法包括:
确定(b)感兴趣条件;
确定(c)工作站屏幕标识符,所述工作站屏幕标识符标识将所述感兴趣条件显示为感兴趣条件图形(25)的操作员工作站屏幕(7a-7i、9a-9i);以及
将所述工作站屏幕标识符传输(e)至第一可穿戴增强现实AR设备(11),从而启动显示将所述感兴趣条件图形(25)进行显示的所述操作员工作站屏幕(7a-7i、9a-9i)的位置的指示(27)。
2.根据权利要求1所述的方法,包括:确定在显示所述感兴趣条件图形(25)的所述操作员工作站屏幕(7a-7i、9a-9i)上的感兴趣条件图形位置,其中所述传输(c)还包括传输所述感兴趣条件图形位置。
3.根据权利要求1或2所述的方法,包括:
接收(a)来自所述第一可穿戴AR设备(11)的对象位置请求,所述对象位置请求与在所述操作员工作站屏幕(7a-7i)当中的对象位置相关,其中所述感兴趣条件的所述确定(b)基于所述对象位置请求,并且所述感兴趣条件图形标记所述对象位置。
4.根据权利要求3所述的方法,包括:确定在所述操作员工作站屏幕(7a-7i、9a-9i)上的所述对象位置,其中在步骤f)中的所述传输包括传输所述对象位置。
5.根据权利要求3或4所述的方法,其中对象是鼠标指针或警报对象。
6.根据前述权利要求中任一项所述的方法,其中所述多个操作员工作站屏幕(7a-7i、9a-9i)的第一子集(7a-7i)形成第一监测区,所述第一监测区被配置为显示工业过程的第一区段,并且所述多个操作员工作站屏幕(7a-7i、9a-9i)的第二子集(9a-9i)形成第二监测区,所述第二监测区被配置为显示所述工业过程的第二区段,其中所述感兴趣条件图形(25)被显示在所述第一监测区的操作员工作站屏幕上,并且所述第一可穿戴AR设备(11)与所述第一监测区相关联,其中所述传输还包括:将所述工作站屏幕标识符传输到与所述第二监测区相关联的第二可穿戴AR设备(12)。
7.根据前述权利要求中任一项所述的方法,其中感兴趣条件的所述确定(a)包括确定过程变量值在预定阈值之上,其中所述感兴趣条件通过显示所述感兴趣条件图形(25)而在所述操作员工作站屏幕(7a-7i、9a-9i)上被指示。
8.根据前述权利要求中任一项所述的方法,包括:基于所述感兴趣条件来确定(d)要由所述第一可穿戴AR设备(11)显示的指示的类型,其中所述传输(e)包括将确定的要被显示的所述指示的类型传输至所述第一可穿戴AR设备(11)。
9.一种包括计算机代码的计算机程序,当所述计算机代码由控制和监测系统(1)的处理电路系统(3)执行时,使得所述控制和监测系统(1)执行根据权利要求1至8中任一项所述的方法的步骤。
10.一种控制和监测系统(1),包括:
多个操作员工作站屏幕(7a-7i、9a-9i);
储存介质(5),包括计算机代码;以及
处理电路系统(3),当所述处理电路系统(3)执行所述计算机代码时,使得所述控制和监测系统(1)执行根据权利要求1至7中任一项所述的方法的步骤。
11.一种增强现实AR系统(17),包括:
根据权利要求10所述的控制和监测系统(1);以及
第一可穿戴AR设备(11),包括AR屏幕(13),所述第一可穿戴AR设备(11)被配置为与所述控制和监测系统(1)无线地通信。
12.根据权利要求11所述的AR系统(17),其中所述第一可穿戴AR设备(11)被配置为将对象位置请求传输至所述控制和监测系统(1)。
13.根据权利要求11或12所述的AR系统(17),其中每个操作员工作站屏幕(7a-7i、9a-9i)设置有标识所述操作员工作站屏幕(7a-7i、9a-9i)的屏幕标识元件(19a-21c、21a-21d),其中所述第一可穿戴AR设备(11)被配置为:基于从所述控制和监测系统(1)接收的所述工作站屏幕标识符以及对应的所述屏幕标识元件(19a-19c、21a-21d),标识显示所述感兴趣条件图形(25)的所述操作员工作站屏幕(7a-7i、9a-9i),并且其中所述第一可穿戴AR设备(11)被配置为:基于所述屏幕标识元件,在所述AR屏幕(13)上指示显示所述感兴趣条件图形(25)的所述操作员工作站屏幕(7a-7i、9a-9i)的所述位置,以使用户意识到所述感兴趣条件图形。
14.根据权利要求13所述的AR系统(17),其中所述第一可穿戴AR设备(11)包括凝视检测器(15),所述凝视检测器(15)被配置为确定所述第一可穿戴AR设备(11)的用户的凝视方向,其中所述第一可穿戴AR设备(11)被配置为:进一步基于所述凝视方向,在所述AR屏幕(13)上指示显示所述感兴趣条件图形(25)的所述操作员工作站屏幕(7a-7i、9a-9i)的所述位置。
15.第一可穿戴增强现实AR可穿戴物(11)在根据权利要求11至14中任一项所述的AR系统(17)中的用途。
CN201880042957.9A 2017-07-05 2018-05-30 用于促进在多个操作员工作站屏幕当中的用户导航的方法和系统 Active CN110799916B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17179844.0 2017-07-05
EP17179844.0A EP3425468B1 (en) 2017-07-05 2017-07-05 Method and systems for facilitaing user navigation among a plurality of operator workstation screens
PCT/EP2018/064183 WO2019007592A1 (en) 2017-07-05 2018-05-30 METHOD AND SYSTEMS FOR FACILITATING USER NAVIGATION WITHIN A PLURALITY OF OPERATOR WORKSTATION SCREENS

Publications (2)

Publication Number Publication Date
CN110799916A true CN110799916A (zh) 2020-02-14
CN110799916B CN110799916B (zh) 2020-11-27

Family

ID=59399221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042957.9A Active CN110799916B (zh) 2017-07-05 2018-05-30 用于促进在多个操作员工作站屏幕当中的用户导航的方法和系统

Country Status (4)

Country Link
US (1) US20200125081A1 (zh)
EP (1) EP3425468B1 (zh)
CN (1) CN110799916B (zh)
WO (1) WO2019007592A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113348419A (zh) * 2019-01-29 2021-09-03 Abb瑞士股份有限公司 用于促进操作者专注于多个操作者工作站屏幕之一的方法和系统
EP4329293A1 (en) * 2022-08-25 2024-02-28 Artificialy SA Support system of the control of surveillance cameras

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050630A (ja) * 2001-08-08 2003-02-21 Mitsubishi Electric Corp プラント運転支援装置
CN103282847A (zh) * 2010-12-22 2013-09-04 Abb研究有限公司 带有眼睛追踪系统的用于监视工业系统的方法和系统
CN104054032A (zh) * 2012-02-23 2014-09-17 Abb研究有限公司 用于为工业控制系统提供用户界面的导航工具的方法
CN105867612A (zh) * 2015-02-05 2016-08-17 施耐德电器工业公司 显示管理方法和关联计算机程序产品及电子设备
CN106164797A (zh) * 2014-02-11 2016-11-23 霍尼韦尔国际公司 用于工业操作员控制台的环境显示器
CN106471442A (zh) * 2014-07-01 2017-03-01 谷歌公司 可穿戴装置的用户界面控制
CN107066252A (zh) * 2016-02-10 2017-08-18 通用电气公司 用于工业自动化系统的配置的图形界面

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050630A (ja) * 2001-08-08 2003-02-21 Mitsubishi Electric Corp プラント運転支援装置
CN103282847A (zh) * 2010-12-22 2013-09-04 Abb研究有限公司 带有眼睛追踪系统的用于监视工业系统的方法和系统
CN104054032A (zh) * 2012-02-23 2014-09-17 Abb研究有限公司 用于为工业控制系统提供用户界面的导航工具的方法
CN106164797A (zh) * 2014-02-11 2016-11-23 霍尼韦尔国际公司 用于工业操作员控制台的环境显示器
CN106471442A (zh) * 2014-07-01 2017-03-01 谷歌公司 可穿戴装置的用户界面控制
CN105867612A (zh) * 2015-02-05 2016-08-17 施耐德电器工业公司 显示管理方法和关联计算机程序产品及电子设备
CN107066252A (zh) * 2016-02-10 2017-08-18 通用电气公司 用于工业自动化系统的配置的图形界面

Also Published As

Publication number Publication date
EP3425468A1 (en) 2019-01-09
CN110799916B (zh) 2020-11-27
US20200125081A1 (en) 2020-04-23
EP3425468B1 (en) 2021-09-01
WO2019007592A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
US20190056856A1 (en) Systems and methods for representing data, media, and time using spatial levels of detail in 2d and 3d digital applications
WO2020172010A1 (en) Mixed-reality guide data collection and presentation
EP1709519B1 (en) A virtual control panel
US20170270362A1 (en) Responsive Augmented Content
CN108027657A (zh) 增强和/或虚拟现实环境中的场境敏感用户界面激活
CN108139739B (zh) 制造状态显示系统和显示方法及记录制造状态显示程序的记录介质
US20160171772A1 (en) Eyewear operational guide system and method
KR102114618B1 (ko) 포터블 디바이스 및 그 제어 방법
US10771350B2 (en) Method and apparatus for changeable configuration of objects using a mixed reality approach with augmented reality
CN110799916B (zh) 用于促进在多个操作员工作站屏幕当中的用户导航的方法和系统
CN103941855A (zh) 医用图像参照装置以及医用图像参照方法
US10551991B2 (en) Display method and terminal
US11626088B2 (en) Method and system for spawning attention pointers (APT) for drawing attention of an user in a virtual screen display with augmented and virtual reality
WO2018102107A1 (en) Screen zoom feature for augmented reality applications
CN103959362A (zh) 用于在移动设备上观看数据可视化并与其交互的放大工具
JP6203971B2 (ja) ディスプレイ装置を操作する方法及びシステム
CN109478413A (zh) 用于缩放功能的系统和方法
US11323495B2 (en) Sharing computer application activities
US20180165853A1 (en) Head-mounted display apparatus and virtual object display system
CN117813571A (zh) 在注视跟踪设备中呈现关于视野中的可控设备的信息以远程控制
Akhmetov et al. An augmented reality-based warning system for enhanced safety in industrial settings
US20180053438A1 (en) Action evaluation apparatus, action evaluation method, and computer-readable storage medium
CN105242920A (zh) 一种截图系统、截图方法以及电子设备
US20210255693A1 (en) Augmented reality interactive messages and instructions for batch manufacturing and procedural operations
US20160239085A1 (en) Force indication of a boundary

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant