CN101685295A - 在工业自动化环境中根据境况和状态信息动态产生可视化图像 - Google Patents

Abstract

在工业自动化环境中产生一个或多个定制的可视化图像的一种可视化系统包括一个接口部件，它接收关于所显示对象和信息的输入，一个境况部件，它可以检测、推断或确定关于一个实体的境况信息，以及一个可视化部件，它从一组显示对象中产生可视化图像以呈现给该实体，该可视化图像根据所接收信息以及所推断或所确定的实体境况而变化。

Description

在工业自动化环境中根据境况和状态信息动态产生可视化图像

技术领域

[0001]本主题发明总体上涉及工业控制系统，更具体地，部分地基于检测的多个因素例如用户角色、身份、位置等，涉及与工业控制系统交互的各种自动化界面。

背景

[0002]工业控制器是用于控制工业过程、制造设备、和其他工厂自动化的专用计算机，例如数据采集或联网系统。工业控制系统的核心是例如可编程逻辑控制器(PLC)或基于PC的控制器的逻辑处理器。例如可编程逻辑控制器被系统设计者编程以经由用户设计逻辑程序或用户程序来运行制造过程。用户程序存储在存储器中并主要由PLC以时序方式执行，尽管例如指令跳转、循环和中断等程序也很常见。与用户程序相关联的是向PLC运行和程序提供动态的多个存储器元件或变量。PLC中的差别典型地取决于它们可处理的输入/输出(I/O)的数量、存储器总量、指令数量和类型、以及PLC中央处理单元(CPU)的速度。

[0003]近年来已增长的一个区域是在商业运行过程中人和工业控制系统交互作用的需要。这包括人机接口(HMI)的采用以协助与该系统的运行，其中一种方式是HMI可作为图形用户界面而提供。常规HMI/自动控制系统通常将它们的能力限定于使用户知道需要他们关注的状况、或关于他们的当前任务可对他们有吸引力的信息。当该机构确实存在时，它们趋向于或者过度打扰(例如通过在无论什么他们当前正在看的顶部作“弹出”报警显示而打断用户当前活动)或信息不充足(例如指示某事需要用户关注但是没有提供与其有关的信息)。常常，用户必须导航到另一显示器(例如“细节屏幕”、“报警摘要”或“帮助屏幕”)以确定信息本性或甚至以确定该信息是否存在。可以理解，导航和应对弹出窗口是耗时且昂贵的。

[0004]在其他常规HMI/自动控制系统中，呈现给用户的信息必须由控制系统设计者预配置并且必须明确地由用户提出请求。例如，当报警状况发生并且用户需要附加信息以帮助他们分析/解决后果，他们必须明确地请求系统提供它。为了实现这个过程，应当具备几种条件：(1)当设计控制系统时，设计者必须考虑使特定信息对用户/角色以及对特定状况有效；(2)用户必须知道该信息存在；以及(3)用户必须请求系统取出并显示该信息。

概述

[0005]为了提供文中所描述一些方面的基本了解，以下提出一个简化概述。该概述不是广泛的评述、也无意识别关键/决定性元素或以描绘文中所描述各方面的范围。其根本意图在于以简化形式提出一些概念作为以下将提出的更详细描述的前序。

[0006]提供了不同接口应用以协助更有效地与工业自动化系统交互作用。在一方面，提供了系统和方法以缓和与人机接口(HMI)和/或关联于该接口的弹出式问题的导航问题。通过开拓特定状况数据或“感兴趣的信息”，例如基于用户身份、角色、位置(逻辑的或物理的)、当前任务、当前视图等因素，可提供HMI以使用通信信息实质以及其重要性/优先级/紧迫性而不完全支配用户关注或打断他们的当前与系统的交互的方式，将该特定状况信息叠加到自动控制系统(“基础呈现”)的用户当前视图上。以此方式，可以减轻处理过度导航或干扰性显示的问题。

[0007]在另一方面，通过自动地将相关的特定状况信息提供给用户而提供用于缓和预配置接口问题的系统和方法。这包括通过例如用户身份、角色、位置(逻辑的或物理的)、当前活动、类似的先前(历史的)状况/活动等属性与例如装置/设备位置、装置/设备状态、用户/角色/特定状况记录、用户文档编制、训练手册等其他数据相匹配，而自动找出用户当前状况中的兴趣/使用的信息。因而，用户被自动地提供了丰富的一组关于它们当前任务/状况的信息，而不必如通常那样需要人/状况/信息映射由控制系统设计者预定义。

[0008]为实现前述和相关目的，文中描述了与以下描述和附图相关的特定例证性方面。这些方面指示可以实践的不同方式，文中试图覆盖其全体。其他优点和新颖性特征通过结合附图考虑以下详细描述将变得更清楚。

附图简述

[0009]图1展示了用于在工业自动化环境中产生定制的可视化图像的可视化系统。

[0010]图2展示了可视化系统的一个特定实施例。

[0011]图3展示了根据在此所描述方面的一个实施例，其中数据存储器存储了协助产生丰富的可视化图像的信息和程序。

[0012]图4展示了可视化部件的一个实施例。

[0013]图5展示了用于呈现定制的信息可视化图像的方法。

[0014]图6展示了与产生关于报警的可视化图像的方法相关的一个特定实施例。

[0015]图7展示了关于定制与机器的运行或与交互作用相关的可视化图像的方法的一个实施例。

[0016]图8展示了系统的一个实施例，它根据显示对象的多个混搭(mash-up)产生定制的可视化图像。

[0017]图9是混搭接口的一个实施例的图解。

[0018]图10描述了根据一个方面的混搭接口的图解表示。

[0019]图11展示了包括粘接部件的系统的一个实施例。

[0020]图12展示了包括缝合部件的系统的一个实施例。

[0021]图13展示了包括优化部件的系统的一个实施例。

[0022]图14展示了与显示混搭相关的方法的一个实施例。

[0023]图15展示了与增强现有混搭有关的一种方法。

[0024]图16展示了根据在显示区域上的放大或缩小、或平移调节分辨率的系统的一个实施例。

[0025]图17展示了包括境况部件的系统的一个实施例。

[0026]图18描述了包括搜索部件的系统的一个实施例。

[0027]图19是描述与一个实施例有关的高层次方法的流程图。

[0028]图20是描述与另一个实施例有关的高层次方法的流程图。

[0029]图21和22展示了根据实施例的前述分辨率特性的一个实例。

[0030]图23展示了包括观察部件和一组摄像机的系统的一个实施例。

[0031]图24展示了包括转换部件的系统的另一个实施例。

[0032]图25展示了依照使用实时图像数据平移对象的方法。

[0033]图26展示了在工业自动化环境中协助实时可视协作的一个实施例。

[0034]图27展示了包括可视化部件的系统的一个实施例。

[0035]图28展示了系统的一个实施例，其中多用户的X数量(X为整数)可经由相应显示器相互协作，并可视地分享关于多个区域以及外部数据的信息。

[0036]图29展示了关于用户和设备协作的高层次方法。

[0037]图30-31展示了可视化部件实施例可绘制的一个典型显示器。

[0038]图32描绘了在工业自动化环境中动态地向一个或多个用户呈现感兴趣信息的一个实施例。

[0039]图33和34展示了根据文中所描述方面的可视化图像。

[0040]图35展示了可在其他显示对象上覆盖以用可浏览方式向用户提供信息的半透明仪表板。

[0041]图36展示了提供关键性能指示器(KPI)信息的一个实例接口。

[0042]图37-42展示了根据文中所描述实施例的实例接口。

[0043]图43展示了可视化系统的一个特定实施例。

[0044]图44是阐述与一个实施例有关的一个特定可视化系统的高层次图。

[0045]图45-52展示了根据文中所描述实施例的不同的可视化图像。

[0046]图53展示了包括参考部件的系统的一个实施例。

[0047]图54-58展示了根据文中所描述实施例的不同的可视化图像。

[0048]图59展示了根据文中所描述方面的一种高层次方法。

[0049]图60展示了工业自动化环境的基于计算系统的界面。

[0050]图61展示了根据文中所描述方面的一种高层次方法。

[0051]图62和63展示了计算环境的实例。

详细描述

[0052]所提供的系统和方法使不同接口应用能够在工业控制系统中更有效地与用户进行数据通信。在一方面，提供了一种工业自动化系统。该系统包括一个基本展示部件以显示工业控制环境的一个或多个元件。不同显示项目可以动态地叠加在基本展示部件上，以将工业控制信息提供给用户。在该工业自动化系统的另一方面，提供了一个位置部件以在工业控制环境中识别用户的物理的或虚拟的位置。这可包括一个境况部件以确定考虑到物理的或虚拟的位置的用户的至少一个属性。展示部件随后部分地基于物理或虚拟位置以及所确定属性将信息提供给用户。

[0053]应当注意，如本申请中所使用的，例如“部件”、“显示器”、“接口”等术语意在指代计算机相关实体、或硬件、硬件和软件的组合、软件、或用于工业控制而应用到自动化系统执行的软件。例如，部件可以是但不限于在处理器上运行的一个过程、一个处理器、一个对象，一个可执行的对象、一个执行线程、一个程序和一个计算机。作为说明，运行在服务器上的应用程序和服务器都可以是部件。一个或多个部件可驻留于过程和/或执行线程中，并且部件可局部化到一台计算机上和/或分布在两台或更多台计算机、工业控制器、和/或与其通信的模块之间。

[0054]如文中所使用的，术语“推出”或“推断”通常指代经由事件和/或数据所捕获的一组观察中的关于系统状态、环境、用户、和/或意图的推断或推断过程。所捕获数据和事件可包括用户数据、装置数据、环境数据、来自传感器的数据、传感器数据、隐含和明示数据等。推断可用来识别一个特定境况或行动，或者可产生例如关于状态的概率分布。推断可以是概率性的，即对相关状态的概率分布的计算基于数据和事件的考虑。推断也可指代用来从一组事件和/或数据中构成更高层次事件的技术。该推断结果导致从一组所观察事件和/或所存储事件数据中新事件或行动的构造，无论事件是否联系暂时非常紧密，以及是否事件和数据来自一个或几个事件和数据源。

[0055]应当理解，不同人工智能(AI)工具和系统可以与文中所描述和要求的实施例有关联地使用。例如，适合的用户接口(UI)机器学习和推断(MLR)可用来代表实体进行推断(例如用户、用户组、装置、系统、业务……)。更具体地说，MLR部件可通过检测境况、所作决定、以及用户反馈来学习。MLR部件可以作为输入而获得所学规则的集合(来自其他用户)、最近决定的境况、包括在最近决定和所作出决定中的规则、任意明示的用户反馈、任意可以估计出的隐含反馈、以及当前的一组所学规则。从这些输入，MLR部件可产生(和/或更新)一组新的所学规则1204。

[0056]除建立所学规则之外，依照文中所描述创新，MLR部件可协助使一个或多个新颖性特性自动化。例如，不同实施例(例如有关于估计所学规则)可使用不同的基于MLR的图表用以执行其各个方面。确定隐含反馈的一个过程可经由自动分类器系统和过程而得到协助。分类器为将输入参数矢量，x＝(x1，x2，x3，x4，xn)映射到输入一类的置信度中，即f(x)＝confidence(class)。这种分类可采用概率的、统计的和/或决策理论性分析(例如关于分析效用和成本的因素)，以预测或推断用户预期自动执行的行动。

[0057]支撑矢量机器(SVM)为可采用的分类器的一个实例。SVM通过在可能的输入空间中发现超曲面来运行，超曲面试图从非触发事件分离出触发条件。直观地，这使得附近的测试数据的分类正确，但是并不相同于训练数据。通过定义并应用核心函数到输入数据，SVM可学习非线性超曲面。可以采用其他的直接或间接模型分类方式例如包括决策树、神经网络、模糊逻辑模型、朴素贝叶斯、贝叶斯网络和其他提供不同独立图案的概率性分类模型。

[0058]如将从本主题说明书中所容易理解的那样，创新可采用明示训练(例如经由一般训练数据)以及隐含训练(例如经由观察用户行为、接收外部信息)的分类器。例如，SVM上的参数经由学习或训练阶段而估计。因而，分类器可用来自动学习和执行许多函数，包括但不限于根据预定条件确定如何/是否隐含反馈应当以规则的方式采用。

[0059]应当注意到，文中所描述接口可包括图形用户界面(GUI)以与不同部件交互作用，以便提供工业控制信息给用户。这可大体包括发送、检索、处理，和/或运行工厂输入数据、接收、显示、格式化，和/或通信输出数据，和/或协助企业运行的任意类型。例如，该接口也可关联于引擎、编辑器工具或网络浏览器，尽管其他类型应用也可采用。GUI可包括具有例如可配置图标、按钮、滑动条、输入框、选择选项、菜单、表格等具有多个可配置尺寸、形状、颜色、文本、数据和声音以协助与接口的运行的一个或多个对象(未示出)的显示。此外，GUI也可包括多个其他输入或控制，用以调整和配置一个或多个方面。这可包括从鼠标、键盘、语音输入、网络站点、远程网络服务和/或例如摄像头或视频输入等用以影响或修改GUI运行的其他装置接收用户命令。

[0060]也应该注意到，文中所用的术语PLC或控制器可包括可与多个部件、系统、和/或网络共享的功能。一个或多个PLC或控制器可通过网络与不同网络装置通信和合作。这可大体包括任意类型的经由网络通信的控制、通信模块，计算机，I/O装置，人机接口(HMI)，网络包括控制、自动化、和/或公共网络。PLC也可通信到并控制例如包括模拟、数字、可编程/智能I/O模块、其他可编程控制器、通信模块等的输入/输出模块等不同其他装置。网络(未示出)可包括例如互联网、局域网、和自动化网络等公共网络，自动化网络例如包括装置网络和控制网络的控制和信息协议(CIP)网络等。其他网络包括以太网、DH/DH+、远程I/O、现场总线、模总线、普罗菲总线、无线网络、串口协议等。此外，网络装置可包括不同可能性(硬件和/或软件部件)。这些包括例如与虚拟局域网(VLAN)容量的开关、LAN、WAN、代理、网关、路由、防火墙、虚拟私人网络(VPN)装置、服务器、客户端、计算机、配置工具、监测工具、和/或其他装置等部件。

在工业自动化环境中根据境况和状态信息动态产生可视化图像

[0061]首先来看图1，描述了用于在工业自动化环境中产生定制可视化图像的可视化系统100。应当理解，在工业自动化环境中产生可视化图像极其不同于在通用计算环境中如此做。例如，该环境之间的停机时间和容许时延等级极其不同。在通用计算环境中，个人会容忍公平频率锁位、图像延迟等；然而，在工业自动化环境中即使几秒的停机时间都可导致收益的相当损失以及在工厂中产生危险状况。结果，市场力量已规定工业自动化环境中的HMI系统维持轻重量、快速、在计算上不昂贵并因而是牢靠的。与工业自动化领域的常规智慧相反，在此描述的创新提供了高度复杂和尖端的HMI系统，它们缓解了停机时间、是牢靠的、并协助工业自动化环境中运行者经历的最大化。

[0062]它考虑到可视化系统100可形成至少部分人机接口(HMI)，但不限于此。例如，可视化系统100可用来协助观察并与关于生产环境的自动化控制系统、装置、和/或相关设备(其全体在文中指代为自动化装置)形成部分的数据的交互作用。可视化系统100包括接口部件102、境况部件104、可视化部件106、显示部件108、和数据存储110。

[0063]交互作用部件102接收有关所显示对象和信息的输入。交互作用部件102可从用户接收输入，其中用户数据可相应于对象识别、选择和/或与其的相互作用。可采用不同识别机构都。例如，用户输入可基于鼠标、指示笔、或轨迹球的定位和点击，和/或按下有关于所显示信息的键盘或键盘组的按键。进一步地，显示装置可以是触摸屏装置，使得识别可以基于触摸图形对象。其他输入装置也予以考虑，包括但不限于姿态检测机构(例如指点、注视……)和语音识别。

[0064]除对象或信息选择之外，输入可相应于数据的录入和修改。该输入可影响显示和/或自动化装置。例如，用户可改变显示格式、颜色等。此外或可替代地，用户可修改自动化装置参数。通过实例但不是限定，传送机电动机速度可增加、减少或停止。应当注意，输入不需要仅仅来自用户，其也可以通过自动化装置来提供。例如，在其他事情中的警告、报警、和维护计划信息可关于所显示装置来提供。

[0065]境况部件104可检测、推断或确定关于实体的境况信息。该信息可包括但不限于实体的身份、角色、位置(逻辑的或物理的)、当前活动、类似或先前与自动化装置的交互作用、从属于包括控制系统、装置和关联设备的自动化装置的境况数据。装置境况数据可包括但不限于逻辑/物理位置和运行状态(例如开/关、正常/缺陷……)。境况部件104可提供预定、推断的、检测的或另外所获得的境况数据到可视化部件106，其可采用该数据，该数据关联于决定将显示的基本表示和或项目、以及相应格式和位置。

[0066]通过实例，当一个实体采用可视化系统100(物理地或虚拟地)时，系统100可确定并追踪他们的身份、他们的角色和职责、它们的兴趣/职责区域或范围以及他们的活动。类似地，该系统可维持关于构成自动化控制系统的装置/设备的信息，例如逻辑/物理位置、运行状态和不同人/角色感兴趣的信息类型等信息。系统随后能创造这两组信息之间的映射/链接，并因而从其他事物中识别密切相关于用户当前位置和活动的信息。

[0067]显示部件108可对一个显示器绘制和/或从显示装置或部件接收数据，例如监视器、电视、计算机、移动装置、网络浏览器等。特别地，自动化装置和关于自动化装置的信息或数据可以容易理解的方式图形化地表示出来。数据可以用字母数字字符、图形、动画、音频和视频的一个或多个来表示。进一步，数据可以是静态的或动态地更新，以随着变化或事件发生而实时提供信息。更进一步，一个人可以经由接口部件102与接口100交互作用。

[0068]显示部件110也可通信地耦合到可视化部件106，它可产生、接收、检索或另外获得一个生产环境的图形表示，这包括一个或多个对象，它们表示(除其他之外)多个装置、涉及装置(例如压力计、温度计……)的信息以及表示自身。根据一个方面，由可视化部件106提供的基本表示可形成由显示部件108所绘制的完全显示的全部或部分。除基本表示之外，一个或多个项目可形成显示的一部分。

[0069]一个项目是图形元素或对象，它叠加在至少部分基本表示上或在基本表示边界外部。项目可提供感兴趣的信息并可以相应于其他事物中的图标、略图、对话框、工具栏、和工具集。这些项可以是不同尺寸、颜色、亮度的透明、半透明、或不透明等，以及外凸或内凹而显得生动。图标项目可以用来传达被表示的信息类型。缩略图可用于表示信息或实质内容的一个概况。缩略图以及其他项目可以是正表示的信息的缩小但可见的表示，并且可以是静态的或动态地更新。例如外凸或内凹等效果可以用来增加或减少叠加信息而不过度转移用户关注。此外，项目可逐渐变得更大/更小、更亮/更暗、更透明/更不透明或改变颜色或位置，以吸引用户或多或少的关注，从而指示所提供信息的增加或减少的重要性。项目位置也可以用来传送关于用户当前位置或视图的设备位置、任务序列中当前任务的位置或索引、向前或向后导航到先前所观看表示或视图的能力等当中的一个或多个。用户也可以执行关于这些不同表示技术的使用/含义的控制的一些测量，例如经由接口部件102。

[0070]如果希望，用户可以经由不同选择方法或机构(例如点击、悬停、指向……)来选择，以将其关注点指向一个或更多项目。在这种情况下，所选择信息、或提供该信息的项目可从表示中变得凸出，允许使用者看到并与其全部细节交互作用。在一些情况下，信息可从静态改变到活动/动态地更新选择。当表示焦点以该方式改变时，不同信息可变得更多/更少兴趣或可以完全不再有兴趣。因而，基本表示和提供感兴趣信息的一个或多个项意图组当用户选择新视图时可以更新。

[0071]数据存储110可以是任意适合的数据存储装置(例如随机存取存储器、只读存储器、硬盘、闪存、光存储器)、关系数据库、媒体、系统、或其组合。数据存储110可以存储与执行文中所描述功能的可视化系统100相关的信息、程序、AI系统等。例如，专家系统、专家规则、训练分类器、实体特征文件、神经网络、查找表等可以存储在数据存储100中。

[0072]图2展示了可视化系统100的一个特定实施例。境况部件104包括AI部件202和状态识别部件(状态识别器)204。AI部件202可以采用人工智能原理以协助自动地执行文中所描述的各个方面(例如转变通信对话、分析资源、外部信息、用户状态、和首选项、风险评估、实体首选项、优化决定制定……)。AI部件202可任选包括可以进一步增强AI部件部分基于图表推断使用的自动化方面的推断部件，以协助在给定时间和状态下将试图执行的行动的推断。本发明的基于AI方面可经由任意适合的基于机械学习技术和/或基于状态技术和/或基于概率技术而起作用。例如，专家系统、模糊逻辑、支撑矢量机器(SVM)、隐藏马尔可夫模型(HMM)、贪婪检索算法、基于规则系统、贝叶斯模型(例如贝叶斯网络)、神经网络、其他非线性训练技术、数据融合、基于效用的分析系统、采用贝叶斯模型系统等的使用被考虑并试图落入以下所附权利要求的范围内。

[0073]状态识别器204可识别或确定可用资源(例如服务提供者、硬件、软件、装置、系统、网络等)。状态信息(例如执行工作、任务、目标、优先级、境况、通信、通信需求、位置、当前所使用资源、可用资源、性能、实体状态中预先即将的改变、资源、环境中的改变等)被确定或推出。在所确定或推断状态和所识别可用资源的条件下，作出关于是否从将一个可视化会话期从当前的资源组转变到另一组资源。该确定可包括一个基于效用性的分析，它的因素有进行转变的成本(例如，准确度丢失、信息丢失、用户烦恼、打断对话期、干扰工作流程、增加停机时间、产生危险、造成迷惑、实体尚未全部处理当前的信息组并需要更多时间，等)相对于潜在收益(例如，更好的服务质量、用户满意度、节省金钱、使与一组新资源相关的增强的功能性可供使用、工作流程的优化，……)。该确定也可以包括成本收益分析。成本可以通过以下因素来衡量，例如功率损耗、计算或带宽成本、失去的收益或产品、资源利用不足、操作员挫折感……等。收益可以通过以下因素来衡量，例如服务质量、数据速率、传输延迟时间，等。该决定可在基于概率分析的基础上作出，其中如果置信度等级高就开始转变，并且如果置信度等级低就不开始转变。如上所讨论的，可以结合该确定或推断来采用基于AI的技术(包括机器学习系统)。可替代地，可以采用一种更简单的基于规则的处理，如果满足特定状况，将发生转变，并且如果没有转变将不会开始。确定作出转变可以是自动化的、半自动的或手动的。

[0074]图3展示了一个实施例，其中数据存储110存储了根据在此描述的方面协助产生丰富可视化图像的信息和程序。数据存储110可以包括历史数据，例如有关于给定特定境况/状态所使用的先前的可视化图像。该历史数据(其可包括缓存网页、cookie等)的使用可协助迅速传送相关的可视化图像，这些可视化图像密切关联着与历史状态相符的一组当前的状态。同样地，在与此类可视化图像相关联的历史使用和已知后果的前提下，可联系使用历史数据来过滤掉弱相关或不相关可视化图像、。应当理解，训练(明示地或隐含地)机器学习系统(MLS)可存储在数据存储110中以协助给定一组状况下希望的或适当可视化图像的合并。

[0075]特征文件(例如用户资料文件、装置特征文件、模板、事件特征文件、报警特征文件、业务特征文件等)302也可以存储在数据存储302中并且用于根据角色、首选项、存储权限、目标、状况等对一个可视化图像对话期进行的定制。在给定一组信息的前提下，可以使用规则(例如政策、规则、专家规则、专家系统、查找表、神经网络等)来执行一组预定义的行动。

[0076]可视化系统100可以动态地定制一次可视化经历，以优化操作员在工业自动化环境中的交互作用。例如，给定一组状态(例如以下的任意子集：报警、位置、机械类型、系统状态、环境状况、用户、用户角色、用户访问、用户状态、用户的认知负载、用户消费信息的能力、首选项、目标、意图、成本、收益、等)，系统100可以自动地调谐使可视化图像优化(在给定的一组条件下)，以满足用户需要并协助实现目标或要求。

[0077]图4展示了另一个实施例，其中可视化部件106包括绘制部件402、装置分析器404、和内容格式器406。根据以上提到的条件以及其他因素，可视化部件106可以将与定制可视化图像有关的数据重新格式化。装置分析器可以确定或推出旨在绘制可视化图像的装置或系统的能力，并且根据这样的能力，该可视化图像可以有选择地来制作。应当理解，与绘制装置(rendering device)相关联的环境或使用状况也可以是要考虑的一个因素。例如，可视化图像可以根据发光状况、或甚至操作员视力来进行制作。而且，将显示的内容的性质或装置的绘制能力(例如屏幕真实状态、屏幕分辨率等)可以作为因素。内容格式器406可以修改所显示内容的颜色、尺寸等并且剪除内容或分辨率以优化信息到实体的以可浏览(glanceable)方式(例如一瞥察觉信息、使用预留意处理以显示信息、协助用户察觉信息并且不过分冲击认知负载)的输送。

[0078]因此，系统100在工业自动化环境中提供了丰富的定制的可视化图像，该图像可以随着例如以下因素子集而变化：实体境况、工作境况、信息内容、实体目标、系统优化、工作流程优化、绘制装置的能力、实体的认知负载、处理能力、带宽、可用资源、缺少资源、基于使用性的分析、推断、实体首选项、实体角色、安全性、屏幕真实状态、信息优先级、信息有关性、内容过滤、境况过滤器、周围状况、机械或过程的预测信息、机械或过程的诊断信息、收入的产生、潜在或实际系统或装置停机时间、调度、实体理解信息的能力、实体理解信息的限定、报警、紧急情况、安全、验证、等等。

[0079]图5表示用于呈现的定制的可视化图像信息的方法500。然而，为了简化解释的目的，该方法表示和描述为一系列行动，应当明白和理解，该方法不限制于行动的顺序，因为某些行动可以与在此表示和描述的其他行动以不同的顺序和/或并行地发生。例如，本领域技术人员将明白和理解，方法能够可任选由一系列相关的状态或事件表示，例如状态图。而且，并非需要所有表示的行动来执行在此描述的方法。

[0080]方法500能够识别一个或多个用户感兴趣的信息，而没有从用户提示或请求这些感兴趣的信息。该推断可通过匹配用户的位置、背景和/或角色与被监视的装置/装置/系统的位置和/或状态，基于例如标记、角色、位置和/或产品装置内的文本。

[0081]在502，对一个信息会话期的背景进行推断或决定。该推断或者决定可基于信息的内容、发送实体或者接收实体的背景、外来信息等。了解该对话期的背景实质性地有助于产生对实体或者对话的目标有意义的可视化图像。在504，推出或决定实体意图。不同信息源或者类型可与该行动联系使用。例如，实体的角色、访问权、以前的交往、实体当前在做什么、实体偏好、历史数据、实体声称的意图……可用于与推断或决定实体的意图结合。在506，对与行动502和504相关的数据进行分析。按照在此所述的实施例，不同分析技术(例如概率、统计、基于规则(rules-based)、基于实用性的分析(utility-based analysis)、查找表……)可结合用来分析与产生相关或者有意义的可视化图像相关的数据。例如，可信度可与推断的背景或者意图相结合来计算，如果可信度符合特定的阈值(例如＞80％可信)，基于该推断可采取自动化行动。例如，另外或者可任选地，可执行基于实用性的分析，鉴于与被校正的行动相关的利益，影响采用不正确行动的成本。如果利益超过成本，可采取行动。在508，决定数据的格式是否可接受。如果不是，则在510重新变换数据的格式。如果是，将该信息作为一个丰富的、定制的可视化图像呈现给用户，该可视化图像根据境况、状态或者偏好而变化。

[0082]图6表示与用于产生与报警相关的可视化图像的方法600相关的一个特定实施例。在602，推出或者决定与通信(例如消息、对话、报警、事件)相关的背景。例如，可分析与通信相关的内容(例如通过关键词、MLS技术、分类器、声音的折射、优选权装置……)来协助推出或者决定与通信相关的背景。在604，推出或决定用户背景或状态。在606，推断或决定装置的能力。在608，报警数据被重新格式化，以便其能够根据报警的性质、用户背景或状态、用户角色、认知能力和装置容量来传送。一旦数据被重新格式化来优化其传送和消耗，经格式化的数据传送给绘制装置。

[0083]这样，报警数据被分析和重新格式化，以便协助报警信息向用户和所用的特定装置的优化传递。例如，如果用户在远程位置具有很多环境噪音，仅仅手机可用，报警可作为文本信息传递而不是依赖声音广播(假定过量的环境噪音能够妨碍用户充分解释报警信息的声音传递)。而且，假定与手机相关的限定屏幕真实状态，可删节报警信息以便集中在更相关的语言上(例如报警、位置、时间、地点、状态)。另一方面，如果用户是在办公室内具有宽带连接的多屏幕计算机系统前的，报警信息可以文本、声音、图像、视频、聊天对话等提供，因为在此有更多的资源可利用来传递信息，也提供给用户对报警信息进行反应。

[0084]图7表示方法700的实施例，该方法涉及定制与机器的运行或者机器的交互相关的可视化图像。在702，用户由机器验证。用于验证用户的任何适合方案(例如密码、生物辨识、RFID、声音识别、图像识别、视网膜扫描……)可用于满意地识别对机器要求访问的一位个人。验证行动也能设置与机器交互行动的访问权和特权。在704，推出或决定用户背景或状态。在706，推出或决定用户意图或目标。在708，决定机器运行状态。基于行动702-708，产生了协助用户实现他/她意图中的目标的一个定制的可视化图像。

[0085]该方法允许用户根据对机器的验证得到协助他/她实现目标而产生的丰富的、定制的可视化图像。例如，可以根据手中的任务、操作员角色、操作员偏好、运行的境况、机器状态、访问权、操作员的长处或者弱点、操作员认知负荷、外在因素、任务的复杂度、任务的持续时间、后续的任务等来呈现不同的可视化图像。

用于工业自动化的基于网络的可视化图像混搭(mash-up)

[0086]图8表示系统800的实施例，它根据显示对象(例如网页、窗口、入口网站、视频、图像、文本框、弹出、警告等)混搭而产生定制的可视化图像。通过使用混搭(例如，从不同源收集的信息)，能够产生丰富的定制可视化图像，其允许用户通过公共集成接口从不同源调节信息。该系统800包括混搭部件802，其提供给用户来联系多个不同的源，并将这些源的输出结合成公共接口。例如，用户可指定使用多种来源(例如警告装置、网络健康、工作流程应用、实时视频供给、预报数据、诊断数据、实时机器运行数据、远程网络装置、分析工具、搜索引擎、网络或装置健康监视器、教学源、通信源……)并与产生高扫视接口结合，这有助于通过公共接口使用户接收受基本上全部预期的信息，该公共接口被设计为根据用户需要、背景、偏好、容量等优化信息的消耗。

[0087]数据存储器804能够存储例如源地址、滤波器、分类器、偏好、数据图表、设计层信息、规则、历史数据的信息和其他能够协助混搭的产生和执行的信息。可视化部件806从多个源产生包括信息的混搭可视化图像。

[0088]图9是混搭接口900的实施例的原理图。该接口包括数目P的显示对象、数目M的接口部件、和数目Z的功能性部件(P、M和Z分别是整数值)。显示对象902能够显示不同可视化图像(例如文本、视频、图像、网页等)。该接口部件904为用户提供来与系统、源、装置等互相作用。例如，该接口部件能够包括用于接收用户输入的接口(例如击键、文本、音频、视觉命令、声音、笔输入……)。功能部件906能够是能够执行不同功能的不同功能模块的任何一个。可以理解显示对象、接口部件和功能部件能够随意地结合，或者提供另一个的重叠特征/功能。用户能够设计这些部件902、904、906一起用作公共接口的一部分。

[0089]图10表示混搭接口900的原理图。可以看出，显示对象、接口部件和功能部件的尺寸能够可任选设置，或者动态地调整来优化给定组条件的接口。而且，显示对象、接口部件和功能部件可经过子混搭(sub-mashed)1002来提供与对应结合元件相关的集合的功能性。

[0090]图11表示包括一个连接部件的系统800的实施例。该连接部件1102从不同的源提供了粘接信息，以便从不同源的信息的混搭显示的就像从单个源出来一样。连接部件1102可用来粘接程序变量到外部源的数据。例如，对应或者存储在自动化装置存储器内或者集中数据存储器120内的自动化装置温度可粘接成交互程序中的温度变量320。粘接数据以这种方式使得变化数据的实时更新和显示。多种功能也可粘接来处理接收的数据产生自动化装置的状态、性能和健康的丰富描述，以及提供产生、更新、监视、传输和从包括存储装置和自动化装置中的多个源抽取数据的装置。例如，多个功能可用来监视装置的温度和功率，比较这些值和可接受的值(例如，由生产者通过网络装置提供或者由其自身功能决定)，并产生表示装置健康状态的警告(例如很好、好、不好、危险……)。而且，应当理解，更加复杂的功能可在使用连接部件1102来协助改进执行时间和实时显示中粘接。例如，使用例如贝叶斯(Bayesian)网络等的人工智能技术进行的复杂装置诊断/预报分析可由与数据存储器(例如基于点击接口上的按钮)相关的服务器(未示出)执行，这样的分析的结果连接到一个或多个交互程序变量，然后其用于显示结果。

[0091]图12表示包括缝合部件1202的系统800的实施例。缝合部件1202从不同的源提供缝合数据，以便来自各种源的信息集合就像来自单个源一样显示出来。而且，某些图像或视图可以与其他图像或视图重叠、覆盖、或者集成。缝合部件可动态地合并多个图像来产生全景图或者大图像。在一个特殊方面，缝合元件在分量图像没有精确对准的地方内插形成一个最终图像，该缝合元件1202能够分析例如任何两个序列图像之间的转换和旋转(例如Lucas Kanade方法等)。保持这些图像的稳定，以便每两个图像之间的区别仅在于他们的水平分量。然后由这些图像缝合一张全景图像。这种缝合可通过合并每个图像的一些带域来完成。在一个实施例中，基础图像取自空间中一个相似的点——然后通过匹配图像彼此之间的边缘，将它们设置成典型的球面投影。通常，分量图像的邻接区域在颜色、对比度和亮度上进行匹配，以避免由于在图像之间的易于看到的变化而导致缝合部分容易被注意。

[0092]图13表示包括优化部件1302的系统800的实施例。该优化部件1302协助混搭内的项目或者对象的排列，以优化与所希望的目标或使用相关的混搭。例如，如果某些显示对象使用大量带宽，并减缓全部系统资源，优化部件可修正刷新的频率，或者过滤非相关数据、调整显示对象的大小、关闭显示对象等。而且，优化部件根据已确定或者推断的例如用户偏好、需要、优先权或者目标，能够动态地重定位、重新调整大小、重新定向、显示对象。可以采样一些基于AI的技术来明显地或者隐含地训练优化部件，以便根据特定事件、状态、条件、外部信息、进行中的动作等而自动做出动作。

[0093]就在此所述的示例性方面而言，讨论了根据公开的主题可以实现的方法。然而，为了简化起见，这些方法以一系列方框图示出和描述，应当明白和理解，所声称的主题不限于方框的数目和顺序，因为某些方框可以以不同的顺序和/或与来自在此描述和说明的其他方框一起并行地排列。而且，并非要求所示的全部方框来实现各个方法。应当理解，与不同方框相关的功能可由软件、硬件、它们的结合或者任何其他合适的方式(例如装置、系统、过程、部件)来实现。此外，应当进一步理解，在下文中以及贯穿该说明书所公开的一些方法能够存储在制造过程的一条项目中，以协助传输和传递这些方法给不同的装置。本领域技术人员将理解和明白，一种方法能够可替换地表示为例如一个状态表中的一系列相关的状态或事件。

[0094]图14表示与显示混搭相关的一个方法的实施例。在1402接收显示对象。该显示对象可以例如由用户作为感兴趣的对象识别或选择，该对象可以是搜索结果的一部分、由第三方发送的对象的模板的一部分等。在1404，分析和结合各个显示对象。确定显示对象的属性(例如数据速率、分辨率要求、类型、格式、源、基础代码、兼容性问题和其他可能影响与作为混搭的一部分的其他显示对象进行结合或者整合的因素)。在1406，产生一组显示对象的混搭。该混搭可以是基于管理设置、安全装置、角色、状态等，根据确定的或者推断的用户偏好、需求而配置的即席报表(ad hoc)。

[0095]例如，用户可被要求提供用户名和密码。也可以通过接收一张智能卡来完成认证以便识别用户，或者可利用生物认证。生物认证利用个体独有的物理特性。例如，生物认证可包括但不限制于通过除了其他方式以外的指纹、手掌几何学、视网膜、面部特征(例如2-D、3-D……)、签名、打字模式(例如速度、节奏……)、和/或声音识别来辨识。可以提供用户识别，用户可与基于单个用户、群组会员、或职位(例如管理员、经理……)的具体证书相匹配。该证书能够规定用户能够获得的、或者可替换阻止接收的信息的类型、等级和/或种类。

[0096]在1408，做出关于伴随混搭的冲突是否存在的一个决定(例如，循环引用、数据或代码不兼容、系统资源/容量不匹配、与共同协议、伦理、安全……不一致)。如果冲突存在，在1410，解决冲突并重新产生混搭。如果没有冲突存在，在1412，显示产生的混搭，并使它可以使用。

[0097]图15表示与扩大已有混搭相关的一种方法。在1502接收或访问一个混搭。在1504，识别、提供、选择或检索一组新的显示对象。在1506，该组新的显示对象与已有的混搭相整合。在1508，关于是否通过增加该组新的显示对象而产生冲突而做出决定。如果是，解决冲突并且在1510重新产生混搭。如果没有存在冲突，在1512显示扩大的混搭并且使得它可以使用。

[0098]应当理解的是，新的显示对象可以是另一个混搭的一部分，并且在1506，新的混搭可与已有混搭相整合。因此，在1502，该组新的显示对象可从第三方(例如e-mail)、文件共享等接收。如果接收器不具有合适的证书，可执行防止特定显示对象执行的安全措施。同样地，可以由混搭的作者授与限定的访问权。例如，可以基于终止期授与访问权。

用于保存或增加工业自动化环境中与缩放和平移相关联的分辨率和数据的可视化系统和方法

[0099]图16显示了一个系统1600，该系统根据显示区域的放大或缩小、或跨越显示区域的平移来调节分辨率。工业控制环境中的常规显示系统通过使用稀疏图像(例如对图像尺寸的一个最低限度的接近)努力实现系统资源效率，以便最大化系统资源(例如处理资源、带宽、数据流量、刷新频率等)的利用以及协助系统速度和响应。尽管前述市场力量驱使系统使用轻质/稀疏图像，但是在此所述的主题在审慎地利用系统资源的同时提供了高分辨率的图像。

[0100]提供了涉及工业自动化环境的稀疏图像，并且这些图像被逐像素映射到其高分辨率的对等物上。传统上，当用户在稀疏图像的一个区域上缩小(或放大)时，区域变得模糊，或者出现分辨率损失。然而，根据在此所述的创新，当用户在逐像素映射到其高分辨率的版本的图像的一个区域上缩小时，对应于焦点之下的区域的数据被流到与映射到它的各个像素相一致的显示区域，并且图像区域的分辨率可以被扩大、保存或提高。高分辨率图像数据存储在一个远程位置，当客户端装置上的一个区域缩小时，根据缩放和被扩大区域的等级，该远程位置的数据流入客户端装置。因此，当用户在图像的特定区域上缩小时，不是图像变得颗粒状或者模糊，而是由于流向用户的图像数据利用更多的图像数据补充感兴趣的区域，图像保持或增加了分辨率。

[0101]在图16中，参考部件1602确定或者推断用户的注意力集中点，或者显示区域缩放的等级和速率。分辨部件1604从参考部件1602接收参考信息。普通的图像数据可以例如存储在本地数据存储器1608；然而，当用户在图像或者显示区域内改变参考点时，分辨部件能够确定填补当前可用的图像数据所需要的附加图像数据量，以便来扩大、保存或增加感兴趣区域的分辨率。附加的图像数据(以及其他数据，例如广告、支持文档……)能够由存储图像数据高分辨率版本的主数据存储器1610提供。可视化部件用附加图像数据来填补已有的图像数据，以便产生丰富的视图，当用户在感兴趣的区域进行缩小时，该视图动态地保存图像分辨率。

[0102]图17表示包括境况部件1710的系统1600的一个实施例。境况部件1710协助确定或推断用户状态、目标、意图等。这种用户境况的认知帮助分辨部件1604识别提高用户可视化体验请求的附加数据子组。例如，如果用户正在观察一个泵，并确定该泵正在泄漏，当用户放大与泄漏相关的区域时，用户的目标是锁定该泵，分辨部件可以请求可能与泄漏有关的泵的相关区域的图像数据，并且滤除无助于诊断和理解问题的图像数据。

[0103]图18描述了包括一个搜索部件的系统1600的实施例。用户能够键入一幅图像(例如电动机7685号)的查询，并且会发现所请求的项目的图像。除了发现稀疏图像呈现之外，可以识别作为先验知识的补充数据，它有助于数据流向用户。例如，如果用户键入一个焦点查询例如<电动机7685号密封垫>，初始的搜索结果可以包括该电动机的稀疏呈现以及具有密封垫高亮显示的区域。用于电动机密封垫的图像数据可能已经被预识别并可选择地被预缓冲，这样当用户移向一个特定密封垫区域时，在提供与该密封垫相关的图像数据方面，可提供快速的响应时间。

[0104]图19是描述与实施例相关的高层次方法的流程图。在1902，根据工业自动化环境中的图像数据的操作员视图的参考做出决定或推断。识别一幅初始观察到的图像，确定关于缩放等级的坐标、观察的区域、映射到视图的各自坐标的像素。当用户改变关注的焦点(例如缩小、缩放、平移)时，在1906根据增强可视化体验的缩放或者平移等级，将数据流向用户。例如，可以流入附加的图像数据来扩大、保存或增加感兴趣区域的分辨率。同样，使得第三级信息可以利用(例如，当用户移近密封圈，关于密封圈或者到相关信息链接可以利用)。因此，图像数据不仅是逐像素映射到相应的图像数据位，还可以根据境况映射到与图像数据相关的信息或信息源。

[0105]图20是描述与另一个实施例相关的高层次方法的流程图。在2002，根据工业自动化环境中的图像数据的操作员视图的参考做出决定或推断。识别一幅初始观察到的图像，确定关于缩放等级的坐标、观察的区域、映射到视图的各自坐标的像素。当用户改变关注的焦点(例如缩小、缩放、平移……)时，在2004分析缩放和平移等级，在2006做出关于用户状态、背景、意图、目标等的决定或推断。根据对境况的分析，在2008滤除和选择附加的相关数据。在2010，被选择和滤除的附加数据流向用户来扩大、保存或增加分辨率等级。

[0106]图21和图22表示前述分辨率特征的一个实例。对在工厂内具有一些控制问题的电动机做出查询。电动机2102的图像对用户可用。该图像是被逐像素映象到附加图像和附加数据上的电动机的稀疏呈现，这些附加数据从绘制电动机图像的本地计算机进行远程存储。当电动机具有控制问题时，用户就关心查看与电动机相关联的控制装置方面。用户被引向控制电路所在的区域2104。该区域可以高亮显示，被称为“控制电路”以协助用户很快地集中在感兴趣的图像区域。当用户开始在区域2104上移近时，对应于感兴趣的区域的数据随着缩放而流向用户。由于电路封闭在壳体内，可以确定或推断用户希望查看该控制电路，在壳体内对应于控制电路的图像数据流向用户。

[0107]图22表示壳体内电动机的控制电路2204的高分辨率图像。因此，分辨率部件1604不仅可以请求对应于正在查看的实际图像数据的信息，而且还可请求其他类型的数据(例如对应于X射线型的图像的数据，这种图像提供用于查看墙壁后面或者固体表面后面的项项目的图像)。此外，可以使得其他信息2206(例如文档、数据日志、设计书、故障排除向导、URL等)用于用户以提高可视化体验以及获得目标(例如锁定与电动机相关联的控制问题，并使其在线返回)。

在工业自动化环境中根据境况和状态信息动态产生实时视频可视化图像

[0108]应当认识到，静态图像数据和实时图像数据都可以利用。例如，在图23中，示出了系统1600的一个实施例，该实施例包括观察部件2302和一组摄像机2304。观察部件2302从多个视角(例如通过一个或多个摄像机2304)提供对一个对象(例如机器、过程线路、工人、传送器、工作站、泵、电动机控制中心、驱动器、现场装置……等等)的查看。实时图像可服务于一个用户，该用户能够从多个角度围绕对象进行操作。当用户放大或缩小一个图像区域时，分辨率部件1604可以协助调整分辨率的等级。

[0109]图24表示包括一个转换部件2402的系统1600的另一个实施例。转换部件2402提供了从一个摄像机视图到另一个的无缝转换。例如，当确定当用户在对象上进行缩放时，另一个摄像机应当被切换以便继续查看对象，在作为主要图像源的摄像机进行切换期间，转换部件2402能够从其他摄像机预先取得图像数据并且将其缝合到先前摄像机的图像数据上，反之亦然，以便实现从一个摄像机到另一个的无缝转换，这样用户不会意识到当前正在使用一个不同的摄像机。换言之，转换部件2402和摄像机2304的使用以提供了沿着多个轴线和平面围绕对象的旋转，这种方式产生了一种连续的并且平滑的图像查看，例如，当一个人围绕一个对象行走并且在横移过程种不断观看该对象时。

[0110]图25表示根据平移一个对象时使用实时图像数据的方法。在2502，确定操作者查看索引，或者确定或推断所希望的视图。在2504，分析缩放和平移的等级。根据分析，在2506选择用作视频源的一个最适合的摄像机。在2508，根据操作员状态、意想的或希望的视图、平移、缩放等的变化，做出是否应该切换摄像机的决定。如果否，则此过程继续使用同一个摄像机。如果是，在2510，选择一个新的摄像机用作视频源，并且将来自两个摄像机的图像数据缝合到一起以协助到一个新摄像机的转换。

用于共享工业自动化数据的可视化图像的协作环境

[0111]图26表示协助工业自动化环境中促进实时视觉协作的系统2600。在工业自动化环境中，很多装置具有显示器和相关配置。典型地，各个显示器与数据源以及各自的显示器驱动器和视频卡相关联。为了最大化可视化体验，这种系统设计的独立和垂直设计结构产生了靠近有关的装置和显示器的需要。通过提供可共享和连接多个显示器的丰富的协作环境以提供一种促进图像数据的共享以及工作空间环境的可视化环境，系统2600减少了与常规显示器架构相关的不利因素，该工作空间环境使得位于远程位置的多个个体彼此能看到并且在一个协作的工作空间内处理相同的项目。

[0112]协作部件2602接收指令和请求启动与另一个用户、机器或显示器的协作。协作部件提供多个用户、机器或显示器的连接，以便经由观察部件2604和可视化部件2606来产生公共视图或工作空间。例如，如果装置具有显示器(它是X个显示器2608中的一个，X是整数)，多个用户希望并行地浏览视图并且与后续进行的事件进行交互。协作部件2602识别希望结合显示器进行协作的用户。观察部件2604选择相关的显示器，并用作显示器的代理。显示数据由观察部件多路传输，以便M个用户(M是整数)可以看到作为可视化部件2606产生的一部分可视化图像的显示。数据存储器2610可以结合协助建立一个协作会话来存储数据、代码、列表、映象信息、地址等。

[0113]在另一个实例中，多显示器可以被动态地访问并作为共享工作环境的一部分来浏览。用户1(具有显示器1)可以与用户10(具有显示器10和11)分享他的显示器，反之亦然。观察部件2604允许用户无缝地指定感兴趣的显示器并向这样的显示器提供并行访问。用户的显示器能够用作显示投影相关显示器上的信息的瘦客户端。多个显示器视图可作为混搭或者通过独立入口视图来显示。

[0114]图27表示包括一个可视化部件2702的系统2600的实施例。应当认识到，多个人写入到一台公共实时显示器是有问题的并导致输入冲突和其他问题。可视化部件2702提供与协作努力一致的可视化工作空间的产生。例如，如果多个用户正在从不同位置对一个装置进行故障排除，并观看/交互于该装置的公共显示器，该可视化部件可产生相应于该装置的可视化工作空间以用于对话、可视化的输入，如果通过输入产生了一个冲突，他们会面对无法进行实时输入的情况。在将所列条目对应到真实世界事件之前，可视化工作空间可执行一段延迟，这样有助于缓和冲突。而且，可视化工作空间能够提供用于协作的增加的功能(例如对话空间、便条提取、日志信息、电话会议、视频会议、网络会议等)。

[0115]可视化部件2702还可以产生个人和装置的化身以促进虚拟环境中的协作。例如，如果用户1希望与故障排除问题有关的用户15或用户20参与其中，他可以浏览用户15和用户20当前状态的一个虚拟呈现。如果用户15的化身在开会，而用户20的化身表示可用，用户1可以向用户20的化身发送消息，并且使客户20参与到协作故障排除相关的努力中。

[0116]图28表示系统2600的实施例，其中X个多重用户(X是整数)能够通过各自的显示器2608彼此协作，并可视化地共享关于多个区域2804以及外部数据2806的信息。各个用户能够向其他用户移交控制、显示其他用户正在他们显示器上显示的内容、在虚拟工作空间内一起工作以及使得各自的区域信息对另一个可用。系统2600产生了允许信息无缝地共享的丰富的网状网络。然而，应当认识到，可以执行防止非授权个体访问特定信息的安全策略和协议。例如，信息可以随着用户角色、需要、批准、或者授权的变化而被过滤、阻止、分析等。

[0117]图29表示与用户和装置的协作相关的高层次方法。在2902，识别希望、被要求、或者需要进行协作的用户或机器。该识别可以根据用户选择、请求、事件等而变化。而且，可识别对一个或多个用户的感兴趣的信息，而不必提示或请求这些来自于用户的兴趣信息。通过匹配用户的位置、境况、和/或具有该位置的角色和/或被监视的装置/设备/系统的状态，该推断可以是基于身份、角色、位置和/或基于生产设施中的文本。用户识别可利用多个识别技术来执行，所公开的方面不限制于任何已知的技术。基于用户识别，用户信息得以检索，并且包括境况信息和/或历史信息。还可以获得关于相关的装置和/或设备的实时数据。

[0118]在2904，建立了用于协作实体的一个公共视图。根据用户兴趣是否匹配获得的装置和/或设备信息来做出决定。例如，基于用户的境况和/或历史信息，做出用户对工业设置的一个特定区域内的装置/设备信息感兴趣的决定或推断。如果决定或推断是用户最感兴趣的信息，则信息通过公共视图提供给一个或多个用户。应当理解，不止一个用户大体上可以收到识别信息或者基本上同时收到不同的信息。应当理解，这种动作可以是递归的，以便任何数量的装置/设备可以用于信息的轮询。而且，应当认识到，可以结合可选择的方面来使用装置/设备的自动和/或动态轮询。例如，通过推断用户对这样的信息的兴趣，可以将系统配置为自动地轮询和/或动态地报告装置/设备信息。

[0119]在2906，决定或推断所希望的或合适的工业自动化可视化图像，在2908，产生协作可视化图像，或者工作环境以用于浏览数据或利用感兴趣的数据进行工作。

[0120]转到图30，示出了一个示例性显示器3000，该显示器绘制了图1的可视化部件106。应当认识到，单独地提供显示器3000有助于本主题公开的各个方面的清晰性和理解，因此无意以任何方式限定本主题发明。显示器3000包括基础呈现3010，该基础呈现包括连接到一个第一阀门和一个第一泵的两个罐体以及一个混合器、电动机、一个第二阀门和一个第二泵。基础呈现3010还包括与识别电动机温度和速度的电动机相关联的两个量计。如图所示，基础呈现3010没有占据他们的整个显示区域而是集中在中部，提供一个自由空间的边缘。除了基础呈现3010之外，还显示了提供相关或指定场景的信息的各种项目3020-3025。项目3020和3021是历史信息的图表，项目3022提供了关于电动机振动分析的信息。例如，项目3023表示对于相关联的泵需要引起注意，项目3024表示只要选择该项目，就可以得到帮助信息。项目3025是关于基础呈现3010的细节的微缩呈现。根据本发明的一个方面，项目3020、3021、3022和3025叠加在显示区域上并沿基础呈现的边缘而布置。这种布置是有利的，至少因为它不会使基础呈现3010提供的信息模糊。相比之下，项目3023和3024完全叠加在基础呈现3010上，但是足够小以至于没有覆盖提供在附近的任何对象。

[0121]用户可以与任何显示对象进行交互，这引起显示上的变化。例如，如果用户选择或者识别项目3025，将产生图31的显示3100。如图31所示，接口系统更新基础呈现3110以表示所选择的信息并自动地叠加与被更新的显示3100相关的新的、指定场景的信息。具体地，显示了项目3110、3120和3130。例如，项目3110提供关于一份班组生产报告的信息，项目3120证明当选择的时候，帮助是可以用于显示的。项目3130是图30的先前基础呈现3010的微缩版。通过选择叠加的项目3130，用户能够返回先前的基础呈现3010。

[0122]现在参考图32，示出了在工业自动化环境中用于动态地向一个或多个用户呈现感兴趣的信息的系统3200的一个实例。系统3200包括信息检索部件3202，该部件配置用于获取关于系统3200的一个或多个用户的信息、与该一个或多个用户、一个或多个装置和/设备相关的历史的和实时的信息。该信息检索部件3202能够进一步设置为做出是否信息应当呈现给该一个或多个用户的决定或推断。

[0123]一个或多个用户(以用户1至用户Q显示在3204)，能够物理地和/或虚拟地(例如远程地)相互作用于系统3200和/或通过其进行操纵，其中Q是等于或大于1的整数。当该一个或多个用户3204与系统3200相接触时，信息检索部件3202获得、接收、请求等关于每个用户3204的信息。可使用识别每个用户3204的装置，例如唯一的用户名和/或密码。在其他方面，系统3200可以使用可替代的识别装置，例如利用个体独有的物理特性的生物认证。应当认识到，可以利用系统3200实现多个识别方案并且所有这些更改和变换意在落入详细的说明书和所附权利要求的范围内。

[0124]通过利用用户识别，信息检索部件3202可以确定和/或追踪每个用户3204的境况。这种信息可以从一个或多个数据库或其他包括用户/角色境况数据部件3210和/或用户/角色历史数据部件3212的存储/检索装置中检索。例如，当涉及到特定用户时，每个用户的境况可以是角色、位置、责任、授权程序、感兴趣的范围或者区域、活动等。

[0125]信息检索部件3202可进一步设置为存取来自于一个装置/设备境况部件3214和/或包括涉及一个或多个装置和/或设备的数据的装置/设备历史部件3216的历史数据3206。例如，包括在自动控制系统中的装置和/或设备的信息可以包括被维护的和/或被存储的多个信息。被维护信息的实例包括逻辑的和/或物理的位置、运行状态、对不同的用户和/或用户角色感兴趣的其他类型的信息。例如，因为每个用户的不同角色和每个用户怎样/为什么与系统3200相互作用，自动控制系统的操作者相比于比测试者和/或维护用户可能具有直接的兴趣范围。信息检索部件3202进一步设置来更新历史数据3206。

[0126]信息检索部件3202还可以配置为同与系统3200相关联的涉及装置和/或设备的实时数据3218进行交互。一个或多个装置(标记为装置1至装置T)，和/或一个或多个设备，(标记为设备1至设备L)，可用于监测状态信息，其中L是整数。例如，实时数据可以包括装置/设备的运行状态(例如关闭、打开、运行……)，每个装置/设备的当前阶段或过程(例如正在运行、正在执行代码行……)。

[0127]信息检索部件3202做出用户3204是否对涉及特定装置/设备的信息感兴趣的决定，并能够产生两组信息(历史3206和实时3218)之间的映象和/或连接，并识别或推断与用户当前位置和活动相关的信息。例如，如果存在关于一个装置和/或一件设备的报警，基于用户境况，可以为用户呈现涉及这些报警条件的信息。如果用户境况和/或历史信息表示用户3202对特定装置和/或设备不感兴趣，信息检索部件3204不会向用户呈现这样的信息。基于获得的用户角色、境况、历史、和其他信息以及装置/设备境况、历史、当前、和其他信息，可以做出这种决定。如果做出一个或多个用户3204会对这些信息感兴趣的决定，那末将信息呈现给一个或多个对这些数据感兴趣的用户，如3210所示。

[0128]通过实例但并且非限制，如果操作者正工作在酿酒厂的装瓶区域，系统3200能够自动地为操作员呈现关于操作员所在的区域内的装置和/或设备的当前运行状态的信息。类似地，如果一个维护工程师当前正在相同个区域工作，系统3200可以为那个用户几乎同时地呈现关于所在区域的装置和/或设备的维护状态的信息。另外或者可选择地，可以为工作在相同区域的电工呈现关于不同装置和设备的信息，具体地，那些与厂区内的电气系统相关的信息可以几乎同时地呈现给操作员和维护工程师。

[0129]图33和34表示根据在此描述的一些方面的可视化图像。多个可视化图像3302呈现在可视化屏幕的底部。当用户选择、或者悬停在一个特定视图上时，更加详细地并且可选择地与实施数据一起显示对应于该视图的显示对象3304。例如，在这些图中显示了一个混合和凝聚可视化应用。用户选择对应于过滤室活动的一个具体缩略图视图，当它应用到该混合和凝聚应用时，提供显示对象3304以呈现关于滤波室活动的细节。在图34中，选择一个不同的缩略图视图并呈现对应于该混合和凝聚应用的Loop 1的显示对象3304。

[0130]应当认识到，主题可视化方案使得用户能够快速地选择不同的可视化图像(经由缩略图视图3302)和与该应用相关联的对应功能。因此，可观察到多维可视化图像，从而在相对短的时间内(例如几秒或者几分钟)为用户提供大量的信息。

[0131]图34-41展示了根据在此描述的各个方面的界面实例。在图35中，示出的半透明仪表板3502可叠加在其他显示对象上，以可扫视的方式向用户提供信息。例如，将仪表板3502显示为一系列对应于一组关键绩效指标(KPI)的量计。颜色以及数字和标度盘的使用使得用户能够快速地收集与项目、过程、装置、产品等的状态或性能相关的信息。图36展示了提供KPI信息——这种信息子集的界面的实例，这种信息可以通过仪表板3502提供。图37展示具有仪表板覆盖3702的界面3602。仪表板3702不仅提供浏览KPI信息，而且提供快速访问附加信息(例如下钻查询数据的子集)。图38展示了通过从仪表板3702下钻查询产生的一个界面3802。界面3802提供了过程趋向数据的视图。图39展示全体工作人员执勤表3902，该表可以作为通过仪表板3702钻入查询结果而被检索。类似地，图40展示了可以呈现的质量和符合性覆盖。生产事件、报警事件、质量事件、过程趋向、规格界限或者其他信息可以呈现在图41中所示视图4102中。

[0132]如可以理解的那样，覆盖层可利用多个数据源、境况和内容开关，并以丰富的覆盖视图集成与之关联的数据，该视图使得用户能够快速地吸收大量的信息。用户的认知负载可以结合最合适的覆盖相比较地进行呈现。而且，可以结合覆盖视图的产生，采用用户权利、角色、状态、目标、意图作为因子，来帮助用户获取或者理解复杂的数据，其方式为在被考虑的因素的情况下促进获取最终目标。因此，基于效用的分析可用在与产生呈现或者覆盖或其子集相关的成本与相关的利益进行权衡的地方。另外，历史数据、用户偏好、MLR系统可用于协助自动地呈现覆盖，这些覆盖在一组迹象的情况下被视为或者被推断为最适合的。

工业自动化环境中工作流程的可视化

[0133]图42示出了一个系统4200，该系统协助产生与实时或静态工作流程信息相偶联的工业自动化环境的一幅丰富的可视化图像。如前面所提及的，在工业自动化环境中产生可视化图像与在一般目的的计算环境中的这种做法很不相同。例如，这两种环境之间的停机时间和等待时间容忍度大不相同。个体在一般目的的计算环境中可以容忍一个适当的频率锁定、图像延迟等；然而，在工业自动化环境中即使是几秒的停机时间将导致收入上的巨大损失以及在工厂内产生危险的情况。因此，市场力量已经规定工业自动化环境内的HMI系统保持轻的重量、快速、计算量小，并因此健壮。与工业自动化领域的常规原理相反，在此描述的创新提供了高复杂度和成熟的HMI系统，该系统减少了停机时间，比较健壮，而且有助于最大化工业自动化环境中操作员的体验。

[0134]可以设想可视化系统4200能够形成人机接口(HMI)的至少一部分，但并不限于此。例如，可视化系统4200可用于帮助观察和与数据进行交互，这些数据与自动控制系统、一些装置、和/或构成生产环境一部分的相关联的设备(在此统称为自动化装置)相关。而且，可以同时呈现相关联的工作流程信息以向用户提供对生产状态和经营状态是如何相互依赖的一个深入理解。可视化系统4200包括接口部件4202、境况部件4204、可视化部件4206、工作流程部件4208和数据存储器4210。

[0135]接口部件4202接收关于被显示的对象和信息的输入。交互部件4202能够从用户接收输入，其中用户输入可对应于对象识别、选择和/或与其相互作用。可使用不同的识别机制。例如，用户输入可以是基于鼠标、触笔或者跟踪球的定位和/或点击，和/或关于被显示信息的键盘或小键盘上键的按压。而且，显示装置可以是一种触摸屏装置，以便基于触摸图形对象做出识别。还可以设想其他的输入装置，包括但不限于姿态检测装置(例如指点、注视……)和声音识别。

[0136]除了对象和信息选择之外，输入可以相应于数据的输入和修改。这种输入可以对显示和/或自动化装置产生影响。例如，用户可能改变显示格式、颜色等。另外或者可选择地，用户可以修改自动化装置的参数。通过实例但并非限制，可增加、降低、或者停止传送电动机的速度。应当注意，输入不必单独来自于用户，也可以由自动化装置提供。例如，除了其他信息外，还可提供关于被显示装置的警告、报警和维护计划信息。

[0137]其他应用和装置(例如企业资源计划(ERP)系统、财政应用、库存应用、诊断或预报应用……)也能向接口部件4202提供信息。

[0138]境况部件4204能够检测、推断或确定关于实体或应用的境况信息。这些信息可以包括但不限于实体的身份、角色、位置(逻辑的或者物理的)、当前行为、与自动化装置的类似的或先前的相互作用、涉及包括控制系统、装置和关联设备的自动化装置的境况数据。装置境况数据可以包括但不限于逻辑的/物理的位置和运行状态(例如开/关、健康/故障……)。境况部件4204能够向可视化部件4206提供确定的、推断的、检测的或者在其他方面得到的境况数据，该可视化部件可以与决定显示哪一个基础呈现或项目相关联地使用这样的数据以及使用各自的格式和位置。

[0139]通过实例，当一个实体使用可视化系统4200(物理的或虚拟的)时，系统4200能够确定和追踪他们的身份、他们的角色和责任、他们兴趣/责任的区域或范围以及他们行为。类似地，系统能够保存关于组成自动化控制系统的装置/设备的信息、例如逻辑的/物理的位置信息、运行状态的信息和对不同的人/角色感兴趣的信息类型。然后该系统能够在两组信息之间产生映射/链接，并因此识别与用户当前位置和行为有密切关系的信息。

[0140]接口部件4202还可通信地连接到可视化部件4206，该可视化部件可以产生、接收、检索或者在其他方面获得生产环境的图形呈现，该生产环境包括一个或多个对象(特别是指装置)、涉及装置(例如量计、温度计……)的信息和呈现本身。根据一个方面，由可视化部件4206提供的基础呈现可以构成一个被完全绘制的显示的全部或一部分。除了基础呈现之外，一个或多个项目可构成可视化图像的一部分。

[0141]一条项目是一个图形元素或叠加在基础呈现的至少一部分或者在基础呈现边界之外的对象。项目可以提供感兴趣的信息并可以对应于除其他信息之外的图标、缩略图、对话框、工具提示和控件。该项目是透明的、半透明的、或者不透明的，可以是不同尺寸、颜色、亮度等以及可以是生动的，如淡入和淡出。图标项目可用于与所呈现的信息类型相通信。缩略图能够用于呈现信息或实质内容的概图。缩略图和其他项目可以是微缩的但是信息的呈现是清晰的，并且可以进行静态或动态地更新。例如淡出和淡入效果可以用于增加或移除叠加的信息而不明显地转移用户注意力。此外，项目可以逐渐地变得更大/更小、更亮/更暗、更加透明/不透明或改变颜色或位置来吸引或多或少的用户注意力，从而表示增加或减少由此提供的信息的重要性。项目的位置还可用于传送一个或多个相对于用户但前位置或视角的装置的位置、任务序列中的一个当前任务的位置或索引、对于一个先前观看过得呈现或者视图进行向前或向后导航的能力等。用户还可以例如通过接口部件4202对这些不同呈现技术的使用/意义来执行一些控制措施。

[0142]如果希望的话，用户可以通过多种选择方法或机构(例如点击、悬停、指点)来将他们的注意引向一个或多个项目。在此情况下，被选择的信息或者提供这些信息的项目在呈现中变得突出，允许用户在所有细节上观看和与其相互作用。在一些情况中，该信息可以从静态到激活/随选择动态地更新。当呈现的焦点以这样的方式变化时，不同的信息可变得更加有趣/无趣，或者根本不再令人感兴趣。因此，当用户选择新视图时，可更新基础呈现和提供感兴趣信息的一个或多个项目的组。

[0143]数据存储器4210可是任何适合的数据存储装置(例如随机存取存储器、只读存储器、硬盘、闪存、光学存储器)、关系型数据库、介质、系统或它们的组合。该数据存储器4210能够结合在此描述的执行一些功能的可视化系统4200来存储信息、程序、AI系统等。例如，可以将专家系统、专家规则、训练的分类器、实体配置文件、神经网络、查找表等存储在数据存储器4210中。

[0144]工作流程部件4208将工作流程信息连接到如下文所示的工业自动化。可视化部件4206因此呈现出了工业自动化环境的视图以及工作流程信息对应部件。

[0145]图43展示了可视化系统4200的一个具体实施例。境况部件4204包括一个AI部件4302和一个状态识别部件(状态识别器)4304。AI部件4302能够利用人工智能的原理来协助自动地执行在此所述的各个方面(例如转换通信会话、分析资源、外部信息、用户状态和偏好、风险评估、实体偏好、优化的决策……)。AI部件4302能够可选择地包括一个推断部件，该推断部件可以部分地利用基于推断的方案进一步提高AI部件的自动化方面，以协助推断在给定时间和状态中将要执行的意图动作。本发明基于AI的一些方面可以通过任何合适的基于机器学习的技术和/或基于统计的技术和/或基于概率的技术来实现。例如，考虑使用专家系统、模糊逻辑、支持向量机器(SVM)、隐马尔科夫模型(HMMs)、贪婪搜索算法、基于规则的系统、贝叶斯模型(例如贝叶斯网络)、神经网络、其他非线性训练技术、数据融合、基于效用的分析系统、采用贝叶斯模型的系统等，并意在使其落入所附权利要求的范围内。

[0146]状态识别器4304能够识别或确定可利用的资源(例如服务提供者、硬件、软件、装置、系统、网络等)。决定或推断状态信息(例如执行的工作、任务、目标、优先权、境况、通信、通信要求、位置、当前使用的资源、可用资源、偏好、预期即将来临的实体状态上的变化、资源、环境的变化等)。给定所确定的或者推断的状态和识别的可用资源，就是否从当前组资源向另一组资源转换可视化会话而做出一个决定。该决定可以包括基于效用的分析，此分析将进行转换的成本(例如保真性的丢失、信息的丢失、用户困扰、中断对话、混扰工作流、增加停机时间、产生危险、导致混乱，实体没有完全的处理当前组信息并且要求更多的时间灯)相比于潜在的利益(例如，更好质量的服务、用户满意度、节省资金、产生与一组新的资源相关联的可用的增强的功能、工作流的优化……)来构成因素。该决定还包括成本效益分析。可以通过例如电源消耗、计算的或带宽的代价、损失的收入或产品、未充分利用的资源、操作者受挫……这样的因素来衡量代价，可用通过例如服务质量、数据速率、待机时间等这样的因素来衡量利益。可以基于概率分析做出决定，其中如果置信度较高，则启动转换，如果置信度较低，则不启动转换。如上所述，基于AI的技术(包括机器学习系统)可以结合这些决定或推断来使用。可替换地，可以使用更简单的基于规则的过程，其中如果某些条件得到满足，将进行转换，如果否，则不启动转换。产生决定的转换可以自动地、半自动地或者手动地执行。

[0147]图44是表示结合一个实施例的一个具体系统4400的高阶层图。应当理解，系统4400可以根据工业自动化系统来提供与产生ERP或者工作流程可视化图像相关的接口部件4202企业资源计划(ERP)信息。系统4400包括多个机器4410(MACHINE₁至MACHINE_R(R是整数))，这些机器的至少一个子集可操作地以一种方式联接，以便在彼此之间以及与主计算机4420和多个业务部件4430进行数据共享。机器4410包括相应的诊断/预测部件4432，该部件提供收集和/或产生与这些机器的历史的、当前的和预测的运行状态相关的数据。应当理解，该多个机器可共享信息并且相互协作；应当理解，这些机器不必相同。而且，机器4410中的一些可包括可以具有分离传感器、寿命评估等的子系统或低级部件。例如压缩机可由电动机、泵、压力室和阀门构成。电动机部件可包括具有嵌入传感器的智能轴承来预测轴承寿命。

[0148]可以基于期望的需求或者工作量或者未来工作量或需求的一个概率估计来确定所预测的机器运行状态。同样地，所期望的环境(例如温度、压力、振动……)信息和可能预测的危害信息可在建立系统的所预测未来状态中进行考虑。所不希望的系统未来状态可通过控制中的合适变化来避免或延迟，同时获得所要求的运行对象并优化已建立的运行和业务对象。而且，应当理解，可以整合与子组机器的数据相关的数据以便提供与群集机器相关的数据——群集数据可提供额外的对整个系统性能和优化的理解。群集可以代表子系统或者机器或函数的逻辑分组。这种分组可优化为过程实体的一个集合。群集可以通过改变运行需求、机器状况、或者业务对象动态地变化。主计算机4420包括企业资源计划(ERP)部件4434，它协助分析机器数据以及与业务关注部件4430(效用部件136、库存部件138、过程部件140、核算部件142、制造部件144……)相关的数据。这些数据被分析并且主计算机120执行不同优化程序来识别不同部件的配置，以便地向所希望的业务对象更接近集中。例如，假定当前业务对象将以准时化(JIT)方式运行，并减少成本以及满足顾客需求。如果库存部件138指示已完成的商品库存等级在期望等级之上，ERP部件134可能基于来自效用部件136和机器部件110的数据来确定，在当前业务目标的前提下，运行60％机器而90％是最优的，这会引起机械诊断，该诊断表明我们可以将下一个计划的维护向下扩延另外四个月以减少维护作业和修理部件成本。由于以一种减少的作业率运行机器，这还将导致在预测的周期时间内过多库存的减少以及导致与较少功率消耗相关联的整体节约，以及增加机器的期望寿命。

[0149]应当理解，用于机器运行的优化标准可结合到预先的设备选择和配置活动中——这能够为运行的控制提供附加的自由度以及提供增加的实时优化的机会。

[0150]维护、修理、和大修(MRO)活动通常地与控制活动相互独立执行。这些功能之间的相互作用和协作典型地限于运行调度的区域并且在较小程度上限制在设备采购中——两者都关心最大化处理机器的产出率。来自MRO系统以及机器控制和生产系统的信息是相关的并且能提供有用的信息来提高处理设备的产出率。本主题发明利用实时的自动控制来利用通过紧密结合机器健康程度(例如诊断)和预期健康程度(例如预测)信息实现的机会。具体地，处于反馈控制下的系统闭环性能提供了应答性指示，并且间接地，提供了处理设备和处理操作的健康。更重要地，改变系统在特定限制中是如何受控以来改变机器老化的速度或者应力，这是可能的。通过使用实时诊断和预测信息，可以结合改变机械的未来状态来使用本主题发明。在给定用于机器和过程的当前运行状态的情况下，本主题发明能够驱动一个或多个机器110在将来的某个特定时间获取规定的运行状态。如果一个人没有基于机器健康信息改变控制，未来的运行状态可以被指定为一个将要进行的增强的状态。而且，获得的将来状态在某些方式可能是最优的，例如机器运行成本、机器寿命、或者例如故障前的平均时间。特定机器的所指定的运行状态可以是次优化，然而，作为整个系统100的一部分，系统范围的运行状态对于在能量成本、收益产生或资产利用方面可以是最优的。

[0151]例如，参考以下表I

电源/控制技术	直线功率-利用节流阀的控制流量	驱动功率-通过电动机速度控制流量
			全流-功率流量：75gpm(无限定的流量)	1.07kW	1.13kW
降流-功率流量：45gpm(限定的流量)	.881kW	.413kW

表I

[0152]以上数据展示了在全流和降流条件下的电动机泵系统的能量利用。利用可变速度驱动器可以获得所示的流速状况以控制电动机速度并因此控制流速(第1列)，，并且电动机利用一个用于控制流速(第2列)的节流阀直接从功率线运转。在降流情况下所估计的驱动功率能量节约为.468kW-关于驱动功率是53％的能量节省。要求以不同预定水头压力、液位、流速、或扭矩/速度值运行的泵送应用可以使用变速电动机驱动器来有效控制。使用用于泵送应用的变速电动机控制器的益处被很好地建立，尤其是对于一些不能一直全流运行的泵。事实上，用于测试与表I的数据相关的变量驱动器具有用于风扇和泵应用的用户可选择工厂设置，尽管这些优化设置并不用于在此所通报的能量节省。除了能量节约以外的益处包括改进的机械可靠性、减少的部件磨损、以及例如分流器和阀门等各种管装部件以及避免过流或者欠电流运行的机械保护的潜在削减。如我们已在表I种所见的那样，典型地以或接近全同步速度以及以恒定速度运行的泵不会实现节能。要求以不同流速或压力进行泵运行的处理条件(或被允许在过程约束范围内改变运行)是实现如我们所示的充分节能的候选方案。如果仅是偶尔需要最大产出，指定液压系统和关联的控制以根据每一模式所用的时间优在整个范围上来优化性能，这也是有益的。在此情况下，指定液压系统以不同的速率等级运行的时间是有必要的，该运行等级与在每一等级上的产出和运行成本相关联。

[0153]尽管在此主要讨论了与电动机速度相关的机器控制，但本发明不应理解为具有限定于此的控制。相反，存在可以进行的其他控制变化，例如改变控制增益、在使用VFD电动机控制器的情况下改变载体频率、设置关于加速度的电流限制等。该控制可以是宽范围的并且除了速度还包括同时变化的参数。而且，模型的使用可以是控制和配置优化的重要部件。优化一个给定过程或业务性能的供选的可能运行状况的空间可以通过采用例如仿真模型来确定。建模技术也可以用作预测的基础——因而，一个仿真模型可以包括过程机械、产出、能量成本、以及商业和其他经济状况。

[0154]关于资产管理，应当理解的是，系统4400可以确定例如与购买一台单一的大型机器相比，购买几个更小机器在一个特定的商业目标集合下可能是更优的。

[0155]还应当理解，不同机器4410或业务部件4430或其子集可以远程相距地布置。不同机器4410和/或部件4430可以经由无线或有线网络(例如互联网)通信。而且，可以将本主题发明抽象为包括具有无线或有线联网设备一个工厂或者一系列的工厂，这些设备经由长距离通信线路或卫星链接到远程诊断中心以及集成有现场预测和控制的动态物流的远程电子商务、分布、和装运定位。因而，关于本主题发明的优化和/或资产管理可以在企业级层面上实施，其中作为一个整体的各种商业实体可以是一个更大实体的子部件。本主题发明提供了跨越多种层次等级的实施例(例如单个机器、机器群集、过程、整体业务单元、整个部门、母公司、财团……)。

[0156]图45-53展示了关于在此所描述方面的示例可视化图像。图45展示了传送器线路4500的实时视频可视化图像。图46展示了传送器线路4500的动画仿真4600。图47展示了传送器线路4500的一个呈现。图48展示了相应于与传送器线路4500相关联的利用/工作流程的使用特征文件图形4800。图49展示了相应于传送线路4500的利用/工作流程的一个使用说明图形。图50展示了传递传送器运行信息(例如速度、性能……)以及工作流程信息的一幅可视化图像5000。例如，传送器线路A 5001正在以根据线路上移动的包裹数量确定的稳定速度进行运转。而且，工作流程和收益率信息也由可视化图像来传送。图标5002表示工人表现和工作流程处于稳定水平。美元符号(及其数目)5004表示线路A正产生期望等级的收入。订购对象5006表示需要填写订购信息，而库存人图标5008表示有充分存货并且没有超储。

[0157]另一方面，可以从可视化图像中看出，与减少包裹数量的传送器线路A5001穿过传送器相比，传送器线路B 5020正在以更低的速度运行。此外，存在很多与该线路相关的存货图标，这些图标表示超储；并且没有与该线路相关联的订购图标。仅有一个与该线路相关的美元符号图标，因而可以很容易理解，该线路正获得一些收益但是完全不如线路A 5001那样有收益。同样地，工人生产率图标5022表示这些工人不如线路A的图标5002所表示的那样有效率。

[0158]线路c 5030表示低生产率，因为没有包裹在线路上移动，并且空桶图标5032表示没有库存人。图标5034也表示没有或取消的订货，并且没有与该线路相关的美元图标。因此，很显然该线路没有得到有效地利用，并且没有产生收益。

[0159]可视化图像5000以浏览的方式提供了对工作流程、生产率、性能、收益产生、存货、延迟交货等的迅速理解。应当认识到，前述只是可以被表示为传送符合工业自动化系统性能信息的工作流程信息的许多可视化图像方案中的一个。例如，在图51中，3个传送器线路可以由区域销售表5110，或通过视图5120、5130、5140等来表示。应当认识到，这样的可视化信息可以发电子邮件给用户、以及与图52中所示的日程表或任务5210相集成。

根据用户关联性的工业自动化数据的距离呈现

[0160]图53显示了系统100(图1)的包括一个参考部件5302的一个实施例。出于简洁的目的，对已提及的部件将省略已经表述过的讨论。与境况部件104相关的参考部件5302提供了与给定一组迹象的用户最相关的确定信息(例如用户状态、用户境况、装置状态、装置境况、系统状态、系统境况、用户目标、用户意图、优先级、紧急等级、收入、截止期限……)。为协助优化信息显示，系统在显示空间中采用对象的距离布置。

[0161]特别地，经由显示部件108和可视化部件106提供图形用户界面，该可视化部件在一个距离框架中提供组织和存取信息或内容(也称作“对象”)，该框架优化随用户意图、状态、境况、或目标变化的显示对象的呈现。用户可以查看或组织对象，编辑或另外继续操作所选择的对象，例如通过图形化地呈现对象或内容，这些对象或内容可以在用户显示器上从模拟三维环境中增加、移动或删除。因而，较高关联性的显示对象将比较低关联性的对象更靠近用户出现。除使用距离之外，还可以使用对象的分辨率，这样较高关联性的对象将比较低关联性的对象以更高分辨率的方式显示。

[0162]例如通过模拟位于并定向于三维空间中的一个平面、或其他的在其中来操作显示的三维景观来利用空间存储。平面或景观可以包括用来增强用户空间存储的虚拟界标。由于对象缩略图围绕景观移动，本发明可采用透视图(用距离标定的所观察图像)、局部图像遮蔽、阴影、和/或空间化音频，以加强所模拟三维平面或景观。可以用其他音频提示来表明对象缩略图之间的邻近关系，例如当一个正在“移动”的对象缩略图接近预先存在的对象缩略图群集时。使用模拟三维景观的一个辅助优势是可以在单独显示屏幕上一次呈现更多的对象。

[0163]图54显示了系统100如何以距离(或尺寸)方式呈现信息以协助继续进行该任务的一个实例。一个电动机发生故障，并因此呈现了很多显示对象。该电动机显示对象50呈现在前并且接近用户，因为系统100认为在当前给定的迹象组的情况下，所有显示对象中该显示最相关。正如可以看到的那样，其他显示对象外表上更小，并且看起来距离用户更远。在给定工厂自动化设置中的一组迹象的情况下，相应对象根据确定的或推断的关联性就位于显示空间中。

[0164]该组迹象随着用户正在分析电动机显示对象50数据而改变，并且如图55中所示，在关联性方面给予控制板5502更高的权重，并因而当前显示得更接近用户，而电动机显示对象50在显示空间中位于距离用户更远的位置。转到图56，迹象进一步改变并且用户关心的是生产将要放缓。因此，呈现了显示由下降的电动机所冲击的传送机线路的可视化图像的工作流程显示对象5602。而且，显示实时传送机线路的实时视频显示对象5604尺寸增加并且还在显示空间中被带到了距离用户更近的位置。图57示出了靠近用户呈现的实时视频显示对象5604，以及较小呈现并且处于远处的所有其他显示对象5704。图58展示的仍是另一个实例可视化图像，由于迹象进一步改变，现在使得关于故障排除的文档这一问题比其他项目更重要。因而，呈现出了表述故障排除文档的显示对象5804。

[0165]图59示出了根据在此所述方面的一个高层次方法5900。在5902，获取迹象(例如用户状态、用户境况、装置状态、装置境况、系统状态、系统境况、用户目标、用户意图、优先级、紧急等级、收入、截止时间……)。在5904，根据迹象组来识别相关联的显示对象。在5906，根据迹象随着相关性的变换来呈现所识别的显示对象的一个子组。例如，在给定迹象的情况下，显示对象关联性相对于其他显示对象越大，显示对象在2-D或3-D显示空间中更近地呈现给用户。而且，分辨率可以随关联性而改变。在5908，确定迹象组是否已改变。如果是，过程继续进行到5906，在5904显示对象的呈现可以在迹象改变的情况下随相关性而变化。如果迹象还没有改变，过程返回到5902。

工业自动化环境中的基于表面的计算

[0166]图60展示了用于工业自动化环境的基于表面计算系统6000。系统6000可以计算触摸一个平面或显示空间的表面的对象图像。更具体地，该系统可协助确定在距离该屏幕或者显示表面的一个给定深度上从一个平面来看存在哪个对象。例如，这可以部分地通过采用包括至少两个摄像机和垂直或水平定位的感应平面或位于摄像机前面的显示表面的配置来实现。摄像机可以指向平面或显示屏幕/表面。

[0167]在一方面，用户可以通过触摸或另外接触该平面或在该平面上放置对象而提供关于平面的输入。在给定的非常邻近平面内的输入还可以用于图像处理而被“输入”。可以触发摄像机捕获输入(输入图像)的图像或快照，以最终确定并产生实时更新的触摸图像。触摸图像可以包括与平面相接触的对象，并且可以排除任意背景。特别地，每一个摄像机可以获得平面的输入图像，由此该平面中的对象可以包括在图像中。

[0168]为了从输入图像中获得触摸图像，可以利用图像处理技术来组合输入图像。特别地，摄像机可以提供包括一个场景中的一个或多个对象的输入图像。此外，可以调整输入图像，使得平面区域的四个角与图像的四个角一致。可以采用图像差分处理过程以突出对象的轮廓或边缘。例如，可以应用边缘检测以调整图像产出相应的边缘图像。之后，例如两个边缘图像可以逐像素地相乘。结果图像可以显示这两个输入图像的边缘轮廓在哪里重叠。该重叠轮廓可以表明或识别与平面接触的对象。

[0169]因此，用户可以放置对象(例如装置、设备部件、螺栓、螺母、垫圈、工具、组件……)到图像表面上并且计算表面部件6030可以识别该对象。一旦对象被识别，可以检索到信息(例如类型、年龄、历史、担保、文档、订购信息、维护信息等)并且使其对用户可以利用。

[0170]系统6000包括位于非扩散感应平面6030(或包括计算表面部件的屏幕表面)之后的至少两个图像部件110、120(例如图像部件₁、和图像部件_M，其中M为大于1的整数)。可以安装或另外布置图像部件(6010、6020)，这样每一个可以看到计算表面平面或屏幕6030的所有四个角。

[0171]用户可以通过放置相接触于平面6030或与其较接近距离内的一个或多个对象来提供关于系统6000的输入。每一个图像部件随后可以捕获输入图像(例如分别地，第一6050和第二6060输入图像)。接下来，检测部件6070可以处理图像以检测和/或确定每一个输入图像中的对象的形状和/或轮廓，以最终计算触摸图像(输出图像)。特别地，检测部件6070可以包括像素精确比较部件6080，像素精确比较部件对至少两个图像之间的像素进行比较以确定哪些像素位于每一图像中的相同位置。匹配或重叠像素可以保留，而非重叠像素实质上可以被去除。“最终”触摸图像可以被产生，仅具有包括于其中的匹配或重叠像素。

[0172]此外，检测部件可以包括不同的子部件(未示出)以协助计算输出图像。特别地，涉及镜头畸变校正、图像调整、和图像形状识别的子部件可以用于产生输出图像。因为放置在平坦表面附近的一些对象可以通过图像部件以及与表面相接触的那些对象来捕获，当计算输出或触摸图像时，可以考虑深度测量。深度信息可以通过将双目视差关联到世界坐标中对象的深度来计算。双目视差是指当在一个位置来观察一个对象时，相对于另一个位置所产生的图像位置中的变化。即，对象从一个视角到其他视角的位移与该对象的深度相关。

[0173]在计算机视觉中，具有很长的开发双目视差以计算场景中每一点的深度的历史。典型地，这种由立体算法获得的深度计算量大，可能难以保持健壮，并且包括摄像机的物理布置。这种普通的立体算法经常应用在最终不要求常规一般的深度映射的场景中。在本发明中，兴趣更多地在于确定什么位于三维(显示表面)中一个具体平面上而不是场景中每一事物深度的相关问题。

[0174]转到图61，可以采用不同应用以开发一个工业自动化环境中的基于表面的计算。描述了一种高水平的方法6100。在6102，物体放置于计算表面上，并且对象通过基于表面的计算应用而被识别(并且可选择地被分析)。例如，如果装置有缺陷，用户可以将装置放置于计算表面6030上，并且该装置可以被识别或被分析。一旦该装置被识别或被分析，就会在6104获得关于对象的信息。在6106，可以采取与所识别对象相关的动作。例如，如果所识别装置被损坏，可以获得维修信息、担保信息、备用部件信息、新部件订购信息等并且采取相应的动作(例如提交一条担保条款、请求服务、订购一个新的部件……)。

[0175]为了提供用于执行的附加境况，图62和63以及以下讨论旨在提供合适的计算环境的简要的、一般性的描述，在该环境中可以实现所披露和描述的部件和方法。尽管以上已经描述了在计算机程序的计算机可执行指令的一般境况中各种特定的实现方式，该计算机程序运行在本地计算机和/或远程计算机上，但所属领域技术人员将认识到其他执行方式也是可能的，或者单独或者和其他程序模块结合。总体上，程序模块包括执行特定任务和/或执行特定抽象数据类型的例程、程序、部件、数据结构等。

[0176]而且，那些所属领域技术人员将认识到，上述部件和方法可以与其他计算机系统配置一起实施，包括单处理器或多处理器计算机系统、微型计算机、主计算机、以及个人计算机、手持式计算装置、基于微处理器的和/或可编程的消费电子装置等，这些装置中的每一个可操作地与一个或多个相关联的装置进行通信。所披露和描述的部件和方法的某些已阐明的方面也可以在分布计算环境中实施，在该环境中某些任务由通过一个通信网络或其他数据连接而链接的远程处理装置来执行。然而，这些方面中的一些，并非所有的，可以在单计算机上实施。在分布式计算环境中，程序模块可以位于本地和/或远程存储器存储装置中。

[0177]图62是本主题发明可与其相互作用的采样计算环境6200的一个图解方框图。系统6200包括一个或多个客户端6210。客户端6210可以是硬件和/或软件(例如线程、过程、计算装置)。系统6200还可以包括一个或多个服务器6220。服务器6220可以是硬件和/或软件(例如线程、过程、计算装置)。服务器6220可以是家用线程或过程以通过采用例如本主题发明来执行转换。

[0178]一个客户端6210和一个服务器6220之间通信的一种可能方式可以是以适于在两个或多个计算机过程之间传送的数据包的形式。系统6200包括可以用于协助客户端6210和服务器6220之间的通信的一个通信框架6240。客户端6210可操作地连接到可以用于存储客户端6210的本地信息的一个或多个客户端数据存储器6250。同样，服务器6220可操作地连接到可用于存储属于服务器6240的本地信息的一个或多个服务器数据存储器6230。

[0179]参考图63，用于实现本发明的不同方面的一个示例性环境6300包括计算机6312。计算机6312包括一个处理单元6314、一个系统存储器6316、和一个系统总线6318。系统总线6318耦联一些系统部件，包括但不限于通向处理单元6314的系统存储器6316。处理单元6314可以是各种可利用处理器中的任意一种。双微处理器和其他多处理器架构也可以用作处理单元6314。

[0180]系统总线6318可以是几种类型总线结构中的任意一种，包括存储器总线或存储器控制器、外围总线或外部总线、和/或使用任意一种总线架构的本地总线，该总线架构包括但不限于工业标准架构(ISA)、微通道架构(MSA)、扩展ISA(EISA)、智能驱动电子(IDE)、VESA本地总线(VLB)、外围部件互联(PCI)、插件总线(Card Bus)、通用串行总线(USB)、图形加速端口(AGP)、个人计算机存储卡国际公约总线(PCMCIA)、火线(IEEE 1394)、和小型计算机系统接口(SCSI)。

[0181]系统存储器6316包括易失存储器6320和非易失存储器6322。基本输入/输出系统(BIOS)，包含基本例程以在例如启动期间计算机6312中的元件之间传送信息，被存储在非易失存储器6322中。通过阐述但并非限定，非易失存储器6322可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、或闪存。易失存储器6320包括随机存取存储器(RAM)，该随机存取存储器用作外部高速缓冲存储器。通过阐述但非限定，RAM可以以很多形式得到，例如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链接DRAM(SLDRAM)、以及直接RAMbus RAM(DRRAM)。

[0182]计算机6312还包括可去除/不可去除、易失/非易失计算机存储介质。例如，图63展示了磁盘存储6324。磁盘存储器6324包括但不限于类似磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS驱动器、闪存卡、或记忆棒等这样的装置。另外，磁盘存储器6324可以单独包括的存储媒体或与其他存储媒体的组合，其他存储媒体包括但不限于例如高密度磁盘ROM装置(CD-ROM)、可记录CD驱动器(CD-R驱动器)、可读写CD驱动器(CD-RW驱动器)或数字多用磁盘ROM驱动器(DVD-ROM)这样的光盘驱动器。为协助磁盘存储装置6324到系统总线6318的连接，典型地使用可去除或不可去除接口，例如接口6326。

[0183]应当理解的是，图63描述了用充当用户和适当运行环境6300中所描述的基本计算机资源之间的媒介的软件。这种软件包括运行系统6328。可以存储在磁盘存储6324上的运行系统6328用来控制并分配计算机系统6312的资源。系统应用软件6330通过存储在系统存储器6316或磁盘存储器6324中的程序模块6332和程序数据6334而由运行系统6328来利用资源的管理。应当理解的是，本主题发明可以使用不同的运行系统或运行系统的组合来实现。

[0184]通过输入装置6336用户将命令或信息输入到计算机6312中。输入装置6336包括但不限于指点装置，例如鼠标、轨迹球、触笔、触摸板、键盘、麦克风、操纵杆、游戏板、卫星天线、扫描仪、TV调谐卡、数码相机、数码摄像机、网络摄像机及其类似物。这些和其他输入装置经由接口端口6338通过系统总线6318连接到处理单元6314。接口端口6338包括例如串行端口、并行端口、游戏端口、以及通用串行总线(USB)。输出装置6340使用与输入装置6336相同类型的端口中的一些。因而，例如，可以使用一个USB端口来提供输入到计算机6312，并且从计算机6312输出信息到输出装置6340。提供输出适配器6342表明在其他输出装置6340中存在需要特定适配器的类似监视器、扬声器、和打印机这样的输出装置6340，。输出适配器6342包括，用于阐述但不是限定，视频和声音卡，这些卡提供输出装置6340和系统总线6318之间一个连接的装置。应当注意到，其他装置和/或装置提供既提供了输入又提供了输出能力，例如远程计算机6344。

[0185]计算机6312可以在使用多个逻辑的连接到一个或多个如远程计算机6344的远程计算机的联网的环境中运行。远程计算机6344可以是个人计算机、服务器、路由器、网络PC、工作站、基于应用的微处理器、对等装置或其他公共网络节点及其类似物，并且典型地包括有相对于计算机6312的所描述的许多或者全部元件。出于简明的目的，仅以远程计算机6344说明存储器存储装置6346。远程计算机6344通过网络接口6348逻辑地连接到计算机6312，然后经由通信连接6350物理地连接。网络接口6348包括有线和/或无线通信网络，例如局域网(LAN)和广域网(WAN)。LAN技术包括光纤分布式数据接口(FDDI)、铜线分布式资料界面(CDDI)、以太网(Ethernet)、令牌环(Token Ring)及其类似物。WAN技术包括但不限于点对点链接、类似集成服务数据网络(ISDN)和在其上有变化的网络的电路开关网络、包交换网络、和数据用户线(DSL)。

[0186]通信连接6350指代用来将网络接口6348连接到总线6318的硬件/软件。尽管出于示例清晰的目的将通信连接6350显示在计算机6312中，但它也可以在计算机6312的外部。用于连接到网络接口1248所需要的硬件/软件包括，仅出于示例的目的，内部和外部技术，例如包括固定电话等级调制解调器、缆线数据机、DSL调制解调器、ISDN适配器、和以太网卡等调制解调器。

[0187]以上所描述的包括本主题发明的实例。当然其不可能描述出于描述本主题发明的部件或方法的每一个可以想到的组合，但是所属领域技术人员可以意识到本发明的许多进一步的组合和置换也是可能的。相应地，本发明试图包括落入所附权利要求的精神和范围中的所有变更、修改和变化。

[0188]特别关于由上述多个部件、装置、电路、系统等所执行的不同功能，用于说明这些部件的术语(包括提及的“装置”)旨在对应于(除非另外指明)执行所述部件(例如，功能性的等效物)的特定功能的任何部件，即使在结构上不等同于所披露的结构，但它执行本发明在此所述的本发明示例性方面的功能。在这方面，还应认识到的是，这些不同的方面包括一种系统以及一种计算机可读的介质，它具有多个计算机可执行的指令，用于执行本发明不同方法的多个动作和/事件。

[0189]此外，尽管已经仅关于几个实施例之一披露了本发明的特定特性，然而这样的特性可以与对于任意给定或特定应用预期的或具有优势的其他实施例的一个或多个其他特征相结合。而且，对于在详细说明或者权利要求中使用的术语“包括(includes)”和“包括(including)”及其变化形式的含义而言，这些术语旨在以类似于术语“包括(comprising)”的方式成为包含性的。

Claims (20)

1.一种在工业自动化环境中产生定制的一个或多个视觉图像的可视化系统，包括：

一个接口部件(102)，该接口部件接收关于所显示对象和信息的输入；

一个境况部件(104)，该境况部件可检测、推断或确定关于一个实体的境况信息；以及

一个可视化部件(106)，该可视化部件从一组显示对象中动态地产生一个视觉图像以呈现给该实体，该视觉图像随所接收信息以及所推断或确定的实体境况而变化。

2.根据权利要求1所述的系统，该境况部件可推断或确定该实体的身份、角色、位置(逻辑的或物理的)、当前的活动、与多个自动化装置类似的或先前的交互作用、或涉及包括控制系统、装置和相关设备的多个自动化装置的境况数据。

3.根据权利要求2所述的系统，其中该装置境况数据包括逻辑/物理位置或运行状态。

4.根据权利要求1所述的系统，进一步包括一个人工智能(AI)部件(202)，该AI部件可基于一个推断自动采取行动。

5.根据权利要求4所述的系统，该AI部件执行与采取自动的行动有关的一个基于效用的分析，其中将采取一个行动的预期成本与采取该行动的预期收益进行权衡。

6.根据权利要求1所述的系统，包括一个数据存储器(110)，该数据存储器存储了与产生视觉图像有关的用户配置文件、历史数据、或规则中的至少一项。

7.根据权利要求1所述的系统，该可视化部件产生随一个用户的认知负载而变化的视觉图像。

8.根据权利要求1所述的系统，该可视化部件产生随以下至少一项的认知负载而变化的视觉图像：用户角色、用户访问权限、用户状态、用户消费信息的能力、用户偏好、用户目标、或用户意图。

9.根据权利要求1所述的系统，该可视化部件将呈现给用户的数据根据以下至少一项来重新格式化：用户角色、用户访问权限、用户状态、用户消费信息的能力、用户偏好、用户目标、或用户意图。

10.根据权利要求1所述的系统，该可视化部件根据与一个绘制装置相关联的环境或使用状况来修改该视觉图像。

11.根据权利要求10所述的系统，该可视化部件根据光照条件、或一个操作者的视觉能力来修改该视觉图像。

12.一种用于在工业自动化环境中呈现定制的视觉图像的计算机执行的方法，包括：

推断或确定信息会话(502，704)的境况；

推断或确定实体的意图(504，706)；

分析一组数据(506)；并且

呈现所分析数据的一个子集的一种视觉图像，该视觉图像随该信息会话所推断或确定的境况、该实体的推断或确定的意图、以及该数据分析(508，710)而变化。

13.根据权利要求12所述的方法，其中关于该信息会话的境况的推断和确定是基于信息内容、一个发送实体的境况或一个接受实体的境况。

14.根据权利要求12所述的方法，包括如果被认为不可接受(510)则对该数据子集重新格式化。

15.根据权利要求12所述的方法，包括与该实体意图的推断或确定相关地使用以下至少一项：实体角色、访问权限、先前的交互作用、当前实体状态、实体偏好、或历史数据。

16.根据权利要求14所述的方法，包括根据以下至少一项而将数据重新格式化，其中包括：绘制装置的能力、用户权限、用户角色、或用户的首选项。

17.根据权利要求12所述的方法，包括对该用户进行认证，并根据该认证(702)来定制该视觉图像。

18.根据权利要求12所述的方法，包括根据用户认知负载改变来修改该视觉图像。

19.根据权利要求18所述的方法，包括修改该视觉图像以优化用户对所呈现数据的理解。

20.一种用于在工业自动化环境中呈现定制的视觉图像的计算机执行的系统，包括：

用于接收关于所显示的对象和信息(102)的输入的装置；

用于检测关于一个实体(104，504，706)的推断的境况信息的装置；以及

用于从一组显示对象中动态产生可一个视觉图像以呈现给该实体的装置，该视觉图像随所接收信息以及所推断或确定的实体境况(106，508，710)而变化。

Images