CN108351804B

CN108351804B - 基于模型的人机界面系统和方法

Info

Publication number: CN108351804B
Application number: CN201580084462.9A
Authority: CN
Inventors: 阿基梅德斯·马丁内斯·卡内多; 王凌云
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2015-11-12
Filing date: 2015-11-12
Publication date: 2022-06-07
Anticipated expiration: 2035-11-12
Also published as: WO2017082899A1; EP3374863C0; US20190121307A1; US10928791B2; CN108351804A; EP3374863B1; EP3374863A1

Abstract

提供了一种基于模型的人机界面(HMI)系统。该HMI系统包含：多个输出装置，每个输出装置具有输出能力，输出能力包含至少一个唯一输出能力水平；以及语义库，语义库配置为接收各自具有输出格式的SUC组件模型和数据。语义库配置为相对于SUC组件模型分析该数据并将SUC组件模型的每一个传送至多个输出装置中的一个或多个。基于多个输出装置的输出能力与SUC组件模型的输出格式之间的相关性选择多个输出装置中的一个或多个。

Description

基于模型的人机界面系统和方法

背景技术

本文公开的主题涉及人机界面（HMI），并且更具体地，涉及基于模型的HMI。

传统的HMI系统依靠对系统的数字、2D或文本表示，并且通常在系统的设计阶段期间创建。它们通常包含系统的各种组件的ad-hoc模型，其在面板和计算机屏幕中显示，其中输入/输出机制为文本标记、输入框、色彩以及利用诸如矩形、圆形和多边形的原始图形元素创建的基本图形。最好情况下，这些初始元素可以组合以创建被称为小工具的表达状态随时间变化的动画（例如，状态条）或者可以配置为链接屏幕项目的标签，比如加热单元的图片、配置为过程值，比如加热单元内的当前温度。在标签的情况下，标签的值变化可以触发屏幕上图形元素属性的改变。也就是说，对于加热单元而言，一旦加热单元内的温度升高到阈值以上，则加热单元可以重画成红色并且可以开始闪烁。这样的二维（2D）效果由此仅提供系统的快照或表示而并非总是直观和准确的。

换言之，传统的HMI系统倾向于遵循“一体适用”理念，其中HMI系统局限于仅利用由工程系统所提供的基本交互元素传送信息，而不管正在传送的信息的类型如何。由于物理现象需要被过度简化并概括以便被传送，这可能导致信息缺失。

传统HMI系统所存在的一另外问题为，它们趋向于被强耦合至固定且集中的HMI系统面板，其运行时间仅允许特定输入/输出组件可视化。因此，在加热单元示例中，即使可以表示加热单元中的温度（虽然仅以2D方式），加热单元内的压力仅能够在其他输出元件中表示。这在图1中进行了例示，其中第一计量器1和第二计量器2被系统用来表示由温度传感器4和压力传感器5所测量的单水箱3内的温度和压力。如图1中所示，无法在单个输出元件中表示两个参数，输出元件也无法提供箱的可视化或者其部件正在发生故障的任何指示。

发明内容

根据本公开的一个方面，提供了一种基于模型的人机界面（HMI）系统。该HMI系统包含：多个输出装置，每个输出装置具有输出能力，输出能力包括至少一个唯一输出能力水平；以及语义库，语义库配置为接收SUC组件模型和数据，每个SUC组件模型具有输出格式。语义库配置为相对于SUC组件模型分析该数据并将SUC组件模型的每一个传送至多个输出装置中的一个或多个。基于多个输出装置的输出能力与SUC组件模型的输出格式之间的相关性选择多个输出装置中的一个或多个。

根据本公开的另一方面，提供了一种用于包含SUC组件的受控系统（SUC）的基于模型的人机界面（HMI）。基于模型的HMI系统包含：输出装置，每个输出装置具有唯一输出能力水平的输出能力；以及计算装置，该计算装置能够设置为与输出装置信号连通并且包括语义库，语义库配置为接收具有输出格式的SUC组件模型和数据。语义库配置为相对于SUC组件模型分析该数据，并基于输出装置的输出能力与SUC组件模型的输出格式之间的相关性，将SUC组件模型传送至输出装置。

根据本公开的又另一个方面，提供了一种基于模型的人机界面（HMI）方法。基于模型的HMI方法包含：在受控系统（SUC）中部署语义库；在语义库处接收SUC组件模型和数据，每个SUC组件模型具有至少一个唯一输出格式；执行存储在语义库中的算法，用于相对于SUC组件模型分析该数据；以及根据算法和一个或多个输出装置的输出能力与SUC组件模型的输出格式之间的相关性，将SUC组件模型的每一个传送至一个或多个输出装置。

通过以下结合附图进行的描述，这些以及其他优点和特征将变得更为显而易见。

附图说明

在说明书结尾的权利要求书中，具体地指出并明确地要求了被认为是公开内容的主题。通过以下结合附图进行的详细描述，本公开的前述以及其他特征和优点是显而易见的，其中：

图1是传统人机界面（HMI）系统的示意图；

图2是根据实施例的HMI系统的示意图；

图3是图2的HMI系统的语义库的示意图；

图4描绘了图2和图3的HMI系统的HMI面板中的二维HMI控件；

图5描绘了图2和图3的HMI系统的三维导热模型；

图6描绘了在图2和图3的HMI系统的智能眼镜中的增强现实视频传送；

图7是图2和图3的HMI系统的语义库的操作的示意图；

图8是描绘图2至图7的HMI系统的操作的流程图；

图9是描绘图2至图8的HMI系统的其它操作的流程图；以及

图10是描绘图2至图9的HMI系统的其它操作的流程图。

具体实施方式通过参考附图的示例，解释了本公开的实施例以及优点和特征。

具体实施方式

为了使系统有效，它们需要为人类操作员提供准确且相关的信息。模型提供了组件和受控系统的可重复使用、越来越精确和完整的表示作为一个整体，而不是依赖于受控系统的组件的ad-hoc表示。模型之间的差异允许人从不同角度理解受控系统的各种状态，比如机械的、电气的、控制、软件、声学的、导热的状态等。因此，如以下将要进行描述的，以下描述涉及在受控系统中提供不同的模型。这些模型通过语义层同步，以便以各种方式表达关于受控系统的各种类型的信息。

参考图2和图3，提供了一种基于模型的人机界面（HMI）系统10并且其可以配置在受控系统（SUC）20中。SUC 20可以是任何类型的工程系统，比如例如，发电厂或汽车制造场所，并且针对各种要求具有多个组件（以下称为SUC组件21）。SUC组件21可以包含，例如，其中流体保持在受控温度下的流体箱、阀以及机器人机械。

HMI系统10包含到多个可编程逻辑接口（PLC）22的接口、多个输出装置23以及中央服务器或计算装置24。PLC 22分布在整个SUC 20中来感测至少SUC组件21的各种操作。例如，PLC 22可以用来感测，例如流体箱中的流体温度和压力、阀的打开/闭合状态以及机器人机械的正常运行。在任一情况下，PLC 22生成反映感测的数据，并且配置为通过有线或无线连接将此类数据传送至中央服务器或计算装置24。

多个输出装置23均具有以至少一个唯一输出能力水平定义的输出能力，并且可以包含或被设置为具有至少第一（或低复杂度）输出能力水平的HMI面板231、具有至少第二（或中等复杂度）输出能力水平的移动或固定计算装置232以及具有至少第三（或高复杂度）输出能力水平的移动或固定计算装置233。如本文所使用的，移动计算装置232/233可以包含智能眼镜、智能电话、平板以及膝上型电脑中的至少一个或多个，而固定计算装置232/233可以包含桌上型计算机或服务器中的至少一个或多个。

如本文所使用的，低、中等和高复杂度这些术语指的是每个输出装置23针对用户交互以及通过界面连接进行渲染和呈现给定文本或图形显示的能力。例如，仅能够呈现文本或基本图形显示的输出装置23将具有低复杂度输出能力水平。相比而言，可以同时呈现文本/基本图形显示以及交互式三维图形显示两者的移动计算装置将具有中等至高复杂度输出能力水平。

根据实施例，低输出能力水平可以包含例如二维模型渲染能力和叠加数据渲染能力，中等输出能力水平可以包含例如三维模型渲染能力和叠加数据渲染能力，以及高输出能力水平可以包含例如视频流能力、三维模型渲染能力和叠加数据渲染能力。在任一情况下，HMI系统10不需要被限制于三个或任何数量的输出能力水平。每个输出装置23可以具有不同的输出渲染能力，其可以适合于渲染一种特定类型的模型。利用语义库25（将在以下进行讨论），数据得以在不同的模型间理解，并且由此能够例如对叠加信息进行渲染。

在低输出能力水平的情况下，参考图4，可以由桌上型计算装置提供二维模型模型渲染能力，桌上型计算装置被编程为显示给定SUC组件21的二维模型，该二维模型显示SUC组件21的二维示意图210、作为一系列数值211的SUC组件21的各种当前操作条件以及作为图形元素212的历史数据。在中等输出能力水平的情况下，参考图5，可以由移动或固定计算装置提供三维模型渲染能力，移动或固定计算装置被编程为连同叠加数据214或与SUC组件21的当前操作条件有关的信息一起显示给定SUC组件21的三维模型213。在高输出能力水平的情况下，参考图6，可以为移动或固定计算装置提供三维模型渲染能力，移动或固定计算装置被编程为连同叠加数据214或信息一起显示给定SUC组件21的三维模型213，以及SUC组件21的增强视频传送215。

如图3中所示，中央服务器或计算装置24可以包含处理单元241、存储器单元242以及联网单元243，通过该联网单元中央服务器或计算装置24可以设置为与多个输出装置23信号连通。处理单元241可以是任何类型的中央处理单元或微处理器，且存储器单元242可以包含任何类型的读/写、随机访问或只读存储器。一般情况下，中央服务器或计算装置24用作语义库25，其能接收均具有至少一个唯一输出格式水平的SUC组件模型250和来自PLC22的数据251，并且在其上存储有用于相对于SUC组件模型250分析数据251的算法252。

SUC组件模型250可以被提供作为工程模型，其在构建SUC 20之前建立并且可以用来验证SUC 20并为SUC组件21提供精确的规范。SUC组件模型250是特定领域的并且可以用于从不同的二维和三维角度分析SUC 20，比如机械的、电气的、控制、软件、源代码、导热、声学的角度等。利用通用或特定领域的三维建模、计算机辅助设计（CAD）建模、计算机辅助工程（CAE）建模、计算机辅助制造（CAM）建模、自动软件代码建模、源代码建模、工厂建模、管路铺设和仪表图（P&ID）建模、动画建模、视频建模、2D控件建模以及温度/热力建模来创建SUC模型250。还可以存在并非由传统工程工作创建的其它模型。如以下将进行描述的，SUC组件模型250可以实时更新。

在其作为语义库25的状况下，中央服务器或计算装置24的存储器单元242在其上存储有可执行指令，当执行时其促使处理单元241能够与输出装置23的每一个通信或者与输出装置23的每一个通信并通过联网单元243将SUC组件模型250的每一个传送至输出装置23的一个或多个，使得输出装置23可以渲染经传送的SUC组件模型250以用于用户交互。SUC组件模型250的传送根据相对于SUC组件模型250的算法的执行以及输出装置23的输出能力与SUC组件模型250的输出格式水平之间一致的发生率或相关性来进行。

参考图7，作为附加的特征，语义库25可以配置为使SUC组件模型250同步，使得在一个SUC组件模型250中提供的信息或数据的实例可以并入至少最初丢失该信息或数据的实例的另一SUC组件模型250。例如，如图7中所示，语义库25可以接收第一和第二SUC组件模型250₁和250₂。第一SUC组件模型250₁包含三个数据元素，而第二SUC组件模型250₂包含四个数据元素。一旦接收到第一和第二SUC组件模型250₁和250₂，则语义库25分析各自的内容，确定该第一SUC组件模型250₁缺少包含在第二SUC组件模型250₂中的其中一个数据元素并且写入，或者在第一和第二SUC组件模型250₁和250₂的格式基本上相类似的情况下，将丢失的数据元素复制到第一SUC组件模型250₁内。随后，可以将第一和第二SUC组件模型250₁和250₂两者输出至具有最初包含在第二SUC组件模型250₂的所有四个数据元素的对应输出装置23。

根据实施例，在中央服务器或计算装置24与输出装置23之间的初始通信可以是单向或双向的通信。例如，当HMI系统10初始化时，输出装置23可以各自自动地向联网单元243发出单向信号S1，其中此类信号指示了输出装置23的输出能力水平。或者，在双向的情况下，一旦HMI系统10初始化，中央服务器或计算装置24可以向输出装置23的每一个发送询问信号S2，请求指示输出能力水平的响应信号，而输出装置23的每一个可以通过发出信号S2作为响应信号来做出响应。在任一情况下，中央服务器或计算装置24能够知晓或使其知晓输出装置23的每一个的输出能力水平。在又另一替代实施例中，输出装置23可以最初由管理员向HMI系统10注册，其中此类注册包括向中央服务器或计算装置24输入输出装置23的每一个的输出能力水平。

随着使中央服务器或计算装置24知晓输出装置23的每一个的输出能力水平，中央服务器或计算装置24能够仅将那些SUC组件模型250传送给能够渲染传送的SUC组件模型250的输出装置23，以用于用户交互或通过界面连接。也就是说，如果给定SUC组件模型250为增强视频流（包括叠加数据），则中央服务器或计算装置24可以仅将那个SUC组件模型250发送给具有第三（或高复杂度）输出能力水平的移动或固定计算装置233（即，智能眼镜），以用于渲染和随后的用户交互和通过界面连接。相比而言，如果给定SUC组件模型250为二维面板显示，则中央服务器或计算装置24可以将那个SUC组件模型250发送给具有第一（或低复杂度）输出能力水平的HMI面板231、具有第二（或中等复杂度）输出能力水平的移动或固定计算装置232和具有第三（或高复杂度）输出能力水平的移动或静止计算装置233中的任一个。

参考图8至图10，现在将对HMI系统10的各种操作进行描述。

如图8中所示，在表示了部署HMI系统10之后的初始阶段的框701处，HMI系统10认证用户以及输出装置23的一个或多个，并且随后，在框702处，中央服务器或计算装置24确定该一个或多个输出装置23的输出能力水平。此时，PLC 22生成关于SUC组件21的操作条件的数据，并且在框703处，要么将此类数据传送至中央服务器或计算装置24，要么由中央服务器或计算装置24从PLC 22读取此类数据。在框704处，数据通过语义库25进行分类和情境化，使得在框705处，SUC组件模型250在其当前操作条件下的对应表示可以根据算法252进行计算。随后在框706处，计算的模型被呈现给用户以用于交互和通过界面连接，并且在框707处，由于用户所采取的动作而对SUC组件模型250做出的任何改变可以写入存储器单元242作为对SUC组件模型250和/或算法252的更新，到此控制可以返回到框703。

如图9中所示，框706向用户呈现计算的模型以用于交互和通过界面连接包括若干子过程和阶段。这些子过程和阶段包含：在框801处确定已经命令对SUC组件模型250中的一个或多个进行模型更新，在框802处进行对应的模型更新，以及在框803处确定是否已经发生需要进一步模型更新的用户动作。如图8中所示，如果已经发生此类用户动作，则控制前进到框804，其中对用户命令进行解析，以及前进到框805，其中确定该用户命令是否与对SUC组件模型250的切换或改变有关。如果用户命令与此类切换或改变无关，则在框806处确定该用户命令是否与致动命令有关（例如，打开闭合的阀或闭合打开的阀），以及如果如此，则在框807处写入数据。另一方面，如果用户命令与对SUC组件模型250的切换和改变有关，则在框808处该用户命令被用来对数据进行分类和情境化，并且控制前进到框807。

在图10中描绘了一种特定情形，其中HMI系统10部署在SUC 20中。在这种情况下，管路为SUC 20中的SUC组件21并且正在泄露。管路由此处于“热”的操作条件，其通过对应的PLC22识别出并由处理单元241根据对应算法252计算。

由于HMI系统10的特征在于语义和概念与输出装置23分开，应当理解的是，管路的热操作条件是需要处理的独立于装置的概念，而处理概念所利用的模式依赖于装置（例如，通过渲染在面板上的图形、在智能电话上的语音输入/输出、或通信装置上的推特消息），并且应理解，中央服务器或计算装置24可以由输出装置23共同依赖作为计算引擎。鉴于该背景，HMI系统10允许相对容易地引入现代的输出装置23，其可以与在领域中已有的过时输出装置23一起工作或将其替代。相比于工业HMI装置而言这些现代输出装置23可以在短周期内更新，并且HMI系统10允许重新使用通用的独立于装置的特征并添加依赖于装置的特征以利用该更新能力。

转向图10，如果视频模型可用于处理管路的热操作条件，则将帧分段并尝试在视频流中识别“管路”的概念。一旦识别，则利用来自三维和二维模型的其它结果叠加视频中的“管路”。如果三维可用，则使用三维CAD模型来基于由对应PLC 22生成的数据执行热仿真。所得到的热图可以叠加到视频流中。类似地，如果二维模型可用，则可以选择管路对象并利用来自PLC 22的数据将其值更新。该数据值也可以叠加在数据流中。

尽管仅结合有限数量的实施例提供了本公开，应当容易理解的是，本公开并不限于此类所公开实施例。而是，可以修改本公开以包含本文未提及但是符合本公开精神和范围的任何数量的变型、修改、替换或等同布置。另外，尽管已经描述了本公开的各种实施例，应当理解的是，示范性实施例可以仅包括所述示范性方面的一些。因此，本公开不应被视为受限于之前的描述，而是仅由所附权利要求书进行限定。

Claims

1.一种能够部署在受控系统中的基于模型的人机界面系统，所述受控系统包括多个受控系统组件，所述人机界面系统包括：

到多个可编程逻辑接口PLC的多个接口，其中，所述PLC分布在整个受控系统中以感测至少所述受控系统组件的各种操作条件，并且所述PLC生成反映所述感测的PLC数据；

计算装置，能够设置为与多个输出装置信号连通，每个输出装置具有输出能力，所述输出能力包括至少一个唯一输出能力水平以针对用户交互以及通过界面连接给定文本或图形显示进行渲染和呈现，所述计算装置包括语义库，所述语义库配置为接收受控系统组件模型，每个受控系统组件模型具有输出格式，

其中，所述语义库被配置为：

相对于所述受控系统组件模型分析所述PLC数据，其中，所述PLC数据相对于所述受控系统组件模型进行分类和情境化，

使用算法，从分类和情境化的PLC数据计算所述受控系统组件模型在其当前操作条件下的对应表示，并且

将所述受控系统组件模型中的每一个发送到所述多个输出装置中的一个或多个，其中，所述多个输出装置中的所述一个或多个根据所述多个输出装置的输出能力与所述受控系统组件模型的输出格式之间的相关性而选择。

2.根据权利要求1所述的基于模型的人机界面系统，其中，所述多个输出装置包括：

具有至少低复杂度输出能力水平的人机界面面板；

具有至少中等复杂度输出能力水平的移动计算装置或固定计算装置；以及

具有至少高复杂度输出能力水平的移动计算装置或固定计算装置。

3.根据权利要求2所述的基于模型的人机界面系统，其中，所述移动计算装置包括智能眼镜、智能电话、平板以及膝上型计算机。

4.根据权利要求2所述的基于模型的人机界面系统，其中：

所述低复杂度输出能力水平包括至少二维模型渲染能力和叠加数据渲染能力，

所述中等复杂度输出能力水平包括至少三维模型渲染能力和叠加数据渲染能力，以及

所述高复杂度输出能力水平包括至少视频流能力、三维模型渲染能力和叠加数据渲染能力。

5.根据权利要求1所述的基于模型的人机界面系统，其中，所述受控系统组件模型包括三维模型、计算机辅助设计模型、计算机辅助工程模型、计算机辅助制造模型、自动软件代码模型、源代码模型、工厂模型、管路铺设和仪表图模型、动画模型、视频模型、2D控件模型以及温度/热力模型。

6.根据权利要求1所述的基于模型的人机界面系统，其中，所述受控系统组件模型能够实时更新。

7.根据权利要求1所述的基于模型的人机界面系统，其中，所述语义库配置为：

询问所述多个输出装置中的每一个输出装置，以确定每一个输出装置的至少一个唯一输出能力；以及

确定哪些受控系统组件模型与每个输出装置的至少一个唯一输出能力相关联。

8.一种用于包含受控系统组件的受控系统的基于模型的人机界面系统，所述基于模型的人机界面系统包括：

计算装置，所述计算装置能够设置为与输出装置信号连通，所述输出装置具有输出能力，所述输出能力包括至少一个唯一输出能力水平以针对用户交互以及通过界面连接给定文本或图形显示进行渲染和呈现，所述计算装置包括语义库，所述语义库配置为接收具有输出格式的受控系统组件模型，

其中，所述语义库被配置为：

相对于所述受控系统组件模型，分析所述PLC数据，其中，所述PLC数据相对于所述受控系统组件模型进行分类和情境化，

基于所述输出装置的输出能力与所述受控系统组件模型的输出格式之间的相关性，将所述受控系统组件模型发送至所述输出装置。

9.根据权利要求8所述的基于模型的人机界面系统，其中，所述输出装置包括以下中的至少一个：

具有至少低复杂度输出能力水平的人机界面面板；

10.根据权利要求9所述的基于模型的人机界面系统，其中，所述移动计算装置包括智能眼镜、智能电话、平板以及膝上型计算机。

11.根据权利要求9所述的基于模型的人机界面系统，其中：

12.根据权利要求8所述的基于模型的人机界面系统，其中，所述受控系统组件模型包括三维模型、计算机辅助设计模型、计算机辅助工程模型、计算机辅助制造模型、自动软件代码模型、源代码模型、工厂模型、管路铺设和仪表图模型、动画模型、视频模型、2D控件模型以及温度/热力模型。

13.根据权利要求8所述的基于模型的人机界面系统，其中所述受控系统组件模型能够实时更新。

14.根据权利要求8所述的基于模型的人机界面系统，其中所述语义库配置为：

询问所述输出装置，以确定所述输出装置的输出能力；以及

确定所述受控系统组件模型是否与所述输出能力相关联。

15.一种基于模型的人机界面方法，包括：

在受控系统中部署语义库；

通过接口连接到多个可编程逻辑接口PLC，其中，所述PLC分布在整个受控系统中以感测至少受控系统组件的各种操作条件，并且所述PLC生成反映所述感测的PLC数据；

与多个输出装置信号连通，每个输出装置具有输出能力，所述输出能力包括至少一个唯一输出能力水平以针对用户交互以及通过界面连接给定文本或图形显示进行渲染和呈现，

在所述语义库处接收受控系统组件模型，每个所述受控系统组件模型具有至少一个唯一输出格式；

执行存储在所述语义库中的算法，用于相对于所述受控系统组件模型分析所述PLC数据，其中，所述PLC数据相对于所述受控系统组件模型进行分类和情境化；

使用算法，从分类和情境化的PLC数据计算所述受控系统组件模型在其当前操作条件下的对应表示；以及

根据一个或多个输出装置的输出能力与所述受控系统组件模型的输出格式之间的相关性，将所述受控系统组件模型的每一个发送至所述一个或多个输出装置。

16.根据权利要求15所述的基于模型的人机界面方法，还包括实时更新所述受控系统组件模型。

17.根据权利要求15所述的基于模型的人机界面方法，还包括确定输出能力水平是否与输出格式水平相关联。

18.根据权利要求15所述的基于模型的人机界面方法，还包括以下中的一个：

在所述语义库处从所述输出装置接收反映所述输出装置的输出能力的信号；以及

询问每一个输出装置以确定每一个输出装置的至少一个唯一输出能力，并且确定哪些受控系统组件模型与每一个输出装置的至少一个唯一输出能力相关联。

19.根据权利要求15所述的基于模型的人机界面方法，还包括使多个受控系统组件模型同步。