CN105814500B - 用于协助远程用户提供指令的方法及数据演示装置 - Google Patents

Abstract

本发明涉及用于协助远程用户的方法、数据演示装置(32)和计算机程序产品。数据演示装置(32)包括通信接口、具有捕获图像的视野的拍摄装置、具有可演示演示项目的演示区(PA)的投影机，以及接收视野控制命令的控制单元，在该演示区(PA)内投影演示项目(PI)的命令，控制拍摄装置的视野并且控制投影机在演示区(PA)中投影演示项目(PI)，其中与视野的控制无关地执行演示区中的演示的控制。

Description

用于协助远程用户提供指令的方法及数据演示装置

技术领域

本发明一般涉及过程控制系统。特别是，本发明涉及用于协助远程用户向其中运行过程控制系统的工业现场中的位置提供指令的方法、数据演示装置及计算机程序产品。

背景技术

在过程控制系统中，总是保持生产的运转是非常重要，因为即使生产中的轻微中断也将付出大量金钱。因为这个，维护被视为非常重要以便保持生产以及运转。

一种用于在过程控制系统中进行本地维护的有用工具在SE 1300138中描述。

维护能够是非常昂贵的，因为有时候必须请来外部专家帮助解决普通人员可不具有专业能力去自行处理的高级操作问题。

通过电话线路进行的本地工人与专家之间的协作不是所有情况下都足够有效，因为专家不能够看到本地工人正在做什么。来回发送照片也是一种共享信息的缓慢方式。专家可需要看到现场发生什么并且可需要能够在没有任何误解的风险的情况下指令现场人员。

找到合适的专家并且让该专家飞抵现场能够花费很长时间。在意外故障的情况下，由于专家可能必须旅行长距离来到达现场，所以这能够引起过程控制系统中的长时间停机。

对于这种情况上的改善已经做出了一些努力。例如，US 2011/0310122描述了一种相对于电路板所提供的远程指令系统。在这个系统中，对象的图像被捕获，并且标注图像和关注图像被投影到这种物体上。

类似系统在JP 2009-194697和JP 2003-209832中公开。

然而，该领域内仍存在改善的空间，特别是在数据演示装置中使用投影机和拍摄装置的自由中。

发明内容

本发明涉及在为过程控制系统所提供的数据演示装置中使用投影机和拍摄装置提供更大自由的问题。

这个目的是根据第一方面通过用于协助远程用户向其中运行过程控制系统的工业现场中的位置提供指令的方法来实现，该方法由数据演示装置在与远程用户的装置进行通信会话时执行，该数据演示装置包括拍摄装置和投影机，该方法包括：

-接收来自该远程用户的拍摄装置控制命令，该拍摄装置控制命令包括视野控制命令，

-使用包括控制该拍摄装置的视野的拍摄装置控制命令来控制该拍摄装置，

-接收来自该远程用户的投影机控制命令，该投影机控制命令包括在投影机的演示区中投影演示项目的命令，以及

-使用包括控制该投影机在演示区中投影演示项目的投影机控制命令来控制该投影机，

其中，执行演示区内投影的控制与拍摄装置的视野的控制无关。

这个目的是根据第二方面通过用于协助远程用户向其中运行过程控制系统的工业现场中的位置提供指令的数据演示装置来实现，该数据显示装置包括：

-通信接口，其用于提供与该远程用户装置的通信会话，

-拍摄装置，其具有采集图像的视野，

-投影机，其具有可以演示演示项目的演示区，以及

-控制单元，其配置成接收来自该远程用户的包括视野控制命令的拍摄装置控制命令，以及包括在演示区中投影演示项目命令的投影机控制命令，使用包括控制拍摄装置的视野的拍摄装置控制命令来控制该拍摄装置，以及使用包括控制投影机在演示区中投影演示项目的投影机控制命令来控制该投影机，

-其中，该控制单元配置成与该拍摄装置的视野的控制无关地控制演示区中的投影。

这个目的是根据第三方面通过用于协助远程用户向其中运行过程控制系统的工业现场中的位置提供指令的计算机程序产品来实现，提供在包含计算机程序代码的数据载体上的该计算机程序产品配置成当数据演示装置与远程用户装置进行通信会话时，引起包含拍摄装置和投影机的数据显示装置：

-接收来自该远程用户的拍摄装置控制命令，所述拍摄装置控制命令包括视野控制命令，

-使用包括控制该拍摄装置的视野的拍摄装置控制命令来控制该拍摄装置，

-接收来自该远程用户的投影机控制命令，该投影机控制命令包括在投影机的演示区中投影演示项目的命令，以及

-使用包括控制该投影机在其演示区中投影演示项目的投影机控制命令来控制该投影机，

其中，与拍摄装置的视野的控制无关地执行演示区中投影的控制。

本发明具有许多优点。本发明改善无需旅行以快速有效的方式向世界实际上任何地方提供指令的能力。通过允许数据演示装置的拍摄装置视野与投影机的演示区分开，这二者使用中极大的自由度成为可能，这改善给出指令的能力。该数据演示装置的控制不依赖于本地用户，而是能够由远程用户自由进行。

附图说明

下面将参照附图对本发明描述，其中：

图1示意性地示出工业工厂，其中过程控制系统连同数据演示装置一起操作工业过程，

图2示意性地示出数据演示装置的壳体内部的单元的框图，

图3示出以三角架上壳体的形式的数据演示装置的透视图，

图4a和4b示出指示壳体的移动的各种可能性的数据演示装置的透视图，

图5示意性地示出数据演示装置经由互联网与远程用户的计算机通信，

图6示意性地示出具有其计算机的远程用户，在计算机上示出过程控制系统中位置的视频，

图7示意性地示出用于捕获位置上过程控制对象的一部分的视频的数据演示装置的拍摄装置的使用，

图8示意性地示出视频连同位置及数据演示装置的三维视图的演示，

图9示意性地示出由数据演示装置执行的将视频传送至远程用户的方法的流程图，

图10示意性地示出提供其中提供演示项目的投影区的具有数据演示装置的位置，

图11a和11b示意性地示出在移动投影区时具有数据演示装置和演示项目的位置，

图12示意性地示出由远程用户操作数据演示装置的方法的流程图，

图13以CD-ROM盘的形式示意性地示出具有计算机程序代码的数据载体，用于实现数据演示装置的控制单元。

具体实施方式

本发明提出了一种远程用户收集相关数据并且为其中运行过程控制系统的工业工厂的位置处的本地工程师提供指令和方向的方法。

图1示意性地示出其中提供过程控制系统10的工业工厂。过程控制系统10是用于控制工业过程的计算机化过程控制系统。过程能够是任何类型的工业过程，例如电力发电、输配电过程以及水净化与分配过程、油气生产与分配过程、石化、化工、医药和食品过程，以及制浆和造纸生产过程。这些只是其中系统能够应用的过程的一些示例。还存在无数其他工业过程。过程还可以是其他类型的工业过程，例如货物制造业。可通过一台或多台过程监控计算机来监测过程，该计算机与处理过程的监测和控制的服务器通信。

因而，图1中的过程控制系统10包括多个过程监测计算机12和14。这些计算机在这里也可视为形成操作员终端，并且连接到第一数据总线B1。也存在连接到该第一数据总线B1的网关16，所述网关16连接到至少一个无线网络WN。该网关还连接到公共数据通信网络，其在这里为互联网IN。数据演示装置32连接到该无线网络WN。该无线网络WN可以是局域网，例如无线局域网(WLAN)。它也可以是蓝牙网络，即带有多个互连的蓝牙节点的网络。它还可以是移动通信网络。

此外，还存在第二数据总线B2，并且在第一和第二数据总线B1和B2之间连接有服务器18，其提供过程的控制和保护，以及数据库20，其中存储与该过程控制和保护相关的数据。这种与控制和保护相关的数据在这里可包括过程数据，例如测量值和控制命令，同时与保护相关的数据可包括报警和事件数据以及可以在其上生成报警和事件的数据，例如过程中所获得的测量值。它还可以提供过程控制对象的面板，所述面板可包括来自数据库20的有关过程控制对象的过程控制数据。此外，在两条总线B1和B2之间连接了可选择的对象数据服务器21。该对象数据服务器21包括有关全部过程控制对象的数据，例如关于该过程控制对象的蓝图、说明书和手册。

此外，多个其他装置24、26、28和30也连接到第二数据总线B2。这些其他装置24、26、28和30为现场装置，其是受控过程的接口装置。现场装置通常是获得过程测量所借助的并且将控制命令给到的接口。此外，因为这个，该现场装置是过程控制对象。在本发明的一个变型中，第一现场装置为第一过程控制对象24，第二现场装置为第二过程控制对象26，以及第三现场装置为第三过程控制对象28。

图2示出了提供在数据演示装置32中的多个单元的框图。数据演示装置32提供有壳体49。在壳体49中提供总线33，并且将可选择的短程通信单元46或近程传感器、视频投影机48、拍摄装置34、记录控制器36、程序存储器39、处理器40以及无线通信电路42连接到总线33。它还可以包括至少一个其他传感器，例如温度传感器、加速计、环境光线传感器和陀螺仪(未示出)。此外，无线通信电路42连接到天线44，其中该无线通信单元42与天线44被提供用于与无线网络WN进行通信。无线通信电路42和天线44一起形成一种类型的通信接口，用于与过程控制系统以及其他实体通信。因此，它可以是WiFi或WLAN接口。它也可以是移动通信接口。还应意识到，在数据演示装置中可存在两个通信接口，一个移动通信接口和一个WiFi接口。记录控制器36又连接到麦克风35，该记录控制器36与麦克风35一起形成记录单元，其可用于记录过程控制系统中位置中的声音。虽然未示出，但数据演示装置32也可以包括声音发出单元，例如扬声器和耳机。将麦克风和耳机组合到连接到数据演示装置32的头戴式耳机中也是有可能的。短程通信单元46也可被视为一种类型的传感器，对象传感器或近程传感器，用于感测要服务的过程控制对象。该传感器可通过近场通信(NFC)技术来实现。

在程序存储器39中提供软件代码，其在由处理器40运行时形成控制单元38。控制单元38更特别地配置成在远程用户的控制下执行多个功能。

数据演示装置32可在工业工厂的场地内移动。因此它可以从一个位置移到另一个位置。它也可以被放置，使得它将能够捕获视频图像并且通过投影机48演示数字化演示。为此，壳体49可以放置于三角架50上，其图3中示意性示出。拍摄装置34具有视野，即其中它检测其周围环境的区域。该视野可以以不同方法改变。它可以通过变焦拉远命令来增大，并且它可以通过变焦推近命令而缩小。该视野也可以使用各种类型的摇摄命令来转换或移动。为了获得摇摄，拍摄装置的取向可以改变。以类似的方式，投影机具有演示区或投影区，即在其中能够可视化演示信息的区域。该演示区可以以投影机瞄准线为中心，并且可以具有任何适当的形状，例如圆形、长方形和二次函数形状。该演示区也是可以通过改变投影机的取向而进行移动。拍摄装置34可以在三个维度中变化其取向，投影机48同样可以在三个维度中变化其取向。此外它们也可以独立变化。在一个变型中，可以通过整个壳体46能够改变取向而联合地改变这些取向。图4a和图4b示意性地示出了实现这种再取向的移动。能够看出壳体49可沿水平面绕三角架50的垂直轴360度旋转。也能够看出壳体49可以垂直地上下倾斜。为了获得这种移动，数据演示装置32可提供有用于获得这种移动的至少一个马达。如上所述，也可以提供有一个以上的马达，例如，一个马达用于提供垂直移动，而另一个用于提供水平移动。为了获得拍摄装置和投影机的单独移动，也可以存在所提供的两对这类马达，其中提供一对用于拍摄装置32，另一对用于投影机48。此外，尽管拍摄装置和投影机仍提供在相同壳体内部，但这些单独移动也被提供。

如上所示，投影机48可以与拍摄装置无关地改变取向。从而拍摄装置34和投影机48可以指向不同方向。

如图1中能够看出，数据演示装置32可通过无线网络WN访问互联网IN。这允许数据演示装置32能被远程操作，即，从该工厂外的其他场所操作。因而该数据演示装置32可以由远程用户、例如通过远程用户52的计算机操作。这种情况在图5中示意性地示出，这里能够看出，远程用户52的计算机51可通过互联网与数据演示装置32通信。这样，数据演示装置32的控制单元38能够例如通过该远程用户52可登录的万维网站接收来自远程用户52的命令。作为备选方案，控制命令可以直接从远程用户52的计算机51发送。

因此，远程用户52可以能够获取数字演示装置32的拍摄装置34所捕获的视频图像，所述视频图像然后通过远程用户52的计算机51为其演示。这在图6中示出。图5示意性地指示视频流VS、三维模型3DM和拍摄装置数据CD从数据演示装置32到远程用户52的计算机51的传送。来自传感器的信息也可以通过互联网无线传送到该远程用户。通过该远程用户提供回工厂的信息也可以通过互联网传送。关于传送的更多信息将会很快给出。

现在将对本发明的某些实施例予以详细地描述。

在工业领域中，例如在其中由过程控制系统来运转过程的工业工厂中，一直保持生产的运转非常重要，因为即使生产中的轻微中断也将付出大量金钱。因为这个，维护被视为是非常重要以便保持生产并且运转。

维护能够是非常昂贵的，因为有时必须请来外部专家帮助解决普通人员可能不具有专业能力去处理的高级操作问题。

通过电话线路进行的本地工人与专家之间的协作常常不是足够好。专家可能需要看到现场发生什么并且可能需要能够在没有任何误解风险的情况下指令现场人员。来回发送照片也是一种共享信息的缓慢方式，因此这也并非真正有效。

找到合适的专家并且让该专家飞抵现场能够花费很长时间。在意外故障需要外部专家协助以便继续生产的情况下，由于专家可能必须长距离旅行到达现场，所以这引起长时间停机。

请外部专家飞抵现场能够是非常昂贵的。不仅与该专家相关联的花销(旅行、住宿等)，而且工厂人员等候专家抵达期间的生产中断对于工厂拥有者来说能够是非常昂贵的。

上述情况通过数据演示装置的使用来解决。

在操作中，即，当工厂内位置处存在某种问题时，数据演示装置被带到该工业现场的位置，并且放置在该位置中需要协助的位点(position)。装置可放置于，例如，房间的中央。该数据演示装置可以由本地用户放置在这个位置处，以便用于解决位置处的问题，例如，一台或多台机器或过程控制对象可能出现故障，或者生产过程在位置处表现异常的事实。

由于所述装置被带到了该位置，因此许多活动可以执行。

在第一变型中，远程用户提供有与视频流有关的场景数据。现将参考图7、8和9描述该第一变型，其中图7示意性地示出了使用数据演示装置的拍摄装置的使用来用于捕获工业现场位置处的过程控制对象一部分的视频，图8示意性地示出了该视频连同该位置及该数据演示装置的三维视图的演示，而图9示意性地示出了由该数据演示装置执行的将视频传送至远程用户的方法的流程图。

依照第一变型，控制单元38首先使得数据演示装置32扫描该位置处的区域，步骤56。这可以通过控制单元38控制马达绕垂直转轴旋转壳体49结合控制马达按图4a和4b所示不同倾斜角度向上和向下倾斜壳体49来进行。以这种方式，使用拍摄装置34该数据演示装置的位置周围的三维空间捕获有不同视频图像。

该区域经扫描后，控制单元38分析所捕获的图像，并且调查其对照预存的该位置处的位置和对象、即过程控制对象和该位置可能存在的其他对象的三维模型是否能够对它们进行识别。如果其识别出了该视频图像并且因此存在预存模型，步骤58，则该模型被调用，步骤60。该预存三维模型可以提供在数据演示装置32中。作为备选方案，它也可以从服务器，诸如服务器21，获取或调用。如果存在预存模型，则关于数据演示装置在该位置处的先前位点的数据以及在该先前位点放置的数据演示装置所记录的视频流和拍摄装置取向可以连同该模型一起保存。而且，该先前位点数据和相关联的历史视频流可以被调用。如果由该位置已制作任何三维模型，则其因此被调用。但是，如果不存在预存模型，步骤58，则该位置及该位置中各种对象的新三维模型3DM由控制单元38创建，步骤62。模型可以，例如使用增强现实功能性来创建。如果数据演示装置包括红外传感器，则使用红外技术，例如Microsoft Kinect也是有可能的。该位置处自然特征的3D映射能够通过使用多种特征提取方法例如以2D RGB数据和3D RGBD(红，绿，蓝，深度)数据进行的拐角或边缘检测来构建。使用这种稀疏映射，也有可能确定带有拍摄装置34的数据演示装置32的位置。有可能确定拍摄装置34的取向或姿态。从而有可能确定拍摄装置34朝向哪个方向。该取向可以基于配准算法来计算。这些算法能够用于定位现实世界映射中的当前帧或视频图像的特征，并且基于这个确定拍摄装置34的取向。

过程控制对象，即现实世界对象，可以提供有对象识别符，例如NFC标签或条形码。如果读取所述识别符，则有可能获得关于它们是什么类型对象的信息。类型可通过拍摄装置34检测可视对象识别符，如条形码，来予以识别。作为备选方案，短程通信单元可设定为读取带有该对象识别符的标签。这种条形码可用于，例如从过程控制系统中的数据库调用与该对象相关联的数据。为了简化这种数据的调用，因此控制单元38可存储的对象识别符与该位置3DM模型中的对象的相关联。作为备选方案或另外地，使用陀螺仪和/或加速计来确定该取向也是有可能的。

上述步骤可在与远程用户52开始通信会话之前已经执行。这种会话可以使用WiFi和互联网建立的TCP连接来进行。作为备选方案，步骤在通信会话开始之后才执行。在这两种情况下，控制单元38调查通信会话是否准备就绪或是正在进行，其在这种情况下至少涉及远程用户与本地用户之间通过计算机51和数据演示装置32的声音生成设备和声音记录设备所进行的声音通信会话。它还涉及直播视频流VS的传送，其可以是从过程控制系统中的数据演示装置32到远程用户52的计算机51的单向视频流。在某些实例中，它还可以涉及双向视频会议，即通过远程用户52的计算机51也提供视频并且将其传送到数据演示装置32。由拍摄装置34捕获的视频图像因此可以传送到远程用户52。而且，远程用户52的数据可以在该远程用户控制下在该位置处进行投影。

如果没有会话在现场，步骤64，则控制单元38等待由本地用户或者由远程用户52发起的会话。

然而，如果一个会话正在进行中，步骤64，则控制单元38控制拍摄装置34记录视频流，步骤66。它也确定拍摄装置取向，步骤68，例如基于拍摄装置34的取景器的瞄准线。该取向可以作为与数据演示装置的位置相关的立体角和参考角来提供。

在通信会话中，模型3DM可以从数据演示装置传送到远程用户52。更特别地，该三维模型3DM可以连同视频流VS中的拍摄装置数据CD一起被传送，步骤70，其中该拍摄装置数据可包括拍摄装置位置，即，数据演示装置的位置，以及拍摄装置取向。此外，有可能控制单元38修改该位置的模型，使得该数据演示装置和取向成为该模型的一部分。该拍摄装置数据因而可以作为该模型的一部分来提供。

远程用户然后接收到视频流连同模型3DM和拍摄装置数据CD。然后，该远程用户可以看到所捕获的视频以及利用该模型3DM获取该位置的三维视图。因此，该远程用户有可能看到其在现场中所能看到的状况。

这样的示例在图7和图8中示出。图7示出了数据演示装置32是如何与第一、第二和第三过程控制对象24、26和28处于相同位置，以及它是如何捕获第二过程控制对象26的一部分的视频图像。因此它为远程用户52记录该视频。图8示出了视频流VS中的视频图像VI，如在远程用户52的计算机51上显示时将会看到的那样。该视频图像可包括许多有用的信息。但是，它可能缺少场景(context)。该场景也是通过与视频流VS一起传送模型3DM和拍摄装置数据而提供的。图8示出了远程用户52能够在其计算机51的显示器上看到的屏幕。该视图包含来自拍摄装置的直播视频流，其中图像VI被演示。此外，场景信息通过该位置的概览图像OI提供，该概览图像OI通过利用该数字演示装置DPD及其取向来可视化该位置的模型3DM而获得。在这里，远程用户计算机51能够将数据演示装置的表示连同图像的取向放入该模型中是有可能的。备选地，这已经由数据演示装置32的控制单元38完成。在后者的情况中，示出数据演示装置及取向的修改后的模型被提供。

控制单元38然后调查通信会话是否结束。如果未结束，步骤72，则视频继续被记录以及拍摄装置取向被测定，步骤68，并且连同该模型一起传送给远程用户，步骤70。然而，如果结束通信会话，步骤72，则也结束操作，步骤74。

因此，根据该第一变型能够看出，在视频会议情况下跟踪拍摄装置34的当前位置及取向同时还构建环境映射是有可能的，使得远程用户52能够具有更好的位置情景意识。如图8能够看到，远程用户52既看到当前的拍摄装置视图VI，也能够使用右下角中的小图OI获取周边环境的非常好的概览。

在这里，远程用户还能够在所构建的3D视图中浏览，并且因此不限于从视频转变中观察当前帧，而是从视频帧所构建的已知3D模型中自由“探索”。

视频会议呼叫，其中目的是要共享一个用户的环境，将不限于简单的流播视频数据，而是还可以包括有关拍摄装置的位置以及当前姿态或取向的数据，其中该取向可以作为拍摄装置取景器的瞄准线的取向来设置。

如果先前模型存在，当这些历史视频流被记录时，远程用户有可能可以调用该位置上先前记录的视频流连同数据演示装置的位点和拍摄装置取向。

本发明的某些优势能够从下列情况中更好地认识到：

1.本地维护工程师在他识别潜在问题时正在工厂地板上做着某一维护；他呼叫远程用户并且发起视频呼叫以获得对这种状况的建议。

2.他使用数据演示装置上的拍摄装置，使它扫描该位置以显示过程控制对象(在这个示例中为第二过程控制对象26)的当前情况以及周边环境。

3.不同的视频帧被处理以形成该环境的映射。在该映射的形成中，该数据演示装置的位点也被确定。使用这个映射及当前视频图像，拍摄装置的当前取向或姿态被计算。

4.然后，带有拍摄装置数据的环境的映射3DM连同视频流在呼叫期间通过网络发送。

5.由于远程用户能够同时看到环境映射和视频流，这个附加信息帮助他在具有给定拍摄装置取向的动态性质的世界中定向其自身。该远程用户获得了比普通视频会议系统所能给予的更为良好的情景意识。

6.由于视频协作系统的高效，使得该远程用户能够获得对于工厂现场中本地环境的非常清晰的理解，则两个用户可以设法解决情况。

第一变型具有许多进一步的优势。在该第一变型中，拍摄装置和映射数据，即该拍摄装置数据和三维模型，连同视频流一起传送。这相对于常规的视频流提高了情景意识，促使更少混乱情况以及更高的位置意识。

流数据用于创建位置的完整照片。远程用户能够使用这个3D模型独立于物理拍摄装置位点之外而导航视点；这将给予该远程用户极大的情景意识。

另一个优势是，不必要的问题的数量被缩减，比如“你现在在哪？”，“我现在看到的是什么部分？”这样的问题以及远程协作的工程师不得不问的其他指示性问题现被避免。

通信也将变得更为准确。与位置相关的通信错误将不太常见。

两个用户之间的协作也将变得更加有效。用于待完成的视频协作任务所需用的时间将最大可能地得到改善。

此外，有可能安全性被增强。由于远程用户具有即将到来的情况的更好的情景意识，他能够观察本地用户是否正在执行正确的行动。

现将参照图10、11a、11b和12对第二变型进行描述，其中图10示意性地示出了具有数据演示装置32的位置，该数据演示装置32提供其中投影演示项目PI的投影区PA，图11a和11b示意性地示出了当投影区PA被移动时的具有数据演示装置32和演示项目PI的位置，图12示意性地示出了由远程用户52操作数据演示装置32的方法的流程图。

当在该位置处时，数据演示装置32有利地用于从该位置获取数据以提供给远程用户52，并且接收从远程用户52到该位置处的本地用户的指令。这可以通过双向语音或视频通信来完成。

当通信会话正在进行时，控制单元38因此从传感器调用传感器测量值，例如温度传感器和环境光线传感器，并且将这些传感器测量值传送到远程用户52的计算机51，步骤76。拍摄装置34也捕获并且向远程用户52传送视频VS，步骤78。

远程用户52现在可能想要获取关于其在视频流VS中看到的过程控制对象的一些更多相关数据。他可能，例如，期望获取贮罐中的温度或变压器的电压数据。为了完成这个，他可以在视频中或者在先前获取的位置模型中选择一个对象。他可以，例如检测视频中的对象标识符，并且将该对象标识符发送到数据演示装置。他也可以在模型中选择一个对象，并且该选择可被传送到控制单元38。然后，控制单元38可以从数据库20中调用关于该对象的数据。它可以，例如调用带有该过程控制对象的当前数据的面板。

控制单元38因而可以从远程用户52接收过程控制对象选择，步骤80，并且基于该选择它从过程控制系统，例如从数据库20，调用该过程控制对象数据，并且将该过程控制对象数据传送到远程用户52的计算机51，步骤82。远程用户52因此可以在该位置的模型中选择一个对象，并且当该对象被选择时，他可以获取附加数据，例如带有操作信息的面板。

过程控制对象选择之后，或者如果没有选择过程控制对象，控制单元38可以从该远程用户接收演示项目PI。远程用户52可以更特别地提供由投影机将投影的演示项目。演示项目PI可以是数字化演示项目，也可以是数字静像，诸如箭头或圆圈的图像、诸如幻灯片的演示或带有指令的文本串。它还可以是由远程用户52所做的绘图。该演示项目因而可以是远程用户生成的演示项目，其包括指令和可视指示器。因此演示项目PI可以成为标注图像，其通过投影机48向本地用户演示。如果这种演示项目PI被接收，步骤84，那么该演示项目的位置选择也可以被接收。远程用户可以在位置的3D模型3DM中选择演示项目PI的位点。该位点选择也可以传送到控制单元38。然后，控制单元38将该演示项目与该选择的位点相关联，步骤86。该演示项目的位点可以利用与数据演示装置的位点以及参考角相关的立体角和半径来设定。由此，演示项目可以被指定到该位置的三维模型中的空间。以这种方式还有可能指定一个以上演示项目。

此后，控制单元38等待可能来自远程用户52的拍摄装置控制命令。该拍摄装置控制命令可包括视野控制命令，例如变焦命令，其改变视野的尺寸但保留相同的视线，或者是改变视线的取向控制命令。取向控制命令通常包括摇摄(panning)命令。远程用户52从而可以通过旋转或倾斜拍摄装置34而改变其取向。远程用户52也可以变焦拉近和变焦拉远。如果接收到命令，步骤88，则这些命令由控制单元38使用。如果命令是视野命令，则其用于控制拍摄装置的视野，步骤90。变焦命令被转发到拍摄装置34，然后其取决于该控制命令的类型进行变焦拉近或是变焦拉远。如果需要倾斜或旋转，则控制单元38操控相应的电机以获得所需移动。

此后，控制单元38可接收来自远程用户52的投影机控制命令。该投影机控制命令可包括投影演示项目PI的命令。在一些情况中，这个命令也可以是在特定的理想位点投影该演示项目的命令。如果接收到投影机控制命令，步骤92，则投影机48由控制单元38依照该命令进行操控，这涉及到，如果该控制命令是投影演示项目PI的命令，则控制投影机48在该投影机的演示区PA投影该演示项目PI，步骤94。如果该命令是在特定位点投影，则投影机被控制以便在该位点投影演示项目PI。命令还可以包括改变演示区的取向的命令。这种情况下，投影机可以使用与拍摄装置34所用电机相同或另一个电机移动，并且受控以便投影该演示项目，使得其在期望位点呈现，步骤94。因此，远程用户可以控制数据显示装置在该位置中的选择空间或位点投影演示项目。这涉及将该演示项目投影到与三维模型中关联位点对应的现实世界位点。如果在该位置处的现实世界对象根据演示项目位点将会在该演示项目的前方，则由该现实世界对象挡住的演示项目的部分将无法演示。

如果投影机被重新定向以便使演示区PA移动，那么该演示项目PI可以设定为停留在用户选择的位点。此外，该演示项目投影的进行与视频演示无关。由于演示项目是与模型相关联的，这也意味着有可能保留该演示项目用于该位置处以后的会话。

控制单元38因此可以将对投影机48的控制与对拍摄装置34的控制分开或者独立。例如，如果拍摄装置34流在细节处放大，使得演示项目PI处于拍摄装置34的视野之外，则该演示项目PI将仍然演示。因此进行演示区内演示的控制与拍摄装置视野的控制独立开来。如从上述给出的变焦示例显而易见，这因此意味着投影机48的演示区PA中演示项目的位点可以处于拍摄装置视野之外。这也意味着该演示区PA可以与拍摄装置34的视野不同。当拍摄装置控制是控制该拍摄装置的取向的命令，而投影机的控制命令是控制该投影机的取向的命令时，同样能够看到执行该投影机取向的控制独立于该拍摄装置取向的控制，也就是说该拍摄装置取向的控制不影响该投影机取向的控制。

从图11a和11b能够看到，投影机48的投影区PA可以是可移动的。如果存在若干演示项目在位于当前位点时可以适配于该演示区内，则这些演示项目可基于远程用户的命令单独或同时演示。

例如，如果提供了若个演示项目，其中某些项目处于该演示区PA的当前位置之外，则投影机48可以被重新定向，使得一个或多个演示项目能够投影。指定后，远程用户可以简单地选择要演示的演示项目，而控制单元38将控制一个或多个电机以重新定向该投影机，使得其演示区涵盖所选择的演示项目。

此后，视频的捕获得以继续，步骤78，以及等待来自远程用户的各种命令，步骤80，84，88和92。这种操作类型只要会话在进行则一直持续。

远程用户52还可以发送控制投影机48、拍摄装置34以及各种传感器(例如温度传感器)的命令。

通过数据演示装置32，远程用户有可能获取在该位置处过程控制对象的操作的知识，以及获取其他信息诸如该位置处的温度。为观察该位置，远程用户52也可以旋转拍摄装置并获取该位置的可视数据。通过语音连接，该远程用户还可以与本地用户通信并且接收该位置处可能存在问题的语音意见。

然后，该远程用户可确定适当的行动，例如什么过程控制对象及其哪部分要被致动以及何时致动。例如，该远程用户可以提供多个演示项目，例如箭头和说明性文本，并且将其指定到虚拟模型中的不同位点。该远程用户也可以提供定时指令，从而提供演示项目被演示的顺序。命令和演示项目然后可以发送到数据演示装置32，其通过投影机48以远程用户52所确定的顺序进行演示。如果这些演示项目提供在当前位点的演示区中，则其可以同时被演示。当需要演示的新演示项目处于投影机48当前视野之外(即当处于当前位点时在演示区之外)时，则投影机48可被移动或者重新定向，使得演示区覆盖该新演示项目的位点。投影机48的这种移动可独立于拍摄装置34而进行。这样，远程用户52有可能在一个地点处演示信息，例如关于致动某一过程控制对象的指令，而同时监控投影机48未覆盖的另一地点处的另一对象。

第二变型从而提供了一种允许远程用户通过直播视频流来远程指令现场人员的方法。该数据演示装置也将允许本地用户和远程用户以声音方式通信。它还将允许该远程用户通过拍摄装置获得环境的概览。该远程用户还能够滚动、摇摄和变焦现场的拍摄装置，以从遥远的位置获得对该情景的更优概览。由于使用了3D拍摄装置，所以在该远程用户需要关于该位置的附加空间信息情况下，他将能够看到该环境的3D模型。

而且，远程用户还有可能通过使用投影机向现实世界投影信息的方式添加演示项目或信息，例如对物理世界的标注和绘图，即，该远程用户可以与在该位置的本地用户从视觉上共享信息和标注。

所有的传感器连同拍摄装置和录音设备将使远程连接的用户能够看到、听到和感受到工厂的情况。投影机和声音生成设备又可以用于从该远程用户反馈的信息传递给现场人员。该投影机是用于让远程用户可视化地将信息反馈地传递给工厂人员。

通过允许远程用户掌控数据演示装置，该远程用户能够以旋转、倾斜和变焦的方式运用拍摄装置浏览环境。一旦该远程用户具有其想要与现场的本地用户分享的信息时，该远程用户能够使用投影机将该信息“绘”到演示区上。远程用户能够使用文本、图像或是简单地在远程屏幕上绘制目标对象。然后使用投影机将该绘图投影到现场。由于拍摄装置记录了该环境的3D模型，所以注释也可以是被留下的对象。

由远程用户所提供的所有可视信息可以是增强现实信息，意味着，该远程用户添加的任何标注或绘图被保存或连接到通过使用所构建的环境3D模型而添加的点。这意味着，如果该远程用户在添加了标注之后旋转拍摄装置，则该标注将仍停留在相同的点。

如图11能够看到，远程用户已经添加了演示项目PI。当该远程用户如图11b能够看到的那样旋转数据演示装置32，例如为了得到更好的概览，即便演示区PA的位点已经发生了变化，但该演示项目PI仍可正确地投影。因而能够看到，即使该演示区被移动，其中投影该演示项目的现实世界位点仍被保持。

设想下列场景：

1.一家挪威天然气公司在其近海平台上意外地经历严重麻烦。该问题罕见并且技术性复杂，现场操作人员需要专家支持以便恢复生产。

2.由于所有专家位处遥远，专家飞抵现场将耗时至少48小时。

3.操作人员联络支持公司，其中针对该技术项目的专家可以立即帮助解决所述近海平台的问题。

4.操作人员与专家进行讨论，该专家指令现场操作人员将数据演示装置带到过程的特定部分，使得该远程专家能够看到问题。

5.该远程专家使用拍摄装置、录音设备和传感器观察情况。

6.基于来自该近海平台的信息，该远程专家现在能够指令现场操作人员执行某些操作以修正问题。

7.该远程专家利用语音以及可能地与该近海用户视觉上共享信息。因为该远程专家有可能立即“指出”现场操作人员应该执行行动的地方，所以远程专家使用声音以及视觉共享信息的可能性极其有效。

通过第二变型，远程用户被赋予了对世界上任意地方立即给出支持的可能性。他们不再每次需要其协助时都亲临现场，而是，在许多情况下，他们能够从办公室解决问题。远程用户被赋予了一定水平的情景意识，这样的情景意识不能够通过构建现实世界的3D模型只使用视频流来实现。

本地用户，例如维护工程师，被赋予了一种观看增强现实信息的低调而自然的方式，许多情况下，这种方式优于以头戴式眼镜或手持式屏幕来观看增强现实信息。

远程用户能够将注释添加到被投影到实际设备表面上的环境，以供本地维护工程师观看。

存在将注释添加到世界的3D模型上并且使用投影机在现场显示这些注释的可能性。

即便拍摄装置涵盖另一个位点，添加到3D模型上的注释也固定在其位置上。

添加到该环境和/或世界的3D模型上的标注和注释也可以被记录并且保存作为该工业工厂维护史的一部分。如果该数据演示装置被取回到某个已知位置，这些信息也可以日后再检索。

还应认识到，两个变型可以组合。这两个变型中的活动从而可以在相同通信会话中进行。这种情况下，第一变型中远程用户得到的位置的知识可以用于控制该数据演示装置，并且特别是在使用演示项目时。

控制单元可以，如上所述，以处理器连同存储器形式提供，该存储器包括用于执行其功能的计算机程序代码。该计算机程序代码也可以在一个或多个数据载体上提供，在该程序代码被加载到存储器并且由处理器运行时执行该控制单元的功能。一个这种具有计算机程序代码98的数据载体96，以CD ROM盘的形式，在图13中示意性地示出。

除了已经提及的实施例，本发明还能够以更多的方式进行变化。因此应认识到的是，本发明仅由下面的权利要求书所限制。

Claims (12)

1.一种协助远程用户向其中过程控制系统(10)被运行的工业现场中的位置提供指令的方法，所述方法由数据演示装置(32)在被涉及在与所述远程用户的装置(51)的通信会话中时来执行，从位置到位置能够移动的所述数据演示装置包括拍摄装置(34)和投影机(48)，所述方法包括：

–检索(60)或创建(62)所述位置的三维模型(3DM)，

–将演示项目(PI)关联(86)到所述三维模型中的位点，其中所述演示项目是远程用户生成的演示项目，其包括指令和可视指示器，

–接收(88)来自所述远程用户(52)的拍摄装置控制命令，所述拍摄装置控制命令包括视野控制命令，

–使用包括控制所述拍摄装置的视野的所述拍摄装置控制命令来控制(90)所述拍摄装置，

–接收(92)来自所述远程用户的投影机控制命令，所述投影机控制命令包括在所述投影机(48)的演示区(PA)中投影演示项目(PI)的命令，以及

–使用包括控制所述投影机在所述演示区(PA)中投影所述演示项目(PI)的所述投影机控制命令来控制(94)所述投影机(48)，

其中，与所述拍摄装置的所述视野的控制无关地执行所述演示区中的演示的控制，所述演示区中的演示的所述控制包括控制所述投影机(48)将所述演示项目(PI)投影到与所述三维模型中的所述位点对应的现实世界位点。

2.如权利要求1中所述的方法，其中所述拍摄装置控制命令包括控制所述拍摄装置的取向的命令，所述投影机控制命令包括控制所述投影机的取向的命令，并且与所述拍摄装置的取向的控制无关地执行所述投影机的取向的控制。

3.如权利要求1所述的方法，其中所述演示区(PA)能够与所述视野不同。

4.如权利要求1-3中任一项所述的方法，进一步包括接收(84)来自所述远程用户的所述演示项目。

5.如权利要求1-3中任一项所述的方法，其中，如果移动所述演示区，则保持所述现实世界位点。

6.如权利要求1-3中任一项所述的方法，进一步包括接收(80)过程控制对象的选择，从所述过程控制系统中调用(82)关于所述过程控制对象的数据，并且将所述数据传送(82)到所述远程用户。

7.一种数据演示装置(32)，用于协助远程用户向其中过程控制系统(10)被运行的工业现场中的位置提供指令，从位置到位置能够移动的所述数据演示装置包括：

–通信接口(42，44)，用于提供与所述远程用户(52)的装置(51)的通信会话，

–拍摄装置(34)，具有捕获图像的视野，

–投影机(48)，具有能够演示演示项目的演示区(PA)，以及

–控制单元(38)，配置成检索或创建所述位置的三维模型(3DM)，将演示项目(PI)关联到所述三维模型中的位点，其中所述演示项目是包括指令和可视指示器的远程用户生成的演示项目，接收来自所述远程用户的包括视野控制命令的拍摄装置控制命令以及包括在所述演示区(PA)中投影所述演示项目(PI)的命令的投影机控制命令，使用包括控制所述拍摄装置的视野的所述拍摄装置控制命令来控制所述拍摄装置(34)，以及使用包括控制所述投影机在所述演示区(PA)中投影所述演示项目(PI)的所述投影机控制命令来控制所述投影机(48)，

–其中，所述控制单元(38)配置成与所述拍摄装置的所述视野的控制无关地控制所述演示区中的演示，并且控制所述投影机(48)将所述演示项目(PI)投影到与所述三维模型中的所述位点对应的现实世界位点。

8.如权利要求7所述的数据演示装置，其中所述拍摄装置控制命令包括控制所述拍摄装置(34)的取向的命令，并且所述投影机控制命令包括控制所述投影机(48)的取向的命令，并且所述控制单元(38)进一步配置成与所述拍摄装置的取向的控制无关地控制所述投影机的取向。

9.如权利要求7所述的数据演示装置，其中所述演示区能够与所述视野不同。

10.如权利要求7－9中任一项所述的数据演示装置，其中所述控制单元(38)进一步配置成接收来自所述远程用户的所述演示项目(PI)。

11.如权利要求7－9中任一项所述的数据演示装置，其中，如果移动所述演示区，则保持所述现实世界位点。

12.一种用于协助远程用户向其中过程控制系统(10)被运行的工业现场中的位置提供指令的系统，所述系统由数据演示装置(32)在被涉及在与所述远程用户的装置(51)的通信会话中时来运行，从位置到位置能够移动的所述数据演示装置包括拍摄装置(34)和投影机(48)，所述系统包括：

–用于检索(60)或创建(62)所述位置的三维模型(3DM)的部件，

–用于将演示项目(PI)关联(86)到所述三维模型中的位点的部件，其中所述演示项目是远程用户生成的演示项目，其包括指令和可视指示器，

–用于接收(88)来自所述远程用户(52)的拍摄装置控制命令的部件，所述拍摄装置控制命令包括视野控制命令，

–用于使用包括控制所述拍摄装置的视野的所述拍摄装置控制命令来控制(90)所述拍摄装置的部件，

–用于接收(92)来自所述远程用户的投影机控制命令的部件，所述投影机控制命令包括在所述投影机(48)的演示区(PA)中投影演示项目(PI)的命令，以及

–用于使用包括控制所述投影机在所述演示区(PA)中投影所述演示项目(PI)的所述投影机控制命令来控制(94)所述投影机(48)的部件，

其中，与所述拍摄装置的所述视野的控制无关地执行所述演示区中的演示的控制，所述演示区中的演示的所述控制包括控制所述投影机(48)将所述演示项目(PI)投影到与所述三维模型中的所述位点对应的现实世界位点。