CN105900029B - 现场视频流在过程控制系统中的使用 - Google Patents
现场视频流在过程控制系统中的使用 Download PDFInfo
- Publication number
- CN105900029B CN105900029B CN201480072615.3A CN201480072615A CN105900029B CN 105900029 B CN105900029 B CN 105900029B CN 201480072615 A CN201480072615 A CN 201480072615A CN 105900029 B CN105900029 B CN 105900029B
- Authority
- CN
- China
- Prior art keywords
- user interface
- process control
- control
- view
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012369 In process control Methods 0.000 title claims description 6
- 238000010965 in-process control Methods 0.000 title claims description 6
- 238000004886 process control Methods 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 94
- 238000004519 manufacturing process Methods 0.000 claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 65
- 230000000694 effects Effects 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 3
- 239000000654 additive Substances 0.000 abstract description 6
- 230000000996 additive effect Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 229920001131 Pulp (paper) Polymers 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000010978 in-process monitoring Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0267—Fault communication, e.g. human machine interface [HMI]
- G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23258—GUI graphical user interface, icon, function bloc editor, labview
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31472—Graphical display of process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31479—Operator select part of process he wants to see, video image is displayed
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32011—Operator adapts manufacturing as function of sensed values
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35506—Camera images overlayed with graphics, model
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Manufacturing & Machinery (AREA)
- Human Computer Interaction (AREA)
- Testing And Monitoring For Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- General Factory Administration (AREA)
Abstract
本发明涉及用于在工业过程控制系统中控制固定用户接口的方法、用户接口控制装置和计算机程序产品以及这样的过程控制系统。用户接口控制装置在第一位置(L1)从监测工业过程的视频相机(32)获取第一现场视频流，获取第一位置(L1)的过程控制视图，在第一现场视频流上叠加过程控制视图，并且在用户接口的显示器上显示具有叠加的过程控制视图的第一现场视频流。
Description
技术领域
本发明总体上涉及过程控制系统。更具体地，本发明涉及用于控制工业过程控制系统中的固定用户接口的方法、用户接口控制装置和计算机程序产品以及这样的过程控制系统。
背景技术
过程控制系统通常包括大量在过程的控制中被涉及到的过程控制设备。
过程控制系统因此通常包括控制计算机以及操作站或监测计算机，操作者经由操作站或监测计算机能够监测过程。操作站因此通常是固定的并且设置在工厂的控制室或控制站中。
在过程控制系统的操作站处，普遍具有显示过程或者过程的部分的图形过程控制视图，其中过程及其设备可以被表示为在逻辑结构中互连的图形块。
还已知的是，在过程控制设备周围的位置处安装有视频相机。相机捕获视频图像，其被流送到控制室或控制站以用于经由监测计算机来观察。操作者因此可以在其监测计算机的屏幕上查看视频流。然而，在这种情况下，视频通常显示在图形块的旁边。显示区域的大部分通常被图形过程控制视图覆盖。
在一些过程中，在视频流中概览远远更好。这表示，在以上提及的情况下，因为视频被过程视图主导，因此操作者有可能未能注意到过程的重要变化。因此，得到过程的更好的概览是令人感兴趣的，其中现场视频流主导用户接口显示。然而，仍然可能需要查看过程视图。
已知的是，在过程控制环境中在现场视频上叠加过程控制图形。这在US 2013/032125中有描述。然而，叠加在该文档中是在移动设备中执行的。另外，过程控制图形的显示看起来依赖于将移动设备向外带到捕获视频的位置以便获取要与现场视频组合的过程图形的知识。该文档的教导因此不能很容易地被转移到用户接口固定的环境。
因此，需要在固定用户接口处实现过程控制系统的更好概括。
本发明被提供用于解决以上描述的问题中的一个或多个。
发明内容
本发明解决如下问题，即改善在固定用户接口处的过程的过程概括。
这一目的根据本发明的第一方面通过一种用于在工业过程控制系统中控制固定用户接口的方法来解决，方法由用户接口控制装置来执行并且包括步骤：
在第一位置从监测工业过程的视频相机获取第一现场视频流，
获取针对第一位置的过程控制视图，
在第一现场视频流上叠加过程控制视图，以及
在用户接口的显示器上显示具有叠加的过程控制视图的第一现场视频流。
这一目的根据本发明的第二方面、通过一种用于控制工业过程控制系统中的固定用户接口的用户接口控制装置来解决，用户接口控制装置包括：
视频获取单元，被配置成在第一位置从监测工业过程的视频相机获取第一现场视频流，
控制图形单元，被配置成获取针对第一位置的过程控制视图，以及
用户接口控制单元，被配置成在第一现场视频流上叠加过程控制视图，并且在用户接口的显示器上显示具有叠加的过程控制视图的第一现场视频流。
这一目的根据本发明的第三方面、通过一种工业过程控制系统来解决，工业过程控制系统用于控制工业过程并且包括根据第二方面的用户接口控制装置。
这一目的根据本发明的第四方面、通过一种用于控制工业过程控制系统中的固定用户接口的计算机程序产品来解决，计算机程序产品被设置在包括计算机程序代码的数据载体上，计算机程序代码被配置成引起用户接口控制装置在计算机程序代码被加载到提供用户接口控制装置的至少一个设备中时：
在第一位置从监测工业过程的视频相机获取第一现场视频流，
获取针对第一位置的过程控制视图，
在第一现场视频流上叠加过程控制视图，以及
在用户接口的显示器上显示具有叠加的过程控制视图的第一现场视频流。
本发明具有大量优点。在某些类型的过程中最佳地示出过程的变化的视频流形成显示器上的操作者视图的基础。这使得操作者能够对在过程中发生的重要的变化快速地做出反应。同时，相关的过程控制视图也存在并且被观察。这具有以下优点：操作者不需要将他的或她的注意力从现场视频流转移以便查看过程控制视图，这增强了控制操作的安全性和可靠性。
附图说明
下面将参考附图描述本发明，在附图中：
图1示意性地示出了具有过程控制系统的工业工厂，过程控制系统操作工业过程并且包括大量视频相机和用作用户接口控制装置的用户接口设备，
图2示意性地示出了用户接口设备的示意性框图，
图3示出了在工业工厂的前提下的第一和第二位置，其中存在大量过程控制设备、在过程中正在产生的对象以及在两个位置处的视频相机，
图4示意性地示出了由视频相机中的第一视频相机捕获的现场视频流，
图5示意性地示出了与第一位置相关联的过程图形，
图6示意性地示出了叠加在现场视频流上的过程图形，
图7示意性地示出了具有和没有可视活动指示符的对象，
图8示出了在控制用户接口的方法中正在执行的大量方法步骤的流程图，以及
图9示意性地示出了用于执行方法的步骤的、CD-ROM盘形式的具有计算机程序代码的数据载体。
具体实施方式
下面，将给出用于控制过程控制系统中的固定用户接口的方法、用户接口控制装置和计算机程序产品的优选实施例的详细描述。
图1示意性地示出了其中设置有工业过程控制系统10的工业工厂。过程控制系统10是用于控制工业过程的计算机化的过程控制系统。过程可以是任何类型的工业过程，诸如电力生成、传输和分配过程以及水净化和分配过程、油和气生产和分配过程、石化、化学、制药和食品过程、以及纸浆和造纸过程。这些仅是可以应用上述系统的过程的一些示例。存在无数其他工业过程。过程还可以是其他类型的工业过程，诸如货物的制造。过程可以通过一个或多个过程监测计算机来监测，一个或多个过程监测计算机与处理过程的监测和控制的服务器通信。
在图1中，过程控制系统10因此包括大量过程监测计算机12、14和16。这些计算机在此也可以被认为形成操作者终端或工作站，并且连接至第一数据总线B1。这些操作者终端也是到过程控制系统的操作者的用户接口。另外，它们是固定的。过程监测计算机16中的一个也是用作用户接口控制装置的用户接口设备。应当认识到，用户接口控制装置不一定限于实现在用户接口中。比如，其可以通过连接至第一总线B1的服务器来实现，服务器经由过程监测计算机的用户接口来控制数据的显示。
连接至第一总线B1的还有第一和第二视频相机32和34。视频相机32和34设置在过程正在运行的工厂的设备中的第一和第二位置。这些位置不同于用户接口的位置。用户接口是固定的。这些用户接口中的一些设置在控制室中，而其他用户接口可以设置在工厂中的专用控制站处。控制室和控制站以及因此用户接口因此与第一和第二位置分离。
另外，存在第二数据总线B2，并且在第一和第二数据总线B1和B2之间，连接有提供过程的控制和保护的服务器18以及与过程的控制和保护相关的数据存储在该处的数据库20。这样的与控制和保护相关的数据在此可以包括过程数据，诸如测量和控制命令，而与保护相关的数据可以包括警报和事件数据以及可以生成警报和事件的数据，诸如在过程中做出的测量。数据库20还可以包括与过程相关联的图形，诸如表示过程控制设备、过程控制设备的逻辑过程连接方案和面板、以及过程控制设备的物理属性的图形符号。
连接到第二数据总线B2的还有大量另外的设备24、26、28和30。这些另外的设备24、26、28和30是现场设备，它们是作为到被控制的过程的接口的设备。现场设备通常是经由其做出过程的测量并且向其给出控制命令的接口。由于此，现场设备也是过程控制设备。因此，存在第一过程控制设备24、第二过程控制设备26、第三过程控制设备28和第四过程控制设备30。
图2示出了用户接口设备16的示意性框图。用户接口设备16包括内部总线38，并且连接至这一内部总线的是用于到第一数据总线B1的通信接口40、处理器42、程序存储器44以及显示器36。通信接口40可以是以太网通信接口。
在程序存储器44中，设置有软件代码，软件代码在由处理器42运行时形成视频获取单元46、控制图形单元48、用户接口控制单元50、图像识别单元52和活动确定单元54。
图3示意性地示出了工业工厂的两个相邻位置。存在第一位置L1和第二位置L2。在第一位置L1处，放置有第一、第二和第三过程控制设备24、26和28。在第一位置L1处，还放置或设置有第一视频相机32，用于在该第一位置L1处监测过程。在本示例中，第一视频相机32固定，即，其在第一位置L1具有固定位置并且被放置成使得在具有第一定向时能够覆盖第一和第二过程控制设备24和26，而如果其具有第二定向，则其将能够覆盖第三过程控制设备28。在第一位置L1处，还存在由第一过程控制设备24提供的第一对象O1。在第二位置L2处，定位有第二视频相机34并且第二视频相机34被设置成覆盖第四过程控制设备30。第二对象O2被视为从第二过程控制设备26向第四过程控制设备30被供应。另外，在过程的运行期间，由第一过程控制设备24产生的对象O1可以从第一过程控制设备移动到第二过程控制设备26以用于某个另外的处理。之后，其可以向第二位置L2移动以由第四过程控制设备30来处理。
现在还将参考图4-图8来描述本发明的第一实施例，其中图4示意性地示出了由第一视频相机捕获的现场视频流，图5示意性地示出了与第一位置L1相关联的过程图形，图6示意性地示出了叠加在现场视频流上的过程图形，图7示意性地示出了具有和没有可见活动指示符的对象，并且图8示出了在控制用户接口的方法中执行的大量方法步骤的流程图。
在示例性过程中，存在对象O1和O2的生产。另外，由操作者经由接口设备16来监测过程。在这一监测中，操作者可能需要作用于警报和趋势以在过程中执行各种操作。
工业中的过程操作者需要不同种类的信息以便用高效和安全的方式来操作其过程区域，诸如在第一位置L1处的过程区域。这在多数情况下通过使用连接至可编程逻辑控制器(PLC)的控制系统或人机接口(HMI)面板的操作者接口特征来解决。这样的接口特征在此定义为过程控制视图。过程控制视图通常提供过程的信息，有时以表示过程控制设备的互连的图形符号的形式，其中互连可以跟随过程流。除此之外，可以显示过程控制值和趋势。
然而，在某些过程和制造中，加倍地非常重要的是，也具有过程的实时视频图片，以便找出过程的状态。这比如在被监测的过程的部分中缺少测量方法的情况下可能需要。这样的视频流通常显示在过程控制视图的旁边。
如果过程控制视图的控制系统信息与视频图片相比不太重要，则以上描述的标准的人机接口(HMI)解决方案并不高效。比如在操作者没有与过程控制系统中的机器的视觉接触时，具有视频图像很重要，在操作者终端是固定的并且与生产发生的位置分离的情况正是这样。
图3示出了这一问题近在手边的示例。在图3的示例中，第一过程控制设备24生产产品，产品是对象O1，产品然后可以被运送到第二过程控制设备26以用于进一步处理。对象O1可能具有在系统中、诸如在第一过程控制设备24中不能很容易地测量的属性，。然而，这些属性在光学检查之后可以很清楚地可见。出于这一原因，第一视频相机32被放置在第一位置L1处，使得对象O1能够被很容易地观察，因为其在第一和第二过程控制设备24和26之间被运送。第一视频相机32从而捕获过程的视频图像，并且在本示例中捕获对象O1的视频图像，这些视频图像作为第一现场视频流VS1经由总线B1被传达给接口设备16的视频获取单元46。
图4示意性地示出了由第一相机32捕获的图像，该图像描绘在第一和第二过程控制设备24和26之间的运送带上正在被运送的第一对象O1。视频获取单元46因此获取或接收第一现场视频流VS1，步骤58。另外，控制图形单元48获取过程控制视图PCV，步骤60。这一过程控制视图PCV是针对第一位置L1的过程控制视图并且包括由第一视频相机32可见的与第一位置L1的过程控制设备相关的图形符号。图形符号可以包括表示与过程控制设备或者在过程控制设备处的过程相关联的物理属性的图形符号、表示过程控制设备本身的图形符号、表示过程控制设备的过程控制数据趋势和可能的控制命令的图形符号。
图5示出了几个这样的符号连同过程控制数据。在图5的左手侧，示出了：与第一过程控制设备24有关的属性的符号连同这一属性的值5.0，该值是过程控制数据值；表示第一过程控制设备的符号；以及表示也与第一过程控制设备24相关的第一致动单元AU1的符号。在图的右侧，示出了：表示第二过程控制设备26的趋势的符号，该符号是面板(face plate)并且因此还包括这样的趋势数据；表示第二过程控制设备26本身的符号；以及表示与第二过程控制设备26相关联的第二致动单元AU2的符号。图形符号可以比如包括从数据库20中的图形符号库获取的图标，而过程控制数据可以从服务器18来获取，服务器18又可以从过程控制设备本身采集过程控制数据。致动单元AU1和AU2是过程致动器，过程致动器由操作者致动或操控以便在过程中执行控制活动。
在一些变型中，第一视频相机32具有固定视图，即第一视频相机32所覆盖的区域以及由第一视频相机32在第一位置L1可见的过程控制系统的部分是固定的。其比如可以具有第一定向。另外，所使用的图形符号也可以本地存储在接口设备16中并且不需要从数据库20中取回。然而，过程控制数据需要从服务器18取回。
在获取了视频流VS1和过程控制视图PCV之后，将它们从视频获取单元46和控制图形单元48前送给用户接口控制单元50。这一单元50然后在第一现场视频流VS1上叠加过程控制视图PCV，步骤62，并且然后在用户接口设备16的显示器36上显示具有叠加的过程控制视图PCV的视频流VS1，步骤64。视频流和过程控制视图的组合在图6中示意性地示出。
以这一方式，叠加在现场视频流上的智能过程控制图形视图被提供作为操作者接口。叠加还包括通常通过控制系统HMI呈现的信息，如警报、过程数据、趋势等。
显示器36可以是触摸屏，在这种情况下，其形成用户接口，其中操作者能够在此经由显示器36和手指的触摸直接致动第一和第二致动单元AU1和AU2。替选地，可以使用单独的用户输入单元，诸如键盘、鼠标或跟踪球。
最佳地示出过程的变化的视频流VS1因此在显示器36上形成操作者视图的基础，这使得操作者能够对在过程中发生的重要变化快速地做出反应。同时，相关过程控制视图也存在并且被观察。另外，操作者可以对视频流和过程控制视图的组合直接执行操作。这具有以下优点：操作者不需要将他的或者她的注意力从现场视频流转移以便查看过程控制视图或者执行控制活动，这增强了控制操作的安全性和可靠性。
另外，在本第一实施例中，能够做出对视频流的一些进一步调查以便进一步增强控制。这通过图像识别单元52的使用来进行。图像识别单元52可以设置有增强现实(AR)功能。
可以使用各种特征提取方法来构建位置L1处的自然特征的3D图，诸如使用2D RGB数据和3D RGBD(红色、绿色、蓝色、深度)数据的角部或边缘检测。使用这一稀疏图，也能够确定是否能够在现场视频流VS1中检测到离开第一过程控制设备24的、被处理的对象并且更特别地确定这样的对象的形状。
因此，用户接口控制单元50可以询问图像识别单元52关于是否检测到离开第一过程控制设备24的被处理的对象。如果回答是否定的，步骤66，则用户接口过程控制单元50继续并且经由致动单元、诸如AU1或AU2调查是否存在任何输入。然而，如果图像识别单元52的确在第一视频流VS1中检测到被处理的对象，步骤66，则在相同的单元52中确定对象的形状，步骤68。图像识别单元52因此可以使用图像识别(比如以上描述的AR功能的形式)来检测对象的形状，比如3D形状。图像识别单元52然后向活动确定单元54前送与形状有关的数据，这一数据可以定义形状的3D图像。
活动确定单元54然后基于所确定的形状确定要在过程中执行的活动，步骤70。比如可以将对象的形状与参考形状或理想形状相比较，并且可以基于差异来确定活动。活动可以是与过程控制设备相关的变化，比如过程流中在从中检测到对象的地方的上游的活动，诸如要对第一过程控制设备24做出的设置的变化。活动也可以是在过程流中的下游的活动，诸如在第二过程控制设备26中。活动确定单元54在这样的情况下可以提供自动控制命令并且将其供应给服务器18用于做出所讨论的过程控制设备的调节。活动另外或者替选地可以是要对对象O1执行的活动。在这种情况下，活动确定单元54还能够提供视觉活动指示符VAI，步骤72，即要对对象O1执行的活动的类型的视觉指示。然后可以将这一视觉活动指示符链接至所识别的对象。活动因此可以是要对对象执行的独特的活动，对象的形状已被识别。指示符因此可以是针对每个被检测的对象的个体的活动的指示，或者是专用于所识别的对象的活动的指示。
然后可以将指示符VAI发送给用户接口控制单元50，用户接口控制单元50使得指示符VAI在视频流VS1中跟随对象O1。其因此可以在第一现场视频流VS1中被叠加并显示在对象O1上以便使得能够执行活动，步骤74。因此可以使得指示符VAI在对象O1在视频流VS1中移动时跟随对象O1。视觉活动指示符VAI更特别地可以是与对象的几何形状相联系的指示符，诸如指示要去除或添加材料的对象的区域的指示符。具有和没有指示符VAI的对象O1在图7中示出。在本附图中，存在要使得对象在中间变薄的指示符。视觉活动指示符VAI可以指示要对不同对象执行的相同类型的活动，其中要对不同对象执行活动的程度取决于其个体的形状。
这样的指示VAI因此在帮助操作者在第二过程控制设备26处执行活动时可以很有用，并且操作者因此可以更好地定义要在何程度上执行活动以及要在对象上的何处执行活动。作为示例，视觉活动指示符VAI可以是指示要在哪里切割对象的切割图案、常规位置指示符、边界线等。
用户接口控制单元50然后经由用户输入单元(诸如经由显示器36的致动单元AU1和AU2)调查是否存在控制命令形式的用户输入。这一调查可以在具有或没有对象识别和相伴随的活动指示符两种情况下执行。如果没有控制命令，步骤76，则用户接口控制单元50返回并且调查是否检测到对象，而如果检测到控制命令，步骤76(其可以使用显示器36上的第一或第二致动器单元AU1和AU2进行)，则向系统中的控制设备(诸如服务器18)发送对应控制命令，用于使得这一设备能够基于控制命令来控制过程，步骤78。之后，用户接口控制单元50返回并且调查是否检测到对象。
视觉活动指示符的使用在过程的控制中给予操作者进一步的帮助而不必使用其他用于确定控制活动的装置。这样的其他装置也可能在过程中很难实现。
以上描述的第一实施例可以用各种方式来变化。比如，视觉活动指示符VAI可能没有涉及到要由第二过程控制设备26执行的活动。其可以涉及要对第一对象O1执行的活动，该第一对象O1与在第二位置L2处(即在没有被第一视频相机32覆盖但是被第二视频相机34覆盖的位置处)的第四过程控制设备30相关。在这种情况下，第二视频相机34捕获第二位置L2的视频图像，其被递送给用户接口，可以经由用户接口设备16的显示器36来提供用户接口，但是也可以经由其他用户终端12和14中的任何一个的显示器来提供。接口控制单元50因此可以输出视觉活动指示符VAI用于在对象存在于在第二位置L2处获得的第二现场视频流中时显示在对象上。因此，能够使得可见活动指示符VAI在对象行进或移动到另一位置时跟随对象，在本示例中，另一位置是由不同于识别出对象的视频相机的另一视频相机覆盖的第二位置L2。
可能的另一变型涉及第一视频相机32。第一视频相机32可以能够改变其覆盖的区域。这一变化可以涉及旋转相机。视频相机32因此可以具有可调节的旋转角度。其可以另外地或者替代地能够缩放。其因此还可以具有可调节的查看角度，其中拉远(zooming out)涉及查看角度的减小，并且拉近(zooming in)涉及查看角度的增加。在这两种情况下，过程控制视图PCV中示出的图形对象可以取决于被第一视频相机32实际覆盖的过程控制设备。这表示，控制图形单元48可以接收被第一视频相机32覆盖的旋转和/或查看角度的信息以便确定被第一视频相机32覆盖的区域并且之后确定对应于被覆盖的区域的过程控制视图。过程控制视图的确定可以涉及确定哪些过程控制设备被相机32覆盖并且因此仅包括与在过程控制视图中被相机32覆盖的过程控制设备相关的图形对象和过程控制数据。所讨论的过程控制设备可以很容易地确定，因为相机和过程控制设备二者的位置已知。旋转角度和查看角度因此可以直接使用以便立刻定位可以看到的、要显示其图形对象的过程控制设备。
可以以第三过程控制设备28为例来解释进行这一操作的方式。如在图3中可见，第一视频相机32初始可以具有第一定向，在第一定向中，第一视频相机32覆盖第一和第二过程控制设备24和26。第一视频相机32然后可以被设置为旋转和/或缩放，使得第一视频相机32具有第二定向，在第二定向中，第一视频相机32覆盖第三过程控制设备28。在这种情况下，第一视频相机32不再能够覆盖第一和第二过程控制设备24和26。在这种情况下，由控制图形单元48提供的过程控制视图仅包括与第三过程控制设备28相关联而不与第一和第二过程控制设备24和26相关联的图形符号和过程控制数据。
能够做出大量另外的变型。比如，图形符号在以上被描述为设置在数据库中。然而，应当认识到，图形符号可以放置在接口设备中。当具有固定定向时以及当能够改变第一视频相机的定向时可以正是这种情况。
还应当认识到，可以从第一实施例中省去对象的检测以及随后的视觉活动指示符的提供。
接口设备的功能可以另外用一个或多个处理器连同包括用于执行其功能的计算机程序代码的计算机程序存储器的形式来提供。作为替选，它们可以用专用集成电路(ASIC)或现场可编程门阵列(FPGA)的形式来提供。这一计算机程序代码还可以设置在一个或多个数据载体上，一个或多个数据载体在其上的程序代码被加载到接口设备中时执行本发明的功能。具有计算机程序代码82的CD ROM盘形式的一个这样的数据载体80在图9中示意性地示出。这样的计算机程序作为替选可以设置在另一服务器上并且从其下载到接口设备中。
本发明可以用很多方式变化。可以包括以上提及的接口设备或与接口设备的显示器交互的服务器的接口装置比如可以包括视频相机中的一个或多个。因此可见，本发明仅受以下权利要求的限制。
Claims (18)
1.一种用于控制工业过程控制系统(10)中的固定用户接口的方法，所述方法由用户接口控制装置(16)来执行并且包括如下步骤：
-在第一位置(L1)从监测工业过程的视频相机(32)获取(58)第一现场视频流(VS1)，其中所述工业过程包括对象的生产，
-获取(60)针对所述第一位置(L1)的过程控制视图(PCV)，所述过程控制视图包括表示至少一个过程致动器(AU1，AU2)的至少一个图标，
-在所述第一现场视频流(VS1)上叠加(62)所述过程控制视图(PCV)，
-在所述用户接口的显示器(36)上显示(64)具有叠加的所述过程控制视图的所述第一现场视频流，
-在所述第一现场视频流(VS1)中检测(66)正在被处理的对象(O1)，
-使用图像识别来确定(68)所述对象(O1)的形状，
-将所述对象(O1)的形状与参考形状相比较，
-基于所述对象(O1)的形状与所述参考形状之间的差异来确定(70)要执行的活动，
-提供(72)要对所述对象(O1)执行的活动的视觉指示(VAI)，
-在所述第一现场视频流(VS1)中的所述对象(O1)上显示(74)所述视觉指示(VAI)以便帮助要执行的所述活动，
-经由所述用户接口控制装置(16)检测(76)来自操作者的控制命令，以及
-向所述过程控制系统的控制设备(18)发送(78)所述控制命令以用于基于所述控制命令来控制所述工业过程，其中所述控制命令涉及要对所述对象执行的活动。
2.根据权利要求1所述的方法，其中所述对象正在向第二位置移动(L2)，并且在所述对象存在于在所述第二位置获得的第二现场视频流中时输出所述视觉指示(VAI)以用于显示在所述对象上。
3.根据权利要求1所述的方法，其中所述视觉指示(VAI)是指示要去除或添加材料的所述对象(O1)的一个或多个区域的指示符。
4.根据权利要求1所述的方法，其中所述视频相机(32)在所述第一位置(L1)具有固定位置，并且被所述视频相机覆盖的区域可变化，并且所述方法还包括：确定被所述视频相机(32)覆盖的区域并且确定对应于被覆盖的所述区域的过程控制视图，在被覆盖的所述区域中被显示为叠加在所述第一现场视频流上的所述过程控制视图是所确定的过程控制视图。
5.根据权利要求4所述的方法，其中所述视频相机具有可调节的旋转角度，并且所述过程控制视图的确定基于所述视频相机的所述旋转角度。
6.根据权利要求4所述的方法，其中所述视频相机具有可调节的查看角度，并且所述过程控制视图的确定基于所述视频相机的所述查看角度。
7.根据权利要求1至6中任一项所述的方法，还包括在所述第一位置从过程控制设备获取过程控制数据，并且在叠加在所述第一现场视频流上的所述过程控制视图中显示所述过程控制数据。
8.一种用于控制工业过程控制系统(10)中的固定用户接口的用户接口控制装置(16)，所述用户接口控制装置包括：
-视频获取单元(46)，被配置成在第一位置(L1)从监测工业过程的视频相机(32)获取第一现场视频流(VS1)，其中所述工业过程包括对象的生产，
-控制图形单元(48)，被配置成获取针对所述第一位置(L1)的过程控制视图(PCV)，所述过程控制视图包括表示至少一个过程致动器(AU1，AU2)的至少一个图标，
-图像识别单元(52)，被配置成在所述第一现场视频流(VS1)中检测正在被处理的对象(O1)并且确定所述对象的形状，
-活动确定单元(54)，被配置成将所述对象(O1)的形状与参考形状相比较并且基于所述对象(O1)的形状与所述参考形状之间的差异来确定要执行的活动并且提供要对所述对象(O1)执行的活动的视觉指示(VAI)，以及
-用户接口控制单元(50)，被配置成在所述第一现场视频流(VS1)上叠加所述过程控制视图(PCV)，在所述用户接口的显示器(36)上显示具有叠加的所述过程控制视图的所述第一现场视频流，在所述第一现场视频流中的所述对象上显示所述视觉指示以便帮助要执行的所述活动，检测来自操作者的控制命令并且向所述过程控制系统的控制设备(18)发送所述控制命令以用于基于所述控制命令来控制所述工业过程，其中所述控制命令涉及要对所述对象执行的活动。
9.根据权利要求8所述的用户接口控制装置，其中所述对象正在向第二位置(L2)移动，并且在所述对象存在于在第二位置(L2)获得的第二现场视频流中时所述用户接口控制单元(50)被配置成输出所述指示以用于显示在所述对象上。
10.根据权利要求8所述的用户接口控制装置，其中所述视觉指示(VAI)是指示要去除或添加材料的所述对象(O1)的一个或多个区域的指示符。
11.根据权利要求8所述的用户接口控制装置，其中所述视频相机(32)在所述第一位置(L1)具有固定位置，被所述视频相机覆盖的区域可变化，所述控制图形单元(48)还被配置成：确定被所述视频相机覆盖的区域并且确定对应于被覆盖的所述区域的过程控制视图，并且所述用户接口控制单元(50)还被配置成在显示叠加在所述第一现场视频流上的所述过程控制视图时显示所确定的过程控制视图。
12.根据权利要求11所述的用户接口控制装置，其中所述视频相机具有可调节的旋转角度，并且所述用户接口控制单元被配置成使得所述过程控制视图的确定基于所述视频相机的所述旋转角度。
13.根据权利要求11所述的用户接口控制装置，其中所述视频相机具有可调节的查看角度，并且所述用户接口控制单元被配置成使得所述过程控制视图的确定基于所述视频相机的所述查看角度。
14.根据权利要求8-13中的任一项所述的用户接口控制装置，其中所述控制图形单元(48)被配置成在所述第一位置从过程控制设备获取过程控制数据，并且所述用户接口控制单元(50)被配置成在叠加在所述第一现场视频流上的所述过程控制视图中显示所述过程控制数据。
15.根据权利要求8-13中的任一项所述的用户接口控制装置，还包括所述用户接口。
16.根据权利要求8-13中的任一项所述的用户接口控制装置，还包括所述视频相机(32)。
17.一种工业过程控制系统(10)，用于控制工业过程并且包括根据权利要求8-16中的任一项所述的用户接口控制装置(16)。
18.一种计算机可读介质，包括计算机程序代码(82)，所述计算机程序代码(82)被配置成在所述计算机程序代码被加载到提供用于控制固定用户接口的用户接口控制装置(16)的至少一个设备中时，引起所述用户接口控制装置(16)：
-在第一位置(L1)从监测工业过程的视频相机(32)获取第一现场视频流(VS1)，其中所述工业过程包括对象的生产，
-获取针对所述第一位置(L1)的过程控制视图(PCV)，所述过程控制视图包括表示至少一个过程致动器(AU1，AU2)的至少一个图标，
-在所述第一现场视频流(VS1)上叠加所述过程控制视图(PCV)，
-在所述用户接口的显示器(36)上显示具有叠加的所述过程控制视图的所述第一现场视频流，
-在所述第一现场视频流(VS1)中检测正在被处理的对象(O1)，
-使用图像识别来确定所述对象(O1)的形状，
-将所述对象(O1)的形状与参考形状相比较，
-基于所述对象(O1)的形状与所述参考形状之间的差异来确定要执行的活动，
-提供要对所述对象(O1)执行的活动的视觉指示(VAI)，
-在所述第一现场视频流(VS1)中的所述对象(O1)上显示所述视觉指示(VAI)以便帮助要执行的所述活动，
-经由所述用户接口控制装置(16)检测来自操作者的控制命令，并且向所述过程控制系统的控制设备(18)发送所述控制命令以用于基于所述控制命令来控制所述工业过程，其中所述控制命令涉及要对所述对象执行的活动。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14157116.6A EP2913730B1 (en) | 2014-02-28 | 2014-02-28 | Use of a live video stream in a process control system |
| EP14157116.6 | 2014-02-28 | ||
| PCT/EP2014/077671 WO2015128022A1 (en) | 2014-02-28 | 2014-12-15 | Use of a live video stream in a process control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105900029A CN105900029A (zh) | 2016-08-24 |
| CN105900029B true CN105900029B (zh) | 2017-09-29 |
Family
ID=50230890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480072615.3A Active CN105900029B (zh) | 2014-02-28 | 2014-12-15 | 现场视频流在过程控制系统中的使用 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10372096B2 (zh) |
| EP (1) | EP2913730B1 (zh) |
| CN (1) | CN105900029B (zh) |
| WO (1) | WO2015128022A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11908122B2 (en) | 2017-04-26 | 2024-02-20 | Sensors Incorporated | System and method for performing production line product identification |
| US10198653B2 (en) * | 2017-04-26 | 2019-02-05 | Sensors Incorporated | System and method for performing production line product identification |
| US10838413B2 (en) * | 2017-10-02 | 2020-11-17 | Fisher-Rosemount Systems, Inc. | Systems and methods for multi-site performance monitoring of process control systems |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004036104A1 (de) * | 2004-07-24 | 2006-03-16 | Cognis Ip Management Gmbh | Vorrichtung und Verfahren zur Überwachung von Produktionsanlagen |
| CN103052921A (zh) * | 2010-08-02 | 2013-04-17 | Abb研究有限公司 | 用于使能够对技术系统进行监管和控制的方法和计算机程序产品 |
| EP2645335A1 (en) * | 2012-03-29 | 2013-10-02 | Elomatic Oy | Visual assistance system for facility maintenance |
| EP2685421A1 (en) * | 2012-07-13 | 2014-01-15 | ABB Research Ltd. | Determining objects present in a process control system |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7230582B1 (en) | 1999-02-12 | 2007-06-12 | Fisher-Rosemount Systems, Inc. | Wearable computer in a process control environment |
| US6765569B2 (en) | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
| DE10325895A1 (de) | 2003-06-06 | 2005-01-05 | Siemens Ag | Werkzeug- oder Produktionsmaschine mit Head-up-Display |
| DE102005061211B4 (de) | 2004-12-22 | 2023-04-06 | Abb Schweiz Ag | Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche |
| US9152139B2 (en) * | 2009-06-16 | 2015-10-06 | Control4 Corporation | Automation Control of Electronic Devices |
| EP3479933A1 (en) * | 2009-09-17 | 2019-05-08 | Sciaky Inc. | Electron beam layer manufacturing apparatus |
| US8803970B2 (en) * | 2009-12-31 | 2014-08-12 | Honeywell International Inc. | Combined real-time data and live video system |
| US20120249588A1 (en) * | 2011-03-22 | 2012-10-04 | Panduit Corp. | Augmented Reality Data Center Visualization |
| US20130321245A1 (en) * | 2012-06-04 | 2013-12-05 | Fluor Technologies Corporation | Mobile device for monitoring and controlling facility systems |
-
2014
- 2014-02-28 EP EP14157116.6A patent/EP2913730B1/en active Active
- 2014-12-15 US US15/100,599 patent/US10372096B2/en active Active
- 2014-12-15 CN CN201480072615.3A patent/CN105900029B/zh active Active
- 2014-12-15 WO PCT/EP2014/077671 patent/WO2015128022A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004036104A1 (de) * | 2004-07-24 | 2006-03-16 | Cognis Ip Management Gmbh | Vorrichtung und Verfahren zur Überwachung von Produktionsanlagen |
| CN103052921A (zh) * | 2010-08-02 | 2013-04-17 | Abb研究有限公司 | 用于使能够对技术系统进行监管和控制的方法和计算机程序产品 |
| EP2645335A1 (en) * | 2012-03-29 | 2013-10-02 | Elomatic Oy | Visual assistance system for facility maintenance |
| EP2685421A1 (en) * | 2012-07-13 | 2014-01-15 | ABB Research Ltd. | Determining objects present in a process control system |
Also Published As
| Publication number | Publication date |
|---|---|
| US10372096B2 (en) | 2019-08-06 |
| WO2015128022A1 (en) | 2015-09-03 |
| EP2913730A1 (en) | 2015-09-02 |
| CN105900029A (zh) | 2016-08-24 |
| EP2913730B1 (en) | 2019-10-30 |
| US20160299481A1 (en) | 2016-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Subakti et al. | Indoor augmented reality using deep learning for industry 4.0 smart factories | |
| CN107850891B (zh) | 管理系统及非易失性的计算机可读记录介质 | |
| CN103052921A (zh) | 用于使能够对技术系统进行监管和控制的方法和计算机程序产品 | |
| CN105900029B (zh) | 现场视频流在过程控制系统中的使用 | |
| CN103492966B (zh) | 用于控制工业系统的方法和系统 | |
| JP2020515971A (ja) | 画像ベースによる異常検知の方法およびシステム | |
| CN104156875B (zh) | 一种用于告警信息处理的可视化展示方法及其系统 | |
| KR102350702B1 (ko) | 증강현실 기반의 설비예지보전 시스템 및 방법 | |
| US20180342054A1 (en) | System and method for constructing augmented and virtual reality interfaces from sensor input | |
| EP3885972A1 (en) | Context based perception method and system for managing environmental safety in a computing environment | |
| Noborio et al. | Image-based initial position/orientation adjustment system between real and virtual livers | |
| CN111033574B (zh) | 为包装机生成虚拟覆盖物的方法 | |
| JP6226859B2 (ja) | 作業監視システム | |
| TWI740361B (zh) | 智慧操作輔助系統及智慧操作輔助方法 | |
| JP6628283B2 (ja) | オペレータ監視装置 | |
| EP3301529A1 (en) | Method and apparatus for displaying monitoring information | |
| TWM597913U (zh) | 智慧操作輔助系統 | |
| Marques et al. | Investigating Different Augmented Reality Approaches in Circuit Assembly: a User Study. | |
| DK180665B1 (en) | Augmented Reality Maintenance System | |
| JP6785715B2 (ja) | 正常異常判別装置、正常異常判別方法、及び正常異常判別システム | |
| EP3367197B1 (en) | A method and system for monitoring an industrial equipment | |
| JP6800347B2 (ja) | 映像監視システム | |
| TWI830523B (zh) | 具分散式與互動性之擴增實境遠端服務方法 | |
| KR20170089575A (ko) | 증강 현실을 이용한 물류 관리 시스템 | |
| US20190128818A1 (en) | Image processing apparatus, image processing method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180517 Address after: Baden, Switzerland Patentee after: ABB TECHNOLOGY LTD. Address before: Zurich Patentee before: ABB T & D Technology Ltd. |
|
| TR01 | Transfer of patent right |