CN101939765A - 用于远程检查工业过程的由计算机实施的方法和系统 - Google Patents

用于远程检查工业过程的由计算机实施的方法和系统 Download PDF

Info

Publication number
CN101939765A
CN101939765A CN2008801264442A CN200880126444A CN101939765A CN 101939765 A CN101939765 A CN 101939765A CN 2008801264442 A CN2008801264442 A CN 2008801264442A CN 200880126444 A CN200880126444 A CN 200880126444A CN 101939765 A CN101939765 A CN 101939765A
Authority
CN
China
Prior art keywords
image
model
computing machine
real
infrastructure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801264442A
Other languages
English (en)
Other versions
CN101939765B (zh
Inventor
J·普雷特洛夫
C·斯考拉普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Research Ltd Switzerland
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Research Ltd Switzerland filed Critical ABB Research Ltd Switzerland
Publication of CN101939765A publication Critical patent/CN101939765A/zh
Application granted granted Critical
Publication of CN101939765B publication Critical patent/CN101939765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Abstract

一种由计算机实施的方法，用于对用于提取、加工和/或生产材料的装备(1)中的工业过程的基础设施进行远程检查。该过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置(10)的控制系统来监控。至少一个计算机布置有过程基础设施的图形计算机模型(4)(3D模型)，其中3D模型中的过程基础设施中的方位被布置成可选择，其中根据模型中的视点来标识所选方位。来自模型的视点信息用来对实际装备中的一个或者多个摄像机进行定位，并且以不同方式组合来自实际装备的图像与3D模型。还描述一种远程检查系统和一种计算机程序。

Description

用于远程检查工业过程的由计算机实施的方法和系统
技术领域
本发明涉及一种用于对工业装备中的过程远程检查的、由计算机实施的方法。具体而言，该方法被布置用于检查借助分布式控制系统或者工业控制系统来监视和控制的过程，该过程通常是位于用于工业中(比如石油和汽油、纸浆和造纸、化学加工和制造领域中)的材料和对象提取、生产、加工和/或运输的设施中。
背景技术
在工业车间中的过程控制领域中，一直需要关于加工设备和加工对象的信息。传统上，使用过程监视设备、温度传感器、压力传感器、流量计等用来监视和控制比如造纸厂、石油提取装备中或者加工原材料或者半加工材料的工厂中的过程。视频成像以及传统传感器和仪器可以用来提供对象或者过程的实时图像。控制室或者操作者工作站可以布置有如下显示屏，这些显示屏示出工业车间的一个或者多个部分的CCTV图像(闭路电视)。可以显示示出了过程流水线或者加工设备的部分的CCTV图像。传统CCTV摄像机向操作者提供来自预先确定的一个或者多个固定点的有限过程视图。
代表过程拓扑的传统管线和仪表图P&ID用于操作该过程。然而为了监视、检查和/或控制远离操作者所在位置的过程，P&ID图是不够的。为了实现远程监视或者检查过程，操作者也需要能够检查实际加工设备。例如在大型装备中，如用于石油和汽油提取、生产的离岸平台中，广大区域或者甚至整个装备常常是无人化的。这要求操作者将从远程位置监视、检查和/或操作该过程，也就是说，操作者已经从实际过程的邻近处撤离。在如今传统有人管理装备中，现场操作者利用所有他们的感知以获得关于过程状态的信息并且甚至观测控制系统可能尚未标识的任何改变。在远程装备或者其部分中，由于操作者已经从实际过程的邻近处撤离，所以他们将需要能够以恰当方式处理‘观看和感觉’过程。在这些远程设施或者远程部分过程中，操作者需要支持系统来利用通常由亲临现场的人员收集的过程认知信息来补充过程测量。常常使用就在现场的现场操作者与控制室中的远程操作者之间的无线电联络以便补充关于过程状况的可为远程操作者所用的信息。
装备和过程或者加工设备的模型传统上已经用来辅助操作者理解过程、过程的布局和与其它与过程关联的过程的关系。如今可以通过使用由计算机生成的3D过程模型或者基于CAD表示的模型或者通过对过程的由计算机实施的仿真来表示工业过程或者其部分的物理布局。
在如今的加工车间中，在并未集成的大量不同系统中呈现信息。在这些系统内并且甚至在单个系统内，信息的呈现常常不同。远程操作者必须知道在何处发现关于过程状况的信息以及如何发现该信息。获得与远程操作的过程的状况有关的信息这一行动可能是耗时的并且可能易错。在时间紧急或者其它意外事件期间，为了获取关于过程状况的信息而需要的时间可能至为关键。
发明内容
根据本发明的一个方面，描述了对一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，其中所述方法还包括：基于3D模型上对所述表示的选择来标识实际所述过程基础设施的所选所述部分，使3D模型上的所选所述表示匹配于所述装备中的已知方位，在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，以及图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括接收部分实际图像并且在模型图像的对应部分上叠加这样接收的实际部分图像，因此图形地融合和显示叠加在模型图像的部分上的实际图像部分和组合于显示图像中的整体部分。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括从存储的图像提供图形数据，该图形数据形成过程基础设施或者装置的实际部分的一个或者多个图像中的至少一个图像的部分。取而代之或者除此之外，所述方法还可以包括从实时产生的图像提供过程基础设施或者装置的实际部分的一个或者多个图像中的至少一个图像。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括通过基于3D模型上对所述表示的选择在3D模型中的视点计算已计算或者变换的方位，来使3D模型上对所述表示的选择匹配于已知方位。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括基于来自以下组中的任何信息来计算3D模型图像上对所述表示的选择的已计算或者变换的方位：在三维空间中的方位、定向、摄像机的视线、结构在三维空间中的方位、在摄像机与过程对象之间或者其上布置有摄像机的机器人操纵器的距离。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括使基于对3D模型的操纵或者选择的所选所述部分过程基础设施或者装置匹配于与过程或者装置的实际部分的方位或者位置的信息以匹配于由所述控制系统保持的方位信息。取而代之或者除此之外，所述方法还可以包括借助由所述控制系统实施的部分过程或者装置的软件过程对象保持的信息，来使所选的所述部分匹配于与过程或者装置的实际部分的方位或者位置。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括控制工业过程的一个或者多个摄像机以聚焦于所在位置与由所述控制系统中的软件过程对象保持的信息匹配的所述部分过程基础设施或者装置。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括根据所述3D模型中的方位或者视线或者视点来计算用于一个或者多个摄像机的视线或者方位或者位置，以便聚焦于过程基础设施装置的实际部分。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括：根据所述3D模型中的方位或者视线或者视点和对3D模型的操纵或者选择，来计算用于一个或者多个摄像机的视线或者方位或者位置，以便聚焦于过程基础设施或者装置的实际部分的方位或者位置。有利地，所述方法还可以包括生成用于控制一个或者多个摄像机指向过程基础设施或者装置的实际部分的方位或者位置并产生图像的信号。取而代之或者除此之外，所述方法还可以包括借助发现实际图像中的特征并且计算实际图像为3D模型图像中哪个部分的图片，来使实际图像数据匹配于3D图像，这些特征是线、边、点、角中的任意的特征。
根据本发明的一个实施例，提供的改进形式为一种用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查的方法，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在3D模型中选择部分所述过程基础设施的表示以供检查，并且在来自所述3D模型的所述表示的图像上面叠加所述实际过程的一个或者多个图像，图形地形成或者组合显示图像，该显示图像包括实际过程基础设施或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像，其中所述方法还包括至少部分地基于与在摄像机与过程或者装置的实际部分之间的视线有关的信息，来计算实际图像数据点在何处，即在3维空间中的方位。有利地，所述方法还可以包括显示图形地叠加或者覆盖于3D图像上或者与3D图像组合的历史或者归档的实际图像，其中在图形地处理的视觉模式中呈现非实时实际图像，以与照片般逼真的正常实际图像形成对比，该处理可以是来自以下组中的任一项的改变：色调、对比度、亮度、颜色数目。
本发明扩展成包括具有导航、图像融合和上下文相关交互的完整过程的3D模型。在3D模型视图中的装备过程视图与来自过程的实际视频或者摄像机图像、记录或者记录的图像融合。操作者利用3D过程模型以移动摄像机或者其它传感器。当摄像机在实际装备中在与3D模型中的视点处于相同的位置时，3D模型视图随着实际过程的实际视频图像完全地或者部分地淡出。
本发明也将CCTV或者类似摄像机引入作为3D世界的自然逻辑接口中。当摄像机可移动时，操作者可以(几乎)无约束地控制摄像机。操作者利用3D模型以确定摄像机的具体视点。该系统包括物理过程的3D模型/CAD模型。这一3D模型可以是与在装备的设计和工程阶段期间生成的3D模型相同的3D模型。3D模型连接到DCS(分布式控制系统)，从而3D模型中的对象链接到DCS中的相同对象。此外还使用来自车间的实际图像和/或视频记录。捕获这样的图像的摄像机位于车间中的固定位置并有可能摇摄、倾斜和变焦(通常为CCTV摄像机)，或者它们装配于将在车间中到处移动它们的机器人操纵器上。3D模型和实际图像集成到一个系统中以组成‘用于关键基础设施的远程检查系统’。操作者使用3D过程模型以导航到过程中的他想要检查、监视、收集与之有关或者以别的方式与之交互的信息。为了这样做，操作者可以基于与DCS的集成来取回与该对象有关的上下文相关菜单或者任务列表，操作者可以从该菜单或者列表选择预定任务，比如检查和数据收集，例如，其形式为来自该同一对象的实际车间的图像/视频记录，和/或用于取回该图像/视频记录。取而代之或者除此之外，操作者可以在3D模型中手动控制摄像机视图并且从实际车间取回图像或者视频记录。该3D模型的视点将与用于如下摄像机的视点相同，该摄像机返回来自与3D模型中的视点对应的实际过程中视线的图像或者实况视频记录。操作者利用这一系统作为用于检查基础设施的‘现场操作者的眼睛’。
根据本发明的一个方面，描述的改进为一种用于提取、加工和/或生产材料的装备中的远程检查系统，该装备包括工业过程的基础设施，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述计算机被布置用于选择部分所述过程基础设施的表示，其中所述系统还包括：编程用于基于3D模型上对所述表示的选择来标识实际所述过程基础设施的所选所述部分的计算机或者数据处理装置，编程用于使3D模型上的所选所述表示匹配于所述装备中的已知方位的计算机或者数据处理装置，以及编程用于图形地组合所述实际过程的叠加在来自所述3D模型的所述表示的图像上面的一个或者多个图像并且形成显示图像的计算机或者数据处理装置，该显示图像包括实际过程或者过程设备的叠加在来自所述3D模型的图像上并且与该图像组合的一个或者多个图像。
这一集成系统可以包括以下要素：(远程定位的)操作者利用3D过程模型以在虚拟世界中在过程的3D模型中到处移动，即导航。随着操作者在3D模型中到处移动，他改变他在模型中的视点。实际过程的摄像机视图的位置和定向根据3D模型中的视点类似地加以改变，以便使实际装备中的摄像机的视线与3D模型中的视点匹配。3D模型是实际过程的表示，并且操作者可以容易地决定相关视点，实际装备的摄像机图像应当从该相关视点产生。在车间以外，选择和/或操纵固定摄像机(如果选择了预定义视点)或者手动限定的视点，以便返回来自实际过程的图像或者视频记录。
在来自DCS系统的信息连接到3D模型中的相关对象这一意义上来讲，3D过程模型为交互式的。3D模型借助于来自工业控制系统或者DCS的实况车间数据的连接而被布置成上下文相关性。操作者可以使用任何计算机输入手段来选择3D模型中的对象并且获得可以包括选项的上下文相关的菜单或者任务列表，这些选项比如示出来自过程的实况数据、示出来自先前检查的数据、示出来自预定义检查(和/或灯维护)的数据、示出任务和趋势。当呈现实际过程的图像或者视频记录而不是3D模型时，这一图像(或者视频)被布置用于与用于取回和显示上下文相关的信息的由相同计算机实施的选项一起显示，这些选项通过如来自3D模型的在显示屏上的选择或者其它计算机输入方法或者设备来激活。这之所以变得可能是因为叠加的实际图像比如集成于3D模型中，并且在显示屏上的选择或者其它计算机输入以某一方式匹配和关联于所示过程设备。摄像机视点的方位以及车间的布局是已知的(例如根据3D模型)。选择实际图像中的对象如罐，将产生如来自3D模型的类似的上下文相关的菜单。操作者可以从3D模型启动相同任务和图像/视频记录。
另外本发明将允许操作者具有由如下单个接口构成的集成操作者控制，他可以从该接口以直观和自然方式完成他的所有检查任务。操作者移向3D模型中的某一物理位置处的对象并且针对链接到整个车间模型的这一具体对象启动检查任务。如果需要，则他也将获得这一对象的实际图像或者视频记录作为检查的一部分。本发明有助于通过减少对工程师和技术人员出访现场的需要来增加人员安全性。
除了使用CCTV摄像机和视频摄像机之外，本发明也提供用于使用从适合于除了用于正常可见光谱内的波长以外的光源的摄像机或者传感器输入的图像。这样的摄像机或者传感器可以适合于提供例如通过热成像或者夜视成像来提供的装置图像。
在本发明方法的一个优选实施例中，一种或者多种方法可以由包括一个或者多个微处理器单元或者计算机的计算设备实现。一个或者多个控制单元包括用于存储一个或者多个计算机程序或者如下软件列表的存储器装置或者存储器存储设备，该软件列表包括用于实现改进的方法的操作指令集。优选地，这样的计算机程序包含用于供处理器执行这里所述的方法的指令。
附图说明
现在将参照以下附图仅通过例子描述本发明的实施例：
图1a-图1f是根据独立方法权利要求1所述的本发明的示意图，其中根据本发明的一个实施例组合实际过程的图像与3D模型的图像；并且其中图1a仅示出3D模型，图1b示出实际装备的图像，图1c示出叠加在实际过程的部分图像之上的3D模型图像；图1d示出了叠加有来自3D模型的部分图像的实际装备的图像；图1e示出包括叠加在3D模型上的实际装备部分图像的第一帧；图1f示出包括叠加在3D模型上的实际装备另一部分图像的第二帧；
图2是根据权利要求1的本发明的示意框图，其中根据本发明的一个实施例更具体地描述产生实际装备中的图像并且组合所得实际图像与3D模型的图像的系统；
图3是示出了根据权利要求1的本发明的使用的流程图，其中根据本发明的一个实施例描述用于组合部分实际图像与3D模型的方法的步骤；
图4是示出了根据权利要求1的本发明的使用的流程图，其中根据本发明的一个实施例描述用于组合部分实际图像与3D模型的方法的步骤，其中具体地描述了关于从组合实际图像与3D模型图像的显示器激活任务列表的方法；
图5是示出了根据权利要求1的本发明的使用的流程图，其中根据本发明的一个实施例描述用于组合部分实际图像与3D模型的方法的步骤，其中具体地描述了关于基于保持的与3D模型中的视点和/或方位有关的数据来计算实际装备中的方位的该方法；
图6是根据权利要求1的本发明的部分图的示意细节，其中根据本发明的一个实施例更具体地描述产生实际装备中的图像并且组合实际图像与3D模型的图像的系统。
具体实施方式
本发明描述一种用于远程检查基础设施并且具体为过程中的关键基础设施(比如过程或者部分过程中的设备、仪表和公用系统)的方法和系统。该系统利用物理过程的3D模型/CAD模型，该模型优选地与在设计和工程阶段期间生成的3D模型相同或者由该3D模型导出。3D模型也连接到工业控制系统或DCS(分布式控制系统)，从而3D模型中的个别图形对象链接到或者以某一方式关联于DCS中的软件控制对象，这些软件控制对象表示并且连接到实际装备中的个别实际对象、阀、传感器、罐、柱、管等。除了3D模型之外还使用来自车间的实际图形和/或视频记录。摄像机可以位于车间中的固定方位从而有可能摇摇摄、倾斜和变焦(通常为CCTV摄像机)。摄像机也可以装配于在车间或者装备中到处移动它们的机器人操纵器上。可以高准确度地移动装配于机器人或者操纵器手臂上的摄像机，并且也可以基于机器人的移动和/或操纵器手臂的各种关节的移动来准确地发现摄像机在任何时间的方位。
图2在示意图中示出了根据本发明的系统。它示出了在方块1中的实际车间或者装备，其具有实际过程对象2、3，以及数据网络5和控制系统或者DCS7。它示出了四个摄像机11-14，其中一个摄像机14布置于可移动装置上，如例如机器人(未示出)的操纵器上。一个或者多个摄像机可以布置有麦克风9或者其它声音收集设备。摄像机优选地连接到摄像机控制子系统17并且由该子系统控制，该子系统也可以连接到DCS 7。该系统也包括工作站或者控制室，该工作站或者控制室具有在其上显示过程的3D模型4的视图的至少一个图像显示器10。3D模型4在某一计算机上运行。实际装备1中的实际过程对象2、3的图像由摄像机11-14产生并且向摄像机控制系统输入。摄像机控制系统控制摄像机11-14的移动、聚焦、摇摄和倾斜等，并且也处置由摄像机返回的光学或者视频信号。经由数据网络向3D模型4发送图像输入。可以经由摄像机控制系统7直接发送从3D模型输出的信号，以操纵摄像机11-14；可选地，信号可以由DCS的模块处理，并且来自3D模型的数据，如模型上的视点、方位和选择然后匹配于控制系统中的软件控制对象和DCS7中保持的与那些对象关联的数据。
例如，查看图像显示器10的操作者利用3D过程模型4以导航到他想要检查或者与之交互的某个对象。图3示出了一般方法中的步骤流程图，其中步骤如下：
30操作者在图像显示器10上选择如3D模型4所示过程中的感兴趣的过程部分，
323D模型计算与3D模型中这样选择的过程部分关联或者限定该过程部分的视点数据，
33选择一个或者多个摄像机，并且其沿着视线L指向在实际装备1中的实际对象2、3，该视线依赖于由3D模型生成的视点数据，或者根据该视点数据来计算，或者由该视点数据变换而成。
34生成和记录图1b中所示实际对象2、3在图1a中所示一个或者多个摄像机或者视频图像92、93。
36将一个或者多个图像与过程的3D模型图像进行配准
38在某一程度上在3D模型图像上叠加一个或者多个视频或者摄像机图像，并且组合的图像包括如图1c-1f所示显示的实际和3D模型图形。
39按照需要重复该方法的步骤。
显示的组合图像由叠加于3D模型的视图之上的部分实际图像构成。3D模型和实际图像组成‘用于关键基础设施的远程检查系统’。
用于检查过程的这一方法和系统具有的优点在于易于导航并且还形成用于信息收集的单个系统。接口是易于使用、易于理解的相对自然接口，并且显示以上下文相关的方式布置的实际或者建模的对象。另一优点在于模型和所得图像的移动被记载并且提供审查踪迹。
图6示意地示出了实际装备1中的摄像机视点。实际装备1中的摄像机11聚焦于部分实际过程对象2。在摄像机与所聚焦的部分过程对象之间有视线，其由交替点划线组成的线L示意地示出。在摄像机与所聚焦的部分过程对象之间的距离在示意图中表示为R。从3D模型到3D模型中的所选方位的视点用来提供实际装备中的方位信息，从而摄像机11可以移向实际装备中的沿着视线L的点，该点与3D模型中的视点对应。可以基于计算、变换、基于由控制系统保持的与实际过程中的方位和在该方位的对象有关的实际车间信息来从3D模型中的方位数据计算方位信息，或者通过这些方法的组合来计算方位信息。
操作者也可以从对象的实际车间/从与模型中的相同视点对应的视线取回与该同一对象有关的上下文相关的菜单/任务列表(基于与DCS的集成)或者图像/视频记录。在一个列表中，选项可以是：示出来自过程的实况数据、示出来自先前检查的数据、示出来自预定义检查的数据、示出来自测试的数据、示出来自小型维护或者小修工序的数据、示出任务和趋势。3D模型的图像显示器中的视点根据本发明布置为实际过程或者装置中的如下视点，摄像机将从该视点返回来自实际过程的图像或者实况视频记录。操作者利用这一系统作为用于检查基础设施的‘现场操作者的眼睛’。图4示出了用于方法步骤的流程图，其中例如可以针对3D模型中的所选过程对象生成任务列表或者一项或者多项上下文信息。
在步骤46示出了可以如何针对所选过程对象选择和取回实际过程对象的实况实时或者存储的图像46a用于组合到图像显示器中；和/或可以选择、获得和显示与过程对象相关的实况数据46b或者历史数据。针对过程对象或者针对包含过程对象的过程段，显示具有现存报警和/或取消警报或事件的警报列表46c。
一旦已经使用3D模型对在实际装备中感兴趣的过程部分进行定位，就可使用CCTV或者其它摄像机来获得许多不同类型的信息。感兴趣的部分实际过程由操作者远程检查，并且观测和记录过程基础设施的状况。也可以使用该状况作为用于进一步检查或者测试的基础。还可以使用该状况作为用于实现小修、维护或者校正行为(比如闭合阀、改变电池、更换小零件等)的基础。通过检查来收集的信息可以包括来自如下实际图像的视觉信息，这些实际图像例如是气体或者流体预计释放、意外释放(比如气体或者流体泄漏、固体或者流体材料溢出)、表面污染(如例如归因于来自海洋的盐水或者生命机体)检查、表面或者结构物理损坏迹象或者指示的实际图像。物理损坏可以是如下损坏中的任一种：风暴损坏，由于管道或者容器中的意外水平面改变或者压力改变所致的损坏，腐蚀损坏由于温度无计划上升所致的损坏，或者火灾损坏。
操作者在其中导航的3D模型的视图是过程的基本视图并且呈现于相对大的窗口中。包含实际图像、图像/视频成帧(framing)的窗口可以产生图像/视频的如下帧，该帧可以采用相对于3D模型视图的尺寸而言的任何尺寸(1-100％)并且呈现于3D模型视图内。在图像/视频帧为100％的情况下，图像将完全地取代3D模型视图并且是3D模型视点的‘准确’副本。在图像/视频帧为在1-99％之间的任何尺寸的情况下，它将以3D模型视图作为‘背景’呈现于3D模型视图内的帧中。无论操作者何时开始导航，帧本身都将保持于最后方位而3D模型视图将改变。当操作者对新视点满意时，系统可以在某一时间延迟之后用过程的实际图像/视频自动地更新帧，或者操作者将必须例如从上下文相关的菜单/任务列表启动更新。尺寸减少的帧将‘悬置’于3D模型世界中直至发现和确认新视点(自动地或者基于手动确认/输入)。操作者可以随时改变图像/视频帧的尺寸。图1e示出了如下视图，其中部分过程(部分过程对象3)的实际图像叠加于3D过程模型上的正确方位上，并且3D模型的其余部分保持于可见。图1f示意地示出了比如从图1e中所示第一方位F 1移动3D模型中的视点如何使得获得如图1e中所示沿着第二视线拍摄的来自第二方位帧F2的实际图像。随后也可以在视图上叠加来自其它摄像机的图像数据。例如在其中已经移动第二摄像机(例如已经对CCTV摄像机摇摄或者倾斜或者变焦或者使操纵器上的第二摄像机就位)的时间间隔之后，除了来自第一或者第二方位的实际图像之外，也可以在显示图像中逐渐增强与当前视图(基于模型中的视点确定的场景)相关的实际图像。这一特征也可以扩展成包括过程的预定义视点以及来自历史图像/视频库的图像/视频。这一方式也可以描述为一种移动或者操作摄像机的方式。在3D模型中获得和选择视点。然后对一个或者多个摄像机进行移动、摇摄、倾斜等，从而使它们然后沿着所需视线指向并且聚焦于过程对象。在摄像机由操纵器手臂或者机器人移动或者保持的情况下，可以通过操纵3D模型来驱动机器人，以确定机器人应当将摄像机指向何处。
显示图像在它包括实际图像/视频时可以被示出为在3D模型与‘实际’图像之间具有可变的融合程度。在比值为100％的情况下，仅示出3D过程模型。类似地，比值0％为照片般逼真的质量，并且仅示出图像/视频而不是3D模型。见图1a，该图示意地示出了100％的视图，即仅3D模型。图1b示意地示出了0％的视图、即仅示出实际图像(摄像机图像)。在图1c、图1d中示出了数量减少(分别可能为60％和10％)的3D模型图像。
可以用不同方式实现在3D模型与图像之间的过渡。可以选择过渡方法使得操作者可观测的视觉改变应当或多或少地显而易见。当例如使用两个媒体之间的‘淡入’或者‘淡出’时，至少有本发明可以呈现该过渡的两种不同方式：
1)小步进/改变将在视频模式内发生，而大步进将在3D模型的计算机图形世界中发生。3D模型的图像将在固定或者可操纵的摄像机就位时或者在装配于机器人上的摄像机就位于新方位并且准备就绪时淡出，然后视频记录淡入。
2)导航将总是在3D计算机图形中发生，并且具有实际装备图像的图像/视频模式将在准备就绪时淡入。
当源的融合或者混合在1-99％之间时，将根据比值通过图像/视频将或多或少地看见3D模型。使用3D模型高百分比(～50-99％)可能有不同原因，比如图像/视频的质量差，因此需要支持对图像的理解。按照这一方式以3D过程模型的高程度融合两种媒体允许操作者比较两个世界，并且很容易地检测实际世界中的腐蚀、火灾损坏、诸如灭火器、安全护栏等遗失设备。
以3D模型的低程度(1-49％)混合两种媒体允许系统示出来自3D模型(诸如管线布局、电布线、安全系统等)的具体信息。也可以使用来自3D模型的信息和画面(visuals)来可视化不同信息层，比如不同公用系统、具体流体或者警报，以作为计算机图像模型(3D)与实际图像/视频之间的融合。其它例子是：
流动流体，或者具有某一流速、温度等的流体。
闪烁警报和/或者告警
仅一种具体流体(例如石油或者天然气)
优选地，该模型布置有图形呈现调节控制装置，从而检验图像显示器10的操作者可以手动选择改变：在图像显示器中的3D模型图像融合的更高/更低对比度；将3D模型图像的一种或者多种颜色更换成其它颜色；等等
维护注释、观测结果可以由操作者记录或者做成注释或者粘贴注释的图形版本。后者表示更智能层或者扩充型现实(AR)，覆盖着由来自实际过程的图像/视频记录表示的实际世界。
位于现场的现场操作者或者技术人员在他们检查过程时利用所有他们的感知。图像或者视频记录表示现场操作者的眼睛。此外，所描述的远程检查系统也可以扩展成包括固定就位或者由移动设备14(具体为机器人操纵器)在实际过程内到处携带的麦克风9。因此，远程定位的操作者也可以从过程获得形式为声音的信息以作为关于过程状况的反馈，并且将此信息与其它检查数据一起用来检查过程并且可能诊断过程的状况。
在一个有利实施例中，3D过程模型可以包括多个预定义视点(与固定摄像机有关，或者与操纵器手臂上装配于的摄像机的机器人所移向的沿途点有关)。包含历史图像/视频库的数据库可以捕获和存储示出正常情形和异常情形的图像或者视频剪辑。这一历史库或者档案库作为操作者可以选择使用并且可与当前情形的图像做比较的诊断工具。在一种有利发展中，可以用标识图像为非实时的这样的方式，来呈现、显示和示出非实时图像、档案图像/视频剪辑。例如，存储或者归档的图像数据可以呈现为黑白(B/W)图像、被模糊、涂深褐色(sepia)，或者使用其它手段以表明这些是历史图像/视频剪辑。在3D模型中可以有可视化预定义视点、历史图像帧等这一选项。可以改变或者变化实际图像或者存储的图像在3D模型上方的实时叠加，从而使3D模型生成的图像叠加于实时图像或者存储的实际图像上。如上所述，3D模型具有用于以叠加彼此顶部的层的形式示出来自3D模型的图形的装置。实际图像可以叠加在3D模型图像的层上，并且可选地3D模型或者其层可以叠加在实际图像或者存储的实际过程图像上。因此，可以使用来自3D模型的信息和画面来可视化关于过程的不同信息层，比如不同公用系统、流、空气、具体流体等或者警报，以作为计算机图像模型(3D)和实际图像/视频的融合。本发明这一方面的优点在于，可以使操作者简单地比较实时图像和历史图像，并且易于让操作者区分经图形处理的历史图像和实时图像。
在另一实施例中，使用来自控制系统的与过程对象或者过程中的设备或者靠近该过程的设备的位置有关的信息，来计算实际装备中的方位或者位置。当选择部分3D模型图像时，3D模型使该选择匹配于ID或者软件对象标识符或者其它标识符，以匹配于实际装备中的过程对象。换而言之，部分地使用存储于控制系统中或者可由它存取的与实际过程对象有关的信息或者位置信息，来发现实际过程对象的方位。
图5示出了主要方法中的步骤流程图，其中步骤如下：
50操作者在图像显示器10上选择如3D模型4所示过程中的感兴趣的过程部分，
51计算机使3D模型中的所选过程对象匹配于表示实际过程对象的数据，该数据由控制系统保持，
523D模型基于由控制系统保持或者可由控制系统存取的用于实际过程对象的数据或者位置数据，来为实际过程对象计算视线或者空间数据的方位和定向，
53基于根据由控制系统保持的用于实际过程的数据或者位置数据计算的3D模型视线或者位置，来选择一个或者多个摄像机并且使其指向实际过程对象，
54生成和记录实际对象2、3的一个或者多个摄像机或者视频图像，
56将一个或者多个图像与过程的3D模型图像配准，
58在某一程度上在3D模型图像上叠加一个或者多个视频或者摄像机图像，并且显示包括实际和3D模型图像的组合图像，
59按照需要重复该方法。
在另一实施例中，可以数字处理来自实际图像的信息，以匹配于实际装备中靠近该过程的设备、或者该过程中的设备、或者过程对象、方位的位置。数字处理包括借助发现实际图像中的特征并且计算实际图像为3D模型图像中哪部分的图片来使实际图像数据匹配于3D图像，其中特征是包括线、边、点、角的组中的任意特征。这一方法可以与用于发现过程对象的方位的其它方法组合。
本发明的方法可以由一个或者多个计算机程序监控、控制或者实现。一个或者多个微处理器(或者处理器或者计算机)包括连接到或者包括在上述摄像机控制系统和/或DCS中的一个或者多个的中央处理单元，这些处理器或者计算机执行根据本发明一个或者多个方面的方法步骤。
计算机程序包括如下计算机程序代码单元或者软件代码部分，其使计算机或者处理器使用用于前述方法的式子、算法、数据、存储值、计算、同步等以及例如结合图3-图5的流程图和/或图2的显示器10上所示的图形用户接口来实现方法。部分程序可以存储于上述处理器中，而且可以存储于ROM、RAM、PROM、EPROM或者EEPROM芯片或者类似存储器装置中。程序或者部分程序也可以部分地或者完全地本地(或者集中)存储于控制系统的存储器存储设备上或者中。也可以部分地从包括公共网络如因特网的数据网络来提供或者更新程序。
应当注意，尽管上文描述了本发明的示例实施例，但是有可以对公开的解决方案进行的若干变化和修改而不脱离如所附权利要求书中限定的本发明范围。

Claims (46)

1.一种由计算机实施的方法，用于对用于提取、加工和/或生产材料的装备中的工业过程的基础设施进行远程检查，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述方法包括以下步骤：在所述3D模型中选择部分所述过程基础设施的表示以供检查，其特征在于：
基于所述3D模型上对所述表示的选择，来标识实际所述过程基础设施的所选所述部分；使所述3D模型上的所选所述表示匹配于所述装备中的已知方位；在来自所述3D模型的、所述表示的图像上面叠加所述实际过程的一个或者多个图像；以及图形地形成或者组合显示图像，所述显示图像包括所述实际过程基础设施或者过程设备的、叠加在来自所述3D模型的所述图像上及与所述图像组合的一个或者多个图像。
2.根据权利要求1所述的方法，其特征在于，接收部分实际图像以及在所述模型图像的对应部分上叠加这样接收的实际部分图像，因此图形地融合和显示叠加在模型图像的部分上的所述实际图像的部分以及组合于所述显示图像中的整体部分。
3.根据权利要求1所述的方法，其特征在于，从存储的图像提供图形数据，所述图形数据形成所述过程基础设施或者装置的实际部分的所述一个或者多个图像中的至少一个图像的部分。
4.根据权利要求1所述的方法，其特征在于，从实时产生的图像提供所述过程基础设施或者装置的实际部分的所述一个或者多个图像中的至少一个图像。
5.根据权利要求1所述的方法，其特征在于，通过基于所述3D模型上对所述表示的选择在所述3D模型中的视点计算已计算或者变换的方位，来使所述3D模型上对所述表示的选择匹配于所述已知方位。
6.根据权利要求5所述的方法，其特征在于，基于来自以下组中的任何信息来计算所述3D模型图像上对所述表示的选择的已计算或者变换的方位：在三维空间中的方位、定向、摄像机的视线、结构在三维空间中的方位、在摄像机与过程对象之间或者其上布置有所述摄像机的机器人操纵器的距离。
7.根据权利要求1所述的方法，其特征在于，使基于对所述3D模型的操纵或者选择的所选所述部分过程基础设施或者装置匹配于与所述过程或者装置的实际部分的方位或者位置相关的信息以匹配于由所述控制系统保持的方位信息。
8.根据权利要求1所述的方法，其特征在于，借助于由所述控制系统实施的所述部分过程或者装置的软件过程对象保持的信息，来使基于对所述3D模型的操纵或者选择的所选所述部分过程基础设施或者装置匹配于所述过程或者装置的实际部分的方位或者位置。
9.根据权利要求7或者8所述的方法，其特征在于，控制所述工业过程的一个或者多个摄像机，以聚焦于所处方位与由所述控制系统中的软件过程对象保持的信息匹配的所述部分过程基础设施或者装置。
10.根据权利要求1所述的方法，其特征在于，从所述3D模型中的方位或者视线或者视点，来计算用于一个或者多个摄像机的视线或者方位或者位置，以便聚焦于所述过程基础设施装置的实际部分。
11.根据权利要求10所述的方法，其特征在于，根据所述3D模型中的方位或者视线或者视点和对所述3D模型的操纵或者选择，来计算用于一个或者多个摄像机的视线或者方位或者位置，以便聚焦于所述过程基础设施或者装置的实际部分的方位或者位置。
12.根据权利要求1所述的方法，其特征在于，生成用于控制一个或者多个摄像机指向所述过程基础设施或者装置的实际部分的方位或者位置并产生图像的信号。
13.根据权利要求1所述的方法，其特征在于，借助发现所述实际图像中的特征并且计算所述实际图像为所述3D模型图像中哪个部分的图片，来使所述实际图像数据匹配于所述3D图像，所述特征是包括线、边、点、角的组中的任意特征。
14.根据权利要求1所述的方法，其特征在于，至少部分地基于与在摄像机与所述过程或者装置的实际部分之间的视线有关的信息，来计算所述实际图像数据点在何处，即在3维空间中的方位。
15.根据权利要求1所述的方法，其特征在于，以在实际图像或者部分图像上以透明或者半透明方式叠加布置的、在视觉上分离的图形层的形式，提供来自所述3D模型的所述表示的一个或者多个图像或者部分图像。
16.根据权利要求1所述的方法，其特征在于，显示图形地叠加或者覆盖于所述3D图像上或者与所述3D图像组合的历史或者归档的实际图像，其中在图形地处理的视觉模式中呈现所述非实时实际图像，以与照片般逼真的正常实际图像形成对比，所述处理可以是来自以下组中的任一项的改变：色调、对比度、亮度、颜色数目。
17.根据权利要求16所述的方法，其特征在于，将图形地处理的模式中的所述历史实际图像提供为单色或者与照片般逼真的正常实际图像相比包括数目减少的颜色。
18.根据权利要求16所述的方法，其特征在于，图形地处理所述历史实际图像是要增强一个或者多个特征并且产生包括数目减少的颜色的图像或者单色图像。
19.根据权利要求1所述的方法，其特征在于，提供所述过程基础设施或者装置的实际部分的、由从摄像机或者传感器输入的图像形成的所述一个或者多个图像中的至少一个图像，所述摄像机或者传感器适合于来自以下组的任一项：可见光、热成像、夜视。
20.根据前述权利要求1至19中任一权利要求所述的方法，其特征在于，在放置于所述显示图像上的分离窗口中或者在与示出所述显示图像的显示器分离的显示器上，显示所述过程基础设施或者装置的实际部分的实际图像或者实际视频图像。
21.一种用于提取、加工和/或生产材料的装备中的远程检查系统，所述装备包括工业过程的基础设施，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述计算机被布置用于选择部分所述过程基础设施的表示，其特征在于：编程用于基于所述3D模型上对所述表示的选择来标识实际所述过程基础设施的所选所述部分的计算机或者数据处理装置；编程用于使所述3D模型上的所选所述表示匹配于所述装备中的已知方位的计算机或者数据处理装置；以及编程用于图形地组合所述实际过程的叠加在来自所述3D模型的所述表示的图像上面的一个或者多个图像、并且形成显示图像的计算机或者数据处理装置，所述显示图像包括所述实际过程或者过程设备的叠加在来自所述3D模型的所述图像上并且与所述图像组合的一个或者多个图像。
22.根据权利要求21所述的系统，其特征在于，包括编程用于接收部分实际图像并且在所述模型图像的对应部分上叠加这样接收的实际部分图像、因此图形地融合和显示叠加在模型图像的部分上的所述实际图像的部分以及组合于所述显示图像中的整体部分的计算机或者数据处理装置。
23.根据权利要求21所述的系统，其特征在于，包括配置为存储或者归档所述过程基础设施或者装置的实际部分的一个或者多个图像的数据库或者数据处理装置。
24.根据权利要求21所述的系统，其特征在于，包括编程用于从存储的图像提供图形数据的计算机或者数据处理装置，所述图形数据形成所述过程基础设施或者装置的实际部分的所述一个或者多个图像中的至少一个图像的部分。
25.根据权利要求21所述的系统，其特征在于，包括编程用于从实时产生的图像提供所述过程基础设施或者装置的实际部分的所述一个或者多个图像中的至少一个图像的计算机或者数据处理装置。
26.根据权利要求21所述的系统，其特征在于，包括编程用于通过基于所述3D模型上对所述表示的选择在所述3D模型中的视点计算已计算或者变换的方位来使所述3D模型上对所述表示的选择匹配于所述已知方位的计算机或者数据处理装置。
27.根据权利要求21所述的系统，其特征在于，包括编程用于基于来自以下组中的任何信息来提供所述3D模型图像上对所述表示的选择的已计算或者变换的方位的计算机或者数据处理装置：在三维空间中的方位、定向、摄像机的视线、在摄像机与过程对象之间的距离、结构或者其上布置有所述摄像机的机器人操纵器在三维空间中的方位。
28.根据权利要求21所述的系统，其特征在于，包括编程用于使基于对所述3D模型的操纵或者选择的所选所述部分过程基础设施或者装置匹配于与所述过程基础设施或者装置的实际部分的方位或者位置相关的信息以匹配于由所述控制系统保持的方位信息的计算机或者数据处理装置。
29.根据权利要求21所述的系统，其特征在于，包括编程用于借助由所述控制系统实施的所述部分过程或者装置的软件过程对象保持的信息来使基于对所述3D模型的操纵或者选择的所选所述部分过程基础设施或者装置匹配于所述过程基础设施或者装置的实际部分的方位或者位置的计算机或者数据处理装置。
30.根据权利要求21所述的系统，其特征在于，包括一个或者多个控制器，用于控制所述工业过程的一个或者多个摄像机，以聚焦于所处方位与由所述控制系统中的软件过程对象保持的信息匹配的所述部分过程基础设施或者装置。
31.根据权利要求21所述的系统，其特征在于，包括编程用于根据所述3D模型中的方位或者视线(L)或者视点来计算用于一个或者多个摄像机的视线或者方位或者位置以便聚焦于所述过程基础设施装置的实际部分的计算机或者数据处理装置。
32.根据权利要求31所述的系统，其特征在于，包括编程用于根据所述3D模型中的方位或者视线或者视点和对所述3D模型的操纵或者选择来计算用于一个或者多个摄像机的视线或者方位或者位置以便聚焦于所述过程基础设施或者装置的实际部分的方位或者位置的计算机或者数据处理装置。
33.根据权利要求21所述的系统，其特征在于包括编程用于生成用于控制一个或者多个摄像机指向所述过程基础设施或者装置的实际部分的方位或者位置并产生图像的信号的计算机或者数据处理装置。
34.根据权利要求21所述的系统，其特征在于包括编程用于借助发现所述实际图像中的视觉特征并且计算所述实际图像为所述3D模型图像中哪个部分的图片来使所述实际图像数据匹配于所述3D图像的计算机或者数据处理装置，所述视觉特征是包括线、边、点、角中组的任一种。
35.根据权利要求21所述的系统，其特征在于，包括编程用于至少部分地基于与在摄像机与所述过程或者装置的实际部分之间的视线有关的信息来计算所述实际图像数据点在何处的计算机或者数据处理装置。
36.根据权利要求21所述的系统，其特征在于，包括编程用于以在实际图像或者部分图像上以透明或者半透明方式叠加布置的在视觉上分离的图形层的形式提供来自所述3D模型的所述表示的一个或者多个部分的计算机或者数据处理装置。
37.根据权利要求21所述的系统，其特征在于，包括编程用于显示图形地叠加或者覆盖于所述3D图像上或者与所述3D图像组合的历史或者归档的实际图像的计算机或者数据处理装置，其中图形地处理的视觉模式中呈现所述非实时实际图像，以与照片般逼真的正常实际图像形成对比，所述处理产生来自以下组中的任一项的改变：色调、对比度、亮度、颜色数目。
38.根据权利要求21所述的系统，其特征在于，包括编程用于将图形地处理的模式中的所述历史实际图像提供成单色或者与照片般逼真的正常实际图像相比包括数目减少的颜色的计算机或者数据处理装置。
39.根据权利要求21所述的系统，其特征在于，包括编程用于图形地处理所述历史实际图像以便增强一个或者多个特征并产生包括数目减少的颜色的图像或者单色图像的计算机或者数据处理装置。
40.根据权利要求21-39中的任一权利要求所述的系统，其特征在于，包括至少一个摄像机或者传感器，用于提供所述过程基础设施或者装置的实际部分的图像，所述摄像机或者传感器适合于基于来自以下组的任一项提供图像：可见光、热成像、夜视。
41.根据权利要求21-39中的任一权利要求所述的系统，其特征在于，包括编程用于在放置于所述显示图像上的分离窗口中或者在与示出所述显示图像的显示器分离的显示器上显示所述过程基础设施或者装置的实际部分的实际图像或者实际视频图像的计算机或者数据处理装置。
42.一种用于对用于提取、加工和/或生产材料的装备中的过程基础设施进行远程检查的计算机程序，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，并且其中所述计算机布置有所述过程的图形计算机3D模型，所述程序包含用于使计算机或者处理器执行根据权利要求1的方法的软件代码部分。
43.一种实施于计算机可读介质上的计算机程序，其中所述计算机程序在被读取到计算机或者处理器中时将使所述计算机或者处理器执行根据权利要求1提供的方法的一个或者多个指令。
44.一种远程检查系统在用于提取、加工和/或生产材料的装备中的用途，所述装备包括工业过程的基础设施，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述计算机被布置用于选择部分所述过程基础设施的表示，所述系统包括：编程用于基于所述3D模型上对所述表示的选择来标识实际所述过程基础设施的所选所述部分的计算机或者数据处理装置；编程用于使所述3D模型上的所选所述表示匹配于所述装备中的已知方位的计算机或者数据处理装置；以及编程用于图形地组合所述实际过程的叠加在来自所述3D模型的所述表示的图像上面的一个或者多个图像并且形成显示图像的计算机或者数据处理装置，所述显示图像包括所述实际过程或者过程设备的叠加在来自所述3D模型的所述图像上的并且与所述图像组合的一个或者多个图像，所述远程检查系统用于在工业中，比如石油和汽油、纸浆和造纸、化学加工和制造领域中，对材料和对象提取、生产、加工和/或运输的设施中执行实现远程检查。
45.一种远程检查系统在用于提取、加工和/或生产材料的装备中的用途，所述装备包括工业过程的基础设施，所述过程借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程基础设施的图形计算机3D模型，所述计算机被布置用于选择部分所述过程基础设施的表示，所述系统包括：编程用于基于所述3D模型上对所述表示的选择来标识实际所述过程基础设施的所选所述部分的计算机或者数据处理装置；编程用于使所述3D模型上的所选所述表示匹配于所述装备中的已知方位的计算机或者数据处理装置；以及编程用于图形地组合所述实际过程的叠加在来自所述3D模型的所述表示的图像上面的一个或者多个图像并且形成显示图像的计算机或者数据处理装置，所述显示图像包括所述实际过程或者过程设备的叠加在来自所述3D模型的所述图像上的并且与所述图像组合的一个或者多个图像，所述远程检查系统用于执行维护任务、执行小修、维护或者动作，比如闭合阀、改变电池、更换小零件等。
46.一种在用于提取、加工和/或生产材料的装备中的远程检查系统，所述装备包括过程基础设施，所述过程基础设施借助布置有一个或者多个计算机和一个或者多个计算机显示装置的控制系统来监控，其中所述计算机布置有所述过程的图形计算机3D模型，所述计算机被布置用于选择部分所述过程的表示，所述远程检查系统还包括：
-用于基于所述3D模型上对所述表示的选择来标识实际所述过程的所选所述部分的计算机装置；
-用于使所述3D模型上的所选所述表示匹配于所述装备中的已知对象的计算机装置；以及
-用于图形地组合所述实际过程的叠加在来自所述3D模型的所述表示的图像上面的一个或者多个图像并且形成显示图像的计算机装置，所述显示图像包括所述实际过程或者过程设备的叠加在来自所述3D模型的所述图像上的并且与所述图像组合的一个或者多个图像。
CN200880126444.2A 2007-12-10 2008-12-10 用于远程检查工业过程的由计算机实施的方法和系统 Active CN101939765B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US99688707P 2007-12-10 2007-12-10
US60/996,887 2007-12-10
PCT/EP2008/067188 WO2009074600A1 (en) 2007-12-10 2008-12-10 A computer implemented method and system for remote inspection of an industrial process

Publications (2)

Publication Number Publication Date
CN101939765A true CN101939765A (zh) 2011-01-05
CN101939765B CN101939765B (zh) 2014-01-29

Family

ID=40469818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880126444.2A Active CN101939765B (zh) 2007-12-10 2008-12-10 用于远程检查工业过程的由计算机实施的方法和系统

Country Status (5)

Country Link
US (1) US20100315416A1 (zh)
EP (1) EP2232437B1 (zh)
CN (1) CN101939765B (zh)
RU (1) RU2498408C2 (zh)
WO (1) WO2009074600A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104508576A (zh) * 2012-05-29 2015-04-08 Abb研究有限公司 工业工厂中的对象检验
CN104871097A (zh) * 2012-12-13 2015-08-26 Abb技术有限公司 用于监测和/或诊断工业工厂生产线操作的系统和方法
CN105659170A (zh) * 2013-06-27 2016-06-08 Abb技术有限公司 用于向远程用户传送视频的方法及视频通信装置
CN107077132A (zh) * 2014-10-16 2017-08-18 Abb瑞士股份有限公司 使用分布式控制系统来管理加工厂的子系统的方法
CN110019431A (zh) * 2017-12-11 2019-07-16 北京京东尚科信息技术有限公司 数据可视化的处理方法、系统及终端设备
US10372090B2 (en) 2013-04-29 2019-08-06 Hanwha Techwin Co., Ltd. Three-dimensional (3D) building information providing device and method
CN110866310A (zh) * 2018-08-14 2020-03-06 波音公司 装配过程的自动监督和检查

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100914848B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 혼합현실 시스템 및 그 구현 방법
FR2945630B1 (fr) * 2009-05-14 2011-12-30 Airbus France Procede et systeme d'inspection a distance d'une structure
US20110010624A1 (en) * 2009-07-10 2011-01-13 Vanslette Paul J Synchronizing audio-visual data with event data
TW201108045A (en) * 2009-08-28 2011-03-01 Primax Electronics Ltd Testing system of input device model
US8935129B1 (en) * 2010-06-04 2015-01-13 Bentley Systems, Incorporated System and method for simplifying a graph'S topology and persevering the graph'S semantics
JP2012124653A (ja) * 2010-12-07 2012-06-28 Canon Inc 符号化装置、符号化方法およびプログラム
US9292963B2 (en) * 2011-09-28 2016-03-22 Qualcomm Incorporated Three-dimensional object model determination using a beacon
DE102011085003A1 (de) * 2011-10-21 2013-04-25 Siemens Aktiengesellschaft Verfahren zur Visualisierung der räumlichen Verhältnisse einer Fertigungsstätte
CN102546262B (zh) * 2012-02-09 2015-09-30 长春市天空标通信有限公司 一种调控系统
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
EP2757472A1 (en) * 2013-01-18 2014-07-23 Dassault Systèmes A computer-implemented method for launching an installed application
US20140278718A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Enhanced time-management and recommendation system
US20140320529A1 (en) * 2013-04-26 2014-10-30 Palo Alto Research Center Incorporated View steering in a combined virtual augmented reality system
WO2015051816A1 (en) * 2013-10-07 2015-04-16 Abb Technology Ltd Control of a communication session between a local and remote user of a process control system
US10078712B2 (en) * 2014-01-14 2018-09-18 Energid Technologies Corporation Digital proxy simulation of robotic hardware
EP3029535A3 (en) * 2014-12-03 2016-07-13 Rockwell Automation Technologies, Inc. P&ID and control system synchronization
US10176643B2 (en) * 2015-03-30 2019-01-08 Capcom Co., Ltd. Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium
JP6586824B2 (ja) * 2015-08-27 2019-10-09 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10957102B2 (en) * 2017-01-16 2021-03-23 Ncr Corporation Virtual reality maintenance and repair
FR3062229A1 (fr) * 2017-01-26 2018-07-27 Parrot Air Support Procede d'affichage sur un ecran d'au moins une representation d'un objet, programme d'ordinateur, dispositif et appareil electroniques d'affichage associes
WO2018222835A1 (en) * 2017-05-31 2018-12-06 Abb Schweiz Ag Robot system for real-time inspection of switchgear
US10861220B2 (en) * 2017-12-14 2020-12-08 The Boeing Company Data acquisition and encoding process for manufacturing, inspection, maintenance and repair of a structural product
EP3579127A1 (en) * 2018-06-07 2019-12-11 Hexagon Technology Center GmbH Method of generation of an enhanced plant model
US11681834B2 (en) * 2019-01-30 2023-06-20 Augmntr, Inc. Test cell presence system and methods of visualizing a test environment
CA3057655A1 (en) * 2019-10-04 2021-04-04 Wave9 Technology Inc. Remote montoring method using image processing intelligence
CN111123030A (zh) * 2019-12-18 2020-05-08 淮北工科检测检验有限公司 一种基于NBIoT的电缆故障在线温度监控系统
RU2746652C1 (ru) * 2020-06-22 2021-04-19 Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс" Модульный комплекс контроля производственной безопасности и технологических процессов
CN111726589B (zh) * 2020-07-07 2022-01-28 山东天原管业股份有限公司 一种阀体的生产加工方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100318330B1 (ko) * 1991-04-08 2002-04-22 가나이 쓰도무 감시장치
DE19715503A1 (de) * 1997-04-14 1998-10-15 Siemens Ag Integriertes Rechner- und Kommunikationssystem für den Anlagenbereich
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
FR2798761B1 (fr) * 1999-09-17 2002-03-29 Thomson Multimedia Sa Procede de construction d'un modele de scene 3d par analyse de sequence d'images
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US7116330B2 (en) * 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6947593B2 (en) * 2001-10-05 2005-09-20 Hewlett-Packard Development Company, Lp. Digital image processing
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
NZ544780A (en) * 2003-06-19 2008-05-30 L 3 Comm Corp Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
SE527441C2 (sv) * 2003-12-23 2006-03-07 Abb Research Ltd Förfarande vid ett säkerhetssystem för styrning av en process eller utrustning
CN1300746C (zh) * 2004-12-09 2007-02-14 上海交通大学 基于多特征信息融合的视频运动目标自适应跟踪方法
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
EP2284814A1 (en) * 2005-01-03 2011-02-16 Vumii, Inc. Systems and methods for night time surveillance
DE102006014634B4 (de) * 2005-04-01 2014-01-30 Abb Research Ltd. Mensch-Maschine-Schnittstelle für ein Kontroll- bzw. Steuerungs-System
DE102006052321A1 (de) * 2005-11-24 2007-06-06 Danfoss A/S Verfahren zum Analysieren einer Kühlanlage und Verfahren zur Regelung einer Kühlanlage
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104508576A (zh) * 2012-05-29 2015-04-08 Abb研究有限公司 工业工厂中的对象检验
CN104871097A (zh) * 2012-12-13 2015-08-26 Abb技术有限公司 用于监测和/或诊断工业工厂生产线操作的系统和方法
CN104871097B (zh) * 2012-12-13 2018-05-18 Abb 技术有限公司 用于监测和/或诊断工业工厂生产线操作的系统和方法
US10372090B2 (en) 2013-04-29 2019-08-06 Hanwha Techwin Co., Ltd. Three-dimensional (3D) building information providing device and method
CN104123405B (zh) * 2013-04-29 2019-12-13 韩华泰科株式会社 三维建筑物信息提供装置和方法
CN105659170A (zh) * 2013-06-27 2016-06-08 Abb技术有限公司 用于向远程用户传送视频的方法及视频通信装置
CN105659170B (zh) * 2013-06-27 2019-02-12 Abb瑞士股份有限公司 用于向远程用户传送视频的方法及视频通信装置
CN107077132A (zh) * 2014-10-16 2017-08-18 Abb瑞士股份有限公司 使用分布式控制系统来管理加工厂的子系统的方法
CN107077132B (zh) * 2014-10-16 2019-04-19 Abb瑞士股份有限公司 使用分布式控制系统来管理加工厂的子系统的方法
CN110019431A (zh) * 2017-12-11 2019-07-16 北京京东尚科信息技术有限公司 数据可视化的处理方法、系统及终端设备
CN110866310A (zh) * 2018-08-14 2020-03-06 波音公司 装配过程的自动监督和检查
CN110866310B (zh) * 2018-08-14 2024-02-09 波音公司 装配过程的自动监督和检查

Also Published As

Publication number Publication date
RU2010128609A (ru) 2012-01-20
US20100315416A1 (en) 2010-12-16
RU2498408C2 (ru) 2013-11-10
CN101939765B (zh) 2014-01-29
EP2232437A1 (en) 2010-09-29
EP2232437B1 (en) 2013-09-18
WO2009074600A1 (en) 2009-06-18

Similar Documents

Publication Publication Date Title
CN101939765B (zh) 用于远程检查工业过程的由计算机实施的方法和系统
EP2122253B1 (en) A flare characterization and control system
Natephra et al. Live data visualization of IoT sensors using augmented reality (AR) and BIM
CN101681159B (zh) 在工业过程中操作遥控相机的方法
CN110546703A (zh) 具有竣工特征和体验数据的捕获的改进的建筑模型
KR102536822B1 (ko) 3ｄ 디지털 트윈 댐 안전 관리 시스템 및 방법
CN106340217A (zh) 基于增强现实技术的制造装备智能系统及其实现方法
Kim et al. Improvement of realism of 4D objects using augmented reality objects and actual images of a construction site
KR101894471B1 (ko) 플랜트의 가상 현실 서비스 제공 방법 및 이를 위한 장치
US9274519B2 (en) Methods and apparatus for monitoring operation of a system asset
KR102371336B1 (ko) 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템
WO2021113268A1 (en) Systems and methods for generating of 3d information on a user display from processing of sensor data
EP3161412B1 (en) Indexing method and system
KR102421983B1 (ko) 3d 위치 기반 근무자 안전 관리 모니터링 시스템 및 방법
Shah et al. Condition assessment of ship structure using robot assisted 3D-reconstruction
US8786399B2 (en) Computer implemented method to display technical data for monitoring an industrial installation
DK180665B1 (en) Augmented Reality Maintenance System
KR102239906B1 (ko) 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템
KR20220168565A (ko) 보안 기능을 자동으로 실행하기 위한 감시 시스템과 방법 및 합성 트레이닝 데이터 세트 생성하기 위한 시스템과 방법
Boxall Using Digital Twin technology to improve inspection methods of high risk assets
CN113256836A (zh) 一种沉浸式港口设施智能巡检方法
Oshima et al. Development of a maintenance support tool using augmented reality technology
WO2022014443A1 (ja) プラント管理方法、プラント管理装置およびプラント管理プログラム
Dyrda et al. Specifying Volumes of Interest for Industrial Use Cases
Hossain et al. Building Rich Interior Hazard Maps for Public Safety

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191122

Address after: Baden, Switzerland

Patentee after: ABB Switzerland Co., Ltd.

Address before: Zurich

Patentee before: ABB Research Co., Ltd.