CN103119425B - 用于装置的并列虚拟-真实图像检查的系统及方法 - Google Patents

Abstract

本发明披露了用于检查装置的系统及方法。本方法包括将该装置相对于多个活动摄像机（32、34）布置在已知位置。多个活动摄像机被安装在可控致动器（36、38）上。通过利用用户接口控制可控致动器来定位摄像机，使多个摄像机瞄准该装置。计算装置（40）利用计算装置根据该装置的CAD模型绘制虚拟图像。将由摄像机产生的该装置的图像显示在显示器（44）上。该计算装置还使得该装置的绘制的虚拟图像显示在该显示器上。摄像机图像和绘制图像能够以并列方式、重叠方式、或以二者方式显示。

Description

用于装置的并列虚拟-真实图像检查的系统及方法

相关申请的声明

本申请要求以在2010年9月24日提交的美国专利临时专利申请序号为61/386,092的申请为优先权。

技术领域

本发明涉及使用摄像机的检查系统及方法。

背景技术

对于工业装置及设备，根据摄像机图像的计算机化检查提供了非常准确的信息。然而，如果被检查对象是复杂的（例如，现代燃气轮机），并且当涉及多个摄像机以及摄像机的多个配置时，检查变得困难。经常无法直觉地想像出各摄像机或摄像机配置与被检查装置之间的空间关系。这妨碍了检查的生产率。

当被检查装置是复杂的时，检查处理特别困难。例如，用现有检查系统及方法检查现代燃气轮机产生了诸多困难。关于这一点，一个原因是因为装置巨大而具有复杂形状，当查验该检查的录像时会难以定位。

据此，对于检查复杂装置，需要新的和改进的系统及方法。

发明内容

本发明提供直接支持，以让检查装置的检查者意识到摄像机配置相对于被检查装置的确切情形。根据本发明的一方面，将摄像机安装在致动器上，后者能够被带有用户接口装置（包括控制杆、键盘以及鼠标）的计算机来控制。摄像机可以有多个自由度。计算装置中的软件完全控制致动器，并且知道每个摄像机的空间位置及取向。

被检查对象的CAD模型是可以得到的，并被加载至计算装置上的软件。将来自摄像机的视频图像实时地传送至计算机。采用上述可用信息，本发明的系统能选择性地并列呈现：来自摄像机的实况图像；进入CAD模型的摄像机的虚拟视图、以及摄像机和CAD模型的场面概况，以实况图像重叠于CAD模型上。

利用这些视图，检查者将准确地知道摄像机相对于被检查装置在何处，没有接通摄像机视频时这些视图看起来像什么，以及来自摄像机的真实图像是什么，所有这些同时都在同一应用中。这将大大有助于用户建立预定配置、进行训练、以及执行实际检查。

因此，根据本发明的不同方面，提供了用于检查装置的新的、改进的方法及系统。

根据本发明的一个方面，提供了一种用于检查装置的的方法。将被检查的装置相对于多个活动摄像机布置在已知位置，多个活动摄像机被安装在可控致动器上。然后，移动致动器，以使多个摄像机瞄准该装置。由检查者/用户利用用户接口来控制可控致动器，以定位摄像机。

计算装置访问被检查装置的CAD模型，并且根据该CAD模型绘制被检查装置的虚拟图像。

然后，由摄像机（或多个摄像机）在显示器上产生被检查装置的图像。计算装置还使得该装置的被绘制的虚拟图像显示在显示器上。

根据本发明的一方面，由摄像机产生的该装置的图像以及根据CAD模型的绘制的虚拟图像并列显示在显示器上。

根据本发明的另一方面，由摄像机产生的该装置的图像以及根据CAD模型的绘制的虚拟图像，还按照以该图像重叠于绘制的虚拟图像上的重叠方式显示，使得该图像适当地位于该CAD模型的绘制的虚拟图像上。

根据本发明的另一方面，来自多个摄像机的一个或多个附加图像，按照以多个图像重叠于绘制的虚拟图像上的重叠方式显示，使得多个图像的每一个适当地位于该CAD模型的绘制的虚拟图像上。

根据本发明的另一方面，该装置可以在取得该装置的图像之后进行检查。在这种情况下，图像由摄像机取得像，然后被存储，以便根据本发明的方面进行分析。

根据本发明的该方面，计算装置检索该装置的图像、产生该图像的摄像机的多个物理特征、该摄像机的位置及取向、以及该装置相对于该摄像机的校准。该计算装置还检索被检查装置的CAD模型。

该计算装置根据该装置的CAD模型绘制该装置的虚拟图像。取决于该装置被感兴趣的区段，该计算装置可以绘制该CAD模型的一部分或其全部。

然后，该计算装置使得该装置的图像和该装置虚拟图像的对应区段同时显示。由摄像机产生的该装置的图像以及根据CAD模型的绘制的虚拟图像可以并列显示在显示器上。附加地，由摄像机产生的该装置的图像以及根据CAD模型的绘制的虚拟图像可以按照以该图像重叠于绘制的虚拟图像上的重叠方式显示，使得该图像适当地位于CAD模型的绘制的虚拟图像上。

来自多个摄像机的一个或更多的附加图像按照可以按照以多个图像重叠于绘制的虚拟图像上的重叠方式显示，使得多个图像的每一个适当地位于CAD模型的绘制的虚拟图像上。

根据本发明的方面，还提供了执行上面所描述的方法以及这里所描述的其它方法的系统。根据本发明的一方面，一种用于检查装置的检查系统，包括：多个摄像机，多个摄像机中的每一个被安装于可控致动器，并且瞄准该装置。该系统还包括该装置的CAD模型，其存储在可由计算装置访问的存储器中。计算装置绘制被检查装置至少一个区段的虚拟图像。该系统包括至少一个显示器，其与多个摄像机连接，以便显示来自多个摄像机中一个或多个摄像机的图像。

该计算装置与每个可控致动器连接，并且与该至少一个显示器连接，以及，该计算装置包括用户接口，以便控制每个可控致动器。该计算装置还使得绘制的虚拟图像被显示在该至少一个显示器上。

附图说明

图1图示了根据本发明一个方面的用于检查装置的系统；

图2图示了由计算装置显示在显示器上的致动器的位置数据；以及

图3图示了根据本发明一个方面的计算装置显示在显示器上的窗口。

具体实施方式

图1图示了被检查装置以及根据本发明一个方面的检查系统。示出了正在被检查的装置10。装置10可以是大量装置中的任何一种，这些装置包括涡轮机、燃气轮机，等等。被检查装置在尺寸上以及在形状上都可能相当复杂。当使用摄像机进行检查时，相当容易失去定位缺陷所在的踪迹。这些缺陷可能包括损伤、裂缝、污点以及其它缺陷。

多个摄像机12、14在被检查装置10内移动，以便进行检查。摄像机12、14被安装于活动、可控的致动器16上。根据本发明的一个方面，致动器16包括第一臂18和第二臂20。

虽然示出了两个摄像机12、14，但也可使用单一摄像机。可选择地，还可以使用两个以上的摄像机。

第一臂18可以控制使其沿箭头22所示方向移动。因此，可以使摄像机12、14移过被检查装置10的中心，以便执行检查。

第二臂20可以在箭头24所示方向转动。还能使第二臂20于图面内外转动。因此，可控活动制动器16具有多个自由度。使致动器16沿方向22移动时，可以使第二臂20转动，以便查验被检查装置10的全部内部区段。

根据本发明的另一方面，将传输电路安装于致动器16，以便经由接口28将致动器16的位置及取向传送给计算装置26。传输电路也能将摄像机12和14的全部物理特征传输给计算装置26。以这种方式，计算装置26知道摄像机12和14正看着装置10的什么，以及计算装置26理解摄像机12和14的特征。

根据本发明一个方面用于检查装置的系统进一步示于图2中。示出了待检查的装置30。该装置通常是一种复杂装置，诸如燃气轮机。

该系统包括多个摄像机32和34。与之前一样，尽管示出了两个摄像机，但可以使用两个以上的摄像机。根据本发明的其它方面，也可以使用单一摄像机。所使用摄像机的类型是用于执行复杂装置检查的标准工业摄像机。

每个摄像机32和34被分别安装于致动器36和38。根据本发明的一个方面，致动器36和38是包括多个部分的单一结构的部分。可选择地，每个致动器36和38可以是单独的致动器结构。致动器36和38为多个摄像机32和34的每一个提供多个自由度。以这种方式，能使摄像机32、34瞄准被检查装置上的任何期望的部位。

致动器可以由计算装置40通过接口42进行控制。该计算装置可以是任何类型的计算装置，包括个人计算机、便携计算机、或者特别设计的计算机。由用户接口控制致动器36和38相对于被检查装置的位置及取向，该用户接口是计算装置40的部分。可以使用的用户接口包括鼠标、键盘、小键盘、触摸屏、以及控制杆。它们被作为计算装置的部分提供。

本系统包括一个或多个显示器44，其与多个摄像机32和34的每一个相连接。在本发明的一种实施例中，将每个摄像机32和34与显示器44连接。根据本发明的另一方面，一个摄像机可以单独与一个显示器连接。

在存储器48中存储了多个可能被检查装置的一个或多个CAD模型。存储器48可以是远程服务器的部分，由计算装置40以远程方式对该远程服务器进行访问。存储器48包括被检查装置30的CAD模型。

计算装置40根据被检查装置的CAD模型绘制被检查装置的虚拟图像。这种绘制可以使用公开可得到的软件诸如openGL进行。计算装置40能绘制整个被检查装置的完整虚拟图像，或者能绘制被检查装置一些部分的虚拟图像，以节省时间。

从计算装置40上的用户接口来控制摄像机32和34的位置及取向，以便获得被检查装置的图像。根据本发明的一个方面，同时显示来自被检查装置的图像以及绘制的虚拟图像。

图3图示了由计算装置40显示的窗口50。图像52和54是来自被检查装置的实况图像。如果有缺陷，诸如损伤、裂缝、脱色（decoloration）等等，这些缺陷将呈现在这里。然而，简单查验这些图像会留给检查者被检查装置中有关它们位置的不确定性。检查者也会不确定被检查装置的自然状态以及事实上是否有缺陷。

因此，相对于实况图像，本发明还显示绘制的虚拟图像，如图像56和58。因此，使实况图像52与绘制的虚拟图像58相关。此外，使实况图像54与绘制的虚拟图像56相关。

一般地，在给定虚拟摄像机位置和内部特征的情况下，根据CAD模型绘制虚拟图像。为了建立虚拟图像与实况图像之间的相互关系，虚拟摄像机必须具有与实况摄像机相同的位置和内部特性。内部校准过程评价实况摄像机的内部特性。在内部校准过程之后，根据致动器位置的读取，计算实况摄像机在任何时间关于CAD模型的位置。

一旦得到实况摄像机的位置和内部参数，由虚拟摄像机使用它们，以便使用计算机图形技术诸如OpenGL绘制根据CAD模型的虚拟图像56或58。虚拟图像和实况图像示出类似的结构，诸如实况图像54和虚拟图像56中上面中央处的孔。

因此，本发明的方面允许被检查装置的实况图像与绘制的虚拟图像一起显示。根据本发明的一个方面，将实况图像54与绘制的虚拟图像56相邻显示。这些图像可以并列显示。这让处于检查之下的装置中的缺陷更容易识别，因为检查者能观察处于其未使用状态下的该装置的模型，同时查验已经被使用的被检查装置的图像。

附加或者替换地，在窗口60中，可以将实况视频图像52重叠在绘制的虚拟图像62的较大版本上作为图像64。这是通过使位置互相关联做到的。

因为致动器将其位置报告给计算装置，计算装置知道这些摄像机的位置及取向。此外，可以将必要的摄像机的物理特征通过致动器接口传送给计算装置。可选择地，摄像机的物理特征可以被存储在存储器中，并且在需要时由计算装置访问。计算装置使用这种信息，以便在绘制的虚拟图像62上定位实况图像64和66。

如图3中所示，多个图像64和66可以重叠于处在检查之下装置的绘制的虚拟图像62上。

显示器60帮助检查者容易地识别图像的部位、以及位于实况图像52、54中的任何缺陷的部位。

可以按不同模式使用本发明的检查站。在第一模式中，将由被检查装置的实时检查产生的实况图像传送至计算装置。在这种情况下，该计算装置实时地执行上述步骤，并且可以用来控制致动器的位置，并因此控制摄像机的位置。

根据本发明的另一方面，使用摄像机和活动可控制动器可以产生装置的图像，并且将这些图像存储在存储器中。当来到分析时间时，将图像存储在由计算装置可访问的存储器中。

如之前那样，计算装置可以访问被检查装置的CAD模型。使用例如openGL，计算装置根据CAD模型绘制被检查装置的虚拟图像。然后，计算装置使得一个或更多的实况图像与绘制的虚拟图像同时显示。

如上面所描述的那样，实况图像和绘制的虚拟图像的显示或者并列、或者按重叠方式，或者以二者方式。在图3中示出了并列显示和重叠显示。

在检查之前，将被检查装置相对摄像机/致动器布置在已知位置。这允许计算装置使这些图像与该装置的CAD模型的适当区段相关联。这被称为校准。校准可以手动方式执行，并且将校准的细节报告给计算装置。

虽然示出、描述并且指出了本发明应用于其优选实施方式时的基本新颖特征，但是应当理解，在所示出的方法及系统的形式和细节中以及在其操作中都可以由本领域技术人员进行各种省略、置换以及改变，而不偏离本发明的精神。因此，本发明只由权利要求的范围所指示的那样被限定。

Claims (16)

1.一种用于检查装置的方法，包括：

将所述装置相对于多个活动摄像机布置在已知位置，所述多个活动摄像机被安装在具有第一和第二臂的可控致动器上，所述可控致动器由计算装置控制；

将所述多个摄像机瞄准所述装置；

利用所述计算装置上的用户接口控制所述可控致动器，以便定位所述摄像机；

利用所述计算装置根据所述装置的CAD模型绘制虚拟图像；

将由所述摄像机产生的所述装置的至少一个实况图像显示在显示器上；以及

所述计算装置使得从CAD模型中所绘制的虚拟图像显示在所述显示器上，

其中，将实况图像按照在虚拟图像的较大版本上的重叠方式显示在所述显示器上，使得实况图像适当地位于虚拟图像的较大版本的适当区段上。

2.根据权利要求1所述的方法，其中，所述实况图像和与该实况图像对应的区段的虚拟图像被并列显示在所述显示器上。

3.根据权利要求1所述的方法，其中，由所述摄像机产生所述装置的两个或多个实况图像，并且

其中，将所述两个或多个实况图像按照在虚拟图像的较大版本上的重叠方式显示在所述显示器上，使得所述两个或多个实况图像适当地位于虚拟图像的较大版本的适当区段上。

4.根据权利要求3所述的方法，其中，所述两个或多个实况图像和与各自实况图像对应的区段的虚拟图像被并列显示在所述显示器上。

5.根据权利要求1至4之一所述的方法，其中，当显示所述实况图像和所述虚拟图像时，根据所述可控致动器的所述定位及取向，以及根据所述多个摄像机中至少一个的物理特征，所述计算装置处理所述实况图像和所述虚拟图像。

6.根据权利要求1至4之一所述的方法，其中，所述可控致动器能以多个自由度移动。

7.根据权利要求6所述的方法，其中，所述可控致动器将位置及取向报告给所述计算装置，以及，所述计算装置使用所述位置及取向以及有关所述多个摄像机的物理特征的信息来绘制所述虚拟图像。

8.一种用于检查装置的方法，包括：

计算装置，其检索所述装置的至少一个实况图像、产生所述实况图像的摄像机的多个物理特征、所述摄像机的位置及取向、以及所述装置相对于所述摄像机的校准，并且，所述计算装置控制所述摄像机的位置及取向；

所述计算装置检索所述装置的CAD模型；

所述计算装置根据所述装置的CAD模型绘制所述装置的虚拟图像；

所述计算装置促使所述装置的所述实况图像与该实况图像对应的区段的虚拟图像同时显示，并且

所述计算装置促使所述实况图像按照在虚拟图像的较大版本上的重叠方式显示在所述显示器上，使得实况图像适当地位于虚拟图像的较大版本的适当区段上。

9.根据权利要求8所述的方法，其中，所述实况图像和与该实况图像对应的区段的虚拟图像并列显示在所述显示器上。

10.根据权利要求8所述的方法，其中，所述计算装置检索所述装置的两个或多个实况图像，

其中，所述计算装置促使所述两个或多个实况图像和与各自实况图像对应的区段的虚拟图像被并列显示在所述显示器上，并且

其中，所述计算装置促使所述两个或多个实况图像按照在虚拟图像的较大版本上的重叠方式显示，使得所述两个或多个实况图像适当地位于虚拟图像的较大版本的适当区段上。

11.根据权利要求8至10之一所述的方法，其中，当显示所述实况图像以及所述虚拟图像时，根据可控致动器的位置及取向，以及，根据所述多个摄像机中至少一个的物理特征，所述计算装置处理所述实况图像以及所述虚拟图像。

12.一种用于检查装置的检查系统，包括：

多个摄像机，所述多个摄像机中的每一个被安装在可控致动器上并且在计算装置的控制下瞄准所述装置；

所述装置的CAD模型，其存储在可由所述计算装置访问的存储器中，使得所述计算装置绘制被检查的所述装置的至少一个区段的虚拟图像；

至少一个显示器，与所述多个摄像机连接，以便显示来自所述多个摄像机中的一个或多个的实况图像；

其中，所述计算装置与每个可控致动器连接，并且与所述至少一个显示器连接，所述计算装置包括用户接口，以便控制每个可控致动器；

其中，所述计算装置促使所述显示器也显示与该实况图像对应的区段的虚拟图像，并且

其中，所述计算装置促使所述实况图像按照在虚拟图像的较大版本上的重叠方式显示在所述显示器上，使得实况图像适当地位于虚拟图像的较大版本的适当区段上。

13.根据权利要求12所述的系统，其中，所述实况图像和与该实况图像对应的区段的虚拟图像被并列显示在所述显示器上。

14.根据权利要求12或13所述的系统，其中，所述计算装置促使所述显示器显示两个或多个实况图像和与各自实况图像对应的区段的虚拟图像，并且

其中，所述计算装置促使所述显示器将所述两个或多个实况图像按照在虚拟图像的较大版本上的重叠方式显示，使得所述两个或多个实况图像适当地位于虚拟图像的较大版本的适当区段上。

15.根据权利要求12或13所述的系统，其中，所述可控致动器能以多个自由度移动。

16.根据权利要求15所述的系统，其中，所述可控致动器将位置及取向报告给所述计算装置，以及所述计算装置使用所述位置及取向以及有关所述多个摄像机的物理特征的信息来绘制所述虚拟图像。