CN103119425A - 用于装置的并列虚拟-真实图像检查的系统及方法 - Google Patents

用于装置的并列虚拟-真实图像检查的系统及方法 Download PDF

Info

Publication number
CN103119425A
CN103119425A CN2011800456610A CN201180045661A CN103119425A CN 103119425 A CN103119425 A CN 103119425A CN 2011800456610 A CN2011800456610 A CN 2011800456610A CN 201180045661 A CN201180045661 A CN 201180045661A CN 103119425 A CN103119425 A CN 103119425A
Authority
CN
China
Prior art keywords
image
virtual image
drafting
calculation element
cad model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800456610A
Other languages
English (en)
Other versions
CN103119425B (zh
Inventor
谢炳龙
Y.金克
高翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN103119425A publication Critical patent/CN103119425A/zh
Application granted granted Critical
Publication of CN103119425B publication Critical patent/CN103119425B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明披露了用于检查装置的系统及方法。本方法包括将该装置相对于多个活动摄像机（32、34）布置在已知位置。多个活动摄像机被安装在可控致动器（36、38）上。通过利用用户接口控制可控致动器来定位摄像机，使多个摄像机瞄准该装置。计算装置（40）利用计算装置根据该装置的CAD模型绘制虚拟图像。将由摄像机产生的该装置的图像显示在显示器（44）上。该计算装置还使得该装置的绘制的虚拟图像显示在该显示器上。摄像机图像和绘制图像能够以并列方式、重叠方式、或以二者方式显示。

Description

用于装置的并列虚拟-真实图像检查的系统及方法
相关申请的声明
本申请要求以在2010年9月24日提交的美国专利临时专利申请序号为61/386,092的申请为优先权。
技术领域
本发明涉及使用摄像机的检查系统及方法。
背景技术
对于工业装置及设备，根据摄像机图像的计算机化检查提供了非常准确的信息。然而，如果被检查对象是复杂的（例如，现代燃气轮机），并且当涉及多个摄像机以及摄像机的多个配置时，检查变得困难。经常无法直觉地想像出各摄像机或摄像机配置与被检查装置之间的空间关系。这妨碍了检查的生产率。
当被检查装置是复杂的时，检查处理特别困难。例如，用现有检查系统及方法检查现代燃气轮机产生了诸多困难。关于这一点，一个原因是因为装置巨大而具有复杂形状，当查验该检查的录像时会难以定位。
据此，对于检查复杂装置，需要新的和改进的系统及方法。
发明内容
本发明提供直接支持，以让检查装置的检查者意识到摄像机配置相对于被检查装置的确切情形。根据本发明的一方面，将摄像机安装在致动器上，后者能够被带有用户接口装置（包括控制杆、键盘以及鼠标）的计算机来控制。摄像机可以有多个自由度。计算装置中的软件完全控制致动器，并且知道每个摄像机的空间位置及取向。
被检查对象的CAD模型是可以得到的，并被加载至计算装置上的软件。将来自摄像机的视频图像实时地传送至计算机。采用上述可用信息，本发明的系统能选择性地并列呈现：来自摄像机的实况图像；进入CAD模型的摄像机的虚拟视图、以及摄像机和CAD模型的场面概况，以实况图像重叠于CAD模型上。
利用这些视图，检查者将准确地知道摄像机相对于被检查装置在何处，没有接通摄像机视频时这些视图看起来像什么，以及来自摄像机的真实图像是什么，所有这些同时都在同一应用中。这将大大有助于用户建立预定配置、进行训练、以及执行实际检查。
因此，根据本发明的不同方面，提供了用于检查装置的新的、改进的方法及系统。
根据本发明的一个方面，提供了一种用于检查装置的的方法。将被检查的装置相对于多个活动摄像机布置在已知位置，多个活动摄像机被安装在可控致动器上。然后，移动致动器，以使多个摄像机瞄准该装置。由检查者/用户利用用户接口来控制可控致动器，以定位摄像机。
计算装置访问被检查装置的CAD模型，并且根据该CAD模型绘制被检查装置的虚拟图像。
然后，由摄像机（或多个摄像机）在显示器上产生被检查装置的图像。计算装置还使得该装置的被绘制的虚拟图像显示在显示器上。
根据本发明的一方面，由摄像机产生的该装置的图像以及根据CAD模型的绘制的虚拟图像并列显示在显示器上。
根据本发明的另一方面，由摄像机产生的该装置的图像以及根据CAD模型的绘制的虚拟图像，还按照以该图像重叠于绘制的虚拟图像上的重叠方式显示，使得该图像适当地位于该CAD模型的绘制的虚拟图像上。
根据本发明的另一方面，来自多个摄像机的一个或多个附加图像，按照以多个图像重叠于绘制的虚拟图像上的重叠方式显示，使得多个图像的每一个适当地位于该CAD模型的绘制的虚拟图像上。
根据本发明的另一方面，该装置可以在取得该装置的图像之后进行检查。在这种情况下，图像由摄像机取得像，然后被存储，以便根据本发明的方面进行分析。
根据本发明的该方面，计算装置检索该装置的图像、产生该图像的摄像机的多个物理特征、该摄像机的位置及取向、以及该装置相对于该摄像机的校准。该计算装置还检索被检查装置的CAD模型。
该计算装置根据该装置的CAD模型绘制该装置的虚拟图像。取决于该装置被感兴趣的区段，该计算装置可以绘制该CAD模型的一部分或其全部。
然后，该计算装置使得该装置的图像和该装置虚拟图像的对应区段同时显示。由摄像机产生的该装置的图像以及根据CAD模型的绘制的虚拟图像可以并列显示在显示器上。附加地，由摄像机产生的该装置的图像以及根据CAD模型的绘制的虚拟图像可以按照以该图像重叠于绘制的虚拟图像上的重叠方式显示，使得该图像适当地位于CAD模型的绘制的虚拟图像上。
来自多个摄像机的一个或更多的附加图像按照可以按照以多个图像重叠于绘制的虚拟图像上的重叠方式显示，使得多个图像的每一个适当地位于CAD模型的绘制的虚拟图像上。
根据本发明的方面，还提供了执行上面所描述的方法以及这里所描述的其它方法的系统。根据本发明的一方面，一种用于检查装置的检查系统，包括：多个摄像机，多个摄像机中的每一个被安装于可控致动器，并且瞄准该装置。该系统还包括该装置的CAD模型，其存储在可由计算装置访问的存储器中。计算装置绘制被检查装置至少一个区段的虚拟图像。该系统包括至少一个显示器，其与多个摄像机连接，以便显示来自多个摄像机中一个或多个摄像机的图像。
该计算装置与每个可控致动器连接，并且与该至少一个显示器连接，以及，该计算装置包括用户接口，以便控制每个可控致动器。该计算装置还使得绘制的虚拟图像被显示在该至少一个显示器上。
附图说明
图1图示了根据本发明一个方面的用于检查装置的系统；
图2图示了由计算装置显示在显示器上的致动器的位置数据；以及
图3图示了根据本发明一个方面的计算装置显示在显示器上的窗口。
具体实施方式
图1图示了被检查装置以及根据本发明一个方面的检查系统。示出了正在被检查的装置10。装置10可以是大量装置中的任何一种，这些装置包括涡轮机、燃气轮机，等等。被检查装置在尺寸上以及在形状上都可能相当复杂。当使用摄像机进行检查时，相当容易失去定位缺陷所在的踪迹。这些缺陷可能包括损伤、裂缝、污点以及其它缺陷。
多个摄像机12、14在被检查装置10内移动，以便进行检查。摄像机12、14被安装于活动、可控的致动器16上。根据本发明的一个方面，致动器16包括第一臂18和第二臂20。
虽然示出了两个摄像机12、14，但也可使用单一摄像机。可选择地，还可以使用两个以上的摄像机。
第一臂18可以控制使其沿箭头22所示方向移动。因此，可以使摄像机12、14移过被检查装置10的中心，以便执行检查。
第二臂20可以在箭头24所示方向转动。还能使第二臂20于图面内外转动。因此，可控活动制动器16具有多个自由度。使致动器16沿方向22移动时，可以使第二臂20转动，以便查验被检查装置10的全部内部区段。
根据本发明的另一方面，将传输电路安装于致动器16，以便经由接口28将致动器16的位置及取向传送给计算装置26。传输电路也能将摄像机12和14的全部物理特征传输给计算装置26。以这种方式，计算装置26知道摄像机12和14正看着装置10的什么，以及计算装置26理解摄像机12和14的特征。
根据本发明一个方面用于检查装置的系统进一步示于图2中。示出了待检查的装置30。该装置通常是一种复杂装置，诸如燃气轮机。
该系统包括多个摄像机32和34。与之前一样，尽管示出了两个摄像机，但可以使用两个以上的摄像机。根据本发明的其它方面，也可以使用单一摄像机。所使用摄像机的类型是用于执行复杂装置检查的标准工业摄像机。
每个摄像机32和34被分别安装于致动器36和38。根据本发明的一个方面，致动器36和38是包括多个部分的单一结构的部分。可选择地，每个致动器36和38可以是单独的致动器结构。致动器36和38为多个摄像机32和34的每一个提供多个自由度。以这种方式，能使摄像机32、34瞄准被检查装置上的任何期望的部位。
致动器可以由计算装置40通过接口42进行控制。该计算装置可以是任何类型的计算装置，包括个人计算机、便携计算机、或者特别设计的计算机。由用户接口控制致动器36和38相对于被检查装置的位置及取向，该用户接口是计算装置40的部分。可以使用的用户接口包括鼠标、键盘、小键盘、触摸屏、以及控制杆。它们被作为计算装置的部分提供。
本系统包括一个或多个显示器44，其与多个摄像机32和34的每一个相连接。在本发明的一种实施例中，将每个摄像机32和34与显示器44连接。根据本发明的另一方面，一个摄像机可以单独与一个显示器连接。
在存储器48中存储了多个可能被检查装置的一个或多个CAD模型。存储器48可以是远程服务器的部分，由计算装置40以远程方式对该远程服务器进行访问。存储器48包括被检查装置30的CAD模型。
计算装置40根据被检查装置的CAD模型绘制被检查装置的虚拟图像。这种绘制可以使用公开可得到的软件诸如openGL进行。计算装置40能绘制整个被检查装置的完整虚拟图像，或者能绘制被检查装置一些部分的虚拟图像，以节省时间。
从计算装置40上的用户接口来控制摄像机32和34的位置及取向，以便获得被检查装置的图像。根据本发明的一个方面，同时显示来自被检查装置的图像以及绘制的虚拟图像。
图3图示了由计算装置40显示的窗口50。图像52和54是来自被检查装置的实况图像。如果有缺陷，诸如损伤、裂缝、脱色（decoloration）等等，这些缺陷将呈现在这里。然而，简单查验这些图像会留给检查者被检查装置中有关它们位置的不确定性。检查者也会不确定被检查装置的自然状态以及事实上是否有缺陷。
因此，相对于实况图像，本发明还显示绘制的虚拟图像，如图像56和58。因此，使实况图像52与绘制的虚拟图像58相关。此外，使实况图像54与绘制的虚拟图像56相关。
一般地，在给定虚拟摄像机位置和内部特征的情况下，根据CAD模型绘制虚拟图像。为了建立虚拟图像与实况图像之间的相互关系，虚拟摄像机必须具有与实况摄像机相同的位置和内部特性。内部校准过程评价实况摄像机的内部特性。在内部校准过程之后，根据致动器位置的读取，计算实况摄像机在任何时间关于CAD模型的位置。
一旦得到实况摄像机的位置和内部参数，由虚拟摄像机使用它们，以便使用计算机图形技术诸如OpenGL绘制根据CAD模型的虚拟图像56或58。虚拟图像和实况图像示出类似的结构，诸如实况图像54和虚拟图像56中上面中央处的孔。
因此，本发明的方面允许被检查装置的实况图像与绘制的虚拟图像一起显示。根据本发明的一个方面，将实况图像54与绘制的虚拟图像56相邻显示。这些图像可以并列显示。这让处于检查之下的装置中的缺陷更容易识别，因为检查者能观察处于其未使用状态下的该装置的模型，同时查验已经被使用的被检查装置的图像。
附加或者替换地，在窗口60中，可以将实况视频图像52重叠在绘制的虚拟图像62的较大版本上作为图像64。这是通过使位置互相关联做到的。
因为致动器将其位置报告给计算装置，计算装置知道这些摄像机的位置及取向。此外，可以将必要的摄像机的物理特征通过致动器接口传送给计算装置。可选择地，摄像机的物理特征可以被存储在存储器中，并且在需要时由计算装置访问。计算装置使用这种信息，以便在绘制的虚拟图像62上定位实况图像64和66。
如图3中所示，多个图像64和66可以重叠于处在检查之下装置的绘制的虚拟图像62上。
显示器60帮助检查者容易地识别图像的部位、以及位于实况图像52、54中的任何缺陷的部位。
可以按不同模式使用本发明的检查站。在第一模式中，将由被检查装置的实时检查产生的实况图像传送至计算装置。在这种情况下，该计算装置实时地执行上述步骤，并且可以用来控制致动器的位置，并因此控制摄像机的位置。
根据本发明的另一方面，使用摄像机和活动可控制动器可以产生装置的图像，并且将这些图像存储在存储器中。当来到分析时间时，将图像存储在由计算装置可访问的存储器中。
如之前那样，计算装置可以访问被检查装置的CAD模型。使用例如openGL，计算装置根据CAD模型绘制被检查装置的虚拟图像。然后，计算装置使得一个或更多的实况图像与绘制的虚拟图像同时显示。
如上面所描述的那样，实况图像和绘制的虚拟图像的显示或者并列、或者按重叠方式，或者以二者方式。在图3中示出了并列显示和重叠显示。
在检查之前，将被检查装置相对摄像机/致动器布置在已知位置。这允许计算装置使这些图像与该装置的CAD模型的适当区段相关联。这被称为校准。校准可以手动方式执行，并且将校准的细节报告给计算装置。
虽然示出、描述并且指出了本发明应用于其优选实施方式时的基本新颖特征，但是应当理解，在所示出的方法及系统的形式和细节中以及在其操作中都可以由本领域技术人员进行各种省略、置换以及改变，而不偏离本发明的精神。因此，本发明只由权利要求的范围所指示的那样被限定。
权利要求书(按照条约第19条的修改)
1.一种用于检查装置的方法，包括：
将所述装置相对于多个活动摄像机布置在已知位置，所述多个活动摄像机被安装在具有第一和第二臂的可控致动器上，所述可控致动器由计算装置控制；
将所述多个摄像机瞄准所述装置；
利用所述计算装置上的用户接口控制所述可控致动器，以便定位所述摄像机；
利用所述计算装置根据所述装置的CAD模型绘制虚拟图像；
将由所述摄像机产生的所述装置的图像显示在显示器上；以及
所述计算装置使得所述装置的绘制的虚拟图像显示在所述显示器上。
2.根据权利要求1所述的方法，其中，由所述摄像机产生的所述装置的图像和根据所述CAD模型的绘制的虚拟图像被并列显示在所述显示器上。
3.根据权利要求1所述的方法，其中，由所述摄像机产生的所述装置的图像以及根据所述CAD模型的绘制的虚拟图像，还按照以所述图像重叠所述绘制的虚拟图像的重叠方式显示，使得所述图像适当地位于所述CAD模型的绘制的虚拟图像上。
4.根据权利要求3所述的方法，其中，来自所述多个摄像机的一个或多个附加图像，按照以所述多个图像重叠于所述绘制的虚拟图像上的重叠方式显示，使得所述多个图像的每一个适当地位于所述CAD模型的绘制的虚拟图像上。
5.根据权利要求3所述的方法，其中，当显示所述图像和所述绘制的虚拟图像时，根据所述可控致动器的所述定位及取向，以及根据所述多个摄像机中至少一个的所述物理特征，所述计算装置处理所述图像和所述绘制的虚拟图像。
6.根据权利要求3所述的方法，其中，所述可控致动器能以多个自由度移动。
7.根据权利要求6所述的方法，其中，所述可控致动器将位置及取向报告给所述计算装置，以及，所述计算装置使用所述位置及取向以及有关所述多个摄像机的物理特征的信息来绘制所述虚拟图像。
8.一种用于检查装置的方法，包括：
计算装置，其检索所述装置的图像、产生所述图像的摄像机的多个物理特征、所述摄像机的位置及取向、以及所述装置相对于所述摄像机的校准，并且，所述计算装置控制所述摄像机的位置及取向；
所述计算装置检索所述装置的CAD模型；
所述计算装置根据所述装置的CAD模型绘制所述装置的虚拟图像；
所述计算装置促使所述装置的所述图像与所述装置的虚拟图像的对应区段同时显示。
9.根据权利要求8所述的方法，其中，将由所述摄像机产生的所述装置的图像与根据所述CAD模型的绘制的虚拟图像并列显示在所述显示器上。
10.根据权利要求8所述的方法，其中，将由所述摄像机产生的所述装置的图像以及根据所述CAD模型的绘制的虚拟图像，按照以所述图像重叠于所述绘制的虚拟图像上的重叠方式显示，使得所述图像适当地位于所述CAD模型的所述绘制的虚拟图像上。
11.根据权利要求10所述的方法，其中，将来自所述多个摄像机的一个或更多的附加图像，按照以所述多个图像重叠于所述绘制的虚拟图像上的重叠方式显示，使得所述多个图像的每一个适当地位于所述CAD模型的绘制的虚拟图像上。
12.根据权利要求10所述的方法，其中，当显示所述图像以及所述绘制的虚拟图像时，根据所述可控致动器的位置及取向，以及，根据所述多个摄像机中至少一个的物理特征，所述计算装置处理所述图像以及所述绘制的虚拟图像。
13.一种用于检查装置的检查系统，包括：
多个摄像机，所述多个摄像机中的每一个被安装在可控致动器上并且在计算装置的控制下瞄准所述装置；
所述装置的CAD模型，其存储在可由所述计算装置访问的存储器中，其中，所述计算装置绘制被检查的所述装置的至少一个区段的虚拟图像；
至少一个显示器，与所述多个摄像机连接，以便显示来自所述多个摄像机中的一个或多个的图像；
所述计算装置与每个可控致动器连接，并且与所述至少一个显示器连接，所述计算装置包括用户接口，以便控制每个可控致动器；
其中，将所述绘制的虚拟图像也显示在所述至少一个显示器上。
14.根据权利要求13所述的系统，其中，由所述摄像机产生的所述装置的图像与根据所述CAD模型的绘制的虚拟图像被并列显示在所述显示器上。
15.根据权利要求13所述的系统，其中，由所述摄像机产生的所述装置的图像以及根据所述CAD模型的绘制的虚拟图像，按照以所述图像重叠于所述绘制的虚拟图像上的重叠方式被显示，使得所述图像适当位于所述CAD模型的绘制的虚拟图像上。
16.根据权利要求15所述的系统，其中，来自所述多个摄像机中一个或更多的附加图像，按照以所述多个图像重叠于所述绘制的虚拟图像上的重叠方式被显示，使得所述多个图像的每一个适当地位于所述CAD模型的绘制的虚拟图像上。
17.根据权利要求13所述的系统，其中，所述可控致动器能以多个自由度移动。
18.根据权利要求17所述的系统，其中，所述可控致动器将位置及取向报告给所述计算装置，以及所述计算装置使用所述位置及取向以及有关所述多个摄像机的物理特征的信息来绘制所述虚拟图像。

Claims (18)

1.一种用于检查装置的方法，包括：
将所述装置相对于多个活动摄像机布置在已知位置，所述多个活动摄像机被安装在可控致动器上；
将所述多个摄像机瞄准所述装置；
利用用户接口控制所述可控致动器，以便定位所述摄像机；
利用计算装置根据所述装置的CAD模型绘制虚拟图像；
将由所述摄像机产生的所述装置的图像显示在显示器上；以及
所述计算装置使得所述装置的绘制的虚拟图像显示在所述显示器上。
2.根据权利要求1所述的方法，其中，由所述摄像机产生的所述装置的图像以及根据所述CAD模型的绘制的虚拟图像被并列显示在所述显示器上。
3.根据权利要求1所述的方法，其中，由所述摄像机产生的所述装置的图像以及根据所述CAD模型的绘制的虚拟图像，还按照以所述图像重叠于所述绘制的虚拟图像上的重叠方式显示，使得所述图像适当地位于所述CAD模型的绘制的虚拟图像上。
4.根据权利要求3所述的方法，其中，来自所述多个摄像机的一个或多个附加图像，按照以所述多个图像重叠于所述绘制的虚拟图像上的重叠方式显示，使得所述多个图像的每一个适当地位于所述CAD模型的绘制的虚拟图像上。
5.根据权利要求3所述的方法，其中，当显示所述图像和所述绘制的虚拟图像时，根据所述可控致动器的所述定位及取向，以及根据所述多个摄像机中至少一个的所述物理特征，所述计算装置处理所述图像和所述绘制的虚拟图像。
6.根据权利要求3所述的方法，其中，所述可控致动器能以多个自由度移动。
7.根据权利要求6所述的方法，其中，所述可控致动器将位置及取向报告给所述计算装置，以及所述计算装置使用所述位置及取向以及有关所述多个摄像机的物理特征的信息来绘制所述虚拟图像。
8.一种用于检查装置的方法，包括：
计算装置，其检索所述装置的图像、产生所述图像的摄像机的多个物理特征、所述摄像机的位置及取向、以及所述装置相对于所述摄像机的校准；
所述计算装置检索所述装置的CAD模型；
所述计算装置根据所述装置的CAD模型绘制所述装置的虚拟图像；
所述计算装置使得所述装置的所述图像与所述装置的虚拟图像的对应区段同时显示。
9.根据权利要求8所述的方法，其中，将由所述摄像机产生的所述装置的图像与根据所述CAD模型的绘制的虚拟图像并列显示在所述显示器上。
10.根据权利要求8所述的方法，其中，将由所述摄像机产生的所述装置的图像以及根据所述CAD模型的绘制的虚拟图像，按照以所述图像重叠于所述绘制的虚拟图像上的重叠方式显示，使得所述图像适当地位于所述CAD模型的绘制的虚拟图像上。
11.根据权利要求10所述的方法，其中，将来自所述多个摄像机的一个或更多的附加图像，按照以所述多个图像重叠于所述绘制的虚拟图像上的重叠方式显示，使得所述多个图像的每一个适当地位于所述CAD模型的绘制的虚拟图像上。
12.根据权利要求10所述的方法，其中，当显示所述图像以及所述绘制的虚拟图像时，根据所述可控致动器的位置及取向，以及根据所述多个摄像机中至少一个的物理特征，所述计算装置处理所述图像以及所述绘制的虚拟图像。
13.一种用于检查装置的检查系统，包括：
多个摄像机，所述多个摄像机中的每一个被安装在可控致动器上并且瞄准所述装置；
所述装置的CAD模型，其被存储在可由计算装置访问的存储器中，其中，所述计算装置绘制被检查的所述装置的至少一个区段的虚拟图像；
至少一个显示器，与所述多个摄像机连接，以便显示来自所述多个摄像机中的一个或多个的图像；
所述计算装置与每个可控致动器连接，并且与所述至少一个显示器连接，所述计算装置包括用户接口，以便控制每个可控致动器；
其中，将所述绘制的虚拟图像也显示在所述至少一个显示器上。
14.根据权利要求13所述的系统，其中，由所述摄像机产生的所述装置的图像与根据所述CAD模型的绘制的虚拟图像被并列显示在所述显示器上。
15.根据权利要求13所述的系统，其中，由所述摄像机产生的所述装置的图像以及根据所述CAD模型的绘制的虚拟图像，按照以所述图像重叠于所述绘制的虚拟图像上的重叠方式被显示，使得所述图像适当位于所述CAD模型的绘制的虚拟图像上。
16.根据权利要求15所述的系统，其中，来自所述多个摄像机的一个或更多的附加图像，按照以所述多个图像重叠于所述绘制的虚拟图像上的重叠方式被显示，使得所述多个图像的每一个适当地位于所述CAD模型的绘制的虚拟图像上。
17.根据权利要求13所述的系统，其中，所述可控致动器能以多个自由度移动。
18.根据权利要求17所述的系统，其中，所述可控致动器将位置及取向报告给所述计算装置，以及所述计算装置使用所述位置及取向以及有关所述多个摄像机的物理特征的信息来绘制所述虚拟图像。
CN201180045661.0A 2010-09-24 2011-09-23 用于装置的并列虚拟-真实图像检查的系统及方法 Expired - Fee Related CN103119425B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US38609210P 2010-09-24 2010-09-24
US61/386,092 2010-09-24
US13/240,632 US9494532B2 (en) 2010-09-24 2011-09-22 System and method for side-by-side inspection of a device
US13/240,632 2011-09-22
PCT/US2011/052877 WO2012040533A1 (en) 2010-09-24 2011-09-23 System and method for side by side virtual-real image inspection of a device

Publications (2)

Publication Number Publication Date
CN103119425A true CN103119425A (zh) 2013-05-22
CN103119425B CN103119425B (zh) 2015-11-25

Family

ID=44720198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180045661.0A Expired - Fee Related CN103119425B (zh) 2010-09-24 2011-09-23 用于装置的并列虚拟-真实图像检查的系统及方法

Country Status (7)

Country Link
US (1) US9494532B2 (zh)
EP (1) EP2619556A1 (zh)
JP (1) JP5738417B2 (zh)
KR (1) KR20130081703A (zh)
CN (1) CN103119425B (zh)
CA (1) CA2812714A1 (zh)
WO (1) WO2012040533A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990109A (zh) * 2017-03-23 2017-07-28 中国矿业大学 一种基于多摄像头判定的井下皮带异物检测系统及方法
CN113168736A (zh) * 2018-11-27 2021-07-23 赛峰起落架系统公司 用于辅助对要涂漆或处理的工件表面进行掩盖的方法
CN113302650A (zh) * 2019-01-14 2021-08-24 汉莎技术股份公司 用于检查难以触及的部件的方法和设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058520B2 (en) * 2011-09-22 2015-06-16 Siemens Corporation Systems and methods for hands free inspection
US10274718B2 (en) 2012-01-31 2019-04-30 Siemens Energy, Inc. Single-axis inspection scope with anti-rotation extension and method for internal inspection of power generation machinery
US8922640B2 (en) * 2012-01-31 2014-12-30 Siemens Energy, Inc. System and method for automated optical inspection of industrial gas turbines and other power generation machinery with articulated multi-axis inspection scope
US9709463B2 (en) 2012-01-31 2017-07-18 Siemens Energy, Inc. Method and system for surface profile inspection of off-line industrial gas turbines and other power generation machinery
US9948835B2 (en) 2012-01-31 2018-04-17 Siemens Energy, Inc. Single-axis inspection scope with spherical camera and method for internal inspection of power generation machinery
US9154743B2 (en) 2012-01-31 2015-10-06 Siemens Energy, Inc. System and method for optical inspection of off-line industrial gas turbines and other power generation machinery while in turning gear mode
US9116071B2 (en) 2012-01-31 2015-08-25 Siemens Energy, Inc. System and method for visual inspection and 3D white light scanning of off-line industrial gas turbines and other power generation machinery
US9778141B2 (en) 2012-01-31 2017-10-03 Siemens Energy, Inc. Video inspection system with deformable, self-supporting deployment tether
US10281712B2 (en) 2012-01-31 2019-05-07 Siemens Energy, Inc. Single-axis inspection scope with bendable knuckle and method for internal inspection of power generation machinery
US9057710B2 (en) 2012-01-31 2015-06-16 Siemens Energy, Inc. System and method for automated optical inspection of industrial gas turbines and other power generation machinery
US20130201339A1 (en) * 2012-02-08 2013-08-08 Honeywell International Inc. System and method of optimal video camera placement and configuration
CN103438923B (zh) * 2013-08-21 2016-04-27 广东电子工业研究院有限公司 一种人机结合的产品质量检测系统及其检测方法
DE102016203392B3 (de) * 2016-03-02 2017-06-22 Heidelberger Druckmaschinen Ag Bildinspektionsverfahren mit mehreren Kameras
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US10878556B2 (en) 2018-01-19 2020-12-29 United Technologies Corporation Interactive semi-automated borescope video analysis and damage assessment system and method of use
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11501502B2 (en) 2021-03-19 2022-11-15 International Business Machines Corporation Augmented reality guided inspection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148093A (ja) * 1992-10-31 1994-05-27 Inax Corp 衛生陶器の自動検査方法
JPH07225121A (ja) * 1994-02-09 1995-08-22 Toshiba Corp 外観検査装置
US20060140473A1 (en) * 2004-12-23 2006-06-29 Brooksby Glen W System and method for object measurement
JP2007527993A (ja) * 2004-02-18 2007-10-04 イスラ ヴィズィオーン ジュステーム アーゲー 検査路設定及び検査領域決定方法
JP2008020426A (ja) * 2006-07-11 2008-01-31 Teikoku Sekkei Jimusho:Kk 車載型遠隔点検装置
US20080247635A1 (en) * 2006-03-20 2008-10-09 Siemens Power Generation, Inc. Method of Coalescing Information About Inspected Objects

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307447A (en) 1982-10-29 1994-04-26 Kabushiki Kaisha Toshiba Control system of multi-joint arm robot apparatus
US4742227A (en) 1985-05-29 1988-05-03 Mitsubishi Denki Kabushiki Kaisha Mobile type inspection apparatus
JPS639850A (ja) 1986-07-01 1988-01-16 Mitsubishi Electric Corp ３次元物体の曲面状態管理装置
US4811091A (en) 1987-09-02 1989-03-07 Westinghouse Electric Corp. Multi-directional mobile inspection system
US5255096B1 (en) 1992-04-10 1997-12-23 William M Boyle Video time code synchronized robot control apparatus
CA2106146A1 (en) 1992-10-16 1994-04-17 Peter R. Doherty, Jr. Video-cad comparator system
JP3011401B2 (ja) * 1996-08-29 2000-02-21 日本電産リード株式会社 上側治具位置決め機構付きプリント基板検査装置および上側治具位置決め方法
US6487922B1 (en) 2000-09-25 2002-12-03 Siemens Westinghouse Power Corporation Steam turbine inlet sleeve inspection apparatus and method
US6580971B2 (en) 2001-11-13 2003-06-17 Thierica, Inc. Multipoint inspection system
US20050147290A1 (en) * 2003-12-30 2005-07-07 Ong Hock S. Quality inspection system for fasteners
JP4338551B2 (ja) * 2004-03-04 2009-10-07 富士フイルム株式会社 画像再生方法、画像再生装置及び画像再生プログラム
US7349083B2 (en) * 2004-07-21 2008-03-25 The Boeing Company Rotary borescopic optical dimensional mapping tool
US7075296B2 (en) 2004-11-09 2006-07-11 Siemens Power Generation, Inc. Inspection carriage for turbine blades
US7689003B2 (en) * 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
GB0619850D0 (en) 2006-10-06 2006-11-15 Vitec Group Plc The Camera control interface
JP2009162718A (ja) * 2008-01-10 2009-07-23 Olympus Corp 基板検査装置および検査領域設定方法
US8159243B2 (en) * 2008-11-13 2012-04-17 Dcg Systems, Inc. Probe tip to device pad alignment in obscured view probing applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148093A (ja) * 1992-10-31 1994-05-27 Inax Corp 衛生陶器の自動検査方法
JPH07225121A (ja) * 1994-02-09 1995-08-22 Toshiba Corp 外観検査装置
JP2007527993A (ja) * 2004-02-18 2007-10-04 イスラ ヴィズィオーン ジュステーム アーゲー 検査路設定及び検査領域決定方法
US20060140473A1 (en) * 2004-12-23 2006-06-29 Brooksby Glen W System and method for object measurement
US20080247635A1 (en) * 2006-03-20 2008-10-09 Siemens Power Generation, Inc. Method of Coalescing Information About Inspected Objects
JP2008020426A (ja) * 2006-07-11 2008-01-31 Teikoku Sekkei Jimusho:Kk 車載型遠隔点検装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990109A (zh) * 2017-03-23 2017-07-28 中国矿业大学 一种基于多摄像头判定的井下皮带异物检测系统及方法
CN113168736A (zh) * 2018-11-27 2021-07-23 赛峰起落架系统公司 用于辅助对要涂漆或处理的工件表面进行掩盖的方法
CN113302650A (zh) * 2019-01-14 2021-08-24 汉莎技术股份公司 用于检查难以触及的部件的方法和设备

Also Published As

Publication number Publication date
JP2013537979A (ja) 2013-10-07
US9494532B2 (en) 2016-11-15
JP5738417B2 (ja) 2015-06-24
US20120154594A1 (en) 2012-06-21
EP2619556A1 (en) 2013-07-31
KR20130081703A (ko) 2013-07-17
CN103119425B (zh) 2015-11-25
CA2812714A1 (en) 2012-03-29
WO2012040533A1 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
CN103119425B (zh) 用于装置的并列虚拟-真实图像检查的系统及方法
JP7426237B2 (ja) 拡張現実に関連する試験測定装置、システム及び方法
US9489124B2 (en) Systems and methods for virtual control of a non-destructive testing system
US20190033571A1 (en) Systems and methods for providing monitoring state-based selectable buttons to non-destructive testing devices
EP2939412B1 (en) Systems and methods for remote control of a non-destructive testing system
DE112014000509T5 (de) Selbstgesteuerter Prüfplan
CN108449943A (zh) 包括集成的对准程序计划和编辑特征的检查程序编辑环境
CN207036726U (zh) 一种pcb裸板缺陷检测系统
CN113302650B (zh) 用于检查难以触及的部件的方法和设备
JP6392922B1 (ja) 検査システムの検査対象外となる領域を算出する装置、および検査対象外となる領域を算出する方法
US20220005183A1 (en) Multi-camera visual inspection appliance and method of use
CN116257930A (zh) 用于交通工具的远程视觉检测的三维检测孪生体
JP2023548454A (ja) 適応型ボアスコープ検査
CN111988604A (zh) Flare自动检查系统
KR20130045584A (ko) 설계 충돌 검사 시스템 및 방법
CN114025148A (zh) 一种监测方法和监测系统
CN106817469B (zh) 一种模拟人工操作的终端软件测试方法及系统
KR102117008B1 (ko) Ｖｒ 파노라마 콘텐츠를 이용한 발전 설비 점검 시스템 및 방법
JP2019521334A (ja) 目視検査デバイスのアーティキュレーションのための方法およびシステム
JP2002007485A (ja) 原子力プラント構造物の設計支援システム
US20230221709A1 (en) System and method for manufacturing and maintenance
JP2023545980A (ja) 自動検査計画に基づく検出
US11836865B2 (en) Systems and methods for augmented reality visual inspections
JP7544909B1 (ja) 画像生成装置、画像生成プログラムおよびシステム
Ramler et al. What you see is what you test-augmenting software testing with computer vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20170923