CN109313333B - 用于接合视觉检视装置的方法和系统 - Google Patents

用于接合视觉检视装置的方法和系统 Download PDF

Info

Publication number
CN109313333B
CN109313333B CN201780037223.7A CN201780037223A CN109313333B CN 109313333 B CN109313333 B CN 109313333B CN 201780037223 A CN201780037223 A CN 201780037223A CN 109313333 B CN109313333 B CN 109313333B
Authority
CN
China
Prior art keywords
visual inspection
inspection device
predetermined
template
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780037223.7A
Other languages
English (en)
Other versions
CN109313333A (zh
Inventor
N.A.斯坦卡托
M.R.斯坦卡托
K.A.库姆斯
J.J.瓦克劳斯基
J.J.德尔莫尼科
B.D.莫尔
D.拉文
M.W.潘考
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN109313333A publication Critical patent/CN109313333A/zh
Application granted granted Critical
Publication of CN109313333B publication Critical patent/CN109313333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

提供了用于接合视觉检视装置的方法、系统和计算机可读介质。例如,方法能够包括由与视觉检视装置关联的控制系统接收检视模板。检视模板能够包括与视觉检视装置可查看的场景中至少一个感兴趣点关联的数据。方法能够进一步包括由控制系统基于数据来生成接合路径。方法能够也包括根据接合路径,致动视觉检视装置的机电系统。

Description

用于接合视觉检视装置的方法和系统
I.背景技术
视觉检视装置能够用于检视行业资产的磨损或损坏。检视典型地要求操作员利用静止图像和/或记录的视频和/或测量分析来记载资产条件。记载能够包括有关被损坏或要求维修的资产的系统或子系统的信息。静止图像和/或记录的视频和/或测量分析能够有助于决策者和技术人员调度修复或维护。例如,历史图像或视频或测量数据能够有助于监测随着时间的过去的设备状态。
常规视觉检视能够是耗时且易出错的。例如,常规检视任务典型地由非常熟练的技术人员进行。由视觉检视装置采用的接合路径能够随技术人员的不同而不同,在记录的检视数据中产生不一致性。具体而言,具体资产的自组织或周期性人工检视能够由于检视路径的变化而提供不一致的历史数据。因此,用于监测行业资产的当前视觉检视方法能够遭受缺乏检视协议的标准化和再现性之苦。
另外,用于行业资产的常规视觉检视方法能够是高成本的。这些成本的相当大部分能够在资产被脱机以执行调度的检视时出现。这些常规方法也典型地要求对操作员的密集培训,增加了资产监测的总体成本。
II.发明内容
本公开一般涉及行业资产监测。具体地说,本公开涉及用于行业资产的视觉检视方法和系统。行业资产能够是在行业设置中使用的设备。例如,行业资产能够是涡轮叶片、引擎、涡轮、燃烧室或要求检视和监测的任何其它件设备。
此外,尽管在视觉检视的上下文中描述了本文中重点介绍的一些实施例,但也设想了其它检视方法或多模式检视方法。例如,本文中重点介绍的教导能够扩展到组合的超声和视频管道镜检视系统。
一些实施例能够提供通过确保视觉检视装置的自动或半人工接合以及准确和可重复的检视协议,简化检视过程的系统、方法和设备。此外,一些实施例能够通过自动化接合来最小化资产停机时间,确保所有关键区域被检视而资产无需脱机。一些实施例可通过降低进行彻底检视所要求的技术操作员的数量,进一步最小化资产停机时间和成本。另外,资产停机时间(用于检视)的此类降低能够增强资产生产率。
例如,实施例能够允许检视员将其注意力集中到资产的内部特征上而不是操纵视觉检视装置的技巧上。此外,实施例能够允许技术操作员在视觉检视装置上创建、存储和分布指导的检视例程,使得技能不足的操作员能够准确地跟随和执行重复的检视。还有,除允许同时监测不同类型的资产外,实施例能够允许同时控制多个视觉检视装置以监测不止一个资产。还有,作为检视例程的部分,实施例能够允许将对其它辅助检视工具或装置的控制。例如,根据本文中描述的各种方面,在接合期间,作为检视例程的部分,视觉检视装置可触发转动工具来旋转涡轮的核心。
在某些情况下,一些实施例能够提供接合视觉检视装置的方法。方法能够包括生成检视模板,其具有与视觉检视装置可查看的场景中至少一个感兴趣点关联的数据。方法能够也包括随后加载检视模板到与视觉检视装置关联的控制系统的存储器中,并且由控制系统基于数据来生成接合路径。检视模板能够被定位在远程装置上或者在云环境中,并且模板能够因此由控制系统通过网络来访问。根据接合路径,能够致动视觉检视装置的机电致动器。
下面参照附图描述各种实施例的附加特征、操作模式、优点和其它方面。注意的是,本公开不被限于本文中描述的特定实施例。这些实施例是为了说明目的而被呈现。基于提供的教导,(一个或多个)相关领域的技术人员将容易明白附加的实施例、或公开实施例的修改。
III.附图说明
说明性实施例可在各种组件和组件的布置中成形。说明性实施例在附图中示出,遍及所述附图,类似的附图标记可指示在各种图形中的对应或类似部分。附图是为了图示实施例的目的,并且不解释为限制本公开。给定在附图的以下使能(enabling)描述,(一个或多个)相关领域普通技术人员应明白本公开的新颖方面。
图1图示了根据实施例的由视觉检视装置可查看的场景。
图2图示了根据实施例的由视觉检视装置可查看的场景。
图3图示了根据实施例的系统的框图。
图4图示了根据实施例的系统。
图5图示了根据实施例的方法。
图6图示了根据实施例的装置的框图。
IV.具体实施方式
虽然本文中为具体应用描述了说明性实施例,但应理解的是,本公开不限于此。访问本文中提供的教导的和本领域的技术人员将认识到在其范围内的附加应用、修改和实施例及本公开将有重大效用的附加领域。
诸如视频管道镜的视频检视装置能够用于检视诸如涡轮和引擎的机械的内部。检视装置能够包括被插入在检视下的机器中的长探针。为了帮助在机器内插入探针和帮助检视过程,典型地能够使用由技术人员操作的操纵杆来接合探针的末端。在一些实施例中,检视装置能够使用对在检视下的机器特定的检视模板。检视模板能够包括指令,其能够用于自动接合探针。在探针被插入在检视的机器时,检视装置能够基于在检视模板中的指令,自动接合探针到所期望位置,从而降低对技术人员进行此操作的需要。其它实施例在本公开的范围内。
图1图示了根据实施例的由视觉检视装置可查看的场景100。视觉检视装置能够是内窥镜、管道镜、视频示波器或云台变焦(PZT)照相机。例如,视觉检视装置能够是管道镜系统,类似于序号为9036892的、2015年5月19日发出并且通过引用将其整体并入本文中的美国专利的图3中所示出的系统。
通常,视觉检视装置能够是能提供静止图像和/或视频数据的任何系统。
视觉检视装置能够被耦合到转动工具系统,其包括在从视觉检视装置接收信号时重新定位和/或重新配置资产的机电致动器。重新定位视觉检视装置能够也包括致动视觉检视装置到x、y和z坐标的指定集合。重新配置视觉检视装置能够包括设置各种预确定的成像参数,诸如在所期望光级照亮和查看场景100的与视觉检视装置关联的光源的光强度。
配置视觉检视装置能够包括设置用于装置的指定的缩放。例如,对于PTZ照相机,定位和配置能够包括设置用于照相机的平移、倾斜和缩放和光照条件的指定集合。对于视频示波器,定位和配置可包括为视频示波器设置接合/导航坐标以及设置光强度和缩放度。
在一个实施例中,视觉检视装置能够获得与场景100有关的视频和/或静止图像。在图1中,在视觉检视装置或其控制系统的存储器中数字地表示这些数据。例如,能够将数据表示为多个帧102,每个帧是一个数字图像。此数字图像能够根据从视觉检视装置的图像传感器的多个像素104的每个像素读取值而被构建。
每个帧102能够对应于在视觉检视装置的特定位置获得的一个图像。对于视频数据,帧102能够根据时间轴116按时间顺序被编排索引。因此,通过根据时间轴116按时间播放帧,能够重构视频数据。
在一个实施例中,能够在与视觉检视装置的人机接口(HMI)关联的图形用户接口(GUI)上查看帧102的一个或多个。例如,在一些实施例中,HMI能够是与视觉检视装置关联的控制系统的触摸屏。GUI能够是在由控制系统的处理器执行的一个或多个软件应用以允许用户查看由视觉检视装置获得的视频和/或静止图像。
用户能够选择帧102之一,并且在选择的帧的图像中标记两个感兴趣点。例如,在图1中,用户能够选择点106和点110作为两个感兴趣点。在其它实施例中,能够选择在特定感兴趣点周围的像素104的群组。例如,点106的附近108能够被选择为感兴趣区域。类似地,点110的附近112能够被选择为另一感兴趣区域。也能够基于三维位置(即,基于在从已知参考点获得的其相应z坐标上的其相应x和y坐标),选择点106和110。
在选择这两个点时,控制系统能够自动生成模板。即,控制系统能够生成对接合视觉检视装置有用的设置和/或指令的集合。接合能够沿从点106延伸到点110或反之的路径114发生。除生成指令外,控制系统能够也为在其上选择了感兴趣点的帧将视觉检视装置的绝对定位和配置数据编排索引。以此方式,定位数据能够是与场景中的参考点相对的,而不是绝对的。
通常,操作员可需要定义在点A与B之间的接合路径。例如,在被监测的资产能够是具有弯曲前缘/后缘的涡轮叶片。因此,控制系统能够自动定义在点A与B之间,跟随在选择的图像上涡轮叶片的弯曲前缘/后缘的弯曲接合路径。此外,控制系统能够记录对时间的伺服(即,支持视觉检视装置的机电致动器)运动以定义弯曲接合路径。
因此,在模板由控制系统执行时,视觉检视装置能够被定位和配置为如它在获得与模板关联的帧时一样。视觉检视装置能够向操作员提供视觉辅助以允许操作员初始定位检视装置,和/或能够自动补偿与适当初始定位的偏离。视觉辅助的示例可以是供操作员匹配的半透明图像,或者是诸如能够叠加在选择的帧102上的方向箭头的视觉线索。因此,在被定位在参考点后,沿在两个感兴趣点之间的特定路径,能够将视觉检视装置从第一感兴趣点接合到第二感兴趣点。
在上述实施例中,在选择两个感兴趣点或区域时,控制系统能够将路径114自动定义为在两个点或区域之间的最短接合路径。相应地,路径114能够是在两个点或区域之间延伸的线性路径。备选的是,模板能够包括定义边界条件的其它路径,而不是最短路径;例如,旁路/避免某些路径特征。如在下面应当看到的,接合路径能够是非线性路径。
在具体应用中,路径114能够是与一件设备的具体子系统关联的区段。例如,点106能够是在涡轮叶片的第一区域中,并且点110能够是在涡轮叶片的第二区域中。以此方式,路径114能够是在涡轮叶片上那两个点之间的区段。
因此,在此示例中,实施例能够允许两个感兴趣点的选择,并且视觉检视装置能够跨路径114被接合以提供沿路径114的视频或静止图像。模板能够在随后的时间被重新加载,并且视觉检视装置能够跨相同路径114接合。
本文中描述的实施例提供了计算机化检视系统的若干改进。例如,图1中所描绘的实施例能够促进检视重复性,因为每次使用模板时能够跨相同路径精确地接合视觉检视装置。这些优点不但缩短了检视时间和降低了可变性,它们还降低了成本 - 消除了对非常熟练的操作员进行检视的需要。
图2图示了根据另一实施例的由视觉检视装置可查看的场景200。在图2中,用户能够从根据时间顺序时间轴204存储的多个帧202选择单个帧。在选择的帧中,用户能够在选择的帧的图像中选择多个感兴趣点以创建自定义路径。如前面所描述的,任何适合的HMI/GUI能够用于使用户能在选择的帧的图像中标记感兴趣点。相应地,能够选择感兴趣区域而不是感兴趣点(例如,附近206、208、210和212)。
作为示列,用户能够选择点214、216、218和220,有效地创建用于检视的路径222。因此,路径222能够被保存在包括用于沿路径222自动接合视觉检视装置的指令的模板中。路径222能够对设备是特定的,如在路径114的情况中一样。
在备选实施例中,相对于图1和2,能够自动实现感兴趣点或区域的选择,而不是由视觉检视装置的操作员进行选择。例如,计算机辅助设计(CAD)模型能够被馈送到视觉检视装置的控制系统。使用图像识别软件,控制系统能够识别和选择一个或多个感兴趣点(或区域)。
控制系统能够随后自动提供检视路径,沿该路径能够自动接合视觉检视装置。因此,在这些备选实施例中,视觉检视装置不要求用户感兴趣点选择来对检视路径进行编程。备选的是,未接触物理资产的操作员能够通过选择在指定路径中的一个或多个感兴趣点,从CAD模型对检视路径手动进行编程。
另外,相对于图1和2,一旦选择了感兴趣点或区域,便能够触发转动工具检视顺序。此触发能够使视觉检视装置能够被沿生成的路径自动操作。例如,在视觉检视装置是视频示波器时,转动工具开始/停止顺序能够触发自动接合的开始。通过检测图像何时停止移动,或者通过使用光流检测技术,能够停止接合。
在实施例中,用户能够跨一个或多个帧在感兴趣点之间切换,并且保存/记录/命名与选择的感兴趣点对应的接合路径。此过程能够创建接合程序(或模板)以供将来使用。
接合程序能够被集成到由视觉检视装置当前使用的菜单定向检视(MDI)应用中。此类集成能够提供对文件命名和存储系统的访问。因此,这些系统能够有助于创建设备特定和检视任务特定的接合程序的数据库。附加的特征能够被包括在接合程序中,诸如为在特定感兴趣点之间接合的速度提供指令的特征。
实施例提供了对运行MDI应用的当前硬件系统的若干优点和改进。例如,一旦接合程序被集成在MDI应用中,由MDI应用控制的装置便能够跟随标准化的接合路径,由此产生可再现的数据。换而言之,实施例提供用于确保每次执行检视时根据完全相同的路径致动视觉检视装置的部件,由此确保每次执行检视时提供相同的检视。在其它实施例中,能够适应跨延伸超出视觉检视装置的视场的大接合路径变动的感兴趣点。
在其它实施例中,相对于图1和2,能够在至少一个感兴趣点的附近执行检视。在这些实施例中,检视不沿路径发生。相反,检视在至少一个感兴趣点的附近发生。
在仍有的其它实施例中,视觉检视装置的控制系统可在接合例程期间自动加载静止图像以用于在某些感兴趣点的2D或3D测量分析的目的。例如,在自动化涡轮叶片检视期间,控制系统可被编程成在沿接合路径的某个点执行自动化叶尖到引擎罩盖间隙测量。在另一示例中,控制系统能够执行重叠图像的拼接以创建一个大图像,以便预编程复杂的接合路径。
图3图示了根据实施例的系统300。系统300能够包括通信地耦合到视觉检视装置302及其关联机电致动器304的控制系统308。视觉检视装置302、机电致动器304和控制系统308能够在单个装置中被并置。备选的是,控制系统308能够被远离视觉检视装置302和机电致动器304定位。视觉检视装置302能够具有由通过线路306对向的立体角定义的视场。
视觉检视装置302能够包括能获得位于其视场中的场景的静止图像或视频数据的图像传感器。例如,此类场景能够在控制系统308的存储器中被表示为多个帧310,如在图3中所描绘的。每个帧310能够在视觉检视装置302移动或保持固定时被获得。获得的帧能够在存储器中与视觉检视装置302的位置和配置数据以及与获得时间关联。
控制系统308能够包括允许用户选择特定帧以标记感兴趣点或区域并且定义特定接合路径的HMI。另外,控制系统308能够包括可编程以监测视觉检视装置302的接合的处理器。处理器能够在存储器中记录视觉检视装置302的位置、速度和配置数据。此记录能够在视觉检视装置302跨在预定义的模板中提供的特定接合路径接合时发生。
控制系统308能够也包括用于沿特定接合路径或在特定感兴趣点反转接合和数据获得的软件。即,控制系统308能够具有执行“撤消”操作的能力。例如,操作员能够返回到视觉检视装置302以前已被接合和/或它获得了数据的位置。
例如,接合能够沿特定接合路径发生。从控制系统308接收的、到机电致动器304的命令(触发接合)可存储在存储器中。命令能够也按它们被发出(或收到)的顺序被编排索引。从在控制系统308上执行的控制软件选择撤消命令时,响应该命令,视觉检视装置302能够反转接合在以前发生的顺序。因此,如果需要,操作员能够沿路径追溯接合步骤和重新检视。
在另一实施例中,在视觉检视装置302沿特定路径接合时,所有位置数据、配置数据和接合时间能够被保存在控制系统308的存储器中。操作员能够随后选择按时间撤消和退回。例如,操作员能够退回过去的5、10、15或30秒。在发出此类撤消命令时,视觉检视装置302能够自动返回到与由操作员选择的时间对应的位置和配置设置。
在仍有的另一实施例中,在接合停止时(即,在接合视觉检视装置302以从多个感兴趣点中的一个点移动到另一点时),能够在每个点捕获静止图像。此过程能够产生N个图像,每个与接合停止所在的特定感兴趣点对应。(N是大于零的自然数。)N个图像的每个能够与视觉检视装置302的对应配置和位置数据被存储。
例如,视频示波器的头端的x、y、z位置能够与每个保存的图像一起被保存。然而,在一些实施例中,无需知道头端的x、y、z位置。相反,负责致动头端的视频示波器的(一个或多个)机电致动器(即,伺服或伺服电动机)的配置值能够被保存。
在任一情况下,操作员能够随后召集指示访问过的最后N个位置(即,与N个图像的每一个关联的位置)的缩略图的集合。操作员能够返回到任何期望的图像,并且引导控制系统308将视觉检视装置302定位和配置为如它在捕捉那一个图像时一样。
在另一布置中,控制系统308能够被编程成从记录的视频数据返回到以前的位置和配置。例如,对于记录的视频,每个帧310能够与配置和位置数据一起被存储。在回放记录的检视部分时,操作员能够选择回放视频中要返回到并且在实况视频模式中重新检视的具体帧。
在上述实施例中,虽然描述了撤消操作,但也考虑了“重做”操作。即,实施例能够也提供在实现撤消操作后向前移动的能力。尽管接合被描述为使用预编程的接合模板来自动执行,但用于完全人工接合的撤消和重做操作也被考虑。在一些实施例中,能够例如使用与控制系统308关联的操纵杆装置来执行人工操作。
图4图示了根据实施例的系统400。系统400能够包括多个视觉检视装置,其中的视觉检视装置420和422被示出。每个视觉检视装置能够与机电致动器或转动工具系统(未示出)关联。每个视觉检视装置能够经由控制系统414、416和418之一被控制。在图4的示例中,仅示出三个控制系统。然而,在一些布置中,仅一个控制系统能够控制每个视觉检视装置。此外不同视觉检视装置的控制能够独立地、顺序地或同时被实现。
操作员404和406能够经由网络402并且通过服务器408与视觉检视装置420和422对接。任何操作员能够通过训练视觉检视装置420和视觉检视装置422的任何一个而生成检视模板。涉及一个或多个视觉检视装置的复杂检视任务能够在服务器408中被加载并且被调度以用于执行。使用计算装置410(或计算装置412),操作员能够远程生成模板和/或人工接合(例如经由操纵杆)任何一个视觉检视装置420和422。
实施例提供远程计划、分布和调度检视任务,而不牺牲在检视中的再现性和准确度的能力。特定接合模板能够被编程用于特定设备。例如,对涡轮特定的接合模板能够在服务器408中被编程,并且对燃烧室特定的接合模板能够在服务器408中被编程。
模板生成、执行、撤消和重做操作能够远程地发生,并且与多个视觉检视装置、控制系统、接合硬件和设备关联。此外,实施例能够扩展到任何类型的视觉检视装置,并且具体地说扩展到机电控制的视频示波器和PTZ照相机和照相机系统。
在已经陈述各种实施例后,现在在图5中描述方法500,其描述示范操作。方法500能够在开始框502开始,或者它能够在开始框520开始。
方法500在开始框502开始时,在资产的检视期间预记录的图像被加载到控制系统的存储器中,控制系统耦合到与资产关联的视觉检视装置(框504)。备选的是,在初始化时(即在方法500在开始框502开始时),图像能够被远程传递到控制系统,或者控制系统能够从远程服务器或外设装置获取图像。
图像能够是数字图像,并且它们能够以技术领域熟知的一个或多个图像文件格式被保存在控制系统的存储器中或者在远程服务器或外设装置上。例如(并且不限于),一个或多个图像能够采用具有从包括.jpg、.bmp、.tiff、.png或诸如此类格式中选择的扩展名的文件格式。另外,在备选实施例中,控制系统能够利用预保存的CAD模型而不是图像,模型能够采用技术领域熟知的一个或多个文件格式。同样地,例如(并且不限于),这些格式能够是.dwg或.dxf格式或诸如此类。在仍有的其它实施例中,控制系统能够利用预记录的视频文件,其能够采用技术领域熟知的任何视频文件格式(例如,.mpg、.avi、.dvi或诸如此类)。
在一个实施例中,操作员能够选择感兴趣的一个或多个帧(框506)。例如,感兴趣的帧能够是在框504加载的多个图像中的静止图像。当在框504加载预记录的视频时,感兴趣的帧能够也被选择为特定视频帧。另外,在CAD模型被加载的情况下,操作员能够将CAD模型的特定区域或者CAD模型的一个或多个作为整体选择为感兴趣帧。
如上所述感兴趣帧的选择能够经由控制系统的HMI/GUI系统被执行。例如,操作员能够在屏幕上查看采用缩略图形式的多个图像,并且随后从多个图像中选择一个或多个图像以用于进一步处理。类似地,经由控制系统的HMI在控制系统的GUI上能够加载、查看、预览并随后选择CAD模型和预记录的视频。HMI能够是鼠标、触摸屏、语音激活的命令接口或任何其它HMI部件。
一旦感兴趣的帧被选择,用户便能够定义在选择的帧的每一个中的特定点或区域(框508)。通过在加载的图像中期望点或区域上点击(在框504),能够执行点或区域的选择和定义(如在图1和2中所示出的),或者用户能够简单地输入与帧关联的已知坐标。在备选实施例中,能够向控制系统提供坐标列表,并且能够在无中间用户的情况下由控制系统自动定义点或区域。例如,坐标能够与特定帧和感兴趣的点或区域关联,并且一旦图像被选择,它们便能够由控制系统在图像上标记。
一旦点和区域被定义,控制系统便可自动定义用于视觉检视装置的接合路径(框510)。例如,对于感兴趣的给定帧,控制系统可通过执行在两个或不止两个点之间的拟合操作,定义与两个或不止两个感兴趣点关联的路径。控制系统可执行拟合操作,其包括在感兴趣点之间的最小二乘拟合或多项式拟合或诸如此类。备选的是,例如通过跟踪在选择的图像之一上感兴趣点之间的线路,用户能够绘出或定义经由HMI的路径。
遵循其定义的接合路径能够被存储在模板中(框512)。通常,接合路径能够被预留在存储器中(本地地在控制系统上,或者远程地在通信地耦合到控制系统的服务器或数据库处)。模板能够是文件,并且它能够根据已知文件系统和数据存储实践被存储。模板能够包括与接合路径关联的信息,诸如给出在视觉检视装置将沿定义的路径接合时它的定位的坐标的集合。备选的是或另外,在模板中能够包括在视觉检视装置沿接合路径致动(框514)时与其的伺服电动机对应的伺服设置的集合。
模板能够进一步包括配置数据(例如,视觉检视装置的缩放设置)。检视模板能够也包括对在监测的资产特定的注释和数据,诸如CAD模型、序列号、历史检视数据及诸如此类。模板能够对在被监测的资产是特定的。对资产的特定性能够被包括在文件名中,或者通过在文件中包括与资产关联的标识符而被包括。
控制系统能够发出命令以致动视觉检视装置的机电致动器来根据定义的接合路径来定位和配置视觉检视装置(框514)。这能够通过将坐标或伺服设置转换或者关联到配置成促使视觉检视装置被致动的致动指令来完成。此外,在撤消命令由控制系统收到时(决定框516),控制系统能够沿以前采用的接合路径反转视觉检视装置的接合,并且方法500能够反转到框514。如果未收到撤消命令,则方法500能够在框518结束。
方法500在开始框520开始时,预编程的模板已经存在,并且它能够被加载到控制系统的存储器中以便促使接合根据在加载的模板中定义的路径发生(框522)。在一些实施例中,加载检视模板能够包括在控制系统上被执行的MDI应用中加载模板中的数据。接合随后能够如上所描述的在框514继续,并且方法500能够在框518结束。
本领域技术人员将认识到方法500能够是计算机化方法,在不脱离本公开通篇描述的教导的范围的情况下,其能够部分或整体被执行。此外,方法500能够为多个资产顺序地或平行(部分或整体)被执行,由此允许对多个资产的精确和标准化监测。
图6图示了根据实施例的控制器600(或系统)。控制器600能够包括具有特定结构的处理器602。特定结构能够通过在存储器604中存储的指令和/或通过由处理器602从存储介质618可获取的指令620,被给予处理器602。存储介质618可如所示出的与控制器600是并置的,或者它能够是远程的并且通信地耦合到控制器600。此类通信能够被加密。
控制器600能够是独立的可编程系统,或者在更大系统中包括的可编程模块。例如,控制器600能够被包括在前面描述的控制系统308中。
控制器600可包括配置成获取、解码、执行、存储、分析、分布、评估和/或分类信息的一个或多个硬件和/或软件组件。此外,控制器600包括配置成与多个视觉检视装置及其关联机电致动系统对接的输入/输出(I/O)模块614。
处理器602可包括一个或多个处理装置或核(未示出)。在一些实施例中,处理器602可以是多个处理器,各自具有一个或多个核。处理器602能够执行从存储器604(即从存储器模块612、610、608或606之一)获取的指令。备选的是,能够从存储介质618,或者从经由通信接口616连接到控制器600的远程装置(例如,参见图4)获取指令。
在不失一般性的情况下,存储介质618和/或存储器604能够包括易失性或非易失性、磁性、半导体、磁带、光学、可移除、非可移除、只读、随机存取或任何类型的非暂态计算机可读计算机介质。存储介质618和/或存储器604可包括由处理器602可使用的程序和/或其它信息。此外,存储介质618能够配置成为在控制器600的操作期间处理、记录或收集的数据做日志。数据可被加时戳、加位置戳、分类、编排索引、加密和/或以与数据存储实践一致的多种方式组织。
作为示例,存储器模块606能够是视觉检视装置控制模块,并且它能够包括在由处理器602执行时促使处理器602执行某些操作以控制视觉检视装置的指令。操作能够包括生成检视模板,并且随后将检视模板加载到存储器604中。操作能够进一步包括基于数据,生成接合路径,并且根据接合路径,致动视觉检视装置的机电系统。通常,操作能够包括前面在图1-5的上下文中描述的任何任务、操作和/或步骤。
(一个或多个)相关领域技术人员也将领会,在不脱离本公开的范围和精神的情况下能够配置上述实施例的各种适应和修改。例如,尽管实施例在检视行业资产的上下文中被描述,但本文中重点介绍的教导能够适于和扩展到具有视觉检视装置的飞行器。具体而言,本文中重点介绍的实施例能够用于基于由飞行器的视觉检视装置获得的视频或静止图像,提供可重复和可再现的飞行路径。通常,本公开的教导适用于包括视觉系统的无人机或嵌入式系统。
因此,要理解的是,在随附权利要求的范围内,本文中重点介绍的教导可以如本文中所具体描述以外的方式被实践。

Claims (15)

1.一种接合检视装置的方法,所述方法包括:
由控制系统接收由视觉检视装置捕获的与包括在检视下的资产的场景有关的图像,以及表示所述视觉检视装置捕获图像的条件的配置和位置数据,所述条件包括所述视觉检视装置相对于所述资产的预定位置,与所述视觉检视装置相关联的光源的预定光强度、以及所述视觉检视装置的预定缩放度;
由所述控制系统,接收对所述图像内至少两个感兴趣点的选择;
由所述控制系统产生指令集,所述指令集包含命令,可操作以致动所述视觉检视装置的致动器,以在接合期间沿着从图像中的至少两个选定点中的一个延伸到另一个的接合路径来定位所述视觉检视装置;
由所述控制系统自动生成包括所述指令集的检视模板、所述预定光强度和所述预定缩放度;以及
由所述控制系统执行所述检视模板,执行所述检视模板使得:
所述致动器将所述视觉检视装置定位在所述预定位置;
所述视觉检视装置采用所述预定缩放度;
所述光源以预定的光强度发光,以及
在被定位在所述预定位置处之后,所述致动器沿着所述接合路径在第一方向上移动所述视觉检视装置,所述视觉检视装置具有所述预定缩放度和所述预定光强度。
2.如权利要求1所述的方法,进一步包括在按照所述接合路径致动和定位所述视觉检视装置之后,获得静止图像和视频之一。
3.如权利要求1所述的方法,进一步包括在菜单定向检视(MDI)应用中合并所述检视模板。
4.如权利要求1所述的方法,其中所述资产是涡轮,以及执行检视模板进一步使转动工具旋转所述涡轮的核心与所述视觉检视装置的致动同时进行。
5.如权利要求1所述的方法,其中所述检视模板进一步包括与在致动所述视觉检视装置之前操纵所述视觉检视装置到参考点关联的指令。
6.如权利要求5所述的方法,其中所述视觉检视装置是云台变焦照相机和视频示波器之一。
7.如权利要求1所述的方法,进一步包括由所述控制系统接收撤消命令,并且进一步包括在与所述第一方向相反的第二方向上沿着所述接合路径接合所述视觉检视装置。
8.一种用于接合视觉检视装置的系统,包括:
处理器;
包括指令的非易失性存储器,所述指令在由所述处理器执行时,促使所述处理器执行操作,所述操作包括:
接收由所述视觉检视装置捕获的与包括在检视下的资产的场景,以及;
接收表示所述视觉检视装置捕获图像的条件的配置和位置数据,所述条件包括所述视觉检视装置相对于所述资产的预定位置,与所述视觉检视装置相关联的光源的预定光强度以及所述视觉检视装置的预定缩放度;
接收对所述图像内至少两个感兴趣点的选择;
产生指令,所述指令包含命令,可操作以致动所述视觉检视装置的致动器,以在接合期间沿着从所述图像中的至少两个选定点中的一个延伸到另一个的接合路径来定位所述视觉检视装置;
生成包括所述指令集的检视模板、所述预定光强度和所述预定缩放度;以及
执行所述检视模板,所述执行的检视模板使得:
所述致动器将所述视觉检视装置定位在所述预定位置;
所述视觉检视装置采用所述预定缩放度;
所述光源以预定的光强度发光,以及
在被定位在所述预定位置之后,所述致动器致动所述视觉检视装置以沿着所述接合路径在第一方向上移动,所述视觉检视装置具有所述预定缩放度和所述预定光强度。
9.如权利要求8所述的系统,其中所述操作进一步包括在所述致动之后,获得静止图像和视频之一。
10.如权利要求8所述的系统,其中所述视觉检视装置是云台变焦照相机和视频示波器之一。
11.如权利要求8所述的系统,其中所述检视模板进一步包括与手动操纵所述视觉检视装置到所述预定位置关联的指令。
12.一种包括指令的非暂态计算机可读存储介质,所述指令在由处理器执行时,促使所述处理器执行操作,所述操作包括:
接收由视觉检视装置捕获的与包括在检视下的资产的场景有关的图像,以及
接收表示所述视觉检视装置捕获图像的条件的配置和位置数据,所述条件包括所述视觉检视装置相对于所述资产的预定位置,与所述视觉检视装置相关联的光源的预定光强度以及所述视觉检视装置的预定缩放度;
接收对所述图像内至少两个感兴趣点的选择;
产生指令,所述指令包含命令,可操作以致动所述视觉检视装置的致动器,以在接合期间沿着从图像中的至少两个选定点中的一个延伸到另一个的接合路径来定位所述视觉检视装置;
生成包括所述指令集的检视模板、所述预定光强度和所述预定缩放度;以及
执行所述检视模板,所述执行的检视模板使得:
所述致动器将所述视觉检视装置定位在所述预定位置;
所述视觉检视装置采用所述预定缩放度;
所述光源以预定的光强度发光,以及
在被定位在所述预定位置之后,所述致动器致动所述视觉检视装置以沿着所述接合路径在第一方向上移动,所述视觉检视装置具有所述预定缩放度和预定光强度。
13.如权利要求12所述的非暂态计算机可读存储介质,其中所述操作进一步包括在所述致动之后,获得静止图像和视频之一。
14.如权利要求12所述的非暂态计算机可读存储介质,其中所述操作进一步包括在菜单定向检视(MDI)应用中合并所述检视模板。
15.如权利要求12所述的非暂态计算机可读存储介质,其中所述检视模板进一步包括与操纵所述视觉检视装置到所述预定位置关联的指令。
CN201780037223.7A 2016-06-14 2017-06-14 用于接合视觉检视装置的方法和系统 Active CN109313333B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/182,207 US10262404B2 (en) 2016-06-14 2016-06-14 Method and system for articulation of a visual inspection device
US15/182207 2016-06-14
PCT/US2017/037573 WO2017218718A1 (en) 2016-06-14 2017-06-14 Method and system for articulation of a visual inspection device

Publications (2)

Publication Number Publication Date
CN109313333A CN109313333A (zh) 2019-02-05
CN109313333B true CN109313333B (zh) 2022-02-18

Family

ID=59337850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780037223.7A Active CN109313333B (zh) 2016-06-14 2017-06-14 用于接合视觉检视装置的方法和系统

Country Status (5)

Country Link
US (2) US10262404B2 (zh)
JP (1) JP6997726B2 (zh)
CN (1) CN109313333B (zh)
DE (1) DE112017002965T5 (zh)
WO (1) WO2017218718A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984747A (zh) * 2019-05-21 2020-11-24 丰图科技(深圳)有限公司 一种地理信息数据的采集方法、装置及设备
SG10202100437WA (en) 2020-01-15 2021-08-30 Gen Electric System and method for assessing the health of an asset
EP4165417A1 (en) * 2020-06-11 2023-04-19 Interaptix Inc. System and method for manufacturing and maintenance

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003083460A1 (en) * 2002-03-25 2003-10-09 Geo-Centers, Inc. Automated inspection and processing system
US9036892B2 (en) * 2012-12-31 2015-05-19 General Electric Company Systems and methods for data entry in a non-destructive testing system
CN104937615A (zh) * 2013-01-22 2015-09-23 通用电气公司 自定向检查计划
CN105072972A (zh) * 2013-03-28 2015-11-18 奥林巴斯株式会社 内窥镜系统和内窥镜系统的工作方法
CN105408069A (zh) * 2013-07-23 2016-03-16 通用电气公司 管道镜操纵调整系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000056235A (ja) 1998-08-12 2000-02-25 Olympus Optical Co Ltd 検査顕微鏡システム
JP2002022089A (ja) * 2000-07-10 2002-01-23 Toshiba Corp 管内面の検査補修装置
US20050129108A1 (en) * 2003-01-29 2005-06-16 Everest Vit, Inc. Remote video inspection system
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US9794533B2 (en) * 2006-01-31 2017-10-17 Andrew Flessas Robotically controlled entertainment elements
FR2940449A1 (fr) * 2008-12-24 2010-06-25 Snecma Procede de controle non destructif d'une piece mecanique
CN102055901B (zh) 2009-11-05 2014-01-22 鸿富锦精密工业(深圳)有限公司 Ptz摄影机及其ptz控制方法
US8531525B2 (en) 2009-12-22 2013-09-10 Utc Fire & Security Americas Corporation, Inc. Surveillance system and method for operating same
JP5499802B2 (ja) 2010-03-18 2014-05-21 株式会社デンソーウェーブ 視覚検査システム
US20120330101A1 (en) * 2011-05-24 2012-12-27 Oprobe, Llc Scanning Endoscopic Imaging Probes and Related Methods
US20130119040A1 (en) * 2011-11-11 2013-05-16 Lincoln Global, Inc. System and method for adaptive fill welding using image capture
KR20140091343A (ko) 2013-01-11 2014-07-21 삼성테크윈 주식회사 영상 감시 시스템 및 그의 동작 방법
US20140207403A1 (en) 2013-01-22 2014-07-24 General Electric Company Inspection instrument auto-configuration
JP5676058B1 (ja) * 2013-03-06 2015-02-25 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
US8759770B1 (en) * 2013-04-08 2014-06-24 General Electric Company System and method for qualifying usability risk associated with subsurface defects in a multilayer coating
US9187188B2 (en) * 2013-07-02 2015-11-17 Premium Aerotec Gmbh Assembly inspection system and method
CN105637402A (zh) * 2013-10-17 2016-06-01 奥林巴斯株式会社 内窥镜装置
KR20160037023A (ko) * 2014-09-26 2016-04-05 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
US11318620B2 (en) * 2018-05-09 2022-05-03 Intelligrated Headquarters, Llc Method and system for manipulating items

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003083460A1 (en) * 2002-03-25 2003-10-09 Geo-Centers, Inc. Automated inspection and processing system
US9036892B2 (en) * 2012-12-31 2015-05-19 General Electric Company Systems and methods for data entry in a non-destructive testing system
CN104937615A (zh) * 2013-01-22 2015-09-23 通用电气公司 自定向检查计划
CN105072972A (zh) * 2013-03-28 2015-11-18 奥林巴斯株式会社 内窥镜系统和内窥镜系统的工作方法
CN105408069A (zh) * 2013-07-23 2016-03-16 通用电气公司 管道镜操纵调整系统和方法

Also Published As

Publication number Publication date
JP6997726B2 (ja) 2022-01-18
DE112017002965T5 (de) 2019-05-02
US11403748B2 (en) 2022-08-02
US10262404B2 (en) 2019-04-16
US20170358072A1 (en) 2017-12-14
JP2019521334A (ja) 2019-07-25
WO2017218718A1 (en) 2017-12-21
CN109313333A (zh) 2019-02-05
US20190266718A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6071452B2 (ja) マシンビジョンシステムのパートプログラム編集環境内で編集初期化ブロックを利用するシステム及び方法
US9013574B2 (en) Machine vision system program editing environment including synchronized user interface features
EP3309504B1 (en) System and method for measurement based quality inspection
US11403748B2 (en) Method and system for articulation of a visual inspection device
US8902307B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
EP3514525B1 (en) Interactive semi-automated borescope video analysis and damage assessment system and method of use
CN104802186A (zh) 制作用于拍摄工件的机器人程序的机器人程序设计装置
US20200167886A1 (en) Image processing device, method of controlling the same, and recording medium
US20230017592A1 (en) Adaptive borescope inspection
JP6579682B2 (ja) 画像測定装置
JP6962858B2 (ja) 画像管理装置
US9167215B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
CA3124782C (en) Borescope inspection method and device
JP2017182441A (ja) 業務実態処理装置、方法、及びプログラム
CN105204840B (zh) 用于部件程序的机器视觉系统的编辑环境
JP2021100796A (ja) 射出成形システム
US20230288691A1 (en) Microscope system, superimposing unit, and operation method
JP7476814B2 (ja) 検査装置
EP4165417A1 (en) System and method for manufacturing and maintenance
CN117359179A (zh) 一种工业焊接装置、工业焊接数据采集的方法及系统
CN117549301A (zh) 视觉引导方法、装置、可读存储介质和视觉引导平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant