CN109558949B - 用于原位识别具有重复区段的旋转体中的共同位置的机器学习系统 - Google Patents

用于原位识别具有重复区段的旋转体中的共同位置的机器学习系统 Download PDF

Info

Publication number
CN109558949B
CN109558949B CN201811105802.3A CN201811105802A CN109558949B CN 109558949 B CN109558949 B CN 109558949B CN 201811105802 A CN201811105802 A CN 201811105802A CN 109558949 B CN109558949 B CN 109558949B
Authority
CN
China
Prior art keywords
damaged
rotating body
repeating
section
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811105802.3A
Other languages
English (en)
Other versions
CN109558949A (zh
Inventor
S·N·林
D·S·迪温斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN109558949A publication Critical patent/CN109558949A/zh
Application granted granted Critical
Publication of CN109558949B publication Critical patent/CN109558949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01D—NON-POSITIVE DISPLACEMENT MACHINES OR ENGINES, e.g. STEAM TURBINES
    • F01D21/00—Shutting-down of machines or engines, e.g. in emergency; Regulating, controlling, or safety means not otherwise provided for
    • F01D21/003—Arrangements for testing or measuring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01D—NON-POSITIVE DISPLACEMENT MACHINES OR ENGINES, e.g. STEAM TURBINES
    • F01D5/00—Blades; Blade-carrying members; Heating, heat-insulating, cooling or antivibration means on the blades or the members
    • F01D5/005—Repairing methods or devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2220/00—Application
    • F05D2220/30—Application in turbines
    • F05D2220/32—Application in turbines in gas turbines
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2230/00—Manufacture
    • F05D2230/80—Repairing, retrofitting or upgrading methods
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2260/00—Function
    • F05D2260/80—Diagnostics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Turbine Rotor Nozzle Sealing (AREA)

Abstract

本发明提供了一种系统，其包括一个或多个处理器，所述一个或多个处理器被配置成自动地识别旋转体的重复区段中的不同的受损部分。一个或多个受损部分的大小和/或形状的至少一个相对于时间变化。所述一个或多个处理器还被配置成基于识别不同的受损部分，在所述旋转体的旋转期间，确定所述旋转体的重复区段中的不同的受损部分的模式。所述一个或多个处理器还被配置成使用被确定的受损部分的模式，随后自动地识别所述旋转体中重复区段的单独区段的位置。

Description

用于原位识别具有重复区段的旋转体中的共同位置的机器学 习系统
技术领域
本发明的主题涉及机器学习图像分析系统。
背景技术
可以使用机器学习自动地识别图像中描绘的对象。为了各种目的，机器学习系统可以使用神经网络来分析图像，例如自动地识别机器的受损(distress)(例如损坏)。例如，通过将管道镜插入到涡轮机中并获得涡轮叶片的图像，涡轮机的涡轮叶片或涡轮叶片上的涂层中的裂缝、剥落、点蚀等可以被自动地识别。
但是，区分涡轮叶片可能是困难的。因为涡轮叶片外表相似，难以跟踪特定涡轮叶片随时间推移的损坏变化。由于涡轮机的旋转对称性，管道镜和机器学习系统的操作者可能不知道哪个涡轮叶片正被成像。尽管可以拆开涡轮机来区分涡轮叶片，但拆卸是一件耗时和费用高的劳动。
发明内容
在一个实施例中，一种方法，其包括自动地识别(使用机器学习系统)旋转体的重复区段中的不同的受损部分。一个或多个受损部分的大小和/或形状的至少一个相对于时间变化。所述方法还包括基于识别不同的受损部分，在所述旋转体的旋转期间，确定所述旋转体的重复区段中的不同的受损部分的模式(a pattern of the different distressedportions)；以及随后使用被确定的受损部分的模式，自动地识别(使用相同的机器学习系统或另一机器学习系统)所述旋转体中重复区段的单独区段的位置。
在一个实施例中，一种系统，其包括：一个或多个处理器，所述一个或多个处理器被配置成自动地识别旋转体的重复区段中的不同的受损部分。一个或多个受损部分的大小和/或形状的至少一个相对于时间变化。所述一个或多个处理器还被配置成基于识别不同的受损部分，在所述旋转体的旋转期间，确定所述旋转体的重复区段中的不同的受损部分的模式。所述一个或多个处理器还被配置成使用被确定的受损部分的模式，随后自动地识别所述旋转体中重复区段的单独区段的位置。
在一个实施例中，一种方法，其包括：自动地识别(使用机器学习系统)涡轮发动机的多个不同的损坏叶片。一个或多个损坏叶片的损坏的大小或形状的至少一个相对于时间变化。所述方法还包括基于识别不同的损坏叶片，确定在所述涡轮发动机的旋转期间所述涡轮发动机的不同的损坏叶片的序列模式；以及随后在所述一个或多个损坏叶片的损坏的大小、形状或者大小和形状两者变化之后，使用相同的机器学习系统或者另一机器学习系统自动地识别所述涡轮发动机的损坏的叶片。
附图说明
参考附图，通过阅读对非限制性实施例的以下描述，将更好地理解本发明的主题，下文中，在附图中：
图1示出了机器学习系统的一个实施例；
图2示出了图1中所示的旋转机的一个实例；
图3示出了在稍后时间图2中所示的旋转机；以及
图4示出了原位识别具有可重复区段的旋转体中的共同位置的方法的一个实施例的流程图。
具体实施方式
本发明中描述的本发明主题的一个实施例提供用于原位识别(in-siturecognition)具有重复区段的旋转体中的共同位置的机器学习图像分析系统和方法。所述系统和方法检查旋转体的重复区段的图像或视频(例如视频帧)，所述旋转体例如涡轮机的涡轮叶片。两个或更多个区段可以具有标记，例如涡轮叶片或涡轮叶片上的涂层的损坏或其它破坏。所述系统和方法可以自主地识别旋转体、可旋转体(例如涡轮机)的不同区段(例如涡轮叶片)上的受损部分。所述系统和方法可以确定区段和受损部分的模式。例如，所述系统和方法可以确定在一个涡轮叶片上识别第一裂缝，之后十六个涡轮叶片中没有可识别的受损，之后两个顺序涡轮叶片(沿机器的顺时针或逆时针方向)在不同位置具有剥落，之后两个涡轮叶片没有可识别的受损，之后一个涡轮叶片在涡轮叶片涂层上具有点蚀(pits)。
此叶片序列可以是与旋转体关联的模式(例如一个涡轮叶片有裂缝损坏，十六个非受损叶片，两个带剥落的叶片，两个没有受损的叶片和带腐蚀点的一个叶片的模式)。旋转体接着可以在一个或多个操作周期中使用，其中，一个或多个重复区段的受损可能变坏或者开始。在由系统和方法对旋转体的后续检查中，可以检查重复区段的图像以识别出现在模式中的相同的涡轮叶片。例如，识别的受损涡轮叶片和非受损涡轮叶片的序列可以与所述模式比较，以确定在此后续检查中哪些叶片与在之前的检查中被检查的叶片相同(例如在确定模式时)。相同叶片受损的大小、形状和/或程度的变化并不阻止系统和方法区分不同的叶片，原因是以前识别的叶片的受损模式保持相同。所述系统和方法接着可以将以前识别的受损与当前识别的相同涡轮叶片上的受损进行比较，以监测叶片受损的发展。本发明中公开的主题的至少一个技术效果是更准确地识别和跟踪机器的部件的受损(例如损坏)的发展，使得损坏部件在对机器造成重大损坏之前可以被维修、修理或更换。
尽管本发明中的描述集中在检查涡轮机的涡轮叶片，但本发明主题的所有实施例并不都局限于涡轮叶片或涡轮机。可以使用本发明中描述的系统和方法检查为旋转对称的任何旋转体，以允许旋转体的相同的重复区段随时间被跟踪，而不必唯一地标记或另外识别旋转体中的各个重复区段。
图1图示了机器学习系统100的一个实施例。系统100包括控制器102，控制器102从光学传感器104例如相机接收图像。控制器102代表硬件电路，该硬件电路包括一个或多个处理器(例如一个或多个微处理器、现场可编程门阵列、集成电路等)和/或与一个或多个处理器连接，所述一个或多个处理器执行与控制器102关联的本发明中描述的操作。
在一个实施例中，控制器102为人工神经网络或者包括人工神经网络，所述人工神经网络使用背景引导的预测用于图像中的对象识别。控制器102可以分成多层，以从光学传感器104接收输入图像，通过中间层处理图像，并输出另一图像或识别图像中的对象。各层可以代表不同组或不同集合的人工神经元，所述人工神经元可以代表由处理器对输入图像执行的识别图像中的对象的不同功能。
光学传感器104代表生成图像数据(例如图像、视频、视频帧等)的一个或多个装置，所述图像数据代表光学传感器104的视场中的对象。光学传感器104可包括一个或多个生成图像的相机，所述图像代表可旋转或旋转机106例如涡轮机或发动机的不同的重复区段。在一个实施例中，光学传感器104是小型相机，例如大小适合放入涡轮机中的管道镜，并且不必打开涡轮机的外机匣或外壳就能获得涡轮叶片的图像。机器106的重复区段可以是不同的涡轮叶片，当机器106旋转时，涡轮叶片顺序地移进和移出光学传感器104的视场。由光学传感器104生成的图像被传送到控制器102，并且可选地可以保存在一个或多个有形的非暂时性计算机可读存储介质108(也称作存储器)中，例如一个或多个计算机硬盘驱动器、光盘等等。
由光学传感器104生成的图像分别可以描绘旋转机106的不同的重复区段。例如，来自光学传感器104的每个图像可以描绘不同的涡轮叶片或者不同涡轮叶片的部分。替代性地，两个或更多个涡轮叶片或者两个或更多个涡轮叶片的部分可以出现在至少一个图像中。
图像可以被控制器102检查，控制器102可以尝试识别图像中出现的对象。例如，控制器102中的神经网络的各层中的人工神经元可以检查图像中的单独像素，并使用线性分类计算不同类别的对象的评分(本发明中称作“类”)。这些评分可以指示对应像素代表不同类的概率。每个人工神经元可将数学函数(例如激励函数)施加到同一像素，由不同的神经元施加的函数影响由其它神经元施加的函数，不同的神经元对函数中的不同项施加的权重与一个或多个或者其它所有神经元施加的不同。函数的施加产生像素的分类评分，所述分类评分可用来识别图像中的对象。替代性地，控制器102可以是另一计算机化的系统，其使用另一种技术识别旋转体的重复区段中的受损。
控制器102可以自动地识别图像中的对象，例如涡轮叶片的受损部分。受损部分可以是涡轮叶片或者涡轮叶片上的涂层中的裂缝、剥落、点蚀等。控制器102可生成输出信号，输出信号被传送到输出装置110，并指示一个或多个涡轮叶片上识别的受损。然而，为了跟踪一个或多个涡轮叶片上受损的发展，控制器102确定在叶片中或者叶片上识别的受损的模式，并使用此模式识别单独涡轮叶片。
图2图示了旋转机106的一个实例。光学传感器104可以生成旋转机106的不同重复区段200的图像，而重复区段200定位在光学传感器104的视场202内。旋转机106和重复区段200可围绕或相对于旋转机106的旋转轴线204旋转，同时光学传感器104捕获并生成重复区段200的图像。替代性地，旋转机106和重复区段200可以在捕获区段200的图像时是静止的，旋转机106和区段200在捕获图像之后旋转，使得下一区段200在光学传感器104的视场202内。
控制器102可以检查旋转机106的单独重复区段200的这些图像，所述旋转机106例如涡轮叶片，所述图像在区段200旋转时或者在区段200静止时(区段200在图像采集之间旋转)被采集。控制器102可以识别第一区段或涡轮叶片200上的第一受损部分206，不同的第二区段或叶片200上的不同的第二受损部分208和不同的第三区段或叶片200上的不同的第三受损部分210。
这些检测到的受损部分206,208,210可形成模式或者可用来确定旋转机106的模式。所述模式可代表或指示在图像采集过程中或者在图像采集之间遇到受损部分206,208,210的次序。例如，如果旋转机106在图像采集过程中或者在图像采集之间以逆时针方向旋转，则模式将会为第一受损部分206，之后是紧接着下一或相邻叶片200中的第二受损部分208，之后是紧接着下一或相邻叶片200中的第三受损部分210。作为另一实例，如果旋转机106在图像采集过程中或者在图像采集之间以顺时针方向旋转，则模式将会是第三受损部分210，之后是下一或相邻叶片200中的第二受损部分208，之后是下一或相邻叶片200中的第一受损部分206。区段200的受损类型(例如裂缝、剥落、点蚀等)可在区段200中变化，或者可以在两个或更多个区段200中相同。
模式可选地可包括没有受损(或者没有由控制器102检测到损坏部分)的旋转机106的一个或多个中间区段200。例如，旋转机的模式可以是第一叶片上的第一受损部分，之后是第二和第三叶片没有检测到受损，之后是第四叶片的第二受损部分，之后是第五叶片的第三受损部分等等。
模式可以由控制器102使用以跟踪旋转机106的重复区段200的受损部分中的变化。旋转机106的不同的重复区段(例如涡轮叶片)可以不单独编号或另外标记，因而不可能容易地彼此区分或者单独识别。尽管可以拆开一些旋转机106以帮助单独识别涡轮叶片，但这可能是一件耗时和昂贵的过程。本发明中描述的本发明的系统和方法的一个或多个实施例使用被确定的受损模式以一致地跟踪旋转体中的重复区段的位置。这允许系统和方法在随后对旋转体进行检查期间，一致地识别并区分重复区段。所述系统和方法接着能够跟踪一个或多个重复区段的受损的变化，原因是系统和方法可以区分重复区段，并确定一个或多个区段上的受损是否随时间变化。
例如，个人可能在相同涡轮发动机的不同检查期间不能够区分涡轮叶片，因为涡轮叶片外观上大部分是相同的，并且因为拆开涡轮发动机单独地识别叶片可能是太耗时和/或昂贵的。另外，以前识别的涡轮叶片的受损或其它损坏可以在连续的检查之间改变大小和/或形状，这阻止受损或损坏被用作涡轮叶片的识别标志。结果，个人不能够跟踪任何一个涡轮叶片的损坏是否在变坏，原因是个人不能区分涡轮叶片，不能识别任何特定的涡轮叶片的位置。
图3图示了在稍后时间图2中示出的旋转机106。图3中示出的旋转机106可以表示在时间逝去和/或继描绘图2中示出的旋转机106之后的一个或多个附加操作周期之后的旋转机106。时间逝去和/或旋转机106的附加操作周期可以增大一个或多个重复区段200中的受损，和/或可以在一个或多个重复区段200中引入新受损。如图3中所示，三个区段200被控制器102识别为具有受损或损坏部分306,308,310。
在图示的实例中，图3中示出的旋转机106中的受损部分306,308,310与图2中示出的旋转机106中的受损部分206,208,210相同。受损部分206的大小和/或形状已经变成受损部分306的大小和形状，受损部分210的大小和/或形状已经变成受损部分310的大小和形状。大小和/或形状的变化可阻止个人或机器学习系统不能识别图3中所示的受损部分206，原因是具有受损部分206的区段200可以被错误地认为是另一区段200。例如，因为不同的区段200没有被另外标记或单独地识别(除了确定本发明中描述的模式外)，个人或系统也许不能确定相同的区段200具有大小和/或形状已经改变的受损部分206。
但是，本发明中描述的系统100可以使用被确定的模式单独地识别区段200和/或单独地定位区段200。可以使用此模式一致地识别区段200，使得在相同区段200的不同时间获得的图像可以被检查和/或比较以监测一个或多个区段200的受损是如何随时间变化的。
系统100可以检查由图3中示出的不同区段200的光学传感器104提供的图像，以自动地识别受损部分306,308,310，以及在由光学传感器104提供或另外输出的图像中受损部分306,308,310出现的次序。如果旋转机106在图像采集过程中或者在图像采集之间以逆时针方向旋转，则由控制器102检查的图像的序列揭示了受损部分306之后是受损部分308之后是受损部分310，没有中间区段200。控制器102可以将此序列与从区段200在旋转机106中的状态确定的模式比较，并确定序列和模式两者都具有带受损部分的三个连续区段200。
序列和模式之间的这种匹配由控制器102使用以确定具有受损部分306,308,310的区段200与具有图2中示出的受损部分206,208,210的区段200相同。受损(以及可选地非受损)区段200的相同次序被控制器102使用以单独地识别区段200。
控制器102可以将序列和模式之间的这种相似度识别为序列和模式之间的匹配，即便序列中的受损部分与模式不同。例如，受损部分306可以具有比受损部分206更大的大小和/或不同的形状，受损部分310可以具有比受损部分210更大的大小和/或不同的形状。区段200的受损部分的这些变化类型可以另外阻止个人或系统100确定受损部分306,308,310与受损部分206,208,210相同或者相关。但是，因为控制器102一直在检查在成像过程中一些受损出现在区段200中的次序，并且不试图匹配受损的大小和/或形状，所以控制器102能够更准确地定位旋转机106中的单独区段200。
这可以允许控制器102跟踪或监测在一个或多个重复区段200中受损的发展。例如，控制器102可以通过识别具有受损部分208,308的区段200的位置，跟踪受损部分208,308的发展(例如为以前确定的区段200的模式中的中间区段200)。作为另一实例，控制器102可使用所述模式，例如通过检查遵循所述模式的第十五个(或其它)区段200的图像，跟踪另一区段200中受损的开始和/或发展。
在一个实施例中，控制器102可以基于模式和图像对不同区段200进行标记。例如，一旦控制器102已经将成像区段200的序列与成像区段200的模式匹配，以单独地识别区段200，控制器102就可以将与相同区段200关联的图像保存在存储器108中，用数据单独地识别区段200。这可以由控制器102使用，以稍后将相同区段200的图像进行比较以用于跟踪区段200受损的发展。
控制器102可生成输出或者警告信号，输出或者警告信号提供至如图1中示出的输出装置110。输出装置110可包括电子显示器、扬声器、触摸屏等等，其可视地和/或可听地通知模式检测的操作者区段200中检测到受损部分，受损部分开始，受损部分变坏等。可选地，输出装置110可以是通信装置，例如收发器，发射器，天线、调制解调器等等，其通过一个或多个计算机化通信网络114将信号(或另一信号)发送至修理系统112。网络114可代表专用或公用网络，且可选地可包括互联网的至少一部分。替代性地，输出装置110与修理系统112的通信可以不通过网络114的通信进行。
修理系统112包括硬件系统，其响应于由控制器102检测重复区段中的受损部分，和/或响应于控制器102确定一个或多个受损部分达到需要补救的状态，实施一个或多个响应动作以改变旋转机106的状态。作为一个实例，修理系统112可以自动地安排或开始重复区段200的表面的修理，例如通过将恢复性粘合剂喷射到涡轮叶片上的热障涂层上。修理系统112可包括机器人喷射系统，其将涂层喷射到叶片上。
图4图示了用于原位识别具有重复区段的旋转体中的共同位置的方法400的一个实施例的流程图。方法400可以描述由控制器102执行的操作，以单独地识别不同的重复区段200在旋转体106中的位置。这可以允许控制器102单独地跟踪旋转体106中受损的发展。
在402处，获得旋转或可旋转体的不同重复区段的图像。如上面描述的，这些图像可以描绘旋转体的不同部分，例如涡轮发动机的不同叶片。在404处，对一个或多个图像是否显示区段中的受损进行确定。例如，控制器102可以自动地检查图像以确定一个或多个涡轮叶片是否有碎屑、裂缝、剥落或点蚀。如果一个或多个图像显示旋转体的区段受损，则方法400的流程可进行到406。否则，方法400的流程可返回402。
在406处，确定旋转体的重复区段的受损部分出现的模式。如上面描述的，此模式可以描述旋转体106中损坏或未损坏区段200的序列，因为区段200是以从光学传感器104获得图像的序列显示的。在408处，获得旋转体的区段的附加图像。此附加图像可以在旋转体已经操作了一个或多个操作周期之后或者在指定的时段届满之后获得。例如，附加图像可以在区段200的一个或多个受损部分已经变坏之后获得。
在410处，从获得的附加图像确定旋转体的受损序列。控制器102可检查附加图像，并确定旋转体106的重复区段是否有受损。图像显示或没有显示受损的次序或序列可以与以前确定的模式比较。显示具有受损部分的区段200的图像的不同序列可以与所述模式比较，以确定任何序列是否与模式匹配，即便图像中示出的受损不正好匹配。
在412处，对旋转体的重复区段的图像的序列是否与以前确定的模式匹配进行确定。例如，控制器102可确定附加图像中示出的受损和/或未受损涡轮叶片的序列是否与受损和/或未受损涡轮叶片的模式化序列匹配。如果序列与模式匹配，则控制器102可单独地识别不同图像组(例如在402处获得的之前采集的图像，以及在408处获得的附加图像)中的重复区段。结果，方法400的流程接着可进行到414。但是，如果没有任何序列与模式匹配，则控制器102或许不能够单独地识别重复区段200。结果，方法400的流程可返回408，获得附加图像或可选地终止。
在414处，监测在旋转体中的一个或多个重复区段检测的受损的发展。例如，由于控制器102能够单独地识别并区分重复区段200，所以控制器102可继续检查相同区段200的图像以确定在该区段200中受损是否变坏。可选地，如果受损变坏得太厉害，则控制器102可实施一个或多个响应动作，例如修理受损，更换重复区段等等。方法400的流程可以返回408或者可选地终止。
在一个实施例中，一种方法，其包括自动地识别(使用机器学习系统)旋转体的重复区段中的不同的受损部分。一个或多个受损部分的大小和/或形状的至少一个相对于时间变化。所述方法还包括基于识别不同的受损部分，在所述旋转体的旋转期间，确定所述旋转体的重复区段中的不同的受损部分的模式；以及随后使用被确定的受损部分的模式，自动地识别(使用相同的机器学习系统或另一机器学习系统)所述旋转体中重复区段的单独区段的位置。
可选地，所述方法还包括在使用被确定的模式后续检查重复区段的受损部分期间，通过一致地跟踪所述旋转体中重复区段的单独区段的位置，跟踪所述旋转体的重复区段的受损部分的变化。
可选地，识别重复区段的单独区段的位置发生在所述旋转体的重复区段中的一个或多个受损部分的大小、形状或者大小和形状两者变化之后。
可选地，所述方法还可包括使用所述模式单独地识别、标记或识别和标记所述旋转体的每个重复区段。
可选地，所述方法还可包括使用被确定的模式跟踪所述旋转体的重复区段的受损部分的大小、形状或者大小和形状的变化。
可选地，所述方法还可包括通过修理至少一个受损部分，自动地实施修理动作以将所述旋转体的状态从损坏状态变成修理状态。
可选地，所述旋转体包括涡轮机，所述重复区段包括涡轮叶片。
可选地，所述旋转体的重复区段的受损部分包括涡轮机的涡轮叶片中的一个或多个裂缝、剥落或点蚀。
可选地，被确定的模式包括在所述旋转体的旋转期间所述机器学习系统遇到所述旋转体的重复区段的不同受损部分的次序。
可选地，被确定的模式包括在所述旋转体的旋转期间，所述旋转体中重复区段的不同受损部分之间的空间分隔间隙、时间分隔间隙或空间分隔间隙和时间分隔间隙的组合。
可选地，自动地识别所述旋转体中重复区段的受损部分并且随后自动地识别所述旋转体中区段的位置包括使用所述机器学习系统或其它机器学习系统用光学方法检测所述受损部分。
可选地，自动地识别所述旋转体中重复区段的受损部分并且随后自动地识别所述旋转体的区段的位置出现在所述旋转体在共同方向旋转期间。
在一个实施例中，一种系统，其包括：一个或多个处理器，所述一个或多个处理器被配置成自动地识别旋转体的重复区段中的不同的受损部分。一个或多个受损部分的大小和/或形状的至少一个相对于时间变化。所述一个或多个处理器还被配置成基于识别不同的受损部分，在所述旋转体的旋转期间，确定所述旋转体的重复区段中的不同的受损部分的模式。所述一个或多个处理器还被配置成使用被确定的受损部分的模式，随后自动地识别所述旋转体中重复区段的单独区段的位置。
可选地，所述一个或多个处理器还被配置成在使用被确定的模式后续检查重复区段的受损部分期间，通过一致地跟踪所述旋转体中重复区段的单独区段的位置，跟踪所述旋转体的重复区段的受损部分的变化。
可选地，所述一个或多个处理器被配置成识别重复区段的单独区段的位置发生在所述旋转体的重复区段中的一个或多个受损部分的大小、形状或者大小和形状两者变化之后。
可选地，所述一个或多个处理器被配置成使用所述模式单独地识别、标记或识别和标记所述旋转体的每个重复区段。
可选地，所述一个或多个处理器还被配置成使用被确定的模式跟踪所述旋转体的重复区段的受损部分的大小、形状或者大小和形状的变化。
在一个实施例中，一种方法，其包括：自动地识别(使用机器学习系统)涡轮发动机的多个不同的损坏叶片。一个或多个损坏叶片的损坏的大小或形状的至少一个相对于时间变化。所述方法还包括基于识别不同的损坏叶片，确定在所述涡轮发动机的旋转期间所述涡轮发动机的不同的损坏叶片的序列模式；以及随后在所述一个或多个损坏叶片的损坏的大小、形状或者大小和形状两者变化之后，使用相同的机器学习系统或者另一机器学习系统自动地识别所述涡轮发动机的损坏的叶片。
可选地，所述方法还可包括通过修理至少一个损坏的叶片，自动地实施修理动作以将所述涡轮发动机的状态从损坏状态变成修理状态。
可选地，所述涡轮发动机的损坏叶片的损坏包括所述涡轮叶片中的一个或多个裂缝、剥落或点蚀。
可选地，被确定的序列模式包括在所述叶片的旋转期间所述机器学习系统遇到所述涡轮发动机的不同的损坏叶片的次序。
如本文所使用，以单数形式叙述且跟在词语“一”或“一个”后的元件或步骤应理解为不排除复数个所述元件或步骤，除非明确陈述此类排除。此外，对当前描述的主题的“一个实施例”的提及并非旨在解释为排除同样合并有所述特征的附加实施例的存在。此外，除非明确地陈述为相反情况，否则“包括”或“具有”带有特定属性的一个元件或多个元件的实施例可以包括不带有该属性的其它此类元件。
应了解，以上描述希望为说明性而非限制性的。例如，上述实施例(和/或其方面)可相互组合使用。例如，上述实施例(和/或其方面)可相互组合使用。另外，在不脱离本文所阐述主题的范围的情况下，可进行许多修改以使特定情形或材料适应所述主题的教示。虽然本文所描述的材料的大小和类型旨在限定所公开主题的参数，但其绝非是限制性的，而是示范性实施例。本领域的技术人员在查阅以上描述后将会明白许多其它实施例。因此，本文所描述的主题的范围应参考所附权利要求书以及此类权利要求书有权要求的等效物的完整范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”用作对应术语“包括(comprising)”和“其中(wherein)”的通俗英文等价词。此外，在以下权利要求书中，术语“第一”、“第二”和“第三”等仅用作标记，且并旨在对其对象强加数字要求。
本书面描述使用实例来公开本文所阐述的主题的若干实施例，包括最佳模式，并且还使本领域的普通技术人员能够实践所公开主题的实施例，包括制造和使用所述装置或系统以及执行所述方法。本文所描述的主题的可获专利范围由权利要求书来限定并且可包括本领域的普通技术人员想到的其它实例。如果此类其它实例具有与权利要求书的字面语言无异的结构要素，或如果此类其它实例包括与权利要求书的字面语言无实质差异的等效结构要素，那么此类其它实例旨在处于权利要求书的范围内。

Claims (16)

1.一种方法，其包括：
通过控制器获得旋转体的重复区段的图像；
使用机器学习系统通过所述控制器在所述图像中自动地识别所述重复区段中的不同的受损部分，其中，所述不同的受损部分中的一个或多个受损部分的大小或形状的至少一个相对于时间变化；
通过所述控制器基于所识别的不同的受损部分，确定所述旋转体的所述重复区段中的所述不同的受损部分的模式，其中，所述模式代表或指示在图像采集过程中或者在图像采集之间遇到受损部分的次序；
通过所述控制器获得所述旋转体的所述重复区段的附加图像；
通过所述控制器在所述附加图像中自动地识别所述重复区段中的后续不同的受损部分；
通过所述控制器基于所识别的后续不同的受损部分来确定所述重复区段中的所述后续不同的受损部分的后续模式，其中，所述后续模式代表或指示在图像采集过程中或者在图像采集之间遇到所述后续受损部分的次序；
通过所述控制器将所述后续模式与所述模式进行比较；以及
使用相同的机器学习系统或另一机器学习系统通过所述控制器基于所述比较来识别所述旋转体中的所述重复区段的单独区段的位置。
2.根据权利要求1所述的方法，还包括在使用被确定的模式后续检查重复区段的受损部分期间，通过一致地跟踪所述旋转体中重复区段的单独区段的位置，跟踪所述旋转体的重复区段的受损部分的变化。
3.根据权利要求1所述的方法，其中，识别重复区段的单独区段的位置发生在所述旋转体的重复区段中的一个或多个受损部分的大小，形状或者大小和形状两者变化之后。
4.根据权利要求1所述的方法，还包括使用所述模式单独地识别，标记或识别并标记所述旋转体的每个重复区段。
5.根据权利要求1所述的方法，还包括使用被确定的模式跟踪所述旋转体的重复区段的受损部分的大小，形状或者大小和形状两者的变化。
6.根据权利要求1所述的方法，还包括通过修理至少一个受损部分，自动地实施修理动作以将所述旋转体的状态从损坏状态变成修理状态。
7.根据权利要求1所述的方法，其中，所述旋转体包括涡轮机，所述重复区段包括涡轮叶片。
8.根据权利要求1所述的方法，其中，所述旋转体的重复区段的受损部分包括涡轮机的涡轮叶片中的一个或多个裂缝，剥落或点蚀。
9.根据权利要求1所述的方法，其中，被确定的模式包括在所述旋转体的旋转期间，所述旋转体中重复区段的不同受损部分之间的空间分隔间隙，时间分隔间隙或空间分隔间隙和时间分隔间隙的组合。
10.根据权利要求1所述的方法，其中，自动地识别所述重复区段中的受损部分以及自动地识别所述重复区段中的后续不同的受损部分包括使用所述机器学习系统或其它机器学习系统用光学方法检测所述受损部分。
11.根据权利要求1所述的方法，其中，自动地识别重复区段中的受损部分以及自动地识别所述重复区段中的后续不同的受损部分出现在所述旋转体在共同方向旋转期间。
12.根据权利要求7所述的方法，其中，
所述涡轮叶片中的损坏的涡轮叶片是损坏叶片；
所述涡轮机是涡轮发动机；
所述受损部分是所述损坏叶片上的损坏；并且
所述后续受损部分是随着时间推移而变化的所述损坏叶片上的损坏。
13.根据权利要求12所述的方法，还包括通过修理至少一个损坏叶片，自动地实施修理动作以将所述涡轮发动机的状态从损坏状态变成修理状态。
14.根据权利要求12所述的方法，其中，所述涡轮发动机的损坏叶片的损坏包括所述涡轮叶片中的一个或多个裂缝，剥落或点蚀。
15.根据权利要求12所述的方法，其中，被确定的模式包括在所述叶片的旋转期间所述机器学习系统遇到所述涡轮发动机的不同的损坏叶片的次序。
16.一种系统，其包括：
一个或多个处理器，所述一个或多个处理器被配置成执行任何前述权利要求所述的方法。
CN201811105802.3A 2017-09-25 2018-09-21 用于原位识别具有重复区段的旋转体中的共同位置的机器学习系统 Active CN109558949B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/714,208 US10691985B2 (en) 2017-09-25 2017-09-25 Machine learning system for in-situ recognition of common locations in a rotatable body with repeating segments
US15/714,208 2017-09-25

Publications (2)

Publication Number Publication Date
CN109558949A CN109558949A (zh) 2019-04-02
CN109558949B true CN109558949B (zh) 2023-08-29

Family

ID=63491444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811105802.3A Active CN109558949B (zh) 2017-09-25 2018-09-21 用于原位识别具有重复区段的旋转体中的共同位置的机器学习系统

Country Status (4)

Country Link
US (1) US10691985B2 (zh)
EP (1) EP3460720A1 (zh)
CN (1) CN109558949B (zh)
CA (1) CA3017320A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679066B2 (en) * 2018-03-22 2020-06-09 General Electric Company Best image grab from video with digital grid assistance for aviation engine borescope inspection
US20190376411A1 (en) * 2018-06-11 2019-12-12 General Electric Company System and method for turbomachinery blade diagnostics via continuous markings
US11574238B2 (en) * 2019-03-04 2023-02-07 Accenture Global Solutions Limited Machine learning (ML)-based auto-visualization of plant assets
US11679898B2 (en) 2020-06-15 2023-06-20 General Electric Company Inspection and repair tool
US11655720B2 (en) 2020-06-19 2023-05-23 General Electric Company Methods and materials for repairing a thermal barrier coating of a gas turbine component
WO2023013058A1 (ja) * 2021-08-06 2023-02-09 日本電気株式会社 状態判定装置、状態判定方法、及び、コンピュータ読み取り可能な記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010083535A2 (en) * 2009-01-19 2010-07-22 Avery Dennison Corporation Reusable printing medium and apparatus and method employing the same
WO2014145537A1 (en) * 2013-03-15 2014-09-18 Digital Wind Systems, Inc. System and method for ground based inspection of wind turbine blades
EP3143827A1 (en) * 2014-05-16 2017-03-22 Telefonaktiebolaget LM Ericsson (publ) Node and method for establishing an inactivity timer in a wireless network

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4987555A (en) 1988-11-30 1991-01-22 Westinghouse Electric Corp. Turbine blade shroud clearance monitor
JP4869699B2 (ja) 2005-12-13 2012-02-08 オリンパス株式会社 内視鏡装置
US7729531B2 (en) * 2006-09-19 2010-06-01 Microsoft Corporation Identifying repeated-structure elements in images
US8208711B2 (en) 2007-09-07 2012-06-26 General Electric Company Method for automatic identification of defects in turbine engine blades
CA2714697C (en) * 2008-02-19 2014-08-05 Rolls-Royce Corporation System, method, and apparatus for repairing objects
US7797133B2 (en) * 2008-09-10 2010-09-14 3M Innovative Properties Company Multi-roller registered repeat defect detection of a web process line
US20100280673A1 (en) * 2009-10-07 2010-11-04 Ge Wind Energy Gmbh Systems and Methods for Analyzing Reporting Data
US8171809B2 (en) 2010-06-25 2012-05-08 General Electric Company System and method for wind turbine inspection
CN102434403B (zh) 2010-09-29 2015-09-09 通用电气公司 用于风力涡轮机检查的系统及方法
US9488467B2 (en) 2010-10-28 2016-11-08 General Electric Company System and method for monitoring in real time, a gap between portions in a machine
US9462183B2 (en) 2011-09-22 2016-10-04 Siemens Energy, Inc. Trigger for blade imaging based on a controller
US8761490B2 (en) * 2011-11-03 2014-06-24 United Technologies Corporation System and method for automated borescope inspection user interface
US8781209B2 (en) * 2011-11-03 2014-07-15 United Technologies Corporation System and method for data-driven automated borescope inspection
US9477925B2 (en) 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US9842302B2 (en) * 2013-08-26 2017-12-12 Mtelligence Corporation Population-based learning with deep belief networks
US9530209B2 (en) 2014-01-15 2016-12-27 Siemens Energy, Inc. Method of determining the location of tip timing sensors during operation
JP6320081B2 (ja) * 2014-02-27 2018-05-09 三菱重工業株式会社 風車翼の損傷検知方法及び風車
US9683447B2 (en) * 2014-04-11 2017-06-20 Honeywell International Inc. Components resistant to traveling wave vibration and methods for manufacturing the same
US11060979B2 (en) * 2014-12-19 2021-07-13 General Electric Company System and method for engine inspection
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010083535A2 (en) * 2009-01-19 2010-07-22 Avery Dennison Corporation Reusable printing medium and apparatus and method employing the same
WO2014145537A1 (en) * 2013-03-15 2014-09-18 Digital Wind Systems, Inc. System and method for ground based inspection of wind turbine blades
EP3143827A1 (en) * 2014-05-16 2017-03-22 Telefonaktiebolaget LM Ericsson (publ) Node and method for establishing an inactivity timer in a wireless network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于网格支持矢量机的涡轮泵多故障诊断;袁胜发;褚福磊;何永勇;;机械工程学报(第04期);全文 *

Also Published As

Publication number Publication date
CN109558949A (zh) 2019-04-02
CA3017320A1 (en) 2019-03-25
EP3460720A1 (en) 2019-03-27
US10691985B2 (en) 2020-06-23
US20190095765A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
CN109558949B (zh) 用于原位识别具有重复区段的旋转体中的共同位置的机器学习系统
CN108932711B (zh) 图像分析神经网络系统
CN103842621B (zh) 用于检查气涡轮机的内窥镜系统和相应方法
EP2776816B1 (en) System and method for data-driven automated defect detection
US8792705B2 (en) System and method for automated defect detection utilizing prior data
EP2776896B1 (en) Method and system for position control based on automated defect detection feedback
EP3776462B1 (en) System and method for image-based target object inspection
JP7050470B2 (ja) 検査支援システム、学習装置、及び判定装置
US20180286034A1 (en) Equipment damage prediction system
JP2019032268A (ja) 表面欠陥判定方法および表面欠陥検査装置
US11703457B2 (en) Structure diagnosis system and structure diagnosis method
Kumar et al. A deep learning based automated structural defect detection system for sewer pipelines
Shafi et al. Internal defects detection and classification in hollow cylindrical surfaces using single shot detection and MobileNet
KR20130118379A (ko) 표면 손상의 검출을 위해 대상물을 검사하기 위한 방법 및 디바이스
Guan et al. Automatic fault diagnosis algorithm for hot water pipes based on infrared thermal images
CN114341931A (zh) 在发动机孔探期间自动检测缺陷的方法和计算机程序产品
EP3276131A1 (en) Systems and methods for indexing and detecting components
WO2022226494A1 (en) Erosion detection and prediction
US11486697B1 (en) Optical structural health monitoring
Chow et al. AI Detection and Classification of Cracks with Acoustic Shearography Imaging Data [C]
Bzymek Application of selected method of anomaly detection in signals acquired during welding process monitoring
Wang et al. Online micro defects detection for ductile cast iron pipes based on twin light photometric stereo
Nguyen et al. Multi-object detection by using CNN for power transmission line inspection
Smith et al. Deep learning for masonry lined tunnel condition assessment
CN106247982A (zh) 水轮机过流部件整体形貌检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant