CN111527387B - 用于识别构件的损伤的方法和系统 - Google Patents

用于识别构件的损伤的方法和系统 Download PDF

Info

Publication number
CN111527387B
CN111527387B CN201880081046.7A CN201880081046A CN111527387B CN 111527387 B CN111527387 B CN 111527387B CN 201880081046 A CN201880081046 A CN 201880081046A CN 111527387 B CN111527387 B CN 111527387B
Authority
CN
China
Prior art keywords
recorded content
damage
component
subsequent
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880081046.7A
Other languages
English (en)
Other versions
CN111527387A (zh
Inventor
D·沃夫
J·切法
J·阿帕奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of CN111527387A publication Critical patent/CN111527387A/zh
Application granted granted Critical
Publication of CN111527387B publication Critical patent/CN111527387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/02—Gearings; Transmission mechanisms
    • G01M13/021—Gearings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D15/00—Transmission of mechanical power
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于识别构件的损伤的方法，该方法具有：提供(I)参考状态下构件的区段的第一记录内容；获取(II)正常使用之后构件的区段的后续记录内容；以及将后续记录内容与第一记录内容进行比较(III)，以确定构件是否受损伤。在确定构件损伤的情况下，该方法进一步包括：将后续记录内容与损伤数据库的数据进行对比(IV)，以确定损伤的类型；以及输出(V)所确定的损伤类型。

Description

用于识别构件的损伤的方法和系统
技术领域
本发明涉及用于识别构件的损伤的方法和系统。本发明包括将参考状态下的构件的记录内容与正常使用之后的构件的记录内容进行比较。
背景技术
对构件的检查目前通常在现场由专家执行。这在较大型的静止设施(例如风力涡轮机)或较大型的移动机械(例如船舶、挖掘机、倾倒车等)的情况下尤其是耗时且昂贵的。此外，如果损伤迅速出现并且在两次检查间隔之间发生，那么可能产生较高的后续成本。
EP 2 921 840 A1涉及用于对齿轮的磨损图案进行定量分析的测试单元和方法，其中将齿轮在不同时间点的图像相互比较。
发明内容
一种用于识别构件的损伤的方法包括：提供参考状态下构件的区段的第一记录内容。构件可以是传动装置的齿轮、轴承、涡轮叶片、换挡拨叉、致动器、缸体、运动螺钉或类似物。例如，构件是风力发电设施、飞行器、轿车(PKW)或其他技术装置的一部分。技术装置中的构件尤其具有技术功能，该技术功能在装置运行过程中可能会导致构件损伤。构件的损伤可以是材料疲劳(即缓慢地逐渐发生的损伤过程)和/或暴力损伤(即由于短时间的静态荷载导致的损伤)和/或其他损伤形式。构件的区段例如可以涉及用于力传递的表面。
可以将多个构件的组(例如齿轮和邻接的壳体)成像在第一记录内容中。替代性地，可以仅将单个构件或仅将单个构件的一个区段成像在第一记录内容中。
参考状态可以涉及构件在交货之前、安装之前和/或正常投入使用之前的状态。构件在参考状态下尤其可以是无损伤的或者具有在容许程度内的损伤。尤其可设想的是，在下线测试(EOL)中并且因此在制造和装配构件之后立即制作参考状态下的第一记录内容。然而，在投入使用的范围内(例如在风能设施安装完成之后)也可以产生参考状态下的第一记录内容。
该方法进一步包括：获取在正常使用之后构件的区段的后续记录内容。尤其可以在应检验构件是否存在损伤的时间点、例如在固定的检查时间点产生后续记录内容。此外，可以周期性地反复拍摄构件的后续记录内容和/或当记录与操作流程相配合时才获取构件的后续记录内容。构件的正常使用应理解为用于该构件被构造和/或设计所用于的功能。
此外，该方法包括：将后续记录内容与第一记录内容进行比较，以确定构件是否受损伤。在对记录内容进行比较时，可以查找这些记录内容的区别和/或共性。比较可以是由计算机支持的，即由电子数据处理装置(例如微控制器)执行。为了比较，要比较的记录内容可以以数字形式存在。在确定时，可以检查这些记录内容是否超出规定的区别阈值并且因此构件是否被看作是受损伤。这个阈值可以是可改变的。
如果在将第一记录内容与后续记录内容进行比较时确定损伤，那么在下一个步骤中将这些后续记录内容与损伤数据库的数据进行对比，以便得出损伤类型。损伤数据库可以根据损伤类别进行归类，并且具有任意多的、不同的损伤数据，尤其呈不同的表现形式和严重程度的损伤数据。损伤数据库中的数据尤其涉及不同损伤类型的光电子数据。例如，损伤数据库可以具有图像，例如齿轮的点蚀(Pitting)、齿断裂、灰斑性(微点蚀)、侵蚀和/或磨损的图像，尤其是呈不同强度的表现形式的图像。损伤数据库可以涉及数字型数据集。
此外，损伤数据库可以具有元数据。元数据可以是：传动装置类别、应用、构件类型、缺陷类别、严重程度、地点说明等。根据元数据，可以以该方法并行地覆盖不同的应用(例如风力和海事)。因此，损伤数据库可以含有特定于应用的和跨应用的数据集。
此外，该方法包括：输出损伤类型，该损伤类型已经由后续记录内容与损伤数据库的数据的对比得出。输出损伤类型具有技术性特征，原因在于借助于该输出可以防止进一步的损伤或甚至防止构件的毁坏并且因此防止对周围人员的潜在伤害。输出可以以数字和/或模拟报告的形式和/或藉由显示装置来实现。
本发明的方法可以非集中地、集中地和/或分散地执行。
本发明的方法能够以高准确度的简单方式实现得出构件的损伤类型。通过该方法的两阶段式方案，仅将已事先确定构件损伤的记录内容与损伤数据库进行对比。通过前置的比较步骤可以比中记录内容的精确的预选范围，这些记录内容经受更复杂并且更易出错的对比方法来得出损伤类型。因此，两阶段式方案在识别并诊断构件损伤中实现较高的准确度。
第一记录内容、后续记录内容和损伤数据库的数据可以涉及照片型记录内容、尤其数字照片。然而替代性地，记录内容还可以涉及其他数据，这些数据借助用于电磁波(例如无线电波、微波、雷达、UV光、IR光、可见光和/或伽马射线)的传感器被捕获。
可以借助于相关性分析来实现第一记录内容与后续记录内容的比较。尤其可以将相应记录内容的灰度值和/或彩色值互相关联。因此可以以较高的准确度实现简单且高效的比较。为了提高准确度，相关性分析可以以照明标准化的方式执行。这意味着，在相关联时去掉要比较的记录内容中相应存在的照明强度。
此外，将后续记录内容与损伤数据库的数据进行对比可以包括特征检测和匹配方法(Feature-Detection und-Matching Methode)。借助于该方法识别出要对比的记录内容中的标志性特征(特征检测)。这些标志性特征例如可以涉及记录内容的在信号大小方面存在高梯度的区域。例如，在照片型记录内容的情况下，彩色值和/或灰度值方面的高梯度可以是标志性特征。因此，标志性特征例如可以是边缘。特征检测可以借助于SURF(加速鲁棒特征，Speeded Up Robust Feature)、MSER(最大稳态极限区域，Maximal Stable ExtremeRegion)、BRISK(二进制鲁棒不变可扩展关键点，Binary Rubust Invariant ScalableKeypoint)和/或其他算法来实现。可以取决于要对比的数据集来选择相应要使用的算法，以便因此使用在相应的损伤类型中实现最高准确度的算法。因此，例如SURF算法可以用于后续记录内容与损伤数据库的第一损伤类型的对比，并且BRISK算法可以用于后续记录内容与损伤数据库的第二损伤类型的对比。通过提供特征检测和匹配方法可以提高确定损伤类型的准确度。除此之外，可以将后续记录内容与存储在损伤数据库中的非当前应用的(anwendungsfremden)损伤记录内容进行比较，这是因为特征检测和匹配方法并非是旋转和缩放不变的。因此，例如还可以使用源自文献和其他应用的损伤图像局部。
该方法可以进一步包括：确定后续记录内容中的至少一个关注区域(Region ofInterest)和/或损伤数据库的图像数据中的至少一个关注区域(Region of Interest)。关注区域的独特之处在于同种类型的或不同的图像数据内容。可以首先优选地和/或借助其他特征检测和匹配方法检查所确定的关注领域。如果将例如多个构件成像在后续记录内容和/或损伤数据库的数据中，那么可以藉由确定关注区域来执行对构件特定的损伤对比。如果将例如齿轮和壳体成像在后续记录内容上，那么可以借助于确定关注区域而使壳体仅与损伤数据库的壳体损伤数据进行对比并且使齿轮仅与齿轮损伤数据进行对比。结果是效率提高以及高准确度的损伤类型确定。
此外，可以将形成无学习能力的图像处理方法的前述工业图像处理方法嵌入机器学习方法中。机器学习方法例如可以涉及神经网络、支持向量机、卷积神经网络(CNN)和/或其他机器学习方法。尤其可以通过用于识别构件损伤的前述工业图像处理方法来训练机器学习方法。为此，该方法可以包括：评估由工业图像处理方法输出的损伤类型、以及必要时由用户对所输出的损伤类型进行所需的修正。用户可以为手动地检验所输出的损伤类型的专家。该方法可以进一步具有：存储该修正，以便训练机器学习方法。通过由用户进行的检验和修正，机器学习方法可以学习到所记录的图像素材与损伤数据库之间的新联系，并且因此提高损伤确定的准确度。
此外还可以实现的是，在确定损伤和/或确定损伤类型的情况下，自动地促使向构件的后续运行进行反馈。例如，在确定构件损伤和/或确定构件的某一损伤类型的情况下，可以降低设施的功率和/或转速或者完全关闭设施。
此外，本发明涉及一种用于识别构件的损伤的设备。该设备包括用于提供参考状态下构件的区段的第一记录内容的第一接口以及用于提供正常使用之后构件的区段的后续记录内容的第二接口。此外，该设备包括用于提供具有各种损伤的数据的损伤数据库的第三接口以及用于输出所确定的损伤类型的第四接口。接口可以涉及输入/输出装置，该装置例如可以被设计为用于发送和接收呈打包或未打包形式的数据流。这些接口可以被设计为分开的装置。替代性地，这些接口中的一些接口或所有接口还可以藉由唯一的装置(例如总线)来实现。关于其他特征的理解，参考上文中的与方法相关的实施方式。
此外，该设备包括计算机装置，该计算机装置被配置成用于将第一记录内容与后续记录内容进行比较，以便基于该比较来确定构件是否受损伤。计算机装置可以具有各种计算机单元，这些计算机单元可以被布置在不同的地点。替代性地，计算机装置还可以仅具有唯一的计算机单元。该设备的计算机装置进一步被配置成：如果确定构件损伤，那么将后续记录内容与损伤数据库的数据进行对比，以确定损伤类型；并且藉由第四接口输出所确定的损伤类型。计算机装置的针对某一功能的装置应理解为该装置的针对对应功能的特定的编程。
该设备可以进一步具有：用于存储构件的区段的第一记录内容的参考存储器、用于存储正常使用之后构件的区段的后续记录内容的记录内容存储器、以及用于存储损伤数据库的数据库存储器。参考存储器可以与第一接口相连接，记录内容存储器可以与第二接口相连接，并且数据库存储器可以与第三接口相连接。该设备的各种存储器可以被设置在唯一的存储器构件上或被设置在不同的、在地点上彼此分离的存储器构件上。存储器可以涉及电子存储器。
此外，该设备可以具有用于获取正常使用之后构件的区段的后续记录内容的物体检测装置。计算机装置可以被配置成用于将借助物体检测装置所获取的后续记录内容存储在记录内容存储器上。物体检测装置可以是便携式的或地点固定的。
可以借助物体检测装置以相对于构件的区段的同一相对定位来记录第一记录内容和后续记录内容。这个实施方式具有的优点在于，可以以高准确度和效率来比较这两种记录内容，原因在于这些记录内容以同一缩放和视角来使构件的区段成像。然而有时，还可以从不同的视角产生这些记录内容。
物体检测装置可以涉及产生图像的相机。物体检测装置例如可以被设计为摄相器材，借助于该器材可以记录单个图像或单个图像的短系列。替代性地或额外地，产生图像的相机还可以被实施为运动图像相机，例如摄像机，以捕获连续的图像序列。代替上述物体检测装置的实施方式，还可设想其他的、用于检测电磁波的产生图像的传感器，例如用于检测无线电波、微波、雷达、UV光、IR光、可见光和/或伽马射线的传感器。
计算机装置可以具有用于将第一记录内容与后续记录内容进行比较的比较装置以及用于将后续记录内容与损伤数据库的数据进行对比的分开的对比装置。这个实施方式的对比装置是分开的，即被设置为与比较装置分离的独立单元。然而，这两个单元可以是彼此联网的。
此外，参考存储器、记录内容存储器和比较装置可以被设置在物体检测装置中。由此可以实现的是，在构件的位置处执行后续记录内容与参考状态下记录内容的比较。因此，不需要用于数据传输的网络即可进行比较，这进而实现特别迅速的比较操作。
该设备可以进一步具有服务器和网络，藉由该网络可以使物体检测装置和服务器彼此通信。服务器可以涉及计算机，该计算机可以与不同的客户端(例如物体检测装置)通信。各种物体检测装置可以分别被设计成用于例如根据本发明的实施方式来识别构件损伤。服务器可以是中央单元并且例如具有或提供ECU和/或云服务。服务器可以在地点上与物体检测装置分离，例如被布置在呼叫、收听和/或讲话范围外。网络可以涉及无线的和/或有线的网络。物体检测装置和服务器例如可以经由全球区域网络(Global Area Network，GAN)、例如互联网彼此通信。替代性地或额外地，可设想的是物体检测装置与服务器之间经由LAN、WLAN、蓝牙或类似物通信。
此外，数据库存储器和对比装置可以被设置在服务器上。由此可以实现的是，在用于大量客户端(例如物体检测装置)的服务器上集中地提供损伤数据库。因此还可以实现对损伤数据库的集中维护。因此同样可以由集中的、高性能的、用于大量客户端的计算机来执行可能高耗费的对比操作。
为了由用户维护数据库存储器上的损伤数据库，该设备可以具有用户接口。尤其，(数据)维护应理解为：更新、补充并且优化损伤数据库的数据或删除不可用的数据集。例如可以藉由用户接口将新的损伤图像加入数据库中。这可以藉由软件模块或编程接口、例如Web服务和/或客户端SW来实现。此外，在用户接口中可以设置有如下功能，该功能向用户反馈哪些图像/图像属性(例如大小、分辨率、亮度和类似特征)已经造成了成功的损伤识别，尤其根据缺陷类型特定的损伤识别。因此，损伤数据库中的图像数据的品质可以得到提升。额外地，提供自动化扩展，该自动化扩展例如将已由专家确认的或由于该方法而位于一定的可靠性阈值(置信度，confidence level)之上的、从该方法的运行得到的图像自动地录入损伤数据库中。
此外，本发明涉及一种传动装置，该传动装置具有构件和根据前述实施方式之一的设备，该设备被配置成用于识别构件的损伤。该传动装置可以是风力发电设施的传动装置。
附图说明
图1示出根据本发明的一个实施方式的用于识别构件损伤的系统。
图2示出用于描述根据本发明的一个实施方式的识别构件损伤的方法的流程图。
图3示出在图2中呈现的实施方式范围内执行的相关性分析的示例性结果。
图4示出在图2中呈现的实施方式范围内执行的特征检测和匹配分析的示例性结果。
图5示出根据本发明的实施方式的机器学习方法的框图，该机器学习方法可以受到图2中所示的方法训练。
具体实施方式
下面参考附图描述本发明的实施方式。
图1示出了根据本发明的用于识别构件10损伤的设备1的实施方式。系统1具有照片型相机2和服务器6。相机2和服务器6藉由网络7彼此连接，从而能够实现相机2与服务器6之间的通信。在本实施方式中，网络7是互联网。
本实施方式的设备1进一步包括构件10。在本实施方式中，构件10涉及传动装置、更确切地说涉及风力发电设施的正齿轮传动装置。
设备1的相机2被布置成使得利用该相机可以检测构件10的区段，从该区段中可看到构件10的损伤。此外还可设想的是以下实施方式，在这些实施方式中，相机2以可运动的方式、尤其以可枢转的方式布置，由此仅用一个相机2就可以检测不同的构件10或一个构件10的不同的区段。在改进方案中，相机2可以具有清洁设备，以便除去由于润滑剂和磨损造成的脏污，因此可以产生高质量的记录内容。
相机2具有用于存储参考状态下构件10的区段的第一记录内容14.0的参考存储器3。相机2进一步包括用于存储正常使用之后构件10的区段的后续记录内容14.1、14.2、14.3的记录内容存储器4。此外，相机2还包括比较装置5，利用该比较装置可以借助于相关性分析将参考状态下的记录内容14.0与后续记录内容14.1、14.2、14.3进行比较并且可以确定构件10是否受损伤。比较装置5涉及对应编程的控制器或ECU，该控制器或ECU具有微控制器。
此外，设备1包括用于存储具有各种损伤的图像数据的损伤数据库的数据库存储器8。类似地，设备1包括对比装置9，该对比装置被配置成：在由比较装置5确定损伤的情况下，将后续记录内容14.1、14.2、14.3与数据库存储器8的图像数据进行比较，以便确定损伤类型和损伤严重程度。
该设备进一步包括用于维护损伤数据库的用户接口11。关于这个用户接口11和损伤数据库的设计，参考上文中的实施方式。
在这个实施方式中，参考存储器3、记录内容存储器4和比较装置5被设置在相机2中。数据库存储器8、对比装置9和用户接口11被设置在服务器6中。然而本实施方式不限于这种设计方案。替代性地同样可以实现的是，参考存储器3、记录内容存储器4、比较装置5、数据库存储器8、对比装置9和用户接口11被设置在相机2中。也可设想各个部件在相机2与服务器6之间任意的其他分配。此外还可以实现的是，各个部件冗余地设置，尤其既设置在相机2上又设置在服务器6上。例如，参考存储器3和记录内容存储器4可以被设置在相机2上，并且另外的参考存储器和另外的记录内容存储器可以被设置在服务器6上。这例如对存档目的而言是有意义的。
下面借助图2中展示的流程图来描述根据本发明实施方式的用于识别构件10损伤的方法的流程。在下文中描述的方法的实施方式参考图1中示出的系统1来描述。然而，根据本实施方式的方法还可以在其他系统上执行。
在本实施方式的方法的第一步骤I中，利用相机2获取在参考状态下处于不同的运行位置的构件10的第一记录内容14.0。将所获取的记录内容与分别相关的构件10的运行位置一起存储在图1中可见的参考存储器3中。替代性地或额外地可设想的是，不利用相机2获取参考状态下构件10的记录内容，而是由构件10的制造商或以其他方式方法提供在参考存储器3上。
在第二步骤II中，在构件10正常使用之后，利用相机2获取在某一运行位置中构件10的后续记录内容14.1、14.2、14.3并且将其存储在记录内容存储器4上。
在下一个步骤III中，藉由比较装置5将构件10的后续记录内容14.1、14.2、14.3与参考状态下的第一记录内容14.0中的在同一运行位置处被记录的那个第一记录内容进行比较。在这个实施方式中，该比较借助于对灰度值和/或彩色值的经照明标准化的相关性分析来实现。
在图3中可见将参考状态下处于某一位置处的构件10的于时间点t0记录的第一记录内容14.0与处于同一位置的、在构件10正常使用之后于时间点t1、t2和t3拍摄的构件10的后续记录内容14.1、14.2、14.3进行的比较。如果记录内容之间的相关性被确定为低于阈值，那么构件10受损伤。例如，如果相关性低于99.9％、95％、90％或82％时，那么可以确定损伤。
在时间点t0时，这些记录内容重合，从而相关性为100％。随着时间推移，第一记录内容与后续记录内容14.1、14.2、14.3之间的相关性下降。因此，于时间点t3记录的后续记录内容14.3与参考记录内容14.0之间的相关性小于参考记录内容14.0与于时间点t1拍摄到的后续记录内容14.1之间的相关性。这是由于，在所示的示例中随着时间推移，构件损伤的程度提高，这反映在与要比较的记录内容的更大的偏差。这种更大的偏差进而导致记录内容的相关性更低。
如果通过在步骤III中将后续记录内容14.1、14.2、14.3与参考状态下的记录内容14.0进行比较而确定构件10的损伤，那么在下一个步骤IV中使用对比装置9将记录内容存储器4中的后续记录内容14.1、14.2、14.3与数据库存储器8上的前述损伤数据库的数据进行对比。该对比用于确定损伤的类型。如果在比较步骤III中确定构件10未损伤，那么在稍后的时间点重新执行步骤II和III，直到确定损伤为止。
在这个实施方式中，借助记录内容存储器4中的记录内容与数据库存储器8上的损伤数据库的图像数据之间的特征检测和匹配分析来实现用于确定损伤类型的对比步骤IV。在图4中示例性地呈现了记录内容存储器4中的后续记录内容14.3与非当前应用的损伤记录内容15进行的特征检测和匹配分析的结果。在此情况下，这例如得出，非当前应用的损伤记录内容15示出了具有直的齿部的齿轮装置，而后续记录内容14.3示出了具有倾斜的齿部的齿轮。
在应用特征检测和匹配分析之前，在本实施方式中，在对比步骤IV的范围内还执行后续记录内容14.1、14.2、14.3与损伤数据库的图像数据之间的相关。在此，根据阈值不同，首先以与这个偏差相匹配的或最大概率的损伤类别来测试相关性，以便因此提供在计算方面并且因此在时间和成本方面高效的对比。为此，在损伤数据库的图像数据中进行对构件特定的损伤搜索也是有利的，这是因为在各个图像数据中呈现了哪些构件位于哪里是已知的并且记录在案的。因此可以比中另外的预选范围，该另外的预选范围借助于特征检测和匹配分析将损伤数据库的图像数据与后续记录内容14.1、14.2、14.3进行比较。
在本实施方式的方法的步骤V中，输出所确定的损伤类型。该输出除了损伤类别和损伤严重程度外还具有元数据，例如损伤的位置和损伤出现的时间点。替代性地或额外地，可以基于输出自动地促使向构件10的运行进行反馈。
根据本实施方式，对比装置9进一步被配置成：除了结合图2-4描述的工业图像处理方法(IB方法)之外还执行机器学习方法(ML)。
如在图5中所示，在本实施方式中由IB方法17对ML方法16进行训练。IB方法16涉及先前结合图2-4所描述的方法，其中为了确定损伤类型，将记录内容存储器4中的后续记录内容14.1、14.2、14.3与参考存储器3中的参考记录内容进行比较并且与数据库存储器8上的图像数据进行对比。
在可选的步骤VI中，本实施方式的方法进一步包括由专家19检验由IB方法17输出的损伤类型18连同前述元数据20。从由专家19确认和否定的IB方法18的输出，ML方法16可以学习到在应用中记录的记录内容与损伤数据库之间的新联系。
在此，同样可以以对产品特定的和/或对应用特定的和/或普遍的、例如根据错误机制的方式实现对机器学习方法的训练结果的交换。
附图标记清单
1 用于识别构件损伤的系统
2 相机
3 参考存储器
4 记录内容存储器
5 比较装置
6 服务器
7 网络
8 数据库存储器
9 对比装置
10 构件
11 用户接口
14.0 参考状态下构件的记录内容
14.1…14.3 正常使用之后构件的记录内容
15 非当前应用的损伤记录内容
16 ML方法
17 IB方法
18 输出的损伤类型
19 专家
20 元数据
I 提供参考状态下构件的记录内容
II 获取正常使用之后构件的记录内容
III 将参考状态下的记录内容与正常使用之后的记录内容进行比
较，以确定损伤
IV 将正常使用之后的记录内容与损伤数据库的数据进行对比，
以确定损伤类型
V 输出损伤类型
VI 评估并修正所输出的损伤类型

Claims (9)

1.一种用于识别传动装置的构件(10)的损伤并且确定损伤的损伤类型以及表现形式或严重程度的方法，所述方法具有：
提供(I)参考状态下所述构件(10)的区段的第一记录内容(14.0)；
获取(II)正常使用之后所述构件(10)的区段的后续记录内容(14.1；14.2；14.3)，其中在所述构件(10)的安装状态下获取所述构件(10)的区段的后续记录内容(14.1；14.2；14.3)；以及
将所述后续记录内容(14.1；14.2；14.3)与所述第一记录内容(14.0)进行比较(III)，以确定所述构件(10)是否受损伤，其中所述第一记录内容(14.0)、所述后续记录内容(14.1；14.2；14.3)和所述损伤数据库的数据是照片型记录内容；
其中在确定所述构件(10)损伤的情况下，所述方法进一步包括：
将所述后续记录内容(14.1；14.2；14.3)与损伤数据库的数据进行对比(IV)，以确定损伤类型；以及
输出(V)所确定的损伤类型以及损伤的表现形式或严重程度，
将所述后续记录内容(14.1；14.2；14.3)与所述损伤数据库的数据的对比嵌入机器学习方法(ML)中，并且所述方法进一步包括：
由用户评估并修正(VI)所输出的损伤类型；以及
存储所述修正，以训练所述机器学习方法。
2.根据权利要求1所述的方法，其特征在于，借助于相关性分析来进行所述第一记录内容(14.0)与所述后续记录内容(14.1；14.2；14.3)的比较。
3.根据前述权利要求之一所述的方法，其特征在于，所述后续记录内容(14.1；14.2；14.3)与所述损伤数据库的数据的对比包括特征检测和匹配方法。
4.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：
确定所述后续记录内容(14.3)中的至少一个关注区域以及所述损伤数据库的图像数据中的至少一个关注区域；以及
借助于所述特征检测和匹配方法将所确定的关注区域进行对比。
5.根据前述权利要求之一所述的方法，其特征在于，在确定损伤和/或确定损伤类型的情况下，自动地促使向所述构件(10)的后续运行进行反馈。
6.一种传动装置，所述传动装置具有构件(10)和设备(1)，所述设备具有：
用于提供参考状态下所述构件(10)的区段的第一记录内容(14.0)的第一接口；
用于在所述构件(10)的安装状态下提供正常使用之后所述构件(10)的区段的后续记录内容(14.1；14.2；14.3)的第二接口；
用于提供具有各种损伤的数据的损伤数据库的第三接口；
用于输出所确定的损伤类型的第四接口；
计算机装置，所述计算机装置被配置成：将所述第一记录内容(14.0)与所述后续记录内容(14.1；14.2；14.3)进行比较，以便基于所述比较来确定所述构件(10)是否受损伤；在确定所述构件(10)损伤的情况下，将所述后续记录内容(14.1；14.2；14.3)与所述损伤数据库的数据进行对比，以确定所述损伤的类型；以及藉由所述第四接口输出所确定的损伤类型，
所述设备进一步具有：
用于存储所述构件(10)的区段的第一记录内容(14.0)的参考存储器(3)，所述参考存储器与所述第一接口相连接；
用于存储正常使用之后所述构件(10)的区段的后续记录内容(14.1；14.2；14.3)的记录内容存储器(4)，所述记录内容存储器与所述第二接口相连接；以及
用于存储所述损伤数据库的数据库存储器(8)，所述数据库存储器与所述第三接口相连接，
所述设备(1)进一步具有用于获取正常使用之后所述构件(10)的区段的后续记录内容(14.1；14.2；14.3)的物体检测装置(2)，
其中所述计算机装置被配置成用于将借助所述物体检测装置(2)所获取的后续记录内容(14.1；14.2；14.3)存储在所述记录内容存储器(4)上；
其中所述第一记录内容(14.0)、所述后续记录内容(14.1；14.2；14.3)和所述损伤数据库的数据是照片型记录内容，并且所述物体检测装置(2)是产生图像的相机(2)；
其中所述设备被配置成用于识别所述构件(10)的损伤并且确定损伤类型，
其中，所述后续记录内容(14.1；14.2；14.3)与所述损伤数据库的数据的对比嵌入机器学习方法(ML)中，并且第四接口所输出的损伤类型由用户评估并修正(VI)；所述修正被存储以训练所述机器学习方法。
7.根据权利要求6所述的传动装置，其特征在于，所述设备(1)的计算机装置具有用于将所述第一记录内容(14.0)与所述后续记录内容(14.1；14.2；14.3)进行比较的比较装置(5)以及用于将所述后续记录内容(14.1；14.2；14.3)与所述损伤数据库的数据进行对比的分开的对比装置(9)。
8.根据权利要求6至7之一所述的传动装置，其特征在于，所述参考存储器(3)、所述记录内容存储器(4)和所述比较装置(5)被设置在所述设备(1)的物体检测装置(2)中。
9.根据权利要求6至8之一所述的传动装置，所述设备(1)进一步具有：
服务器(6)和网络(7)，所述网络被配置成使所述物体检测装置(2)和所述服务器(7)能够藉由所述网络(7)彼此通信；
其中所述数据库存储器(8)和所述对比装置(9)被设置在所述服务器(6)上。
CN201880081046.7A 2017-12-15 2018-11-20 用于识别构件的损伤的方法和系统 Active CN111527387B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017222964.0 2017-12-15
DE102017222964.0A DE102017222964A1 (de) 2017-12-15 2017-12-15 Verfahren und System zur Schadenserkennung eines Bauteils
PCT/EP2018/081988 WO2019115183A2 (de) 2017-12-15 2018-11-20 Verfahren und system zur schadenserkennung eines bauteils

Publications (2)

Publication Number Publication Date
CN111527387A CN111527387A (zh) 2020-08-11
CN111527387B true CN111527387B (zh) 2022-07-05

Family

ID=64426936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880081046.7A Active CN111527387B (zh) 2017-12-15 2018-11-20 用于识别构件的损伤的方法和系统

Country Status (4)

Country Link
US (1) US11416981B2 (zh)
CN (1) CN111527387B (zh)
DE (1) DE102017222964A1 (zh)
WO (1) WO2019115183A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660057B (zh) * 2019-11-01 2023-03-24 重庆大学 一种基于深度学习的双目自动化齿轮点蚀检测装置
DE102020209509A1 (de) * 2020-07-28 2022-02-03 Sivantos Pte. Ltd. Verfahren zur Fehlererkennung bei einem Hörgerät sowie System
DE102021129359A1 (de) 2021-11-11 2023-05-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Überprüfung einer Fuge
CN114486227B (zh) * 2022-02-18 2023-06-02 中国民用航空飞行学院 一种飞机发动机叶片无损探伤检测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5210704A (en) * 1990-10-02 1993-05-11 Technology International Incorporated System for prognosis and diagnostics of failure and wearout monitoring and for prediction of life expectancy of helicopter gearboxes and other rotating equipment
US6542830B1 (en) * 1996-03-19 2003-04-01 Hitachi, Ltd. Process control system
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
US9177379B1 (en) * 2011-12-14 2015-11-03 Atti International Services Company, Inc. Method and system for identifying anomalies in medical images

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259960B1 (en) * 1996-11-01 2001-07-10 Joel Ltd. Part-inspecting system
FR2852418B1 (fr) * 2003-03-11 2005-09-09 Oxand Systeme et procede de realite virtuelle pour optimiser une inspection visuelle et une expertise d'une structure, notamment en genie civil
US20050279240A1 (en) * 2004-06-22 2005-12-22 Pedanekar Niranjan R Enhanced method and apparatus for deducing a correct rail weight for use in rail wear analysis of worn railroad rails
US8477154B2 (en) * 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
DE102006031009B4 (de) 2006-07-05 2008-07-10 Airbus Deutschland Gmbh Verfahren und Vorrichtung zum Überwachen des Zustands von Strukturbauteilen
US20090030290A1 (en) * 2007-07-23 2009-01-29 Kozuch Michael J Method and apparatus for automated differentiated diagnosis of illness
US7949167B2 (en) * 2008-06-12 2011-05-24 Siemens Medical Solutions Usa, Inc. Automatic learning of image features to predict disease
US20110020122A1 (en) * 2009-07-24 2011-01-27 Honeywell International Inc. Integrated condition based maintenance system for wind turbines
US8854249B2 (en) * 2010-08-26 2014-10-07 Lawrence Livermore National Security, Llc Spatially assisted down-track median filter for GPR image post-processing
US9200979B2 (en) * 2011-04-15 2015-12-01 U.E. Systems, Inc. System for bearing fault detection
US8755589B2 (en) * 2011-09-06 2014-06-17 The Gates Corporation Measurement of belt wear through edge detection of a raster image
US8792705B2 (en) * 2011-11-03 2014-07-29 United Technologies Corporation System and method for automated defect detection utilizing prior data
US9613413B2 (en) * 2012-10-17 2017-04-04 Caterpillar Inc. Methods and systems for determining part wear based on digital image of part
US10102616B2 (en) * 2014-01-28 2018-10-16 Ent. Services Development Corporation Lp Method and system for surface wear determination
EP2921840A1 (en) 2014-03-20 2015-09-23 Areva Wind GmbH Test unit for quantitative analysis of a contact pattern on a tooth surface of a gear, method for quantitative analysis and use of the test unit
US10533920B2 (en) * 2014-08-05 2020-01-14 Acoem France Automatic rotating-machine fault diagnosis with confidence level indication
DE102014112886A1 (de) * 2014-09-08 2016-03-24 Khs Gmbh Polarisationskamera zur Überwachung von Förderbändern
JP6486050B2 (ja) * 2014-09-29 2019-03-20 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
US9524450B2 (en) * 2015-03-04 2016-12-20 Accenture Global Services Limited Digital image processing using convolutional neural networks
US9996804B2 (en) * 2015-04-10 2018-06-12 Facebook, Inc. Machine learning model tracking platform
US10713773B2 (en) 2015-09-08 2020-07-14 General Electric Company System and method for identifying a condition of rotary machine components
US9747683B2 (en) 2015-12-21 2017-08-29 General Electric Company Methods and systems for detecting component wear
US10997329B2 (en) 2016-02-01 2021-05-04 Massachusetts Institute Of Technology Motion sensing wi-fi sensor networks for continuous 3D modeling and prediction of facility responses to disturbances
CN106021639B (zh) * 2016-04-29 2019-12-24 大连楼兰科技股份有限公司 基于cae仿真分析结果的受损零件损伤判断和分类方法及维修工时预估方法
US20170323240A1 (en) * 2016-05-06 2017-11-09 General Electric Company Computing system to control the use of physical state attainment with inspection
US10417614B2 (en) * 2016-05-06 2019-09-17 General Electric Company Controlling aircraft operations and aircraft engine components assignment
KR102392510B1 (ko) * 2016-05-09 2022-04-29 스트롱 포스 아이오티 포트폴리오 2016, 엘엘씨 산업용 사물 인터넷을 위한 방법들 및 시스템들
US20170352199A1 (en) * 2016-06-01 2017-12-07 Esco Corporation Ground engaging tool management
US10270788B2 (en) * 2016-06-06 2019-04-23 Netskope, Inc. Machine learning based anomaly detection
CN106127747B (zh) * 2016-06-17 2018-10-16 史方 基于深度学习的汽车表面损伤分类方法及装置
CN106018544B (zh) * 2016-06-24 2018-03-20 窦柏林 一种钢丝绳全息检测系统
US10445872B2 (en) * 2016-10-07 2019-10-15 Cnh Industrial America Llc Machine control measurements device
WO2018192662A1 (en) * 2017-04-20 2018-10-25 Hp Indigo B.V. Defect classification in an image or printed output
US20180335018A1 (en) * 2017-05-16 2018-11-22 Frontier Wind, Llc Turbine Loads Determination and Condition Monitoring
CA3088082A1 (en) * 2017-11-06 2019-05-09 Us Synthetic Corporation A computer system for assisting on-line guidance for drilling tool and associated drill string components
DE102017126134A1 (de) * 2017-11-08 2019-05-09 Claas Industrietechnik Gmbh Raupenfahrzeug
US11125022B2 (en) * 2017-11-13 2021-09-21 Pioneer Natural Resources Usa, Inc. Method for predicting drill bit wear

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5210704A (en) * 1990-10-02 1993-05-11 Technology International Incorporated System for prognosis and diagnostics of failure and wearout monitoring and for prediction of life expectancy of helicopter gearboxes and other rotating equipment
US6542830B1 (en) * 1996-03-19 2003-04-01 Hitachi, Ltd. Process control system
US9177379B1 (en) * 2011-12-14 2015-11-03 Atti International Services Company, Inc. Method and system for identifying anomalies in medical images
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法

Also Published As

Publication number Publication date
DE102017222964A1 (de) 2019-06-19
US11416981B2 (en) 2022-08-16
CN111527387A (zh) 2020-08-11
WO2019115183A3 (de) 2019-08-08
US20210073962A1 (en) 2021-03-11
WO2019115183A2 (de) 2019-06-20

Similar Documents

Publication Publication Date Title
CN111527387B (zh) 用于识别构件的损伤的方法和系统
Arya et al. Global road damage detection: State-of-the-art solutions
CN108444708B (zh) 基于卷积神经网络的滚动轴承智能诊断模型的建立方法
US9785919B2 (en) Automatic classification of aircraft component distress
US8761490B2 (en) System and method for automated borescope inspection user interface
CN108694712B (zh) 设备损坏预测系统
CN107168294B (zh) 一种火电水系统设备无人巡检监控方法
US9471057B2 (en) Method and system for position control based on automated defect detection feedback
JP7074460B2 (ja) 画像検査装置および方法
US11024019B2 (en) Image-based maintenance prediction and detection of operating errors
JP2015075821A (ja) 状態診断方法および状態診断装置
EP3776462A1 (en) System and method for image-based target object inspection
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
US20220292666A1 (en) Systems and methods for detecting wind turbine operation anomaly using deep learning
KR20210061517A (ko) 머신러닝에 의해 생성된 가상 데이터를 이용한 고장 진단 방법 및 장치
US10134122B2 (en) System and method of distributed processing for machine-vision analysis
CN113168295A (zh) 用于在物品上进行印刷的校准测试的装置和方法
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
CN113778091A (zh) 一种风电场升压站设备巡检方法
CN112270333A (zh) 一种针对电动车识别的电梯轿厢异常检测方法及系统
JP2005031952A (ja) 画像処理検査方法および画像処理検査装置
WO2023084849A1 (ja) 検査方法および検査装置
KR102629092B1 (ko) 태양광 패널 결함 검출 시스템 및 방법
CN116136500A (zh) 用于监测链条健康的系统和方法
US20210306547A1 (en) System and edge device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant