CN112534470A - 用于基于图像的目标对象检验的系统及方法 - Google Patents

Abstract

系统（200）包括一个或多个处理器（204），一个或多个处理器（204）被配置成使用对图像帧执行的边界分析来检测如图像帧（302）的系列（300）中所描绘的涡轮组装件（230）的一个或多个转子叶片（234）的周界边缘（306）。一个或多个处理器被配置成基于在图像帧中检测到的周界边缘与参考叶片姿势（350）之间的位置偏移（354）而将图像帧的集合（400）标识为关键帧（402），使得能够检验关键帧是否有感兴趣对象，而不检验不是关键帧的图像帧。

Description

用于基于图像的目标对象检验的系统及方法

优先权信息

本申请要求保护对于在2018年3月30日提交的序列号为15/941589的美国专利申请的优先权，该申请通过引用而合并于本文中。

技术领域

本文中所描述的主题涉及被配置成分析图像帧以检验目标对象的检验系统（inspection system）。

背景技术

图像分析系统能够用于检验各种目标对象（诸如，工业应用、机动车应用以及航空应用中的机械）的状况、健康或状态。图像分析系统典型地通过获得操作中的目标对象的图像数据而检验给定的目标对象。图像分析系统使用一个或多个神经网络和/或其它图像分析技术来分析所接收的图像数据，以在图像数据内搜索特定特征或对象。由图像分析系统提供的自动分析可比由人类操作者直接地检查目标对象或检查目标对象的图像数据而执行的传统手动检验明显地更高效和/或准确。

被自动图像分析系统采用的分析技术和推算（calculation）可在计算上是密集的。由于复杂计算的原因，已知的图像分析系统的效率可能随着分析的图像数据的工作量增加而降低。由于增加的工作量而导致的低效可能使图像分析系统能够分析图像数据并且得到结果的速度减慢（例如，相对于更高效的图像分析过程和系统）。低效还可能要求用于对执行计算的处理硬件进行供电和/或冷却的额外的电能。用于改进图像分析系统的操作效率的一个选择是要修改图像分析技术，以降低所执行的计算的复杂性和强度。然而，使图像分析技术简化可能有损检验的质量（例如，准确度和/或精度）。

发明内容

在实施例中，提供了一种系统（例如，检验系统），该系统包括被配置成使用对图像帧执行的边界分析来检测如图像帧的系列中所描绘的涡轮组装件的一个或多个转子叶片（rotor blade）的周界边缘的一个或多个处理器。一个或多个处理器被配置成基于在图像帧中检测到的周界边缘与参考叶片姿势（pose）之间的位置偏移而将图像帧的集合标识为关键帧，使得能够检验关键帧是否有感兴趣对象，而不检验不是关键帧的图像帧。

在实施例中，提供了一种方法（例如，用于执行基于图像的目标对象检验），该方法包括在涡轮组装件旋转时获得描绘涡轮组装件的多个转子叶片的图像帧的系列。图像帧中的每个描绘转子叶片中的一个或多个。该方法包括：由一个或多个处理器使用对图像帧执行的边界分析来检测图像帧中的每个中所描绘的一个或多个转子叶片的周界边缘。该方法还包括：基于在图像帧中检测到的周界边缘与参考叶片姿势之间的位置偏移而经由一个或多个处理器将图像帧的集合标识为关键帧；以及检验关键帧是否有感兴趣对象，而不检验不在关键帧的集合中的图像帧。

在实施例中，提供了一种方法（例如，用于执行基于图像的目标对象检验），该方法包括由一个或多个处理器使用对图像帧执行的边界分析来检测如图像帧的系列中所描绘的涡轮组装件的一个或多个转子叶片的周界边缘。该方法包括基于在图像帧中检测到的周界边缘与参考叶片姿势之间的位置偏移而经由一个或多个处理器将图像帧的集合标识为关键帧。该方法还包括：将掩模图像应用于关键帧上，以限定关键帧上的暴露区域。暴露区域表示相应关键帧中的主转子叶片的表面区。该方法还包括：检验关键帧的暴露区域，以检测相应主转子叶片上的感兴趣对象，而不检验暴露区域之外的关键帧的区域。

附图说明

将通过参考附图阅读非限制性实施例的以下描述来更好地理解本发明主题，下面在附图中：

图1图示用于图像分析的神经网络系统的一个实施例；

图2是根据实施例的检验系统的框图；

图3是示出图像帧的系列的图，所述图像帧的系列准备好使用被训练成检测图像数据中所描绘的目标对象的边界的人工神经网络来检查；

图4示出根据实施例的由图3中所示出的人工神经网络生成的三个输出边界图像；

图5是图示根据实施例的被标识为关键帧的图像帧的集合和图像帧的系列的图；

图6图示根据实施例的叠加于关键帧中的一个上的掩模图像（mask image）；以及

图7是图示根据实施例的控制电路如何使模板掩模图像变形以使模板掩模图像适合（fit）于每个单独的关键帧的图；以及

图8是根据实施例的用于对目标对象执行基于图像的检验的方法的流程图。

具体实施方式

本文中所描述的实施例提供具有优于已知的基于图像的检验系统及方法的改进的效率的用于执行基于图像的目标对象检验的检验系统及方法。例如，检验系统及方法的实施例可通过在对剩余的未被过滤的图像数据执行图像分析之前智能地滤出冗余并且无关的图像数据来提高效率。

可在随时间推移而获取的多个图像帧内限定图像数据，其中图像帧中的每个示出在不同时刻的旋转目标对象的部分。可希望的是，通过分析图像帧而检验目标对象，以检测诸如缺陷之类的特定感兴趣对象。但是，目标对象的区中的一些可在多个图像帧中捕获，因此对示出目标对象的相同区的图像帧中的每个执行图像分析可能是冗余的和/或浪费计算资源。另外，图像帧中的图像数据中的一些可描绘与检验任务不相关的主题，诸如目标对象后面的背景环境、用于基于图像的检验的在不希望位置中的目标对象的部分和/或不打算检验的目标对象的部分。

本文中所描述的检验系统及方法的一个或多个实施例选择示出在希望位置中的目标对象的不同区的图像帧以用于分析，同时滤出可能示出目标对象的这些相同区是不那么希望的位置（诸如，未揭示分析目标对象所需要的信息的位置）的其它未被选择的帧。可选地，可仅对能够在本文中被称为关键帧的所选择的图像帧执行图像分析。滤出未被选择的图像帧减少执行图像分析的处理器上的工作量，而不损害检验质量，因为被滤出的主题对于关键帧中的主题是冗余的。

此外，检验系统及方法的实施例可过滤或掩蔽被确定为对于检验任务无关的关键帧的区域。例如，描绘背景环境的关键帧的区域、位于不希望位置中示出的目标对象的部分和/或不打算检验的目标对象的部分可被掩蔽。仅可分析关键帧的剩余的未被掩蔽或暴露的区域，以用于感兴趣对象检测。本文中所描述的主题的至少一个技术效果保证了（provide for）视觉检验系统中的冗余和/或无关的图像数据的自动滤出，以便能够明显地减少提交用于感兴趣对象图像分析的图像数据的量，而不使检验质量妥协。由于减少的工作量，目标对象的检验可比一些其它已知的图像分析系统（例如，其在执行图像分析之前不过滤图像帧中的图像数据）更高效地执行。

图1图示用于图像分析的神经网络系统100的一个实施例。神经网络系统100使用一个或多个深度人工神经网络102（在本文中被称为“神经网络”102）来提供图像中的自动感兴趣对象检测及识别。神经网络102由一个或多个处理器（例如，微处理器、集成电路、现场可编程门阵列或诸如此类）形成。神经网络102被分成两层或更多层104，诸如接收输入图像106的输入层104A、将输出图像108输出的输出层104B以及在输入层104A与输出层104B之间的一个或多个中间层104C。神经网络102的层104表示人工神经元或节点的不同的群组或集合，其能够表示由一个或多个处理器对输入图像106执行的不同函数，以标识输入图像106中的对象或特征。人工神经元在应用于输入图像106的函数中应用不同的权重，以尝试标识输入图像106中的对象。

通过基于像素的特性的分析而给输出图像108中的不同像素指派不同的对象类别或使输出图像108中的不同像素与不同的对象类别相关联，由神经网络102生成输出图像108。对象类别是在图像中出现的对象的类型或种类。例如，人体能够是一个对象类别，并且车辆是不同的第二对象类别。像素能够通过向量[a b c d]以该像素表示各种不同的对象类别的概率被标记（例如，与所述概率相关联），其中，a、b、c以及d的值指示表示不同类别的对象或事物中的每个的像素的概率。因为神经网络102可能在预测由不同像素表示什么对象的方面不是100%准确，所以如图1中所示出的，输出图像108可能不是精确地类似于或描绘输入图像106中的对象。

神经网络102的层104中的人工神经元能够检查形成输入图像106的单独的像素114。处理器（作为人工神经元而操作）能够使用线性分类来推算对象的不同种类（在本文中被称为“类别”）（诸如，树、汽车、人、热障涂层的剥落（spalling）、表面中的开裂、标志或诸如此类）的分类得分。这些分类得分能够指示像素114表示不同类别的概率。例如，对于像素114的分类得分能够表示为向量（例如，上述的向量[a b c d]）。分类得分在本文中被称为分类向量。每个人工神经元能够将数学函数（诸如，激活函数）应用于同一像素，其中不同的神经元所应用的函数对其它神经元所应用的函数造成影响。与一个或多个或所有其它神经元相比，不同的神经元可将不同的权重应用于不同的函数中的项。函数的应用生成对于像素114的分类向量，对于像素114的分类向量能够用于标识输入图像106中的对象。

在至少一个实施例中，从诸如相机或管道镜（borescope）之类的来源经由一个或多个有线和/或无线连接将输入图像106提供给神经网络102。神经网络102的层104中的神经元检查输入图像106的像素114的特性（诸如强度、颜色或诸如此类），以确定各个像素114的分类向量。神经网络102中的人工神经元的层104能够按相继顺序检查输入图像106，其中神经元的一个中间（或隐藏）层104C检查每个像素114，随后是相邻的中间层104C中的神经元等等，以推算像素114的分类向量。由层104中的神经元将函数应用于像素114的特性基于由神经网络102中的先前的层104中的神经元应用的函数的结果。

在神经网络102的层104已确定像素114的分类向量之后，神经网络102检查每个像素114的分类向量，并且针对每个像素114确定哪个对象类别具有最高概率或针对每个像素114确定哪个对象类别具有比一个或多个或所有其它对象类别更高的概率。例如，输入图像106中具有[0.6 0.15 0.05 0.2]的分类向量的第一像素指示神经网络102推算出第一像素表示第一对象类别（例如，人体或人）的60%概率、第一像素表示第二对象类别（例如，汽车）的15%概率、第一像素表示第三对象类别（例如，树）的5%概率以及第一像素表示第四对象类别（例如，地面）的20%概率。

输出图像108是基于输入图像106中像素114的所确定的概率的表示。例如，输出图像108中的不同区116、118分别代表输入图像106中的对象110、112。区116、118可稍微地表示对应对象110、112，但由于像素114中的至少一些的分类向量中的概率小于100%，因而区116、118不准确地表示或指示对象110、112。处理器能够确定每个像素114表示具有该像素114的对应分类向量中的最高或最大概率的对象类别。例如，由于60%概率的原因，处理器能够确定上述的第一像素表示人。能够针对输入图像106中的若干像素114或所有其它像素114而重复进行该过程。

与网络中的每个向量和神经元相关联的权重值对输入图像如何与神经元的输出相关进行约束。权重值能够由通过网络的训练数据的迭代流来确定。例如，在训练阶段期间，确立权重值，在所述训练阶段中，网络学习如何以训练或地面实况图像（ground truthimage）中的对象的典型的输入数据特性来标识特定对象类别。在训练阶段期间，所标记的训练或地面实况图像输入到人工神经网络中。所标记的训练图像是如下的图像：其中形成图像的所有像素或绝大部分的像素与对象类别相关联。在所标记的训练图像中，标记为[10 0 0]的像素能够指示存在像素表示第一类别（例如，由概率a表示的对象类别人体）的对象的至少一部分的100%概率、像素表示不同的第二类别（例如，由概率b表示的对象类别车辆）的对象的至少一部分的零概率、像素表示不同的第三类别（例如，由概率c表示的对象类别地面）的对象的至少一部分的零概率以及像素表示不同的第四类别（例如，由概率d表示的对象类别树）的对象的至少一部分的零概率。

使用所标记的训练图像或地面实况图像对神经网络102进行额外的训练能够改进神经网络102在识别输入到神经网络102中的图像中的对象时的准确度，使得输出图像108中的区116、118更接近地类似于输入图像106中的对应对象110、112。神经网络102的额外的训练能够通过提高给定的像素表示多个对象类别中的特定类别的所确定的概率而改进准确度。通过修改不同层104中的人工神经元的权重和/或函数而提高概率。

图2是根据实施例的检验系统200的框图。检验系统200包括可操作地连接到存储器存储装置206的控制电路202。控制电路202包括一个或多个处理器204。存储器存储装置206是有形且非暂时性的计算机可读介质，并且在本文中被称为“存储器”206。检验系统200还可包括成像装置208。成像装置208被配置成获取描绘目标对象的图像数据。在所图示的实施例中，目标对象是包括机械地耦合到中央鼓（drum）或轴232并且从中央鼓或轴232向外径向地突出的多个转子叶片234的涡轮组装件230。在涡轮组装件230围绕鼓232旋转时，成像装置208准备好获取转子叶片234的图像数据。控制电路202和存储器206被配置成从成像装置208获得转子叶片234的图像数据。

控制电路202（例如，其一个或多个处理器204）被配置成分析图像数据，以检验涡轮组装件230。例如，如在本文中更详细地描述的，控制电路202被配置成分析图像数据，以滤出并且丢弃冗余和/或无关的图像数据，从而产生描绘涡轮组装件230的离散且相关的部分的图像数据集。在选择离散且相关的图像数据集之后，控制电路202可被配置成对所选择的图像数据集执行自动感兴趣对象检测。自动感兴趣对象检测可以是被配置成检测转子叶片234的图像数据中的一个或多个特定对象或特征（诸如，剥落、开裂以及其它缺陷）的机器学习算法或分析技术。例如，存储器206可存储图1中所示出的人工神经网络102，人工神经网络102可被训练成识别并且检测转子叶片上的诸如剥落和开裂之类的缺陷。控制电路202可访问存储器206，以检查神经网络102内的所选择的图像数据集。备选地，所选择的图像数据集可传送到对所选择的集合执行自动感兴趣对象检测的另一处理装置。

控制电路202包括和/或表示如下的一个或多个硬件电路或电路系统：所述一个或多个硬件电路或电路系统包括一个或多个处理器204、控制器和/或其它基于硬件逻辑的装置，与以上项连接，或既包括以上项又与以上项连接。控制电路202可包括中央处理单元（CPU）、一个或多个微处理器、图形处理单元（GPU）或能够根据特定逻辑指令而处理所输入的数据的任何其它电子组件。例如，控制电路202可执行存储于存储器206上或存储于另一个有形且非暂时性的计算机可读介质上的指令。存储器206可包括或表示闪速存储器、RAM、ROM、EEPROM和/或诸如此类。存储器206可存储由成像装置208获得的目标对象的图像数据。如本文中所描述的，存储器206还被配置成存储被控制电路202用于选择关键帧的（在图4中示出的）参考叶片姿势350。存储器206还可用于存储一个或多个人工神经网络，诸如，神经网络102。控制电路202可访问存储器206，以检索图像数据和参考叶片姿势，并且在一个或多个神经网络内检查图像数据。在备选实施例中，存储器206没有存储任何神经网络，因为所选择的关键帧被远程地传递用于感兴趣对象检测，而不是在本地由控制电路202使用存储于存储器206内的一个或多个神经网络来执行。

成像装置208被配置成随时间推移而获取或捕获图像数据。成像装置208可以是固定的，并且可在涡轮组装件230旋转时获取转子叶片234的图像数据。图像数据由图像帧的系列表示。图像帧可以是视频的帧和/或静止图像。成像装置208可以是相机、传感器、扫描仪或诸如此类。图像帧中的每个由表示在特定图像帧被捕获时在成像装置208的视场中的主题的图像数据组成。在一个或多个实施例中，成像装置208相对于涡轮组装件230设立，使得成像装置208的视场仅捕获涡轮组装件230的一部分。例如，由成像装置208获取的每个图像帧可描绘涡轮组装件230的叶片234中的仅一个或多个，诸如叶片234中的仅一个、仅两个或仅三个。随着涡轮组装件230旋转，转子叶片234以均匀移动模式移动通过成像装置208的视场。例如，转子叶片234可在完全离开视场之前，顺序地从视场顶部向下移动到视场底部。

成像装置208被配置成在涡轮组装件230旋转时，以所设定的帧获取速率获取涡轮组装件230的图像帧。帧获取速率可设定成不同于涡轮组装件230的转速，使得随时间推移，至少部分地在由成像装置208捕获的多个不同的图像帧中描绘转子叶片234中的每个。如果帧获取速率等同于涡轮组装件230的转速或为涡轮组装件230的转速的倍数，在没有捕获转子叶片234中的每个的情况下，图像帧可仅描绘转子叶片234的子集。在至少一个实施例中，帧获取速率足够高，使得涡轮组装件230的特定转子叶片234能够在顺序地获取的至少两个图像帧内被跟踪移动通过成像装置208的视场。

在实施例中，涡轮组装件230可以是在燃气涡轮发动机、涡轮增压器或诸如此类中使用的涡轮。例如，当涡轮组装件230是燃气涡轮发动机的组件时，叶片234表示燃气涡轮发动机的翼型（airfoil）。在其它实施例中，涡轮组装件230可具有不同数量的转子叶片234，并且转子叶片234可围绕鼓232具有不同的形状和/或间距。例如，涡轮组装件230可包括几十或几百个叶片234，并且叶片234可比所图示的实施例更近地部署在一起。在备选实施例中，代替涡轮组装件，由成像装置208捕获的目标对象可以是发动机、轮或诸如此类的另一组件。

可选地，控制电路202可操作地连接到检验系统200的输入/输出（I/O）装置222。I/O装置222可包括允许操作者与控制电路202交互的显示器和/或用户接口。用户接口被配置成从检验系统200的操作者接收输入。例如，操作者可使用用户接口来激活和停用成像装置208的操作、选择成像装置208的设置（例如，帧获取速率）以及诸如此类。用户接口可包括键盘、鼠标、触摸板、一个或多个物理按钮和/或诸如此类。显示器可以是液晶显示器（例如，发光二极管（LED）背光）、有机发光二极管（OLED）显示器、等离子体显示器、CRT显示器和/或诸如此类。显示器可被配置成显示由成像装置208获得的图像帧。可选地，显示器可以是至少包括用户接口的一部分的触摸屏显示器。可选地，I/O装置可包括用于警告操作者的额外的输出，诸如音频扬声器、振动装置或诸如此类。

控制电路202可以可操作地耦合到检验系统200的通信装置212。通信装置212可包括诸如收发器、接收器、传送器和/或诸如此类之类的硬件以及相关联的电路系统（例如，天线）。通信装置212被配置成与成像装置208和/或诸如远程服务器、移动装置（例如，被操作者持有）或诸如此类之类的另一装置无线地通信。

控制电路202被配置成获得由成像装置208获取的图像帧。例如，控制电路202可经由通信装置212无线地或经由有线传导通路（例如，电缆）从成像装置208直接地接收图像帧。在另一实施例中，图像帧可从成像装置208传送到诸如服务器之类的远程装置，并且远程装置可将图像帧传送到控制电路202。控制电路202可将所接收的图像帧存储于存储器206中。

所图示的实施例中的检验系统200包括控制电路202、存储器206、I/O装置222、通信装置212以及成像装置208，然而认识到的是，组件中的至少一些可部署于单独且离散的装置中。在至少一个实施例中，控制电路202、存储器206、通信装置212以及I/O装置222可以是诸如计算机（例如，台式电脑、膝上型电脑、平板电脑、智能电话、移动工作站等）之类的共有装置内的组件。例如，尽管未示出，但控制电路202、存储器206、通信装置212以及I/O装置222通常可被壳体或外壳环绕。成像装置208可表示位于壳体之外并且定位成远离壳体的单独且离散的装置。成像装置208经由有线连接（例如，插头）或无线通信链路可操作地连接到控制电路202。在另一实施例中，成像装置208可以是至少与控制电路202和存储器206相同的装置中的组件。通信装置212和I/O装置222可以是检验系统200的可选组件。

图3是示出图像帧302的系列300的图，所述图像帧302的系列300准备好使用被训练成检测图像数据中所描绘的目标对象的边界的人工神经网络304来检查。图像帧302的系列300表示由（在图2中示出的）成像装置208获得的图像帧中的至少一些。例如，图像帧302中的每个描绘涡轮组装件230的一个或多个叶片234（图2）。在涡轮组装件230旋转时，在不同的时间捕获图像帧302。系列300可包括任何数量的图像帧302，诸如几百或几千个图像帧302。在本文中所描述的一个或多个实施例中，一旦图2中所示出的控制电路202（例如，其一个或多个处理器204）获得由成像装置208获取的图像帧302的系列300。控制电路202被配置成滤出图像帧302内被确定为冗余和/或与检验任务无关的图像数据，由此减少经受用于检测转子叶片234上的感兴趣对象（诸如，缺陷）的在计算上密集的分析技术的图像数据的量。例如，控制电路202可根据编程指令选择性地从系列300滤出图像帧302中的一些，以减少被分析以便检测转子叶片234上的缺陷或其它感兴趣对象的图像帧302的数量。

控制电路202（例如，其一个或多个处理器204）被配置成对图像帧302的系列300执行边界分析，以检测图像帧302中所描绘的一个或多个转子叶片234的周界边缘306。尽管在所图示的实施例中，边界检测神经网络304用于执行边界检测，但在备选实施例中，不同的图像分析技术可用于检测图像帧302中的转子叶片234的周界边缘306。例如，图像分析技术可包括边缘检测、边缘拟合、边缘配准（edge registration）等中的一个或多个。

控制电路202可在执行图像分析技术之前利用被检测到的周界边缘306来滤出冗余和/或无关的图像数据，以检测剩余的未被过滤的图像数据中的感兴趣对象。图像帧302中所描绘的转子叶片234的周界边缘306包括远侧边缘310和纵向边缘312。例如，涡轮组装件230的转子叶片234中的每个可从鼓232（图2）向外径向地延伸到与附接到鼓232的端部相对的相应远侧边缘310。每个转子叶片234还包括将转子叶片234的长度从鼓232延伸到相应远侧边缘310的至少两个纵向边缘312。

图3中所示出的系列300中的第一图像帧302A描绘第一转子叶片234A和与第一转子叶片234A相邻的第二转子叶片234B。尽管第一转子叶片234A可具有与第二转子叶片234B相等的大小，但由于当第一图像帧302A被捕获时涡轮组装件230相对于成像装置208的定位的原因，在第一图像帧302A中描绘的是第一转子叶片234A的比第一图像帧302A中所描绘的第二转子叶片234B的百分率更大的百分率。例如，与第二转子叶片234B相比，第一转子叶片234A在第一图像帧302A内占据更大的面积。第一图像帧302A示出第一转子叶片234A和第二转子叶片234B中的每个的远侧边缘310的部分和第一转子叶片234A的下部纵向边缘312。

纵向边缘312可在本文中被称为“上部”和“下部”纵向边缘312，以在每个转子叶片234的两个纵向边缘312之间进行区分和标识，并且指定“上部”和“下部”仅基于转子叶片234的所图示的取向。由于当第一图像帧302A被捕获时，第一转子叶片234A的上部纵向边缘和第二转子叶片234B的下部纵向边缘位于成像装置208的视场之外，因而在第一图像帧302A中既未示出第一转子叶片234A的上部纵向边缘，也未示出第二转子叶片234B的下部纵向边缘。在所图示的实施例中，第一转子叶片234A与第二转子叶片234B重叠，使得第一转子叶片234A的下部纵向边缘312可见，但第二转子叶片234B的上部纵向边缘隐藏在第一转子叶片234A后面。

人工神经网络304可表示或可类似于图1中所示出的神经网络102。在至少一个实施例中，控制电路202被配置成利用神经网络304来检测从成像装置208获得的图像帧中所描绘的转子叶片234的周界边缘306。神经网络304可在本文中被称为边界检测神经网络304。边界检测神经网络304被训练成检测输入到边界检测神经网络304中的图像帧302内的转子叶片234的周界边缘306。在实施例中，边界检测神经网络304是作为一类深度人工神经网络的卷积神经网络。边界检测神经网络304包括被训练成标识给定任务的表示的多个层314。在边界检测任务中，边界检测神经网络304被训练成在图像帧302中所描绘的转子叶片234的远侧边缘310和纵向边缘312之间进行区分和标识。如在上文中参考图1中的神经网络102所描述的，可使用带注释的训练图像集来训练边界检测神经网络304。边界检测神经网络304可被训练成将转子叶片234的周界边缘306和不与周界边缘306相关联的图像帧302中的其它边缘（诸如，图像帧302的背景中的边缘和沿着转子叶片234的内表面区的涂层、缺陷以及诸如此类的边缘）进行区分。因而，边界检测神经网络304可被配置成检测所识别的对象的语义边界（semantic boundary），而不是检测图像帧302中所描绘的所有边缘或边界。

控制电路202被配置成通过边界检测神经网络304的人工神经元的层314检查系列300的图像帧302，以便通过边界检测神经网络304自动识别周界边缘306。例如，控制电路202可将系列300的图像帧302引入到边界检测神经网络304的输入层314A。图像帧302可一次一个地作为输入图像通过层314沿向前传播方向被引入。例如，可在检查第二图像帧302B之前通过层314检查第一图像帧302A。

类似于图1中所示出的神经网络102，边界检测神经网络304的层314可将各种函数中的各种权重应用于输入图像帧302中的每个，以识别图像帧302中所描绘的转子叶片234的纵向边缘312和远侧边缘310。例如，神经网络304可为图像帧302中的像素的中的每个确定对象类别概率，并且对象类别概率可通过推算像素表示不同对象类别的似然而确定。例如，第一对象类别可表示转子叶片的远侧（或竖直）边缘，第二对象类别可表示转子叶片的纵向（或水平）边缘，第三对象类别可表示转子叶片后面的背景，并且第四对象类别可表示转子叶片的表面区（例如，远侧边缘和纵向边缘的内部）。图像帧302中的一个的示例像素可被神经网络304确定为具有[0.1 0.6 0.2 0.1]的分类向量，该分类向量指示像素具有表示转子叶片的纵向边缘的60%概率。神经网络304可被配置成针对所检查的图像帧302中的每个图像帧302中的每个像素而选择最高概率。所选择的概率可用于使对应像素的分类向量转换成独热向量（one-hot vector）。关于先前的示例，分类向量[0.1 0.6 0.2 0.1]将转换成独热向量[0 1 0 0]，这指示像素被确定为转子叶片234中的一个的纵向边缘312的一部分。

边界检测神经网络304可选地生成输出边界图像322的集合320。输出边界图像322仅示出所检测的周界边缘306，诸如远侧边缘310和纵向边缘312。被预测为表示转子叶片234的表面区和转子叶片234之外的背景的像素可在输出边界图像322中涂黑。基于通过神经网络304检查的图像帧302中的不同的一个来生成输出边界图像322中的每个。例如，第一输出边界图像322A是基于第一图像帧302A而生成的，并且对应于第一图像帧302A。第一输出边界图像322A示出第一转子叶片234A的所检测的远侧边缘310和下部纵向边缘312以及第二转子叶片234B的远侧边缘310。输出边界图像322可类似于对应输入图像帧302，但可能未精确地匹配输入图像帧302，因为神经网络304可能在预测像素中的哪些表示转子叶片234的周界边缘306的方面不是100%准确。

在至少一个实施例中，控制电路202被配置成利用输出边界图像322中所描绘的转子叶片234的所检测的周界边缘306来将图像帧302的集合标识为（在图5中示出的）关键帧402。控制电路202可基于图像帧302中的每个中的周界边缘306与（在图4中示出的）参考叶片姿势350之间的位置偏移而标识关键帧402。参考叶片姿势350表示转子叶片234相对于图像帧302的外周界而在图像帧302内占据的希望位置。

参考叶片姿势350可存储于存储器206中。例如，存储器206可存储参考叶片姿势350的坐标。参考叶片姿势350可由操作者选择或指定或可具有默认值或位置。可选择参考叶片姿势350，使得与参考叶片姿势350对准的所描绘的转子叶片234在良好位置中，以便执行用于检测感兴趣对象的图像分析。例如，与参考叶片姿势350对准的所描绘的转子叶片234可在图像帧302的大体上居中的位置中，并且图像帧302可描绘转子叶片234的相对大的表面区。

图4示出根据实施例的由图3中所示出的边界检测神经网络304生成的输出边界图像322中的三个。三个输出边界图像322各自基于输入到神经网络304中的（在图3中示出的）图像帧302中的不同的一个而生成。例如，三个输出边界图像322包括与第一图像帧302A对应第一输出边界图像322A、第二输出边界图像322B以及第三输出边界图像322C。三个输出边界图像322A-322C可基于系列300中的连续图像帧302。例如，第二输出边界图像322B可基于紧接在第一图像帧302A前面（例如，紧接在捕获第一图像帧302A之前捕获）的图像帧302而生成。第三输出边界图像322C可基于紧接在第一图像帧302A以后（例如，紧接在捕获第一图像帧302A之后捕获）的图像帧302而生成。因此，按时间顺序，第一输出边界图像322A表示在给定时间的（在图2中示出的）涡轮组装件230的转子叶片234的位置，所述给定时间紧接在第二输出边界图像322B中所描绘的转子叶片234的位置之后并且紧接在第三输出边界图像322C中所描绘的转子叶片234的位置之前。

第二输出边界图像322B描绘第一转子叶片234A和第二转子叶片234B的周界边缘306。特定地，第二输出边界图像322B示出第一转子叶片234A的远侧边缘310和下部纵向边缘312以及第二转子叶片234B的远侧边缘310。第一输出边界图像322A也示出第一转子叶片234A和第二转子叶片234B的相同周界边缘306，但由于涡轮组装件230旋转，因而转子叶片234A、234B在与先前的第二输出边界图像322B中的转子叶片234A、234B不同的位置中。例如，在所图示的实施例中，转子叶片234随时间推移沿向下的方向330移动通过成像装置208的视场。第三输出边界图像322C示出在第三输出边界图像322C的底部处的第一转子叶片234A的远侧边缘310。第三输出边界图像322C还示出与第一转子叶片234A相邻的第三转子叶片234C的远侧边缘310和下部纵向边缘312。第一转子叶片234A部署于涡轮组装件230上的第二转子叶片234B与第三转子叶片234C之间。

参考叶片姿势350叠加于图4中所示出的输出边界图像322A-C中的每个上。在所图示的实施例中，参考叶片姿势350由线352表示，线352具有相对于输出边界图像322A-C的外周界的所限定的位置和斜率。因而，参考叶片姿势350示出为在输出边界图像322A-C中的每个中的相同位置中。线352对应于转子叶片234的下部纵向边缘312。控制电路202被配置成确定参考叶片姿势350与转子叶片234的下部纵向边缘312之间的位置偏移354。位置偏移354可表示线352与下部纵向边缘312之间的距离。该距离可基于使线352与下部纵向边缘312分离的像素的数量或另一测量单位来推算或测量。尽管参考叶片姿势350示出为与转子叶片234的下部纵向边缘312对应大体上水平的线352，但其它实施例中的参考叶片姿势350可表示与转子叶片234的远侧边缘310对应大体上竖直的线、转子叶片234的完整周界轮廓、表示转子叶片234的特定特征（诸如，拐角）的几个所选择的点或诸如此类。

控制电路202可被配置成对不同的输出边界图像322的位置偏移354进行比较，以确定哪些图像帧302比其它图像帧302中所描绘的转子叶片234更好地描绘与参考叶片姿势350对准的转子叶片234。例如，与较大的位置偏移354相比，较小的位置偏移354表示与参考叶片姿势350的更大量的对准。如果给定的输出边界图像322的位置偏移354相对于所指定的阈值或相对于其它输出边界图像322足够小，则与给定的输出边界图像322对应图像帧302可被控制电路202选择为（在图5中示出的）关键帧402。在所图示的实施例中，第一输出边界图像322A的位置偏移354小于第二输出边界图像322B和第三输出边界图像322C的位置偏移354。因此，与第一输出边界图像322A对应第一图像帧302A比与第二输出边界图像322B和第三输出边界图像322C相关联的图像帧302具有被选择为关键帧402之一的更大的概率。

可使用距离变换、光流算法、特征匹配算法、卷积神经网络或诸如此类来推算或测量位置偏移354。

图5是图示根据实施例的被标识为关键帧402的图像帧302的系列300和图像帧302的集合400的图。尽管在图5中图示十个不同的图像帧302，但系列300可包括几百或几千个图像帧302。选择图像帧302的集合400，以基于图像帧302中的所描绘的转子叶片234的周界边缘306与参考叶片姿势350之间的位置偏移354来表示关键帧402。控制电路202可被配置成根据编程指令从图像帧302的总数中选择或标识关键帧402。

在至少一个实施例中，控制电路202被配置成响应于周界边缘306与参考叶片姿势350之间的位置偏移354小于所指定的阈值或范围，将给定的图像帧302指定为关键帧402。例如，所指定的阈值可以是所指定的数量的像素，诸如一百个像素或两百个像素，或可基于另一测量单位。描绘在距参考叶片姿势350的所指定的阈值或范围内具有周界边缘306的转子叶片234的图像帧302可被标识为关键帧402。描绘在距参考叶片姿势350的所指定的阈值或范围内不具有任何周界边缘306的转子叶片234的图像帧302不被标识为关键帧402。

在另一实施例中，控制电路202被配置成响应于周界边缘306与参考叶片姿势350之间的位置偏移354小于紧接在系列300中的给定的图像帧302之前和之后获取的图像帧302中的每个中的相应位置偏移354，将给定的图像帧302指定为关键帧402。例如，图4中所示出的三个输出边界图像322A-C基于系列300中的三个连续图像帧302而生成。第一输出边界图像322A的位置偏移354小于第二输出边界图像322B和第三输出边界图像322C的位置偏移354。因此，（在图3中示出的）第一图像帧302A的位置偏移354小于紧接在（例如，用于生成第二输出边界图像322B的图像帧302）之前和紧接在（例如，用于生成第三输出边界图像322C的图像帧302）之后获取的图像帧302的位置偏移354中的每个。在该场景下，与第一输出边界图像322A相关联的第一图像帧302A满足作为关键帧402中的一个的选择的标准。紧接在第一图像帧302A之前和之后的图像帧302不满足标准，并且将不被选择为关键帧402。

在又一实施例中，控制电路202被配置成响应于周界边缘306与参考叶片姿势350之间的位置偏移354小于系列300中图像帧302的给定百分率的位置偏移354，将给定的图像帧302指定为关键帧402。例如，控制电路202可针对系列300中的图像帧302中的每个而推算或测量位置偏移354，并且可基于从最低（或最小距离）到最高（或最大距离）的位置偏移354对图像帧302进行排序。最低位置偏移354表示描绘转子叶片234的与参考叶片姿势350最接近或最大程度地对准的周界边缘306的图像帧302。控制电路202可被配置成将具有最低位置偏移354的给定数量或百分率的全部的图像帧302标识为关键帧402。在非限制性的示例实施例中，控制电路202可将系列300中具有最低位置偏移354的20%的图像帧302选择为关键帧402，并且剩余的80%的图像帧302不被标识为关键帧402。因此，在具有一百个图像帧302的系列300中，控制电路202可将具有最低位置偏移354的二十个图像帧302指定为关键帧402的集合400。

可选地，集合400中的关键帧402的数量可对应于涡轮组装件230中的转子叶片234的总数。例如，关键帧402的数量可等于涡轮组装件230中的转子叶片234的数量。因此，对于具有一百个转子叶片234的涡轮组装件230，控制电路202可被配置成标识一百个关键帧402。关键帧402中的每个可描绘在关键帧402中主要位置或居中的位置中的转子叶片234中的不同的一个。如本文中所使用的，在关键帧402中的每个中主要位置或居中的位置中的转子叶片234可被称为与参考叶片姿势350对准，然而，认识到的是，关键帧402中的转子叶片234的周界边缘306可从参考叶片姿势350偏移。参考回图4，在图像帧302中的至少三个中描绘第一转子叶片234A，但仅描绘第一转子叶片234A的第一图像帧302A被标识为关键帧402。控制电路202可被配置成选择关键帧402，使得关键帧402中的每个示出在主要位置或居中的位置中的转子叶片234中的不同的一个，并且所有转子叶片234都在关键帧402中表示。结果，图像数据中的冗余被消除或至少减少。

在实施例中，可使用图像分析来检验被标识为关键帧402的图像帧302，以便检测涡轮组装件230的转子叶片234上的感兴趣对象。例如，关键帧402可一次一个地作为输入图像沿向前传播方向通过人工神经网络404中的人工神经元的层406被检查。人工神经网络404可表示图1中所示出的神经网络102或可类似于神经网络102。

神经网络404可被训练成检测转子叶片234中作为感兴趣对象的剥落、开裂、外部碎片以及其它类型的缺陷。剥落表示其中涂层或屏障（诸如，热障）已剥离的转子叶片234的区。检测到在关键帧402中所描绘的转子叶片234中的剥落和/或开裂可指示转子叶片234被损伤并且可能要求维护。

神经网络404中的人工神经元的层406可将各种函数中的各种权重应用于输入关键帧402中的每个，以标识感兴趣对象在关键帧402中出现的概率。神经网络404为关键帧402中的像素确定对象类别概率。例如，第一对象类别可表示转子叶片上的完整涂层，第二对象类别可表示转子叶片上的剥落区，第三对象类别可表示转子叶片中的开裂以及诸如此类。尽管未示出，但神经网络404可生成类似于关键帧402的输出图像集。

在至少一个实施例中，仅关键帧402的集合400在神经网络404中被检查以便进行感兴趣对象检测，使得不被标识为关键帧402的系列300中的其它图像帧302不在神经网络404中进行检查。关键帧402被选择为示出在优选或期望位置中的转子叶片234的图像帧302。其它“非关键”图像帧302大体上描绘关键帧402中所描绘的但在更差的位置中的相同转子叶片234的部分。非关键图像帧302可包含冗余图像数据，因为图像数据也在关键帧402中描绘。例如，第一输出边界图像322A和第二输出边界图像322B两者都描绘第一转子叶片234A的下部纵向边缘312。但是，第二输出边界图像322B中所描绘的第一转子叶片234A的部分也在第一输出边界图像322A中示出，并且因此被认为对第一输出边界图像322A是冗余的。通过滤出系列300的非关键图像帧302，并且仅检查关键帧402，以便进行感兴趣对象检测，控制电路202可明显地减少被分析以便进行感兴趣对象检测的图像数据的量。减少被检查的图像数据的量可改进图像分析（例如，基于计算机的计算）的效率，而不会使检验的准确度或完整性妥协，因为被滤出的图像数据对在关键帧402中捕获的图像数据是冗余的。

当在神经网络404中检查关键帧402时，控制电路202可被配置成响应于检测到感兴趣对象中的一个或多个而自动地实现一个或多个响应动作。例如，控制电路202可被配置成自动地调度对于涡轮组装件230的维护，自动地警告（例如，通知）操作者，自动地停止旋转或改变涡轮组装件230的旋转方向，生成报告和/或诸如此类。控制电路202可通过将控制信号传送到适当的装置（诸如，音频扬声器和/或灯组装件）而采取自动动作中的一个或多个，以警告操作者。控制电路202可被配置成基于所检测的特定类型的感兴趣对象的严重程度根据编程指令来自动地采取适当的补救动作。例如，控制电路202可响应于检测到剥落而生成报告和/或警告操作者，并且可被配置成响应于检测到转子叶片234中的一个或多个开裂而停止涡轮组装件230的旋转和/或调度维护。

在至少一个实施例中，在检查关键帧402以便进行感兴趣对象检测之前，控制电路202可被配置成掩蔽或隐藏被视为表示无关主题的关键帧402的区域。例如，如上所述，尽管被标识为关键帧402的图像帧302中的至少一些可描绘转子叶片234中的多于一个，但所描绘的转子叶片234中的仅一个位于关键帧402内主要位置或居中的位置中。如本文中所使用的，每个关键帧402中居中的位置中的转子叶片234被称为“主转子叶片”506。关键帧402中所描绘的一个或多个其它转子叶片234被称为“副转子叶片”。控制电路202可被配置成掩蔽相应主转子叶片506之外的关键帧402的所有区域。被掩蔽的区域可以是示出背景主题、副转子叶片、涡轮组装件230的其它部分和/或诸如此类的关键帧402的区。控制电路202可通过将（在图6中示出的）掩模图像502叠加于关键帧402中的每个上而掩蔽每个关键帧402中在主转子叶片506之外的区域。

图6图示根据实施例的叠加于关键帧402中的一个上的掩模图像502。关键帧402可以是图3中所示出的第一图像帧302A。掩模图像502被配置成隐藏除了暴露区域504之外的关键帧402的所有部分。暴露区域504由掩模图像502的轮廓限定，并且可部分地由关键帧402的周界边界508限定。暴露区域504显示相应关键帧402中的主转子叶片506的表面区。当关键帧402是第一图像帧302A时，关键帧402中所描绘的主转子叶片506是图3中所示出的第一转子叶片234A。

控制电路202被配置成掩蔽主转子叶片506之外的关键帧402的区域，以便忽视冗余并且无关的图像数据。例如，在实施例中，仅关键帧402的暴露区域504（例如，其未被掩蔽）内的图像数据被检查以便进行感兴趣对象检测。照此，可仅对描绘主转子叶片506的图像数据执行对于每个关键帧402的图像分析，从而忽略描绘背景和任何副转子叶片234的图像数据。描绘在转子叶片234之外的背景主题的图像数据可以是无关的，因为感兴趣对象仅位于转子叶片234上。给定的关键帧402中所描绘的副转子叶片234中的每个可在另一关键帧402中被描绘为主转子叶片234。例如，图3中所示出的第一图像帧302A中的第二转子叶片234B是第一图像帧302A中的副转子叶片，但可以是关键帧402中的另一个（未示出）中的主转子叶片506。在第一图像帧302A中掩蔽第二转子叶片234B仅仅消除冗余图像数据，因为第二转子叶片234B可在关键帧402中的另一个中被检查以便进行感兴趣对象检测。

因而，除了滤出系列300中未被标识为关键帧402的图像帧302之外，控制电路202还可被配置成滤出关键帧402中在相应主转子叶片506之外的每个关键帧402的图像数据。可选地，可被检查以便进行感兴趣对象检测的唯一的图像数据可以是关键帧402的暴露区域504内的图像数据。

掩模图像502可基于存储于存储器206中的（在图7中示出的）二值模板掩模图像（binary template mask image）602。如在上文中参考图4而描述的，关键帧402内的主转子叶片506可能未与参考叶片姿势350完全地对准。不同的关键帧402内的主转子叶片506也可能至少部分地彼此偏移。为了确保掩模图像502的暴露区域504与关键帧402的中的每个的主转子叶片506对准，控制电路202可被配置成使模板掩模图像602变形，以针对关键帧402中的每个而生成定制掩模图像502。

图7是图示根据实施例的依赖于由控制电路202使模板掩模图像602变形以便适合于每个单独的关键帧402的图像的图。在实施例中，控制电路202（例如，包括其一个或多个处理器204）被配置成基于关键帧402中的每个中所描绘的一个或多个转子叶片234的周界边缘306而使模板掩模图像602变形。例如，图7示出与第一图像帧302A（其是关键帧402中的一个）相关联的第一输出边界图像322A。控制电路202基于第一输出边界图像322A内的周界边缘306而使模板掩模图像602变形或对准，以适合第一图像帧302A。

在至少一个实施例中，存储器206可存储描绘样本转子叶片606的模板掩模图像602和模板叶片图像604两者。模板掩模图像602可与模板叶片图像604相关联和/或基于模板叶片图像604。例如，模板掩模图像602的暴露区域504可被设置大小并且定位成与模板叶片图像604中的样本转子叶片606对准。模板叶片图像604可描绘样本转子叶片606的下部纵向边缘612与上部纵向边缘612之间的样本转子叶片606的整个高度。可通过调整（在图2中示出的）成像装置208的视场以捕获涡轮组装件230的转子叶片234中的一个的整个高度而获取模板叶片图像604，或可通过使多个图像帧302组合而生成模板叶片图像604。例如，可通过使来自系列300中的多个连续图像帧302的像素特性组合（例如，覆盖）而生成模板叶片图像604。

控制电路202可被配置成将模板叶片图像602和与第一图像帧302A相关联的第一输出边界图像322A中的周界边缘306比较，以确定周界边缘306与模板叶片图像604之间的关系。控制电路202可利用所确定的关系来使模板掩模图像602变形和/或对准，使得所生成的掩模图像502适合第一图像帧302A。例如，控制电路202可执行特征匹配。特征匹配包括：在第一输出边界图像322A中标识周界边缘306的所指定的特征的第一集合；和确定所指定的特征的第一集合的坐标。所指定的特征可包括下部纵向边缘312的远端610、第一转子叶片234A的远侧边缘310的下端613、第二转子叶片234B的远侧边缘310的顶端614、相应图像中所描绘的第一转子叶片234A的远侧边缘310和下部纵向边缘312的长度、第二转子叶片234B的远侧边缘310的长度和/或诸如此类。所指定的特征的坐标和长度可针对第一输出边界图像322A和模板叶片图像604两者而确定。控制电路202可将关于第一输出边界图像322A中的所指定的特征中的每个的数据（例如，坐标、长度等）与来自模板叶片图像604的相关联的数据进行编组，以生成数据对。例如，第一输出边界图像322A中的第一转子叶片234A的远侧边缘310的下端613的坐标可与样本转子叶片606的远侧边缘618的下端616的坐标编组成数据对。

控制电路202可被配置成生成或推算被配置成减小所述对中的每对中的数据之间的偏移的传递（或翘曲（warping））函数。然后，控制电路202可将传递函数应用于模板掩模图像602，以根据传递函数而使模板掩模图像602变形。模板掩模图像602可通过平移地和/或旋转地调整模板掩模图像602相对于固定帧边界620的位置而变形。模板掩模图像602还可通过使模板掩模图像602的一个或多个部分压缩和/或使模板掩模图像602的一个或多个部分拉长而变形。模板掩模图像602可规则地或不规则地变形。控制电路202使用传递函数来生成变形的掩模图像502，变形的掩模图像502是图6中所示出的掩模图像502。在所图示的实施例中，变形的掩模图像502中的暴露区域504可竖直地向上移位，并且相对于模板掩模图像602中的暴露区域504扩张。在实施例中，控制电路202将变形的掩模图像502叠加于第一图像帧302A上，以实现图6中所示出的被掩蔽的关键帧402。

图8是根据实施例的用于执行目标对象的基于图像的检验的方法700的流程图。方法700可表示由图2中所示出的控制电路202（包括其一个或多个处理器204）执行的操作中的至少一些。方法700可利用一个或多个人工神经网络，诸如，本文中所描述的人工神经网络102、304、404中的一个或多个。方法700可表示用于创建（例如，写入）指导一个或多个处理器和/或神经网络的操作的一个或多个软件应用的算法。方法700在下文中参考作为被检验的目标对象的涡轮组装件（诸如，图2中所示出的涡轮组装件230）而描述，但方法700可用于检验其它目标对象。

在702，获得描绘涡轮组装件的转子叶片的图像帧的系列。图像帧可在涡轮组装件旋转时从成像装置获得。图像帧中的每个可描绘转子叶片中的一个或多个。

在704，对图像帧执行边界分析，以检测图像帧中的每个中所描绘的转子叶片的周界边缘。边界分析可由一个或多个处理器执行。在实施例中，通过将图像帧中的每个一次一个地作为输入图像而沿向前传播方向通过人工神经网络中的人工神经元的层进行检查而执行边界分析。

在706，确定每个图像帧中的转子叶片的周界边缘相对于参考叶片姿势之间的位置偏移。参考叶片姿势可存储于存储器中，并且可表示转子叶片在给定的图像帧内占据的期望位置。可通过推算或测量参考叶片姿势与每个图像帧中的转子叶片的周界边缘中的一个或多个之间的距离来确定位置偏移。

在708，确定给定的图像帧的位置偏移是否满足所指定的标准。在至少一个实施例中，所指定的标准可以是所指定的阈值或范围，使得如果位置偏移小于所指定的阈值，则给定的图像帧的位置偏移满足所指定的标准。所指定的阈值可表示像素或其它测量单位的数量。在另一实施例中，如果位置偏移小于紧接在给定的图像帧之前和之后的图像帧的相应位置偏移，则给定的图像帧的位置偏移满足所指定的标准。因此，给定的图像帧的位置偏移可表示局部最小位置偏移。在又一实施例中，如果位置偏移小于系列中的所指定的数量或百分率的图像帧的相应位置偏移，则给定的图像帧的位置偏移满足所指定的标准。例如，所指定的百分率可以是20%，使得相对于参考叶片姿势具有最低位置偏移的20%的图像帧满足所指定的标准。

如果给定的图像帧的位置偏移满足所指定的标准，则流程继续前进到710，并且给定的图像帧被标识为关键帧。在708进行的确定可针对系列中的图像帧中的每个而执行，以便将图像帧的集合标识为关键帧。另一方面，如果给定的图像帧的位置偏移不满足所指定的标准，则流程继续前进到712，并且图像帧在检验的随后的部分期间被滤出或忽略。在实施例中，在712，不被标识为关键帧的所有图像帧都被滤出。

在714，基于每个关键帧中所描绘的转子叶片的周界边缘使模板掩模图像变形，以便生成适合相应关键帧的变形的掩模图像。可通过将沿着周界边缘的特定特征和与模板掩模图像相关联的模板叶片图像内的对应特定特征比较而使模板掩模图像变形。例如，可基于比较而生成传递或翘曲函数，并且可将传递函数应用于模板掩模图像，以生成变形的掩模图像。每个变形的掩模图像可特定于关键帧中的不同的一个。

在716，变形的掩模图像叠加于对应关键帧上，以限定每个关键帧上表示主转子叶片的暴露区域。例如，变形的掩模图像可覆盖并且隐藏主转子叶片之外的关键帧的所有区域。变形的掩模图像的暴露区域内的区可与主转子叶片的表面区相关联。

在718，关键帧的暴露区域被检验，以检测其主转子叶片上的感兴趣对象。在实施例中，仅图像帧的系列的关键帧的暴露区域中的图像数据被检验，以便进行感兴趣对象检测，以便通过忽视冗余并且无关的图像数据而改进检验的效率。感兴趣对象可包括沿着转子叶片的表面的剥落和/或沿着转子叶片的边缘的开裂。

在720，响应于检测到感兴趣对象，采取适当的补救动作。例如，适当的补救动作可包括自动地调度对于涡轮组装件的维护、自动地生成报告以记录感兴趣对象的检测、自动地警告操作者和/或自动地停止涡轮组装件的旋转。所采取的特定补救动作可取决于被检测的特定感兴趣对象，使得不同的补救动作可适用于不同的情形。

无论是否检测到感兴趣对象，都可生成检验报告，以记录检验的结果。检验报告包括关于检验的细节，所述细节包括检验日期、被检验的主体（例如，转子组装件）以及诸如此类。检验报告的结果可包括关于所检测的感兴趣对象的类型、数量、大小和/或位置的信息。检验报告可在无人为干预的情况下自动地生成。检验报告可在本地存储于存储器装置中和/或传送到远程服务器或存储器装置以便远程存储和访问。

本公开的某些实施例提供一种系统（例如，检验系统），该系统包括被配置成使用对图像帧执行的边界分析来检测如图像帧的系列中所描绘的涡轮组装件的一个或多个转子叶片的周界边缘的一个或多个处理器。一个或多个处理器被配置成基于在图像帧中检测到的周界边缘与参考叶片姿势之间的位置偏移而将图像帧的集合标识为关键帧，使得能够检验关键帧是否有感兴趣对象，而不检验不是关键帧的图像帧。

可选地，一个或多个处理器被配置成通过将图像帧一次一个地作为输入图像沿向前传播方向通过人工神经网络中的人工神经元的层进行单独地检查来执行边界分析。

可选地，一个或多个处理器被配置成通过将关键帧中的每个一次一个地作为输入图像沿向前传播方向通过人工神经网络中的人工神经元的层进行单独地检查来检验关键帧是否有感兴趣对象。

可选地，一个或多个处理器进一步被配置成将掩模图像应用于关键帧上，以限定关键帧上未被掩模图像隐藏的暴露区域。一个或多个处理器进一步被配置成检验关键帧的暴露区域，以检测暴露区域内的感兴趣对象，而不检验暴露区域之外的关键帧的区域，并且不检验不是关键帧的图像帧。

可选地，一个或多个处理器进一步被配置成基于在被标识为关键帧的图像帧中检测到的周界边缘而将掩模图像叠加于关键帧上。掩模图像限定关键帧中的每个上未被掩模图像隐藏的暴露区域。暴露区域表示对应关键帧中的一个或多个转子叶片的主转子叶片的表面区。一个或多个处理器可进一步被配置成将模板叶片图像与关键帧中的每个中的一个或多个转子叶片的周界边缘比较。模板叶片图像描绘样本转子叶片。一个或多个处理器还可被配置成基于模板叶片图像与周界边缘之间的比较而使与模板叶片图像相关联的模板掩模图像变形，以生成叠加于关键帧上的掩模图像。

可选地，一个或多个处理器被配置成响应于在对应图像帧中检测到的周界边缘与参考叶片姿势之间的位置偏移小于所指定的阈值而将系列中的对应图像帧标识为关键帧中的一个。

可选地，一个或多个处理器被配置成响应于对应图像帧中的位置偏移小于紧接在系列中的对应图像帧之前和之后获取的图像帧中的每个中的相应位置偏移，将系列中的对应图像帧标识为关键帧中的一个。

可选地，感兴趣对象包括转子叶片中的剥落或开裂中的一个或多个。响应于检测到感兴趣对象中的一个或多个，一个或多个处理器被配置成进行下者中的一个或多个：自动地调度对于涡轮组装件的维护；自动地警告操作者；或自动地停止涡轮组装件的旋转。

可选地，图像帧中的每个描绘在涡轮组装件旋转时涡轮组装件的多个转子叶片，并且关键帧中的每个描绘关键帧内居中的位置中的相应多个转子叶片的主转子叶片。一个或多个处理器进一步被配置成掩蔽相应主转子叶片之外的关键帧的区域。

本公开的某些实施例提供一种用于执行基于图像的目标对象检验的方法。该方法包括在涡轮组装件旋转时获得描绘涡轮组装件的多个转子叶片的图像帧的系列。图像帧中的每个描绘转子叶片中的一个或多个。该方法包括：由一个或多个处理器使用对图像帧执行的边界分析来检测图像帧中的每个中所描绘的一个或多个转子叶片的周界边缘；和基于在图像帧中检测到的周界边缘与参考叶片姿势之间的位置偏移而经由一个或多个处理器将图像帧的集合标识为关键帧。该方法还包括：检验关键帧是否有感兴趣对象，而不检验不在关键帧的集合中的图像帧。

可选地，响应于对应图像帧中检测到的周界边缘与参考叶片姿势之间的位置偏移小于所指定的阈值，系列中的对应图像帧被标识为关键帧中的一个。

可选地，响应于对应图像帧中的位置偏移小于紧接在系列中的对应图像帧之前和之后获取的图像帧中的每个中的相应位置偏移，系列中的对应图像帧被标识为关键帧中的一个。

可选地，关键帧中的每个描绘与参考叶片姿势对准部署的涡轮组装件的转子叶片中的不同的一个。

可选地，该集合内的关键帧的总数等于涡轮组装件的转子叶片的量。

可选地，检测一个或多个转子叶片的周界边缘包含将图像帧一次一个地作为输入图像沿向前传播方向通过人工神经网络中的人工神经元的层进行单独地检查。

可选地，感兴趣对象包括转子叶片中的剥落或开裂中的一个或多个。响应于在检验关键帧时检测到感兴趣对象中的一个或多个，该方法包括下者中的一个或多个：自动地调度对于涡轮组装件的维护；自动地警告操作者；自动地生成检验报告；或自动地停止涡轮组装件的旋转。

可选地，该方法还包括基于被检测到的周界边缘而将掩模图像叠加于关键帧上。掩模图像限定关键帧中的每个上未被掩模图像隐藏的暴露区域。暴露区域表示关键帧中的一个或多个转子叶片的主转子叶片的表面区。可选地，检验关键帧是否有感兴趣对象包括检验关键帧的暴露区域，以便检测关键帧的相应主转子叶片上的感兴趣对象，而不检验暴露区域之外的关键帧的区域。可选地，该方法还包括将模板叶片图像与关键帧中的每个中的一个或多个转子叶片的周界边缘比较。模板叶片图像描绘样本转子叶片。该方法还包括使与模板叶片图像相关联的模板掩模图像变形，以基于模板叶片图像与周界边缘之间的比较来针对关键帧中的每个而生成掩模图像。

本公开的某些实施例提供一种用于执行基于图像的目标对象检验的方法。该方法包括：由一个或多个处理器使用对图像帧执行的边界分析来检测如图像帧的系列中所描绘的涡轮组装件的一个或多个转子叶片的周界边缘；和基于在图像帧中检测到的周界边缘与参考叶片姿势之间的位置偏移而经由一个或多个处理器将图像帧的集合标识为关键帧。该方法还包括：将掩模图像应用于关键帧上，以限定关键帧上的暴露区域。暴露区域表示相应关键帧中的主转子叶片的表面区。该方法还包括：检验关键帧的暴露区域，以检测相应主转子叶片上的感兴趣对象，而不检验暴露区域之外的关键帧的区域。

可选地，应用掩模图像包括：使模板掩模图像变形，以生成叠加于关键帧上以限定关键帧的相应暴露区域的变形的掩模图像。基于在关键帧中的每个中检测到的周界边缘而使模板掩模图像变形。

如本文中所使用的，以单数形式叙述并且以单词“一”或“一个”开始的元件或步骤应当被理解为不排除所述元件或步骤的复数形式，除非明确地陈述这样的排除。而且，目前描述的主题的对“一个实施例”的引用不旨在被解释为排除还使所叙述的特征合并的额外的实施例的存在。此外，除非明确地相反地陈述，否则“具有”或“包含”具有特定性质的一个元件或多个元件的实施例可包括不具有该性质的额外的这样的元件。

要理解，上文的描述旨在为说明性的，而非限制性的。例如，上述的实施例（和/或其方面）可彼此组合而使用。另外，可作出许多修改，以使特定情形或材料适于本文中所阐明的主题的教导而不脱离其范围。虽然本文中所描述的尺寸和材料类型旨在限定所公开的主题的参数，但它们决不是限制性的而是示范性实施例。通过回顾上文的描述，许多其它实施例将对本领域技术人员明显可见。因此，应当参考所附权利要求连同享有这样的权利要求的等同物的全部范围而确定本文中所描述的主题的范围。在所附权利要求中，术语“包括”和“在其中”用作相应术语“包含”和“其中”的简明英语等同物。此外，在下面的权利要求中，术语“第一”、“第二”以及“第三”等仅仅用作标记，而不旨在对其对象强加数字要求。而且，对下面的权利要求的限制不以部件加功能的格式书写，并且不旨在基于35 U.S.C. §112(f)进行解释，除非这样的权利要求限制明确地使用后接没有另外的结构的功能的陈述的短语“用于……的部件”并且至此为止。

本书面描述使用示例来公开本文中所阐明的主题的若干实施例（包括最佳模式），并且还使本领域普通技术人员都能够实践所公开的主题的实施例，包括制作并且使用装置或系统和执行方法。本文中所描述的主题的可专利范围由权利要求限定，并且可包括本领域普通技术人员所想到的其它示例。如果这样的其它示例具有与权利要求的字面语言没有不同的结构元件，或如果它们包括与权利要求的字面语言存在非实质性差异的等同结构元件，则它们旨在处于权利要求的范围内。

Claims (15)

1.一种系统（200），包含：

一个或多个处理器（204），其被配置成使用对图像帧（302）执行的边界分析来检测如所述图像帧的系列（300）中所描绘的涡轮组装件（230）的一个或多个转子叶片（234）的周界边缘（306），

其中所述一个或多个处理器被配置成基于在所述图像帧中检测到的周界边缘与参考叶片姿势（350）之间的位置偏移（354）而将所述图像帧的集合（400）标识为关键帧（402），使得能够检验所述关键帧是否有感兴趣对象，而不检验不是所述关键帧的图像帧。

2.根据权利要求1所述的系统（200），其中所述一个或多个处理器（204）被配置成通过将所述图像帧（302）一次一个地作为输入图像（106）沿向前传播方向通过人工神经网络（304）中的人工神经元的层（314）进行单独地检查而执行所述边界分析。

3.根据权利要求1所述的系统（200），其中所述一个或多个处理器（204）被配置成通过将所述关键帧中的每个一次一个地作为输入图像（106）沿向前传播方向通过人工神经网络（404）中的人工神经元的层（406）进行单独地检查来检验所述关键帧（402）是否有感兴趣对象。

4.根据权利要求1所述的系统（200），其中所述一个或多个处理器（204）进一步被配置成将掩模图像（502）应用于所述关键帧（402）上，以限定所述关键帧上未被所述掩模图像隐藏的暴露区域（504），其中所述一个或多个处理器进一步被配置成检验所述关键帧的所述暴露区域，以在所述暴露区域内检测感兴趣对象，而不检验所述暴露区域之外的所述关键帧的区域并且不检验不是所述关键帧的所述图像帧（302）。

5.根据权利要求1所述的系统（200），其中所述一个或多个处理器（204）进一步被配置成基于在被标识为所述关键帧的所述图像帧（302）中检测到的所述周界边缘（306）而将掩模图像（502）叠加于所述关键帧（402）上，所述掩模图像限定所述关键帧中的每个上未被所述掩模图像隐藏的暴露区域（504），所述暴露区域表示对应关键帧中的所述一个或多个转子叶片（234）的主转子叶片（506）的表面区。

6.根据权利要求5所述的系统（200），其中所述一个或多个处理器（204）进一步被配置成将模板叶片图像（604）与所述关键帧（402）中的每个中的所述一个或多个转子叶片（234）的所述周界边缘（306）比较，所述模板叶片图像描绘样本转子叶片（606），所述一个或多个处理器还被配置成使与所述模板叶片图像相关联的模板掩模图像（602）变形，以基于所述模板叶片图像与所述周界边缘之间的比较而生成叠加于所述关键帧上的所述掩模图像（502）。

7.根据权利要求1所述的系统（200），其中所述一个或多个处理器（204）被配置成响应于在对应图像帧（302）中检测到的周界边缘（306）与所述参考叶片姿势（350）之间的所述位置偏移（354）小于所指定的阈值，将所述系列（300）中的所述对应图像帧标识为所述关键帧（402）中的一个。

8.根据权利要求1所述的系统（200），其中所述一个或多个处理器（204）被配置成响应于所述对应图像帧中的位置偏移（354）小于紧接在所述系列中的对应图像帧之前和之后获取的图像帧中的每个中的相应位置偏移，将所述系列（300）中的所述对应图像帧（302）标识为所述关键帧（402）中的一个。

9.根据权利要求1所述的系统（200），其中所述感兴趣对象包括所述转子叶片（234）中的剥落或开裂中的一个或多个，并且响应于检测到所述感兴趣对象中的一个或多个，所述一个或多个处理器（204）被配置成进行下者中的一个或多个：自动地调度对于所述涡轮组装件（230）的维护；自动地警告操作者；自动地生成检验报告；或自动地停止所述涡轮组装件的旋转。

10.根据权利要求1所述的系统（200），其中所述图像帧（302）中的每个描绘在所述涡轮组装件旋转时所述涡轮组装件（230）的多个所述转子叶片（234），并且所述关键帧（402）中的每个描绘所述关键帧内居中的位置中的相应多个转子叶片的主转子叶片（506），所述一个或多个处理器（204）进一步被配置成掩蔽相应主转子叶片之外的所述关键帧的区域。

11.一种方法（700），包含：

在涡轮组装件（230）旋转时，获得描绘所述涡轮组装件的多个转子叶片（234）的图像帧（302）的系列（300），所述图像帧中的每个描绘所述转子叶片中的一个或多个；

由一个或多个处理器（204）使用对所述图像帧执行的边界分析来检测所述图像帧中的每个中所描绘的所述一个或多个转子叶片的周界边缘（306）；

基于在所述图像帧中检测到的周界边缘与参考叶片姿势（350）之间的位置偏移（354）而经由所述一个或多个处理器将所述图像帧的集合（400）标识为关键帧（402）；以及

检验所述关键帧是否有感兴趣对象，而不检验不在所述关键帧的集合中的图像帧。

12.根据权利要求11所述的方法（700），其中响应于在对应图像帧中检测到的周界边缘（306）与所述参考叶片姿势（350）之间的所述位置偏移（354）小于所指定的阈值，所述系列（300）中的对应图像帧（302）被标识为所述关键帧（402）中的一个。

13.根据权利要求11所述的方法（700），其中响应于对应图像帧中的位置偏移（354）小于紧接在所述系列中的所述对应图像帧之前和之后获取的图像帧中的每个中的相应位置偏移，将所述系列（300）中的所述对应图像帧（302）标识为所述关键帧（402）中的一个。

14.根据权利要求11所述的方法（700），其中所述关键帧（402）中的每个描绘与所述参考叶片姿势（350）对准部署的所述涡轮组装件（230）的所述转子叶片（234）中的不同的一个。

15.根据权利要求11所述的方法（700），其中所述一个或多个转子叶片（234）的所述周界边缘（306）的检测包含将所述图像帧（302）一次一个地作为输入图像（106）沿向前传播方向通过人工神经网络（304）中的人工神经元的层（314）进行单独地检查。

Images