CN111951338A - 用于改进的部件检查的系统和方法 - Google Patents
用于改进的部件检查的系统和方法 Download PDFInfo
- Publication number
- CN111951338A CN111951338A CN201910412867.0A CN201910412867A CN111951338A CN 111951338 A CN111951338 A CN 111951338A CN 201910412867 A CN201910412867 A CN 201910412867A CN 111951338 A CN111951338 A CN 111951338A
- Authority
- CN
- China
- Prior art keywords
- frames
- blur
- frame
- series
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 45
- 230000007547 defect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000000246 remedial effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
系统包括管道镜和至少一个处理器。管道镜包括相机,该相机被配置为获取至少一个目标部件的获取系列帧。至少一个处理器可操作地联接到相机,并且被配置为从相机获取该获取系列帧;确定每个帧的模糊度量值;选择满足模糊度量值的阈值的帧以形成检查系列帧;并且使用检查系列帧对至少一个目标部件进行检查分析。
Description
技术领域
本文描述的主题的实施例涉及部件检查,例如,涉及系统的一个或多个移动部件的检查。
背景技术
使用所获取的部件图像来检查部件可能由于许多问题而变得复杂。例如,光线,反射或其他考虑因素可能会影响数据或图像质量。作为另一示例,当获取移动部件的图像时,部件的姿势,焦点,振动和移动可能影响图像或数据质量。结果,部件的图像可能变得模糊。当模糊变得足够严重时,基于图像的检查的性能可能受到损害。
发明内容
在实施例中,系统包括管道镜和至少一个处理器。管道镜包括相机,该相机被配置为获取至少一个目标部件的获取系列帧。至少一个处理器可操作地联接到相机,并且被配置为从相机获取该获取系列帧;确定每个帧的模糊度量值;选择满足模糊度量值的阈值的帧,以形成检查系列帧;并且使用检查系列帧对至少一个目标部件进行检查分析。
在实施方案中,方法包括利用包括相机的管道镜获取至少一个目标部件的获取系列帧。该方法还包括利用至少一个处理器确定每个帧的模糊度量值。此外,该方法包括选择满足模糊度量值的阈值的帧以形成检查系列帧。而且,该方法包括使用检查系列帧对至少一个目标部件进行检查分析。
在另一个实施例中,有形的和非暂时性计算机可读介质包括一个或多个计算机软件模块。一个或多个计算机软件模块被配置为指示一个或多个处理器利用包括相机的管道镜获取至少一个目标部件的获取系列帧;确定每个帧的模糊度量值;选择满足模糊度量值的阈值的帧以形成检查系列帧;并且使用检查系列帧对至少一个目标部件进行检查分析。
附图说明
参考附图,通过阅读以下非限制性实施例的描述,将更好地理解本文所描述的本发明的主题,其中以下:
图1是根据实施例的系统的示意性框图。
图2是根据的实施例的检查旋转叶片的系统的示意图。
图3是根据实施例的在翼(on-wing)检查系统的示意图。
图4提供了根据实施例的方法的流程图。
具体实施方式
如本文所使用的,以单数叙述且冠以用词“一”或“一个”的元件或步骤应被理解为不排除多个所述元件或步骤,除非明确地声明这样的排除。此外,对本发明主题的“一个实施例”的引用不旨在被解释为排除也包含所述特征的另外的实施例的存在。此外,除非明确相反地声明,否则“包括”或“具有”具有特定属性的元素或多个元素的实施例可包括不具有该属性的其他此类元素。
如这里所使用的,术语“系统”或“设备”可以包括用于进行一个或多个功能的硬件和/或软件系统。例如,单元、设备或系统可以包括计算机处理器、控制器或基于存储在诸如计算机存储器的有形和非暂时性计算机可读存储介质上的指令来进行操作的其他基于逻辑的设备。或者,单元、设备或系统可以包括硬连线设备,其基于设备的硬连线逻辑来进行操作。附图中示出的单元、设备或系统可以表示基于软件或硬连线指令操作的硬件、指示硬件进行操作的软件,或其组合。系统、设备或单元可以包括或表示包括和/或与诸如一个或多个计算机微处理器的一个或多个处理器连接的硬件电路或电路。
本发明的主题的一个或多个实施例提供了用于改进的移动部件的检查的系统和方法(例如,通过识别并去除受模糊不利影响的图像)。各种实施例定量地确定图像的质量(例如,以在线和实时的方式)以识别模糊度,提供后续图像分析的改进性能。
各种实施例采用管道镜来获取移动部件的成像信息,为了移动部件的设计目的而安装和运行移动部件,例如飞行器发动机的旋转叶片。例如,使用管道镜进行在翼检查可以大大降低检查成本和相关的人力。此外,基于计算机视觉的检查有助于使缺陷评估程序更加标准化和可定量控制。通常,数据质量对于计算机视觉技术是重要的,以使检查算法能够适当地起作用。因此,各种实施例有助于识别图像帧中的模糊,以促进高效和有效的检查。这里公开的各种实施例以良好的稳健性检测模糊度,从而区分质量差的视频帧(例如,模糊度超过可容忍或期望的水平)。
在不同实施例中使用各种方法。例如,在一些实施例中,采用基线方法,其提供定量值来描述视频中的图像或帧中的模糊程度,但不定位模糊的特定位置。相反,基线方法为图像质量提供了全面的值。作为这种方法的示例,在一些实施例中,将滤波器应用于图像以提供相应的模糊图像。然后,计算图像和模糊图像的梯度的方差。由于滤波器使图像模糊,所以如果原始图像具有高质量(低模糊),则滤波的或模糊的图像将具有较大的差异,并且所得到的梯度的方差值将完全不同。另一方面,如果原始图像质量低(高模糊),则梯度的方差将更相似。
在各种实施例中使用的另一种方法可以基于深度学习。例如,训练的深度神经网络模型可以给出属于不同类型的模糊的图像中的每个像素的概率值。因此,不仅可以定位图像中模糊的子区域,而且可以识别模糊的类型(例如,用于在确定模糊度量时可能采用去模糊和/或加权)。可以使用具有不同类型的模糊度的参考图像来训练这种深度模型。可用的分割数据集可以与图像中的不同物体的掩膜(mask)一起使用。此外,可以通过将不同的模糊核应用到数据集中的不同对象区域、生成具有图像的大型数据集来合成模糊图像,其中图像因不同模糊类型和/或模糊程度而降级。训练的模型可以识别图像中每个像素的模糊度。然后可以通过对每个像素的模糊概率求和来导出整个图像的评估。可以应用归一化,使得模糊度量的评估值是0和1之间的值。
各种实施例提供了定量模糊度量值,以帮助识别图像模糊。由于图像中的模糊可能导致分析算法提供漏报和/或误报,因此识别和移除模糊图像可提高视觉检查分析算法的性能。因此,可以跳过低质量的数据,降低成本和/或提高自动检查技术的效率和/或准确性。
各种实施例是在此更详细地参照附图描述。
图1提供了系统100的示意性框图。系统100被配置用于检查(例如,自动或自动检查)至少一个目标部件。例如,在图1所示的示例中,系统101包括移动部件102。在所示实施例中,系统100被配置为检查系统101的一个或多个方面,例如移动部件102(待检查的移动部件也可以在本文中称为移动目标部件)。移动部件102例如可以沿着方向103横向平移,或者作为另一个例子,沿旋转方向104旋转。为了便于说明,图1中仅示出了一个移动部件102。然而,可以注意到,在各种实施例中,系统100可以检查多于一个的移动部件102。此外,可以注意到,虽然部件102与这里讨论的各种示例相关地被讨论为移动部件,但是在一些实施例中,部件102不一定需要横向平移,旋转或以其他方式相对于相机具有净移动。例如,部件102通常可以是静止的,但是由于振动而受到成像模糊。
所描绘的系统100包括管道镜110和处理单元120。通常,管道镜110被配置为获取移动部件102的图像,并且处理单元120被配置为使用由管道镜110获取的图像来进行移动部件102的检查。
所示示例的管道镜110包括相机112和柔性构件114。相机112被安置在柔性构件114的远端115。为了将相机112安置在期望位置,管道镜110被安置在安装位置116。在所示的实施例中,处理单元120被描绘为形成为用于安装管道镜110的基座或基座的一部分;然而,在其他实施例中,处理单元120可以远离安装位置116。然后可以调节柔性构件114,直到相机112处于用于捕获移动部件102的图像的期望位置和取向。一旦处于期望的位置和取向,就可以将相机112固定在适当位置。所描绘的柔性构件114包括一条或多条电缆,用于传输来自相机112的成像信息。
可以注意到,在一些实施例中,安装位置116可以与系统101或系统101的一部分相关联,或者在其他实施例中可以是分开的。例如,在一些实施例中,移动部件102可包括飞行器、发动机的一个或多个叶片,并且安装位置116可设置在飞行器的机翼上。图2提供了移动叶片200的检查的示意图。如图2所示,相机112定位成具有视野,当叶片沿方向210旋转时,叶片200穿过该视野。例如,可以利用叶片200在第一位置202处获取第一帧,利用叶片200在第二位置204处获取第二帧,以及利用叶片200在第三位置206处获取第三帧。在第一位置202处,叶片200可能太靠近相机112而无法对焦,并且在第三位置206处,叶片200可能离相机112太远而无法对焦。然而,叶片200可以在第二位置204处对焦。因此,在第二位置204处获取的帧对于检查叶片200来说可能比在其他位置处获取的帧更有用。
在一些实施例中,系统100(或其方面)可以被配置为在移动部件安装在期望的目标应用中时检查移动部件。例如,系统100可以配置成安装在飞行器的机翼上,其中移动目标102包括飞行器的一个或多个叶片(例如,叶片200)。图3提供了安装在飞行器310的机翼312上的系统300(其可以在各方面与系统100大致相似)的示意图。如图3所示,飞行器310包括发动机壳体314。系统300包括管道镜的柔性构件304,其一端具有相机(图3中未视),该相机被设置在发动机壳体314内,以检查设置在发动机壳体314内的飞行器发动机的叶片。系统300还包括底座306,底座306被配置成安装到飞行器的机翼312。底座306可以在其中包括处理单元的一个或多个方面(其可以在各个方面与处理单元120大致相似)。还可以注意到,处理单元可以位于机翼外,其中基座306被配置为经由柔性构件304从布置在发动机壳体314内的相机接收信息,并且将成像信息传输到处理单元。
如本文所讨论的,并且返回到图1,管道镜110获取移动部件102的图像。例如,在所示实施例中,相机112获取移动部件102的一系列帧。在一些实施例中,可以以相对高的速率获取一系列帧,例如每秒300帧。然而,即使使用高速率的图像获取,许多所获取的帧也可能具有足以使帧不适于检查目的的模糊。模糊可能是由移动和/或聚焦问题引起的。例如,如果移动部件102快速移动,和/或系统101正在振动或摇动,则运动可能导致模糊。另外,如果在获取特定帧时移动部件102在相机112的焦距范围之外,则可能导致模糊。例如,当移动部件102处于或接近距相机112的距离105处时,相机112可以处于焦点上。然而,当移动部件102改变距相机112的距离时(例如,由于横向和/或相对于相机112的旋转运动),移动部件102可能移出对应于距离105的聚焦范围,并且可以导致模糊。对于诸如叶片以相对高的速度旋转以及移入和移出焦距范围的物体,相对大量的帧可能受到模糊的不利影响。例如,对于飞行器发动机的旋转叶片,每秒获得300帧,300个中多达200个或更多的帧可能具有太多模糊而不适合检查目的。
因此,在各种实施例中,至少一个处理器用于识别哪些帧有容许的模糊量,并使用那些帧用于检查目的,同时丢弃或以其他方式不使用具有多于容许的模糊量的帧。在所示实施例中,处理单元120可操作地联接到相机112。例如,图1中描绘的示例中的处理单元120联接到穿过柔性构件114的线缆,该线缆将成像信息(例如,获取的帧)从相机112传输到处理单元120。
一般地,所描述的处理单元120获取从相机112获取一系列帧,并为每个帧确定模糊度量值。然后,处理单元120选择满足模糊度量值的阈值的帧以形成检查系列帧,并使用检查系列帧对移动部件102进行检查分析。因此,基于具有可容忍的模糊量的帧来进行对移动部件的检查,具有超过可容忍的模糊量(如使用量化或以其他方式描述或描绘每帧中的模糊量的一个或多个客观度量来确定)的这些帧不用于检查。
在各种实施例中,处理单元120包括处理电路,其被配置为进行本文所讨论的一个或多个任务,功能或步骤。可以注意到,这里使用的“处理单元”并不一定限于单个处理器或计算机。例如,处理单元120可以包括多个处理器,FPGA,ASIC和/或计算机,其可以集成在共同的壳体或单元中,或者可以分布在各种单元或壳体中(例如,处理单元120的一个或多个方面可以设置在具有一个或多个被测试部件的系统上,并且处理单元120的一个或多个其他方面可以设置在单独的物理单元或壳体中)。在所示实施例中,处理单元120包括存储器122。通常,处理单元120的各个方面单独地或与其他方面协作地进行本文所讨论的方法,步骤或过程的一个或多个方面,以便例如获取和处理视频的图像或帧。此外,这里讨论的处理流程和/或流程图(或其方面)可以表示存储在存储器122中的一组或多组指令,用于系统100的操作方向。
如本文所讨论的,当移动部件102移动通过接近相机112的体积时,相机112获取移动部件102的一系列帧。例如,移动部件102可以以与其在实践中使用相对应的方式来使用,同时相机112获取一系列采集帧。在一些实施例中,移动部件102包括围绕轴旋转的飞行器发动机的一个或多个叶片,其中,相机112在预定时间量内以恒定速率连续地获取该获取序列的帧。在所示实施例中,处理单元120经由布置在柔性构件114内部的线缆从相机112获取该获取系列帧。在其他实施例中,例如,处理单元120可以远离管道镜110设置。例如,相机112可以经由联接到来自相机112的线缆的发送站而无线地联接到处理单元120。在获取该获取系列帧之后,处理单元120可以立即或几乎立即开始模糊度分析,和/或可以存档或存储帧,用于将来的模糊度分析。在一些实施例中,处理单元120可以开始分析来自获取系列的初始帧以获得模糊度,同时经由相机112获得该获取序列的后续帧。
在获取帧之后,处理单元120可以单独检查帧,以确定每个帧是否具有满足用于检查移动部件102的模糊量。例如,可以基于这些帧的获取时间,按时间顺序检验或分析这些帧。通常,处理单元120采用测量或量化模糊度的一个或多个度量来确定每个帧的模糊度量值。在一些实施例中,处理单元120确定模糊度量,该模糊度量是不同模糊度量的合成或组合。例如,处理单元120可以使用作为两个或更多个度量的总和的模糊度量,或者作为另一示例,使用作为两个或更多度量的加权平均的模糊度量。
各种实施例采用基线方法,它提供了定量值来描述视频的图像或帧(或图像或帧的预定部分)中的模糊程度。这种方法不能定位模糊的特定位置或识别模糊的种类或类型。例如,在一些实施例中,处理单元120对于每个帧使用用于整个预定图像区域的累积度量。例如,预定图像区域可以是整个帧。作为另一示例,预定图像区域可以是帧的中心部分,或者预期要出现待检查的移动部件102的其他部分。
在一些实施例中,滤波器可以被应用到图像(或图像的预定部分)。例如,在各种实施例中,处理单元120被配置为针对每个所获取的帧生成模糊帧,将模糊帧与对应所获取的帧进行比较(例如,比较各个帧的梯度的方差),并基于模糊帧与对应获取的帧之间的相似性来确定模糊度量值。通常,所获取的帧与模糊帧越相似,所获取的帧被判断为越模糊,或者所获取的帧与模糊帧越不相似,所获取的帧被判断为越不模糊。
在各种实施例中应用于提供与所获取的帧相对应的模糊帧的滤波器可以是从一组已知模糊图像和非模糊对应物学习的一组通用模糊滤波器。处理单元120可以被配置为使用一个滤波器作为这种滤波器的线性组合,以为每个所获取的帧生成模糊帧。例如,可以将学习的滤波器F应用于图像I,使得X=F(I),其中I是图像或单独的帧(例如,获取序列的帧),F是学习的滤波器,或者模糊内核,被配置为使图像I模糊,并且X是对应于图像或帧I的滤波图像或模糊图像。随着生成与待分析图像对应的模糊图像,接下来确定I和X的梯度。因为已知滤波器F使图像模糊,所以如果图像I是高质量的(例如,图像中的物体之间的清晰或明确定义的边界),则滤波图像的梯度将相对于原始清晰的图像的梯度具有大的差异。然而,如果图像I具有低质量或高模糊度(例如,物体之间的边界定义不清楚),则滤波图像的梯度将更类似于原始图像的梯度,因为使已经模糊的图像模糊将不会尽可能多地改变原始图像。然后可以基于I和X的梯度之间的相似性或差异来确定评估值。可以将评估值归一化为具有0和1之间的值。例如,在一些实施例中,模糊度量V可以定义为V=1-||梯度(I)-梯度(X)||/||梯度(I)||,其中||.||可以是L2范数,L1范数或任何明确定义的范数运算符。可以使用范数运算符将测量的矢量转换为标量值。V的值从其数学公式中限定在0和1之间。如果图像I清晰,则值V将低于或更接近0,但是如果图像I模糊,则值V将高于或更接近1,这取决于模糊程度。
作为另一示例,各种实施例中的处理单元120被配置为使用包括对应模糊部分的参考图像库来确定模糊度量值。例如,处理单元120可以使用利用具有已知模糊部分的参考图像的深度学习或人工智能训练来确定或识别正被分析的图像或帧中的模糊概率。可以注意到,这样的方法可以使处理单元120不仅识别模糊的存在,而且还识别模糊的类型,模糊的程度或量,或帧或图像内的模糊的特定区域或位置。因此,在各种实施例中,处理单元120可基于模糊类型、模糊程度或模糊区域中的一种或多种来确定模糊度量值。例如,在确定模糊度量值时,处理单元120可以强调或更重地加权特定类型的模糊和/或模糊的特定位置。例如,如果已知模糊类型或模糊的位置是对于进行检查特别成问题,则当与帧或图像中的模糊的其他示例组合时,这个模糊类型或位置可能被更重地加权。
在确定了模糊度量值的情况下,处理单元120接下来选择满足模糊度量值的阈值的帧来形成检查系列帧。来自获取系列的满足阈值的那些帧包括在检查系列中,而那些不满足阈值的帧被丢弃或以其他方式被排除。可以基于特定应用所需的图像质量来设置在给定应用中使用的特定阈值。例如,对于将自动或自动检查帧的应用,自动或自动检查可能需要给定的图像质量(例如,清晰度)以帮助识别特定类型的缺陷和/或消除或减少缺陷的误报。因此,可以基于实现自动或自主检查所期望的图像质量的模糊度量值来设置阈值。在各种实施例中,基于特定检查处理所期望的多个帧,可以获取目标帧数。例如,可以在获取帧时分析帧的模糊度,并且可以获取该获取系列帧,直到使用阈值已经识别了期望数量的可接受帧。作为另一示例,可以在被识别为足以提供具有可接受的清晰度的期望数量帧的时间段获取该获取序列,以用于检查移动部件102。
接下来,利用使用模糊度量值从获取序列生成的检查系列帧,处理单元120使用检查系列帧对移动部件102进行检查分析。通常,进行检查分析以识别或确定正被识别的移动部件102中的缺陷的存在(或不存在)。例如,在各种实施例中,基于在检查分析中发现的缺陷的数量,类型和/或严重性,确定移动部件102通过或不通过检查。在一些实施例中,处理单元120可以自主地或自动地进行检查分析。例如,处理单元120可以被编程或配置成将可接受帧中的成像的移动部件102与满足检查要求的已知部件(和/或不满足检查要求的已知部件)进行比较,以确定移动部件102是否通过检查。可以注意到,在一些实施例中,处理单元120可以在识别检查系列帧时或附近进行检查分析,而在其他实施例中,检查可以在稍后的时间进行。例如,位于第一位置的一个处理器可识别检查系列帧,并将检查系列提供给位于第二位置的另一处理器,该另一处理器在稍后的第二时间进行检查分析。对于发现不满足检查要求的部件,可以进行补救或后续任务,例如进一步检查以确认缺陷,更换有缺陷的部件或修复有缺陷的部件
如本文中所讨论的,各种实施例允许移动部或部件的检查,移动部分或部件在系统上的适当位置处,系统被配置为使用移动部或部件进行操作。因此,通过不必移除部分或部件来节省时间。此外,可以在进行预期功能的同时检查该部件。
图4提供了根据各种实施例的方法400的流程图。例如,方法400(或其方面)可以采用本文讨论的各种实施例的结构或方面(例如,系统和/或方法和/或处理流程)或由本文讨论的各种实施例的结构或方面来进行。在各种实施例中,可以省略或添加某些步骤,可以组合某些步骤,可以同时进行某些步骤,可以将某些步骤分成多个步骤,可以以不同的顺序进行某些步骤,或者某些步骤或一系列步骤可以以迭代方式重新进行。在各种实施例中,方法400的部分、方面和/或变体可以能够用作一个或多个算法,以引导硬件(例如,处理单元120的一个或多个方面)进行本本所描述的一个或多个操作。
在402,管道镜(例如,管道镜110)被安装在飞行器的机翼。各种实施例中的管道镜包括设置在柔性构件的端部处的相机,其中柔性构件被操纵以将相机放置在期望的位置和期望的取向,以获取移动部件(例如,移动部件102)的图像。例如,利用安装在飞行器机翼上的管道镜,可以检查飞行器发动机的一个或多个移动叶片,而不必从飞行器上移除发动机或叶片。可以注意到,在其他实施例中可以对其他类型的移动部件进行成像。
在404,利用管道镜获取至少一个目标部件的获取系列帧(例如,移动目标例如是飞行发动机的移动叶片)。当获取该获取系列帧时,目标移动部件可以移入和移出管道镜的相机的聚焦范围,导致由目标失焦引起的模糊。通过运动也可能在一些帧中引起模糊。
在406,使用至少一个处理器(例如,处理单元120)为每个帧确定模糊度量。可以采用各种技术来确定模糊度量(在一些实施例中,其可以是单独确定的模糊度量的合成或组合)。例如,在所示实施例中,在408处,使用整个预定图像区域的累积度量来确定每个帧的模糊度量。预定图像区域可以是帧的一部分(例如,中心部分),或者作为另一示例,可以是整个帧。可以结合确定累积度量来使用滤波器。例如,在所示实施例的410处,为每个所获取的帧生成模糊帧。在412,将模糊帧与对于获取的帧进行比较。例如,可以比较模糊帧的梯度和用于生成模糊帧的对应获取的帧的梯度。在414,基于模糊帧与对应获取的帧之间的相似性来确定模糊度量值(例如,基于模糊帧的梯度与对应获取的帧的梯度之间的相似性)。
作为另一实例,在416,使用包括对应模糊部分的参考图像库来确定模糊度量。这种方法可以使用一个或多个处理器,其中使用具有已知模糊部分的参考图像通过深度学习或人工智能训练该一个或多个处理器。可以基于模糊概率来确定度量,基于使用参考图像的训练来确定该模糊概率。此外,模糊度量可以基于和/或识别模糊类型,模糊程度或模糊区域中的一个或多个。
在418,被从获取系列帧选择帧,以形成检查系列帧。基于在406确定的模糊度量值的阈值来选择各种实施例中的帧。例如,选择具有满足阈值的确定的模糊度量值的那些帧以包括在检查系列帧中,而那些不具有满足阈值的确定的模糊度量值的帧不包括在检查系列中。
在420处,对至少一个目标部件(例如,移动目标部件)进行检查分析。使用检查系列帧进行检查分析。因此,与使用整个获取序列(可包括具有实质模糊的相对大量的帧)相比,可以获得更可靠的结果和/或更有效的获得结果。通常,进行检查分析以查找缺陷并确定部件是否可接受。检查分析可以自主地或自动地进行,例如,使用一个或多个处理器,一个或多个处理器被配置成使用一个或多个分析算法来识别图像帧中的目标部件的缺陷。
在所示实施例的422,对于任何发现为不可接受的目标部件,进行补救措施。例如,可以进行后续或更彻底的检查以确认检查结果,或者为任何检测到的缺陷提供更多细节以帮助确定随后的补救措施。作为另一个示例,作为检查分析的结果,可以替换部件。作为另一个示例,作为检查分析的结果,可以修复部件。
应理解,以上描述旨在是说明性的而非限制性的。例如,上述实施例(和/或其方面)可以彼此组合使用。另外,在不脱离本发明的范围的情况下,可以进行许多修改以使特定情况或材料适应本发明主题的教导。虽然本文描述的材料的尺寸和类型旨在限定本发明主题的参数,但它们决不是限制性的并且是示例性实施例。在阅读以上描述后,许多其他实施例对于本领域普通技术人员将是显而易见的。因此,本发明主题的范围应参考所附权利要求来确定,以及此类权利要求所享有的等同物的全部范围。在所附权利要求中,术语“包括”和“在其中”用作相应术语“包括”和“其中”的普通英语等同物。此外,在以下权利要求中,术语“第一”,“第二”,和“第三”等仅用作标签,并不打算对其对象施加数字要求。此外,以下权利要求的限制不是以功能性限定的格式书写的,并且不打算基于35U.S.C.§112(f)来解释,除非并且直到这样的权利要求限制明确地使用短语“手段为”,随后是进一步结构的功能无效的声明。
本书面描述使用示例来公开的本发明主题的若干实施例,并且还使本领域的普通技术人员能够实践的本发明主题的实施例,包括制作和使用任何装置或系统以及进行任何结合的方法。本发明主题的可专利范围由权利要求限定,并且可包括本领域普通技术人员想到的其他示例。如果这些其他示例具有与权利要求的字面语言没有不同的结构元件,或者如果它们包括与权利要求的字面语言无实质差别的等效结构元件,则这些其他示例意图在权利要求的范围内。
当结合附图阅读时,将更好地理解本发明主题的某些实施例的前述描述。就附图说明各种实施例的功能块的图而言,功能块不一定表示硬件电路之间的划分。因此,例如,一个或多个功能块(例如,控制器或存储器)可以在单个硬件中实现(例如,通用目的信号处理器,微控制器,随机存取存储器,硬盘等等)。类似地,程序可以是独立程序,可以作为子程序包含在操作系统中,可以是安装的软件包中的功能等。各种实施例不限于附图中所示的布置和工具。
如本文所用的,元件或步骤以单数叙述且冠以用词“一”或“一个”应被理解为不排除多个元件或步骤,除非明确地声明了这样的排除。此外,对当前描述的发明主题的“一个实施例”或“实施例”的引用不旨在被解释为排除也结合了所述特征的另外的实施例的存在。此外,除非明确地相反说明,否则实施例“包括”,“包含”,“具有”有特定属性的元件或多个元件可以包括没有那个属性的附加的这样的元件。
根据本发明的一个方面提供一种系统,所述系统包括:包括相机的管道镜,所述相机被配置为获取至少一个目标部件的获取系列帧;和至少一个处理器,所述至少一个处理器被可操作地联接到所述相机,所述至少一个处理器被配置为:从所述相机获取所述获取系列帧;确定每个帧的模糊度量值;选择满足所述模糊度量值的阈值的帧,以形成检查系列帧;以及使用所述检查系列帧对所述至少一个目标部件进行检查分析。
在发明的一个实施例中,所述系统被配置为安装在飞行器的机翼上,并且所述至少一个目标部件包括飞行器发动机的叶片。
在发明的一个实施例中,所述至少一个处理器被配置为对于每个帧,使用整个预定图像区域的累积度量。
在发明的一个实施例中,所述至少一个处理器被配置为对于每个获取到的帧生成模糊帧,将所述模糊帧与对应获取的帧进行比较,并基于所述模糊帧和所述对应获取的帧之间的相似性来确定所述模糊度量值。
在发明的一个实施例中,所述至少一个处理器被配置为使用模糊滤波器的线性组合来为每个获取的帧生成所述模糊帧。
在发明的一个实施例中,所述至少一个处理器被配置为使用包括对应的模糊部分的参考图像库来确定所述模糊度量值。
在发明的一个实施例中,所述模糊度量值基于模糊类型、模糊程度或模糊区域中的一个或多个。
根据本发明的另一个方面,还提供一种方法,所述方法包括:利用包括相机的管道镜,获取至少一个目标部件的获取系列帧;利用至少一个处理器,确定每个帧的模糊度量值;选择满足所述模糊度量值的阈值的帧,以形成检查系列帧;以及使用所述检查系列帧对所述至少一个目标部件进行检查分析。
在发明的一个实施例中,所述至少一个目标部件包括飞行器发动机的叶片。
在发明的一个实施例中,还包括将所述管道镜安装在飞行器的机翼上。
在发明的一个实施例中,还包括对每个帧使用整个预定图像区域的累积度量。
在发明的一个实施例中,还包括为每个获取的帧生成模糊帧,将所述模糊帧与对应获取的帧进行比较,并且基于所述模糊帧与所述对应获取的帧之间的相似性来确定所述模糊度量值。
在发明的一个实施例中,还包括使用模糊滤波器的线性组合来为每个获取的帧生成所述模糊帧。
在发明的一个实施例中,还包括使用包括对应的模糊部分的参考图像库来确定所述模糊度量值。
在发明的一个实施例中,所述模糊度量值是基于模糊类型、模糊程度或模糊区域中的一个或多个。
根据本发明的又一个方面,还提供一种有形和非暂时性计算机可读介质,所述计算机可读介质包括一个或多个计算机软件模块,所述一个或多个计算机软件模块被配置为指示一个或多个处理器进行如下操作:利用包括相机的管道镜,获取至少一个目标部件的获取系列帧;确定每个帧的模糊度量值;选择满足所述模糊度量值的阈值的帧,以形成检查系列帧;以及使用检查系列帧对所述至少一个目标部件进行检查分析。
在发明的一个实施例中,所述一个或多个计算机软件模块还被配置为指示所述一个或多个处理器对于每个帧使用整个预定图像区域的累积度量。
在发明的一个实施例中,所述一个或多个计算机软件模块还被配置为指示所述一个或多个处理器为每个获取的帧生成模糊帧,将所述模糊帧与对应获取的帧进行比较,并基于所述模糊帧与所述对应获取的帧之间的相似度来确定所述模糊度量值。
在发明的一个实施例中,所述一个或多个计算机软件模块还被配置为指示所述一个或多个处理器使用包括对应的模糊部分的参考图像库来确定所述模糊度量值。
在发明的一个实施例中,所述一个或多个计算机软件模块还被配置为指示所述一个或多个处理器基于模糊类型、模糊程度或模糊区域中的一个或多个来确定所述模糊度量值。
Claims (10)
1.一种系统,其特征在于,所述系统包括:
包括相机的管道镜,所述相机被配置为获取至少一个目标部件的获取系列帧;和
至少一个处理器,所述至少一个处理器被可操作地联接到所述相机,所述至少一个处理器被配置为:
从所述相机获取所述获取系列帧;
确定每个帧的模糊度量值;
选择满足所述模糊度量值的阈值的帧,以形成检查系列帧;以及
使用所述检查系列帧对所述至少一个目标部件进行检查分析。
2.如权利要求1所述的系统,其特征在于,所述系统被配置为安装在飞行器的机翼上,并且所述至少一个目标部件包括飞行器发动机的叶片。
3.如权利要求1所述的系统,其特征在于,所述至少一个处理器被配置为对于每个帧,使用整个预定图像区域的累积度量。
4.如权利要求3所述的系统,其特征在于,所述至少一个处理器被配置为对于每个获取到的帧生成模糊帧,将所述模糊帧与对应获取的帧进行比较,并基于所述模糊帧和所述对应获取的帧之间的相似性来确定所述模糊度量值。
5.如权利要求4所述的系统,其特征在于,所述至少一个处理器被配置为使用模糊滤波器的线性组合来为每个获取的帧生成所述模糊帧。
6.如权利要求1所述的系统,其特征在于,所述至少一个处理器被配置为使用包括对应的模糊部分的参考图像库来确定所述模糊度量值。
7.如权利要求1所述的系统,其特征在于,所述模糊度量值基于模糊类型、模糊程度或模糊区域中的一个或多个。
8.一种方法,其特征在于,所述方法包括:
利用包括相机的管道镜,获取至少一个目标部件的获取系列帧;
利用至少一个处理器,确定每个帧的模糊度量值;
选择满足所述模糊度量值的阈值的帧,以形成检查系列帧;以及
使用所述检查系列帧对所述至少一个目标部件进行检查分析。
9.如权利要求8所述的方法,其特征在于,所述至少一个目标部件包括飞行器发动机的叶片。
10.如权利要求9所述的方法,其特征在于,还包括将所述管道镜安装在飞行器的机翼上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910412867.0A CN111951338A (zh) | 2019-05-17 | 2019-05-17 | 用于改进的部件检查的系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910412867.0A CN111951338A (zh) | 2019-05-17 | 2019-05-17 | 用于改进的部件检查的系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111951338A true CN111951338A (zh) | 2020-11-17 |
Family
ID=73336116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910412867.0A Pending CN111951338A (zh) | 2019-05-17 | 2019-05-17 | 用于改进的部件检查的系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111951338A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972349A (zh) * | 2022-08-01 | 2022-08-30 | 山东西曼克技术有限公司 | 基于图像处理的托辊运行状态检测方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102005030A (zh) * | 2009-08-27 | 2011-04-06 | 索尼公司 | 用于减少运动模糊的方法、系统和计算机程序产品 |
US20130211659A1 (en) * | 2010-08-25 | 2013-08-15 | University Of Sydney | Sensor data processing |
US20140362256A1 (en) * | 2013-06-06 | 2014-12-11 | Apple Inc. | Reference Frame Selection for Still Image Stabilization |
US20150193947A1 (en) * | 2014-01-06 | 2015-07-09 | Qualcomm Incorporated | System and method to generate high dynamic range images with reduced ghosting and motion blur |
JP2016035670A (ja) * | 2014-08-04 | 2016-03-17 | 富士通株式会社 | 情報処理装置、ぼけ具合計算方法、及びプログラム |
US20160098822A1 (en) * | 2014-10-07 | 2016-04-07 | Stmicroelectronics (Grenoble 2) Sas | Detection and correction of artefacts in images or video |
US20160125249A1 (en) * | 2014-10-30 | 2016-05-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Blur object tracker using group lasso method and apparatus |
US20180210189A1 (en) * | 2015-07-24 | 2018-07-26 | Keymed (Medical & Industrial Equipment) Ltd. | Method and apparatus for inspection of moving parts in rotary system |
CN109565551A (zh) * | 2016-08-03 | 2019-04-02 | 微软技术许可有限责任公司 | 对齐于参考帧合成图像 |
-
2019
- 2019-05-17 CN CN201910412867.0A patent/CN111951338A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102005030A (zh) * | 2009-08-27 | 2011-04-06 | 索尼公司 | 用于减少运动模糊的方法、系统和计算机程序产品 |
US20130211659A1 (en) * | 2010-08-25 | 2013-08-15 | University Of Sydney | Sensor data processing |
US20140362256A1 (en) * | 2013-06-06 | 2014-12-11 | Apple Inc. | Reference Frame Selection for Still Image Stabilization |
US20150193947A1 (en) * | 2014-01-06 | 2015-07-09 | Qualcomm Incorporated | System and method to generate high dynamic range images with reduced ghosting and motion blur |
JP2016035670A (ja) * | 2014-08-04 | 2016-03-17 | 富士通株式会社 | 情報処理装置、ぼけ具合計算方法、及びプログラム |
US20160098822A1 (en) * | 2014-10-07 | 2016-04-07 | Stmicroelectronics (Grenoble 2) Sas | Detection and correction of artefacts in images or video |
US20160125249A1 (en) * | 2014-10-30 | 2016-05-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Blur object tracker using group lasso method and apparatus |
US20180210189A1 (en) * | 2015-07-24 | 2018-07-26 | Keymed (Medical & Industrial Equipment) Ltd. | Method and apparatus for inspection of moving parts in rotary system |
CN109565551A (zh) * | 2016-08-03 | 2019-04-02 | 微软技术许可有限责任公司 | 对齐于参考帧合成图像 |
Non-Patent Citations (1)
Title |
---|
王雷;张磊;: "一种符合视觉感知的视频运动模糊帧检测方法", 中国科技论文, no. 02, 23 January 2017 (2017-01-23) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972349A (zh) * | 2022-08-01 | 2022-08-30 | 山东西曼克技术有限公司 | 基于图像处理的托辊运行状态检测方法及系统 |
CN114972349B (zh) * | 2022-08-01 | 2022-10-25 | 山东西曼克技术有限公司 | 基于图像处理的托辊运行状态检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11494891B2 (en) | Method of inspecting and evaluating coating state of steel structure and system therefor | |
US10914191B2 (en) | System and method for in situ airfoil inspection | |
US9471057B2 (en) | Method and system for position control based on automated defect detection feedback | |
US8238635B2 (en) | Method and system for identifying defects in radiographic image data corresponding to a scanned object | |
CN113727022B (zh) | 巡检图像的采集方法及装置、电子设备、存储介质 | |
KR20200014438A (ko) | 대상체의 외부의 검사를 최적화하기 위한 장치 및 그 방법 | |
Wu et al. | Restoration of low-informative image for robust debris shape measurement in on-line wear debris monitoring | |
CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
US10861148B2 (en) | Systems and methods for improved component inspection | |
Sosnowski et al. | Image processing in thermal cameras | |
CN113748311A (zh) | 涡轮发动机叶片缺陷自动检测系统的训练方法 | |
Tang et al. | Anomaly detection of core failures in die casting X-ray inspection images using a convolutional autoencoder | |
CN115937059A (zh) | 具有生成式训练模型的零件检查系统 | |
CN111951338A (zh) | 用于改进的部件检查的系统和方法 | |
CN112565615B (zh) | 飞拍拍摄触发点的确定方法和装置 | |
CN117745678A (zh) | 一种输送带滚筒包胶检测方法、装置、设备及存储介质 | |
Drews Jr et al. | Tracking system for underwater inspection using computer vision | |
CN116503807A (zh) | 一种设备巡检方法、装置、电子设备及计算机程序产品 | |
CN114529543B (zh) | 一种航空发动机外周螺钉垫片的安装检测方法及装置 | |
CN115953641A (zh) | 半导体样本的缺陷检查 | |
KR102022494B1 (ko) | 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법 | |
CN118505685B (zh) | 一种基于视觉检测的低压开关外壳缺陷检测方法及系统 | |
US11790508B2 (en) | Computer vision predictions for non-destructive testing | |
WO2024120857A1 (en) | Ai-based stent inspection | |
WO2024142405A1 (ja) | 点検装置、点検方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |