CN104778680A - 检查目标的系统和方法 - Google Patents

Abstract

本发明名称为检查目标的系统和方法。提供了一种用于检查目标的系统。该系统包括至少一个阵列的视觉成像装置，其配置为捕获所述目标的多个二维图像。该阵列配置为经过第一预先确定的间隔捕获第一组二维图像并且经过第二预先确定的间隔捕获第二组二维图像，所述第二预先确定的间隔在第一预先确定的间隔之后。该系统也包括联接到至少一个阵列的视觉成像装置的计算装置。该计算装置配置为从第一组二维图像和第二组二维图像提取目标的点云；从所提取的点云生成目标的三维模型；确定从第一组二维图像和第二组二维图像提取的点云中的变化；以及利用所确定的变化来检测三维模型中的潜在异常。

Description

检查目标的系统和方法

技术领域

本公开的领域一般地涉及目标的检查，并且更具体地涉及通过检查由使用来自运动范围成像技术的结构生成的目标的三维模型来检测目标的潜在异常。

背景技术

至少一些已知的飞机要求日常检查来检测潜在损害和/或其他维护问题。当飞机不在使用中时，通常由维护工人或其他人员手动执行此类检查。例如，在一些情况下，维护工人用肉眼视觉检查飞机，同时物理上在飞机周围移动。然而，例如，通过视觉检查在大型商用飞机上寻找并精确地确定潜在损害的位置可能是容易出现人为误差的费时并且费力的任务。

已经作出若干尝试来自动化用于已知飞机的视觉检查技术。至少一种已知的方法包括：捕获在不同时间取得的飞机的二维图像，以及比较图像来确定其间的变化。然而，例如当从不同的角度和/或距离取得时，可能难以精确地确定图像之间的变化。另一种已知的方法包括：捕获飞机的二维图像，以及比较该图像与飞机的三维模型。然而，三维模型的尺寸可能是不可用的或不精确的，使得三维模型和图像之间的比较将引起异常的错误检测。

发明内容

在本公开的一个方面，提供了一种用于检查目标的系统。该系统包括至少一个阵列的视觉成像装置，其配置为捕获目标的多个二维图像。至少一个阵列配置为经过第一预先确定的间隔捕获第一组二维图像并且经过第二预先确定的间隔捕获第二组二维图像，所述第二预先确定的间隔在第一预先确定的间隔之后。该系统也包括计算装置，其连接到至少一个阵列的视觉成像装置。该计算装置配置为：从第一组二维图像和第二组二维图像提取目标的点云；从所提取的点云生成目标的三维模型；确定从第一组二维图像和第二组二维图像提取的点云中的变化；以及利用所确定的变化来检测三维模型中的潜在异常。

在本公开的一个方面的另一个方面中，该系统的计算装置还配置为：

在三维模型上限定感兴趣的区域；

从对应于感兴趣的区域的第一组二维图像和第二组二维图像提取目标的点云的部分；以及

确定感兴趣的区域中的点云的部分之间的变化何时大于预先确定的阈值。

在本公开的一个方面的又一方面中，该系统的计算装置还配置为从第一组二维图像和第二组二维图像执行目标的点云的精细配准。

在本公开的一个方面的仍一方面中，该系统的计算装置还配置为从第一组二维图像和第二组二维图像执行目标的点云的变化检测。

在本公开的一个方面的另一个方面中，该系统的计算装置还配置为指定目标的区域用于当在三维模型中检测到潜在异常时进一步检查。

在本公开的一个方面的另外方面中，至少一个阵列的视觉成像装置包括在第一位置处的第一阵列和在第二位置处的第二阵列，其中目标能够选择性地在第一位置和第二位置之间移动。

在本公开的另一个方面中，提供了检查目标的方法。该方法包括：经过第一预先确定的间隔捕获目标的第一组二维图像；经过第二预先确定的间隔捕获目标的第二组二维图像，所述第二预先确定的间隔在第一预先确定的间隔之后；从第一组二维图像和第二组二维图像提取目标的点云；从所提取的点云生成目标的三维模型；确定从第一组二维图像和第二组二维图像提取的点云中的变化；以及利用所确定的变化来检测三维模型中的潜在异常。

在本公开的又一个方面中，提供了非暂时性计算机可读存储装置，其具有在其上实施的计算机可执行指令用于检查目标。当由计算装置执行时，计算机可执行指令使得计算装置：从经过单独预先确定的间隔取得的目标的第一组二维图像和第二组二维图像提取目标的点云；从所提取的点云生成目标的三维模型；确定从第一组二维图像和第二组二维图像提取的点云中的变化；以及利用所确定的变化来检测三维模型中的潜在异常。

在本公开的又一个方面的一个方面中，非暂时性计算机可读存储装置还包括计算机可执行指令，其使得计算装置：

在三维模型上限定感兴趣的区域；以及

从对应于感兴趣的区域的第一组二维图像和第二组二维图像提取目标的点云的部分。

在本公开的又一个方面的另一个方面中，非暂时性计算机可读存储装置还包括计算机可执行指令，其使得计算装置确定感兴趣的区域中的点云的部分之间的变化何时大于预先确定的阈值。

在本公开的又一个方面的进一步方面中，非暂时性计算机可读存储装置还包括计算机可执行指令，其使得计算装置从第一组二维图像和第二组二维图像执行目标的点云的精细配准。

在本公开的又一个方面的又一个方面中，非暂时性计算机可读存储装置还包括计算机可执行指令，其使得计算装置从第一组二维图像和第二组二维图像执行目标的点云的变化检测。

在本公开的又一个方面的又一个方面中，非暂时性计算机可读存储装置还包括计算机可执行指令，其使得计算装置指定目标的区域用于当在三维模型中检测到潜在异常时的进一步检查。

附图说明

图1为示例性飞机生产和服务方法的流程图。

图2为示例性飞机的方框图。

图3为用于检查目标的示例性系统的方框图。

图4为可与图3中所示的系统一起使用的示例性阵列的视觉成像装置的示意图。

图5为使用图3中所示的系统生成示例性三维模型的示意图。

图6为检查目标的示例性方法的流程图。

具体实施方式

本文描述的实施方式涉及检查目标的系统和方法。更具体地，本文描述的系统和方法通过检查由使用来自运动(SfM)范围成像技术的结构生成的目标的三维(3D)模型来促进检测目标的异常。在示例性实施方式中，由经过不同预先确定的间隔捕获的第一组二维图像和第二组二维图像生成目标的3D模型。因此，3D模型仅需要在第一组2D图像和第二组2D图像之间一致，并且与实际目标的尺寸相比不必须是准确的。确定第一组2D图像和第二组2D图像的点云中的变化，以检测可要求进一步检查的目标中的潜在异常。因此，本文描述的系统和方法提供检测技术，该技术通过更准确地确定潜在损害在目标上的存在来促进减少手动检查目标所需要的时间。

参照附图，可在飞机制造和服务方法100(图1中所示)的背景中并且经由飞机102(图2中所示)描述本公开的实施方式。在包括规格和设计104的预生产期间，可在制造过程期间使用飞机102的数据并且可取得与机体相关联的其他材料106。在生产期间，在飞机102进入其认证和交付过程112之前发生飞机102的组件和子部件制造108和系统集成110。在机体认证的成功满足和完成时，可将飞机102置于使用114。虽然由客户使用，但是安排飞机102进行周期的、例行和定期的维护和保养116，例如包括任何修改、重新配置和/或翻新。在可选的实施方式中，可经由除飞机以外的交通工具实施制造和服务方法100。

可由系统集成商、第三方和/或操作者(例如，客户)执行或完成与飞机制造和/或维护100相关联的每个部分和过程。为了此描述，系统集成商可包括但不限于任何数量的飞机制造商和主系统分包商；第三方可包括但不限于任何数量的商户、分包商和供应商；并且操作者可以是航空公司、租赁公司、军事实体、服务组织等。

如图2中所示，经由方法100生产的飞机102可包括机体118，其具有多个系统120和内部122。高水平系统120的示例包括推进系统124、电气系统126、液压系统128和/或环境系统130中的一个或多个。可包括任何数量的其他系统。

可在方法100的任何一个或多个阶段期间采用本文所体现的设备和方法。例如，可以与当飞机102处于使用中时生产的组件或子部件类似的方式建造或制造与组件生产过程108对应的组件或子部件。同样地，例如，通过大体加快飞机102的组装和/或减少飞机102的组装的成本，可在生产阶段108和110期间利用一种或多种设备实施方式、方法实施方式或它们的组合。类似地，例如在定期的维护和保养116期间当保养或维护飞机102时可利用设备实施方式、方法实施方式或它们的组合中的一种或多种。

如本文所使用，术语“飞机”可包括但不限于仅包括飞机(airplane)、无人驾驶飞行器(UAV)、滑翔机、直升机和/或穿过空间的任何其他目标。另外，在可选实施方式中，可在任何制造和/或服务操作中使用本文描述的飞机制造和服务方法。

图3为用于检查目标202的示例性系统200的方框图。在示例性实施方式中，系统200包括计算装置204和用于在一个或多个位置208处经过预先确定的间隔捕获目标202的多个二维(2D)图像的至少一个阵列206的视觉成像装置(图3中所示)。更具体地，系统200包括在第一位置212处的第一阵列210的视觉成像装置和在第二位置216处的第二阵列214的视觉成像装置。目标202能够选择性地在第一位置212和第二位置216之间移动。例如，目标202可以是自动推进式交通工具，诸如飞机102(图2中所示)，以使目标202能够选择性地在第一位置212和第二位置216之间移动。可选地，使用任何合适的机构，目标202能够选择性地移动。

计算装置204包括存储器218和处理器220，所述处理器220联接到存储器218用于执行编程的指令。处理器220可包括一个或多个处理单元(例如，以多芯配置)和/或包括密码加速器(未示出)。计算装置204是可编程的，以通过编程存储器218和/或处理器220执行本文描述的一个或多个操作。例如，可通过编码操作作为可执行指令和提供可执行指令在存储器218中来编程处理器220。

处理器220可包括但不限于通用中央处理单元(CPU)、微控制器、精简指令集计算机(RISC)处理器、开放媒体应用平台(OMAP)、专用集成电路(ASIC)、可编程逻辑电路(PLC)和/或能够执行本文所述功能的任何其他电路或处理器。本文所述的方法可编码为在包括但不限于存储装置和/或存储器装置的计算机可读介质中体现的可执行指令。当由处理器220执行时，此类指令使得处理器220执行本文所述功能的至少一部分。以上实例仅是示例性的，并且因此不意欲以任何方式限制术语处理器的定义和/或含义。

存储器218是一个或多个装置，其能够存储和检索信息，诸如可执行指令和/或其他数据。存储器218可包括一个或多个计算机可读介质，诸如但不限于动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、静态随机存取存储器(SRAM)、固态磁盘和/或硬盘。存储器218可配置为存储但不限于可执行指令、操作系统、应用程序、资源、安装脚本和/或适于与本文所述的方法和系统一起使用的任何其他类型的数据。

用于操作系统和应用程序的指令以函数形式位于用于由处理器220执行的非暂时性存储器218上，以执行本文所述过程中的一个或多个。不同实施方式中的这些指令可体现在不同的物理或有形计算机可读介质上，诸如存储器218或另一个存储器，诸如计算机可读介质(未示出)，所述计算机可读介质可包括但不限于闪存驱动器和/或拇指驱动器。另外，指令可以以函数形式位于非暂时性计算机可读介质上，所述非暂时性计算机可读介质可包括但不限于智能介质(SM)存储器、紧凑型快闪式(CF)存储器、安全数字(SD)存储器、内存条(MS)存储器、多媒体卡(MMC)存储器、嵌入式多媒体卡(e-MMC)和微型驱动存储器。计算机可读介质可以能够选择性地从计算装置204可插入和/或可拆卸，以允许由处理器220存取和/或执行。在可选的实施方式中，计算机可读介质不是可拆卸的。

图4为可与系统200(图3中所示)一起使用的示例性阵列206的视觉成像装置222的示意图。在示例性实施方式中，阵列206包括多个视觉成像装置222，其沿跑道224定位在位置208处，诸如第一位置212或第二位置216(每个在图3中示出)。更具体地，视觉成像装置222作为目标202保持基本静止，诸如飞机102沿跑道224排列。可选地，视觉成像装置222相对于跑道224保持基本静止并且当飞机102沿跑道224排列时围绕旋转轴线(未示出)枢转。此外，可选地，视觉成像装置222能够相对于跑道224平移。阵列206被取向使得视觉成像装置222能够随着飞机102和阵列206相对于彼此平移从多个不同取向捕获飞机102的多个2D图像。因此，经过第一预先确定的间隔捕获在下文中被称为“参考组”的飞机102的第一组2D图像。

在稍后时间和/或日期处，经过第二预先确定的间隔捕获在下文称为“感测组”的飞机102的第二组2D图像。更具体地，感测组2D图像由同一阵列的视觉成像装置捕获作为参考组，或者由不同阵列的视觉成像装置捕获作为在与其中捕获参考组的位置不同的位置处的参考组。例如，参考组可由第一阵列210捕获，并且感测组可由第二阵列214取得(每个在图3中示出)，或者参考组和感测组都可由第一阵列210或第二阵列214捕获。在任意示例中，感测组中的2D图像从与参考组中的2D图像不同的取向捕获。多种因素将使得来自感测组和参考组的2D图像从不同取向被捕获。示例性因素包括但不限于第一阵列210和第二阵列214中视觉成像装置222的取向、在感测组和参考组中捕获的2D图像中视觉成像装置222和飞机102之间的不同距离226、在感测组和参考组中捕获的2D图像中飞机102相对于视觉成像装置222的取向、经过第一预先确定的间隔和第二预先确定的间隔飞机102滑行穿过阵列206的速度和/或图像捕获间隔中的差异。因此，参考组和感测组2D图像表示飞机102的若干不同视图。

图5为使用系统200生成示例性三维(3D)模型228的示意图。在示例性实施方式中，通过从由视觉成像装置222(图4中示出)捕获的参考组和感测组的2D图像提取飞机102的点云230生成3D模型228。更具体地，从参考组的2D图像提取第一点云232，并且从感测组的2D图像提取第二点云234。参考组和感测组中每个2D图像的非移动背景被移除使得仅保留飞机102的图像。用于从每个2D图像移除非移动背景的示例性技术包括但不限于图像减影技术(imagesubtraction technique)，以及基于识别并隔离经过预先确定的间隔捕获的图像之间的变化的统计方法。然后使用来自运动(SfM)范围成像技术的结构来组合第一点云232和第二点云234，以生成3D模型228。

如上所述，从围绕飞机102的不同取向捕获来自参考组和感测组的2D图像。因此，当组合点云232和234来生成3D模型228时，执行分别来自参考组和感测组的点云232和234的精细配准。执行精细配准促进减少点云232和234之间的配准失配。用于执行精细配准的示例性技术包括但不限于一般的图案匹配技术、标准化灰度相关性和迭代最近点算法。然后执行变化检测来促进确定点云232和234中的变化，并且促进检测潜在异常236在3D模型228中的存在。用于执行变化检测的示例性技术包括但不限于一般的图案变化技术和推土机距离技术。

在该示例性实施方式中，在3D模型228上的感兴趣的区域上执行变化检测。更具体地，限定大体上与飞机102上的区域相关的感兴趣的区域，所述飞机102上的区域易受损害并且形成3D模型228中的潜在异常236。然后比较来自与感兴趣的区域相关的参考组的图像数据与来自与同一感兴趣的区域相关的感测组的图像数据。当感兴趣的区域中的点云232和234的部分之间的变化大于预先确定的阈值时，在3D模型228中检测到潜在异常236。当检测到潜在异常236时，指定感兴趣的区域用于进一步检查。可由维护工人手动和/或由自动化检查系统(未示出)完成进一步检查。

在示例性实施方式中，潜在异常236是来自飞机102的缺失的静电放电芯238。可选地，潜在异常236包括但不限于出故障的门闩(未示出)、飞机102上的缺失的和/或松动的组件(未示出)、流体泄漏和/或飞机102上的污迹或条纹(未示出)。

在已经检测、检查和修理潜在异常236之后，捕获飞机102的第二参考组的2D图像，以与随后感测组的2D图像进行比较。可选地，在飞机102的轮廓中的任何显著变化之后，捕获第二参考组。因此，在飞机102上执行维护之后和/或在飞机102轮廓中已出现显著变化之后，初始参考组的2D图像变得过时。

图6为检查目标202，诸如飞机102的示例性方法300的流程图。在示例性实施方式中，方法300包括：经过第一预先确定的间隔捕获302目标的第一组二维图像；以及经过第二预先确定的间隔捕获304目标的第二组二维图像，所述第二预先确定的间隔在第一预先确定的间隔之后。方法300也包括：从第一组二维图像和第二组二维图像提取306目标的点云；以及从所提取的点云生成308目标的三维模型。然后确定310并且利用312所提取的点云的变化来检测三维模型中的潜在异常。

本文描述的实施方式促进检测在检查的目标上的潜在损害。更具体地，使用由来自运动范围成像技术的结构从参考组和感测组的2D图像生成目标的3D模型。比较来自参考组和感测组的2D图像的图像数据来确定潜在异常在3D模型中的存在。然后，指定具有其中限定的潜在异常的飞机的区域用于例如由维护工人进一步检查。因此，向维护工人提供了可以要求在视觉检查期间更近的仔细检查的目标区域，从而促进减少手动检查目标所需的时间。

该书面的描述使用实例来公开包括最佳模式的各种实施方式，并且使本领域的任何技术人员能够实践各种实施方式，包括制作和使用任何装置或系统以及执行任何合并的方法。本公开的专利范围由权利要求书限定，并且可包括本领域的技术人员想到的其他实例。此类其他实例意欲处于权利要求的范围内，如果它们具有不异于权利要求的字面语言的结构要素，或者如果它们包括具有与权利要求的字面语言无实质差异的等效结构要素。

Claims (10)

1.一种用于检查目标的系统，所述系统包括：

至少一个阵列的视觉成像装置，其配置为捕获所述目标的多个二维图像，所述至少一个阵列配置为经过第一预先确定的间隔捕获第一组二维图像并且经过第二预先确定的间隔捕获第二组二维图像，所述第二预先确定的间隔在所述第一预先确定的间隔之后；和

计算装置，其联接到所述至少一个阵列的视觉成像装置，所述计算装置配置为：

从所述第一组二维图像和第二组二维图像提取所述目标的点云；

从所提取的点云生成所述目标的三维模型；

确定从所述第一组二维图像和第二组二维图像提取的点云中的变化；以及

利用所确定的变化来检测所述三维模型中的潜在异常。

2.根据权利要求1所述的系统，其中所述计算装置还配置为：

在所述三维模型上限定感兴趣的区域；以及

从对应于所述感兴趣的区域的所述第一组二维图像和第二组二维图像提取所述目标的点云的部分。

3.一种检查目标的方法，所述方法包括：

经过第一预先确定的间隔捕获所述目标的第一组二维图像；

经过第二预先确定的间隔捕获所述目标的第二组二维图像，所述第二预先确定的间隔在所述第一预先确定的间隔之后；

从所述第一组二维图像和第二组二维图像提取所述目标的点云；

从所提取的点云生成所述目标的三维模型；

确定从所述第一组二维图像和第二组二维图像提取的点云中的变化；以及

利用所确定的变化来检测所述三维模型中的潜在异常。

4.根据权利要求3所述的方法，其还包括在与所述第二组二维图像中的图像不同的取向捕获所述第一组二维图像的至少一个图像。

5.根据权利要求3-4中任一项所述的方法，其中提取所述目标的点云包括：

在所述三维模型上限定感兴趣的区域；以及

从对应于所述感兴趣的区域的所述第一组二维图像和第二组二维图像提取所述目标的点云的部分。

6.根据权利要求5所述的方法，其中确定所述点云中的变化包括确定所述感兴趣的区域中的点云的部分之间的变化何时大于预先确定的阈值。

7.根据权利要求3-6中任一项所述的方法，其中生成所述目标的三维模型包括从所述第一组二维图像和第二组二维图像执行所述目标的点云的精细配准。

8.根据权利要求3-7中任一项所述的方法，其中确定所提取的点云中的变化包括从所述第一组二维图像和第二组二维图像执行所述目标的点云的变化检测。

9.根据权利要求3所述的方法，其中利用所确定的变化包括指定所述目标的区域用于当在所述三维模型中检测到潜在异常时的进一步检查。

10.一种非暂时性计算机可读存储装置，其具有在其上体现的计算机可执行的指令用于检查目标，其中当由计算装置执行时，所述计算机可执行的指令使得所述计算装置：

从经过单独的预先确定的间隔取得的所述目标的第一组二维图像和第二组二维图像提取所述目标的点云；

从所提取的点云生成所述目标的三维模型；

确定从所述第一组二维图像和第二组二维图像提取的点云中的变化；以及

利用所确定的变化来检测所述三维模型中的潜在异常。