CN116542898A - 用于通过数据验证进行飞行器检查的自动化方法和系统 - Google Patents

用于通过数据验证进行飞行器检查的自动化方法和系统 Download PDF

Info

Publication number
CN116542898A
CN116542898A CN202310025316.5A CN202310025316A CN116542898A CN 116542898 A CN116542898 A CN 116542898A CN 202310025316 A CN202310025316 A CN 202310025316A CN 116542898 A CN116542898 A CN 116542898A
Authority
CN
China
Prior art keywords
data
captured
aircraft
computer system
captured data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310025316.5A
Other languages
English (en)
Inventor
W·J·贾雷基
J·J·特洛伊
G·J·斯威尔斯
C·T·科西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN116542898A publication Critical patent/CN116542898A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60Testing or inspecting aircraft components or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/25UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Transportation (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了用于通过数据验证进行飞行器检查的自动化方法和系统,用于检查飞行器(204,2000)的方法、装置、系统和计算机程序产品(1822)。计算机系统(206)接收由无人驾驶飞行器系统(216)飞行的飞行路径(220)的已捕获数据(224)以获取飞行器(204,2000)的已捕获数据(224)。计算机系统(206)将已捕获数据(224)与飞行器(204,2000)的参考数据(226)进行比较以形成对比(232)。计算机系统(206)使用对比(232)来确定已捕获数据(224)是否在有效的已捕获数据(138,236)的容差集合(234)内。在使用已捕获数据(224)来检测飞行器(204,2000)的异常(258)之前,计算机系统(206)响应于已捕获数据(224)在有效的已捕获数据(138,236)的容差集合(234)外而确定校正动作集合(238),其中执行所述校正动作集合(238)。

Description

用于通过数据验证进行飞行器检查的自动化方法和系统
技术领域
本公开整体涉及飞行器的自动化检查,并且具体地涉及检查飞行器,其中在已捕获数据的分析之前验证已捕获数据。
背景技术
无损检测是一组用于评估材料、部件、系统或其他结构的特性而不会对被检查的单元造成损坏的分析技术。这种无损检测也可称为无损查看、无损检查或无损评估。这些技术很有用,因为它们不会永久改变被检查的结构或部件。无损检测可在诸如司法鉴定工程、机械工程、石油工程、电气工程、系统工程、航空航天工程、医学、艺术和其他领域的领域中执行。
在航空航天的领域中,针对各种监管和维护功能执行飞行器检查以保持持续的适航性。这些检查可包括目视检查。维护人员可执行目视检查。这些类型的检查是高度时间和成本密集的,从而需要满足指定质量和安全标准的特殊技能。商业客运飞行器的检查可持续多至数天,并且可涉及使用各种类型的检查装备的多名飞行器技术人员、检查员和工程师。
半自动化检查系统的当前使用要求在捕获后评估已捕获图像的质量以及对期望图像结果的适用性,而不使用图像或其他相关的已捕获数据(例如,表面偏移或位置)作为操作的自动化验证。
发明内容
本公开的示例提供了一种用于检查飞行器的方法。计算机系统接收与由无人驾驶飞行器系统飞行的飞行路径相关联的已捕获数据以获取所述飞行器的已捕获数据。所述计算机系统将所述已捕获数据与所述飞行器的参考数据进行比较以形成对比。所述计算机系统使用对比的结果来确定所述已捕获数据是否在有效的已捕获数据的容差集合内。在使用所述已捕获数据来检测所述飞行器的异常之前,所述计算机系统响应于所述已捕获数据在所述有效的已捕获数据的所述容差集合外而确定校正动作集合,其中执行所述校正动作集合。根据其他说明性示例,提供了用于检查飞行器的计算机系统和计算机程序产品。
特征和功能可在本公开的各种示例中独立地实现或者可在其他示例中组合,其中可参考以下描述和附图看到进一步的细节。
附图说明
在所附权利要求中阐述了被认为是说明性示例的特性的新颖特征。然而,说明性示例以及其优选的使用模式、另外的目的和特征将在结合附图阅读时通过参考本公开的说明性示例的以下详细描述来最好地进行理解,其中:
图1是根据说明性示例描绘的飞行器检查环境的图示;
图2是根据说明性示例的飞行器检查环境的图示;
图3是根据说明性示例的任务的图示;
图4是根据说明性示例的用于验证已捕获数据的数据流的图示;
图5是根据说明性示例的用于检查飞行器的过程的流程图的图示;
图6是根据说明性示例的用于验证已捕获位置数据的过程的流程图;
图7是根据说明性示例的用于验证已捕获偏移距离数据位置数据的过程的流程图;
图8是根据说明性示例的用于验证图像数据的过程的流程图;
图9是根据说明性示例的用于检查飞行器的过程的流程图的图示;
图10是根据说明性示例的用于接收已捕获数据的过程的流程图的图示;
图11是根据说明性示例的用于接收已捕获数据的过程的流程图的图示;
图12是根据说明性示例的用于将已捕获数据与参考数据进行比较的过程的流程图的图示;
图13是根据说明性示例的用于将已捕获数据与参考数据进行比较的另一个过程的流程图的图示;
图14是根据说明性示例的用于将已捕获数据与参考数据进行比较的又一个过程的流程图的图示;
图15是根据说明性示例的用于响应于已捕获数据有效而执行指示已捕获数据对于分析有效的过程的流程图的图示;
图16是根据说明性示例的用于响应已捕获数据有效而分析已捕获数据的异常的过程的流程图的图示;
图17是根据说明性示例的用于确认对飞行器执行的维护的过程的流程图的图示;
图18是根据说明性示例的数据处理系统的框图的图示;
图19是根据说明性示例的飞行器制造和服务方法的图示;
图20是其中可实现说明性示例的飞行器的框图的图示;并且
图21是根据说明性示例描绘的产品管理系统的框图的图示。
具体实施方式
说明性示例识别并考虑到一个或多个不同的考虑因素。例如,说明性示例识别并考虑到无人驾驶飞行器系统(UAS)可用于飞行器的目视检查。在说明性示例中,无人驾驶飞行器系统可包括无人领航式航空载具(UAV)或无人领航式航空载具(UAV)的组合、无人领航式航空载具控制器、用于观察导航的监视器或其他无人驾驶飞行器系统部件。
说明性示例识别并考虑到这些检查,然而,可能不会以标准或一致的方式执行。因此,说明性示例识别并考虑到可能出现质量变化和不可靠的结果。说明性示例识别并考虑到常规技术可导致有关所收集的数据是否符合监管要求或检查程序标准的疑问。说明性示例识别并考虑到检查之间的不一致的质量结果会降低在飞行器或不同日期的相同飞行器之间进行客观比较以用于飞行器状态评估的能力。
说明性示例识别并考虑到至少一个错误飞行的飞行路径或有关数据收集的问题可导致未检测的异常和数据收集中的不期望质量。例如,有关数据收集的问题可包括例如失焦的图像、不在视野内的特征、较低照明、或在数据收集期间捕获图像时可能存在的其他不期望的问题。
如本文所用,当与项目列表一起使用时,短语“至少一者”意味着可使用所列项目中的一者或多者的不同组合,并且可能只需要列表中的每个项目中的一者。换句话说,“至少一者”是指可使用来自列表的项目和项目数量的任意组合,但不是列表中的所有项目都是必需的。项目可以是特定对象、事物或类别。
例如但不限于,“项目A、项目B或项目C中的至少一者”可包括项目A、项目A和项目B、或项目B。该示例还可包括项目A、项目B和项目C、或项目B和项目C。当然,可存在这些项目的任何组合。在一些说明性示例中,“至少一者”可以是例如但不限于项目A中的两者;项目B中的一者;以及项目C中的十者;项目B中的四者和项目C中的七者;或其他合适的组合。
例如,说明性示例识别并考虑到不正确穿过的飞行路径可由于错误规划的路径、错过的航路点、乱序的航路点、相对目标位置太近或太远地飞行、意外的避障操纵和其他来源而引起。说明性示例识别并考虑到有关数据收集的问题可包括不良照明、在不适当位置处拍摄的图像、使用不适当的变焦值、不正确的光圈或快门速率、失焦、缺少参考标记、缺少目标或其他问题。
说明性示例识别并考虑到常规技术在没有数据验证过程的情况下向技术人员和检查员提供图像和视频。说明性示例识别并考虑到尽管检查满足各种维护和规划以及监管要求。这些指南目前没有定义客观要求以表明与技术人员指导的检查相比,无人驾驶飞行器系统经由自动化或半自动化过程执行的数据收集是有效的。因此,说明性示例识别并考虑到使用无人驾驶飞行器系统获取的图像和视频可能需要进行密集的人类操作者分析以确定是否收集了足够的数据以满足监管要求或维护规程。
因此,期望具有一种考虑到以上讨论的问题中的至少一些以及其他可能问题的方法和装置。例如,期望具有一种以涉及较少时间和成本的方式克服有关执行飞行器的目视检查的技术问题并同时改进质量、安全性、准确性和可重复性的方法和装置。
因此,说明性示例提供了一种用于使用无人驾驶飞行器系统来检查飞行器(通过验证由无人驾驶飞行器系统获取的已捕获数据)的方法、装置、系统和计算机程序产品。在说明性示例中,已捕获数据可包括位置、偏移距离、图像数据或其组合。
在一个说明性示例中,针对无人驾驶飞行器系统所飞行的飞行路径接收已捕获数据以便获取关于飞行器状况的已捕获数据。将已捕获数据与飞行器的参考数据进行比较以形成对比。使用该对比来确定已捕获数据是否在有效的已捕获数据的容差集合内。在使用已捕获数据来检测飞行器的异常之前,响应于已捕获数据在有效的已捕获数据的容差集合之外而进行校正动作集合的确定,其中执行校正动作集合。
如本文所用,“集合”当与参考项目一起使用时表示一个或多个项目。例如,容差集合是一个或多个容差。作为另一个示例,校正动作集合是一个或多个校正动作。
现在参考附图并且特别是参考图1,根据说明性示例描绘了飞行器检查环境的图示。在该描绘的示例中,飞行器检查环境100是其中商用飞机102是可使用无人驾驶飞行器系统来检查的飞行器的示例的环境。可执行检查来识别可能需要维护的异常。此外,可执行此检查以获取数据来满足监管要求并且以维修替代方案和预测性调度增强维护规程。
如所描绘的,检查由第一无人驾驶飞行器系统(UAS)104、第二无人驾驶飞行器系统(UAS)106、第三无人驾驶飞行器系统(UAS)108和第四无人驾驶飞行器系统(UAS)110执行。在此说明性示例中,无人驾驶飞行器系统是包括用于远程控制无人驾驶飞行器的装备的无人领航式飞行器。无人驾驶飞行器系统可包括一个以上的无人领航式飞行器。这些无人驾驶飞行器系统具有允许穿过商用飞机102的飞机检查区域的能力。
在说明性示例中,这些无人驾驶飞行器系统按照预先规划的飞行路径以无人驾驶方式操作以捕获有关商用飞机102的数据和比较导航辅助数据。
在用于检查商用飞机102的一种方法中,第一无人驾驶飞行器系统104在第一条飞行路径112上飞行以捕获有关商用飞机102的数据。第二无人驾驶飞行器系统106在第二飞行路径114上飞行以捕获有关商用飞机102的数据。第三无人驾驶飞行器系统108在第三飞行路径116上飞行以捕获有关商用飞机102的数据,并且第四无人驾驶飞行器系统110在第四飞行路径118上飞行以捕获有关商用飞机102的数据。
此说明性示例中的无人驾驶飞行器系统可停在这些描绘的飞行路径上的点上以捕获数据(诸如图像、位置或偏移数据)。已捕获图像数据可以是诸如静止图像或视频中图像的图像。已捕获图像数据可用于电磁光谱的可见部分以外的图像。例如,图像数据可以是红外(IR)或紫外(UV)图像。
如图所描绘,第一无人驾驶飞行器系统104、第二无人驾驶飞行器系统106、第三无人驾驶飞行器系统108和第四无人驾驶飞行器系统110使用无线通信链路来与计算机120通信。如所描绘的,第一无人驾驶飞行器系统104可通过第一无线通信链路122发送第一已捕获数据130;第二无人驾驶飞行器系统106可通过第二无线通信链路124发送第二已捕获数据132;第三无人驾驶飞行器系统108可通过第三无线通信链路126发送第三已捕获数据134;并且第四无人驾驶飞行器系统110可通过第四无线通信链路128发送第四已捕获数据136。在飞行路径上飞行时或在飞行路径上飞行之后,该已捕获数据可由无人驾驶飞行器系统传输到计算机120。
在此说明性示例中,计算机120分析从无人驾驶飞行器系统接收的已捕获图像数据以确定已捕获数据是否作为用于飞行器维护持续适航评估的置信水平。同样在此说明性示例中,从无人驾驶飞行器系统接收位置数据以确定已捕获数据是否作为用于图像捕获的正确位置的置信水平。这种置信水平可通过以下方式来确定:计算机120分析已捕获数据以使用已捕获数据中的位置和偏移距离以及其他位置信息(诸如图纸和检查地图)来确定飞行路径是否被正确飞行。分析还可包括确定已捕获数据中的图像数据是否包含感兴趣的特征以及已捕获数据是否满足分析已捕获数据以确定商用飞机102上是否存在异常所需的标准。
在此示例中,已捕获数据的验证可包括从沿飞行路径飞行的无人驾驶飞行器系统记录的已捕获位置数据和已捕获偏移距离数据。已捕获位置数据包括无人驾驶飞行器系统的位置以及从无人驾驶飞行器系统到商用飞机102的表面的距离的偏移距离数据。已捕获数据还包括当无人驾驶飞行器系统在飞行路径上飞行时记录的图像数据。
在说明性示例中,如果已捕获数据被确定为有效,则计算机120可将有效的已捕获数据138发送到在飞行器维护中利用图像数据的操作实体集合。实体集合可选自航空公司、飞机维护设施、监管机构或某个其他维护和适航实体中的至少一者。实体140可将数据用于各种目的。例如,监管机构可在符合检查规定的监管机构维护系统内记录已捕获数据。航空公司或飞机维护设施可分析已捕获图像数据以确定是否存在异常并且基于已捕获数据的分析结果根据需要发起维护。
如果已捕获图像数据被计算机系统判定为无效,则计算机120可控制无人驾驶飞行器系统以通过校正动作执行附加数据采集飞行,从而消除无效结果的原因。这些校正动作可包括重复捕获针对飞行路径的图像数据捕获、改变传感器的设置,以及更改所飞行的飞行路径以获取新的已捕获图像数据。例如,如果第二已捕获数据132被确定为无效,则计算机120可指示第二无人驾驶飞行器系统106使用第二飞行路径114或已修改飞行路径来重复捕获数据。另外,计算机120可改变第二无人驾驶飞行器系统106中的相机设置。可在第二已捕获数据132无效时采取这些和其他校正动作。
因此,图1中的说明性示例可提供具有一定质量水平的已捕获数据,其可用于确定是否存在可能需要维护的异常。因此,航空公司维护设施和使用已捕获数据来进行分析的其他实体不需要在执行分析之前验证已捕获图像是否被正确获取。此外,该已捕获数据还可用于满足监管机构的规定。通过验证来自无人驾驶飞行器系统的已捕获图像和位置数据,可避免或减小在此自动化维护检查系统之外收集证实信息以做出决策。证实信息是从除了自动化维护检查系统之外的来源收集的信息。因此,可减小检查过程中的延迟和飞行器的停止服务时间并且改进检查结果的质量记录。
尽管图1中的说明性例示出了在商用飞机102外的无人驾驶飞行器系统,但无人驾驶飞行器系统也可用于机舱内或内部机身检查。
接下来参考图2,根据说明性示例描绘了飞行器检查环境的图示。图1中的飞行器检查环境100中的部件是可在图2中的飞行器检查环境200中实现的部件示例。
飞行器检查系统202可在飞行器检查环境200进行操作以检测飞行器204。飞行器204可采用许多不同形式。如本文所用,“许多”当与参考项目一起使用时表示一个或多个项目。许多不同形式是一种或多种不同形式。
例如,飞行器204可选自包括以下中的一者的组:商用飞行器、商用乘客飞机、旋翼机、倾转旋翼飞行器、倾转翼飞行器、垂直起降飞行器、电动垂直起降载具、部分制造的飞行器和其他合适类型的飞行器。
在此说明性示例中,飞行器检查系统202包括许多不同部件。如所描绘的,飞行器检查系统202包括计算机系统206、控制器208和无人驾驶飞行器系统集合210。
控制器208可以软件、硬件、固件或其组合实现。当使用软件时,由控制器208执行的操作可以被配置为在硬件(诸如处理器单元)上运行的程序代码实现。当使用固件时,由控制器208执行的操作可以程序代码和数据实现并且存储在持久性存储器中以便在处理器单元上运行。当采用硬件时,硬件可包括进行操作以执行控制器208中的操作的电路。
在说明性示例中,硬件可采用选自以下中的至少一者的形式:电路系统、集成电路、专用集成电路(ASIC)、可编程逻辑设备、或被配置为执行许多操作的某个其他合适类型的硬件。通过可编程逻辑设备,设备可被配置为执行许多操作。设备可在稍后被重新配置或者可被永久配置为执行许多操作。可编程逻辑设备包括例如可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列和其他合适的硬件设备。此外,过程可在与无机部件集成的有机部件中实施并且可完全由不包括人类的有机部件组成。例如,过程可被实现为有机半导体中的电路。
在一个说明性示例中,控制器208可以是自动化分析工具。例如,控制器208可以是人工智能系统。人工智能系统可以是机器学习模型、知识库或某种其他合适类型的自动化分析程序或软件。
计算机系统206是物理硬件系统并且包括一个或多个数据处理系统。当计算机系统206中存多于一个数据处理系统时,这些数据处理系统使用通信介质来相互通信。通信介质可以是网络。数据处理系统可选自计算机、服务器计算机、平板电脑或某种其他合适的数据处理系统中的至少一者。
如所描绘的,计算机系统206包括能够执行实现说明性示例中的过程的程序指令214的许多处理器单元212。如本文所用,许多处理器单元212中的处理器单元是硬件设备并且由硬件电路组成,诸如集成电路上的响应和处理操作计算机的指令和程序代码的硬件电路。
当许多处理器单元212执行一个过程的程序指令214时,许多处理器单元212是可在相同计算机上或者在不同计算机上的一个或多个处理器单元。换句话说,该过程可分布在计算机系统中的相同或不同计算机上的处理器单元之间。进一步地,许多处理器单元212可以是相同类型或不同类型的处理器单元。例如,许多处理器单元可选自单核处理器、双核处理器、多处理器核、通用中央处理器(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)或某种类型的处理器单元中的至少一者。
在一个说明性示例中,无人驾驶飞行器系统集合210中的无人驾驶飞行器系统216可使用任务218来操作。任务218可从控制器208上传到无人驾驶飞行器系统216。
在此说明性示例中,任务218包括定义将由无人驾驶飞行器系统216飞行的路线的飞行路径220,并且定义已捕获图像数据250的图像计划222将由无人驾驶飞行器系统216针对被检查的飞行器204获取。
计算机系统206中的控制器208接收由无人驾驶飞行器系统216飞行的飞行路径220的已捕获数据224以便检查飞行器204。在这个示例中,沿此飞行路径飞行以便获取被检查的飞行器204的已捕获数据224。已捕获数据224可包括已捕获位置数据242、已捕获偏移距离数据244和已捕获图像数据250。
在此说明性示例中,已捕获数据224由无人驾驶飞行器系统216中的传感器系统228获取。传感器系统228可包括传感器诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、激光测距仪、相机系统以及可获取已捕获数据224的其他类型的传感器。
可以许多不同方式从无人驾驶飞行器系统216接收已捕获数据224。例如,在无人驾驶飞行器系统216在飞行路径220上的飞行期间,可通过无线连接实时接收已捕获数据224。当计算机系统206中的控制器208从无人驾驶飞行器系统216实时接收已捕获数据224时,尽快地接收已捕获数据224而没有任何故意延迟。
在其他说明性示例中,计算机系统206中的控制器208定期地或在飞行路径220的部分已经由无人驾驶飞行器系统216飞行之后接收已捕获数据224。并且在又一些其他说明性示例中,计算机系统206中的控制器208可在无人驾驶飞行器系统216已经完成沿飞行路径220飞行之后接收已捕获数据224。
在此说明性示例中,当无人驾驶飞行器系统216正在沿飞行路径220飞行时,控制器208可接收飞行路径220的已捕获数据224。在此示例中,已捕获数据224是针对由无人驾驶飞行器系统216飞行的飞行路径220的部分230。换句话说,可针对由无人驾驶飞行器系统216飞行的飞行路径220的每个部分发送已捕获数据224。在又另一个说明性示例中,当无人驾驶飞行器系统216在飞行路径220上飞行时,可实时发送已捕获数据224。换句话说,在无人驾驶飞行器系统216的操作期间,已捕获数据224可被发送到控制器208并由该控制器接收而不会有任何故意延迟。
在另一个说明性示例中,在无人驾驶飞行器系统216已经完成飞行路径220之后,控制器208可接收飞行路径220的已捕获数据224。关于此示例,已捕获数据224是针对飞行路径220的全部。
在此说明性示例中,控制器208将已捕获数据224与飞行器204的参考数据226进行比较以形成对比232。控制器208可使用对比232来确定已捕获数据224是否在有效的已捕获数据236的容差集合234内。
容差集合234可以是范围、阈值、期望值或已捕获数据224相对于参考数据226的其他容差中的至少一者。换句话说,根据针对将被认为是有效的已捕获数据236的已捕获数据224的对比232中的参考数据226,容差234定义了有多少变化可在已捕获数据224中。
在一个说明性示例中,在将已捕获数据224与参考数据226进行比较时,控制器208可将已捕获数据224与参考数据226进行比较,控制器208可访问已捕获数据224中的无人驾驶飞行器系统216的已捕获位置数据242和已捕获偏移距离数据244。在进行这种对比时,控制器208还可访问参考数据226中的参考位置数据246和参考偏移距离数据248。其他数据也可存在于已捕获数据224中,诸如相机瞄准部件(例如,万向节)的一个或多个角度和其他输入参数。控制器208然后将已捕获位置数据242和已捕获偏移距离数据244分别与参考位置数据246和参考偏移距离数据248进行比较以创建对比232。
在另一个示例中,控制器208可通过访问已捕获数据224中的已捕获图像数据250将已捕获数据224与参考数据226进行比较;访问参考数据226中的参考图像数据252;并且将已捕获图像数据250与参考图像数据252进行比较以形成对比232。
在又另一个示例中,对比232可通过控制器208访问已捕获数据224中的已捕获位置数据242、已捕获偏移距离数据244和已捕获图像数据250来进行。控制器208还可访问参考数据226中的参考位置数据246、参考偏移距离数据248和参考图像数据252。控制器208将已捕获位置数据242、已捕获偏移距离数据244和已捕获图像数据250分别与参考位置数据246、参考偏移距离数据248和参考图像数据252进行比较以形成对比232。
在此说明性示例中,可以许多不同方式生成参考数据226以用于比较。例如,控制器208可使用以下中的至少一者来创建参考位置数据246和参考偏移距离数据248:飞行器的计算机辅助设计(CAD)模型、点云扫描、来自飞行器204、其他类似飞行器的一个或多个先前检查或来自其他来源的历史飞行路径。控制器208可通过计算机系统使用以下中的至少一者来创建参考图像数据252:飞行器204的计算机辅助设计模型、飞行器204的点云扫描、飞行器204、其他类似飞行器、或有关飞行器204的其他信息来源的历史图像。
在此说明性示例中,已捕获数据224在绝对坐标系256中定义。绝对坐标系256可具有使用坐标系来定义的坐标,诸如纬度、经度和高度。
在此示例中,参考数据226使用相对坐标系254来定义。在此示例中,参考位置数据246可使用飞行器204的相对坐标系254来定义。相对坐标系254可使用相对于飞行器204中的点或位置的原点来定义。例如,原点可以是飞行器204的机头。换句话说,已捕获位置数据242使用相对坐标系254来描述位置。
在此说明性示例中,控制器208将一个坐标系转换成另一个坐标系以使得使用相同坐标系来描述已捕获数据224和参考数据226。此过程也可称为对准坐标系以使得数据使用相同的坐标系。
在说明性示例中,已捕获数据224从使用绝对坐标系256转换为相对坐标系254以比较已捕获数据224和参考数据226,从而生成对比232。
当已捕获数据224不是有效的已捕获数据236时,控制器208响应于已捕获数据224在有效的已捕获数据236的容差集合234之外而确定校正动作集合238。在此示例中,校正动作集合238在使用已捕获数据224来检测飞行器204的异常258之前执行。
校正动作集合238可采用多个不同形式。例如,校正动作集合238选自以下中的至少一者:针对飞行路径重复捕获数据、针对已捕获数据在其上无效的飞行路径的部分重复图像生成、使用已调整飞行路径来重复捕获数据、调整无人驾驶飞行器系统216上的传感器系统228中的相机系统的设置、或其他合适的动作。
校正动作集合238可以许多不同方式执行。例如,校正动作集合238可将无人驾驶飞行器系统216中的至少一者用于无人驾驶飞行器系统210中的另一个无人驾驶飞行器系统。换句话说,生成无效的已捕获数据的相同无人驾驶飞行器系统可用于重新捕获数据。在另一个示例中,可使用不同的无人驾驶飞行器系统。在又另一个示例中,相同的无人驾驶飞行器系统和一个或多个其他无人驾驶飞行器系统将用于从飞行路径220捕获数据。
当已捕获位置数据242有效时,控制器208可通过已捕获位置数据242执行许多不同动作。例如,响应于确定已捕获数据224是有效的,控制器208可指示已捕获位置数据242对于分析有效。可收集已捕获位置数据242以用于许多不同功能,包括监管、规划、管理、维护、预测性维护或其他类型的功能。该指示可用于发起动作,诸如录入或记录已捕获数据224以及对比232的结果。
作为另一个示例,当已捕获数据224有效时,可形成的另一个动作是针对飞行器204的异常集合258分析已捕获数据224。基于识别的异常集合258,可针对飞行器204执行维护动作集合260。如果在分析中发现异常集合258,则可调度维护动作260来解决异常集合258。
在此示例中,执行维护动作集合260可包括通过维修、返工、更换或其他动作中的至少一者来解决异常集合258。维护动作集合260还可包括在对异常集合258执行维护之后使无人驾驶飞行器系统216在飞行路径220的异常集合258所位于的部分230上飞行。换句话说,在解决异常集合258之后,可使用无人驾驶飞行器系统216来执行飞行器204的另一个检查。此检查可包括重复接收由无人驾驶飞行器系统216飞行的飞行路径220的部分230的已捕获位置数据242以获取飞行器204的已捕获数据224;将已捕获数据224与飞行器204的参考数据226进行比较以形成对比232;使用对比232来确定已捕获数据224是否在有效的已捕获数据236的容差集合234内;以及在使用已捕获数据224来检测飞行器204的异常集合258之前,响应于已捕获数据224在有效的已捕获数据236的容差集合234外而确定校正动作集合238。
在一个说明性示例中,存在一个或多个解决方案,其克服有关使用无人驾驶飞行器系统来执行检查的问题。因此,一个或多个解决方案可提供通过检查飞行器来获取数据的能力,该数据被验证并且可用于执行动作诸如维护调度、机队规划、机队管理、飞行器分析和其他动作。
计算机系统206可被配置为使用软件、硬件、固件或其组合来执行不同说明性示例中描述的步骤、操作或动作中的至少一者。因此,计算机系统206作为专用计算机系统操作,其中计算机系统206中的控制器208与当前用于检查飞行器的技术相比能够以更有效的方式检查飞行器。具体地,与没有控制器208的当前可用的通用计算机系统相比,控制器208将计算机系统206转变成专用计算机系统。
在说明性示例中,计算机系统206中的控制器208的使用将过程集成到用于检查飞行器的实际应用中,其中可验证无人驾驶飞行器系统所飞行的飞行路径的已捕获数据。此验证包括在执行分析以发现异常之前验证飞行路径三维位置、偏移距离数据和图像数据。另外,控制器208可以可接受的方式提供有效性的指示以供航空监管机构、航空公司、维护设施和其他实体使用。以这种方式,使用飞行器检查系统202来执行的检查可用来替代或补充人工检查。
接下来转到图3,根据说明性示例描绘了任务的图示。在说明性示例中,相同的附图标记可在多于一个图中使用。附图标记在不同图中的这种重复使用表示不同图中的相同元件。
在本示例中描绘了任务218中的示例性部件的图示,如图所示,任务218包括飞行路径220和图像计划302。
飞行路径220包括许多不同部件。如所描绘的,飞行路径220包括航路点308,其可用于定位和导航以获取已捕获数据224。航路点308包括定位314、速度310和偏移距离312。
定位314包括在三维空间中的位置304,无人驾驶飞行器系统216将针对飞行路径220沿该位置飞行。例如,位置可以是无人驾驶飞行器系统的x,y,z坐标。
定位314还可包括取向316。取向可以是无人驾驶飞行器系统216的取向。可使用滚转、俯仰和偏航来描述取向。取向316可在飞行路径220的不同部分上改变。
如所描绘的,航路点308中的速度310是无人驾驶飞行器系统216在飞行路径220上飞行的速率和方向。速度310可在飞行路径220的部分上变化。
飞行路径220还可包括目标方向306。目标方向306定义无人驾驶飞行器系统216中的传感器系统228中的相机和传感器的目标方向。此瞄准方向可涉及通过旋转控制机构(像万向节)来设置的多个旋转轴,该旋转控制机构可控制用于将相机和传感器指向特定方向的平移轴和倾斜轴(分别称为方位角和仰角)。
航路点308中的偏移距离312是无人驾驶飞行器系统216与飞行器204的表面之间的距离。这些距离是预期的距离,或者对于使无人驾驶飞行器系统216在飞行器204附近安全飞行以及对于捕获已捕获图像数据250而言是最佳的距离。
在此说明性示例中,图像计划222是用于获取已捕获图像数据250的信息。已捕获图像数据250可以是静止图像或视频中的图像的序列。
在此说明性示例中,图像计划222包括许多不同部件。如所描绘的,图像平面222包括像素密度320、分辨率322、视场(FoV)324、照明326和波长328。
像素密度320是相机所获取的图像区域内的像素数。像素密度可例如以像素每英寸来进行测量。分辨率322是无人驾驶飞行器系统216中的传感器系统228中的相机所获取的图像中可保留的细节量。视野324是表示相机和/或传感器系统228可查看和捕获的环境范围的角度(或在一些情况下,单独的水平角度和竖直角度)。视野可以度数来进行测量。
照明326是捕获图像所需的光量。波长328是将由相机和传感器系统228针对其捕获图像的电磁光谱的部分。波长328可包括可见光、红外光、紫外线或其他波长中的至少一者。
接下来转到图4,根据说明性示例描绘了用于验证已捕获数据的数据流的图示。在此说明性示例中,控制器208在确定已捕获数据224是否为有效的已捕获数据236时执行许多验证。如所描绘的,控制器208执行位置验证400、表面偏移验证402和图像数据验证404。在此说明性示例中,可使用参考数据226和已捕获数据224来执行这些验证。在这些验证中使用的允许偏差可在图2中的容差集合234中找到。
在位置验证400中,所使用的验证过程独立于该过程中分析的三维位置数据的来源。例如,三维位置数据可由差分全球定位系统(GPS)接收器、同时定位和标测(SLAM)系统、运动捕获系统或其他类型的三维定位系统提供。
在此示例中,三维位置使用x,y,z坐标来进行描述。
位置验证400可由控制器208执行,该控制器对位置406、速度408和取向410执行检查以确定已捕获位置数据242是否有效。在此示例中,可针对已捕获位置数据242中的每个位置验证位置406。
在此说明性示例中,可使用以下来验证位置406:参考位置,X;参考位置,Y;参考位置,Z;已捕获位置,X;已捕获位置,Y;已捕获位置,Z;以及允许位置偏差。可计算参考位置值和已捕获位置值之间的差异以获得位置偏差。可将该位置偏差与允许位置偏差进行比较来确定位置是否有效。
在此说明性示例中,在位置验证400中可使用以下来验证速度408:参考速度,X;参考速度,Y;参考速度,Z;已捕获速度,X;已捕获速度,Y;已捕获速度,Z;以及允许速度偏差。可计算参考速度值和已捕获速度值之间的差异以获得速度差。可将该速度差与允许速度偏差进行比较以确定该数据点的速度是否有效。在此说明性示例中,速度在图像捕获的时刻应为“0”。
作为位置验证400的一部分,可对取向410执行类似检查。该检查可使用以下来执行:参考角,滚转;参考角,俯仰;参考角,偏航;已捕获角,滚转;已捕获角,俯仰;已捕获角,偏航;以及允许角度偏差。
取向偏差可通过采用取向参考角和已捕获角取向之间的差异来计算。可将取向偏差与允许角度偏差进行比较以确定取向是否有效。
在此说明性示例中,表面偏移验证402是对从无人驾驶飞行器系统相机透镜到飞行器表面的距离的验证。可针对每个感兴趣的位置执行此验证。针对偏移412的表面偏移验证402可使用以下来执行:参考偏移距离数据248中的参考偏移距离;已捕获偏移距离数据244中的已捕获偏移距离;以及允许的偏移距离偏差。计算参考偏移距离与已捕获偏移距离之间的差异以获得并偏移距离偏差。此偏移距离偏差可用于确定从无人驾驶飞行器系统到飞行器表面的偏移412对于正被评估的数据点是否有效。
在此说明性示例中,图像数据验证404可由控制器208针对图像计划222中的各种参数执行。如本示例中描绘的,图像数据验证404通过检查一个或多个参数(诸如颜色414、视野(FoV)416和特征位置418)来执行。
如所描绘的,在图像数据验证404中可使用以下来验证颜色414:参考颜色,R;颜色,G;参考颜色,B;已捕获颜色,R;已捕获颜色,G;已捕获颜色,B;允许颜色偏差,R;允许颜色偏差,G;允许颜色偏差,B。
在此说明性示例中,颜色偏差可被计算为RGB值的参考颜色和已捕获颜色之间的差异。在此说明性示例中,根据这些差异计算颜色偏差,R;颜色偏差,G;和颜色偏差,B。可将这些偏差分别与允许颜色偏差,R;允许颜色偏差,G;允许颜色偏差B分别进行比较以确定颜色414是否有效。此颜色可用于已捕获图像中的像素采样。
视野416可使用参考视野;实际视野;以及允许视野偏差来进行验证。视野偏差可被计算为参考视野与实际视野之间的差异。视场偏差可与允许视场偏差进行比较以确定视场416是否有效。
特征或特征列表的特征位置418可使用以下来进行验证:参考特征位置(以像素为单位),px;参考特征位置,py;已捕获特征位置,px;已捕获特征位置,py;以及图像中的感兴趣特征的允许特征位置偏差。可针对图像中的一个或多个特征执行特征位置418的验证。例如,特征可以是铆钉、整流罩、入口、接头或飞行器上的某个其他合适特征。
位置偏差可被计算为参考特征位置坐标和已捕获特征位置坐标之间的差异。可将位置偏差与允许特征偏差进行比较以确定特征位置418是否有效。
本图中的图像数据验证404的说明仅作为示例提供并且不意味着限制在其他说明性示例中可执行验证的方式。在其他说明性示例中,可执行使用其他数据的验证,以补充或替代该图中描绘的验证。例如,除了或代替颜色414、视野416和特征位置418,其他类型的图像数据可在图像数据验证中被验证。例如,可验证的其他参数包括焦点、强度、照明或其他合适的参数中的至少一者。
图2至图4中的飞行器检查环境200和不同部件的图示并不意味着暗示对可实现说明性示例的方式的物理或架构限制。可使用其他部件来补充或代替所示的部件。一些部件可能是不必要的。此外,还呈现了这些块来说明一些功能部件。当在说明性示例中实现时,这些块中的一者或多者可被组合、划分或组合并划分成不同块。
例如,除了无人驾驶飞行器系统216之外,无人驾驶飞行器系统210中的无人驾驶飞行器系统中的一者或多者可沿飞行路径飞行以检查飞行器204。此外,无人驾驶飞行器系统210中的一个或多个无人驾驶飞行器系统可沿飞行路径220飞行。当不同类型的传感器位于无人驾驶飞行器系统210中的传感器系统上时,此飞行可能由多于一个无人驾驶飞行器系统飞行。在又另一个说明性示例中,控制器208可控制无人驾驶飞行器系统210中的另一个无人驾驶飞行器系统以检查除飞行器204之外的另一个飞行器。
作为另一个示例,飞行器检查系统202可被配置为使用其他类型的运动平台或系统来检查飞行器204以补充或替代无人驾驶飞行器系统210。例如,载具选自以下中的至少一者:履带牵引装置、水下无人驾驶载具(UUV)、远程操作载具(ROV)、自主水下载具(AUV)、具有手臂的固定检查机器人、或适用于由控制器208沿路径获取已捕获数据224以进行路由控制的其他系统。
在图5中,根据说明性示例描绘了用于检查飞行器的过程的流程图。图5中的过程可在硬件、软件或两者中实现。当以软件实现时,过程可采用程序代码的形式,该程序代码由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元者运行。例如,过程可在图2中的计算机系统206中的控制器208中实现。此过程可使用无人驾驶飞行器系统210来实现以捕获数据。
过程开始于获取飞机检查要求(操作500)。可从各种来源(诸如制造商的要求、知识库、用例和其他来源)获得这些要求。此信息可用于识别检查区域以及飞行器上的特定特征。例如,特征可包括天线、整流罩、机翼表面、门、缝翼、襟翼、副翼或飞行器上的应检查的其他特征。这些要求可位于特定飞行器的数据库中并且在500操作中上传。
过程然后评估环境状况(操作502)。在许多环境中执行飞行器维护。一些因素包括例如照明(例如,来自光源的反射或眩光、或阴影)、温度、气流、天气状况(例如,雾/烟雾、雨等)和物理挂钩布局。使用无人驾驶飞行器系统的飞行器检查考虑了环境状况以有效地进行操作。
过程为任务生成飞行路径和图像计划(操作504)。在操作504中,过程可使用CAD模型数据或点云数据,并且路径规划算法生成飞行路径的位置数据和偏移距离数据。过程还可使用CAD模型数据或点云数据来确定用于对飞行器上的特征的不同区域进行成像的细节。无人驾驶飞行器系统使用此任务来执行飞行器的检查。在说明性示例中,所生成的飞行路径考虑了在操作500中确定的飞机检查要求和在步骤502中评估的环境状况。
过程将任务加载到无人驾驶飞行器系统(操作506)。然后,过程开始导航和数据捕获(操作508)。在此操作中,无人驾驶飞行器系统执行包括在飞行路径上飞行的任务。在说明性示例中,此操作由无人驾驶飞行器系统自主执行。在其他说明性示例中,人类操作者可远程控制无人驾驶飞行器系统的一些方面。
过程沿飞行路径获取图像数据、位置数据和偏移距离数据(操作510)。在此操作中,过程从环境获取三维位置和取向数据。可使用例如惯性测量单元(IMU)、光探测和测距(LIDAR)系统、差分全球定位系统(GPS)接收器、基于视觉的定位或运动捕获系统来获取此数据。可使用无人驾驶飞行器系统上的一个或多个相机来获取图像数据。
过程确定位置数据、偏移距离数据和图像数据是否有效(操作512)。在操作512中,过程可验证从三维定位传感器(诸如差分全球定位系统(GPS)接收器、同步定位标测(SLAM)传感器或运动捕获系统)捕获的三维位置数据。可将该已捕获位置数据与参考位置数据进行比较,其中比较过程中的变化是针对指定容差。
在操作512中,偏移距离数据是从无人驾驶飞行器系统到被检查的飞行器或部件表面的距离并且可与参考偏移距离数据进行比较。这种比较的变化可与指定的容差配对。
在此说明性示例中,可通过将已捕获图像数据中的已获取图像与参考图像数据进行比较以分析参数诸如颜色、视野(FoV)和一般特征位置或图像的其他方面来验证成像数据。
如果位置数据、偏移距离数据和图像数据无效,则过程修改无人驾驶飞行器系统的飞行路径或图像计划中的至少一者(操作514)。可通过对飞行路径或图像参数中的至少一者进行调整以满足位置或图像容差要求中的至少一者来执行该修改。然后,过程返回到如上所述的操作510。
例如,飞行器相机的一部分上的阴影或反射以及所得的图像数据不足以进行分析。对于反射或阴影,可通过修改飞行路径以从另一个角度或位置捕获图像数据来捕获所述部分的图像数据。作为另一个示例,如果存在低能见度状况,则可在操作514中改变偏移距离、图像分辨率或图像计划中的其他参数。
再次参考操作512,位置数据、偏移距离数据和图像数据有效,过程确定飞行路径是否完整(操作516)。如果飞行路径不完整,则过程返回到操作510。
如果飞行路径完整,则过程分析图像数据以发现异常(操作518)。可使用独立的机械检查数据和历史记录来进行操作518中的这种分析519。可生成这些记录以进行引用异常类型、位置和大小的飞行器的机械手动检查。此外,可对无人驾驶飞行器系统所捕获的图像进行机械图像审查,其中审查记录异常类型、位置和大小。这些记录还可包括机械手动检查和机械图像审查之间比较的统计分析结果。
例如,可对于飞行器的手动账户检查进行图像分析的比较以生成图像分析所检测的异常与机械手动检查所检测的异常之间的比较。
过程还可确认无人驾驶飞行器系统图像与机械手动检查的等效性。
可使用经验证的已捕获数据来确定维护动作(操作520)。所需的维护动作取决于是否发现异常,并且如果发现异常,则维护动作取决于飞行器上存在的异常的类型。
在使用经验证的已捕获数据和异常分析的结果时,可执行机队管理决策和分析(操作522)。过程在此之后终止。在操作522中,可将图像和处置存储在数据库中以用于确定另选或更有效的检查要求。该数据库可包括相同类型的飞行器和特定飞行器的异常识别以维护各类型的飞行器和单独飞行器的历史。
现在参考图6,根据说明性示例描绘了用于验证已捕获位置数据的过程的流程图。图6所示的过程可用于图5中的操作512以确定已捕获位置数据是否可用于分析。此过程与已捕获位置数据的来源无关。可针对无人驾驶飞行器系统所飞行的飞行路径的已捕获位置数据中的每个位置执行在该过程中执行的数据对比检查。此过程也是图4中的控制器208所执行的位置验证400的示例。
过程开始于访问参考位置数据中的参考x位置、参考y位置和参考z位置(操作600)。在此描绘的示例中,位置数据是使用x,y,z坐标的笛卡尔坐标系中的三维位置数据。
过程访问已捕获位置数据中的已捕获位置x、已捕获y位置和已捕获z位置(操作602)。在该示例中,参考位置数据中的每个参考位置在已捕获位置数据中具有对应的已捕获位置。过程然后计算参考位置数据和对应的已捕获位置数据之间的位置偏差(操作604)。
如果位置偏差在允许位置偏差内,则过程指示已捕获位置数据有效(操作608)。
过程然后访问参考速度数据中的在x方向上的参考速度、在y方向上的参考速度和在z方向上的参考速度(操作610)。过程然后访问已捕获速度数据中的在x方向上的已捕获速度、在y方向上的已捕获速度和在z方向上的已捕获速度(操作612)。在此示例中,参考速度数据中的每个参考速度在已捕获速度数据中具有对应的已捕获速度。
过程计算参考速度数据和对应的已捕获速度数据之间的速度偏差(操作614)。在此示例中,已捕获速度数据中的每个已捕获速度在参考速度数据中具有对应的参考速度。如果速度偏差在允许速度偏差内,则过程指示已捕获速度数据有效(操作616)。
过程访问参考取向数据中的参考滚转角、参考俯仰角和参考偏航角(操作618)。过程访问已捕获取向数据中的已捕获滚转角、已捕获俯仰角和已捕获偏航角(操作620)。在该示例中,参考位置数据中的每个参考取向角在已捕获位置数据中具有已捕获参考取向角。
过程计算参考取向数据和已捕获取向数据之间的取向偏差(操作622)。如果取向偏差在允许取向偏差内,则过程指示取向偏差数据有效(操作624)。
确定已捕获位置数据的全部是否有效(操作626)。如果已捕获位置数据的全部有效,则过程指示已捕获位置数据对于飞行路径有效(操作628),过程在此之后确定。否则,过程指示已捕获位置数据无效(操作630),过程在此之后终止。指示可包括指示在或不在容差范围内的每个偏差。
现在参考图7,根据说明性示例描绘了用于验证已捕获偏移距离数据的过程的流程图。图7所示的过程可用于图5中的操作512以确定已捕获偏移距离数据是否可用于分析。此过程也是图4中的控制器208所执行的表面偏移验证402的示例。
过程开始于访问参考偏移距离数据(操作700)。过程访问已捕获偏移距离数据中的已捕获偏移距离(702)。在此示例中,每个参考偏移距离具有对应的已捕获偏移距离。
过程计算参考偏移距离与对应的已捕获偏移距离之间的距离偏差(操作704)。确定距离偏差的全部是否在允许偏差内(操作705)。如果已捕获位置数据的全部有效。如果距离偏差的全部在允许偏差内,则过程指示已捕获偏移距离数据有效(操作706),过程在此之后终止。否则,过程指示已捕获偏移距离数据无效(操作708),过程在此之后终止。指示可包括指示在容差内或容差外的每个距离偏差。
现在参考图8,根据说明性示例描绘了用于验证图像数据的过程的流程图。图8所示的过程可用于图5中的操作512以确定图像数据是否可用于分析。此过程也是图4中的控制器208所执行的图像数据验证404的示例。
过程开始于访问参考颜色数据中的参考RGB值(操作800)。过程访问已捕获颜色数据中的已捕获RGB值(操作802)。在此示例中,参考颜色数据中的每个参考R(红色)值、参考G(绿色)值和参考B(蓝色)值在已捕获颜色数据中具有对应的已捕获R值、已捕获G值和已捕获B值。过程然后计算参考RGB值和对应的已捕获RGB值之间的颜色偏差(操作804)。
如果颜色偏差在允许颜色偏差内,则过程指示已捕获颜色数据有效(操作806)。
过程访问参考视野数据中的参考视野值(操作808)。过程访问已捕获视野数据中的已捕获视野值(操作810)。
过程计算参考视野值和已捕获视野值之间的视野偏差(操作812)。如果视野偏差在允许视野偏差内,则过程指示已捕获视野数据有效(操作814)。
过程访问参考特征数据中的特征的参考特征位置(操作816)。在此说明性示例中,可使用x,y像素坐标来描述图像中的特征的特征位置。过程访问已捕获特征数据中的特征的已捕获特征位置(操作818)。在该示例中,特征的每个参考特征位置具有该特征的对应的已捕获特征位置。
过程计算已捕获特征位置的特征位置偏差(操作820)。如果特征位置偏差在允许特征位置偏差内,则过程指示已捕获特征数据有效(操作822)。
然后确定已捕获图像数据的全部是否有效(操作824)。如果已捕获位置数据的全部有效,则过程指示图像数据对于飞行路径有效(操作826),过程在此之后确定。否则,过程指示已捕获图像数据对于飞行路径无效(操作828),过程在此之后终止。指示可包括指示在或不在容差范围内的每个偏差。
接下来转到图9,根据说明性示例描绘了用于检查飞行器的过程的流程图。图9中的过程可在硬件、软件或两者中实现。当以软件实现时,过程可采用程序代码的形式,该程序代码由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行。例如,过程可在图2中的计算机系统206中的控制器208中实现。
过程开始于接收由无人驾驶飞行器系统飞行的飞行路径的已捕获数据以获取飞行器的已捕获数据(操作900)。过程将已捕获数据与飞行器的参考数据进行比较以形成对比(操作902)。
过程使用对比来确定已捕获数据是否在有效的已捕获数据的容差集合内(操作904)。过程在使用已捕获数据来检测飞行器的异常之前,响应于已捕获数据在有效的已捕获数据的容差集合之外而确定校正动作集合,其中执行校正动作集合(操作906)。
过程使用无人驾驶飞行器系统或另一个无人驾驶飞行器系统中的至少一者来执行校正动作集合(操作908)。过程在此之后终止。
接下来参考图10,根据说明性示例描绘了用于接收已捕获位置数据的过程的流程图的图示。图10所示的过程是图9中的900处的操作的一个实施方式的示例。
当无人驾驶飞行器系统正沿飞行路径飞行时,过程接收飞行路径的已捕获位置数据(操作1000)。过程在此之后终止。已捕获数据是针对由无人驾驶飞行器系统飞行的飞行路径的部分。
接下来参考图11,根据说明性示例描绘了用于接收已捕获数据的过程的流程图的图示。图11所示的过程是图9中的900处的操作的一个实施方式的示例。
在无人驾驶飞行器系统已经完成沿飞行路径飞行后,过程接收飞行路径的已捕获数据(操作1100)。过程在此之后终止。已捕获数据是针对飞行路径的全部。
在图12中,根据说明性示例描绘了用于将已捕获位置数据与参考位置数据进行比较的过程的流程图的图示。图12所示的过程是图9中的902处的操作的一个实施方式的示例。
过程开始于访问已捕获数据中的针对无人驾驶飞行器系统的已捕获位置数据和已捕获偏移距离数据(操作1200)。过程访问参考数据中的参考位置数据和参考偏移距离数据(操作1202)。
过程将已捕获位置数据和已捕获偏移距离数据与参考位置数据和参考偏移距离数据进行比较以创建对比(操作1204)。过程在此之后终止。
参考图13,根据说明性示例描绘了用于将已捕获图像数据与参考图像数据进行比较的另一个过程的流程图的图示。图13所示的过程是图9中的操作902的一个实施方式的另一个示例。
过程开始于访问已捕获数据中的已捕获图像数据(操作1300)。过程访问参考数据中的参考图像数据(操作1302)。
过程将已捕获图像数据与参考图像数据进行比较以形成对比(操作1304)。过程在此之后终止。
参考图14,根据说明性示例描绘了用于将已捕获数据与参考数据进行比较的又另一个过程的流程图的图示。图14所示的过程是图9中的902处的操作的实施方式的又另一个示例。
过程开始于访问已捕获数据中的已捕获位置数据、已捕获偏移距离数据和已捕获图像数据(操作1400)。过程访问参考数据中的参考位置数据、参考偏移距离数据和参考图像数据(操作1402)。
过程将已捕获位置数据、已捕获偏移距离数据和已捕获图像数据分别与参考位置数据、参考偏移距离数据和参考成像数据进行比较以形成对比(操作1404)。过程在此之后终止。
转到图15,根据说明性示例描绘了用于响应于已捕获数据有效而指示已捕获数据对于分析有效的过程的流程图的图示。图15中的过程是可与图9中的操作一起执行的附加操作的示例。
过程响应于确定已捕获数据有效而指示已捕获数据对于分析有效(操作1500)。过程在此之后终止。在操作1500中,过程可通过例如设置标志、添加证书、发送消息或提供已捕获数据有效的某种其他类型的指示来添加指示符。
转到图16,根据说明性示例描绘了用于响应已捕获数据有效而分析已捕获数据的异常的过程的流程图的图示。图16中的过程是在确定已捕获数据有效后可与图9中的操作一起执行的附加操作的示例。
过程响应于确定已捕获据有效而分析已捕获数据以获得飞行器的异常集合(操作1600)。过程在此之后终止。
转到图17,根据说明性示例描绘了用于确认对飞行器执行的维护的过程的流程图的图示。图17中的过程是在对飞行器执行维护后可与图9中的操作一起执行的附加操作的示例。
响应于针对飞行器识别的异常集合而针对飞行器执行维护动作集合(操作1700)。这些维护动作可包括附加检查、修理零件、返工零件、更换零件、调整零件或其他合适交互中的至少一者。
响应于对异常集合执行维护动作集合,过程使无人驾驶飞行器系统在异常集合所位于的飞行路径的部分上飞行(操作1702)。
过程重复接收由无人驾驶飞行器系统飞行的飞行路径的部分的已捕获位置数据以获取飞行器的已捕获图像数据;将已捕获数据与飞行器的参考数据进行比较以形成对比;使用对比来确定已捕获数据是否在有效的已捕获数据的容差集合内;以及在使用图像已捕获数据来检测飞行器的异常集合之前,响应于已捕获图像数据在有效的已捕获数据的容差集合之外而确定校正动作集合(操作1704)。过程在此之后终止。
所描绘的不同示例中的流程图和框图说明了说明性示例中的装置和方法的一些可能实现实施方式的架构、功能和操作。就这一点而言,流程图或框图中的每个块可表示模块、区段、功能或操作或步骤的一部分中的至少一者。例如,一个或多个块可被实现为程序代码、硬件或程序代码和硬件的组合。当以硬件实现时,硬件可例如采用被制造或配置为执行流程图或框图中的一个或多个操作的集成电路的形式。当被实现为程序代码和硬件的组合时,实施方式可采用固件的形式。流程图或框图中的每个块可使用执行不同操作的专用硬件系统或专用硬件和由专用硬件运行的程序代码的组合来实现。
在说明性示例的一些替代实施方式中,块中标注的一个或多个功能可能不按图中标注的顺序出现。例如,在一些情况下,连续显示的两个块可基本上同时执行,或者这些块有时可以相反的顺序执行,这取决于所涉及的功能。此外,除了流程图或框图中所示的块之外,还可添加其他块。
现在转到图18,根据说明性示例描绘了数据处理系统的框图的图示。数据处理系统1800可用于实现图1中的计算机120和图2中的计算机系统206。在此说明性示例中,数据处理系统1800包括通信框架1802,其提供处理器单元1804、存储器1806、持久性存储装置1808、通信单元1810、输入/输出(I/O)单元1812和显示器1814之间的通信。在此示例中,通信框架1802采用总线系统的形式。
处理器单元1804用于执行可加载到存储器1806中的软件的指令。处理器单元1804包括一个或多个处理器。例如,处理器单元1804可选自以下中的至少一者:多核处理器、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、网络处理器、或某个其他合适类型的处理器。此外,处理器单元1804可使用一个或多个异构处理器系统来实现,其中主处理器与辅助处理器一起存在于单个芯片上。作为另一个说明性示例,处理器单元1804可以是在单个芯片上包含相同类型的多个处理器的对称多处理器系统。
存储器1806和持久性存储装置1808是存储设备1816的示例。存储设备是能够存储信息的任何硬件,例如但不限于数据、以功能形式的程序代码、或在临时基础、永久基础或临时和永久的基础上的其他适当信息中的至少一者。在这些说明性示例中,存储设备1816也可称为计算机可读存储设备。在这些示例中,存储器1806可以是例如随机存取存储器或任何其他合适的易失性或非易失性存储设备。持久性存储装置1808可采用多种形式,取决于特定的实施方式。
例如,持久性存储装置1808可包含一个或多个部件或设备。例如,持久性存储装置1808可以是硬盘驱动器、固态驱动器(SSD)、闪存存储器、可重写光盘、可重写磁带或以上的某种组合。由持久性存储装置1808使用的介质也可以是可移除的。例如,可移除硬盘驱动器可用于持久性存储装置1808。
在这些说明性示例中,通信单元1810提供与其他数据处理系统或设备的通信。在这些说明性示例中,通信单元1810是网络接口卡。
输入/输出单元1812允许与可连接到数据处理系统1800的其他设备进行数据输入和输出。例如,输入/输出单元1812可通过键盘、鼠标或某个其他合适的输入设备中的至少一者为用户输入提供连接。另外,输入/输出单元1812可将输出发送到打印机。显示器1814提供了向用户显示信息的机制。
针对操作系统、应用程序或程序中的至少一者的指令可位于存储设备1816中,该存储设备通过通信框架1802与处理器单元1804通信。不同示例中的过程可由处理器单元1804使用计算机实现的指令来执行,这些指令可位于诸如存储器1806的存储器中。
这些指令是程序指令并且也称为程序代码、计算机可用程序代码或计算机可读程序代码,其可由处理器单元1804中的处理器读取和执行。不同示例中的程序代码可实施在不同的物理或计算机可读存储介质上,诸如存储器1806或持久性存储装置1808。
程序代码1818以功能形式位于计算机可读介质1820上,该计算机可读介质可被选择性地移除,并且可加载到或转移到数据处理系统1800以供处理器单元1804执行。在这些说明性示例中,程序代码1818和计算机可读介质1820形成计算机程序产品1822。在说明性示例中,计算机可读介质1820是计算机可读存储介质1824。
计算机可读存储介质1824是用于存储程序代码1818的物理或有形存储设备,而不是传播或传输程序代码1818的介质。如本文使用的,计算机可读存储介质1824不应被解释为瞬时信号本身,诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,穿过光纤电缆的光脉冲)或通过电线传输的电信号。
另选地,可使用计算机可读信号介质将程序代码1818传输到数据处理系统1800。计算机可读信号介质是信号并且可以是例如包含程序代码1818的传播数据信号。例如,计算机可读信号介质可以是电磁信号、光信号或任何其他合适类型的信号中的至少一者。这些信号可通过连接传输,诸如无线连接、光纤电缆、同轴电缆、电线或任何其他合适类型的连接。
此外,如本文所用,“计算机可读介质1820”可以是单数或复数。例如,程序代码1818可以单个存储设备或系统的形式位于计算机可读介质1820中。在另一个示例中,程序代码1818可位于分布在多个数据处理系统中的计算机可读介质1820中。换句话说,程序代码1818中的一些指令可位于一个数据处理系统中,而程序代码1818中的其他指令可位于一个数据处理系统中。例如,程序代码1818的一部分可位于服务器计算机中的计算机可读介质1820中,而程序代码1818的另一部分可位于客户端计算机集合中定位的计算机可读介质1820中。
针对数据处理系统1800说明的不同部件并不意味着对可实现不同示例的方式提供架构限制。在一些说明性示例中,一个或多个部件可并入另一个部件中或以其他方式形成另一个部件的一部分。例如,在一些说明性示例中,存储器1806或其部分可并入处理器单元1804中。不同说明性示例可在包括部件的数据处理系统中实现以补充或替代针对数据处理系统1800说明的那些。图18中示出的其他部件可与所示的说明性示例有所不同。不同示例可使用能够运行程序代码1818的任何硬件设备或系统来实现。
本公开的说明性示例可在如图19所示的飞行器制造和服务方法1900和如图20所示的飞行器2000的上下文中进行描述。首先转到图19,根据说明性示例描绘了飞行器制造和服务方法的图示。在预生产期间,飞行器制造和服务方法1900可包括图20中的飞行器2000的规定和设计1902以及材料采购1904。
在生产期间,发生图20中的飞行器2000的部件和子组件制造1906以及系统集成1908。此后,图20中的飞行器2000可通过认证和交付1910以便投入使用1912。当由客户投入使用1912时,调度图20中的飞行器2000以进行例行维护和服务1914,其可包括修改、重新配置、翻新和其他维护或服务。
飞行器制造和服务方法1900的每个过程都可由系统集成商、第三方、操作者或它们的某种组合执行或进行。在这些示例中,操作者可能是客户。出于本说明的目的,系统集成商可包括但不限于任意数量的飞行器制造商和主要系统分包商;第三方可包括但不限于任意数量的供应商、分包商和供应商;并且操作者可以是航空公司、租赁公司、军事实体、服务机构等。
现在参考图20,描绘了飞行器的图示,其中可实现说明性示例。在此示例中,飞行器2000通过图19中的飞行器制造和服务方法1900来生产并且可包括具有多个系统2004和内部2006的机身2002。系统2004的示例包括推进系统2008、电气系统2010、液压系统2012和环境系统2014中的一者或多者。可包括任何数量的其他系统。虽然示出了航空航天示例,但不同的说明性示例可应用于其他行业诸如汽车行业。
在图19中的飞行器制造和服务方法1900的至少一个阶段期间,可采用本文实施的装置和方法。
在一个说明性示例中,图19中的部件和子组件制造1906中生产的部件或子组件可以类似于当飞行器2000处于图19中的投入使用1912时产生的部件或子组件的方式加工或制造。作为又一个示例,可在生产阶段期间利用一个或多个装置示例、方法示例或其组合,诸如图19中的部件和子组件制造1906和系统集成1908。当飞行器2000投入使用1912时,在图19中的维护和服务1914期间,或两者,可利用一个或多个装置示例、方法示例或其组合。许多不同说明性示例的使用可显著加快飞行器2000的组装,减小飞行器2000的成本,或者既可加快飞行器2000的组装又减小飞行器2000的成本。
例如,飞行器检查系统202可用于在维护和服务1914期间执行对飞行器2000的检查。这些检查可以生成可用于调度维护的经验证的检查数据的方式执行。检查数据还可用于满足检查的监管要求。此外,飞行器检查系统202可在飞行器2000的制造期间使用,诸如在系统集成1908以及认证和交付1910期间。
现在转到图21,根据说明性示例描绘了产品管理系统框图的图示。产品管理系统2100是物理硬件系统。在此说明性示例中,产品管理系统2100包括制造系统2102或维护系统2104中的至少一者。
制造系统2102被配置为制造产品诸如图20中的飞行器2000。如所描绘的,制造系统2102包括制造装备2106。制造装备2106包括加工装备2108或组装装备2110中的至少一者。
加工装备2108是用于加工用于形成图20中的飞行器2000的零件的部件的装备。例如,加工装备2108可包括机器和工具。这些机器和工具可以是钻机、液压机、熔炉、高压釜、模具、复合带铺设机、自动化纤维铺放(AFP)机、真空系统、机器人拾取和放置系统、平板切割机、激光切割机、计算机数控(CNC)切割机、车床或其他合适类型的装备中的至少一者。加工装备2108可用于制造金属零件、复合零件、半导体、电路、紧固件、肋、蒙皮面板、翼梁、天线或其他合适类型的零件中的至少一者。
组装装备2110是用于组装零件以形成图20中的飞行器2000的装备。具体地,组装装备2110用于组装部件和零件以形成图20中的飞行器2000。组装装备2110还可包括机器和工具。这些机器和工具可以是机械臂、履带牵引装置、较快安装系统、基于轨道的钻孔系统、无人驾驶飞行器系统或机器人中的至少一者。组装装备2110可用于组装零件,诸如座椅、水平稳定器、机翼、发动机、发动机外壳、起落架系统、和图20中的飞行器2000的其他零件。
在此说明性示例中,维护系统2104包括维护装备2112。维护装备2112可包括对图20中的飞行器2000执行维护所需的任何装备。维护装备2112可包括用于对图20中的飞行器2000上的零件执行不同操作的工具。这些操作可包括拆卸零件、翻新零件、检查零件、返工零件、制造替换零件、或用于对图20中的飞行器2000执行维护的其他操作中的至少一者。这些操作可用于例行维护、检查、升级、翻新或其他类型的维护操作。
在说明性示例中,维护装备2112可包括超声检查设备、x射线成像系统、视觉系统、钻机、履带牵引装置、无人驾驶飞行器系统和其他合适的设备。在一些情况下,维护装备2112可包括加工装备2108、组装装备2110或两者以生产和组装维护所需的零件。
产品管理系统2100还包括控制系统2114。控制系统2114是硬件系统并且也可包括软件或其他类型的部件。控制系统2114被配置为控制制造系统2102或维护系统2104中的至少一者的操作。具体地,控制系统2114可控制加工装备2108、组装装备2110或维护装备2112中的至少一者的操作。
控制系统2114中的硬件可使用硬件来实现,该硬件可包括计算机、电路、网络和其他类型的装备。控制可采取制造装备2106的直接控制的形式。例如,机器人、计算机控制的机器和其他装备可由控制系统2114控制。在其他说明性示例中,控制系统2114可管理由人类操作者2116在制造飞行器2000或对其进行维护时执行的操作。例如,控制系统2114可分配任务、提供指令、显示模型或执行其他操作以管理由人类操作者2116执行的操作。在这些说明性示例中,图2中的控制器208可在控制系统2114中实现以管理图20中的飞行器2000的制造或维护中的至少一者。例如,控制器208可在控制系统2114中实现以控制维护装备2112中的无人驾驶飞行器系统来执行飞行器的检查。作为另一个示例,控制器208可控制制造装备2106中的无人驾驶飞行器系统以对制造系统2102正在制造的飞行器执行检查。
在不同说明性示例中,人类操作者2116可操作制造装备2106、维护装备2112或控制系统2114中的至少一者或与之交互。可进行这种交互以制造图20中的飞行器2000。
当然,产品管理系统2100可被配置为管理除图20中的飞行器2000以外的其他产品。虽然产品管理系统2100已经相对于航空航天行业中的制造进行描述的,但产品管理系统2100可被配置为管理其他行业的产品。例如,产品管理系统2100可被配置为制造汽车行业以及任何其他合适行业的产品。
说明性示例的一些特征在以下条款中描述。这些条款是并非旨在限制其他说明性示例的功能的示例。
条款1
一种用于检查飞行器的方法,所述方法包括:
由计算机系统接收与由无人驾驶飞行器系统飞行的飞行路径相关联的已捕获数据以获取所述飞行器的所述已捕获数据;
由所述计算机系统将所述已捕获数据与所述飞行器的参考数据进行比较以形成对比;
由所述计算机系统使用所述对比的结果来确定所述已捕获数据是否在有效的已捕获数据的容差集合内;以及
在使用所述已捕获数据来检测所述飞行器的异常之前,由所述计算机系统响应于所述已捕获数据在所述有效的已捕获数据的所述容差集合外而确定校正动作集合,其中执行所述校正动作集合。
条款2
根据条款1所述的方法,还包括:
由所述计算机系统使用所述无人驾驶飞行器系统或另一个无人驾驶飞行器系统中的至少一者来执行所述校正动作集合。
条款3
根据条款1或2中的任一项所述的方法,其中由所述计算机系统接收所述飞行路径的所述已捕获数据包括:
当所述无人驾驶飞行器系统正沿所述飞行路径飞行时,由所述计算机系统接收所述飞行路径的所述已捕获数据,其中所述已捕获数据是针对由所述无人驾驶飞行器系统飞行的所述飞行路径的部分。
条款4
根据条款1、2或3中的任一项所述的方法,其中由所述计算机系统接收所述飞行路径的所述已捕获数据包括:
由所述计算机系统响应于所述无人驾驶飞行器系统完成沿所述飞行路径飞行而接收所述飞行路径的所述已捕获数据,其中所述已捕获数据是针对所述飞行路径的全部。
条款5
根据条款1、2、3或4中的任一项所述的方法,其中比较所述已捕获数据包括:
由所述计算机系统访问所述已捕获数据中的所述无人驾驶飞行器系统的已捕获位置数据和已捕获偏移距离数据;
由所述计算机系统访问所述参考数据中的参考位置数据和参考偏移距离数据;以及
由所述计算机系统将所述已捕获位置数据和所述已捕获偏移距离数据分别与所述参考位置数据和所述参考偏移距离数据进行比较以创建所述对比。
条款6
根据条款5所述的方法,还包括:
由所述计算机系统使用所述飞行器的计算机辅助设计模型、点云扫描、或来自所述飞行器的一个或多个先前检查的历史飞行路径中的至少一者来创建所述参考位置数据和所述参考偏移距离数据。
条款7
根据条款1、2、3、4、5或6中的任一项所述的方法,其中将所述已捕获数据与所述参考数据进行比较包括:
由所述计算机系统访问所述已捕获数据中的已捕获图像数据;
由所述计算机系统访问所述参考数据中的参考图像数据;以及
由所述计算机系统将所述已捕获图像数据与所述参考图像数据进行比较以形成所述对比。
条款8
根据条款7所述的方法,还包括:
由所述计算机系统使用所述飞行器的计算机辅助设计模型、所述飞行器的点云扫描、或所述飞行器的历史图像中的至少一者来创建所述参考图像数据。
条款9
根据条款1、2、3、4、5、6、7或8中的任一项所述的方法,其中由所述计算机系统比较所述已捕获数据包括:
由所述计算机系统访问所述已捕获数据中的已捕获位置数据、已捕获偏移距离数据和已捕获图像数据;
由所述计算机系统访问所述参考数据中的参考位置数据、参考偏移距离数据和参考图像数据;以及
由所述计算机系统将所述已捕获位置数据、所述已捕获偏移距离数据和所述已捕获图像数据分别与所述参考位置数据、所述参考偏移距离数据和所述参考图像数据进行比较以形成所述对比。
条款10
根据条款1、2、3、4、5、6、7、8或9中的任一项所述的方法,还包括:
由所述计算机系统响应于确定所述已捕获数据有效而指示所述已捕获数据对于分析有效。
条款11
根据条款1、2、3、4、5、6、7、8、9或10中的任一项所述的方法,还包括:
由所述计算机系统响应于确定所述已捕获数据有效而分析所述已捕获数据以获得所述飞行器的异常集合。
条款12
根据条款11所述的方法,其中响应于针对所述飞行器识别的所述异常集合而执行针对所述飞行器的维护动作集合。
条款13
根据权利要求12所述的方法,还包括:
响应于对所述异常集合执行维护动作集合,使所述无人驾驶飞行器系统在异常集合所位于的飞行路径的部分上飞行;以及
由所述计算机系统重复接收由所述无人驾驶飞行器系统飞行的所述飞行路径的部分的所述已捕获数据以获取所述飞行器的所述已捕获数据;
将已捕获数据与飞行器的参考数据进行比较以形成对比;
使用对比来确定已捕获数据是否在有效的已捕获数据的容差集合内;以及
在使用所述已捕获数据来检测所述飞行器的所述异常集合之前,响应于所述已捕获数据在所述有效的已捕获数据的容差集合之外而确定所述校正动作集合。
条款14
根据条款1、2、3、4、5、6、7、8、9、10、11、12或13中任一项所述的方法,其中所述校正动作集合包括选自以下中的至少一者:针对所述飞行路径重复捕获数据、针对已捕获数据在其上无效的所述飞行路径的部分重复图像生成、使用已调整飞行路径来重复捕获数据、或调整所述无人驾驶飞行器系统上的相机系统的设置。
条款15
根据条款1、2、3、4、5、6、7、8、9、10、11、12、13或14中任一项所述的方法,其中自动化分析工具执行以下中的至少一者:将已捕获数据与飞行器的参考数据进行比较以形成对比;使用对比来确定已捕获数据是否在有效的已捕获数据的容差集合内;或者响应于所述已捕获数据在所述有效的已捕获数据的所述容差集合之外而确定所述校正动作集合。
条款16
根据条款1、2、3、4、5、6、7、8、9、10、11、12、13、14或15中的任一项所述的方法,其中所述飞行器是以下中的一者:商用飞行器、商用乘客飞机、旋翼机、倾转旋翼飞行器、倾转翼飞行器、垂直起降飞行器、电动垂直起降载具和部分制造的飞行器。
条款17
一种飞行器检查系统,包括:
计算机系统;以及
所述计算机系统中的控制器,其中所述控制器被配置为:
接收与由无人驾驶飞行器系统飞行的飞行路径相关联的已捕获数据以获取飞行器的所述已捕获数据;
将所述已捕获数据与所述飞行器的参考数据进行比较以形成对比;
使用所述对比的结果来确定所述已捕获数据是否在有效的已捕获数据的容差集合内;以及
在使用所述已捕获数据来检测所述飞行器的异常之前,响应于所述已捕获数据在所述有效的已捕获数据的所述容差集合外而确定校正动作集合,其中执行所述校正动作集合。
条款18
根据条款17所述的飞行器检查系统,其中所述控制器被配置为:
由所述计算机系统使用所述无人驾驶飞行器系统或另一个无人驾驶飞行器系统中的至少一者来执行所述校正动作集合。
条款19
根据条款17或18中的任一项所述的飞行器检查系统,其中在接收所述飞行路径的所述已捕获数据时,所述控制器被配置为:
当所述无人驾驶飞行器系统正沿所述飞行路径飞行时,接收所述飞行路径的所述已捕获数据,其中所述已捕获数据是针对由所述无人驾驶飞行器系统飞行的所述飞行路径的部分。
条款20
根据条款17、18或19中的一项所述的飞行器检查系统,其中在接收所述飞行路径的所述已捕获数据时,被配置为:
响应于所述无人驾驶飞行器系统完成沿所述飞行路径飞行而接收所述飞行路径的所述已捕获数据,其中所述已捕获数据是针对所述飞行路径的全部。
条款21
根据条款17、18、19或20中的任一项所述的飞行器检查系统,其中将所述已捕获数据与所述参考数据进行比较,所述控制器被配置为:
访问所述已捕获数据中的所述无人驾驶飞行器系统的已捕获位置数据和已捕获偏移距离数据;
访问所述参考数据中的参考位置数据和参考偏移距离数据;以及
将所述已捕获位置数据和所述已捕获偏移距离数据与所述参考位置数据和所述参考偏移距离数据进行比较以创建所述对比。
条款22
根据条款17、18、19、20或21中的任一项所述的飞行器检查系统,其中所述控制器被配置为:
使用所述飞行器的计算机辅助设计模型、所述飞行器的点云扫描、或来自所述飞行器的一个或多个先前检查的历史飞行路径中的至少一者来创建所述参考位置数据和所述参考偏移距离数据。
条款23
根据条款17、18、19、20或21中的任一项所述的飞行器检查系统,其中在将所述已捕获数据与所述参考数据进行比较时,所述控制器被配置为:
访问所述已捕获数据中的已捕获图像数据;
访问所述参考数据中的参考图像数据;以及
将所述已捕获图像数据与所述参考图像数据进行比较以形成所述对比。
条款24
根据条款23所述的飞行器检查系统,其中所述控制器被配置为:
使用所述飞行器的计算机辅助设计模型、所述飞行器的点云扫描、或所述飞行器的历史图像中的至少一者来创建所述参考图像数据。
条款25
根据条款17、18、19、20、21、22、23或24中的任一项所述的飞行器检查系统,其中在将所述已捕获数据与所述参考进行比较时,其中所述控制器被配置为:
访问所述已捕获数据中的已捕获位置数据、已捕获偏移距离数据和已捕获图像数据;
访问所述参考数据中的参考位置数据、参考偏移距离数据和参考图像数据;以及
将所述已捕获位置数据、所述已捕获偏移距离数据和所述已捕获图像数据分别与所述参考位置数据、所述参考偏移距离数据和所述参考图像数据进行比较以形成所述对比。
条款26
根据条款17、18、19、20、21、22、23、24或25中的任一项所述的飞行器检查系统,其中所述控制器被配置为:
响应于确定所述已捕获数据有效而指示所述已捕获数据对于分析有效。
条款27
根据条款17、18、19、20、21、22、23、24、25或26中的任一项所述的飞行器检查系统,其中响应于确定所述已捕获数据有效,针对所述飞行器的异常集合分析所述已捕获数据。
条款28
根据条款27所述的飞行器检查系统,其中响应于针对所述飞行器识别的所述异常集合而针对所述飞行器执行维护动作集合。
条款29
根据条款28所述的飞行器检查系统,其中所述控制器被配置为:
响应于对所述异常集合执行维护动作集合,使所述无人驾驶飞行器系统在异常集合所位于的飞行路径的部分上飞行;以及
重复接收由所述无人驾驶飞行器系统飞行的所述飞行路径的部分的所述已捕获数据以获取所述飞行器的所述已捕获数据;将已捕获数据与飞行器的参考数据进行比较以形成对比;使用对比来确定已捕获数据是否在有效的已捕获数据的容差集合内;以及在使用所述已捕获数据来检测所述飞行器的所述异常集合之前,响应于所述已捕获数据在所述有效的已捕获数据的容差集合之外而确定所述校正动作集合。
条款30
根据条款17、18、19、20、21、22、23、24、25、26、27、28或29中的任一项所述的飞行器检查系统,其中所述校正动作集合包括选自以下中的至少一者:针对所述飞行路径重复捕获数据、针对在其上存在无效的已捕获数据的所述飞行路径的部分重复图像生成、使用已调整飞行路径来重复捕获数据、或调整所述无人驾驶飞行器系统上的相机系统的设置。
条款31
根据条款17、18、19、20、21、22、23、24、25、26、27、28、29或30中的任一项所述的飞行器检查系统,其中自动化分析工具执行以下中的至少一者:将已捕获数据与飞行器的参考数据进行比较以形成对比;使用对比来确定已捕获数据是否在有效的已捕获数据的容差集合内;或响应于所述已捕获数据在所述有效的已捕获数据的所述容差集合之外而确定所述校正动作集合。
条款32
根据条款17、18、19、20、21、22、23、24、25、26、27、28、29、30或31中的任一项所述的飞行器检查系统,其中所述飞行器是以下中的一者:商用飞行器、旋翼机、倾转旋翼飞行器、倾转翼飞行器、垂直起降飞行器、电动垂直起降载具和部分制造的飞行器。
条款33
一种用于检查飞行器的计算机程序产品,所述计算机程序产品包括计算机可读存储介质,所述计算机可读存储介质具有与其一起实施的程序指令,所述程序指令可由所述计算机系统执行以致使所述计算机系统执行以下方法:
接收与由无人驾驶飞行器系统飞行的飞行路径相关联的已捕获数据以获取所述飞行器的所述已捕获数据;
将所述已捕获数据与所述飞行器的参考数据进行比较以形成对比;
使用所述对比的结果来确定所述已捕获数据是否在有效的已捕获数据的容差集合内;以及
在使用所述已捕获数据来检测所述飞行器的异常之前,响应于所述已捕获数据在所述有效的已捕获数据的容差集合之外而确定校正动作集合,其中执行所述校正动作集合。
因此,说明性示例提供了用于检查飞行器的方法、装置、系统和计算机程序产品。在一个说明性示例中,计算机系统接收由无人驾驶飞行器系统飞行的飞行路径的已捕获位置和图像数据以获取飞行器的已捕获数据。计算机系统将已捕获数据与飞行器的参考数据进行比较以形成对比。计算机系统使用对比来确定已捕获数据是否在有效的已捕获数据的容差集合内。计算机系统在使用已捕获数据来检测飞行器的异常之前,响应于已捕获数据在有效的已捕获数据的容差集合之外而确定校正动作集合,其中执行校正动作集合。
因此,说明性示例中的自动化检查系统可操作以验证已捕获数据诸如飞行路径和已捕获图像数据以便确定该数据是否可用于确定飞行器上是否存在异常。此外,还可执行此验证以满足监管要求或制造商要求或执行检查。
不同说明性示例的描述已出于说明和描述的目的而呈现,并且不旨在穷举或限于以所公开的形式的示例。不同的说明性示例描述了执行动作或操作的部件。在说明性示例中,部件可被配置为执行所描述的动作或操作。例如,部件可具有向部件提供执行动作或操作的能力的结构的配置或设计,该动作或操作在说明性示例中描绘为由部件执行。此外,就此处使用的术语“包括”、“包含”、“具有”、“含有”及其变体而言,此类术语旨在以类似于术语“包括”的方式为包含性的,作为开放式过渡词而不排除任何附加或其他元素。
许多修改和变化对于本领域的普通技术人员将是显而易见的。此外,与其他期望的示例相比,不同的说明性示例可提供不同的特征。选择和描述所选择的一个或多个示例是为了最好地解释示例的原理、实际应用,并且使本领域的其他普通技术人员能够理解具有适用于所考虑的特定使用的各种修改的各种示例的公开内容。

Claims (10)

1.一种用于检查飞行器(204,2000)的方法,所述方法包括:
由计算机系统(206)接收(900)与由无人驾驶飞行器系统(216)飞行的飞行路径(220)相关联的已捕获数据(224)以获取所述飞行器(204,2000)的所述已捕获数据(224);
由所述计算机系统(206)将所述已捕获数据(224)与所述飞行器(204,2000)的参考数据(226)进行比较(902)以形成对比(232);
由所述计算机系统(206)使用所述对比(232)的结果来确定(904)所述已捕获数据(224)是否在有效的已捕获数据(138,236)的容差集合(234)内;以及
在使用所述已捕获数据(224)来检测所述飞行器(204,2000)的异常(258)之前,由所述计算机系统(206)响应于所述已捕获数据(224)在所述有效的已捕获数据(138,236)的所述容差集合(234)外而确定(906)校正动作集合(238),其中执行所述校正动作集合(238)。
2.根据权利要求1所述的方法,还包括:
由所述计算机系统(206)使用所述无人驾驶飞行器系统(216)或另一个无人驾驶飞行器系统中的至少一者来执行(908)所述校正动作集合(238)。
3.根据权利要求1或2所述的方法,其中由所述计算机系统(206)接收(900)所述飞行路径(220)的所述已捕获数据(224)包括:
当所述无人驾驶飞行器系统(216)正沿所述飞行路径(220)飞行时,由所述计算机系统(206)接收(1000)所述飞行路径(220)的所述已捕获数据(224),其中所述已捕获数据(224)是针对由所述无人驾驶飞行器系统(216)飞行的所述飞行路径(220)的部分(230)。
4.根据权利要求1或2所述的方法,其中由所述计算机系统(206)接收(900)所述飞行路径(220)的所述已捕获数据(224)包括:
由所述计算机系统(206)响应于所述无人驾驶飞行器系统(216)完成沿所述飞行路径(220)飞行而接收(1100)所述飞行路径(220)的所述已捕获数据(224),其中所述已捕获数据(224)是针对所述飞行路径(220)的全部。
5.根据权利要求1或2所述的方法,其中比较(902)所述已捕获数据(224)包括:
由所述计算机系统(206)访问(1200)所述已捕获数据(224)中的所述无人驾驶飞行器系统(216)的已捕获位置数据(242)和已捕获偏移距离数据(248);
由所述计算机系统(206)访问(1202)所述参考数据(226)中的参考位置数据(246)和参考偏移距离数据(248);以及
由所述计算机系统(206)将所述已捕获位置数据(242)和所述已捕获偏移距离数据(248)分别与所述参考位置数据(246)和所述参考偏移距离数据(248)进行比较(1204)以创建所述对比(232)。
6.根据权利要求5所述的方法,还包括:
由所述计算机系统(206)使用所述飞行器(204,2000)的计算机辅助设计模型、点云扫描、或来自所述飞行器(204,2000)的一个或多个先前检查的历史飞行路径中的至少一者来创建所述参考位置数据(246)和所述参考偏移距离数据(248)。
7.根据权利要求1或2所述的方法,其中将所述已捕获数据(224)与所述参考数据(226)进行比较(902)包括:
由所述计算机系统(206)访问(1300)所述已捕获数据(224)中的已捕获图像数据(250);
由所述计算机系统(206)访问(1302)所述参考数据(226)中的参考图像数据(252);以及
由所述计算机系统(206)将所述已捕获图像数据(250)与所述参考图像数据(252)进行比较(1304)以形成所述对比(232)。
8.根据权利要求7所述的方法,还包括:
由所述计算机系统(206)使用所述飞行器(204,2000)的计算机辅助设计模型、所述飞行器(204,2000)的点云扫描、或所述飞行器(204,2000)的历史图像中的至少一者来创建所述参考图像数据(252)。
9.根据权利要求1或2所述的方法,其中由所述计算机系统(206)比较(902)所述已捕获数据(224)包括:
由所述计算机系统(206)访问(1400)所述已捕获数据(224)中的已捕获位置数据(242)、已捕获偏移距离数据(248)和已捕获图像数据(250);
由所述计算机系统(206)访问(1402)所述参考数据(226)中的参考位置数据(246)、参考偏移距离数据(248)和参考图像数据(252);以及
由所述计算机系统(206)将所述已捕获位置数据(242)、所述已捕获偏移距离数据(248)和所述已捕获图像数据(250)分别与所述参考位置数据(246)、所述参考偏移距离数据(248)和所述参考图像数据进行比较(1404)以形成所述对比(232)。
10.一种飞行器检查系统(202),包括:
计算机系统(206);以及
所述计算机系统(206)中的控制器,其中所述控制器被配置为:
接收与由无人驾驶飞行器系统(216)飞行的飞行路径(220)相关联的已捕获数据(224)以获取飞行器(204,2000)的所述已捕获数据(224);
将所述已捕获数据(224)与所述飞行器(204,2000)的参考数据(226)进行比较以形成对比(232);
使用所述对比(232)的结果来确定所述已捕获数据(224)是否在有效的已捕获数据(138,236)的容差集合(234)内;以及
在使用所述已捕获数据(224)来检测所述飞行器(204,2000)的异常(258)之前,响应于所述已捕获数据(224)在所述有效的已捕获数据(138,236)的所述容差集合(234)外而确定校正动作集合(238),其中执行所述校正动作集合(238)。
CN202310025316.5A 2022-02-03 2023-01-09 用于通过数据验证进行飞行器检查的自动化方法和系统 Pending CN116542898A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/649,898 US20230242279A1 (en) 2022-02-03 2022-02-03 Automated method and system for aircraft inspection with data validation
US17/649,898 2022-02-03

Publications (1)

Publication Number Publication Date
CN116542898A true CN116542898A (zh) 2023-08-04

Family

ID=84537354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310025316.5A Pending CN116542898A (zh) 2022-02-03 2023-01-09 用于通过数据验证进行飞行器检查的自动化方法和系统

Country Status (3)

Country Link
US (1) US20230242279A1 (zh)
EP (1) EP4223648A1 (zh)
CN (1) CN116542898A (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3038109B1 (fr) * 2015-06-29 2018-07-27 Airbus Operations (S.A.S.) Systeme et procede de localisation d'impacts sur une surface externe
DE102015120660A1 (de) * 2015-11-27 2017-06-01 Airbus Defence and Space GmbH Luftfahrzeuginspektionssystem
JP6507268B2 (ja) * 2016-01-22 2019-04-24 富士フイルム株式会社 撮影支援装置及び撮影支援方法
US9658619B1 (en) * 2016-03-31 2017-05-23 Unmanned Innovation, Inc. Unmanned aerial vehicle modular command priority determination and filtering system
US11017679B2 (en) * 2017-01-13 2021-05-25 Skydio, Inc. Unmanned aerial vehicle visual point cloud navigation
US10452078B2 (en) * 2017-05-10 2019-10-22 General Electric Company Self-localized mobile sensor network for autonomous robotic inspection
GB2565757A (en) * 2017-07-13 2019-02-27 Sita Information Networking Computing Uk Ltd Database of Drone flight plans for aircraft inspection using relative mapping
US10934023B2 (en) * 2017-12-19 2021-03-02 Saishi Frank Li Image recognition for vehicle safety and damage inspection
US11220356B2 (en) * 2019-01-02 2022-01-11 The Boeing Company Non-destructive inspection using unmanned aerial vehicle
US11275391B2 (en) * 2019-05-13 2022-03-15 The Boeing Company In-service maintenance process using unmanned aerial vehicles

Also Published As

Publication number Publication date
EP4223648A1 (en) 2023-08-09
US20230242279A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
US11181935B2 (en) System and method for detecting obstacles in aerial systems
US11282013B2 (en) Mobile vehicles in manufacturing
Zhou et al. Unmanned aerial system applications in construction: a systematic review
US10377485B2 (en) System and method for automatically inspecting surfaces
CN111512256B (zh) 自动和自适应的三维机器人现场勘测
Mcfadyen et al. A survey of autonomous vision-based see and avoid for unmanned aircraft systems
Kong et al. Vision-based autonomous landing system for unmanned aerial vehicle: A survey
JP6969886B2 (ja) 飛行機組み立て構築プロセスに対するファクトリオートメーションの適用
EP3306293B1 (en) Aircraft monitoring system
Deng et al. Indoor multi-camera-based testbed for 3-D tracking and control of UAVs
Leiva et al. Automatic visual detection and verification of exterior aircraft elements
Eudes et al. Autonomous and safe inspection of an industrial warehouse by a multi-rotor MAV
Kang et al. Damage detection with an autonomous UAV using deep learning
CA3050778C (en) Augmented reality system for visualizing nonconformance data for an object
Hecker et al. Optical aircraft positioning for monitoring of the integrated navigation system during landing approach
US11360476B1 (en) Systems and methods for monitoring aircraft control systems using artificial intelligence
Pierce et al. Quantitative inspection of wind turbine blades using UAV deployed photogrammetry
EP4223648A1 (en) Automated method and system for aircraft inspection with data validation
CN116137068A (zh) 用以支持在环境中执行任务的飞行器的地平线探测
US20230073120A1 (en) Method for Controlling an Unmanned Aerial Vehicle for an Inspection Flight to Inspect an Object and Inspection Unmanned Aerial Vehicle
Bauda et al. 3D scanner positioning for aircraft surface inspection
Vemula et al. A heterogeneous autonomous collaborative system for powerline inspection using human-robotic teaming
Saha et al. An Autonomous Aircraft Inspection System using Collaborative Unmanned Aerial Vehicles
Bin Abdul Rahman Smart future solutions for maintenance of aircraft
Tappe et al. UAS-based autonomous visual inspection of airplane surface defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication