CN105873825A - 用于对飞行器进行可视化检查的协作式机器人 - Google Patents

Abstract

本发明涉及一种用于对飞行器(90)的外表面进行可视化检查的装置(100)，该装置包括用于容置飞行器的检测场地、至少一个可视化检查机器人(10)以及控制中心(50)。机器人的活动平台(11)承载具有可视化装置(13)的旋转架(12)。机器人包括处理装置(20)，其引导活动平台(11)并且处理从可视化装置(13)接收到的数据。机器人的处理装置(22)适用于：在对停靠在检测场地的飞行器(90)的外表面进行可视化检查期间地控制机器人(10)；在检测到飞行器外表面上的异常的情况下中断可视化检查；将可视化检查数据传送至控制中心；和接收来自控制中心的指令。

Description

用于对飞行器进行可视化检查的协作式机器人

本发明属于飞行器的无损检测的领域。

更具体地，本发明涉及一种用于在地面上可视化检查地面上的飞行器的协作式机器人，可视化检查是检验或检测操作的一部分；本发明还涉及一种采用这样的机器人的检查方法。本发明特别地应用于飞行器的飞行前检测操作的领域。

在飞行器领域中，飞行前或是在维护操作期间的可视化检查包含于用于确保飞行器运行安全的周期性检验中。

实际上，可视化检查使得能够检测发生在飞行器的通常最容易受到外界影响的可见部分上的异常，并且在某些情况下，使得能够揭示结构中更深处的缺陷。

另外，可视化检查不实施任何特定的拆卸，最多打开观察口或观察舱门，这使得检查相对快捷。

历史上以及至今仍大范围使用的可视化检查是由地面操作员来执行的，该操作员例如是技术人员或者飞行器的驾驶员。

地面操作员依照检查清单(check list)来执行检查，但操作员可以特别是在一些痕迹引导他去关注特定区域的情况下自由地检查飞行器上的除了预先列入检测清单上的之外的其他元件或区域，这使得能够改善对于可能的异常的检测。

相反，操作员可能由于观察到并不一定是最重要的信息而更多或更少地专注和分心，从而带来忽视应当进行深入检查和分析的某些细节信息的风险。

为了避免人工干预的随机性，已经考虑实现自动方式的可视化检查。为了实现该自动的可视化检查，设想了一种使用视频摄像机的系统，该视频摄像机可以是相对于地面固定的，例如固定在飞机库中，或者由于由在地面上或在飞行中移动的机器人所携带而是活动的。专利申请WO2012/047479示出了飞机的自动检查装置的示例。飞机的检查是由一组摄像机负责的，该组摄像机借助于滚动机器人而相对于地面是固定的或活动的，或者借助于被分配到飞机的不同部分的飞行机器人而在飞行中是活动的。可视化装置与远程信息中心通信，该信息中心处理接收的图像以从中推断出异常的出现并且确定要实施的维护操作。

在此类系统中，图像的处理及其解释是自动实现的，这使得能够执行检测操作而无需人工干预，决策制定交由自动系统来进行。如果因此得以避免人工操作员的随机性，则特别是在出现难以解释的、新的以及未列入目录的情况的情况下，丧失了由具有强大解释能力的操作员来进行观察的益处。另外，由于必须证明系统的高度可靠性，因此以自动的方式来确保影响安全问题的检测的装置存在潜在的认证问题。

为了避免已知的解决方案的困难，本发明的用于对飞行器外表面进行可视化检查的装置包括用于容置飞行器的检查场地并且包括至少一个可视化检查机器人，该机器人的活动平台承载具有可视化装置的旋转架且包括用于实现对活动平台的引导以及对从可视化装置接收的信息进行处理的处理装置。另外，可视化检查装置包括具有至少一个检测操作员的位置的检测中心，并且可视化检查机器人的处理装置能够：

-在对停在检查场地上的飞行器的外表面进行可视化检查时以自主的方式引导可视化检查机器人；

-在检测到正在检查的飞行器的外表面上有异常的情况下暂停进行中的可视化检查；

-将可视化检查信息传送至检测中心；

-接收来自检测中心的关于可视化检查的结果的指令。

因此，得到了一种完全通过由协作式机器人辅助的远程操作员来检测飞行器的可视化检查装置，其中协作式机器人在飞行器附近实现可视化检查的任务。

有利地，可视化检查机器人包括用于在检查期间随时确定可视化检查机器人的位置以及可视化装置在与飞行器关联的坐标系中的定向的装置。

机器人因此能够以自主的方式相对于飞机而移动，既为了管理其移动也为了管理飞行器的应被可视化检查的区域。

在一个实施方式中，机器人的处理装置能够通过处理由可视化装置获取的待检查飞行器的图像来确定机器人的位置以及可视化装置的定向。

此类装置即使是在飞机相对于其应当具有的理论位置不具有准确位置的情况下也使得能够重置机器人相对于飞机的位置，以及能够校正该位置的偏离而无需装置外部的测量或手段。

在一个实施方式中，可视化检查机器人包括绝对定位装置，例如GPS接收器或者指向参考目标的激光测距仪，和/或例如通过里程计(odométrie)来累积其移动的装置。

因此，机器人能够与飞行器位置的任何修正无关地移动以去到飞行器附近，并且，即便未通过对飞行器的直接观察来以连续方式确立机器人的位置，也能在所述修正之后确定机器人移动时的准确位置。

另外，可视化检查装置包括部分或全部以下特征：

处理装置包括数据存储装置，该数据存储装置至少暂时性地包括待检查飞行器的特别是几何和图形的特征。机器人因此局部地具有飞行器的标称特征，其中机器人应当检查飞行器的标称特征并且应当以可视化方式识别相对于这些标称特征的可能的异常。

处理装置包括数据存储装置，数据存储装置例如在异常库中包括异常的特征。机器人除了是用于识别不一定被列入目录的异常的逻辑引擎之外，还因而能够比较观察到的全部可视化元素与已知的异常。

处理装置包括图像处理算法以用于在由可视化装置实现的图像中检测以至少一个光谱波长可见的异常。

可视化装置包括在可见光范围内和/或红外线范围内和/或紫外线范围内的照明装置。

因此，不仅照亮了飞行器在自然条件下照明微弱的区域，还使得对于某些光谱敏感的异常或者视觉对比度在某些光谱波长处提高的异常显现出来。

可视化装置和处理装置被配置成确定所检查的飞行器外表面的三维形状。因此还可以识别哪些飞行器外表面形状不符合标称形状。

在该装置的一个实施方式中，可视化检查装置包括用于对所检测的飞行器的结构进行无损检测的装置。

无损检测装置是由可视化检查机器人携带的或者全部或部分地由其行为被可视化检查机器人所控制的至少一个检测机器人携带。

因此，可以确认或否定所可视化异常是在结构的更深部分中出现异常的征象，并且可以测量不可见的损坏。

可视化装置可以相对于可视化检查机器人的平台的参照系按照高低角和方位角来定向。因此可以由机器人在其移动时快速扫描飞行器的整个可见外表面。

在一个实施方式中，处理装置被配置成确定在飞行器上检测到的缺陷相对于所述飞行器的内部结构组件的位置，该内部结构组件从飞行器外部不可见。因此可以更好地评估缺陷的后果，并且相对于可识别的具体结构组件而为维护操作员定位缺陷的位置，

例如检查机器人是在检查场地的地面上滚动移动的机器人，或者是在一个空间中通过升力移动的机器人，该空间在地面上的投影基本对应于检查场地。

在该装置的一个实施方式中，应用多个检查机器人，该多个机器人被配置成联合实现对同一飞行器的可视化检查。因此，可视化检查可以更快地实现，并且在必要的情况下，如果应用专用于检查某些区域的机器人，则可视化检查可以更全面地实现。

本发明还涉及一种用于可视化检查飞行器的方法，其中，待检查的飞行器的外表面的图像被传送到可视化检查机器人的处理装置，其中，处理装置分析图像以识别可能存在的可见的异常，并且其中，当检测到可见的异常时，与所检测到的异常相关的数据被传送到检测中心，并且至少当处理装置识别出属于被视为“关键”异常类别的异常时中止可视化检查。

有利地，当由于检测到异常而中止检查时，通过检测中心将指令传送到可视化检查机器人以继续进行可视化检查，所述指令确定了机器人应当如何继续进行检查。

在一个实施方式中，可见异常的程度是由处理装置基于测量变形的光学装置和/或通过在光谱中的可见光范围内和/或红外线范围内和/或紫外线范围内的比色分析来计算的。

在一个实施方式中，当通过可视化检测到异常时，通过可视化检查机器人或通过由可视化检查机器人控制的无损检测机器人来对受到可见异常影响的区域进行无损检测。

关于以示意性方式示出了本发明的非限制性实现示例的附图来描述本发明：

图1是应用协作式机器人和远程控制中心的飞行器的可视化检查装置的主要部件的总体布局的示例；

图2是应用协作式机器人和远程控制中心的可视化检查方法的主要步骤的示例性流程图。

飞行器90的协作式检查机器人，例如图1所示的机器人10，包括活动平台11，该活动平台具有承载可视化装置13的旋转架12。

所示出的活动平台11被安装在4个轮子上以确保平台的稳定以及其在至少一个轮子驱动下在地面上的移动。

用于确保平台的活动性和稳定性的其他装配是可行的，例如应用更多或更少的轮子，如3个或6个轮子，或者例如应用履带——这些解决方案未图示出来。这些手段的选择有利地取决于机器人10在飞行器90周围进行检查操作时应在其上移动的地面的特性。

旋转架12在所述旋转架的下部与平台11联结，例如在所述平台的上表面进行联结，而在示出的示例中为数码摄像机的可视化装置13在旋转架12的上部与所述旋转架联结。

在平台11和旋转架12之间以及在旋转架12和可视化装置13之间的全部机械连接被布置成使得可视化装置13的主要观察方向131在所有可能方向上是可以针对高低角和方位角定向的，所述可能方向是用于瞄准位于地面上方且有利地也在机器人10在其上移动的地面上的点的可能方向，并且在必要时要考虑能够确保修改平台的基准线111的方位角的可能性的平台移动能力。

例如实现旋转架12以在有限角度范围例如180°的范围内修改主要观察方向131的方位角，其他的方向则通过平台在地面的移动来达到。

此类布置特别地使得能够观察到在其所具有的方位角覆盖的区域而无需移动平台。

主要观察方向131在高低角上的定向能力(范围)有利地至少为90°，在基本上水平的瞄准和基本上垂直向上的瞄准之间。

在必要的情况下，基本水平的瞄准允许俯视的瞄准以允许从上方观察位于可视化装置13下方的区域，该可视化装置例如位于借助于旋转架12而被加高的位置。这类区域是例如在飞行器下方的地面部分，其可能带有飞行器的流体泄漏的痕迹。此类区域例如是可能带有非正常磨损的痕迹的轮胎滚动带，或者是由于可视化装置的加高位置而可以从上方观察的结构部分。

在一个实施方式中，旋转架12包括可视化装置的升高装置121以用于调整所述可视化装置在地面上的高度。

此类升高装置例如包括通过未示出的致动器来打开或折叠的两个或更多个铰接臂的组装，以使得可以调整承载可视化装置13的旋转架12的上端在平台11之上的高度，从而调整其在地面之上的高度。

一种基本形式的可视化装置13包括摄像机，该摄像机提供了在可见光范围内的待分析图像。图像可以以模拟的形式被传送，以便在必要时在转换成数字形式之后被处理，或者以数字形式被传送。

有利地，可视化装置13包括照明装置132，该照明装置例如与旋转架12联结并且被定向成照亮位于所述可视化装置的视野内的待检查区域。

照明装置132可以偏离可视化装置13的主要观察方向131以创建多多少少斜掠的照明，从而允许看到某些缺陷，例如表面凹陷。

照明装置132还可以被布置成产生可见光谱的特定范围内的照明，例如红色、绿色或蓝色，或者在对应于红外线光谱或紫外线光谱的特定光谱带的不可见光谱内的照明，并且有利地可以在不同的可见光谱带和不可见光谱带之间切换。

根据用于可视化装置13的摄像机的光谱敏感性以及根据在不同照明下所检查区域的预期表现，来固定照明装置132的光谱，特别是当对于看到和/或诊断出某种异常而言可能预期到某些对比效应或荧光效应时。

在一个实施方式中，可视化装置13包括未在附图中示出的特定设备，例如立体摄像机和/或用于例如通过立体相关技术、错位散斑技术、激光遥测技术等给出三维感知的其他装置。三维感知使得能够验证一致性并且既能检测到曲线表面上的变形也能检测到平坦表面上的变形。

在一个优选实施方式中，活动平台11是自主供能的。

可以通过确保轮胎驱动的内燃机来实现推进，以例如通过液压传动而使活动平台移动，并且产生致动器所需的、用于移动旋转架12和可视化装置13的液压能或电能。

还可以通过由平台承载的发电装置或者蓄电池供电的电机来实现推进。用于给电机和电致动器供电以使活动平台11和旋转架12移动的蓄电池的使用被证实适用于飞行器的检查，该检查是在航空港环境中实现的，其易于布置能够在两次检查之间或在需要时给蓄电池充电的设施。

协作式机器人10还包括可视化检查所必需的计算装置20。

计算装置20特别地包括用于获取由可视化装置传送的观察数据的获取装置21、用于处理所述观察数据的处理装置22、用于与检测中心50通信的通信装置23以及定位装置24，其中检测中心50远离协作式机器人10被要求实现指令的区域。

安装在机器人10上的计算装置20中的各种装置21、22、23、24有利地是通过所述机器人的通信总线以数字方式在彼此之间通信的装置。

用于获取观察数据的获取装置21主要包括用于存储数字数据的存储装置，该存储装置的容量足以在处理观察数据所必需的时间段内保存这些观察数据，数据处理使得能够确定是否已经观察到异常以及是否需要对数据进行预处理以利用所述数据。

鉴于比较数据可能对于给定飞行器检查来说是必要的，例如在飞行器的两个区域之间的比较，在进行给定检查时所获取的所有观察数据有利地至少在检查期间被保存。

在一个实施方式中，观察数据由机器人10保存在存储器中，或者被保存在未示出的远程存储中心中以便以后由机器人参考已经对其建立了所述观察数据的飞行器来下载，以使得能够实现两次或更多次检查之间的观察数据的比较处理。

处理装置22主要包括数字处理单元，例如处理器和/或微控制器、内存(RAM)、存储装置(ROM、闪存存储器、SDRAM、硬盘等)、数字接口或模拟接口以及在所述处理装置的各个部件之间的通信总线。

在需要的情况下，处理装置22包括用于快速处理由可视化装置所传送的信号的专用电路，例如用于处理与静止图像或动画图像相对应的信号的电路。

处理装置22被配置成实现指令序列以确保：

-根据待实现的操作来配置机器人10，特别是根据待可视化检查的飞行器来进行初始化；

-与远程装置通信；

-对所应用的资源进行引导以移动平台11，特别是控制平台的一个或多个推进马达以及管理平台的能量资源；

-引导旋转架12的致动器和/或可视化装置13；

-处理观察数据；

-根据所处理的观察数据来制订诊断；

-在检查期间在与飞行器有关的参照系中准确定位机器人10和飞行器90的外表面上所观察的点，或者在确认异常之前进行的观察期间连续进行该定位。

通常，机器人包括本领域技术人员所熟知的机电装置，其对于如后文作为示例而描述的应用来说是必要的。

从详细描述的应用示例中可以看出，本发明的协作式机器人10不是用于检测飞行器90上的异常的完全自动化的检查装置，而是操作员为进行可视化检查而使用的辅助装置。

协作式机器人10特别适用于由操作员进行远程检查并提供检查的辅助，以得出更加准确、更加详细、更加可重复的以及更加可靠的诊断。

根据可视化检查方法200，在第一步骤210中，当飞行器90应被检查时，例如飞行前检查，协作式机器人10被初始化以便处于进行期待的检查的状态。

在该第一步骤210中，机器人10接收待检查飞行器90的位置211，至少是如飞行器停靠处的编号或地理位置这样的近似位置，并且机器人10接收关于待检查飞行器的信息212，至少是飞行器的类型以及优选地还有飞行器的身份。

应当指出，关于飞行器的位置，所述位置例如在协作式机器人被分配到特定位置的情况下可以是隐含式的，并且在此情况下飞行器对于机器人而言将始终处于同一位置。

相反，当协作式机器人10可以被用于实现对停靠在停机区域的不同位置处的飞行机进行检查时，在第一步骤210中将向该机器人通知待检查飞行器90所处的位置。

在第二步骤220期间的一个实施方式中，当协作式机器人10到达其应检查的飞行器90所处的区域时，该机器人利用其可视化装置13对飞行器进行总体检查，该机器人基于数据库而从该检查中推断出所讨论的飞行器的形状和类型。优选地，协作式机器人10通过处理在该步骤中所获取的图像而检测出该飞行器的牌照，并且通过查询注册飞行器的数据库来验证具有所述牌照的飞行器的类型是否对应于通过分析飞行器的形状而识别出的类型。

在一个实施方式中，在第一步骤210中和第二步骤220中所获得的关于飞行器90的信息，在第三步骤230中进行比较以验证由控制中心传送的数据的一致性从而尽早检测出任何不一致。

在第三步骤中检测出的任何异常或不一致立刻由协作式机器人10报告231给负责检查的操作员，操作员决定将要采取的处置：由机器人中止检查以便校正关于飞行器类型和身份的信息、将命令传送至机器人以在作出决定之前获得补充的可视化数据、对协作式机器人给出指令以在忽略某些检测到的不一致的情况下继续检查，必要时另外请求操作员的干预以实现现场分析并消除疑虑。

在第四步骤240中，该第四步骤可以在由协作式机器人接收的指令的基础上、在进行前面的步骤时被执行，所述协作式机器人10至少在其内部存储装置中不具有所有的所述数据的情况下下载实现检查所必需的数据。

所述数据包括例如通过标称路线而确定的待实现的检查回路、应当以飞行器类型检查的名义实现的操作清单、应当以特定飞行器的名义实现的检查操作清单，这例如将对于同一飞行器或同样类型的其他飞行器所进行的在先观察考虑在内。

在一个的实施方式中，所述数据或所述数据中的至少一些是例如在遥控模式下实现的检查中，由协作式机器人通过学习来获取的，并且在后续检查中被完善以改进对于已经检测出的异常的将来的检测。

所述数据还包括飞行器的特性、标称几何特性、飞机上喷涂的颜色和图案，应当在可视化检查中被验证的舱门、插销、探测器等的位置和类型、例如在之前的检查中检测出的已知的异常等。

在第五步骤250中，协作式机器人10通过在飞行器90附近的地面上移动，来根据检查回路实现可视化检查操作。

在其移动时，协作式机器人10将以连续的方式确定251其在与检查中的飞行器相关的参照系中的位置，例如其轨迹对应于飞行器的纵轴X以及飞行器的横轴Y的地面OX-OY参照系。

为了确定协作式机器人10的位置，协作式机器人使用给定的传统技术，例如识别由飞行器的特征形状或特征子部件构成的导标，数据优选地与例如通过GPS、激光测距仪或其他定位装置提供的地理位置信息耦合，以及与用于对所述机器人的移动进行积分的测距技术耦合。不同的技术优选地被混合以实现对机器人在OX-OY参照系中的位置和定向的准确估算，准确度通常在位置上为厘米级或更小而在定向上为角分级或更小。

虽然协作式机器人被要求在航空港设施的飞行器停靠场地的近乎平整和水平的表面上工作，但是在必要的情况下所应用的定位技术使得能够确定机器人相对于飞行器在高度上的相对位置。

必要时，特别是在所述协作式机器人10不具有用于保持活动平台11水平或者旋转架12的轴垂直的稳定功能时，还确定平台相对于局部垂直线的倾斜度。

机器人10根据存储在处理装置的程序中的指令而沿着使其能够看到飞行器应被检查的所有点的轨迹移动。

机器人10总体上跟随252地面上的预定轨迹91。

在其移动过程中，机器人例如通过光学装置和/或通过诸如超声波发射传感器这样的特定传感器，来检测253可能的障碍物，并且必要时通过实现为绕过一个或多个障碍物且保证无误地实现对应检查的所有区域的可视化检查所必需的移动，来偏离预定的轨迹。

另外，检测到的障碍物作为可能的异常而被通知254给负责检查的操作员，该异常应在飞行器90离开停靠点之前被处理。

为了实现可视化检查，机器人根据其在OX-OY参照系中的估算的位置和定向来定位和定向255可视化装置，使得待检查的飞行器区域的图像能够被拍摄并被传送到处理装置22。

在一个实施方式中，图像是在机器人移动和停止期间连续拍摄的，使得能够在考虑了可视化装置13在地面上的定向和升高的可能性的前提下可视化可在地面上观察到的飞机区域。

处理装置实现对接收的图像的处理256以识别由图像上的可识别特征表示的任何类型的异常。例如，这样的特征对应于几何形状和/或对比度和/或颜色的独特性，独特性可以在一个照明光谱或在不同的照明光谱中被观察到，机器人在定位和定向255的步骤中切换照明光谱。

在一个工作模式中，机器人10根据在正在检查的区域中所寻找的异常类型或者根据检测到的异常的外观来选择照明装置132的给定光谱，例如白光，以制订诊断。

照明光谱是例如在可见光范围内的白光，或者在可见光谱中的特定颜色，或者是在红外线或紫外线范围内以例如识别具有特定的荧光特性的区域。

此类荧光特性可以是异常的直观痕迹，例如在飞行器的外表面或者地面上留下可见痕迹的液体泄漏，该液体例如是燃料、液压流体或其他。该荧光特性可以例如是在由静电荷充电的飞行器上出现电晕放电的痕迹，其中电晕放电可在机翼或机身的静电放电刷处被察觉到。

该荧光特性还可以是例如在暴露于非正常高温或被撞击之后、在特定条件下显露的标记的结果。此类标记例如包括其光谱特性由于暴露在高温下而改变的涂料，或者该涂料包括有填充有流体的微球，所述流体在被特定波长光线照射时变为可见，在覆盖有此类涂料的结构被机械撞击时，所述流体被扩散。

在可见结构部分的情况下，对图像进行处理，图像处理除了用于通过例如上文提到的显影剂来进行的检测之外，还用于检测异常形状或相继的检查之间的形状改变，或本应对称的飞机区域之间的形状不对称性，例如凸起或凹陷，这种形状改变通常意味着结构的异常。

在特定区域应被检查以验证状态和完整性的情况下，处理装置22通过与保存在存储器中的观察区域的虚拟表示、特别是位于这些特定区域中的元件的虚拟表示进行类比来分析由可视化装置13传送的图像。该虚拟表示例如是三维数字表示或视图，其使得能够以特定位置、定向和距离放置虚拟表示，在该虚拟表示下的真实特定区域是由可视化装置13来观察的以便通过数字处理来实现真实元件与其虚拟表示之间的比较。在该特定情况下，尺寸各不相同的异常可以根据提前确立的标准来寻找，可视化装置13优选地具有放大装置，例如光学变焦型放大装置，以实现默认的小尺寸寻找。

特定区域例如是包括检查门或检查孔的区域，或是发动机罩，该发动机罩的锁紧装置的闭合和位置应被确认。

特定区域例如是包括可见设备的区域，例如入射传感器、气动总压分接、静压分接、结冰检测器、天线、引流管或任何其他类型的会被损坏的元件，所述损坏例如是由于空速管罩所造成的例如扭曲或被扯掉、或阻塞。

在检查中，协作式机器人向由飞行器检查负责人监视的控制中心50发送检查报告。

如果机器人10未在检查区域内检测到任何异常258，则其发送例如在控制中心中表示为“绿灯”的未检测到异常的信息，以及能够被显示在控制中心50的屏幕51上用以跟踪的检查进展信息。

如果机器人检测到异常259，则其向控制中心50重新发送警报，所述警报伴随有检测出异常的区域的可视化观察图像，该图像具有诊断结果或者在考虑到由机器人10处理的异常的分类的情况下的取决于其概率的可能的诊断结果清单。

在协作式机器人10识别出有影响安全的极高可能性的异常的情况下，所述协作式机器人中断261检查并向控制中心50发送检测出异常的报告，该报告具有告警消息和“红灯”警报(警告)，在此情况下对飞行器的干预是首要的。

在协作式机器人识别出无法做出诊断的异常或者是对于异常的后果具有高度不确定性的情况下，所述协作式机器人发送具有“橙色”警报(注意)的告警消息并且进入等待状态以及遥控模式262，其中机器人等待负责检查的操作员的指令。

操作员可以在检查由协作式机器人发送的图像和数据之后做出如下判定：

–在认为出现错误的告警或者检测出的异常较小的情况下向机器人发送继续进行可视化检查263的命令；或者

–遥控264机器人以获得关于产生警报的区域的补充数据并能够做

出继续263或者停止265可视化检查的决定；或者

-通过检查团队对飞行器90进行干预来完善由机器人10实现的检查。

在一个特定实施方式中，处理由机器人10收集的数据以及由操作员通过控制中心50提供的诊断信息，以便丰富异常数据库并确保在之后的检查中能够更好地检测出进行可视化检查的机器人10或者一组检查机器人所遇到的异常类型。

应当指出，机器人10考虑到其检查的飞行器90的所有特性是有益的。事实上，给定的飞行器相对于同一类型的其他飞行器而言具有独特性并非特例。

例如，给定的飞行器可以包括天线，而其他同一类型的飞行器不具有天线或者具有型号不同的天线，这一情况可能导致伪异常的检测。

机器人10对于飞行器90身份的准确认识使其能够安排专门针对该飞行器的、例如在所讨论的飞行器上的具有独特布置的区域中存在例如固定在该特定飞行器上的天线的信息。

另外，如果飞行器90的特征数据库不包括观察到的独特性的存在，则被机器人10警告检测出异常的负责检查的操作员可以发现例如天线的正常外观并向机器人确认该信息以丰富关于飞行器90的数据库用于后续检查，因此避免了由于检测到同一伪异常而产生新的告警。

在方法的第五步骤中，当机器人10在检查期间在飞行器90上寻找可能的异常时，其相继检查飞行器的不同区域以检测由于飞行器的异常状态所造成的可见痕迹。

为此，机器人10围绕飞行器90而移动，同时有次序地利用可视化装置13扫描飞行器的不同部分，甚至是飞行器下方的地面。将处理后获得的图像与代表正常情况的数据以及异常情况的数据相比较以检测可能的异常的存在。

出于该检测的需要，通过可视化装置获取的图像将在需要时被处理，以能够与机器人10所知晓的数据库中的数据进行比较。

这些图像还被分析以识别潜在缺陷的可能的一般特征，例如飞行器90的外表面的变形、在实践中表现为不规则的开口的缺失部分或者在例如机器人不知道存在开口的位置处的缺失部分、飞行器外表面上的诸如划痕或飞边这样的痕迹、某些位置处的涂料的缺失、表示雷击相的痕迹等。

关于这些特征的潜在缺陷实际上不是在特定位置寻找的，而是可以在飞行器外表面上的许多点处找到。

应用于图像的处理可以是通用的或专用于检测特定的问题。例如，通过用于增加对比、根据其颜色或光谱敏感性来提取图像中的区域、提取轮廓、纹理等的算法来处理图像。

检测例如可以涉及不符合标称形状或颜色的形状或颜色，观察到的形状或颜色可以表示变形或者异物的存在。

形状异常表示为与预期形状不对应的观察到的形状。

当检测出异常时，机器人10一方面将按照其类型表征异常，也就是说导致认定存在异常的特征，例如：形状、颜色、范围、对于某些波长的敏感性、期待或不期待的元素的出现或缺失、对比度等；另一方面量化异常。

机器人还将观察到的异常在飞行器的坐标系中定位，其实现的定位考虑到机器人在Ox-Oy坐标系中的准确位置、可视化装置指向的方向以及所观察的飞行器的几何特征，其中机器人在地面上在所述Ox-Oy坐标系中移动。

飞行器外表面上的异常的位置的辨认优选地由处理装置22实施以实现异常的诊断。例如，已知地，雷电在飞行器上有优先的雷击点，且雷击相痕迹的存在不一定是根据痕迹所处的位置、关于其原因和其效果以相同的方式来解释的。

重新考虑雷电影响的示例，对飞行器表面的异常位置的辨认还使得能够将异常与异常位置处的飞行器结构特征相联系。例如，结构可以是金属结构或者其特性取决于复合材料类型的复合材料结构，在复合材料结构的情况下具有对于不同雷电电流的保护措施，例如具有不同密集程度的青铜网或者具有特定导电性的涂料。

由于机器人10辨认出飞行器90上的识别到特定类型异常的表面的物理和尺寸特征以及在可见表面下的不可见结构的特征(例如桁条或者结构架，设备支撑件或者设备的存在)，处理装置实现预测以向负责检查的操作员提供关于异常和导致的风险的详细信息。

检查期间在飞行器外表面上检测出撞击类型的异常，表现为例如以控制中心为目的地的伴随有相关区域图像的如下消息：“机身框架11和12之间的14号桁条处的机身覆盖层凹陷––无覆盖层裂缝痕迹––结构薄弱风险，待计划维修”。

在优选的实施方式中，处理装置实现对缺陷的量化分析：异常的范围(面积、长、宽等)，例如撞击所影响的面积；变形的深度；导致观察到的异常的原因的强度，例如温度升高；在出现可疑流体的情况下的泄漏强度等。

为实现该量化分析，机器人尽可能使用与处理装置相关的可视化装置，如已经明确指出的立体视觉技术和/或任何已知的光学方法，例如错位术、全息摄影、测距等。

在一个实施方式中，机器人10借助于无损检测仪器实现结构检查以量化异常。

当在步骤259中通过可视化检查而检测出异常时，机器人根据所实现的诊断而在步骤2591中相对于异常来定位以部署未示出的无损检测仪器，从而获得用于改善基于可视化检查的诊断的补充信息。

此类无损检测装置可以应用探测器，例如超声探测器、涡电流探测器、诸如热成像仪这样的温度测量装置或能够在特定区域内实现对材料的局部检查的任何其他类型的探测器。

探测器优选地由一个或多个铰接臂承载以使得机器人能够将所述探测器应用于应检查的位置/指向应检查的位置，每个探测器在应用所述探测器进行检查期间与安装在所述机器人的平台上的测量设备相关联。

在其中机器人包括多个探测器的实施方式中，探测器被设置在机器人的探测器支撑件中以便借助于同一铰接臂来应用。

为了实现无损检查，由机器人的处理装置或者由已选择遥控检查的控制中心50的操作员所操纵的铰接臂，通过用于抓取或联结应当与探测器联结的测量仪器的任何类型的装置来针对给定的检查而抓住所期待的探测器，然后通过确保针对所述探测器的期望移动而将探测器应用于待检测区域/将探测器指向待检测区域，并且在已经实现该检测且处理装置和/或远程操作员认为已获取检查所必需的数据的情况下，铰接臂将探测器放回探测器支撑件中。

在检测结果被传送到控制中心50之后，在必要的情况下，机器人10利用由处理装置22所实现的诊断并且在从所述控制中心接收到指令的情况下继续检查。

当交由机器人10执行的飞行器或飞行器部件的检查结束时，所述机器人在第6步骤270中返回等待位置30，等待位置优选地是能够确保对所述机器人的保护以避免在航空港平台上行驶的各种车辆和飞行器对机器人的损坏的位置，并且优选地是其中所述机器人连接到电源以使其例如在其配备有蓄电池的情况下能够对其蓄电池充电的位置。

在一个实施方式中，等待位置30具有用于与机器人进行短距离通信的通信装置31，该通信装置在必要的情况下可以是有线连接，以使得能够在控制中心50与可能的延迟处理之间以很低的干扰风险快速交换信息，其中控制中心50例如用于传送在检查中收集的全部数据以便存储所述数据。

此类装置还可以在机器人10为其下一次检查而装载有用信息时在第一步骤210中被应用。

在一个实施方式中，在可视化检查期间由机器人10传送到控制中心50的数据可以由驾驶舱中的设备来接收，使得机组技术成员有可能跟随检查的进展和评估检测到的异常。

在该实施方式的一个变型中，机器人的控制装置被布置在驾驶舱中以干预检查的进展。

优选地，即便在可视化检查期间有可能对机器人远程干预，机器人也恢复检查以便在能够宣告检查结束之前满足按标准对检查预设的全部要求。

在该情况下，在没有满足全部要求的情况下，表示检查状态的“灯”是“红色”，如有必要，在仅有被检查的负责人判断为次要的要求未被满足的情况下是“橙色”。

在检查期间以及在前往和离开检查位置的移动中，机器人10确保安全以避免与人或位于其附近环境中的固定或活动的物体碰撞。例如，机器人10应用其可视化装置13来检测可能与其碰撞的物体。机器人还可以包括专门用于检测此类物体的装置。

当处理装置22识别出或被警告撞击的风险时，所述装置控制平台的移动以避免撞击，在必要的情况下发出声音信号和/或照明信号或其他以警告在可能的撞击中会牵涉到的人。

优选地，处理装置通过使用用于相对于其能够重建其特征的环境来定位的已知技术来确保以自动方式引导平台以避免撞击的风险，例如使用SLAM(同时定位与地图构建)法。

根据刚刚描述的实施方式，飞机90的可视化检查是由一个机器人10实现的。

在应用可视化检查方法的另一实施方式中，机器人10通过与由其他相似或专用的机器人所实现的部分检查相结合，来实现部分检查。

例如，多个机器人可以应用未示出的解决方案来检查飞行器的不同部分，以便能够在缩短的时间段内实现完整的检查。

在此情况下，例如应用两个或更多相同的机器人来实现对飞行器右侧和左侧和/或前部和后部的可视化检查。

在此情况下，由两个机器人实现的检查是例如是同步的，以便例如获得飞行器的两个区域之间的比较数据，例如右侧区域和理论上对称的左侧区域，从而识别或确认异常的出现。

还可以应用具有不同可能性的机器人，例如适用于飞机的一部分，其中针对该部分例如出于其高度(例如飞机的方向舵)或其形状(例如发动机喷管的进气口或出口)的原因而必须应用特定的可视化装置。

在应用无损检测装置的特定实施方式中，全部或部分的无损检测装置是由至少一个检测机器人来承载的，该机器人的活动平台独立于可视化检查机器人10。

在此情况下，检测机器人由可视化检查机器人10来控制，该可视化检查机器人当识别出应作为无损检测的目标的区域时向检测机器人发送具有所有必需的数据的干预命令，以实现所要求的检测，特别是飞行器上的待检测区域的准确位置和范围以及所期望的检测类型。当检测机器人实现所要求的检测时，其向可视化检查机器人发送通过检测而获得的可能已处理的数据，从而提供检测说明，而所述检测机器人自行回到等待位置。

应用独立的检测机器人必需实现专用于该检测机器人的活动平台但能够简化可视化检查机器人，降低其成本并增加其灵活性。

另外，仅用于在可视化检查机器人的请求下偶尔进行干预的同一个检测机器人可以服务于多个可视化检查机器人，优先级规则在两个可视化检查机器人同时请求检测机器人时管理可能的冲突。

在一个实施方式中，应用用不同类型的检测机器人，例如用于通过超声波实现检测的机器人和用于通过涡电流实现检测的另一机器人。在此形式下，获得具有不同程度的专用性的检测机器人，其性能可以适用于多种控制中的每一种。

在实现示例中描述的可视化检查机器人10的示例是在地面上移动的机器人，然而可以在必要的情况下与一个或多个地面机器人相结合地应用其他类型的机器人，例如悬空的机器人。

在机器人10的实现形式中，所述机器人包括例如由铰接臂承载的装置，该装置用于打开和关闭飞机表面上的门从而能够从飞行器90的外部接触到手柄或指示器，以使得机器人10能够关闭被错误地打开的门，或者打开门以对舱内进行可视化检测并关闭所述舱门。

因此有可能利用可视化检查机器人10或者利用缩减数量的检查机器人来在诸如机场的停机位这样的非特定环境下实现对诸如飞机这样的飞行器的可视化检查。

检查是以机器人10和负责检查的远程操作员协作的方式来实现的，其中所述机器人向该操作员返回可视化检查的全部结果，必要时返回出现可视化检测到的异常的区域的无损检测结果，并且一旦检测到异常并且必须由操作员介入做出决策，该机器人就等待来自操作员的指示，其中向该操作员展示异常的图像以及所有能够被测量的特征。

根据可视化检查装置和方法，负责可视化检查的操作员对宣告未发现影响所检查的飞行器的操作上的使用的异常的判决全权负责，并且有可能对机器人进行远程干预以获得所有信息，特别是可疑区域的图像，以便快速地做出适合特殊情况的判决。

检查负责人所操作的控制中心可以远离可视化检查的场所，例如可视化检查负责人可以位于飞行器开发维护中心并在全世界范围内通过特别地使用可能通过地表线路、地表无线电网络和卫星无线网络来实现的数字连接来监视在航空港中进行的可视化检查。

Claims (20)

1.一种飞行器(90)的外表面的可视化检查装置(100)，包括用于容置飞行器的检查场地，其特征在于，所述可视化检查装置包括至少一个可视化检查机器人(10)，该可视化检查机器人的活动平台(11)承载具有可视化装置(13)的旋转架(12)并包括用于实现对所述活动平台(11)的引导和处理从所述可视化装置(13)接收的信息的处理装置(20)，其特征在于，所述可视化检查装置(100)包括具有用于至少一个检测操作员的位置的控制中心(50)，以及其特征在于，所述可视化检查机器人的处理装置(22)能够：

-在对停靠在所述检查场地上的飞行器(90)的外表面进行可视化检查时以自主的方式操纵所述可视化检查机器人(10)；

-在检测到正在检查的飞行器的外表面的异常的情况下中断进行中的可视化检查；

-将可视化检查信息传送至所述控制中心；

-接收来自所述控制中心的对于可视化检查的结果的指令。

2.根据权利要求1所述的可视化检查装置，其中，所述可视化检查机器人包括用于在检查期间随时确定在与所述飞行器相关的坐标系中所述可视化装置的定向以及所述可视化检查机器人的位置的装置。

3.根据权利要求2所述的可视化检查装置，其中，所述机器人的处理装置能够通过处理由所述可视化装置获得的待检查飞行器的图像来确定所述机器人的位置和所述可视化装置的定向。

4.根据权利要求2或权利要求3所述的可视化检查装置，其中，所述可视化检查机器人包括绝对定位装置，例如GPS接收器、视力计(optomé trie)或指向参考目标的激光测距仪，和/或用于对所述可视化检查机器人的移动进行积分的装置。

5.根据前述权利要求之一所述的可视化检查装置，其中，所述处理装置包括数据存储装置，所述数据存储装置至少暂时地包括待检查的飞行器的特性，特别是几何特性和图形特性。

6.根据前述权利要求之一所述的可视化检查装置，其中，所述处理装置包括数据存储装置，所述数据存储装置例如在异常数据库中包含异常特性。

7.根据前述权利要求之一所述的可视化检查装置，其中，所述处理装置包括图像处理算法以用于在由所述可视化装置传送的图像中检测所述可视化装置在光谱波长中可见的异常。

8.根据前述权利要求之一所述的可视化检查装置，其中，所述可视化装置包括在可见光范围内和/或在红外线范围内和/或在紫外线范围内的照明装置。

9.根据前述权利要求之一所述的可视化检查装置，其中，所述可视化装置和所述处理装置被配置成确定所述飞行器的所检查的外表面的三维形状。

10.根据前述权利要求之一所述的可视化检查装置，其包括用于对所检查的飞行器的结构进行无损检测的无损检测装置。

11.根据权利要求10所述的可视化检查装置，其中，全部或部分所述无损检测装置是由所述可视化检查机器人承载的。

12.根据权利要求10或权利要求11所述的可视化检查装置，其中，全部或部分所述无损检测装置是由至少一个检测机器人承载的，所述检测机器人的行为由所述可视化检查机器人来控制。

13.根据前述权利要求之一所述的可视化检查装置，其中，所述可视化装置能够相对于所述可视化检查机器人的平台的参照系按高低角和方位角定向。

14.根据前述权利要求之一所述的可视化检查装置，其中，所述处理装置被配置成确定在飞行器上检测到的缺陷相对于所述飞行器的从飞行器外部不可见的内部结构元件的位置。

15.根据前述权利要求之一所述的可视化检查装置，其中，所述检查机器人是在所述检查场地的地面上滚动移动或者通过升力在空间中移动的机器人，其中所述空间在地面上的投影基本对应于所述检查场地。

16.根据前述权利要求之一所述的可视化检查装置，其包括被配置成联合地实现对同一飞行器的可视化检查的多个检查机器人。

17.一种飞行器的可视化检查方法，其中，将待检查的飞行器的外表面的图像传送到可视化检查机器人的处理装置，其中，所述处理装置分析所述图像以识别可能存在的可见的异常，其特征在于，当检测到可见的异常时，将与检测到的异常相关的数据传送到控制中心，并且其特征在于，至少在所述处理装置识别的异常属于被认为严重的异常类别时，所述可视化检查中断。

18.根据权利要求17所述的可视化检查方法，其中，当所述检查由于检测到异常而中断时，由所述控制中心向所述可视化检查机器人传送关于继续可视化检查的指令，所述指令确定所述机器人应如何继续检查。

19.根据权利要求17或权利要求18所述的可视化检查方法，其中，可见的异常的幅度是由所述处理装置通过用于测量变形的光学装置和/或通过在照明光谱的可见光范围内和/或红外线范围内和/或紫外线范围内的比色分析来计算的。

20.根据权利要求17至19之一所述的可视化检查方法，其中，当可视化检测到异常时，通过所述可视化检查机器人或通过由所述可视化检查机器人控制的无损检测机器人，来对受到可见的异常影响的区域进行无损检测。