CN110866310B - 装配过程的自动监督和检查 - Google Patents

Abstract

本发明涉及装配过程的自动监督和检查。一种用于执行装配过程的自动监督和检查的方法和设备。所述方法使用计算机系统来实施。使用相对于装配场所被定位的传感器系统产生所述装配场所处的传感器数据。使用所述传感器数据识别用于在所述装配场所处建造装配件的装配过程的当前阶段。识别针对所述当前阶段的背景。基于所述传感器数据和针对所述当前阶段的所述背景产生针对所述装配件的质量报告。

Description

装配过程的自动监督和检查

技术领域

本公开大体涉及检查装配场所。更具体地，本公开涉及用于装配场所处的装配过程的自动监督和检查的方法和系统。

背景技术

复合结构(诸如飞行器结构)可能需要数百、数千、数万、或甚至数十万个部件的装配。这些类型的复合结构的装配可能在制造环境中存在某些挑战。例如，在装配过程的各种阶段可能需要不同类型或水平的检查。一个检查步骤可以包括确定正在具体阶段被装配的零件是否确实是预期被装配的零件。另一检查步骤可以包括确定零件是否已经被装配在正确的位置中。又一检查步骤可以包括确定零件是否已经在装配过程期间的正确时间被装配。一个检查步骤可以包括确定零件的装配是否满足安全要求、质量要求或这两者。

一些目前可用的检查方法涉及通过人类操作者手动检查装配。但是这种类型的手动检查会易于发生人类错误并且准确性可能比期望的低。另外，手动检查会花费比期望的更长的时间，并且会比期望的更昂贵。例如，当不期望的特征经由手动检查被识别时，会需要拆卸以便识别不期望的特征的原因。这种拆卸过程会比期望的更耗时且更昂贵。因此，会期望一种或更多种用于解决上述问题的设备和方法。

发明内容

在一个示例实施例中，提供了一种用于执行装配过程的自动监督和检查的方法。所述方法使用计算机系统来实施。使用相对于装配场所被定位的传感器系统产生所述装配场所处的传感器数据。使用所述传感器数据识别用于在所述装配场所处建造装配件的装配过程的当前阶段。识别针对所述当前阶段的背景(context)。基于所述传感器数据和针对所述当前阶段的所述背景产生针对所述装配件的质量报告。

在另一示例实施例中，提供了一种用于执行装配过程的自动监督和检查的方法。所述方法使用计算机系统来实施。使用相对于装配场所被定位的传感器系统产生所述装配场所处的传感器数据。使用所述传感器数据，被存储在数据存储库中的装配信息，以及机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习或人工智能学习中的至少一个来识别用于在所述装配场所建造装配件的装配过程的当前阶段。背景针对当前阶段来识别。基于所述传感器数据和针对当前阶段的背景产生对应于所述装配过程的当前阶段的质量报告。对应于装配过程的当前阶段的记录被存储在所述数据存储库中，以由此建造针对所述装配过程的记录的历史。所述记录包括所述传感器数据的至少一部分和所述质量报告。

在另一示例实施例中，一种用于装配过程的自动监督和检查的系统包括传感器系统和计算机系统。所述传感器系统相对于装配场所和正在所述装配场所处被建造的装配件被定位。所述计算机系统基于由所述传感器系统产生的传感器数据识别用于在所述装配场所处建造所述装配件的所述装配过程的当前阶段；识别针对所述当前阶段的背景；以及基于所述传感器数据和针对所述当前阶段的所述背景产生针对所述装配件的质量报告。

所述特征和功能可以在本公开的各种实施例中独立地实现，或可以在其他实施例中组合，其中参考下面的说明和附图可看出其进一步的细节。

附图说明

示例实施例的被确信为新颖性特征的特性在所附权利要求中阐述。然而，当结合附图阅读时，示例实施例以及优选的使用方式、进一步的目的及其特征将通过参考示例实施例的下面的具体实施方式来最好地理解，其中：

图1是根据示例实施例的制造环境的方框图。

图2是根据示例实施例的来自图1的训练管理器和数据存储库的方框图。

图3是根据示例实施例的来自图1的装配管理器的方框图。

图4是根据示例实施例的装配场所的图示。

图5是根据示例实施例的用于执行装配过程的自动监督和检查的过程的流程图。

图6是根据示例实施例的用于执行装配过程的自动监督和检查的过程的流程图。

图7是根据示例实施例的用于识别装配过程的当前阶段的过程的流程图。

图8是根据示例实施例的用于执行回滚(rollback)验证的过程的流程图。

图9是根据示例实施例的用于装配过程的自动监督和检查的过程的流程图。

图10是根据示例实施例的数据处理系统的方框图。

图11是根据示例实施例的图示性实施例的飞行器制造与保养方法的图示。

图12是根据示例实施例的飞行器的方框图。

具体实施方式

下面描述的示例实施例提供了用于使装配场所处的装配过程的监督和检查自动化的方法和系统。这些方法和系统使用机器学习、计算机视觉和其他人工智能技术来使装配过程的监督和检查自动化。另外，这些方法和系统提供了识别在装配过程期间根据预定的质量要求、在正确的位置中和在正确的时候被装配的零件的自动方式。

由示例实施例提供的自动监督和检查系统以减少对于检查过程中的人类干预的需要的方式改善了装配过程的质量控制。通过减少对于人类干预的这种需要，可以减少人类相关的错误。另外，自动监督和检查系统提供了成本和时间节省。例如，自动监督和检查系统提供了用于在不需要大量拆卸或实际装配步骤的逆转的情况下识别问题的根本原因的方法。

图1是根据示例实施例的制造环境的方框图。制造环境100是多个零件102可以在其中被装配以形成结构104的一种类型的制造环境的示例。结构104可以采取许多不同的形式。例如，结构104可以是飞行器、机翼、机翼结构、机身、机身结构、框架、安定面/稳定器、或一些其他类型的结构104。在一些情况下，多个零件102中的零件也可以被称为件、部件、元件、构件或一些其他类型的单元。

多个零件102可以在制造环境100内的装配场所105处被装配。在一些图示性示例中，装配场所105可以是制造环境100内的多个装配场所中的一个。装配场所105可以包括例如地面区域、平台、台架、或多个零件102在其上进行装配的一些其他类型的场所。

多个零件102可以被装配以根据装配过程106形成结构104。装配过程106可以包括多个阶段108。如本文中使用的，多个阶段108中的阶段可以是装配过程106的单个阶段、一系列阶段、一系列子阶段、子装配过程中的阶段、装配过程106或子装配过程中的步骤、或要在装配过程106期间被并行地执行的两个或更多个步骤。在装配过程106的任何给定阶段，在完成之前并且直到完成，结构104可以被称为装配件110。在一些情况下，装配件110也可以被称为“建造件”。

监督和检查系统112被用来监督装配过程106，并且在装配过程106期间执行检查。监督和检查系统112可以是自动系统。具体地，监督和检查系统112使装配过程106的监督自动化，并且使装配过程106期间的检查自动化，以减少或在一些情况下甚至消除对于人类干预的需要。

在这些图示性示例中，监督和检查系统112包括传感器系统114、训练管理器116、装配管理器118、回滚验证器120、数据存储库121和输出系统122。传感器系统114可以包括任何数量的传感器或传感器的组合。例如，传感器系统114可以包括成像装置、雷达传感器、声呐传感器、光检测和测距(LiDAR)传感器、红外(IR)传感器、或一些其他类型的传感器中的至少一个。成像装置可以包括例如但不限于摄像机、立体摄像机、视频摄像机、红外摄像机、一些其他类型的成像装置、或其组合。在一个图示性示例中，传感器系统114包括一组成像系统，每个成像系统包括一个或更多个成像装置。一组项目(诸如一组成像系统)可以包括一个或更多个项目。

训练管理器116、装配管理器118和回滚验证器120可以使用软件、硬件、固件、或其组合来实施。当软件被使用时，由训练管理器116、装配管理器118或回滚验证器120中的每一个执行的操作可以使用例如但不限于被配置为在处理器单元上运行的程序代码来实施。当固件被使用时，由训练管理器116、装配管理器118或回滚验证器120中的每一个执行的操作可以使用例如但不限于程序代码和数据来实施，并且被存储在永久存储器中以在处理器单元上运行。

当硬件被使用时，硬件可以包括操作为执行由训练管理器116、装配管理器118或回滚验证器120中的每一个执行的操作的一个或更多个电路。取决于实施方式，硬件可以采取电路系统、集成电路、专用集成电路(ASIC)、可编程逻辑装置、或被配置为执行任何数量的操作的一些其他合适类型的硬件装置的形式。可编程逻辑装置可以被配置为执行某些操作。该装置可以被永久地配置为执行这些操作，或可以是可配置的。可编程逻辑装置可以采取例如但不限于可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列、或一些其他类型的可编程硬件装置的形式。

在这些图示性示例中，装配管理器118和回滚验证器120可以使用计算机系统124来实施。计算机系统124可以包括单个计算机或与彼此通信的多个计算机。在一些实施例中，计算机系统124可以包括笔记本电脑、平板电脑、智能手机、或一些其他类型的移动装置。

在一些实施例中，计算机系统124的一部分可以相对于计算机系统124的另一部分被远程地定位。例如，计算机系统124可以包括被定位在制造环境100内的装配场所105处或周围的计算机和相对于该计算机被远程地定位的服务器系统。服务器系统可以被定位在制造环境100内或外面。在一些情况下，训练管理器116可以使用第一计算机来实施，装配管理器118可以使用第二计算机来实施，并且回滚验证器120可以使用第三计算机来实施。因此，计算机系统124可以以许多不同的方式被用来实施装配管理器118和回滚验证器120。

数据存储库121可以包括一个或更多个数据库、联合存储器、一些其他类型的数据结构、或其组合。数据存储库121可以与训练管理器116、装配管理器118、回滚验证器120、或其组合通信。在一些示例中，数据存储库121可以是计算机系统124的一部分。在一些示例中，数据存储库121或数据存储库121的至少一部分相对于装配场所105被远程地定位。

数据存储库121存储装配信息126。下面在图2中描述了可以被存储在数据存储库121中的装配信息126的类型的示例。

输出系统122可以与训练管理器116、装配管理器118、回滚验证器120、或其组合通信。输出系统122可以包括一个或更多个输出装置。在一些图示性示例中，输出系统122的一部分或全部可以被认为是计算机系统124的一部分。在这些图示性示例中，输出系统122可以包括显示系统128、音频系统130、或一些其他类型的输出装置中的至少一个。显示系统128可以包括例如屏幕、触摸屏、监视器、头戴式显示装置、或一些其他类型的显示装置中的至少一个。音频系统130可以包括例如麦克风、扬声器、或一些其他类型的音频装置中的至少一个。

传感器系统114可以被用来在装配过程106之前、在装配过程106期间、或两者产生传感器数据132。传感器数据132可以包括二维(2D)成像数据、三维(3D)成像数据、一个或更多个其他类型的传感器数据、或其组合。传感器数据132被发送到训练管理器116和装配管理器118以便进行处理。在一些图示性示例中，传感器数据132的一部分或全部被存储在数据存储库121中。

在装配过程106开始之前，训练管理器116使用装配信息126和可选地传感器数据132来训练装配管理器118，以识别要被装配以形成结构104的多个零件102中的各种零件和多个阶段108的各种阶段。此外，训练管理器116使用装配信息126和可选地传感器数据132来训练装配管理器118，以评价针对装配件110的质量度量。

装配管理器118对传感器数据132进行处理，以识别装配过程106的当前阶段134。装配管理器118然后识别针对当前阶段134的背景136。背景136可以包括例如针对装配件110在当前阶段134的标称状况、针对预期存在的每个零件在当前阶段134的标称状况、为针对装配件110在当前阶段134的标称状况所选择的公差、为针对装配件110预先识别的质量度量所选择的公差、在当前阶段134之前完成的(一个或多个)步骤的识别、要在当前阶段134期间完成的(一个或多个)步骤的识别、要在当前阶段134之后完成的(一个或多个)下一步骤的识别、或其他信息中的至少一个。

背景136可以包括人类操作者将会完全不能识别或将会不能基于观察或可视化装配场所105而快速且容易地识别的信息。例如，当装配过程106包括众多阶段时，人类操作者会不能容易地识别当前阶段134或为针对当前阶段134的装配件110预先识别的质量度量所选择的公差、在当前阶段134之前完成的(一个或多个)步骤、要在当前阶段134期间完成的(一个或多个)步骤、或要在当前阶段134之后完成的(一个或多个)下一步骤。

基于针对当前阶段134识别的背景136，装配管理器118可以经由输出系统122输出引导信息138。引导信息138可以包括例如要在当前阶段134期间执行的步骤的列表、要在当前阶段134之后执行的下一步骤的列表、或两者。引导信息138被用来通知一个或更多个人类操作者要在装配过程106期间执行的任务。

另外，基于针对当前阶段134识别的背景136，装配管理器118可以在当前阶段134对装配件110进行评估，并且产生质量报告140。质量报告140也可以被称为质量评价。质量报告140指示与装配件110的质量有关的任何相关感兴趣问题。

对于通过装配管理器118识别的装配过程106的每个阶段，装配管理器118将对应的质量报告140存储在数据存储库121中，以建造针对装配过程106的报告的历史142。如果在当前阶段134，装配管理器118检测到感兴趣问题，那么回滚验证器120可以以相反顺序回滚通过被存储在数据存储库121中的质量报告的历史142，以识别感兴趣问题的根本原因。

图2是根据示例实施例的来自图1的训练管理器116和数据存储库121的方框图。在来自图1的装配过程106在装配场所105处被执行之前，训练管理器116使用被存储在数据存储库121中的装配信息126来训练图1中的装配管理器118，以对图1中的多个阶段108中的每一个进行评估。

训练管理器116可以使用任何数量的算法和技术来执行这种训练。例如，训练管理器116可以使用机器学习、深度学习、计算机视觉、一些其他类型的计算学习、一些其他类型的人工智能学习、或其组合中的至少一个。

被存储在数据存储库121中的装配信息126可以包括各种类型的信息。例如，装配信息126可以包括零件图像库202、零件模型库204、装配过程流数据206、装配场所模型数据208、装配模型数据210、以及装配视频数据212、特征数据214、或其组合。

零件图像库202可以包括例如针对图1中的多个零件102中的零件的至少一部分的一个或更多个图像。在一些情况下，零件图像库202可以包括针对多个零件102中的每一个的图像。在这些图示性示例中，零件图像库202还可以包括从之前完成的装配过程捕获的零件的图像。

零件模型库204可以包括例如针对图1中的多个零件102中的零件的至少一部分的一个或更多个模型。在一些情况下，零件模型库204可以包括针对多个零件102中的每一个的模型。零件的模型可以是例如计算机辅助设计(CAD)模型。

装配过程流数据206可以包括关于来自图1的装配过程106中的多个阶段108的流或次序的信息。在一个图示性示例中，装配过程流数据206采取表示装配过程106的多个阶段108应当根据其前进的流或次序的定向装配图表216的形式。在一些情况下，该定向装配图表216可以包括表示与彼此并行地实行的子阶段的子流。

装配场所模型数据208可以包括例如来自图1的装配场所105的基准模型，并且更新到针对装配过程106的多个阶段108中的每一个的基准模型。在一些图示性示例中，装配场所模型数据208包括针对多个阶段108中的每一个的装配场所105的模型。被包括在装配场所模型数据208中的模型可以是例如三维模型。另外，在一些情况下，这些模型可以包括表示所涉及的零件和多个阶段108的每个阶段的准备零件。在其他情况下，模型被联系到零件的CAD模型。

装配模型数据210可以包括表示多个阶段108中的装配件110的各种阶段的任何数量的模型。在一个图示性示例中，装配模型数据210包括针对装配件110在多个阶段108的第一阶段的基准模型，并且更新到反映在多个阶段108中的每一个向装配件110添加一个或更多个零件的基准模型。装配视频数据212可以包括整个装配过程106的视频、或在之前执行的装配过程106期间捕获的针对装配过程106的各种阶段的多个视频。

特征数据214可以包括关于各种特征的信息。特征可以包括裂缝、凹痕、扭曲、表面水平特征、其他类型的特征、或其组合。特征数据214可以包括这些特征的图像。在这些图示性示例中，特征数据214包括为特征中的每一个所选择的公差。作为一个图示性示例，特征数据214可以包括为裂缝的长度所选择的公差、为凹痕的深度所选择的公差、以及其他类型的所选择的公差。

在这些图示性示例中，训练管理器116可以使用随着时间产生的传感器数据132来更新装配信息126。这种类型的更新改善了传感器数据132的分析可以被执行的总体准确性和效率。

图3是根据示例实施例的来自图1的装配管理器118的方框图。装配管理器118可以包括数据分析器302和输出产生器304。

数据分析器302使用传感器数据132和被存储在数据存储库121中的装配信息126来识别装配过程106期间的多个阶段108中的每个阶段。例如，在装配过程106期间的任何给定时间点，数据分析器302可以使用任何数量的算法或技术来识别装配过程106的当前阶段134。

在一个图示性示例中，传感器数据132包括针对装配场所105的成像数据306、范围数据307、或两者。成像数据306包括装配场所105的二维图像、三维图像、视频、或其组合。范围数据307可以包括来自雷达传感器、LiDAR传感器、红外传感器、或一些其他类型的传感器中的至少一个的数据。

在这些图示性示例中，数据分析器302可以使用机器学习、深度学习、计算机视觉、定制化的学习技术、一些其他类型的计算学习、一些其他类型的人工智能学习、或其组合中的至少一个结合装配信息126来检测对象308，并且使用成像数据306、范围数据307、或两者来识别对象308。在一些图示性示例中，数据分析器302可以仅使用二维成像数据来检测和识别对象308。

数据分析器302基于装配信息126将所检测的对象308匹配到零件。例如，数据分析器302可以使用零件图像库202，零件模型库204、或两者来将对象308匹配到零件。这种匹配可以基于例如形式、尺寸、颜色、识别标记、或一些其他类型的比较点来执行。

一旦对象308是零件匹配的，它们就可以被称为匹配的对象309。在一些情况下，不是所有对象308都能够被匹配到对应的零件。因此，匹配的对象309可以包括对象308的全部或子集。

数据分析器302识别匹配的对象309相对于用于装配场所105的参考坐标系的位置310和取向312。例如，数据分析器302可以首先识别具体图像中的匹配的对象309的位置310。数据分析器302可以将图像被产生的视角同步到相对于装配场所105的模型产生图像的成像装置的对应位置。光线跟踪或一些其他技术然后可以被用来确定每个匹配的对象的位置。该匹配的对象的取向然后可以被确定。在其他图示性示例中，数据分析器302识别匹配的对象309相对于用于装配件110的参考坐标系的位置310和取向312。

数据分析器302可以识别成像数据306中的一个或更多个特征314。特征314可以是装配件110的具体零件、表面或其他部分的特征。特征314可以包括例如但不限于，裂缝、凹痕、扭曲、表面水平特征、或一些其他类型的特征。表面水平特征可以是例如齐平的水平、平滑的水平、或一些其他类型的表面特征。当该特征在所选择的公差之外时，特征可以被认为是不期望的特征或不一致。

数据分析器302可以使用机器学习、深度学习、计算机视觉、定制化的学习技术、一些其他类型的计算学习、一些其他类型的人工智能学习、或其组合中的至少一个结合装配信息126来检测并识别成像数据306中的对象308。

在一些图示性示例中，数据分析器302还识别成像数据306中的场所元件315。场所元件315可以包括工具、识别标记、标签、机器人以及除了零件之外的可以存在于装配场所105处的元件。

使用匹配的对象309的识别、匹配的对象309的位置310、匹配的对象309的取向312和场所元件315的一些组合，数据分析器302然后能够识别装配过程106的当前阶段134。例如，数据分析器302可以使用装配信息126结合以上信息来识别当前阶段134。更具体地，数据分析器302可以使用来自图2的装配过程流数据206、装配场所模型数据208、装配模型数据210、装配视频数据212、一些其他类型的信息、或其组合来识别当前阶段134。在一些情况下，当前阶段134的识别可以被称为装配定位校准或装配阶段校准。

一旦当前阶段134已经被识别，数据分析器302使用被存储在数据存储库121中的背景信息316来识别针对当前阶段134的背景136。背景信息316也可以包括装配信息126的一部分。例如，背景信息316可以包括针对装配过程106的多个阶段108中的每个阶段的质量度量。

如上面讨论的，针对当前阶段134的背景136可以包括针对装配件110在当前阶段134的标称状况、针对预期存在的每个零件在当前阶段134的标称状况、为针对装配件110在当前阶段134的标称状况所选择的公差、为针对装配件110预先识别的质量度量所选择的公差、在当前阶段134之前完成的(一个或多个)步骤的识别、要在当前阶段134期间完成的(一个或多个)步骤的识别、要在当前阶段134之后完成的(一个或多个)下一步骤的识别、或其他信息中的至少一个。

一旦背景136已经被识别，输出产生器304就产生引导信息138和质量报告140。引导信息138被用来通知在装配过程106中所涉及的一个或更多个人类操作者。引导信息138可以包括例如当前阶段引导318、下一阶段引导320、或两者。

当前阶段引导318可以包括例如要在当前阶段134执行的步骤的列表。在一些情况下，当前阶段引导318包括关于如何针对当前阶段134执行某些任务的指令。当前阶段引导318可以包括一个或更多个图像、视频、或两者来帮助关于如何执行具体任务对人类操作者进行引导。引导信息138可以通过来自图1的显示系统128被显示。在一些情况下，当前阶段引导318包括音频引导，诸如关于如何在装配过程106的当前阶段134期间执行某些任务的音频指令。这些音频指令可以针对人类操作者通过来自图1的音频系统130被播放。

下一阶段引导320可以包括例如要在将会跟随当前阶段134的下一阶段期间执行的步骤的列表。数据分析器302、输出产生器304、或两者可以使用例如来自图2的定向装配图表216来识别该下一阶段。在一些图示性示例中，下一阶段引导320包括关于如何针对下一阶段执行某些任务的指令。下一阶段引导320可以包括一个或更多个图像、视频、或两者来帮助关于如何执行具体任务对人类操作者进行引导。

引导信息138可以通过在图1中描述的输出系统122被呈现给人类操作者。例如，引导信息138可以通过来自图1的显示系统128被显示。在一些情况下，当前阶段引导318可以包括音频引导，诸如关于如何在装配过程106的当前阶段134期间执行某些任务的音频指令。这些音频指令可以针对人类操作者通过来自图1的音频系统130被播放。

另外，基于针对当前阶段134识别的背景136、匹配的对象309、位置310、取向312和场所元件315，输出产生器304在当前阶段134对装配件110进行评估并且产生质量报告140。质量报告140指示与装配件110的质量有关的任何相关感兴趣问题是否存在。例如，质量报告140包括匹配评价322、位置评价324、不一致评价326、或一些其他类型的评价中的至少一个。

匹配评价322可以指示对象308中的一个或更多个是否不能被匹配到对应的零件。在一些图示性示例中，匹配评价322也可以指示匹配的对象309中的一个或更多个是否不匹配在装配过程106的当前阶段134预期存在的零件。位置评价324指示匹配的对象309是否已经相对于装配件110被装配在正确或不正确的位置中。不一致评价326指示特征314是否已经被识别，并且如果这样的话，特征314是否在所选择的公差之外。数据分析器302、输出产生器304、或两者可以使用来自图2的特征数据214来确定特征314是否在所选择的公差之外。

在一些情况下，质量报告140可以包括总体阶段评价328。总体阶段评价328可以是例如当前阶段134是否正在所选择的公差内前进的指示。在一些情况下，总体阶段评价328可以是从“合格(pass)”、“两可(borderline)”和“不合格(fail)”中的一个选择的等级。

质量报告140可以经由输出系统122以不同的方式被呈现给人类操作者。在一个图示性示例中，质量报告140可以使用被叠加在显示系统128中显示的装配场所105或装配件110的图像上的图形指示符来呈现。例如，在图像中识别的已经被匹配到正确的零件并且被匹配到正确的位置和取向的对象可以利用第一类型的图形指示符(例如，对象周围的绿色圆圈、绿色箭头等)来指示。在图像中识别的已经被错误匹配、在错误位置中或具有错误取向的对象可以利用第二类型的图形指示符(例如，对象周围的红色圆圈、红色箭头等)来指示。如上面描述的，错误匹配的对象可以是被匹配到在当前阶段134不应当存在的零件的对象或不匹配到任何零件的对象。

传感器数据132和由装配管理器118产生的各条信息被存储在数据存储库121中。例如，阶段记录330可以与当前阶段134相关联地被存储在数据存储库121中。阶段记录330可以包括传感器数据132、对象308的识别、匹配的对象309的识别、位置310、取向312和质量报告140。在一些情况下，阶段记录330可以包括引导信息138。一旦被存储在数据存储库121中，阶段记录330就成为历史142的一部分。因此，报告的这种类型的历史142包括针对所识别和分析的多个阶段108中的每个阶段的报告。

图1-图3中的图示不意味着暗示对示例实施例可以被实施的方式的物理或架构进行限制。除被图示的部件之外或代替被图示的部件的其他部件可以被使用。一些部件可以是可选的。另外，方框被呈现以图示一些功能部件。当在不同的示例实施例中被实施时，这些方框中的一个或更多个可以被组合、被分开、或被组合并被分成不同的方框。

图4是根据示例实施例的装配场所的图示。装配场所400可以是针对在图1中描述的装配场所105的一种实施方式的示例。机翼装配件402正在装配场所400处被建造以最终形成机翼。机翼装配件402是针对在图1中描述的装配件110的一种实施方式的示例。机翼装配件402由多个零件404构成。

如所描绘的，监督和检查系统406至少部分地存在于装配场所400处。监督和检查系统406是针对图1中的监督和检查系统112的一种实施方式的示例。监督和检查系统406包括检查平台408和检查平台410。在该图示性示例中，检查平台408和检查平台410可以使用固定平台来实施。在其他图示性示例中，检查平台408和检查平台410可以使用移动式平台来实施。尽管在图4中仅示出了两个平台，任何数量的平台可以存在于装配场所400处。

在该图示性示例中，检查平台408包括旋转摄像机412和控制系统414。类似地，检查平台410包括旋转摄像机416和控制系统418。旋转摄像机412和旋转摄像机416是针对图1中的传感器系统114的一种实施方式的示例。旋转摄像机412和旋转摄像机416可以产生二维图像。在其他图示性示例中，检查平台408和检查平台410可以配备有三维摄像机系统、LiDAR传感器系统、或其他类型的传感器。

控制系统414和控制系统418均可以包括处理器、存储器和通信单元。控制系统414和控制系统418可以分别控制旋转摄像机412和旋转摄像机416的操作。另外，控制系统414和控制系统418可以对由这些摄像机产生的成像数据进行处理，并且将所处理的数据发送给远程计算机系统(例如，图1中的计算机系统124)以便进一步进行处理。在其他图示性示例中，控制系统414和控制系统418的处理器作为在图1中的计算机系统124的一部分而与彼此通信。

在一些情况下，照明装置(未示出)可以被附接到检查平台408和检查平台410中每一个或与检查平台408和检查平台410中每一个一体。照明装置可以帮助旋转摄像机412和旋转摄像机416捕获更高质量的图像。

由旋转摄像机412和旋转摄像机416产生的成像数据包括被用来在机翼装配件402的建造期间执行自动检查的装配场所400和机翼装配件402的图像。另外，成像数据被用来基于装配的当前阶段为人类操作者420提供引导。

图5是根据示例实施例的用于执行装配过程的自动监督和检查的过程的流程图。在图5中图示的过程500可以使用在图1-图3中描述的监督和检查系统112来执行。过程500可以被用来使图1中的装配场所105处的装配过程106的监督和检查自动化。

过程500可以以使用相对于装配场所被定位的传感器系统来产生装配场所处的传感器数据开始(操作502)。在一个图示性示例中，传感器系统包括相对于装配场所和正在装配场所处被建造的装配件被定位的多个摄像机。在一些情况下，摄像机中的一个或更多个可以是旋转摄像机。

用于在装配场所处建造装配件的装配过程的当前阶段使用传感器数据来识别(操作504)。此后，背景针对装配过程的当前阶段来识别(操作506)。如上面描述的，装配过程的阶段可以是单个阶段、阶段的次序、子阶段的次序、子装配过程中的阶段、装配过程中的步骤、子装配过程中的步骤、或要在装配过程期间被并行地执行的两个或更多个步骤或子阶段。

然后基于传感器数据和针对当前阶段的背景为装配件产生质量报告(操作508)，其中该过程此后终止。质量报告是包括指示至少一个感兴趣问题是否存在的评价的自动报告。感兴趣问题可以是不适当的零件、不适当的零件位置、不适当的取向、裂缝、凹痕、扭曲、表面不一致、或其组合。过程500可以针对装配过程的每个阶段进行重复。

图6是根据示例实施例的用于执行装配过程的自动监督和检查的过程的流程图。在图6中图示的过程600可以使用在图1-图3中描述的监督和检查系统112来执行。过程600可以被用来使图1中的装配场所106处的装配过程106的监督和检查自动化。

过程600以使用相对于装配场所被定位的传感器系统来产生装配场所处的传感器数据开始(操作602)。在这些图示性示例中，传感器系统包括相对于正在装配场所处被建造的装配件被放置在预定的固定点处的多个摄像机。这些位置被选择为提供为评估装配过程提供最多信息和最佳角度的图像。摄像机可以产生图像、视频、或两者。

接下来，用于在装配场所处建造装配件的装配过程的当前阶段使用传感器数据，被存储在数据存储库中的装配信息，以及机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习、或人工智能学习中的至少一个来识别(操作604)。此后，背景针对当前阶段来识别(操作606)。

对应于装配过程的当前阶段的质量报告基于传感器数据和针对当前阶段的背景来产生(操作608)。对应于装配过程的当前阶段的记录被存储在数据存储库中以由此建造针对装配过程的记录的历史(操作610)，其中该过程此后终止。记录包括传感器数据的至少一部分和质量报告。

图7是根据示例实施例的用于识别装配过程的当前阶段的过程的流程图。在图7中图示的过程700可以使用在图1-图3中描述的监督和检查系统112来执行。更具体地，过程700可以使用在图1和图3中描述的装配管理器118来执行。

过程700以使用由成像系统产生的成像数据来检测多个对象开始(操作702)。成像系统可以包括相对于装配场所和装配场所处的装配件被定位的一个或更多个摄像机。

接下来，多个对象的至少一部分被匹配到用于装配件的零件以由此建立多个匹配的对象(操作704)。操作704可以使用零件的图像或零件的模型中的至少一个来执行。例如，操作704可以使用图2中的零件图像库202和零件模型库204来执行。在操作704中，每个对象与用于装配件的已知零件进行比较，并且被匹配到已知零件或被标记为不匹配的。在这些图示性示例中，将多个对象的至少一部分匹配到用于装配件的已知零件可以使用机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习、或人工智能学习中的至少一个来执行。

此后，多个位置或多个取向中的至少一个针对多个匹配的对象相对于用于装配场所的参考坐标系来识别(操作706)。例如，对于被匹配到用于正被建造的装配件的已知零件的每个对象，相对于用于装配场所的参考坐标系的位置、取向、或两者被计算。在一些图示性示例中，参考坐标系可以是相对于装配件本身。匹配的对象的位置可以使用摄像机相对于装配场所的已知方位并且因此摄像机相对于装配件或装配场所的模型(例如，CAD模型)的已知方位来识别。

装配过程的当前阶段基于多个匹配的对象的识别和针对多个匹配的对象识别的多个位置或多个取向中的至少一个来确定(操作708)，其中该过程此后终止。操作708可以通过比较匹配的对象的位置、取向、或两者与在装配过程期间的各种阶段的装配件的模型、在装配过程期间的各种阶段的装配场所的模型、或两者来执行。来自图2的装配过程流数据206、装配场所模型数据208、装配模型数据210、装配视频数据212、或其组合可以被用来确定装配过程的当前阶段。

图8是根据示例实施例的用于执行回滚验证的过程的流程图。在图8中图示的过程800可以使用在图1-图3中描述的监督和检查系统112来执行。更具体地，过程800可以使用在图1中描述的回滚验证器120来执行。

过程800可以以确定针对装配过程的当前阶段的质量报告是否指示感兴趣问题存在开始(操作802)。感兴趣问题可以是不适当的零件、不适当的零件位置、不适当的取向、裂缝、凹痕、扭曲、表面不一致、或一些其他类型的感兴趣问题中的一个。不适当的零件意味着错误的零件已经被添加到装配件。不适当的零件位置可以意味着正确的零件已经在错误的位置被装配或被添加到装配件。不适当的取向可以意味着正确的零件相对于装配件具有错误的取向。

如果感兴趣问题不存在，该过程终止。否则，如果感兴趣问题存在，装配过程的当前阶段被选择用于处理(操作804)。对应于所选择的阶段的报告从数据存储库中的历史被检索并且被分析(操作806)。

此后，感兴趣问题的根本原因是否在装配过程的所选择的阶段期间发生进行确定(操作808)。如果根本原因在装配过程的所选择的阶段期间发生，报告被产生(操作810)，其中该过程此后终止。报告可以是关于感兴趣问题的信息的警报或警告。在一些情况下，报告包括图像、视频、或两者以更好地通知人类操作者该问题。

然而，如果根本原因不在装配过程的所选择的阶段期间发生，关于所选择的阶段是否是装配过程的初始阶段进行确定(操作812)。如果所选择的阶段是装配过程的初始阶段，该过程前进到上面描述的操作810。此处，报告可以采取通知、警报、或指示根本原因不能被识别的实质性报告的形式。如果所选择的阶段不是装配过程的初始阶段，那么在所选择的阶段立即之前(immediately prior to)发生的装配过程的阶段被选择用于处理(操作814)，其中该过程然后返回到上面描述的操作806。以此方式，过程800以高效的方式回滚通过被存储在数据存储库中的记录的历史。关于之前装配步骤的信息可以在不需要人类干预或需要大量拆卸(例如，已经被执行的装配步骤的逆转)的情况下进行分析和评估。

因此，这种类型的回滚验证以人类操作者执行起来会是太困难或耗时的方式允许装配过程的自动检查和质量控制。人类操作者可能必须逆转装配过程，并且拆卸装配件的一部分以便识别问题的根本原因。然而，上面描述的回滚验证是用于容易地、快速地并且高效地识别在装配的当前阶段之前发生的问题的根本原因的自动方法。

图9是根据示例实施例的用于装配过程的自动监督和检查的过程的流程图。在图9中图示的过程900可以使用在图1-图3中描述的监督和检查系统112来执行。

过程900可以以识别装配过程的当前阶段和针对装配过程的当前阶段的背景开始(操作902)。接下来，激活的零件基于成像数据来识别(操作904)。成像数据可以由相对于装配场所在固定方位中的一个或更多个摄像机产生。激活的零件可以是例如正被人类操作者或机器人保持以便安装的零件。在操作904中执行的识别可以使用机器学习、计算机视觉、或其他类型的学习技术来执行。

此后，激活的目标位置针对激活的零件基于成像数据来识别(操作906)。激活的目标位置可以使用机器学习、计算机视觉、或其他类型的学习技术、以及装配场所或要被建造的装配件的3D模型来识别。在一些图示性示例中，一旦操作者开始安装零件的任务，目标位置就可以通过与激活的装配检测组合的基于接近度的检测来识别。

接下来，激活的零件和激活的目标位置被匹配到用于装配件的已知零件(操作908)。关于这种匹配是否是适当的进行确定(操作910)。当激活的零件和激活的目标位置的组合对于装配过程的当前阶段是正确的时候，匹配可以被认为是适当的。

如果匹配是适当的，成像数据被用来确定感兴趣问题是否存在(操作912)。这种确定可以基于机器学习、计算机视觉、或其他类型的学习算法来进行。在操作912中，确定基于已知类型的问题和预定的质量度量来进行。

如果问题存在，回滚验证过程被执行以识别问题的根本原因，并且对应的报告被产生(操作914)。该过程然后确定装配过程的当前阶段是否仍然是激活的(操作916)。如果存在要作为装配过程的该阶段的一部分被执行的额外步骤或任务，当前阶段被认为仍然是激活的。如果当前阶段仍然是激活的，该过程返回到上面描述的操作904。否则，该过程返回到上面描述的操作902。

再次参考操作912，如果感兴趣问题不存在，该过程前进到操作916。再次参考操作910，如果匹配不是适当的，报告被产生(操作918)，其中该过程然后返回到如上面描述的操作904。这允许人类操作者或机器人选择新的激活的零件或新的激活的目标位置。

通过在操作918之后返回到操作902，该过程可以使装配过程的激活阶段“前进”，并且使用新的背景用于决策。当不存在要前进到的下一阶段时，装配过程完成。因此，该过程重复直至装配过程已经完成。

所描绘的不同实施例中的流程图和方框图图示了图示性实施例中的设备和方法的一些可能的实施方式的架构、功能和操作。在这方面，流程图或方框图中的每个方框可以代表模块、节段、功能、和/或操作或步骤的一部分。

在图示性示例的一些替代性实施方式中，在方框中注释的一个或多个功能可以不按照在图中注释的顺序出现。例如，在一些情况下，被连续示出的两个方框可以大体上同时被执行，或者方框有时可以以相反顺序被执行，这取决于所涉及的功能。而且，除所图示的方框之外的其他方框可以被添加在在流程图或方框图中。

现在转向图10，以方框图的形式描绘了根据图示性实施例的数据处理系统的图示。数据处理系统1000可以被用来实施图1中的计算机系统124。如所描绘的，数据处理系统1000包括通信框架1002，通信框架1002提供处理器单元1004、存储装置1006、通信单元1008、输入/输出单元1010与显示器1012之间的通信。在一些情况下，通信框架1002可以被实施为总线系统。

处理器单元1004被配置为执行用于软件的指令以执行多种操作。取决于实施方式，处理器单元1004可以包含多个处理器、多核处理器、和/或一些其他类型的处理器。在一些情况下，处理器单元1004可以采取硬件单元的形式，诸如电路系统、专用集成电路(ASIC)、可编程逻辑装置或一些其他合适类型的硬件单元。

由处理器单元1004运行的用于操作系统的指令、应用、和/或程序可以被设置在存储装置1006中。存储装置1006可以通过通信框架1002与处理器单元1004通信。如在本文中所使用的，存储装置(也被称为计算机可读存储装置)是能够将信息存储在临时暂时和/或永久基础上的任一件硬件。该信息可以包括但不限于数据、程序代码、和/或其他信息。

存储器1014和持久贮存器1016是存储装置1006的示例。存储器1014可以采取例如随机存取存储器或一些类型的临时性或非临时性存储装置的形式。持久贮存器1016可以包含任何数量的部件或装置。例如，持久贮存器1016可以包含硬盘驱动器、闪存存储器、可重写光盘、可重写磁带或以上的一些组合。由持久贮存器1016所使用的介质可以或不可以是可移除的。

通信单元1008允许数据处理系统1000与其他数据处理系统和/或装置。通信单元1008可以使用物理和/或无线通信链路来提供通信。

输入/输出单元1010允许从被数据处理系统1000的其他装置接收数据，并向其发送输出。例如，输入/输出单元1010可以允许通过键盘、鼠标、和/或一些其他类型的输入装置来接收用户输入。作为另一示例，输入/输出单元1010可以允许向被连接到数据处理系统1000的打印机发送输出。

显示器1012被配置为向用于显示信息。显示器1012可以包含例如但不限于监测器、触摸屏、激光显示器、全息显示器、虚拟显示装置、和/或一些其他类型的显示装置。

在该图示性示例中，不同图示性实施例的过程可以由处理器单元1004使用计算机实施的指令来执行。这些指令可以被称为程序代码、计算机可用程序代码或计算机可读程序代码，并且可以由处理器单元1004中的一个或更多个处理器来读取并执行。

在这些示例中，程序代码1018以功能形式设置在可选择性地移除的计算机可读介质1020上，并且可以被装载到或转移到数据处理系统1000，以便由处理器单元1004来执行。程序代码1018和计算机可读介质1020一起形成计算机程序产品1022。在这个图示性示例中，计算机可读介质1020可以是计算机可读存储介质1024或计算机可读信号介质1026。

计算机可读存储介质1024是用来存储程序代码1018的物理或实体存储装置，而非传播或传输程序代码1018的介质。计算机可读存储介质1024可以是例如但不限于被连接到数据处理系统1000的光或磁盘或持久存储装置。

替代地，程序代码1018可以使用计算机可读信号介质1026转移到数据处理系统1000。计算机可读信号介质1026可以是例如传播的含有程序代码1018的数据信号。该数据信号可以是电磁信号、光信号、和/或可以通过物理和/或无线通信链路传播的一些其他类型的信号。

图10中的数据处理系统1000的图示不意味着为图示性实施例可以被实施的方式提供体系构架限制。不同的图示性实施例可以被实施在包括除了或代替为数据处理系统1000所图示的那些的部件的数据处理系统中。另外，在图10中示出的部件可以不同于所示出的图形性示例。

本公开的图示性实施例可以在如在图11中示出的飞行器制造与保养方法1100和如在图12中示出的飞行器1200的背景下进行描述。首先转向图11，描绘了根据图示性实施例的飞行器制造与保养方法的的方框图的图示。在试制期间，飞行器制造与保养方法1100可以包括图12中的飞行器1200的规格与设计1102以及材料采购1104。

在生产期间，进行图12中的飞行器1200的部件与子装配件制造1106以及系统集成1108。其后，图12中的飞行器1200可以通过认证与交付1110，以便使其服役1112。在由客户使用时，图12中的飞行器1200被安排进行日常的维护与保养1114(其还可以包括更改、重新配置、翻新、和其他维护与保养)。

可以由系统集成商、第三方和/或操作者执行或实施飞行器制造与保养方法1100的每个过程。在这些示例中，操作者可以是客户。。为了该描述的目的，系统集成商可以包括但不限于任意数量的飞行器制造商和主系统转包商；第三方可以包括但不限于任意数量的售卖者、转包商和供应商；而操作者可以是航空公司、租赁公司、军事实体、服务机构等。

现在参照图12，描绘了图示性实施例可以被实施的飞行器的图示。在该示例中，飞行器1200通过图11中的飞行器制造与保养方法1100来生产，并且可以包括机身1202以及多个系统1204和内部1206。系统1204的示例包括推进系统1208、电气系统1210、液压系统1212和环境系统1214中的一个或更多个。任意数量的其它系统可以被包括。尽管示出了航空示例，但是不同的图示性实施例可以被应用于其它行业，诸如船舶以及汽车工业。

在本文中所体现的设备和方法可以在图11中的飞行器制造和保养方法1100的阶段中的至少一个期间被采用。具体地，来自图1的结构104可以在飞行器制造和保养方法1100的阶段中的任一个期间被制造。例如，在没有限制的情况下，装配件110可以在部件与子装配件制造1106、系统集成1108、日常的维护与保养1114、或飞行器制造和保养方法1100的一些其他阶段中的至少一个期间中使用多个零件102来建造。另外，监督和检查系统112可以提供用于建造装配件110的装配过程106的自动监督和检查。监督和检查系统112可以被用来使为机身1202，内部1206、或飞行器1200的一些其他部分的一部分的结构的监督和检查自动化。

在一个图示性示例中，在图11中的部件和子装配件制造1106中生产的部件和子装配件可以以类似于当飞行器1200处于图11中的服役1112时生产的部件或子装配件的方式生产或制造。作为又一示例，一个或更多个设备实施例、方法实施例或其组合可以在生产阶段期间(诸如图11中的部件和子装配件制造1106以及系统集成1108)使用。一个或更多个设备实施例、方法实施例或其组合可以当飞行器1200处于服役1112时、和/或在图11中的维护和保养1114期间使用。多个不同的图示性实施例的使用可以充分加快飞行器1200的装配、和/或降低飞行器1200的成本或两者。

因此，示例实施例提供了用于装配过程的监督和检查的自动系统和方法。尽管用于监督和检查的自动系统和方法可以被用于其他类型的运载工具和运载工具结构的装配(例如，汽车装配、航天器装配等)。

如本文中使用的，当结合多个项目使用时，短语“至少一个”是指可以使用一个或多个所列项目的不同组合和仅仅需要所列项目的一个。该项目可以是一个特定对象、物品、步骤、操作、过程或类别。换句话说，“至少一个”指所列项目或所列项目的数量的任一组合，但不是所列的所有项目都可能需要。例如，在没有限制的情况下，“项目A、项目B或项目C中的至少一个”或“项目A、项目B和项目C中的至少一个”可以意味着项目A；项目A和项目B；项目B；项目A、项目B和项目C；项目B和项目C；项目A和项目C。例如，在一些情况下，“项目A、项目B或项目C中的至少一个”或“项目A、项目B和项目C中的至少一个”可以意味着但不限于，2个项目A、1个项目B、以及10个项目C、4个项目B和7个项目C、或一些其他合适的组合。

另外，本公开包含根据以下条款的实施例：

条款1.一种用于执行装配过程的自动监督和检查的方法，所述方法使用计算机系统来实施，并且包含：

使用相对于装配场所被定位的传感器系统产生所述装配场所处的传感器数据；

通过所述计算机系统基于所述传感器数据识别用于在所述装配场所处建造装配件的装配过程的当前阶段；

通过所述计算机系统识别针对所述当前阶段的背景；以及

通过所述计算机系统基于所述传感器数据和针对所述当前阶段的所述背景产生针对所述装配件的质量报告。

条款2.根据条款1所述的方法，其中产生所述传感器数据包含：

使用相对于所述装配件和所述装配场所被定位的一组成像系统来产生成像数据。

条款3.根据条款2所述的方法，其中所述成像数据是二维成像数据。

条款4.根据条款2所述的方法，其中通过所述计算机系统识别所述装配过程的所述当前阶段包含：

通过所述计算机系统使用所述成像数据来检测多个对象；以及

通过所述计算机系统使用所述零件的图像或所述零件的模型中的至少一个将所述多个对象的至少一部分匹配到用于所述装配件的零件，其中被匹配到所述零件的所述多个对象的所述部分是多个匹配的对象。

条款5.根据条款4所述的方法，其中通过所述计算机系统将所述多个对象的所述至少一部分匹配到所述零件包含：

通过所述计算机系统使用机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习、或人工智能学习中的至少一个将所述多个对象的所述至少一部分匹配到用于所述装配件的零件。

条款6.根据条款4所述的方法，其中通过所述计算机系统识别所述装配过程的所述当前阶段进一步包含：

通过所述计算机系统确定所述多个匹配的对象相对于用于所述装配场所的参考坐标系的多个位置和多个取向中的至少一个；以及

通过所述计算机系统基于所述多个匹配的对象的识别和所述多个匹配的对象的所述多个位置或所述多个取向中的所述至少一个确定所述装配过程的所述当前阶段。

条款7.根据条款6所述的方法，其中通过所述计算机系统识别所述背景包含：

通过所述计算机系统使用被存储在数据存储库中的背景信息确定针对所述装配过程的所述当前阶段的所述背景，其中所述背景包括针对所述装配件在所述当前阶段的标称状况、针对预期存在的每个零件在所述当前阶段的标称状况、为针对所述装配件在所述当前阶段的标称状况所选择的公差、在所述当前阶段之前完成的步骤的识别、要在所述当前阶段期间完成的步骤的识别、或要在所述当前阶段之后完成的步骤的识别中的至少一个。

条款8.根据条款6所述的方法，其中通过所述计算机系统产生所述质量报告包含：

通过所述计算机系统产生匹配评价，所述匹配评价指示所检测的所述多个对象中的一个或更多个是否不能被匹配到对应的零件并且所述多个匹配的对象中的一个或更多个是否不匹配在所述装配过程的所述当前阶段预期存在的零件。

条款9.根据条款6所述的方法，其中通过所述计算机系统产生所述质量报告包含：

通过所述计算机系统基于针对所述装配过程的所述当前阶段的所述背景产生位置评价，所述位置评价指示所述多个匹配的对象中的每一个是否已经被装配在正确的或不正确的位置中。

条款10.根据条款6所述的方法，其中通过所述计算机系统产生所述质量报告包含：

通过所述计算机系统产生不一致评价，所述不一致评价指示任何特征是否已经被识别并且任何所识别的特征是否在所选择的公差之外，其中特征从裂缝、凹痕、扭曲或表面水平特征中的一个选择。

条款11.根据条款10所述的方法，进一步包含：

通过所述计算机系统使用机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习、或人工智能学习中的至少一个来检测所述装配件中的一个或更多个特征。

条款12.根据任一前述条款所述的方法，进一步包含：

通过所述计算机系统基于针对所述装配过程的所述当前阶段的所述背景产生用于在所述装配过程期间引导人类操作者的引导信息。

条款13.根据条款12所述的方法，其中产生所述引导信息包含：

通过所述计算机系统产生供所述人类操作者用来在所述装配过程的所述当前阶段期间执行一个或更多个任务的当前阶段引导。

条款14.根据条款12所述的方法，其中通过所述计算机系统产生所述引导信息包含：

通过所述计算机系统产生供所述人类操作者用来在所述装配过程的下一阶段期间执行一个或更多个任务的下一阶段引导。

条款15.根据条款12所述的方法，进一步包含：

通过所述计算机系统将所述引导信息显示在相对于所述装配场所被定位的显示系统上。

条款16.根据任一前述条款所述的方法，进一步包含：

通过所述计算机系统将所述质量报告作为对应于所述装配过程的所述当前阶段的记录的一部分存储在数据存储库中，以由此建造针对所述装配过程的记录的历史。

条款17.根据条款16所述的方法，进一步包含：

通过所述计算机系统确定针对所述装配过程的所述当前阶段的所述质量报告是否指示感兴趣问题存在；以及

经由所述计算机系统回滚通过记录的所述历史，以识别所述感兴趣问题的根本原因。

条款18.根据条款17所述的方法，其中回滚通过记录的所述历史包含：

通过所述计算机系统分析对应于在所述装配过程的所述当前阶段立即之前的所述装配过程的所选择的阶段的第一记录。

条款19.根据条款18所述的方法，其中回滚通过记录的所述历史进一步包含：

通过所述计算机系统确定所述根本原因是否在所述所选择的阶段期间发生；以及

通过所述计算机系统分析对应于在所述所选择的阶段立即之前的所述装配过程的另一阶段的第二记录。

条款20.一种用于执行装配过程的自动监督和检查的方法，所述方法使用计算机系统来实施，并且包含：

使用相对于装配场所被定位的传感器系统产生所述装配场所处的传感器数据；

通过所述计算机系统使用所述传感器数据，被存储在数据存储库中的装配信息，以及机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习、或人工智能学习中的至少一个来识别用于在所述装配场所处建造装配件的装配过程的当前阶段；

通过所述计算机系统识别针对所述当前阶段的背景；

通过所述计算机系统基于所述传感器数据和针对所述当前阶段的所述背景产生针对所述装配件的质量报告；以及

通过所述计算机系统将对应于所述装配过程的所述当前阶段的记录存储在所述数据存储库中，以由此建造针对所述装配过程的记录的历史，其中所述记录包括所述传感器数据的至少一部分和所述质量报告。

条款21.根据条款20所述的方法，进一步包含：

通过所述计算机系统确定针对所述装配过程的所述当前阶段的所述质量报告是否指示至少一个感兴趣问题存在，其中所述至少一个感兴趣问题从不适当的零件、不适当的零件位置、不适当取向、裂缝、凹痕、扭曲和表面不一致中的一个选择。

条款22.根据条款21所述的方法，进一步包含：

经由所述计算机系统回滚通过记录的所述历史，以识别所述至少一个感兴趣问题的根本原因。

条款23.根据条款20-22中任一项所述的方法，进一步包含：

通过所述计算机系统产生供人类操作者在所述装配过程期间使用的当前阶段引导或下一阶段引导中的至少一个。

条款24.根据条款23所述的方法，进一步包含：

通过所述计算机系统将所述当前阶段引导或所述下一阶段引导中的所述至少一个显示在显示系统上。

条款25.根据条款20-24中任一项所述的方法，进一步包含：

通过所述计算机系统将所述质量报告的至少一部分呈现在显示系统上来通知人类操作者所述质量报告。

条款26.一种用于装配过程的自动监督和检查的系统，所述系统包含：

传感器系统，所述传感器系统相对于装配场所和正在所述装配场所处被建造的装配件被定位；以及

计算机系统，所述计算机系统基于由所述传感器系统产生的传感器数据识别用于在所述装配场所处建造所述装配件的所述装配过程的当前阶段；识别针对所述当前阶段的背景；识别针对所述当前阶段的背景；以及基于所述传感器数据和针对所述当前阶段的所述背景产生针对所述装配件的质量报告。

条款27.根据条款26所述的系统，其中所述传感器系统包括相对于所述装配场所被定位的至少一个摄像机，并且其中所述摄像机产生二维成像数据。

条款28.根据条款26-27中任一项所述的系统，其中计算机系统使用所述传感器数据，被存储在数据存储库中的装配信息，以及机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习、或人工智能学习中的至少一个来识别所述装配过程的所述当前阶段。

条款29.根据条款28所述的系统，其中所述装配信息包括零件图像库、零件模型库、装配过程流数据、装配场所模型数据、装配模型数据、装配视频数据或特征数据中的至少一个。

条款30.根据条款26-29中任一项所述的系统，其中所述背景包括针对所述装配件在所述当前阶段的标称状况、针对预期存在的每个零件在所述当前阶段的标称状况、为针对所述装配件在所述当前阶段的标称状况所选择的公差、在所述当前阶段之前完成的步骤的识别、要在所述当前阶段期间完成的步骤的识别、或要在所述当前阶段之后完成的步骤的识别中的至少一个。

为了图示说明和描述的目的，已经展示了不同的图示性实施例的描述，其并不意欲是穷举的或局限于所公开形式的实施例。很多修改和变化对本领域技术人员来说将会是显而易见的。此外，与其他期望实施例相比，不同的图示性实施例可以提供不同的特征。所选的实施例或多个实施例被选择和描述，以便更好地解释实施例的原理、实际应用，并使本领域其他技术人员能够理解各种实施例的公开内容，其中适合于特定用途的各种修改是可预期的。

Claims (27)

1.一种用于执行装配过程的自动监督和检查的方法，所述方法使用计算机系统来实施并且包含：

使用相对于装配场所被定位的传感器系统产生所述装配场所处的传感器数据；

通过所述计算机系统基于所述传感器数据和装配过程流数据识别用于在所述装配场所处建造装配件的装配过程中的多个阶段的当前阶段，所述装配过程流数据包括关于所述多个阶段的次序的信息；

其中识别所述当前阶段包括使用所述传感器数据中的成像数据来检测多个对象并且将所述多个对象的至少一部分匹配到用于所述装配件的零件，使得被匹配到所述零件的所述多个对象的所述部分是多个匹配的对象；

通过所述计算机系统识别针对所述当前阶段的背景；

通过所述计算机系统基于所述传感器数据和针对所述当前阶段的所述背景产生针对与所述当前阶段相对应的所述装配件的质量报告；以及

通过所述计算机系统将与所述装配过程的所述当前阶段相对应的记录存储在数据存储库中，从而建立所述装配过程的记录的历史，其中所述记录包括所述传感器数据、所述质量报告、所述多个对象的识别和所述多个匹配的对象的识别、位置、取向。

2.根据权利要求1所述的方法，

其中所述背景包括在所识别的当前阶段为针对所述装配件的标称状况所选择的公差；和/或

其中所述质量报告包括指示至少一个感兴趣问题是否存在的评价。

3.根据权利要求1或2所述的方法，其中产生所述传感器数据包含：

使用相对于所述装配件和所述装配场所被定位的一组成像系统来产生成像数据。

4.根据权利要求3所述的方法，其中所述成像数据是二维成像数据。

5.根据权利要求3所述的方法，其中通过所述计算机系统识别所述装配过程的所述当前阶段包含：

通过所述计算机系统使用所述成像数据来检测多个对象；以及

通过所述计算机系统使用用于装配件的零件的图像或所述零件的模型中的至少一个将所述多个对象的至少一部分匹配到所述零件，其中被匹配到所述零件的所述多个对象的所述部分是多个匹配的对象。

6.根据权利要求5所述的方法，其中通过所述计算机系统将所述多个对象的所述至少一部分匹配到所述零件包含：

通过所述计算机系统使用机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习或人工智能学习中的至少一个将所述多个对象的所述至少一部分匹配到用于所述装配件的零件。

7.根据权利要求6所述的方法，其中通过所述计算机系统识别所述装配过程的所述当前阶段进一步包含：

通过所述计算机系统确定所述多个匹配的对象相对于用于所述装配场所的参考坐标系的多个位置和多个取向中的至少一个；以及

通过所述计算机系统基于所述多个匹配的对象的识别和所述多个匹配的对象的所述多个位置或所述多个取向中的所述至少一个确定所述装配过程的所述当前阶段。

8.根据权利要求7所述的方法，其中通过所述计算机系统识别所述背景包含：

通过所述计算机系统使用被存储在数据存储库中的背景信息确定针对所述装配过程的所述当前阶段的所述背景，其中所述背景进一步包括针对所述装配件在所述当前阶段的标称状况、针对预期存在的每个零件在所述当前阶段的标称状况、在所述当前阶段之前完成的步骤的识别、要在所述当前阶段期间完成的步骤的识别或者要在所述当前阶段之后完成的步骤的识别中的至少一个。

9.根据权利要求8所述的方法，其中通过所述计算机系统产生所述质量报告包含：

通过所述计算机系统产生匹配评价，所述匹配评价指示所检测的所述多个对象中的一个或更多个是否不能被匹配到对应的零件并且多个匹配的对象中的一个或更多个是否不匹配在所述装配过程的所述当前阶段预期存在的零件。

10.根据权利要求8或9所述的方法，其中通过所述计算机系统产生所述质量报告包含：

通过所述计算机系统基于针对所述装配过程的所述当前阶段的所述背景产生位置评价，所述位置评价指示所述多个匹配的对象中的每一个是否已经被装配在正确的或不正确的位置中。

11.根据权利要求5-9中任一项所述的方法，其中通过所述计算机系统产生所述质量报告包含：

通过所述计算机系统产生不一致评价，所述不一致评价指示任何特征是否已经被识别并且任何所识别的特征是否在所选择的公差之外，其中特征从裂缝、凹痕、扭曲或表面水平特征中的一个选择。

12.根据权利要求11所述的方法，进一步包含：

通过所述计算机系统使用机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习或人工智能学习中的至少一个来检测所述装配件中的一个或更多个特征。

13.根据权利要求1所述的方法，进一步包含：

通过所述计算机系统基于针对所述装配过程的所述当前阶段的所述背景产生用于在所述装配过程期间引导人类操作者的引导信息。

14.根据权利要求13所述的方法，其中通过所述计算机系统产生所述引导信息包含：

通过所述计算机系统产生供人类操作者用来在所述装配过程的所述当前阶段期间执行一个或更多个任务的当前阶段引导，所述当前阶段引导包括关于如何针对所述当前阶段执行某些任务的指令，和/或其中通过所述计算机系统产生所述引导信息包含：

通过所述计算机系统产生供所述人类操作者用来在所述装配过程的下一阶段期间执行一个或更多个任务的下一阶段引导，所述下一阶段引导包括关于如何针对所述下一阶段执行某些任务的指令，和/或进一步包含：

将所述引导信息显示在相对于所述装配场所被定位的显示系统上。

15.根据权利要求1所述的方法，进一步包含：

通过所述计算机系统确定针对所述装配过程的所述当前阶段的所述质量报告是否指示感兴趣问题存在；以及

经由所述计算机系统回滚通过记录的所述历史，以识别所述感兴趣问题的根本原因。

16.根据权利要求15所述的方法，其中回滚通过记录的所述历史包含：

通过所述计算机系统分析对应于在所述装配过程的所述当前阶段立即之前的所述装配过程的所选择的阶段的第一记录。

17.根据权利要求16所述的方法，其中回滚通过记录的所述历史进一步包含：

通过所述计算机系统确定所述根本原因是否在所选择的阶段期间发生；以及

通过所述计算机系统分析对应于在所选择的阶段立即之前的所述装配过程的另一阶段的第二记录。

18.根据权利要求1所述的方法：

其中通过使用所述传感器数据，被存储在数据存储库中的装配信息，以及机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习或人工智能学习中的至少一个来执行通过所述计算机系统识别用于在所述装配场所处建造装配件的装配过程的当前阶段；所述方法进一步包含：

通过所述计算机系统确定针对所述装配过程的所述当前阶段的所述质量报告是否指示至少一个感兴趣问题存在，其中所述至少一个感兴趣问题从不适当的零件、不适当的零件位置、不适当取向、裂缝、凹痕、扭曲和表面不一致性中的一个选择。

19.根据权利要求18所述的方法，进一步包含：

经由所述计算机系统回滚通过记录的所述历史，以识别所述至少一个感兴趣问题的根本原因。

20.根据权利要求19所述的方法，进一步包含：

通过所述计算机系统产生供人类操作者在所述装配过程期间使用的当前阶段引导或下一阶段引导中的至少一个，所述当前阶段引导包括关于如何针对所述当前阶段执行某些任务的指令，并且所述下一阶段引导包括关于如何针对所述下一阶段执行某些任务的指令。

21.根据权利要求20所述的方法，然后进一步包含：

通过所述计算机系统将所述当前阶段引导或所述下一阶段引导中的所述至少一个显示在显示系统上，和/或进一步包含：

通过所述计算机系统将所述质量报告的至少一部分呈现在显示系统上来通知人类操作者所述质量报告。

22.一种用于装配过程的自动监督和检查的系统，所述系统包含：

传感器系统，所述传感器系统相对于装配场所和正在所述装配场所处被建造的装配件被定位；以及

计算机系统，所述计算机系统基于由所述传感器系统产生的传感器数据和装配过程流数据识别用于在所述装配场所处建造所述装配件的所述装配过程中的多个阶段的当前阶段，所述装配过程流数据包括关于所述多个阶段的次序的信息，其中识别所述当前阶段包括使用所述传感器数据中的成像数据来检测多个对象并且将所述多个对象的至少一部分匹配到用于所述装配件的零件，使得被匹配到所述零件的所述多个对象的所述部分是多个匹配的对象；识别针对所述当前阶段的背景；基于所述传感器数据和针对所述当前阶段的所述背景产生针对与所述当前阶段相对应的所述装配件的质量报告；以及将与所述装配过程的所述当前阶段相对应的记录存储在数据存储库中，从而建立所述装配过程的记录的历史，其中所述记录包括所述传感器数据、所述质量报告、所述多个对象的识别和所述多个匹配的对象的识别、位置、取向。

23.根据权利要求22所述的系统，其中所述背景包括在所识别的当前阶段为针对所述装配件的标称状况所选择的公差，并且所述质量报告包括指示至少一个感兴趣问题是否存在的评价。

24.根据权利要求22所述的系统，其中所述传感器系统包括相对于所述装配场所被定位的至少一个摄像机，并且其中所述摄像机产生二维成像数据。

25.根据权利要求22或23所述的系统，其中计算机系统使用所述传感器数据，被存储在数据存储库中的装配信息，以及机器学习、深度学习、计算机视觉、定制化的学习技术、计算学习或人工智能学习中的至少一个来识别所述装配过程的所述当前阶段。

26.根据权利要求25所述的系统，其中所述装配信息包括零件图像库、零件模型库、装配过程流数据、装配场所模型数据、装配模型数据、装配视频数据或特征数据中的至少一个。

27.根据权利要求25所述的系统，其中所述背景进一步包括针对所述装配件在所述当前阶段的标称状况、针对预期存在的每个零件在所述当前阶段的标称状况、在所述当前阶段之前完成的步骤的识别、要在所述当前阶段期间完成的步骤的识别或者要在所述当前阶段之后完成的步骤的识别中的至少一个。