CN114674289A - 用于卫星装配的自校正系统及自校正方法 - Google Patents

Abstract

提供一种用于卫星装配的自校正系统和方法。该系统包括终端装置和处理装置，终端装置包括：视觉模块，用于通过机器视觉采集卫星装配工艺的图像信息；通讯模块，与视觉模块相连，用于向处理装置传输图像信息并接收处理装置发送的指导信息；显示模块，与通讯模块相连，用于对指导信息进行增强现实显示；处理装置与终端装置相连，包括：信息管理模块，与通讯模块相连，用于接收终端装置传输的图像信息并向其发送指导信息；检验模块，与信息管理模块相连，用于基于深度学习算法对图像信息进行处理，检验工艺缺陷；校正模块，与检验模块相连，用于根据工艺缺陷生成校正信息，进行增强现实处理后形成指导信息。将机器视觉与增强现实集成，进行实时校正。

Description

用于卫星装配的自校正系统及自校正方法

技术领域

本申请涉及卫星装配技术，具体涉及一种用于卫星装配的自校正系统及自校正方法。

背景技术

在卫星制造过程中，对装配过程和装配结果的检验是卫星制造质量控制的重要环节。对于装配过程和装配结果的检验数据是卫星产品数据包的重要组成部分。卫星装配检验可以分为过程检验和结果检验。其中，过程检验的主要内容包括：产品的装配顺序、紧固件的规格、热控实施的状态、紧固件防松状态(螺纹防松)等；结果检验的主要内容包括设备安装位置、电连接器插接状态、紧固件防松状态(钉头防松)等。

目前，卫星装配检验主要依靠专职操作人员通过肉眼观察、笔录、照片记录、视频记录等人工方式进行。人工检验方式主要存在以下方面问题：首先，要求操作人员对装配过程全程进行观察和记录，并对卫星装配流程和关键点熟悉，即，对操作人员要求较高；其次，由于卫星装配过程中检验环节众多，完全依赖人工检验时，容易发生漏检或检验结果漏记录的问题，即，漏检、漏记录问题严重；第三，由于人工检验的记录存在多种形式，往往与产品关联性较弱，很难根据产品或工序快速对应到检验结果，造成数据包整理工作量很大；最后，无法及时对装配质量问题进行反馈，导致后续发现质量问题时无法对前序工作进行纠正，或者需要进行许多重复工作来进行纠正，浪费工作时间，使得纠正成本增加。

发明内容

基于此，为了解决卫星装配过程中，人工检验存在的对操作人员要求高、漏检、反馈不及时、数据量大、纠正成本高等问题，本申请提供了一种用于卫星装配的自校正系统和自校正方法。

根据本申请的示例实施例，所述自校正系统包括终端装置和处理装置，其中：

所述终端装置，包括：

视觉模块，用于通过机器视觉采集卫星装配工艺的图像信息；

通讯模块，与所述视觉模块相连，用于向所述处理装置传输所述图像信息并接收所述处理装置发送的指导信息；

显示模块，与所述通讯模块相连，用于对所述指导信息进行增强现实显示；

所述处理装置，与所述终端装置相连，包括：

信息管理模块，与所述通讯模块相连，用于接收所述终端装置传输的所述图像信息并向其发送所述指导信息；

检验模块，与所述信息管理模块相连，用于基于深度学习算法对所述图像信息进行处理，检验工艺缺陷；

校正模块，与所述检验模块相连，用于根据所述工艺缺陷生成校正信息并进行增强现实处理后形成所述指导信息。

根据本申请的一些实施例，所述装配工艺包括：紧固件规格、紧固件防松、热控实施、设备插接中的一种或多种。

根据本申请的一些实施例，所述增强现实显示包括光学透视式增强现实显示。

根据本申请的一些实施例，所述显示模块包括：

光波导型镜片；

投影子模块，用于将所述显示信息投射至所述光波导型镜片上进行所述增强现实显示。

根据本申请的一些实施例，所述校正模块包括：

工艺校正子模块，用于根据所述工艺缺陷调取正确装配工艺，生成所述校正信息；

增强现实子模块，用于通过增强现实处理对所述校正信息进行投影规划，生成所述投影子模块能够显示的所述指导信息。

根据本申请的一些实施例，所述自校正系统，还包括：

服务器，与所述处理装置通讯，并将所述检验模块的判断结果与所述图像信息进行存储备份。

根据本申请的一些实施例，所述自校正系统，还包括：

装配姿态测量装置，与所述处理装置的信息管理模块相连，用于将测量的卫星姿态数据传输至所述处理装置，所述处理装置针对所述卫星姿态数据中存在的缺陷生成所述指导信息，并将其发送至所述终端装置进行增强现实显示。

根据本申请的一些实施例，所述终端装置包括，便携式佩戴终端；所述视觉模块包括，相机或摄像头。

根据本申请的一些实施例，所述便携式佩戴终端包括：眼镜、眼罩、头盔中的一种。

根据本申请的另一方面，还提供一种用于卫星装配的自校正方法，包括：

通过机器视觉采集卫星装配工艺的图像信息；

基于深度学习算法对所述图像信息进行处理后，检验工艺缺陷；

根据所述工艺缺陷生成校正信息；

对所述校正信息进行增强现实处理，生成可显示的指导信息；

通过便携式佩戴终端对所述指导信息进行增强现实显示。

本申请提供的用于卫星装配的自校正系统，将机器视觉技术与增强现实技术集成于一体，来替代人工检验，并实时向检测人员反馈检验结果和纠正方案，不仅能够提高卫星装配的效率、降低检验人工成本，更能提高卫星装配质量。利用深度学习算法对采集的装配信息进行处理，能够逐渐提高检验的精度。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。

图1示出了根据本申请第一示例实施例的自校正系统组成示意图；

图2示出了根据本申请示例实施例的校正模块组成示意图；

图3示出了根据本申请第二示例实施例的自校正系统组成示意图；

图4示出了根据本申请第二示例实施例的自校正系统硬件示意图；

图5示出了根据本申请第二示例实施例的终端装置硬件结构示意图；

图6示出了根据本申请第二示例实施例的自校正系统工作流程示意图；

图7示出了根据本申请第三示例实施例的自校正系统组成示意图；

图8示出了根据本申请示例实施例的自校正方法流程图。

具体实施方式

下面将参考附图更全面地描述示例实施例。然而，示例实施例能以多种形式实施，且不应被理解为限于在此阐述的实施例。提供这些实施例是为使得本申请更全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

应理解，虽然本文中可能使用术语第一、第二等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，可能不是按比例的。附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。

卫星装配过程中，需要诸多检验环节。例如，卫星装配过程中涉及多种规格的紧固件，需要对装配过程中使用的紧固件规格进行检验；部分紧固件在装配过程中，需要进行涂胶防松处理，对于涂胶情况需要进行检验；部分设备在装配过程中需要实施热控处理，例如在安装面涂导热硅脂、安装导热垫或安装隔热垫等，对于热控实施的结果需要进行检验；装配过程中，还需要对设备插头的插接状态进行检查，确认插头是否插接、电缆与设备的插头是否对应。在上述检验环节中，人工检验存在诸多问题，例如，不能及时发现螺钉规格错误或者设备插接错误、不能及时发现是否进行涂胶或热控实施、发现工艺缺陷不能及时进行反馈提醒和纠正。

随着卫星产业的发展，批产卫星已经成为未来航天产品的主要方向。而采用人工检验方法进行卫星装配过程和结果检验，严重制约了卫星批产的效率，影响卫星制造业的快速升级。为了解决卫星装配过程中的上述问题，本申请提供了一种用于卫星装配的自校正系统和自校正方法，将机器视觉技术与增强现实技术集成于一体，来替代人工检验，并实时向检测人员反馈检验结果和纠正方案，不仅能够提高卫星装配的效率、降低检验人工成本，更能提高卫星装配质量。利用深度学习算法对采集的装配信息进行处理，能够逐渐提高检验的精度。

图1示出了根据本申请第一示例实施例的自校正系统组成示意图。

如图1所示，本申请提供过的自校正系统1000包括终端装置100和与之相连的处理装置200。其中，终端装置100，包括：视觉模块110、通讯模块120和显示模块130。

视觉模块110用于通过机器视觉采集卫星装配工艺的图像信息。根据本申请的一些实施例，视觉模块110可以采用机器视觉技术对检测对象进行观察和记录。机器视觉技术利用相机、摄像头等光学检测仪器代替人眼对检测对象进行观察，将检测结果以图像等数字信号的形式发送至图像处理模块。图像处理模块对图像数字信号进行运算分析后，做出判断结果。机器视觉技术适用于重复性的检验工作，能够有效提高检验效率。

通讯模块120与视觉模块110相连，用于向所述处理装置200传输所述图像信息并接收所述处理装置发送的指导信息。通讯模块120的作用在于进行数据传输。根据本申请的示例实施，通讯模块120可以是无线通讯模块，例如Wifi、蓝牙等，本申请对此不作限制。

显示模块130与通讯模块120相连，用于对处理模块200反馈的指导信息进行增强现实显示，将对检测到的工艺缺陷的校正信息以增强现实显示的方式呈现给操作人员，能够帮助操作人员即使校正装配过程和装配结果，从而保证装配质量。根据本申请的一些实施例，显示模块130可以包括：光波导型镜片和投影子模块。投影子模块可以用于将所述显示信息投射至所述光波导型镜片上进行增强现实显示。

处理装置200包括检验模块210、校正模块220和信息管理模块230。信息管理模块230与终端装置100的通讯模块120相连，用于接收终端装置100传输的图像信息并向其发送指导信息。检验模块210与信息管理模块230相连，用于基于深度学习算法对视觉模块传输的图像信息进行处理，检验工艺缺陷。检验模块210能够通过图像处理技术，对机器视觉技术采集的图像信息进行处理、分析和比对，从而判断出工艺缺陷。利用深度学习算法，随着采集样本数量的不断增加，工艺缺陷的检验准确率将逐步提高。

校正模块220与检验模块210相连，用于根据所述工艺缺陷生成校正信息，进行增强现实处理后形成所述指导信息。判断出装配过程中的工艺缺陷自校正的第一步，实现对工艺缺陷的及时校正对于保障装配质量更加重要。根据本申请的示例实施例，参见图2，校正模块220包括工艺校正子模块221和增强现实子模块222。工艺校正子模块221用于根据所述工艺缺陷调取正确装配工艺，生成校正信息。例如，根据检验出的工艺缺陷，可以从装配工艺数据库中调取相应的正确装配工艺信息，作为校正信息。增强现实子模块222用于通过增强现实处理对所述校正信息进行投影规划，生成投影子模块能够显示的指导信息。

增强现实技术将数字化虚拟信息与真实环境相融合，能够在真实环境中显示数字化虚拟信息。增强现实通过图像处理、注册跟踪定位、虚拟信息渲染以及虚实融合显示，增强视觉沉浸感。本申请中，增强现实显示可以是光学透视式增强现实显示，具有分辨率高、没有视觉偏差等优点。本申请提供的自校正系统1000，通过校正模块220增强现实子模块222对校正信息进行图像处理、虚拟信息渲染等规划出向操作人员呈现的投影信息。投影信息经过虚实融合显示，通过投影子模块呈现于光波导型镜片上。

图3示出了根据本申请第二示例实施例的自校正系统组成示意图。

如图3所示，根据本申请的另一示例实施例，自校正系统2000还可以包括服务器300；终端装置100还可以包括综合处理模块140和电源模块150；处理装置200还可以包括系统管理模块240。

终端装置100中的综合处理模块140用于对视觉模块110采集的信息进行简单处理(例如数据标识、分配传输通道等)后，通过通讯模块120传输至处理装置200。电源模块150用于为终端装置供电。

处理装置200中的检验模块210通过系统管理模块240与信息管理模块230相连。系统管理模块240用于对信息进行分配管理，例如将采集的图像信息发送至检验模块210；将检验模块反馈的工艺缺陷信息发送至校正模块220。当检验模块210判断出工艺缺陷时，向系统管理模块240反馈错误信息；系统管理模块240将错误信息发送至校正模块220；校正模块220中的工艺校正子模块221根据错误信息的类型调取正确的校正信息，通过增强现实子模块222进行增强现实处理，生成可供终端装置100显示的指导信息，通过系统管理模块240、信息管理模块230发送至终端装置100。终端装置100接收指导信息后，由综合处理模块140分配至显示模块进行显示。当检验模块210判断出不存在工艺缺陷时，信息管理模块230将采集的图像信息和判断结果发送至服务器进行存储备份。

图4示出了根据本申请示例实施例的自校正系统硬件示意图；图5示出了根据本申请示例实施例的终端装置硬件结构示意图。

参见图4和图5，本申请提供的自校正系统可以通过图中示例的硬件结构来集成。其中，终端装置100可以是便携式佩戴终端，例如眼镜、眼罩、头盔等，本申请对此不作限制。处理装置200可以是上位机，例如电脑、工控机等，本申请对此亦不作限制。便携式佩戴终端100可以通过Wifi与上位机200进行通讯。

参见图5，根据本申请的示例实施例，便携式佩戴终端100的结构形式可以实施为眼部佩戴的眼镜。眼镜100包括视觉模块110、通讯模块120、显示模块130、综合处理模块140、电源模块150和框架160。视觉模块110、通讯模块120、显示模块130、综合处理模块140和电源模块150集成于框架上。其中，显示模块130可以包括镜片和投影装置(图中未示出)，投影装置可以设置于框架160上、镜片的侧面。其中，根据本申请的示例实施例，镜片光波导型镜片

视觉模块110用于采集卫星装配工艺的图像信息，采用机器视觉技术对检测对象进行观察和记录。参见图5，视觉模块110可以是摄像头。通讯模块120用于传输信息，例如可以采用Wifi等无线通讯。显示模块130用于将检测到的工艺缺陷的校正信息以增强现实显示的方式呈现给操作人员，帮助操作人员即使校正装配过程和装配结果，从而保证装配质量。综合处理模块140用于对视觉模块110采集的信息进行简单处理。电源模块150用于为眼镜供电，可以是锂电池等，本申请对此不作限制。

图6示出了根据本申请示例实施例的自校正系统工作流程示意图。

如图6所示，使用本申请提供的自校正系统进行卫星装配自校正的工作流程如下：

操作人员在进行卫星装配过程中，佩戴便携式佩戴终端进行操作，开始执行装配任务。

卫星装配生产线的服务器向上位机下发生产任务。

上位机通过系统管理模块将生产任务分解，从中分解出检验任务，并通过信息管理模块向便携式佩戴终端下发检验任务。检验任务一方面可以通过加工图纸等获取，例如，螺钉规格信息；另一方面可以通过技术要求等获取，例如螺钉涂胶要求、设备的热控实施要求、设备的插接要求等。

操作人员在操作过程中，便携式佩戴终端的视觉模块实时对装配操作过程进行拍照检验，采集装配过程信息。例如，采集螺钉规格信息、螺钉涂胶情况、设备的热控实施情况、设备的插接情况等。

便携式佩戴终端将采集的图片信息通过线通讯模块发送至上位机。

上位机的检验模块对采集的图片信息进行图像识别，并判断是否存在工艺缺陷。

当发现工艺缺陷时，上位机通过工艺校正子模块和增强现实子模块生成指导信息，并发送至便携式佩戴终端；便携式佩戴终端通过显示模块将指导信息向操作人员进行增强现实显示，指导操作人员修正工艺缺陷。

当未发现工艺缺陷时，当前的装配作业完成；上位机将检验模块的判断结果与采集的图像信息传递至服务器进行存储备份。

在上述工作流程中，对卫星装配用螺钉的规格进行检验时，能够通过图像识别，判断螺钉规格是否准确；如果发现螺钉规格错误，及时提醒操作人员。对卫星装配用螺钉的涂胶防松情况进行检验时，可在装配过程中全程检查螺钉是否涂胶；一旦发现未按要求涂胶则及时提醒操作人员，并可将螺钉涂胶情况拍照记录。对卫星设备的热控实施情况进行检验时，可在设备安装过程中检查设备的热控实施情况；如果发现未满足技术要求，及时提醒操作人员，并将设备的热控实施情况拍照记录。在对卫星设备安装的设备插头插接状态进行检查时，可以快速对设备插头、电缆等的插接状态进行检查；如发现插接错误，可及时提醒操作人员，并可形成设备插接状态表。

图7示出了根据本申请第三示例实施例的自校正系统组成示意图。

如图7所示，根据本申请的另一示例实施例，还提供一种自校正系统3000。自校正系统3000包括终端装置100、处理装置200和服务器300以及装配姿态测量装置400。其中，终端装置100、处理装置200和服务器300与自校正系统2000中的相同，此处不再赘述。

装配姿态测量装置400与所述处理装置200的信息管理模块230相连。卫星装配过程中，在安装太阳翼时，需要对卫星的姿态进行精确测量和姿态调整。装配姿态测量装置400可以用于测量卫星装配过程中的姿态数据，例如太阳翼各个部件的位置参数。获取卫星姿态数据后，装配姿态测量装置400将其发送至处理装置200。处理装置200中信息管理模块239接收卫星姿态数据后通过系统管理模块240将其分配至检验模块210。检验模块210对获取的卫星姿态数据进行判断；当卫星姿态数据存在缺陷时，通过校正模块220生成卫星姿态调整方案并进行增强现实处理，将其作为指导信息发送至终端装置100，通过终端装置100进行增强现实显示，以指导操作人员调整卫星装配姿态。根据申请的一些实施例，装配姿态测量装置400可以是经纬仪精测系统。

根据本申请的另一方面，还提供一种用于卫星装配的自校正方法，参见图7。该自校正方法包括以下步骤。

步骤S710，通过机器视觉采集卫星装配工艺的图像信息。例如，可以利用相机、摄像头等光学检测仪器代替人眼对检测对象进行观察，将检测结果以图像等数字信号的形式发送至图像处理模块。机器视觉技术适用于重复性的检验工作，能够有效提高检验效率。

步骤S720，基于深度学习算法对所述图像信息进行处理后，检验工艺缺陷。例如，通过图像处理，对机器视觉采集的图像信息进行处理、分析和比对，从而判断出工艺缺陷。利用深度学习算法，随着采集样本数量的不断增加，工艺缺陷的检验准确率将逐步提高。

步骤S730，根据所述工艺缺陷生成校正信息。例如，可以根据检验出的工艺缺陷，从装配工艺数据库中调取相应的正确装配工艺信息，作为校正信息。

步骤S740，对所述校正信息进行增强现实处理，生成可显示的指导信息。例如，可以通过增强现实处理对校正信息进行图像处理、虚拟信息渲染等，规划出向操作人员呈现的投影信息，生成能够进行投影显示的指导信息。

步骤S750，通过便携式佩戴终端对所述指导信息进行增强现实显示。例如，指导信息经过虚实融合显示后，通过投影模块呈现于光波导型镜片上，呈现在操作者眼前，为装配工艺校正提供及时、直观的指导。

本申请提供的用于卫星装配的自校正系统及自校正方法，将机器视觉与增强现实集成于一体，实现卫星装配过程和结果的检验和校正，由此，可以取消原有的专职检验岗位，降低人力成本、节省人力资源；通过智能化的管理，可以快速进行检验操作，并快速建立起产品与检验结果的关联，减少数据包整理的工作量从而提高效率；依托机器视觉进行检验，可以实现无疲劳检验操作，可有效避免人工检验时频繁检验操作导致的因疲劳而发生的漏检问题，提高检验覆盖性和可靠性，进而提高产品质量。此外，采用便携式佩戴终端与上位机集成的系统，解放了操作人员的双手，避免了一边操作一边用相机或平板电脑拍照造成的繁琐，进而提高了便利性。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种用于卫星装配的自校正系统，包括终端装置和处理装置，其中：

所述终端装置，包括：

视觉模块，用于通过机器视觉采集卫星装配工艺的图像信息；

通讯模块，与所述视觉模块相连，用于向所述处理装置传输所述图像信息并接收所述处理装置发送的指导信息；

显示模块，与所述通讯模块相连，用于对所述指导信息进行增强现实显示；

所述处理装置，与所述终端装置相连，包括：

信息管理模块，与所述通讯模块相连，用于接收所述终端装置传输的所述图像信息并向其发送所述指导信息；

检验模块，与所述信息管理模块相连，用于基于深度学习算法对所述图像信息进行处理，检验工艺缺陷；

校正模块，与所述检验模块相连，用于根据所述工艺缺陷生成校正信息，进行增强现实处理后形成所述指导信息。

2.根据权利要求1所述的自校正系统，其特征在于，所述装配工艺包括：

紧固件规格、紧固件防松、热控实施、设备插接中的一种或多种。

3.根据权利要求1所述的自校正系统，其特征在于，所述增强现实显示包括光学透视式增强现实显示。

4.根据权利要求3所述的自校正系统，其特征在于，所述显示模块包括：

光波导型镜片；

投影子模块，用于将所述显示信息投射至所述光波导型镜片上进行所述增强现实显示。

5.根据权利要求4所述的自校正系统，其特征在于，所述校正模块包括：

工艺校正子模块，用于根据所述工艺缺陷调取正确装配工艺，生成所述校正信息；

增强现实子模块，用于通过增强现实处理对所述校正信息进行投影规划，生成所述投影子模块能够显示的所述指导信息。

6.根据权利要求1所述的自校正系统，其特征在于，还包括：

服务器，与所述处理装置通讯，并将所述检验模块的判断结果与所述图像信息进行存储备份。

7.根据权利要求1所述的自校正系统，其特征在于，还包括：

装配姿态测量装置，与所述处理装置的信息管理模块相连，用于将测量的卫星姿态数据传输至所述处理装置，所述处理装置针对所述卫星姿态数据中存在的缺陷生成所述指导信息，并将其发送至所述终端装置进行增强现实显示。

8.根据权利要求1所述的自校正系统，其特征在于，

所述终端装置包括，便携式佩戴终端；

所述视觉模块包括，相机或摄像头。

9.根据权利要求8所述的自校正系统，其特征在于，所述便携式佩戴终端包括：

眼镜、眼罩、头盔中的一种。

10.一种用于卫星装配的自校正方法，其特征在于，包括：

通过机器视觉采集卫星装配工艺的图像信息；

基于深度学习算法对所述图像信息进行处理后，检验工艺缺陷；

根据所述工艺缺陷生成校正信息；

对所述校正信息进行增强现实处理，生成可显示的指导信息；

通过便携式佩戴终端对所述指导信息进行增强现实显示。

Images