CN114638158A - 卫星仿真环境构建的方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请属于测试技术领域，公开了卫星仿真环境构建的方法、装置、计算机设备及存储介质，该方法包括，响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息，卫星仿真参数信息用于指示目标卫星的任务执行环境；基于卫星仿真参数信息，生成卫星仿真环境，卫星仿真环境为用于模拟目标卫星的任务执行环境的模型，以基于卫星仿真环境对目标卫星控制模型进行训练或测试，其中，目标卫星控制模型是基于强化学习算法构建的，用于控制目标卫星执行目标任务。这样，解决了如何生成可以与卫星控制模型进行卫星数据交互的卫星仿真环境的技术问题。

Description

卫星仿真环境构建的方法、装置、计算机设备及存储介质

技术领域

本申请涉及测试技术领域，具体而言，涉及卫星仿真环境构建的方法、装置、计算机设备及存储介质。

背景技术

在卫星控制场景中，有时会基于强化学习算法构建以及训练卫星控制模型，并通过训练好的卫星控制模型(如，卫星姿态控制模型)，控制卫星执行目标跟踪等任务。为保证卫星控制的准确性，通常需要在应用卫星控制模型之前，对卫星控制模型进行测试验证。

但是，现有技术下，在对基于强化学习算法构建的卫星控制模型进行训练或测试验证时，难以提供与上述卫星控制模型交互的环境，使得基于强化学习算法构建的卫星控制模型测试的准确度不高。

发明内容

本申请实施例的目的在于提供卫星仿真环境构建的方法、装置、计算机设备及存储介质，用以解决如何提供可以与卫星控制模型交互的卫星仿真环境的技术问题。

一方面，提供一种卫星仿真环境构建的方法，包括：

响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息，卫星仿真参数信息用于指示目标卫星的任务执行环境；

基于卫星仿真参数信息，生成卫星仿真环境，卫星仿真环境为用于模拟目标卫星的任务执行环境的模型，以基于卫星仿真环境对目标卫星控制模型进行训练或测试，其中，目标卫星控制模型是基于强化学习算法构建的，用于控制目标卫星执行目标任务。

在上述实现过程中，用户可以通过可视化界面，选择各类用于卫星仿真环境构建的模块，并通过用户选择的模块，获得卫星仿真参数信息，而不需要用户输入复杂的公式以及数据，简化了卫星交互环境生成的繁琐操作，且可以根据用户的操作，自定义生成个性化的卫星仿真环境，从而可以通过卫星仿真环境的数据交互接口，为卫星控制模型的仿真提供交互数据，提高了卫星控制模型训练以及测试的准确度，解决了传统技术下模型训练难以及验证难的问题。

一种实施方式中，卫星仿真参数信息包括以下信息中的至少一种：卫星参数信息、任务环境信息，以及任务参数信息；

卫星仿真环境是基于以下模型中的至少一种搭建的：卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型；

卫星三维仿真模型是基于卫星参数信息生成的，用于描述卫星的物理结构；

任务环境仿真模型是基于任务环境信息生成的，用于描述卫星执行任务的外界环境；

卫星任务仿真模型是基于任务参数信息生成的，用于描述卫星所需要执行的任务。

在上述实现过程中，可以根据用户的指示的各类卫星仿真参数信息，自定义卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，从而可以对卫星、卫星的任务环境以及卫星需要执行的任务进行模拟。

一种实施方式中，响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息，包括：

响应于用户针对模型生成页面的卫星模块选择操作，获得用户选择的至少一个目标卫星模块，并获取针对至少一个目标卫星模块设置的卫星参数信息；

响应于用户针对模型生成页面的环境模块选择操作，获得用户选择的至少一个目标环境模块，并获取针对至少一个目标环境模块设置的任务环境信息；

响应于用户针对模型生成页面的任务模块选择操作，获得用户选择的至少一个目标任务模块，并获取针对至少一个目标任务模块设置的任务参数信息。

一种实施方式中，基于卫星仿真参数信息，生成卫星仿真环境，包括：

基于卫星仿真参数信息中的卫星参数信息，生成卫星三维仿真模型；

基于卫星仿真参数信息中的任务环境信息，生成任务环境仿真模型；

基于卫星仿真参数信息中的任务参数信息，生成卫星任务仿真模型；

基于卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，构建卫星仿真环境。

在上述实现过程中，可以根据用户的指示，自定义卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，从而可以对卫星、卫星的任务环境以及卫星需要执行的任务进行模拟，进而可以为模型训练或者测试提供大量的交互数据。

一种实施方式中，方法还包括：

循环执行一下步骤，直至达到设定训练条件，获得训练好的目标卫星控制模型：

基于卫星仿真环境的数据交互接口，获得卫星仿真环境输出的目标卫星的任务执行状态信息；

根据任务执行状态信息是否满足设定执行条件，调整卫星控制模型的模型参数；

将任务执行状态信息输入至调整后的卫星控制模型，获得卫星控制指令；

将卫星控制指令输入至卫星仿真环境，使得卫星仿真环境基于卫星控制指令更新目标卫星的任务执行状态信息。

在上述实现过程中，卫星控制模型通过卫星仿真环境的数据交互接口与卫星仿真环境不断交互，从而可以根据卫星仿真环境输出的卫星当前的任务状态，调整模型参数，并生成用于控制卫星下一步操作的卫星控制指令，以及接收卫星仿真环境执行上述卫星控制指令之后的反馈结果，为卫星控制模型的训练提供了动态的反馈数据，可以做到实时精确反馈，提高了训练精确度。

一种实施方式中，方法还包括：

循环执行以下步骤，直至达到设定测试停止条件，获得测试结果：

基于卫星仿真环境的数据交互接口，获得卫星仿真环境输出的目标卫星的任务执行状态信息；

将任务执行状态信息输入至目标卫星控制模型，获得目标卫星控制模型输出的卫星控制指令；

将卫星控制指令输入至卫星仿真环境，使得卫星仿真环境基于卫星控制指令更新目标卫星的任务执行状态信息。

在上述实现过程中，目标卫星控制模型可以通过卫星仿真环境的数据交互接口，与卫星仿真环境进行实时交互，从而可以根据卫星仿真环境输出的卫星当前的任务状态，生成用于控制卫星下一步操作的卫星控制指令，并接收卫星仿真环境执行上述卫星控制指令之后的反馈结果，为目标卫星控制模型的测试提供了动态测试数据，可以做到实时精确反馈，提高了测试精确度。

一种实施方式中，还包括：

采用可视化的方式，基于卫星仿真环境和目标卫星控制模型之间的交互数据，展示目标卫星控制模型的仿真结果。

在上述实现过程中，可以直观的展示测试过程中控制卫星执行任务的控制仿真过程，可以简单明了的看到模型的控制效果。

一方面，提供一种卫星仿真环境构建的装置，包括：

获取单元，用于响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息，卫星仿真参数信息用于指示目标卫星的任务执行环境；

生成单元，用于基于卫星仿真参数信息，生成卫星仿真环境，卫星仿真环境为用于模拟目标卫星的任务执行环境的模型，以基于卫星仿真环境对目标卫星控制模型进行训练或测试，其中，目标卫星控制模型是基于强化学习算法构建的，用于控制目标卫星执行目标任务。

一种实施方式中，卫星仿真参数信息包括以下信息中的至少一种：卫星参数信息、任务环境信息，以及任务参数信息；

卫星仿真环境是基于以下模型中的至少一种搭建的：卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型；

卫星三维仿真模型是基于卫星参数信息生成的，用于描述卫星的物理结构；

任务环境仿真模型是基于任务环境信息生成的，用于描述卫星执行任务的外界环境；

卫星任务仿真模型是基于任务参数信息生成的，用于描述卫星所需要执行的任务。

一种实施方式中，获取单元用于：

响应于用户针对模型生成页面的卫星模块选择操作，获得用户选择的至少一个目标卫星模块，并获取针对至少一个目标卫星模块设置的卫星参数信息；

响应于用户针对模型生成页面的环境模块选择操作，获得用户选择的至少一个目标环境模块，并获取针对至少一个目标环境模块设置的任务环境信息；

响应于用户针对模型生成页面的任务模块选择操作，获得用户选择的至少一个目标任务模块，并获取针对至少一个目标任务模块设置的任务参数信息。

一种实施方式中，生成单元用于：

基于卫星仿真参数信息中的卫星参数信息，生成卫星三维仿真模型；

基于卫星仿真参数信息中的任务环境信息，生成任务环境仿真模型；

基于卫星仿真参数信息中的任务参数信息，生成卫星任务仿真模型；

基于卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，构建卫星仿真环境。

一种实施方式中，生成单元还用于：

循环执行一下步骤，直至达到设定训练条件，获得训练好的目标卫星控制模型：

基于卫星仿真环境的数据交互接口，获得卫星仿真环境输出的目标卫星的任务执行状态信息；

根据任务执行状态信息是否满足设定执行条件，调整卫星控制模型的模型参数；

将任务执行状态信息输入至调整后的卫星控制模型，获得卫星控制指令；

将卫星控制指令输入至卫星仿真环境，使得卫星仿真环境基于卫星控制指令更新目标卫星的任务执行状态信息。

一种实施方式中，生成单元还用于：

循环执行以下步骤，直至达到设定测试停止条件，获得测试结果：

基于卫星仿真环境的数据交互接口，获得卫星仿真环境输出的目标卫星的任务执行状态信息；

将任务执行状态信息输入至目标卫星控制模型，获得目标卫星控制模型输出的卫星控制指令；

将卫星控制指令输入至卫星仿真环境，使得卫星仿真环境基于卫星控制指令更新目标卫星的任务执行状态信息。

一种实施方式中，生成单元还用于：

采用可视化的方式，基于卫星仿真环境和目标卫星控制模型之间的交互数据，展示目标卫星控制模型的仿真结果。

一方面，提供了一种计算机设备，包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行如上述任一种卫星控制模型测试的各种可选实现方式中提供的方法的步骤。

一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时运行如上述任一种卫星控制模型测试的各种可选实现方式中提供的方法的步骤。

一方面，提供了一种计算机程序产品，计算机程序产品在计算机上运行时，使得计算机执行如上述任一种卫星控制模型测试的各种可选实现方式中提供的方法的步骤。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种卫星仿真环境构建的方法的实施流程图；

图2为本申请实施例提供的一种卫星仿真环境生成的方法的实施流程图；

图3为本申请实施例提供的一种单体模型的示例图；

图4为本申请实施例提供的一种T字型多体模型的示例图；

图5为本申请实施例提供的一种L字型多体模型的示例图；

图6为本申请实施例提供的一种十字型多体模型的示例图；

图7为本申请实施例提供的一种卫星控制模型训练的方法的实施流程图；

图8为本申请实施例提供的一种卫星控制模型测试的方法的实施流程图；

图9为本申请实施例提供的一种卫星仿真环境构建的装置的结构框图；

图10为本申请实施方式中一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

首先对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。

终端设备：可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统设备、个人导航设备、个人数字助理、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，终端设备能够支持任意类型的针对用户的接口(例如可穿戴设备)等。

服务器：可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。

卫星控制模型：用于控制目标卫星执行目标任务，卫星控制模型可以是基于深度强化学习算法构建的。

深度强化学习算法作为机器学习的一个分支，主要是通过智能体(agent)与环境进行交互，在交互的每一步中提供一个行为(action)，然后接收到环境反馈的观测值(observation)和奖励(reward)，通过不断的与环境交互，以此寻求最大化agent的总回报值。

传统技术中，通常采用传统的仿真平台，如仿真软件(Matlab)、卫星工具包(STK)软件以及OpenAI gym工具包等，对卫星控制模型进行训练以及测试。

由于卫星控制场景较为复杂，且在模型训练和测试过程中，需要不断通过与卫星控制模型的交互，为模型提供输出指令后的精确反馈，但是，传统的仿真平台通常仅以提供通用数据，而无法为卫星控制模型提供卫星控制模型所需要的交互环境，所以，存在卫星控制模型训练难以验证难的问题，显然，这无法实现对卫星控制模型的有效训练和测试。

为此，可以在传统的仿真平台(如，OpenAI gym)基础上进行改进，基于用户的卫星仿真参数信息，个性化构建卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，获得用于交互的卫星仿真环境，从而可以基于卫星仿真环境与卫星控制模型进行实时交互，为卫星控制模型实时提供任务执行状态信息即观测数据(如，卫星状态或任务状态的观测值)以及反馈数据(如，任务变化)。

为了解决如何提供可以与卫星控制模型交互的卫星仿真环境的技术问题，本申请实施例提供了一种卫星仿真环境构建的方法、装置、计算机设备及存储介质。

本申请的执行主体为计算机设备，可选的，计算机设备可以为终端设备，也可以为服务器，在此不作限制。

参阅图1所示，为本申请实施例提供的一种卫星仿真环境构建的方法的实施流程图，该方法的具体实施流程如下：

步骤100：响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息。

具体的，卫星仿真参数信息可以是用户输入的，也可以是用户在训练仿真参数选项中选择的。卫星仿真参数信息包括以下信息中的至少一种：卫星参数信息、任务环境信息，以及任务参数信息。

其中，卫星仿真参数信息包括卫星参数信息、任务环境信息，以及任务参数信息。卫星参数信息为用于描述卫星的物理结构的参数信息。任务环境信息为用于描述卫星执行任务的外界环境的参数信息。任务参数信息为用于描述卫星所需要执行的任务的参数信息。

例如，卫星仿真参数信息包括卫星类型、任务环境类型以及任务类型等。

实际应用中，卫星仿真参数信息可以根据实际应用场景进行设置，在此不作限制。

一种实施方式中，获得用户指示的卫星仿真参数信息时，可以采用以下方式中的至少一种：

方式1：响应于用户针对模型生成页面的卫星模块选择操作，获得用户选择的至少一个目标卫星模块，并获取针对至少一个目标卫星模块设置的卫星参数信息。

具体的，预先将具体的卫星中的各部分进行了模块化，以配置多个可供用户选择的卫星模块。每一卫星模块即为单一的功能单元，如：计算立方体、成像立方体、通信立方体、能源立方体、交换枢纽立方体以及推进立方体等。

这样，将具体的卫星中的各部分进行了模块化，使得用户可以在后续步骤中根据实际需求将卫星模块进行组合拼装，获得新颖的卫星三维仿真模型，从而可以为用户提供多结构化、自由度更高，可复用性更强的卫星模型，如，组合航天器。

方式2：响应于用户针对模型生成页面的环境模块选择操作，获得用户选择的至少一个目标环境模块，并获取针对至少一个目标环境模块设置的任务环境信息。

具体的，预先根据各种任务环境的环境影响因素配置多个环境模块，如，任务环境的影响因素可以为重力因素、光压因素以及磁场因素等。环境模块可以包括以下至少一种：重力梯度模块、大气模块、磁场模块以及太阳光压模块。

其中，重力梯度模块：可根据需要仿真的现实环境来决定仿真环境中的重力情况，可分为超重力模式、微重力模式以及无重力模式等。

大气模块：可以根据实际情况设置仿真环境中的气压，以此来实现对不同气压情况下对卫星控制(如，卫星姿态空)的影响过程。

磁场模块：用于模拟太空环境下地磁场对卫星控制过程的影响。

太阳光压模块：用于设置仿真环境中的光强程度，以模拟出太阳位置对环境的影响程度等。

传统方式中，通常需要用户输入复杂的公式，以采用公式的形式来描述卫星状态等，没有考虑外在环境的影响，而本申请实施例中，加入了环境影响因素，并将环境影响因素模块化，配置多种不同的环境模块，使得用户可以根据模型仿真需求，采用可视化的方式，进行环境模块的选择和组合，从而设置不同的任务环境。

方式3：响应于用户针对模型生成页面的任务模块选择操作，获得用户选择的至少一个目标任务模块，并获取针对至少一个目标任务模块设置的任务参数信息。

步骤101：基于卫星仿真参数信息，生成卫星仿真环境。

具体的，卫星仿真环境是基于以下模型中的至少一种搭建的：卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型。

其中，卫星三维仿真模型是基于卫星参数信息生成的，用于描述卫星的物理结构。任务环境仿真模型是基于任务环境信息生成的，用于描述卫星执行任务的外界环境。卫星任务仿真模型是基于任务参数信息生成的，用于描述卫星所需要执行的任务。

需要说明的是，卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型的构建原理，可以根据实际应用场景进行设置，例如，可以是预先设置的模型模板，也可以是用户实时编写的，在此不作限制。

一种实施方式中，卫星仿真参数信息包括卫星参数信息、任务环境信息，以及任务参数信息。参阅图2所示，为一种卫星仿真环境生成的方法的实施流程图，该方法的具体实施流程如下：

S1011：基于卫星仿真参数信息中的卫星参数信息，生成卫星三维仿真模型。

一种实施方式中，可以基于卫星参数信息，生成指定格式的卫星物理模型描述文件，并基于该卫星物理模型文件，通过渲染引擎进行仿真环境渲染，从而可以在后续步骤中，展示卫星三维仿真模型以及卫星所处的环境。

可选的，渲染引擎可以采用pybullet引擎或者Mujoco渲染引擎等。仿真环境可以为卫星仿真环境，也可以为卫星仿真环境。

实际应用中，渲染引擎可以根据实际应用场景进行设置，在此不作限制。

其中，卫星模型物理描述文件中可以包括以下信息中的至少一种：

基座(base)、连杆(link)以及关节(joint)。

这样，就可以通过卫星模型物理描述文件中的基座参数、连杆参数以及关节参数，生成卫星三维仿真模型。

可选的，指定格式可以采用以下格式中的任意一种：

统一机器人描述格式(Unified Robot Description Format，URDF)格式、标准延时格式文件(sdf-Standard Delay Format，SDF)格式、MJCF以及三维型文件格式(OBJ)。

实际应用中，指定格式可以根据实际应用场景进行设置，在此不作限制。

可选的，卫星三维仿真模型可以为单体模型或多体模型。

这样，用户就可以根据卫星的类型，直接选择所需要的卫星三维仿真模型。

一种实施方式中，单体模型由至少一个太阳能帆板等柔性机构，以及一个立方体或长方体组成。

参阅图3所示，为一种单体模型的示例图。图3中展示了携带了三个太阳能帆板的单体模型。

一种实施方式中，多体模型由组合体卫星以及至少一组动量轮组成。组合体卫星至少包括一个平衡立方体，还可以包括以下至少至少一种：计算立方体、成像立方体、通信立方体、能源立方体、交换枢纽立方体、推进立方体。

可选的，组合体卫星的组合形状可分为十字型、T型或L型，也可以为其它形状，在此不作限制。

参阅图4所示，为一种T字型多体模型的示例图。图4中展示了一个T字型多体模型。

参阅图5所示，为一种L字型多体模型的示例图。图5中展示了一个L字型多体模型。

参阅图6所示，为一种十字型多体模型的示例图。图3中展示了一个十字型多体模型。

S1012：基于卫星仿真参数信息中的任务环境信息，生成任务环境仿真模型。

具体的，任务环境仿真模型可以包括以下至少一种：重力梯度模型、大气模型、磁场模型以及太阳光压模型。

其中，重力梯度模型：可根据需要仿真的现实环境来决定仿真环境中的重力情况，可分为超重力模式、微重力模式以及无重力模式等。

大气模型：可以根据实际情况设置仿真环境中的气压，以此来实现对不同气压情况下对卫星控制(如，卫星姿态空)的影响过程。

磁场模型：用于模拟太空环境下地磁场对卫星控制过程的影响。

太阳光压模型：用于设置仿真环境中的光强程度，以模拟出太阳位置对环境的影响程度等。

实际应用中，任务环境仿真模型可以根据实际应用场景进行设置，在此不作限制。

这样，就可以根据用户指示的模型类型，个性化选择所需要的任务环境仿真模型，从而通过选择的任务环境仿真模型，对任务执行环境进行仿真。

S1013：基于卫星仿真参数信息中的任务参数信息，生成卫星任务仿真模型。

具体的，卫星任务仿真模型用于描述卫星所需要执行的任务，还可以包括卫星执行任务的应用场景。

可选的，卫星任务仿真模型可以包括以下至少一种：稳定控制模型，跟踪控制模型以及大角度机动控制模型。

其中，稳定控制模型：控制卫星单体模型实现指定角速度稳定转动或进行速度阻尼等。

跟踪控制模型：设置卫星需要执行的任务为控制单体模型或多体模型的卫星实现对日(或对地)捕获以及对日(或对地)定向的过程。

大角度机动控制模型：设置卫星需要执行的任务为控制单体模型或多体模型的卫星对地定向后转变成对日定向的过程，首先，完成对三轴方向的扫描，然后对定位目标的捕获，最后完成对定位目标的跟踪。

实际应用中，卫星任务仿真模型可以根据实际应用场景进行设置，在此不作限制。

这样，用户就可以根据任务类型，个性化选择所需要的卫星任务仿真模型，从而可以在后续的步骤中，通过卫星任务仿真模型模拟卫星的目标任务。

S1014：基于卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，构建卫星仿真环境。

进一步的，在生成卫星仿真环境时，还采用自定义的方式，卫星仿真环境构建的数据交互接口。

一种实施方式中，基于gym.Env的派生类，卫星仿真环境构建的数据交互接口。

具体的，生成数据交互接口时，可以采用以下函数：构造初始化函数_init_reset函数以及step函数。

其中，构造初始化函数_init_用于定义智能体(agent)(如，卫星)的动作空间与状态空间，为离散的还是连续的，以及空间活动范围。

reset函数：用于重置仿真环境，并返回重启后agent的初始状态(state)。

step函数用于实现agent与环境的一次交互，并返回交互后的四元组：state、reward、done、info。

本申请实施例中，就可以生成包括卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型的卫星仿真环境，并根据用户的需求，自定义数据交互接口。从而可以通过卫星仿真环境提供卫星在任务执行环境中的初始的任务执行状态(如，卫星的初始位置和初始姿态)，还可以通过数据交互接口，向卫星模型提供卫星执行卫星控制指令后的反馈即任务状态变化(如，卫星的位置变化以及姿态变化)，以及可以通过数据交互接口获得卫星控制模型下发的卫星控制指令，并基于卫星控制指令模拟控制卫星完成目标任务。

一种实施方式中，基于卫星仿真环境，对卫星控制模型进行训练，获得训练好的目标卫星控制模型。其中，卫星控制模型用于控制目标卫星执行任务，即可以基于目标卫星当前的任务执行状态信息，向目标卫星下发卫星控制指令，使得目标卫星一步步去完成目标任务。

参阅图7所示，为本申请实施例提供的一种卫星控制模型训练的方法的实施流程图，该方法的具体实施流程如下：

步骤700：基于卫星仿真环境的数据交互接口，获得卫星仿真环境输出的目标卫星的任务执行状态信息。

具体的，通过卫星仿真环境的数据交互接口，建立卫星控制模型与卫星仿真环境之间的通信连接，从而可以通过卫星仿真环境为卫星控制模型实时提供变化的模型训练数据。

其中，任务执行状态信息可以包括：卫星在任务执行环境中的初始的任务执行状态(如，卫星的初始位置和初始姿态)，还可以包括卫星执行卫星控制指令后的任务状态变化(如，卫星的位置变化以及姿态变化)。

步骤701：根据任务执行状态信息是否满足设定执行条件，调整卫星控制模型的模型参数。

具体的，设定执行条件可以根据实际应用场景进行设置，如，目标任务为跟踪设定目标，若确定执行卫星控制指令后，可以实现跟踪设定目标的任务，则确定满足设定执行条件，不调整卫星控制模型，反之，则确定不满足设定执行条件，调整卫星控制模型的模型参数。

步骤702：将任务执行状态信息输入至调整后的卫星控制模型，获得卫星控制指令。

具体的，卫星控制模型用于基于卫星当前的任务执行状态信息，输出卫星控制指令，以指示卫星的下一步动作。

步骤703：将卫星控制指令输入至卫星仿真环境。

具体的，卫星仿真环境通过数据交互接口接收到卫星控制指令之后，基于卫星控制指令更新目标卫星的任务执行状态信息。

这样，就可以通过卫星仿真环境为卫星控制模型提供模型训练数据，实现对卫星控制模型训练。

步骤704：判断是否达到设定训练条件，若是，则执行步骤705，否则，执行步骤700。

需要说明的是，设定训练条件可以根据实际应用场景进行设置，如，模型训练的次数达到设定次数、接收到用户的训练停止指示、卫星的任务完成时间低于设定时间，以及卫星的任务执行的准确度满足设定阈值等，在此不作限制。

时间应用中，设定训练条件、设定次数、设定时间以及设定阈值，均可以根据实际应用场景进行设置，在此不作限制。

步骤705：终止模型训练流程，获得训练好的目标卫星控制模型。

进一步的，还可以在训练卫星控制模型的过程中，采用文字、数值或者图标的方式，基于交互数据展示卫星控制模型的训练过程，从而使得用户可以监控模型训练过程。

传统的方式中，通常无法为基于强化学习算法的卫星控制模型提供用于训练的交互环境，即无法通过数据交互接口获得卫星在任务执行环境(如，太空)中的任务执行状态数据(如，卫星在太空中的姿态变化数据)，而本申请实施例中，用户可以自定义生成个性化的卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，以模拟不同类型的卫星在不同的外界环境中执行不同的任务的过程，并基于模拟的初始的状态数据以及反馈的状态变化数据，与卫星控制模型进行交互，实现对卫星控制模型的训练，解决了卫星控制模型训练难的问题，并可以监控模型训练过程。

在获得训练好的目标卫星控制模型之后，就可以对目标卫星控制模型进行测试。

一种实施方式中，还可以根据测试需求生成卫星仿真环境，并根据卫星仿真环境，进行卫星控制模型测试。

参阅图8所示，为本申请实施例提供的一种卫星控制模型测试的方法的实施流程图，该方法的具体实施流程如下：

步骤800：响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息。

本申请实施例中，可以采用与模型训练时相同的卫星仿真参数信息，，也可以根据用户的实际测试需求个性化设置卫星仿真参数信息，在此不作限制。

步骤801：基于卫星仿真参数信息，生成卫星仿真环境。

步骤802：基于卫星仿真环境，对目标卫星控制模型进行测试。

具体的，目标卫星控制模型是基于强化学习算法构建的，用于控制目标卫星执行目标任务。

一种实施方式中，测试目标卫星控制模型时，可以循环执行以下步骤，直至达到设定测试停止条件：

S8021：基于卫星仿真环境的数据交互接口，获得卫星仿真环境输出的目标卫星的任务执行状态信息。

具体的，在搭建卫星仿真环境时，还基于与生成卫星仿真环境的数据交互接口相似的原理，生成卫星仿真环境的数据交互接口，在此不做赘述。

这样，就可以通过卫星仿真环境的数据交互接口建立卫星仿真环境和目标卫星控制模型之间的通信连接，进而卫星仿真环境通过数据交互接口为目标卫星控制模型提供测试数据。

S8022：将任务执行状态信息输入至目标卫星控制模型，获得目标卫星控制模型输出的卫星控制指令。

S8023：基于数据交互接口，将卫星控制指令输入至卫星仿真环境。

具体的，卫星仿真环境基于数据交互接口接收卫星控制指令，并基于卫星控制指令更新目标卫星的任务执行状态信息。

进一步的，还可以在模型测试的过程中，基于卫星仿真环境和目标卫星控制模型之间的交互数据，展示模型测试过程。

其中，仿真结果至少包括目标卫星执行目标任务的执行过程。

可选的，可以采用文字、数值或者可视化的动态/静态图像等方式，展示模型测试过程。

例如，可以采用图像、表格、二维图像以及三维图像等方式中的至少一种动态展示目标卫星执行目标任务的过程。

一种实施方式中，在模型训练过程中，不对仿真环境进行画面渲染，仅展示通过数据交互接口获得的交互数据，以减少耗费的时间成本以及资源成本。在模型测试过程中，采用二维或三维的动态可视化场景的方式，基于卫星仿真环境和目标卫星控制模型之间的交互数据，将模型测试过程渲染展示，以展示目标卫星控制模型的仿真结果，以使得用户可以直观的了解到模型测试过程。

传统的强化学习姿态控制仿真环境的建立，需要开发人员对卫星的动力学模型有深入的了解，并只以公式建模的方式确立，建立后的仿真环境只能进行简单的数据交互，无法进行画面展示。而本申请实施例中可以提供实时的环境渲染，展示出强化学习算法对模型测试以及训练的执行过程。

本申请实施例中，根据用户的指示，自定义生成了个性化的卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，进而生成了卫星仿真环境，以模拟不同类型的卫星在不同的外界环境中执行不同的任务的过程，并基于卫星仿真环境与卫星控制模型之间的交互接口，为卫星控制模型训练和测试提供了交互数据，解决了卫星控制模型训练难以及测试难的问题，并可以采用可视化的方式展示模型训练和测试过程，解决了传统技术中难以可视化展示模型仿真过程的问题。

基于同一发明构思，本申请实施例中还提供了一种卫星仿真环境构建的装置，由于上述装置及设备解决问题的原理与一种卫星仿真环境构建的方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图9所示，其为本申请实施例提供的一种卫星仿真环境构建的装置的结构示意图，包括：

获取单元901，用于响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息，卫星仿真参数信息用于指示目标卫星的任务执行环境；

生成单元902，用于基于卫星仿真参数信息，生成卫星仿真环境，卫星仿真环境为用于模拟目标卫星的任务执行环境的模型，以基于卫星仿真环境对目标卫星控制模型进行训练或测试，其中，目标卫星控制模型是基于强化学习算法构建的，用于控制目标卫星执行目标任务。

一种实施方式中，卫星仿真参数信息包括以下信息中的至少一种：卫星参数信息、任务环境信息，以及任务参数信息；

卫星仿真环境是基于以下模型中的至少一种搭建的：卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型；

卫星三维仿真模型是基于卫星参数信息生成的，用于描述卫星的物理结构；

任务环境仿真模型是基于任务环境信息生成的，用于描述卫星执行任务的外界环境；

卫星任务仿真模型是基于任务参数信息生成的，用于描述卫星所需要执行的任务。

一种实施方式中，获取单元901用于：

响应于用户针对模型生成页面的卫星模块选择操作，获得用户选择的至少一个目标卫星模块，并获取针对至少一个目标卫星模块设置的卫星参数信息；

响应于用户针对模型生成页面的环境模块选择操作，获得用户选择的至少一个目标环境模块，并获取针对至少一个目标环境模块设置的任务环境信息；

响应于用户针对模型生成页面的任务模块选择操作，获得用户选择的至少一个目标任务模块，并获取针对至少一个目标任务模块设置的任务参数信息。

一种实施方式中，生成单元902用于：

基于卫星仿真参数信息中的卫星参数信息，生成卫星三维仿真模型；

基于卫星仿真参数信息中的任务环境信息，生成任务环境仿真模型；

基于卫星仿真参数信息中的任务参数信息，生成卫星任务仿真模型；

基于卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型，构建卫星仿真环境。

一种实施方式中，生成单元902还用于：

循环执行一下步骤，直至达到设定训练条件，获得训练好的目标卫星控制模型：

基于卫星仿真环境的数据交互接口，获得卫星仿真环境输出的目标卫星的任务执行状态信息；

根据任务执行状态信息是否满足设定执行条件，调整卫星控制模型的模型参数；

将任务执行状态信息输入至调整后的卫星控制模型，获得卫星控制指令；

将卫星控制指令输入至卫星仿真环境，使得卫星仿真环境基于卫星控制指令更新目标卫星的任务执行状态信息。

一种实施方式中，生成单元902还用于：

循环执行以下步骤，直至达到设定测试停止条件，获得测试结果：

基于卫星仿真环境的数据交互接口，获得卫星仿真环境输出的目标卫星的任务执行状态信息；

将任务执行状态信息输入至目标卫星控制模型，获得目标卫星控制模型输出的卫星控制指令；

将卫星控制指令输入至卫星仿真环境，使得卫星仿真环境基于卫星控制指令更新目标卫星的任务执行状态信息。

一种实施方式中，生成单元902还用于：

采用可视化的方式，基于卫星仿真环境和目标卫星控制模型之间的交互数据，展示目标卫星控制模型的仿真结果。

图10示出了一种计算机设备1000的结构示意图。参阅图10所示，计算机设备1000包括：处理器1010以及存储器1020，可选的，还可以包括电源1030、显示单元1040、输入单元1050。

处理器1010是计算机设备1000的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器1020内的软件程序和/或数据，执行计算机设备1000的各种功能，从而对计算机设备1000进行整体监控。

本申请实施例中，处理器1010调用存储器1020中存储的计算机程序时执行上述实施例中的各个步骤。

可选的，处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、各种应用等；存储数据区可存储根据计算机设备1000的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。

计算机设备1000还包括给各个部件供电的电源1030(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及计算机设备1000的各种菜单等，本发明实施例中主要用于显示计算机设备1000中各应用的显示界面以及显示界面中显示的文本、图片等卫星。显示单元1040可以包括显示面板1041。显示面板1041可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode，OLED)等形式来配置。

输入单元1050可用于接收用户输入的数字或字符等信息。输入单元1050可包括触控面板1051以及其他输入设备1052。其中，触控面板1051，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板1051上或在触控面板1051附近的操作)。

具体的，触控面板1051可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器1010，并接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1051。其他输入设备1052可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

当然，触控面板1051可覆盖显示面板1041，当触控面板1051检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，触控面板1051与显示面板1041是作为两个独立的部件来实现计算机设备1000的输入和输出功能，但是在某些实施例中，可以将触控面板1051与显示面板1041集成而实现计算机设备1000的输入和输出功能。

计算机设备1000还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述计算机设备1000还可以包括摄像头等其它部件，由于这些部件不是本申请实施例中重点使用的部件，因此，在图10中没有示出，且不再详述。

本领域技术人员可以理解，图10仅仅是计算机设备的举例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

本申请实施例中，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得通信设备可以执行上述实施例中的各个步骤。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种卫星仿真环境构建的方法，其特征在于，包括：

响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息，所述卫星仿真参数信息用于指示目标卫星的任务执行环境；

基于所述卫星仿真参数信息，生成卫星仿真环境，所述卫星仿真环境为用于模拟所述目标卫星的任务执行环境的模型，以基于所述卫星仿真环境对目标卫星控制模型进行训练或测试，其中，所述目标卫星控制模型是基于强化学习算法构建的，用于控制目标卫星执行目标任务。

2.如权利要求1所述的方法，其特征在于，所述卫星仿真参数信息包括以下信息中的至少一种：卫星参数信息、任务环境信息，以及任务参数信息；

所述卫星仿真环境是基于以下模型中的至少一种搭建的：卫星三维仿真模型、任务环境仿真模型以及卫星任务仿真模型；

所述卫星三维仿真模型是基于所述卫星参数信息生成的，用于描述卫星的物理结构；

所述任务环境仿真模型是基于所述任务环境信息生成的，用于描述卫星执行任务的外界环境；

所述卫星任务仿真模型是基于所述任务参数信息生成的，用于描述卫星所需要执行的任务。

3.如权利要求2所述的方法，其特征在于，所述响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息，包括：

响应于用户针对所述模型生成页面的卫星模块选择操作，获得用户选择的至少一个目标卫星模块，并获取针对所述至少一个目标卫星模块设置的卫星参数信息；

响应于用户针对所述模型生成页面的环境模块选择操作，获得用户选择的至少一个目标环境模块，并获取针对所述至少一个目标环境模块设置的任务环境信息；

响应于用户针对所述模型生成页面的任务模块选择操作，获得用户选择的至少一个目标任务模块，并获取针对所述至少一个目标任务模块设置的任务参数信息。

4.如权利要求2所述的方法，其特征在于，所述基于所述卫星仿真参数信息，生成卫星仿真环境，包括：

基于所述卫星仿真参数信息中的卫星参数信息，生成卫星三维仿真模型；

基于所述卫星仿真参数信息中的任务环境信息，生成任务环境仿真模型；

基于所述卫星仿真参数信息中的任务参数信息，生成卫星任务仿真模型；

基于所述卫星三维仿真模型、所述任务环境仿真模型以及所述卫星任务仿真模型，构建所述卫星仿真环境。

5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

循环执行一下步骤，直至达到设定训练条件，获得训练好的目标卫星控制模型：

基于所述卫星仿真环境的数据交互接口，获得所述卫星仿真环境输出的所述目标卫星的任务执行状态信息；

根据所述任务执行状态信息是否满足设定执行条件，调整卫星控制模型的模型参数；

将所述任务执行状态信息输入至调整后的卫星控制模型，获得卫星控制指令；

将所述卫星控制指令输入至所述卫星仿真环境，使得所述卫星仿真环境基于所述卫星控制指令更新所述目标卫星的任务执行状态信息。

6.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

循环执行以下步骤，直至达到设定测试停止条件，获得测试结果：

基于所述卫星仿真环境的数据交互接口，获得所述卫星仿真环境输出的所述目标卫星的任务执行状态信息；

将所述任务执行状态信息输入至所述目标卫星控制模型，获得所述目标卫星控制模型输出的卫星控制指令；

将所述卫星控制指令输入至所述卫星仿真环境，使得所述卫星仿真环境基于所述卫星控制指令更新所述目标卫星的任务执行状态信息。

7.如权利要求6所述的方法，其特征在于，还包括：

采用可视化的方式，基于所述卫星仿真环境和所述目标卫星控制模型之间的交互数据，展示所述目标卫星控制模型的仿真结果。

8.一种卫星仿真环境构建的装置，其特征在于，包括：

获取单元，用于响应于用户针对模型生成页面的模块选择操作，获得用户指示的卫星仿真参数信息，所述卫星仿真参数信息用于指示目标卫星的任务执行环境；

生成单元，用于基于所述卫星仿真参数信息，生成卫星仿真环境，所述卫星仿真环境为用于模拟所述目标卫星的任务执行环境的模型，以基于所述卫星仿真环境对目标卫星控制模型进行训练或测试，其中，所述目标卫星控制模型是基于强化学习算法构建的，用于控制目标卫星执行目标任务。

9.一种计算机设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述方法。

Images