CN104504520A - 一种基于神经网络的深空探测器自主任务规划方法 - Google Patents

Abstract

本发明涉及一种基于神经网络的深空探测器自主任务规划方法，属于深空探测技术领域。本发明方法通过建立深空探测器系统模型，定义深空探测器系统自主任务规划问题，确定自主任务规划系统的输入输出，建立神经网络模型，利用深空探测器仿真系统产生的仿真数据对神经网络进行训练，训练后的神经网络能够在给定一组输入后，得到理想的输出。本发明能在多个子系统需要协调的情况下、满足探测器实时性要求；能够快速得到规划解，弥补采用地面站控制的通讯延迟的缺点，有助于大大提高深空探测器自主任务规划的效率，满足探测器实时性要求，规划时间短、效率高，更加适合实时性要求高的深空探测器。

Description

一种基于神经网络的深空探测器自主任务规划方法

技术领域

本发明涉及一种基于神经网络的深空探测器自主任务规划方法，属于深空探测技术领域。

背景技术

在深空环境下，深空探测器根据空间环境的感知和认识及深空探测器本身的能力和状态，利用计算机软件技术、人工智能技术等，依据一段时间内的任务目标，对若干可供选择的动作及所提供的资源约束施行推理，自动地生成一组时间有序动作序列，称一个“规划”(plan)，该规划一旦执行，便可以将探测器的状态成功转移到期望的目标状态。

对于自主任务规划问题，能够在动态变化环境下快速规划是智能行为的一大能力。并且深空探测器与目标距离远、飞行时间长、所处环境动态多变，传统地面站-航天器这样的控制方法已经无法满足操作费用、实时性、通讯网络等各项要求。为达到较高的实时性要求，当前使用的方法是基于启发式的规划方法，将规划问题看作搜索问题，利用启发式函数引导搜索，从而实现快速规划的目的。目前，已有相关规划技术应用到了探索太空的项目中,如深空一号中自治远程代理系统、哈勃天文望远镜长期任务调度软件SPIKE等。随着任务量的增加，利用启发式的任务规划方法显得有所欠缺，比如在编码之前需要清楚知道系统及环境特点，采用合适的算法以及启发式函数，但是合适的启发式函数并不容易找到。此外随着任务复杂度的增加，搜索空间增大，规划速度减慢等。

神经网络作为除符号式人工智能之外另一条实现人工智能的主要途径，因具有计算并行性、学习能力强、解决复杂问题的特点受到各个领域的欢迎。目前神经网络在规划领域主要应用于机器人的路径规划。例如，Baomin Feng提出了神经网络模型用于空间机器人的鲁棒控制，而提出的ANN利用RBF处理各种不确定性。YoussefBassil利用多层感知器进行探测器的路径规划，对探测器进行导航，从而避开路面的障碍顺利达到目标。Roy Glasius等人曾利用Hopfield神经网络在静态和动态环境中为机器人选出一条合适的路径，使机器计算能力加快。

发明内容

本发明针对深空探测器自主任务规划问题,为克服现有的基于启发式的规划方法中设计启发式困难、搜索空间大、规划速度减慢等缺点，提出一种基于神经网络的深空探测器自主任务规划方法，能在多个子系统需要协调的情况下、满足探测器实时性要求。

本发明通过设计神经网络模型实现，具体实现步骤如下：

步骤1，建立深空探测器系统模型。

深空探测器系统SYS具有m个子系统:

SYS＝{sys₁,sys₂,...,sys_i,...,sys_m},(1≤i≤m)

其中sys_i表示第i个子系统。

深空探测器系统活动状态指m个子系统可能处于的状态集合，设第i个子系统的状态集合为 表示第i个子系统的n-1个可能的状态，则整个探测器系统的状态集合为S＝{S₁,S₂,...,S_i,...,S_n}。

对于给定的一个任务G_k，与之对应的目标状态为g_k，即在完成任务G_k后探测器处于的状态，且其中g_k∈S。

为了完成任务，达到目标状态，各个子系统需要采取相应的动作，那么第i个子系统能供选择的动作集合为其中x为该子系统总共能够执行的动作数，每个子系统x的值不同；表示第i个子系统可执行的第1个任务，表示第i个子系统可执行的第2个任务，表示第i个子系统可执行的第x个任务。那么整个探测器动作集合为A＝{A₁,A₂,...,A_i,...,A_m}。

给定任务目标G_k后，深空探测器系统将当前所处状态作为初始状态s₀(当前所处状态为S中的一个元素)。在自主规划过程中，每个子系统在一时间点上只执行一个动作，各个子系统间动作具有并行性，且有充足的时间执行完本子系统动作。

步骤2，根据步骤1中建立的深空探测器系统模型，定义深空探测器系统自主任务规划问题，确定自主任务规划系统的输入输出。

在对规划问题进行描述时，需要包括深空探测器的状态、可以执行的动作、状态之间的转换关系、需要完成的任务。采用经典规划理论对深空探测器自主任务规划问题进行定义。自主任务规划系统的输入是：初始状态、任务目标、领域知识。输出是：一个最佳规划解，即开始于初始状态、满足于星上的各种约束条件并能在成功执行后将深空探测器状态转移到目标状态的一个动作序列。

将深空探测器上状态转移问题Σ用一个三元组进行表示：

Σ＝(S,A,γ)

其中，S表示整个探测器系统的状态集合，A表示探测器动作集合，γ为状态转移函数，用于描述状态之间的转换关系。

那么，深空探测器上的自主任务规划问题用一个三元组表示：

P＝(Σ,s₀,g_k)

深空探测器上任务规划问题P的解是由多个深空探测器可执行的活动组成的规划序列，表示为

Π＝<π₁,π₂,...π_j,...π_h>

π_j为探测器系统执行的第j个动作序列，h指探测器系统一共需要执行h个动作序列；且其中表示第i个子系统在第j个动作序列应该执行的活动。状态转移函数如下式所示：

当规划序列的解为空时，状态不转移，仍为s₀；当规划序列的解非空，且第一个动作π₁对当前状态s₀可执行，则相继执行动作序列，直到最后的状态。

步骤3，建立神经网络模型，利用深空探测器仿真系统产生的仿真数据对神经网络进行训练，训练后的神经网络能够在给定一组输入后，得到理想的输出。步骤2中定义的任务规划问题P和动作序列π_j分别为神经网络的输入和输出。

神经网络采用三层(不含输入层)感知器模型，并利用学习率可变的动量BP(ErrorBack Propagation,误差反向传播)算法进行训练。神经网络的输入为当前需要解决的规划问题P_now＝[S_now,G_k]，其中S_now表示当前探测器各个子系统的状态集合，且 表示第i个子系统当前所处的状态。

神经网络在任务规划系统中主要根据探测器当前状态选取深空探测器下一步可执行的动作，因此神经网络的输出层输出为每个系统需执行的动作集合

$\mathrm{Output}={\mathrm{\&pi;}}_j=[a_j^1,a_j^2,...,a_j^i,...,a_j^m]---\left(2\right)$

组织具有代表性的数据进行神经网络训练，训练数据由深空探测仿真得到。当神经网络经过训练达到误差限定(即输出与期望值之间的误差)时，再用于自主任务规划系统。

步骤4，步骤3中建立的神经网络模型加入自主任务规划系统，用于动作选取。将深空探测器当前状态S_now和任务目标G_k作为神经网络的输入，经神经网络的选择，输出下一步要执行的动作。

进行第一次动作选取时，输入为深空探测器当前状态S_now＝s₀。

步骤5，对步骤4中神经网络选取的动作进行可执行判断，判断条件为选取的动作是否与上一步选取的动作相同，若相同则不可执行。若可执行，则直接得到下一步的状态，若不能执行，则要经过恢复原始状态的处理后得到新的动作，然后重新输入神经网络得到下一个新状态。

步骤6，对得到的新状态进行判断，是否达到了目标状态，若达到，则可直接输出动作序列，若没有达到，则将新状态作为神经网络输入，重复步骤4-6，直至找到合适的动作序列为止。

有益效果

本发明设计了基于神经网络的自主任务规划方法，能够快速得到规划解，弥补采用地面站控制的通讯延迟的缺点，有助于大大提高深空探测器自主任务规划的效率，满足探测器实时性要求。与基于启发式的任务规划法相比较，解决同样的任务，规划时间短、效率高，更加适合实时性要求高的深空探测器。

附图说明

图1是本发明的基于神经网络的自主任务规划方法流程图；

图2是具体实施方式中基于神经网络的自主任务规划方法(ANN)与基于启发式的自主任务规划方法(EUROPA)解决相同任务时花费的时间比较图。

具体实施方式

本发明的目的是针对目前深空探测器自主任务规划问题,提出一种基于神经网络的自主任务规划方法，是一种在多个子系统需要协调的情况下、满足探测器实时性要求的方法。

本发明通过设计神经网络模型实现，其流程如图1所示，具体实现步骤如下：

步骤1，建立深空探测器系统模型。

深空探测器具有5个子系统，分别为导航系统、推进系统、姿态系统、通信系统和相机系统。

SYS＝{sys₁,sys₂,sys₃,sys₄,sys₅}

探测器活动状态指分系统可能处于的状态，例如相机系统可能处于关闭状态，第i个系统的状态集合为则整个探测器的状态集合为S＝{S₁,S₂,S₃,S₄,S₅}。

对于给定的一个任务G_k，与之对应的目标状态为g_k，且其中g_k∈S。

为了完成任务，达到目标状态，各个系统需要采取相应的动作，那么第i个系统可供选择的动作集合为x为该系统总共能够执行的动作数，每个系统x的值是不同的，则探测器动作集合为A＝{A₁,A₂,...,A_i,...,A_m}。

给定任务目标G_k后，深空探测器各个系统需要根据当前所处状态s₀，需要采取一定的动作，但并不是所有系统都需要做出反应。例如姿态系统当前所处状态为对日定向，任务为电池充电，那么姿态系统保持当前状态即可，而不需要执行任何操作。每个系统在一时间点上只能执行一个动作，在动作执行过程中，考虑系统间动作的并行性，但是不考虑动作执行时间长短，即有充足的时间执行完动作。

步骤2，根据步骤1中建立的深空探测器系统模型，定义深空探测器系统自主任务规划问题，确定自主任务规划系统的输入输出。

在对规划问题进行描述时，需要包括深空探测器的状态、可以执行的动作、状态之间的转换关系、需要完成的任务。采用经典规划理论对深空探测器自主任务规划问题进行描述。

深空探测器上状态转移问题用一个三元组进行表示：

Σ＝(S,A,γ)

深空探测器上的任务规划问题用一个三元组表示：

P＝(Σ,s₀,g)

深空探测器上任务规划问题的解是由多个深空探测器可执行的活动组成的序列，表示为

Π＝<π₁,π₂,...π_j,...π_h>

π_j为探测器执行的第j个动作序列，且其中表示第i个子系统在第j次应该执行的活动；活动的执行最终结果状态集合包含目标集合。状态转移函数如式(1)所示，当规划序列的解π为空时，状态不转移，仍为s；当π非空，且第一个动作对当前状态可执行，则相继执行动作序列，直到最后的状态。

深空探测器自主任务规划的输入是：初始状态、任务目标、领域知识。输出是：一个合理的规划，即开始于初始状态、满足于星上的各种约束条件并能在成功执行后将深空探测器状态转移到目标状态的一个动作序列。

步骤3，建立神经网络模型，利用仿真数据对神经网络进行训练。

神经网络采用基于学习率可变的动量BP算法的三层(不含输入层)多层感知器，神经网络的输入为P_now＝[S_now,G_k]，其中S_now表示当前探测器各个分系统的状态集合，且 表示第i个分系统当前所处的状态，m表示探测器有m个子系统；G_k则表示给定的任务。

任务规划系统的输出为深空探测器可执行活动的序列，而神经网络在任务规划系统中主要根据探测器当前状态选取深空探测器下一步可执行的动作，因此神经网络的输出层输出为每个系统需执行的动作集合

$\mathrm{Output}={\mathrm{\&pi;}}_j=[a_j^1,a_j^2,...,a_j^i,...,a_j^m]---\left(2\right)$

组织具有代表性的数据进行神经网络训练，训练数据来自深空探测仿真系统产生。当神经网络经过训练达到误差限定时，再用于实际应用。

步骤4，将深空探测器当前状态和任务目标作为神经网络的输入，经神经网络的选择，输出下一步要执行的动作,。

步骤5，对神经网络选取的动作进行可执行判断，若可执行，则直接得到下一步的状态，若不能执行，则要经过恢复原始状态的处理后得到新的动作，然后才可以得到下一状态。

步骤6，对新状态进行判断，是否达到了目标状态，若达到，则可直接输出动作序列，若没有达到，则将新状态作为神经网络输入，重复步骤4-6，直至找到合适的动作序列为止。

将基于神经网络的自主任务规划方法(ANN)与基于启发式的自主任务规划方法(EUROPA)解决相同任务时花费的时间作比较，实验环境为Intel(R)Core(TM)i7-2600CPU,4.00GB RAM，在给定相同深空探测器自主规划任务和初始状态下，实验结果如图2所示，图中虚线部分表示基于启发式的自主任务规划方法(EUROPA)；实线部分表示基于神经网络的自主任务规划方法(ANN)。由图中可看出，ANN比EUROPA规划时间低两个数量级。

Claims (2)

1.一种基于神经网络的深空探测器自主任务规划方法，其特征在于：具体包括如下步骤：

步骤1，建立深空探测器系统模型；

深空探测器系统SYS具有m个子系统:

SYS＝{sys₁,sys₂,...,sys_i,...,sys_m},1≤i≤m

其中sys_i表示第i个子系统；

深空探测器系统活动状态指m个子系统可能处于的状态集合，设第i个子系统的状态集合为 表示第i个子系统的n-1个可能的状态，则整个探测器系统的状态集合为S＝{S₁,S₂,...,S_i,...,S_n}；

对于给定的一个任务G_k，与之对应的目标状态为g_k，即在完成任务G_k后探测器处于的状态，且其中g_k∈S；

第i个子系统能供选择的动作集合为其中x为该子系统总共能够执行的动作数，每个子系统x的值不同；表示第i个子系统可执行的第1个任务，表示第i个子系统可执行的第2个任务，表示第i个子系统可执行的第x个任务；那么整个探测器动作集合为A＝{A₁,A₂,...,A_i,...,A_m}；

给定任务目标G_k后，深空探测器系统将当前所处状态作为初始状态s₀；在自主规划过程中，每个子系统在一时间点上只执行一个动作，各个子系统间动作具有并行性，且有充足的时间执行完本子系统动作；

步骤2，根据步骤1中建立的深空探测器系统模型，定义深空探测器系统自主任务规划问题，确定自主任务规划系统的输入输出；

将深空探测器上状态转移问题Σ用一个三元组进行表示：

Σ＝(S,A,γ)

其中，γ为状态转移函数；

深空探测器上的自主任务规划问题用一个三元组表示：

P＝(Σ,s₀,g_k)

深空探测器上任务规划问题P的解是由多个深空探测器可执行的活动组成的规划序列，表示为

Π＝<π₁,π₂,...π_j,...π_h>

π_j为探测器系统执行的第j个动作序列，h指探测器系统一共需要执行h个动作序列；且其中表示第i个子系统在第j个动作序列应该执行的活动；状态转移函数如下式所示：

$\mathrm{\&gamma;}=\mathrm{\&gamma;}(s_0,\mathrm{\&Pi;})=\left\{\begin{array}{cc}{s}_0& ,h=0\\ \mathrm{\&gamma;}(\mathrm{\&gamma;}(s_0,{\mathrm{\&pi;}}_1),<{\mathrm{\&pi;}}_2,...,{\mathrm{\&pi;}}_h>)& ,h>0\end{array}\right.$ 且π₁对s₀可执行

当规划序列的解为空时，状态不转移，仍为s₀；当规划序列的解非空，且第一个动作π₁对当前状态s₀可执行，则相继执行动作序列，直到最后的状态；

步骤3，建立神经网络模型，利用深空探测器仿真系统产生的仿真数据对神经网络进行训练，训练后的神经网络能够在给定一组输入后，得到理想的输出；步骤2中定义的任务规划问题P和动作序列π_j分别为神经网络的输入和输出；

步骤4，步骤3中建立的神经网络模型加入自主任务规划系统，用于动作选取；将深空探测器当前状态S_now和任务目标G_k作为神经网络的输入，经神经网络的选择，输出下一步要执行的动作；

进行第一次动作选取时，输入为深空探测器当前状态S_now＝s₀；

步骤5，对步骤4中神经网络选取的动作进行可执行判断，判断条件为选取的动作是否与上一步选取的动作相同，若相同则不可执行；若可执行，则直接得到下一步的状态，若不能执行，则要经过恢复原始状态的处理后得到新的动作，然后重新输入神经网络得到下一个新状态；

步骤6，对得到的新状态进行判断，是否达到了目标状态，若达到，则可直接输出动作序列，若没有达到，则将新状态作为神经网络输入，重复步骤4-6，直至找到合适的动作序列为止。

2.根据权利要求1所述的一种基于神经网络的深空探测器自主任务规划方法，其特征在于：所述神经网络采用三层感知器模型，并利用学习率可变的动量误差反向传播算法进行训练；神经网络的输入为当前需要解决的规划问题P_now＝[S_now,G_k]，其中S_now表示当前探测器各个子系统的状态集合，且 $S_{\mathrm{now}}=[s_{\mathrm{now}}^1,s_{\mathrm{now}}^2,...,s_{\mathrm{now}}^i,...,s_{\mathrm{now}}^m],$ 表示第i个子系统当前所处的状态；

神经网络在任务规划系统中主要根据探测器当前状态选取深空探测器下一步可执行的动作，因此神经网络的输出层输出为每个系统需执行的动作集合

$\mathrm{Output}={\mathrm{\&pi;}}_j=[a_j^1,a_j^2,...,a_j^i,...,a_j^m]$

组织具有代表性的数据进行神经网络训练，训练数据由深空探测仿真得到；当神经网络经过训练达到误差限定时，再用于自主任务规划系统。