CN117036661B - 一种空间目标姿态识别神经网络的在线实时性能评估方法 - Google Patents

Abstract

本发明公开了本发明所述的一种空间目标姿态识别神经网络的在线实时性能评估方法，方法面向对深度神经网络等智能算法的精度和性能进行在线实时评估的需求，针对网络训练过程中未接触过真实数据、在轨服务任务中获取的真实图像数量较少、真实图像没有相应的真实姿态标签等困难，实现了对网络性能的可靠评估。本发明的主要特点是使用图像随机变换、输出结果差分、自适应权重调整等创新性技术手段，通过将理论差分值与输出的真实差分值进行比较并考虑相应的影响权重，实现了在特定环境下对神经网络工作性能的合理评估。

Description

一种空间目标姿态识别神经网络的在线实时性能评估方法

技术领域

本发明属于航天领域的在轨服务技术领域，特别涉及一种空间目标姿态识别神经网络的在线实时性能评估方法。

背景技术

随着人类航天探索技术水平的提高以及社会经济需求的扩张，空间中运行的航天器数目正在逐年增加，导致空间环境日益拥挤，对失效航天器或空间碎片进行在轨服务的需求也就日益增加，包括航天器的燃料加注、故障航天器的维修、空间碎片的移除等。在轨服务的对象一般为故障、失效的航天器或空间碎片等，这些目标本身没有姿态稳定能力，在空间干扰力矩和本体惯性的作用下一般处于失控翻滚状态。对这类失控目标进行维修、捕获、移除等操作的前提是对其相对位置和姿态进行准确的测量，以确保在服务卫星对其进行接近和接触的过程中不会由于目标的翻滚运动而受到碰撞和损害。

在非接触的情形下对空间翻滚目标的姿态进行识别，可以使用由激光雷达测得的深度信息或由相机获得的图像信息来实现。其中，相机设备的技术成熟、成本低、耗电量小、可靠性高，因此在非合作目标姿态识别任务中得到了更广泛的应用。近年来，随着人工智能技术的快速发展，图像识别的准确率日益提高，以深度卷积神经网络为代表的智能图像识别方法在空间智能识别任务中日益成为经济可靠的最佳解决方案。

深度卷积神经网络需要使用大量的数据进行训练才能达到理想的效果，且训练数据与实际工作的输入数据越相似，实际的工作性能就越好。

然而，对于在轨服务任务来说，其服务目标一般是未知的，且在空间环境中很难获得足够量的实景照片，因此大部分的训练数据都是在地面实验系统拍摄或由数字仿真软件来生成。这意味着这类深度神经网络在实际应用之前从来没有接触过真实的空间目标照片，因此需要在实际任务中实时地对算法性能进行在线评估，以保障后续操作的安全性。然而，由于实际任务中无法直接获取非合作目标的真实姿态，因此很难对神经网络的输出数据的精度做出合理的评价。此外，再任务中相机能够获取的照片数目也是有限的，且大多为同一角度的拍摄结果，因此很难对神经网络的综合性能进行客观的评判。

综上所述，目前急需发展一种能够在不了解目标真实姿态的情况下，只通过少量的输入图片以及神经网络的输出数据来对网络输出结果进行在线快速性能评估的方法。

发明内容

发明目的：为了克服以上不足，本发明的目的是提供一种空间目标姿态识别神经网络的在线实时性能评估方法，使用图像随机变换、输出结果差分、自适应权重调整等创新性技术手段，实现对网络性能的可靠评估，很好的解决了针对网络训练过程中未接触过真实数据、在轨服务任务中获取的真实图像数量较少、真实图像没有相应的真实姿态标签等困难影响航天器再轨服务实时性能评估的问题。

技术方案：为了实现上述目的，本发明提供了一种空间目标姿态识别神经网络的在线实时性能评估方法，具体的评估方法如下：

1)：相机获取原始图片，即通过相机获取目标的原始图像并存储在服务卫星的内存中；

2)：按照真实目标特征参数的分布概率将图像随机旋转变换，即将原始图片旋转一定的角度α，由此产生的旋转四元数偏移值；

3)：按照真实目标特征参数的分布概率将图像随机明度变换，即步骤2)中获得的图像的明度提高β倍；

4)：按照真实目标特征参数的分布概率将图像随机缩放变换，即将步骤3)获得的图像随机放大c倍，其中c为随机生成的变量，在生成时服从标准差为σ_c的正态分布；

5)：将图像输入待评估网络，即将步骤1)得到的原始图像与步骤4)得到的变换后的图像分别输入待评估的神经网络，得到原始图像的目标姿态四元数q₀与变换后的目标姿态四元数q_t；

6)：输出结果进行差分计算，获得误差估计值，根据步骤5)中得出的结果求取原始图像对应的输出四元数与变换后图像对应的四元数的差值Δq′；

7)：计算自适应权重系数；

8)：计算误差评分，即将步骤6)与步骤7)得到的结果相乘得到本次性能评估结果的评分；

9)：将步骤1)至步骤8)重复N次，并判断是否达到需求次数，如果次数达到，则求取N次结果的平均值，输出最终评估结果，最终得到待评估的神经网络在给定图片及目标状态附近的综合精度；

若未达到次数，则重复步骤1)至步骤8)。

本发明中所述步骤2)中将原始图片旋转一定的角度α，由此产生的旋转四元数偏移值具体为：

其中，α为随机生成的变量，服从标准差为σ_α的正态分布；

标准差σ_α的值越大，则意味着评估过程中对神经网络的通用性能更看重；

反之，σ_α的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重。

本发明中在步骤2)中在极端情况下，可令α服从0～360°区间内的均匀分布，此时对应着σ_α→∞。

本发明中所述步骤3)中将步骤2)中获得的图像的明度提高β倍，其具体方法为对于图像的各通道亮度G进行如下变换：

其中，β为随机生成的变量，服从标准差为σ_β的正态分布，且满足-1≤β≤1，当生成的β值超出以上限定范围时，需要重新进行取值；

标准差σ_β的值越大，则意味着评估过程中对神经网络的通用性能更看重；反之，σ_β的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重；在极端情况下，可令β服从-1～1区间内的均匀分布，该步骤不会对旋转四元数Δq造成影响。

本发明中所述步骤4)中需要注意的是由于服务卫星与服务目标之间距离的限制，因此缩放比例c不能无限大或无限接近于零；

假设服务卫星与目标之间的最大距离为x_max，最小距离为x_min，当前图片测量时两者之间的距离为x_c，

则缩放比例c的取值范围为

当生成的随机值超过以上范围时，需要重新生成c的值；

标准差σ_c的值越大，则意味着评估过程中对神经网络的通用性能更看重；反之，σ_c的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重。

本发明中所述步骤4)中在极端情况下，可令c服从区间内的均匀分布，该步骤不会对旋转四元数Δq造成影响。

本发明中所述步骤6)中根据步骤5)中得出的结果求取原始图像对应的输出四元数与变换后图像对应的四元数的差值Δq′，具体计算方式如下：

其中，符号表示四元数乘法运算，/>表示q_t的共轭四元数；

在理想情况下，误差四元数满足Δq′＝Δq，而实际中两者之间存在差异，其差异的大小可以反映神经网络的输出误差，定义差异四元数为

使用差异四元数q_ε所对应的最小旋转角度ε可以表征网络输出误差的大小；

设q_ε的标量部分为q_ε,0，则其对应的最小旋转角度的计算方法为

ε＝2arccos(q_ε，0) (5)。

本发明中所述步骤7)中计算自适应权重系数具体过程如下：

由于以上变换均按照真实目标特征参数的分布概率将图像进行，因此在衡量单次输出结果的误差影响权重时也要考虑旋转角度、明度变化比率以及缩放比例的影响；

基于正态分布的概率密度分布函数的定义，设定以上第六步计算的网络误差ε所对应的影响权重为

此处使用自适应权重计算方法(即系数K，由上文公式6给出)计算每次变换对输出精度评估的影响权重。

本发明中所述步骤8)中计算误差评分的公式具体如下：

d＝εK。

上述技术方案可以看出，本发明具有如下有益效果：

1、本发明所述的一种空间目标姿态识别神经网络的在线实时性能评估方法，在使用相机获得原始观测图片后，针对在轨服务的任务类型和观测需求，按照特定的概率依次对图片进行旋转、对称反转和缩放操作，然后利用相机坐标系转换法则计算变换后的图像与原图像所对应的目标姿态的理论差分四元数，并使用自适应权重计算方法计算每次变换对输出精度评估的影响权重，然后将变换前后的图片分别输入待评估的神经网络，得到输出结果后对输出姿态进行差分计算，通过将理论差分值与输出的真实差分值进行比较并乘以相应的影响权重，即可对单次变换的输出性能进行评估，重复以上步骤并求取多次结果的加权平均值，即对该神经网络在当前环境下的性能进行合理可靠的评价，能够有效的提高其数据的精准性，很好的解决在网络训练过程中未接触过真实数据、在轨服务任务中获取的真实图像数量较少、真实图像没有相应的真实姿态标签等困难影响航天器在柜服务在线实时性能评估难的问题。

2、本发明所述的空间目标姿态识别神经网络的在线实时性能评估方法面向对深度神经网络等智能算法的精度和性能进行在线实时评估的需求，针对网络训练过程中未接触过真实数据、在轨服务任务中获取的真实图像数量较少、真实图像没有相应的真实姿态标签等困难，实现了对网络性能的可靠评估。本发明的主要特点是使用图像随机变换、输出结果差分、自适应权重调整等创新性技术手段，通过将理论差分值与输出的真实差分值进行比较并考虑相应的影响权重，实现了在特定环境下对神经网络工作性能的合理评估。

附图说明

图1为本发明所述的空间目标姿态识别神经网络的在线实时性能评估方法的结构示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

实施例

如图所示的一种空间目标姿态识别神经网络的在线实时性能评估方法，具体的评估方法如下：

1)：相机获取原始图片，即通过相机获取目标的原始图像并存储在服务卫星的内存中；

2)：按照真实目标特征参数的分布概率将图像进行随机旋转变换，即将原始图片旋转一定的角度α，由此产生的旋转四元数偏移值；

3)：按照真实目标特征参数的分布概率将图像进行随机明度变换，即步骤2)中获得的图像的明度提高β倍；

4)：按照真实目标特征参数的分布概率将图像随机缩放变换，即将步骤3)获得的图像随机放大c倍，其中c为随机生成的变量，在生成时服从标准差为σ_c的正态分布；

5)：将图像输入待评估网络，即将步骤1)得到的原始图像与步骤4)得到的变换后的图像分别输入待评估的神经网络，由神经网络输出得到原始图像的目标姿态四元数与变换后的目标姿态四元数q_t；

6)：输出结果进行差分计算，获得误差估计值，根据步骤5)中得出的结果求取原始图像对应的输出四元数与变换后图像对应的四元数的差值Δq′；

7)：计算自适应权重系数；

8)：计算误差评分，即将步骤6)与步骤7)得到的结果相乘得到本次性能评估结果的评分；

9)：将步骤1)至步骤8)重复N次，并判断是否达到需求次数，如果达到，则求取N次结果的平均值，输出最终评估结果，最终得到待评估的神经网络在给定图片及目标状态附近的综合精度；

若未达到次数，则重复步骤1)至步骤8)。

需要说明的是，在步骤2)中原始图片不仅能够进行旋转，还能够进行对称反转和缩放操作。

本实施例中所述步骤2)中将原始图片旋转一定的角度α，由此产生的旋转四元数偏移值具体为：

其中，α为随机生成的变量，服从标准差为σ_α的正态分布；

标准差σ_α的值越大，则意味着评估过程中对神经网络的通用性能更看重；

反之，σ_α的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重。

本实施例中在步骤2)中在极端情况下，可令α服从0～360°区间内的均匀分布，此时对应着σ_α→∞。

本实施例中所述步骤3)中将步骤2)中获得的图像的明度提高β倍，其具体方法为对于图像的各通道亮度G进行如下变换：

其中，β为随机生成的变量，服从标准差为σ_β的正态分布，且满足-1≤β≤1，当生成的β值超出以上限定范围时，需要重新进行取值；

标准差σ_β的值越大，则意味着评估过程中对神经网络的通用性能更看重；反之，σ_β的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重；在极端情况下，可令β服从-1～1区间内的均匀分布。需要说明的是，该步骤不会对旋转四元数Δq造成影响。

本实施例中所述步骤4)中需要注意的是由于服务卫星与服务目标之间距离的限制，因此缩放比例c不能无限大或无限接近于零；

假设服务卫星与目标之间的最大距离为x_max，最小距离为x_min，当前图片测量时两者之间的距离为x_c，

则缩放比例c的取值范围为

当生成的随机值超过以上范围时，需要重新生成c的值；

标准差σ_c的值越大，则意味着评估过程中对神经网络的通用性能更看重；反之，σ_c的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重；在极端情况下，可令c服从区间内的均匀分布。需要说明的是该步骤不会对旋转四元数Δq造成影响。

本实施例中所述步骤6)中根据步骤5)中得出的结果求取原始图像对应的输出四元数与变换后图像对应的四元数的差值Δq′，具体计算方式如下：

其中，符号表示四元数乘法运算，q_t ^-1表示q_t的共轭四元数；

在理想情况下，误差四元数满足Δq′＝Δq，而实际中两者之间存在差异，其差异的大小可以反映神经网络的输出误差，定义差异四元数为

使用差异四元数q_ε所对应的最小旋转角度ε可以表征网络输出误差的大小；设q_ε的标量部分为q_ε,0，则其对应的最小旋转角度的计算方法为

ε＝2arccos(q_ε，0) (11)。

本实施例中所述步骤7)中计算自适应权重系数具体过程如下：由于以上变换均按照真实目标特征参数的分布概率将图像进行，因此在衡量单次输出结果的误差影响权重时也要考虑旋转角度、明度变化比率以及缩放比例的影响；

基于正态分布的概率密度分布函数的定义，设定以上第六步计算的网络误差ε所对应的影响权重为

本实施例中所述步骤8)中计算误差评分的公式具体如下：

d＝εK。

需要注意的是，在第一步获取图片时，若样本数量较少或观测频率较低，可以使用与之前相同的图片进行重复操作，当重复图片的数目相对于整体步骤的重复次数较少时不会对评估结果造成影响，但是若重复图片所占比例过大会导致对神经网络的性能评估结果虚假地偏优。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (7)

1.一种空间目标姿态识别神经网络的在线实时性能评估方法，其特征在于：具体的评估方法如下：

1)：相机获取原始图片，即通过相机获取目标的原始图像并存储在服务卫星的内存中；

2)：按照真实目标特征参数的分布概率将图像随机旋转变换，即将原始图片旋转一定的角度α，由此产生的旋转四元数偏移值；

3)：按照真实目标特征参数的分布概率将图像随机明度变换，即步骤2)中获得的图像的明度提高β倍；

4)：按照真实目标特征参数的分布概率将图像随机缩放变换，即将步骤3)获得的图像随机放大c倍，其中c为随机生成的变量，在生成时服从标准差为σ_c的正态分布；

5)：将图像输入待评估网络，即将步骤1)得到的原始图像与步骤4)得到的变换后的图像分别输入待评估的神经网络，得到原始图像的目标姿态四元数q₀与变换后的目标姿态四元数q_t；

6)：输出结果进行差分计算，获得误差估计值，根据步骤5)中得出的结果求取原始图像对应的输出四元数q₀与变换后图像对应的四元数的差值Δq′；

7)：计算自适应权重系数；

8)：计算误差评分，即将步骤6)与步骤7)得到的结果相乘得到本次性能评估结果的评分；

9)：将步骤1)至步骤8)重复N次，并判断是否达到需求次数，如果达到，则求取N次结果的平均值，输出最终评估结果，最终得到待评估的神经网络在给定图片及目标状态附近的综合精度；

若未达到次数，则重复步骤1)至步骤8)；

所述步骤2)中将原始图片旋转一定的角度α，由此产生的旋转四元数偏移值具体为：

其中，α为随机生成的变量，服从标准差为σ_α的正态分布；

标准差σ_α的值越大，则意味着评估过程中对神经网络的通用性能更看重；

反之，σ_α的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重；

所述步骤7)中计算自适应权重系数具体过程如下：

由于以上变换均按照真实目标特征参数的分布概率将图像进行，因此在衡量单次输出结果的误差影响权重时也要考虑旋转角度、明度变化比率以及缩放比例的影响；

基于正态分布的概率密度分布函数的定义，设定以上步骤6)计算的网络误差ε所对应的影响权重为：

2.根据权利要求1所述的空间目标姿态识别神经网络的在线实时性能评估方法，其特征在于：在步骤2)中在极端情况下，可令α服从0～360°区间内的均匀分布，此时对应着σ_α→∞。

3.根据权利要求1所述的空间目标姿态识别神经网络的在线实时性能评估方法，其特征在于：所述步骤3)中将步骤2)中获得的图像的明度提高β倍，其具体方法为对于图像的各通道亮度G进行如下变换：

其中，β为随机生成的变量，服从标准差为σ_β的正态分布，且满足-1≤β≤1，当生成的β值超出以上限定范围时，需要重新进行取值；

标准差σ_β的值越大，则意味着评估过程中对神经网络的通用性能更看重；反之，σ_β的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重；在极端情况下，可令β服从-1～1区间内的均匀分布，该步骤不会对旋转四元数Δq造成影响。

4.根据权利要求1所述的空间目标姿态识别神经网络的在线实时性能评估方法，其特征在于：所述步骤4)中需要注意的是由于服务卫星与服务目标之间距离的限制，因此缩放比例c不能无限大或无限接近于零；

假设服务卫星与目标之间的最大距离为x_max，最小距离为x_min，当前图片测量时两者之间的距离为x_c，

则缩放比例c的取值范围为

当生成的随机值超过以上范围时，需要重新生成c的值；

标准差σ_c的值越大，则意味着评估过程中对神经网络的通用性能更看重；反之，σ_c的值越小，则意味着评估过程中对神经网络的在当前目标状态附近的特殊性能更看重。

5.根据权利要求4所述的空间目标姿态识别神经网络的在线实时性能评估方法，其特征在于：在极端情况下，可令c服从区间内的均匀分布，该步骤不会对旋转四元数Δq造成影响。

6.根据权利要求1所述的空间目标姿态识别神经网络的在线实时性能评估方法，其特征在于：所述步骤6)中根据步骤5)中得出的结果求取原始图像对应的输出四元数与变换后图像对应的四元数的差值Δq′，具体计算方式如下：

其中，符号表示四元数乘法运算，/>表示q_t的共轭四元数；

在理想情况下，误差四元数满足Δq′＝Δq，而实际中两者之间存在差异，其差异的大小可以反映神经网络的输出误差，定义差异四元数为

使用差异四元数q_ε所对应的最小旋转角度ε可以表征网络输出误差的大小；

设q_ε的标量部分为q_ε,0，则其对应的最小旋转角度的计算方法为

ε＝2arccos(q_ε，0) (6)。

7.根据权利要求1所述的空间目标姿态识别神经网络的在线实时性能评估方法，其特征在于：所述步骤8)中计算误差评分的公式具体如下：

d＝εK。