CN115063428A - 一种基于深度强化学习的空间暗弱小目标检测方法 - Google Patents

Abstract

本发明涉及一种基于深度强化学习的空间暗弱小目标检测方法，该方法将包含空间暗弱小目标的序列帧星图数据输入训练好的空间暗弱小目标检测模型中，实现对空间暗弱小目标的检测；空间暗弱小目标检测模型以深度Q网络为基础算法建立基于深度强化学习DRL的空间暗弱小目标检测算法，检测算法将空间暗弱小目标检测问题建模为马尔可夫决策过程并设计奖励函数，通过DRL智能体基于序列帧星图数据的时空管道信息作出目标区域定位决策。本发明将暗弱空间目标检测问题建模为马尔可夫决策过程，设计了基于深度强化学习的检测算法，算法以星图序列的时空管道信息作为输入，检测过程不需要提取图片特征，有效规避了空间目标缺乏特征的缺陷。

Description

一种基于深度强化学习的空间暗弱小目标检测方法

技术领域

本发明涉及目标检测、图像处理、深度强化学习技术领域，具体涉及一种基于深度强化学习的空间暗弱小目标检测方法。

背景技术

空间运动目标主要包括近地空间的卫星和空间碎片，随着太空军事化逐步向地月空间迈进，空间物体的广域监视是目前监视领域急需解决的问题。空间暗弱小目标检测是实现空间目标监视的关键技术之一。然而，空间目标检测待检测目标距离非常远，目标在探测器像面上成像近似为点状或短条状，仅占很少的几个像元，目标成像信噪比低，容易被星图背景中不均匀起伏的噪声淹没。同时，目标仅有灰度信息，在单帧图像上其特征与星图背景中大量的恒星相似，难以区分。因此，常用的基于目标特征的检测算法难以适用于空间目标的检测。

空间暗弱小目标是指空间存在的像素较小、星等较大、信噪比较低的目标。学术界对小目标有多种定义方式，普遍的一种定义是指成像尺寸小于32×32像素的目标。对于本发明来讲，更侧重于成像尺寸小于5×5的空间小目标。星等较大的暗空间目标在实际效果上与信噪比较低的弱目标类似。对本发明来讲，弱目标指信噪比小于等于3的目标。

然而，空间目标存在着区别于背景恒星和噪声的运动特征，基于这种运动特征上的差异，国内外研究学者提出了一系列空间目标检测算法，这些算法大体上可分为两大类：点状目标检测算法和条状目标检测算法。针对点状目标的检测算法大体上可分为模型驱动方法和数据驱动方法两大类。模型驱动方法主要有基于参考星的算法、多帧时序投影法、时域/空域滤波、检测前跟踪（TBD）等。数据驱动方法主要有：基于高斯过程回归分割前背景法、基于特征金字塔网络（FPN）的目标检测方法等。针对条状目标的检测算法主要采用的是模型驱动方法，包括条纹检测法、条纹模板匹配法和检测前跟踪（TBD）方法。

然而，以上现有的空间目标检测方法仍存在一些不足之处，体现在：①现有方法在检测信噪比SNR=3以下的低信噪比目标时检测率低、虚警率高；②现有数据驱动的检测方法对星图数据存在限制，仅可用于目标与背景形态不同（点状与条状）的星图数据；③模型驱动方法存在算法对时间复杂度过高以及泛化性差的问题。

近年来，随着深度强化学习（Deep Reinforcement Learning, DRL）技术的出现以及不断发展，国内外已有部分学者将其应用于目标检测领域，在保证检测准确度的前提下，基于DRL的目标检测算法具备速度快、准确高的特点。

对于空间暗弱小目标检测而言，由于基于DRL的目标检测算法并不是依靠提取目标特征进行目标检测，因此若基于DRL设计目标检测算法，可有效规避空间目标缺乏颜色、纹理等特征的缺点，为空间目标检测设计一种高效的数据驱动检测算法。为此，本申请提出一种基于深度强化学习的空间暗弱小目标检测算法，算法使用包含空间目标的序列帧星图数据作为输入，通过DRL智能体基于观测序列帧的时空管道信息作出目标区域定位决策，实现对空间暗弱小目标的检测，检测过程不需要提取图片特征，有效规避了空间目标缺乏特征的缺陷，为空间目标检测算法提供了一种全新的思路。

发明内容

本申请针对现有空间目标检测方法存在的：①检测低信噪比目标时检测率低、虚警率高；②现有数据驱动的检测方法仅可针对目标与背景形态不同（点状与条状）的星图数据进行检测，对可使用的星图数据存在限制；③现有模型驱动方法存在算法对时间复杂度过高以及泛化性差的问题，提出一种基于深度强化学习的空间暗弱小目标检测算法，算法使用包含空间目标的序列帧星图数据作为输入，通过DRL智能体基于观测序列帧的时空管道信息作出目标区域定位决策，实现对空间暗弱小目标的检测。算法依靠DRL智能体强大的决策能力对空间目标进行检测，可以有效检测低信噪比目标，且可用于目标与背景形态相同的星图数据。同时，本算法是一种数据驱动算法，具有效率高、泛化性强的优点，摒弃了传统模型驱动算法的相应缺点。此外，算法的检测过程不需要提取图片特征，有效规避了空间目标缺乏特征的缺陷，为空间目标检测算法提供了一种全新的思路。

本发明提出了一种基于深度强化学习的空间暗弱小目标检测方法，该方法将包含空间暗弱小目标的序列帧星图数据输入训练好的空间暗弱小目标检测模型中，实现对空间暗弱小目标的检测；所述空间暗弱小目标检测模型以深度Q网络为基础算法建立基于深度强化学习的暗弱空间目标检测算法，算法将空间暗弱小目标检测问题建模为马尔可夫决策过程并设计奖励函数，通过DRL智能体基于序列帧星图数据的时空管道信息作出目标区域定位决策。

作为上述技术方案的改进之一，所述方法对空间暗弱小目标检测模型训练时包括以下步骤：

步骤A.获取星图图像的纯仿真数据、半物理仿真数据及真实数据，对于纯仿真数据、半物理仿真数据，分别建立训练数据集和测试数据集；对于真实数据，建立测试数据集；

步骤B. 构建星图预处理算法，对步骤A中获取的数据进行初步处理包括：去除传感器噪声、热像素噪声及背景非均匀性噪声；

步骤C. 建立空间暗弱小目标检测模型：以深度Q网络为基础算法构建基于深度强化学习的空间目标检测算法，通过DRL智能体基于序列帧星图数据的时空管道信息作出目标区域定位决策，生成候选检测区域；将空间暗弱小目标检测问题建模为马尔可夫决策过程；使用包含空间目标的序列帧星图数据作为输入，获取目标检测结果；

步骤D.设置损失函数和训练参数，使用训练数据集对检测模型进行训练。

作为上述技术方案的改进之一，所述步骤A包括以下步骤：

步骤A1：使用仿真平台获取纯仿真数据，具体包括：

步骤A1.1：在纯黑图片中添加噪声，包括传感器噪声、热像素噪声以及背景不均匀性噪声，作为含噪背景；

步骤A1.2：基于二维高斯分布生成仿真恒星；仿真时，设定要生成恒星的数量，仿真程序将会生成对应数量的恒星，并为每颗恒星随机指定位置、大小及星等，并基于星等计算恒星灰度值；

步骤A1.3：基于二维高斯分布生成仿真目标；仿真时，设定要生成目标的数量、位置、大小、像移长度以及信噪比；对于给定信噪比及含噪背景，生成目标的中心灰度值；

步骤A1.4：通过设置不同参数，包括数据集总星图序列条数、每条序列包含的帧数、每帧图片的尺寸，输出得到仿真图像序列数据集；

步骤A2：使用仿真平台获取半物理仿真数据，具体包括：

步骤A2.1：导入若干帧天文望远镜拍摄的不含目标的真实星空图像序列；

步骤A2.2：基于二维高斯分布生成仿真目标；仿真时，设定要生成目标的数量、位置、大小、像移长度以及信噪比，并将仿真目标按照时序加入到真实星图序列中；

步骤A2.3：输出得到半物理仿真图像序列数据集；

步骤A3：使用天文望远镜拍摄含目标的真实星图序列，具体包括：

步骤A3.1：选择合适焦比及口径的天文望远镜，设置其工作模式为“凝视目标模式”，指向存在目标的天区；

步骤A3.2：设置相机的参数，包括：采样间隔、曝光时间、输出帧数；

步骤A3.3：通过设置望远镜指向不同存在目标的天区，拍摄得到真实星图数据，输出为真实数据集。

作为上述技术方案的改进之一，所述步骤A1.2中，基于二维高斯分布生成仿真恒星时，采用二维高斯分布模拟恒星在光学相机中成像的点扩散效应，计算式为：

式中，G(x,y)为(x,y)位置上的像素灰度值，(x,y)为仿真恒星时像素点坐标，(x _c ,y _c )为恒星中心坐标，σ _x 、σ _y 为仿真恒星时坐标x、y的标准差，且σ _x =σ _y ，A为恒星中心像素灰度值；

基于星等计算恒星灰度值g的计算式为：

式中，m为星等；

所述步骤A1.3和步骤A2.2中，设定目标信噪比的计算式为：

式中，μ _T和μ _B分别为目标和目标邻域背景的平均灰度值，目标邻域定义为目标边界周围5~8个像素内的区域，σ _B为目标邻域背景灰度值的标准差；

生成目标的中心灰度值g _c 的计算式为：

式中，i为第i个像素点；x _i ，y _i 为第i个像素点的像素坐标，n ₀为要生成的目标大小，

为目标扩散方差。

作为上述技术方案的改进之一，所述步骤C包括：

步骤C1：候选检测区域生成，具体包括以下步骤：

首先，将经过预处理的序列帧每帧图像划分成n×n个格子，则每个格子的尺寸为(M/n)×(N/n)，在每个格子中心位置放置k个正方形锚框；

然后，对序列前L帧图像的每一帧，提取每个格子位置上的序列帧时空管道信息，得到尺寸为(M/n)×(N/n)×L维的时空管道向量，将其送入分类网络二分类，得到为此格子中每个锚框是否含有目标的预测结果；其中M×N为经过预处理的图像序列每帧图像尺寸，L为序列长度的一半，n、k为设置的常数；

保留图片中的所有预测为含有目标的锚框，即为候选检测区域。

作为上述技术方案的改进之一，所述步骤C中马尔可夫决策过程具体建模步骤如下：

步骤C2.1：智能体动作包括：“搜索动作”和“结束动作”；

所述“搜索动作”缩小图像窗口的大小以获得一个新的观察区域，包括五种动作：左上角、右上角、左下角、右下角和中间；每次执行一种“搜索动作”后，新区域的宽度和高度变为上一区域的0.5~0.9；

所述“结束动作”保留整个当前区域图像，并将其作为定位结果，马尔科夫决策过程结束；

步骤C2.2：基于智能体当前观测区域的时空管道向量和智能体所选择的历史动作设计状态元组；

步骤C2.3：基于目标对象位置的预测框与目标对象的真值框的交集并集比IoU以及预测框和真值框中心点间的距离，分别对于“搜索动作”和“结束动作”设计奖励函数；

步骤C2.4：在训练智能体的过程中，在一个时间步内智能体做出动作之前，分别计算六个动作执行后对应的新的IoU值，并让智能体选择执行可以达到最大IoU的动作；

步骤C2.5：选择深度Q网络使用全连接神经网络拟合动作价值函数，其中，全连接神经网络的输入为智能体的当前观测状态

，输出为每个动作

对应的动作价值函数值

。

作为上述技术方案的改进之一，所述步骤C中获取目标检测结果包括以下步骤：

对序列前

帧图像的每一帧，将上一阶段的所有预测的检测框再次送入预测网络预测检测框中的区域时空间目标的置信度，保留步骤C1中训练的预测网络隐层权值，修改输出层的维度为1维置信度标量；

然后对预测结果进行非极大值抑制操作：按照预测概率值从高到低排序，对排好序的每一个锚框，计算出预测概率值低于该锚框的检测框和该锚框的IoU，当IoU超过丢弃阈值就将其丢弃；

保留所有非极大值抑制操作后的结果，作为最终的目标检测结果输出；

对每帧的目标检测结果进行帧间轨迹关联，得到目标轨迹关联结果。

作为上述技术方案的改进之一，所述步骤C2.3中，对于“搜索动作”，奖励函数设计为：

式中，t表示当前时间步，t+1表示下一时间步，sign(·)为符号函数，ω ₁和ω ₂是权重项，且ω ₁>ω ₂，即智能体更重视IoU的变化；IoU(·)为计算IoU的函数，d(·)为计算预测框和真值框中心点间的距离函数；

在前后两个相邻时间步中，如果IoU增大了，智能体将得到一个积极的+ω ₁奖励，如果IoU减小了，智能体将得到一个-ω ₁奖励；如果距离增大了，智能体将得到一个-ω ₂奖励，如果距离减小了，智能体将得到一个+ω ₂奖励。

作为上述技术方案的改进之一，所述步骤C2.3中，对于“结束动作”，奖励函数设计为：

式中，η为结束奖励值；τ ₁为IoU阈值，τ ₂为距离阈值；当IoU(·)计算的IoU大于等于τ ₁且距离小于等于τ ₂时，“搜索动作”结束，并给与智能体结束奖励值+η；当IoU(·)计算的IoU小于τ ₁且距离大于τ ₂时，则给与智能体结束奖励值-η。

作为上述技术方案的改进之一，所述步骤D包括以下步骤：

步骤D1：训练检测区域提出网络；根据锚框的IoU为每个初始生成的锚框标注一个正/负类标签以确定训练检测框，并设计损失函数，训练锚框二分类网络；

训练时，随机选择相同数目的正类锚框与负类锚框组成一个训练批次对全连接网络进行训练，如正类锚框数不足，则以负类锚框补充；

步骤D2：训练深度Q网络的智能体，智能体与训练集中全部星图序列进行交互训练；

步骤D3：训练目标置信度预测网络；根据检测框的IoU为检测框标注正/负类标签；保留训练得到的网络隐层权值和使用的损失函数，修改输出层的维度为1，对网络进行重新微调训练。

相比于现有的模型驱动以及数据驱动的空间目标检测方法，本申请具有以下优势：

1、将暗弱空间目标检测问题建模为马尔可夫决策过程，设计了基于深度强化学习的暗弱空间目标检测算法，依靠智能体强大的决策能力对空间目标进行检测，可以有效检测低信噪比目标，且可用于目标与背景形态相同的星图数据；

2、检测算法以星图序列的时空管道信息作为输入，最终输出星图序列中的空间目标检测结果，检测过程不需要提取图片特征，有效规避了空间目标缺乏特征的缺陷；

3、作为一种数据驱动的目标检测方法，具有效率高、泛化性强的优点，摒弃了传统模型驱动算法的相应缺点。

附图说明

图1为本发明构建的基于深度强化学习的空间目标检测算法总体流程图；

图2为图片划分格子及放置锚框示意图；

图3为时空管道示意图；

图4为分类网络组成结构图；

图5为智能体动作及执行A2搜索动作示意图；

图6为深度Q网络的全连接网络组成结构图。

具体实施方式

本申请提出一种基于深度强化学习的空间暗弱小目标检测算法，包含如下技术框架：①使用自行搭建的空间目标及星图仿真平台生成空间目标及背景星图图像的纯仿真数据，以及使用天文望远镜拍摄含有空间目标和不含有空间目标的真实图像数据，得到三种类型的数据：由仿真空间目标和仿真背景星图构成的仿真数据、由仿真空间目标和真实背景星图构成的半物理仿真数据以及望远镜拍摄的含有真实空间目标的真实数据，并为每种数据分别建立训练数据集和测试数据集；②构建星图预处理算法，用于对原始数据进行去噪、去除杂光等初步处理；③构建基于深度强化学习的空间目标检测算法，该算法使用深度Q网络（Deep Q-learning Network, DQN)作为基础算法框架；④设置损失函数、训练参数，使用训练数据集对检测算法进行训练；⑤用测试数据集验证算法对空间目标的检测效果。

以下结合附图及实施例进一步说明本发明所提供的技术方案。

实施例1

如图4所示，为本发明方法在实施例1中构建的基于深度强化学习的空间目标检测算法整体流程图。

本申请提出一种基于深度强化学习的空间暗弱小目标检测算法，算法使用包含空间目标的序列帧星图数据作为输入，通过智能体基于观测序列帧的时空管道信息作出目标区域定位决策，实现对空间暗弱小目标的检测。算法依靠智能体强大的感知和决策能力对空间目标进行检测，可以有效检测低信噪比目标，且可用于目标与背景形态相同的星图数据。同时，本算法是一种数据驱动算法，具有效率高、泛化性强的优点，摒弃了传统模型驱动算法的相应缺点。此外，算法的检测过程不需要提取图片特征，有效规避了空间目标缺乏特征的缺陷，为空间目标检测算法提供了一种全新的思路。

本申请的具体实施方式由五个部分组成：①使用自行搭建的空间目标及星图仿真平台生成空间目标及背景星图图像的仿真数据，以及使用天文望远镜拍摄包含空间目标及不包含空间目标的真实图像数据，得到三种类型的数据：由仿真空间目标和仿真背景星图构成的纯仿真数据、由仿真空间目标和真实背景星图构成的半物理仿真数据以及望远镜拍摄的含有真实空间目标的真实数据，并为每种数据分别建立训练数据集和测试数据集；②构建星图预处理算法，用于对原始数据进行去噪、去除杂光等初步处理；③构建基于深度强化学习的空间目标检测算法，该算法使用深度Q网络（Deep Q-learning Network, DQN)作为基础算法框架；④设置训练参数，使用训练数据集对检测算法进行训练；⑤用测试数据集验证算法对空间目标的检测效果。

具体实施方式各步骤详细描述如下。

步骤一：制作数据集

步骤A：使用仿真平台和天文望远镜，获取星图图像的纯仿真数据、半物理仿真数据及真实数据。仿真的具体过程包括：

步骤A1：使用仿真平台获取纯仿真数据。步骤如下：①在纯黑图片（所有像素值均为0）中添加各种类型的噪声，包括传感器噪声、热像素噪声以及背景不均匀性噪声。②生成仿真恒星。采用二维高斯分布模拟恒星在光学相机中成像的点扩散效应，表达式为：

（1）

式中，(x,y)为像素点坐标，(x _c ,y _c )为恒星中心坐标，σ _x 、σ _y 为标准差，σ _x =σ _y =σ，A为中心像素灰度值。每颗仿真恒星均基于二维高斯分布生成，仿真时，给定要生成的恒星数量，仿真程序将会生成对应数量的恒星，并为每颗恒星随机指定位置、大小及星等。基于星等计算恒星灰度值的公式为：

（2）

式中，g为恒星中心灰度值，m为星等。一幅图片内生成的恒星数量不多于100颗，大小不超过15×15像素，星等不高于10。③生成仿真目标。仿真目标也基于（1）式定义的二维高斯分布生成。仿真时，可以设定要生成目标的数量、位置、大小、像移长度以及信噪比。每条序列中生成目标数量范围在1到3之间，大小不超过

像素，像移长度设置范围为4到10之间。目标的信噪比定义为：

（3）

式中，μ _T和μ _B分别为目标和目标邻域背景的平均灰度值，目标邻域定义为目标边界周围5个像素内的区域，

为目标邻域背景灰度值的标准差。给定信噪比及含噪背景，要生成的目标的中心灰度值g _c 可按此式计算：

（4）

式中，x _i ，y _i 为像素坐标，n ₀为要生成的目标大小，

为目标扩散方差，若目标大小为3×3，假设点光源90%的能量集中在此区域内，则方差

。④通过设置不同参数，输出得到仿真图像序列数据集。数据集中每条星图序列为5帧，共仿真生成1300条星图序列6500帧星图图像，其中训练集包含1000条序列，验证集包含100条序列，测试集包含200条序列，并且将数据集等量地分成四组，每组中目标信噪比分别设置为6、3、2和1.5。

步骤A2：使用仿真平台获取半物理仿真数据。步骤如下：①导入若干帧天文望远镜拍摄的不含目标的真实星空图像序列。②生成仿真目标。按照公式（1）、（2）、（3）和（4）生成不同数量、位置、大小、信噪比和像移长度的目标，并将其按照时序加入到真实星图序列中。③输出得到半物理仿真图像序列数据集，数据集构成与纯仿真数据集相同。

步骤A3：使用天文望远镜拍摄含目标的真实星图序列。步骤如下：①选择合适焦比及口径的天文望远镜，设置其工作模式为“凝视目标模式”，指向存在目标的天区。②设置相机的采样间隔、曝光时间、输出帧数等参数。③通过设置望远镜指向不同存在目标的天区，拍摄得到真实星图数据，输出为真实星图数据集，共包含600帧不同时刻的星图图像。真实星图数据集仅用于测试算法在真实星图上的检测性能。

步骤二：构建星图预处理算法

步骤B：构建星图预处理算法，用于去除原始图像中的传感器噪声、热像素噪声及背景非均匀性噪声，有助于提升原始目标的信噪比，提升算法检测低信噪比目标的检测率并降低噪声造成的虚警率。算法步骤如下：

步骤B1：读取一条星图序列图像，对序列中每帧图像进行高斯滤波，去除图像中的传感器噪声（主要为高斯噪声）。

步骤B2：对每帧图像进行二维中值滤波，去除孤立的热像素噪声。

步骤B3：对每帧图像使用一维中值滤波，去除背景非均匀性噪声。

步骤三：构建基于深度强化学习的空间目标检测算法

步骤C：构建基于深度强化学习的空间目标检测算法，该算法包含三个阶段：候选检测区域生成阶段、深度强化学习目标检测阶段以及最终检测结果确定阶段，如图1示。

具体过程如下：

步骤C1：候选检测区域生成。设经过预处理的图像序列每帧图像尺寸为M×N，序列长度为2L。首先，将经过预处理的序列帧每帧图像划分成n×n个格子，则每个格子的尺寸为(M/n)×(N/n)，在每个格子中心位置放置k个正方形锚框，这k个锚框具有不同的尺寸。本申请取k=3，M=N=256，L=5，n=16。图片划分格子及放置锚框的示意图如图2所示。

然后，对序列前L帧图像的每一帧，提取每个格子位置上的序列帧时空管道信息，每个位置都得到尺寸为(M/n)×(N/n)×L维的时空管道向量。时空管道示意图如图3示，时空管道由每帧图片相同格子区域位置中的像素组合而成，构成了一种假想的“管道”。时空管道检测运动小目标的理论基础是利用目标的准连续性和随机噪声的不相关性：在每个管道区域内，恒星成像虽然可能有形状或灰度的随机变化，但总体上其位置改变非常小；空间目标由于具有运动特性，在管道内不同帧图像中位置会发生明显改变；而背景噪声则是完全随机的，在管道内不同帧图像中呈现出不相关性。因此根据恒星、目标、噪声三者时空管道内的特性差异，可对它们进行区分。

对每个格子位置上得到的(M/n)×(N/n)×L维时空管道向量，将其变形成长度为(M/n)×(N/n)×L的列向量后送入分类网络二分类，得到为此格子中每个锚框是否含有目标的预测结果，分类网络的结构如图4示。依靠神经网络对输入信息的强大感知能力和将不同输入正确分类的强大学习能力，即使是包含低信噪比运动目标的时空管道，网络也能在一定程度上有效识别，从而提升对低信噪比目标的检测率、降低噪声造成的虚警率。保留图片中的所有分类预测为含有目标的锚框。将时空管道向量变形为列向量的规则为：对时空管道在一帧图像上区域内的像素，将其按列串联成一个长度为(M/n)×(N/n)的列向量，然后再将每帧图像上得到的列向量按帧顺序串联成一个总的长度为(M/n)×(N/n)×L的列向量。

步骤C2：深度强化学习目标检测。依靠智能体强大的感知和决策能力对空间目标进行检测，可以有效检测低信噪比目标。同时，本申请提出的基于时空管道观测的深度强化学习空间目标检测算法还可解决目标与背景形态相同的星图数据的目标检测问题，原因如下：现有的基于卷积神经网络的深度学习空间目标检测算法需要通过提取图像特征来进行目标识别，完成目标与背景恒星的分类，而空间目标本身缺乏可用于分类识别的特征，因此只能在空间目标与背景恒星具有不同的形态的星图数据上使卷积神经网络学习到这一形态特征差异来完成目标与背景恒星的二分类，从而实现目标识别。而本申请提出的空间目标检测算法不使用卷积神经网络提取图片特征，而是基于时空管道信息使用深度强化学习智能体来进行目标检测，目标与恒星的形态相同与否对算法没有影响。

算法的马尔科夫决策过程具体建模步骤如下。

步骤C2.1:智能体动作可以分为两类：“搜索动作”和“结束动作”。“搜索动作”缩小图像窗口的大小以获得一个新的观察区域，包括五个动作：左上角（A1）、右上角（A2）、左下角（A3）、右下角（A4）和中间（A5）。每次执行一种搜索动作后，新区域的宽度和高度变为上一区域的四分之三。“结束动作”（A6）保留整个当前区域图像，并将其作为定位结果，MDP过程结束。智能体执行动作的示意图如图5示。

步骤C2.2: 状态元组表示为(o,h)，其中o表示智能体当前观测区域的时空管道向量，h为智能体所选择的历史动作。智能体当前观测区域的时空管道向量每次在送入深度强化学习网络前，都要调整为符合网络输入的尺寸(M/n)×(N/n)×L。h是一个30维向量, 包含最近5次历史动作信息，每一动作由一个６维0-1向量表示，1表示采取过该动作，0表示未采取过该动作。

步骤C2.3: 奖励函数基于目标对象位置的预测框（当前观测区域）与目标对象的真值框的交集并集比（Intersection-over-Union，IoU）以及预测框和真值框中心点间的距离设计。

对于“搜索动作”，奖励函数设计为：

式中，t表示当前时间步，t+1表示下一时间步，sign(·)为符号函数，ω ₁和ω ₂是权重项，且ω ₁>ω ₂，即智能体更重视IoU的变化。在前后两个相邻时间步中，如果IoU增大了，代表预测框与真值框的重叠度更高了，此时智能体将得到一个积极的+ω ₁奖励，否则智能体将得到一个-ω ₁奖励。距离变化所产生的奖励与IoU变换产生的奖励相反：如果距离增大了，此时智能体将得到一个-ω ₂奖励，否则智能体将得到一个+ω ₂奖励。

对于“结束动作”，奖励函数设计为：

式中，η为结束奖励值，本申请中设置η为5；τ ₁为IoU阈值，τ ₂为距离阈值。当IoU大于等于τ ₁且距离小于等于τ ₂时，认为已找到目标，此时结束搜索过程并给与智能体结束奖励值+η，反之则给与智能体结束奖励值-η。本申请中将τ ₁=0.6，τ ₂=1.4。

步骤C2.4：在训练智能体的过程中，本申请还利用人类的先验知识辅助智能体更有效地学习到执行动作的策略：在一个时间步内智能体做出动作之前，分别计算六个动作执行后对应的新的IoU值，并让智能体选择执行可以达到最大IoU的动作。

步骤C2.5：本申请的深度强化学习算法选择深度Q网络（Deep Q-Network, DQN）。原始的深度Q网络使用卷积神经网络来拟合动作价值函数Q(s,a)，本申请由于不需对图片使用卷积神经网络提取特征，因此本申请的深度Q网络使用全连接神经网络拟合动作价值函数。本申请的全连接神经网络的输入为智能体的当前观测状态

，输出为每个动作

对应的动作价值函数值。DQN的全连接网络结构图如图6示。

训练DQN算法的伪代码如下：

步骤C3：最终检测结果确定。对序列前L帧图像的每一帧，将上一阶段的所有预测的检测框再次送入预测网络预测检测框中的区域是空间目标的置信度（概率值），由于检测区域提出网络本质上即是预测检测区域为目标的置信度，因此在此步骤中保留步骤C1中训练的预测网络隐层权值，仅修改输入输出层的维度为1维置信度标量。然后对预测结果进行非极大值抑制操作：按照预测概率值从高到低排序，对排好序的每一个锚框，计算出剩下的检测框和它的交并比（IoU），当IoU超过某个阈值（如0.7）就将其丢弃。保留所有非极大值抑制操作后的结果，作为最终的目标检测结果输出。

步骤C4：在得到每帧图像上的目标检测结果后，对这些结果进行帧间轨迹关联。进行轨迹关联的理论基础是：在L帧曝光时间内，每个目标可以近似假设为各自具有固定的运动速度和方向。为此，首先定义目标在相邻两帧之间的帧间运动距离D：

式中，L(t)表示目标在初始帧中的位置，L(t+Δt)表示目标在下一帧中的位置，两帧的观测间隔为Δt，t _e 为曝光时间，t _w 为帧间的曝光等待时间，D _e为一帧中由曝光时间引起的目标成像像移长度。

接下来定义判定目标点属于同一轨迹的判定条件：因为假设每个目标具有固定的运动速度和方向，因此对于同一个目标而言，在Δt一定的情况下，其在相邻两帧之间的帧间运动距离应基本相同，且帧间轨迹线段的夹角应近似为0。由于不同轨道高度的目标具有不同的速度，每个目标的帧间运动距离有些许差别，但总体上处于一定合理范围内，因此本申请认为目标的帧间运动距离只要处于

范围内即为合理距离，

为可调系数。因此，判定目标点属于同一轨迹的判定条件可总结为：

式中，

和

表示连续三帧间的两段目标轨迹线段；

为轨迹线段夹角阈值，是一个接近1的值。

使用以上轨迹判定条件对序列帧每帧中的检测结果进行帧间轨迹关联，相邻两帧间的检测结果若符合判定条件则将其判定为属于同一轨迹，若不符合条件，则重新以当前帧为初始帧进行判定，这样做的目的是为了防止因目标信噪比过低在某一帧中出现漏检而导致整条轨迹关联失败，从而可以提升对低信噪比目标的检测率。同时，上述的轨迹关联策略基于目标帧间运动的等间距和同方向的特点，而随机噪声产生的虚警点几乎不可能符合这种特点，因此这种轨迹关联策略可以有效降低算法的虚警率。

步骤四：对检测算法进行训练

步骤D：设置训练参数，使用训练数据集对算法进行训练。

步骤D1：训练检测区域提出网络。为了训练锚框二分类网络，需要为每个初始生成的锚框标注一个正/负类标签，本申请使用如下标注规则：1）如果一个锚框对于一个目标真值框拥有相对于其他锚框的最高IoU，或一个锚框对于一个目标真值框的IoU大于0.7，则将这个锚框标注为正类锚框，即认为其中含有目标；2）如果一个锚框对于所有目标真值框的IoU都小于0.3，则将这个锚框标注为负类锚框，即认为其中不含目标；3）与目标真值框的IoU介于0.3和0.7之间的锚框不做标注，不参与训练。

训练使用的损失函数表达式为：

式中，N为一个训练批次里的总锚框数，i代表批次里的第i个锚框，L(·)是二分类对数损失函数。

训练时，随机选择128个正类锚框与128个负类锚框组成一个训练批次对全连接网络进行训练，如正类锚框数不足128个，则以负类锚框补充。全连接网络的网络权重使用高斯分布进行初始化，初始学习率设为0.001，训练60轮，再将学习率设为0.0001，训练40轮。

步骤D2：训练深度Q网络空间目标检测算法。按照算法1训练深度Q网络的智能体，智能体与训练集中全部1000条星图序列进行交互训练，训练epoch数设为30。

步骤D3：训练目标置信度预测网络。由于检测区域提出网络本质上即是预测检测区域为目标的置信度，因此在此步骤中保留步骤D1中训练的预测网络隐层权值，仅修改输入输出层的维度为1，对网络进行重新微调训练。训练使用的损失函数及为检测框标注标签的方式与步骤D1中一致。将学习率设为0.0001，训练20轮。

步骤五：验证算法对空间目标的检测效果

步骤E：用验证集数据测试训练好的检测算法网络的检测性能。

步骤E1：将训练好的权重加载进网络模型中，将验证集星图序列数据输入网络，得到网络的检测结果输出。

步骤E2：将检测结果保存，通过matlab计算得到不同虚警率下的检测率，用ROC曲线评估检测的性能。

步骤F：对算法性能进行分析。首先将本算法的搜索计算量与代表性传统空间目标检测算法的搜索计算量进行对比。传统的多级假设检验（MHT）算法对每帧图像遍历每个像素进行检测，若单帧图像尺寸为M×N，星图序列帧有N _set个帧集，每个帧集包含K ₀(K ₀>3)帧图像，则总的检测帧数为K=N _set×K ₀，MHT算法的总搜索计算量为 (MN) ^K 。对于MHT的改进方法——时间指数多级准假设检验（TMQHT），若所有K帧图像中包含的候选目标（包含空间目标和虚警）最大数量为N _max，则有N _max<MN，TMQHT的最大搜索计算量为

。而对于本申请提出的空间目标检测算法，首先要对每帧图像中的所有锚框进行二分类，则要分类的锚框总数为n ² k个，n ²为每帧图片划分的格子数，k为每个格子放置的锚框数；然后对于筛选出的候选锚框，若智能体对每个候选锚框进行目标位置决策的最大可能步数为m，则智能体对帧集中所有N _set N _max个候选目标要进行的决策步数不超过mN _set N _max，则算法总的搜索计算量为n ² kmN _set N _max，与前面两种算法对比如下：

因此，本申请提出的算法具有更小的搜索计算量，更高的效率。

接下来通过举例说明现有的方法存在泛化性差的问题。基于模板匹配的空间目标检测方法只能能检测与预先人工设置好的匹配模板形态、尺度一致的目标，而对于模板未设置的目标种类则无法有效检测；基于卷积神经网络的深度学习空间目标检测方法只能应用于目标与背景恒星形态不同的星图图像上。因此，现有方法存在泛化性差的问题。而本申请提出的空间目标检测算法，基于时空管道信息进行目标检测，而时空管道信息进行目标检测的理论基础是利用目标的准连续性和随机噪声的不相关性，这是任何星图图像中的目标和背景所具有的共同性质，因此本算法具有更好的泛化性。

从上述对本发明的具体描述可以看出，本发明以星图序列的时空管道信息作为输入，检测过程不需要提取图片特征，有效规避了空间目标缺乏特征的缺陷。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于深度强化学习的空间暗弱小目标检测方法，该方法包括：

将包含空间暗弱小目标的序列帧星图数据输入训练好的空间暗弱小目标检测模型中，实现对空间暗弱小目标的检测；

所述空间暗弱小目标检测模型以深度Q网络为基础算法建立基于深度强化学习DRL的空间暗弱小目标检测算法，检测算法将空间暗弱小目标检测问题建模为马尔可夫决策过程并设计奖励函数，通过DRL智能体基于序列帧星图数据的时空管道信息作出目标区域定位决策。

2.根据权利要求1所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述方法对空间暗弱小目标检测模型训练时包括以下步骤：

步骤A.获取星图图像的纯仿真数据、半物理仿真数据及真实数据，对于纯仿真数据、半物理仿真数据，分别建立训练数据集和测试数据集；对于真实数据，建立测试数据集；

步骤B. 构建星图预处理算法，对步骤A中获取的数据进行初步处理包括：去除传感器噪声、热像素噪声及背景非均匀性噪声；

步骤C. 建立空间暗弱小目标检测模型：以深度Q网络为基础算法构建基于深度强化学习的空间目标检测算法，通过DRL智能体基于序列帧星图数据的时空管道信息作出目标区域定位决策，生成候选检测区域；将空间暗弱小目标检测问题建模为马尔可夫决策过程；使用包含空间目标的序列帧星图数据作为输入，获取目标检测结果；

步骤D.设置损失函数和训练参数，使用训练数据集对检测模型进行训练，得到训练好的空间暗弱小目标检测模型。

3.根据权利要求1所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述步骤A包括以下步骤：

步骤A1：使用仿真平台获取纯仿真数据，具体包括：

步骤A1.1：在纯黑图片中添加噪声，包括传感器噪声、热像素噪声以及背景不均匀性噪声，作为含噪背景；

步骤A1.2：基于二维高斯分布生成仿真恒星；仿真时，设定要生成恒星的数量，仿真程序将会生成对应数量的恒星，并为每颗恒星随机指定位置、大小及星等，并基于星等计算恒星灰度值；

步骤A1.3：基于二维高斯分布生成仿真目标；仿真时，设定要生成目标的数量、位置、大小、像移长度以及信噪比；对于给定信噪比及含噪背景，生成目标的中心灰度值；

步骤A1.4：通过设置不同参数，包括数据集总星图序列条数、每条序列包含的帧数、每帧图片的尺寸，输出得到仿真图像序列数据集；

步骤A2：使用仿真平台获取半物理仿真数据，具体包括：

步骤A2.1：导入若干帧天文望远镜拍摄的不含目标的真实星空图像序列；

步骤A2.2：基于二维高斯分布生成仿真目标；仿真时，设定要生成目标的数量、位置、大小、像移长度以及信噪比，并将仿真目标按照时序加入到真实星图序列中；

步骤A2.3：输出得到半物理仿真图像序列数据集；

步骤A3：使用天文望远镜拍摄含目标的真实星图序列，具体包括：

步骤A3.1：选择合适焦比及口径的天文望远镜，设置其工作模式为“凝视目标模式”，指向存在目标的天区；

步骤A3.2：设置相机的参数，包括：采样间隔、曝光时间、输出帧数；

步骤A3.3：通过设置望远镜指向不同存在目标的天区，拍摄得到真实星图数据，输出为真实数据集。

4.根据权利要求2所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述步骤A1.2中，基于二维高斯分布生成仿真恒星时，采用二维高斯分布模拟恒星在光学相机中成像的点扩散效应，计算式为：

式中，G(x,y)为(x,y)位置上的像素灰度值，(x,y)为仿真恒星时像素点坐标，(x _c ,y _c )为恒星中心坐标，σ _x 、σ _y 分别为仿真恒星时坐标x、y的标准差，且σ _x =σ _y ，A为恒星中心像素灰度值；

基于星等计算恒星灰度值g的计算式为：

式中，m为星等；

所述步骤A1.3和步骤A2.2中，设定目标信噪比的计算式为：

式中，μ _T和μ _B分别为目标和目标邻域背景的平均灰度值，目标邻域定义为目标边界周围5~8个像素内的区域，σ _B为目标邻域背景灰度值的标准差；

生成目标的中心灰度值g _c 的计算式为：

式中，i为第i个像素点；x _i ，y _i 为第i个像素点的像素坐标；n ₀为要生成的目标大小；

为目标扩散方差。

5.根据权利要求2所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述步骤C包括：

步骤C1：候选检测区域生成，具体包括以下步骤：

首先，将经过预处理的序列帧每帧图像划分成n×n个格子，则每个格子的尺寸为(M/n)×(N/n)，在每个格子中心位置放置k个正方形锚框；

然后，对序列前L帧图像的每一帧，提取每个格子位置上的序列帧时空管道信息，得到尺寸为(M/n)×(N/n)×L维的时空管道向量，将其送入分类网络二分类，得到为此格子中每个锚框是否含有目标的预测结果；其中M×N为经过预处理的图像序列每帧图像尺寸，L为序列长度的一半，n、k为设置的常数；

保留图片中的所有预测为含有目标的锚框，即为候选检测区域。

6.根据权利要求2所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述步骤C中马尔可夫决策过程具体建模步骤如下：

步骤C2.1：智能体动作包括：“搜索动作”和“结束动作”；

所述“搜索动作”缩小图像窗口的大小以获得一个新的观察区域，包括五种动作：左上角、右上角、左下角、右下角和中间；每次执行一种“搜索动作”后，新区域的宽度和高度变为上一区域的0.5~0.9；

所述“结束动作”保留整个当前区域图像，并将其作为定位结果，马尔科夫决策过程结束；

步骤C2.2：基于智能体当前观测区域的时空管道向量和智能体所选择的历史动作设计状态元组；

步骤C2.3：基于目标对象位置的预测框与目标对象的真值框的交集并集比IoU以及预测框和真值框中心点间的距离，分别对于“搜索动作”和“结束动作”设计奖励函数；

步骤C2.4：在训练智能体的过程中，在一个时间步内智能体做出动作之前，分别计算六个动作执行后对应的新的IoU值，并让智能体选择执行可以达到最大IoU的动作；

步骤C2.5：选择深度Q网络使用全连接神经网络拟合动作价值函数，其中，全连接神经网络的输入为智能体的当前观测状态

，输出为每个动作a对应的动作价值函数值Q(s,a)。

7.根据权利要求2所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述步骤C中获取目标检测结果包括以下步骤：

对序列前

帧图像的每一帧，将上一阶段的所有预测的检测框再次送入预测网络预测检测框中的区域时空间目标的置信度，保留步骤C1中训练的预测网络隐层权值，修改输出层的维度为1维置信度标量；

然后对预测结果进行非极大值抑制操作：按照预测概率值从高到低排序，对排好序的每一个锚框，计算出预测概率值低于该锚框的检测框和该锚框的IoU，当IoU超过丢弃阈值就将其丢弃；

保留所有非极大值抑制操作后的结果，作为最终的目标检测结果输出；

对每帧的目标检测结果进行帧间轨迹关联，得到目标轨迹关联结果。

8.根据权利要求6所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述步骤C2.3中，对于“搜索动作”，奖励函数设计为：

式中，t表示当前时间步，t+1表示下一时间步，sign(·)为符号函数，ω ₁和ω ₂是权重项，且ω ₁>ω ₂，即智能体更重视IoU的变化；IoU(·)为计算IoU的函数，d(·)为计算预测框和真值框中心点间的距离函数；

在前后两个相邻时间步中，如果IoU增大了，智能体将得到一个积极的+ω ₁奖励，如果IoU减小了，智能体将得到一个-ω ₁奖励；如果距离增大了，智能体将得到一个-ω ₂奖励，如果距离减小了，智能体将得到一个+ω ₂奖励。

9.根据权利要求6所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述步骤C2.3中，对于“结束动作”，奖励函数设计为：

式中，η为结束奖励值；τ ₁为IoU阈值，τ ₂为距离阈值；当IoU(·)计算的IoU大于等于τ ₁且距离小于等于τ ₂时，“搜索动作”结束，并给与智能体结束奖励值+η；当IoU(·)计算的IoU小于τ ₁且距离大于τ ₂时，则给与智能体结束奖励值-η。

10.根据权利要求1所述的基于深度强化学习的空间暗弱小目标检测方法，其特征在于，所述步骤D包括以下步骤：

步骤D1：训练检测区域提出网络；根据锚框的IoU为每个初始生成的锚框标注一个正/负类标签以确定训练检测框，并设计损失函数，训练锚框二分类网络；

训练时，随机选择相同数目的正类锚框与负类锚框组成一个训练批次对全连接网络进行训练，如正类锚框数不足，则以负类锚框补充；

步骤D2：训练深度Q网络的智能体，智能体与训练集中全部星图序列进行交互训练；

步骤D3：训练目标置信度预测网络；根据检测框的IoU为检测框标注正/负类标签；保留步骤D1中训练的网络隐层权值和使用的损失函数，修改输出层的维度为1，对网络进行重新微调训练。

Images