CN116563157A - 一种基于深度学习的面向空间卫星低照度图像增强方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的面向空间卫星低照度图像增强方法，首先模拟卫星所处的太空光照环境，并基于机械臂模拟卫星运动，基于相机获取不同姿态、不同曝光下的Bayer阵列数据，对获取的数据进行处理后获取数据集，依据该数据集对构建的构建低照度图像增强模型进行训练，最后利用训练后的低照度图像增强模型对低照度图像进行增强。本发明基于机械臂搭建模拟太空特殊光照环境的数据集采集平台，实现机械臂正运动学计算，通过通信接口控制机械臂和相机参数，节省了数据集采集所需的人力，同时增强模型基于扩散概率模型的低照度图像增强方法对随机噪声逐步去噪后得到增强图像，训练目标简单，训练过程稳定，并且取得了更好的增强效果。

Description

一种基于深度学习的面向空间卫星低照度图像增强方法

技术领域

本发明属于图像处理领域，具体涉及一种基于深度学习的面向空间卫星低照度图像增强方法。

背景技术

随着探索太空以及航天活动不断增加,各国发射卫星数量逐年攀升，有限的轨道资源在逐渐减小。为了维护航天活动的可持续发展，各国针对高价值航天器在轨维护以及空间碎片清除的方法技术开展了大量研究。基于可见光传感器的空间目探测是实现在轨服务和空间碎片清除的关键技术之一，但空间环境缺乏稳定的光源，可见光传感器易受环境照度的影响，使得成像质量不确定。在光照不足的情况下，低质量的成像会导致图像特征匹配错误甚至丢失，给在轨服务和空间碎片清除带来巨大的困难。

基于传统方法的低照度图像增强主要采用直方图均衡化和同态滤波，该类方法无法处理极低照度的图像，并且会导致严重的色彩失真。现有技术中基于深度学习的低照度图像增强方法以生成对抗网络(GAN)为主，但GAN训练过程不稳定、易产生模式崩溃，严重依赖超参数的选取，且需要大量的训练数据以避免网络过拟合。此外，数据集的质量也是影响图像增强效果的一大因素，目前用于空间目标低照度图像增强的数据集主要为软件渲染的合成图像，与真实图像存在较大的领域差，导致预测泛化性较差，相机获取图像时自动压缩图片也会导致图像重要信息丢失，影响图像增强效果。因此，亟需设计一种模拟真实图像的数据集制作方法与稳定、高效的低照度图像增强方法。

发明内容

针对上述问题，本发明的目的在于提供一种基于深度学习的面向空间卫星低照度图像增强方法，以在空间低照度环境下对观测目标的可见光图像实现低照度图像增强。

实现本发明目的的具体技术方案为：

一种基于深度学习的面向空间卫星低照度图像增强方法，包括以下步骤：

步骤1、模拟卫星所处的太空光照环境，并基于机械臂模拟卫星运动；

步骤2、控制机械臂进行姿态调整，基于相机获取不同曝光下的Bayer阵列数据；

步骤3、对步骤2获取的Bayer阵列数据进行数据预处理，获取数据集；

步骤4、构建低照度图像增强模型，并利用数据集进行训练；

步骤5、利用训练后的低照度图像增强模型对低照度图像进行增强。

与现有技术相比，本发明的有益效果在于：

(1)本发明方案的数据集采集方法基于机械臂搭建模拟太空特殊光照环境的数据集采集平台，实现机械臂正运动学计算，通过通信接口控制机械臂和相机参数，节省了数据集采集所需的人力；

(2)本发明方案的数据集采集方法能在低照度条件下采集高质量图像，为避免相机有损压缩图像，导致亮度增强后的图像噪声过大，先获取相机传感器的原始数据Bayer阵列，减少数据集与真实情况的域差，采用双线性插值获得无损图像，提升数据集质量；

(3)本发明方案的低照度图像增强模型基于扩散概率模型的低照度图像增强方法，引入变分分布，求解后验概率似然函数的常变分界，从而设计损失函数，，在前向过程向参考图像添加随机噪声，并训练网络预测噪声，逆向过程，对随机噪声逐步去噪后得到增强图像，训练目标简单，训练过程稳定，并且取得了更好的增强效果。

附图说明

图1为本发明的步骤流程图。

图2为本发明的实施例中的基于UR3机械臂的数据集采集平台示意图。

图3为本发明的实施例中的数据集自动化采集流程图。

图4为本发明的实施例中的相机原始数据Bayer阵列原理示意图。

图5为本发明的实施例中的高低照度空间目标数据Bayer阵列示意图。

图6为本发明的实施例中的高低照度空间目标数据RGB图像示意图。

图7为本发明的实施例中的高低照度空间目标数据集示意图。

图8为本发明的实施例中的低照度图像增强模型训练损失下降趋势示意图。

图9为本发明的实施例中的低照度图像增强模型网络预测结果示意图。

具体实施方式

一种基于深度学习的面向空间卫星低照度图像增强方法，包括以下步骤：

步骤1、模拟卫星所处的太空光照环境，并基于机械臂模拟卫星运动，具体为：

将卫星模型设置在机械臂末端，周围布设纯黑色吸光背景布模拟太空背景，采用LED灯模拟地球漫反射光源。

步骤2、控制机械臂进行姿态调整，基于相机获取不同曝光下的Bayer阵列数据，具体为：

步骤2-1、上位机与机械臂通信，控制机械臂进行姿态调整，具体为：

机械臂的初始姿态为q⁽⁰⁾，机械臂搭载卫星绕末端坐标系的z轴做自旋运动，则第i个状态对应的机械臂关节向量q⁽ⁱ⁾为：

其中，n为卫星自旋一周过程中所采样的样本数量，N为机械臂的关节数，为机械臂第k个关节姿态。

步骤2-2、对机械臂的每个姿态状态分别采集短曝光和长曝光下的卫星Bayer阵列数据。

步骤3、对步骤2获取的Bayer阵列数据进行数据预处理，获取数据集，具体为：

步骤3-1、将获取的短、长曝光下的Bayer阵列数据转化为RGB图像：

基于双线性插值，通过计算领域像素的均值得到缺失的通道值；

Bayer阵列数据中第i列第j行的值为I_i，j，则RGB图像中对应的像素三元组为T_i，j＝(R，G，B)；

当I_i，j为红色通道时，T_i，j的R即为I_i，j，而G，B分别由Bayer阵列中I_i，j邻域的四个绿色通道与蓝色通道计算得到：

当I_i，j为蓝色通道时，T_i，j的B即为I_i，j，则R，G分别由Bayer阵列中I_i，j邻域的四个红色通道与绿色通道计算得到：

当I_i，j为绿色通道且I_i，j-1为红色通道时，此时Bayer阵列I_i，j邻域中只有两个红色通道与绿色通道，则：

当I_i，j为绿色通道且I_i，j-1为蓝色通道时，则：

步骤3-2、将RGB图像转化为灰度图像；

步骤3-3、对图像进行中心剪裁，得到相同大小的m对图像数据，并按一定比例划分得到训练集和测试集。

步骤4、构建低照度图像增强模型，并利用数据集进行训练：

针对低照度图像增强任务，设计用于图像到图像的扩散模型网络结构，引入变分分布，求解后验概率似然函数的常变分界，设计训练目标，

步骤4-1、低照度图像增强模型使用Unet基本结构，包括三次下采样和三次上采样，得到数据在不同尺度的特征，通过特征拼接增加上采样的可用信息；每层采样前的残差网络融合了第t扩散步的正弦位置编码信息，并在网络中间层添加了线性注意力机制模块，来训练网络根据扩散步骤进行预测的能力；

步骤4-2、确定模型的损失函数：

定义网络输入低照度图像与配对的高照度图像为(x，y)，模型前向过程向高照度图像逐步加入T步高斯噪声，直到使之变为各向同性的二维高斯噪声，定义第y步的高照度图像为y_t，y₀＝y，T个噪声权重0＜β₁＜β₂＜...＜β_T＜＜1，则从t-1到t的过程的先验概率为：

则构成一个马尔科夫链，并且在任意时刻y的样本y_t都可以用闭式解表示，令α_t＝1-β_t，则：

且给定y₀的y_1：T的联合概率分布为

前项过程不含可学习参数，由于前向过程中的噪声权重均远小于1，可以假设p(y_t-1|y_t)符合高斯分布，为了在逆向过程中从噪声一步步恢复原始数据，则需要求解后验概率p(y_t-1|y_t)，

但后验概率需要对所有参数求积分，很难找到闭式解，因此引入变分分布用于近似真实后验分布，引入变分分布q(y_1：T|y₀)，经推导可得负对数似然函数的常变分界表示如下：

其中D_KL为两个概率分布差别的非对称性度量经推导可得，不等式左侧为交叉熵，右侧为变分界，记为L，

第一项不含可估计参数，则优化目标为减少第二项中两个概率分布q(y_t-1|y_t，y₀)与p_θ(y_t-1|y_t)的差别，p_θ(y_t-1|y_t)为待估计的分布，q(y_t-1|y_t，y₀)为有偏高斯分布，可用公式表示为

其中

则均值为：

其中∈为随机采样的标准高斯噪声，假设后验概率p_θ的标准差为常数，即等于后验条件概率q的标准差为了使q尽可能地拟合p_θ，则损失函数为：

将式(1.14)代入式(1.15)，可得

忽略常系数，则低照度图像增强模型的损失函数为网络预测的噪声与前项过程采样的随机噪声之间的l₂范数：||∈-f_θ(x，y_t，t)||²；

步骤4-3、基于步骤3的数据集对低照度图像增强模型进行训练：

根据步骤4-2得到的损失函数，采用步骤4-1中的Unet网络，记网络为f_θ，前向过程从第0步开始向y添加噪声，每步骤添加的噪声∈作为训练标签；网络输入为原图x、步骤t与叠加了噪声的y_t，预测该步骤的噪声f_θ(x，y_t，t)，计算损失和梯度并优化网络权重。逆向过程则从第T步开始，y_T为随机采样高斯噪声，每步利用网络预测该步骤的噪声f_θ(x，y_t，t)，并从y_t中减去该噪声，最终得到期望的增强图像

步骤5、利用训练后的低照度图像增强模型对低照度图像进行增强。

实施例

结合图1，一种基于深度学习的面向空间卫星低照度图像增强方法，包括以下步骤：

步骤1、模拟卫星所处的太空光照环境，并基于UR3优傲机械臂模拟卫星运动，具体为：

将1:35北斗卫星模型设置在机械臂末端，周围布设纯黑色吸光背景布模拟太空背景，采用LED灯模拟地球漫反射光源，本实施例中的数据采集平台如图2所示；

步骤2、结合图3，控制机械臂进行姿态调整，基于Real sense D435相机获取不同曝光下的Bayer阵列数据，具体为：

步骤2-1、上位机与UR3机械臂通信，控制机械臂进行姿态调整，具体为：

上位机通过socket通信包向机械臂发送指令，在机械臂工作空间随机采样一个姿态并使机械臂到达指定姿态，机械臂的初始姿态为q⁽⁰⁾，机械臂搭载卫星绕末端坐标系的z轴做自旋运动，由于机械臂末端关节旋转角度无限制，则第i个状态对应的机械臂关节向量q⁽ⁱ⁾为：

其中，n为卫星自旋一周过程中所采样的样本数量，N为机械臂的关节数，为机械臂第k个关节姿态。

本实施例中的机械臂共6个关节，则第i个状态对应的机械臂关节向量q⁽ⁱ⁾为：

步骤2-2、对机械臂的每个姿态状态分别采集短曝光和长曝光下的卫星Bayer阵列数据，通过RealsenseSDK2.0的python包装器pyrealsense2获取相机曝光设置接口，每个状态分别采集曝光较长和曝光较短的两张图像作为输入图像和参考图像，本实施例中的卫星自旋每间隔10°采集，n为36，曝光时长分别为156微秒和1248微秒下的Bayer阵列；

步骤3、对步骤2获取的Bayer阵列数据进行数据预处理，获取数据集，具体为：

步骤3-1、将获取的短、长曝光下的Bayer阵列数据转化为RGB图像：

基于双线性插值，通过计算领域像素的均值得到缺失的通道值；

结合图4，Bayer阵列数据中第i列第j行的值为I_i，j，则RGB图像中对应的像素三元组为T_i，j＝(R，G，B)；

当I_i，j为红色通道时，T_i，j的R即为I_i，j，而G，B分别由Bayer阵列中I_i，j邻域的四个绿色通道与蓝色通道计算得到：

当I_i，j为蓝色通道时，T_i，j的B即为I_i，j，则R，G分别由Bayer阵列中I_i，j邻域的四个红色通道与绿色通道计算得到：

当I_i，j为绿色通道且I_i，j-1为红色通道时，此时Bayer阵列I_i，j邻域中只有两个红色通道与绿色通道，则：

当I_i，j为绿色通道且I_i，j-1为蓝色通道时，则：

步骤3-2、将RGB图像转化为灰度图像；

步骤3-3、对图像进行中心剪裁，得到相同大小的m对图像数据，并按一定比例划分得到训练集和测试集。

本实施例中，最终得到720对大小为256×256配对图像数据，按9:1划分为训练集和测试集，其中本实施例中获取及预处理后的的Bayer阵列、RGB图和最终的数据集如图5-7所示。

步骤4、构建低照度图像增强模型，并利用数据集进行训练：

针对低照度图像增强任务，设计用于图像到图像的扩散模型网络结构，引入变分分布，求解后验概率似然函数的常变分界，设计训练目标，

步骤4-1、低照度图像增强模型使用Unet基本结构，包括三次下采样和三次上采样，得到数据在不同尺度的特征，通过特征拼接增加上采样的可用信息；每层采样前的残差网络融合了第t扩散步的正弦位置编码信息，并在网络中间层添加了线性注意力机制模块，来训练网络根据扩散步骤进行预测的能力；

步骤4-2、确定模型的损失函数：

定义网络输入低照度图像与配对的高照度图像为(x，y)，模型前向过程向高照度图像逐步加入T步高斯噪声，直到使之变为各向同性的二维高斯噪声，定义第t步的高照度图像为y_t，y₀＝y，T个噪声权重0＜β₁＜β₂＜...＜β_T＜＜1，则从t-1到t的过程的先验概率为：

则构成一个马尔科夫链，并且在任意时刻t的样本y_t都可以用闭式解表示，令α_t＝1-β_t，则：

且给定y₀的y_1：T的联合概率分布为

前项过程不含可学习参数，由于前向过程中的噪声权重均远小于1，可以假设p(y_t-1|y_t)符合高斯分布，为了在逆向过程中从噪声一步步恢复原始数据，则需要求解后验概率p(y_t-1|y_t)，

但后验概率需要对所有参数求积分，很难找到闭式解，因此引入变分分布用于近似真实后验分布，引入变分分布q(y_1：T|y₀)，经推导可得负对数似然函数的常变分界表示如下：

其中D_KL为两个概率分布差别的非对称性度量经推导可得，不等式左侧为交叉熵，右侧为变分界，记为L，

第一项不含可估计参数，则优化目标为减少第二项中两个概率分布q(y_t-1|y_t，y₀)与p_θ(y_t-1|y_t)的差别，p_θ(y_t-1|y_t)为待估计的分布，q(y_t-1|y_t，y₀)为有偏高斯分布，可用公式表示为

其中

则均值为：

其中∈为随机采样的标准高斯噪声，假设后验概率p_θ的标准差为常数，即等于后验条件概率q的标准差为了使q尽可能地拟合p_θ，则损失函数为：

将式(1.14)代入式(1.15)，可得

忽略常系数，则低照度图像增强模型的损失函数为网络预测的噪声与前项过程采样的随机噪声之间的l₂范数：||∈-f_θ(x，y_t，t)||²；

步骤4-3、基于步骤3的数据集对低照度图像增强模型进行训练：

根据步骤4-2得到的损失函数，采用步骤4-1中的Unet网络，记网络为f_θ，前向过程从第0步开始向y添加噪声，每步骤添加的噪声∈作为训练标签；网络输入为原图x、步骤t与叠加了噪声的y_t，预测该步骤的噪声f_θ(x，y_t，t)，计算损失和梯度并优化网络权重。逆向过程则从第T步开始，y_T为随机采样高斯噪声，每步利用网络预测该步骤的噪声f_θ(x，y_t，t)，并从y_t中减去该噪声，最终得到期望的增强图像

步骤5、利用训练后的低照度图像增强模型对低照度图像进行增强。

本实施例中，网络结构如图所示，网络训练的超参数设置如下表

训练集

测试集

ep

bs

lr

s

设置

648

72

150

4

0.0001

8×10-3

基于pytorch框架构建深度学习模型，训练150个纪元的损失曲线如图8所示，在测试集上的低照度增强结果如图9所示。从图8可以看出网络训练平稳，损失逐渐收敛至1×10^-4数量级，训练效果在数值上十分理想。图9结果表明实施例中采用的方法实现了从肉眼不可辨别的低照度图像恢复清晰的正常照度图像，实现了针对空间目标的低照度图像增强。

本发明首先为了提高数据集的质量，针对空间环境特殊的光照条件搭建数据集采集平台，采集无损Bayer阵列数据；为节约数据采集的人力成本，通过上位机控制机械臂与相机实现自动化数据采集；为提高训练效率和稳定性，提升低照度图像增强效果，提出基于扩散模型的深度学习方法。实验结果表明，网络训练平稳，损失函数迅速收敛；训练结束后，网络在测试集上取得了明显的增强效果，验证了本发明的有效性。

以上实施例显示和描述了本发明的基本原理、主要特征。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (9)

1.一种基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，包括以下步骤：

步骤1、模拟卫星所处的太空光照环境，并基于机械臂模拟卫星运动；

步骤2、控制机械臂进行姿态调整，基于相机获取不同曝光下的Bayer阵列数据；

步骤3、对步骤2获取的Bayer阵列数据进行数据预处理，获取数据集；

步骤4、构建低照度图像增强模型，并利用数据集进行训练；

步骤5、利用训练后的低照度图像增强模型对低照度图像进行增强。

2.根据权利要求1所述的基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，所述步骤1中的模拟太空光照以及卫星运动，具体为：

将卫星模型设置在机械臂末端，周围布设纯黑色吸光背景布模拟太空背景，采用LED灯模拟地球漫反射光源。

3.根据权利要求1所述的基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，所述步骤2中的基于相机获取不同曝光下的卫星Bayer阵列数据，具体为：

步骤2-1、控制机械臂进行姿态调整；

步骤2-2、对机械臂的每个姿态状态分别采集短曝光和长曝光下的卫星Bayer阵列数据。

4.根据权利要求3所述的基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，所述步骤2-1中的机械臂的姿态调整，具体为：

机械臂的初始姿态为g⁽⁰⁾，机械臂搭载卫星绕末端坐标系的g轴做自旋运动，则第i个状态对应的机械臂关节向量q⁽ⁱ⁾为：

其中，n为卫星自旋一周过程中所采样的样本数量，N为机械臂的关节数。

5.根据权利要求1所述的基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，所述步骤3中的获取数据集，具体为：

步骤3-1、将获取的短、长曝光下的Bayer阵列数据转化为RGB图像；

步骤3-2、将RGB图像转化为灰度图像；

步骤3-3、对图像进行中心剪裁，得到相同大小的m对图像数据，并按一定比例划分得到训练集和测试集。

6.根据权利要求5所述的基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，所述步骤3-1中的将Bayer阵列数据转化为RGB图像，具体为：

基于双线性插值，通过计算领域像素的均值得到缺失的通道值；

Bayer阵列数据中第i列第j行的值为I_i,j，则RGB图像中对应的像素三元组为T_i，j＝(R，G,B)；

当I_i,j为红色通道时，T_i,j的R即为I_i，j，而G，B分别由Bayer阵列中I_i,j邻域的四个绿色通道与蓝色通道计算得到：

当I_i,j为蓝色通道时，T_i，j的B即为I_i,j，则R，G分别由Bayer阵列中I_i,j邻域的四个红色通道与绿色通道计算得到：

当I_i,j为绿色通道且I_i,j-1为红色通道时，此时Bayer阵列I_i，j邻域中只有两个红色通道与绿色通道，则：

当I_i,j为绿色通道且I_i，j-1为蓝色通道时，则：

7.根据权利要求1所述的基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，所述步骤4中的构建低照度图像增强模型并进行训练，具体为：

步骤4-1、低照度图像增强模型使用Unet基本结构，包括三次下采样和三次上采样，得到数据在不同尺度的特征，通过特征拼接增加上采样的可用信息；每层采样前的残差网络融合了第t扩散步的正弦位置编码信息，并在网络中间层添加了线性注意力机制模块，来训练网络根据扩散步骤进行预测的能力；

步骤4-2、确定模型的损失函数；

步骤4-3、基于步骤3的数据集对低照度图像增强模型进行训练。

8.根据权利要求7所述的基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，所述步骤4-2中的损失函数具体为：

定义网络输入低照度图像与配对的高照度图像为(x，y)，模型前向过程向高照度图像逐步加入T步高斯噪声，直到使之变为各向同性的二维高斯噪声，定义第t步的高照度图像为y_t，y₀＝y，T个噪声权重0＜β₁＜β₂＜...＜β_T＜＜1，则从t-1到t的过程的先验概率为：

则构成一个马尔科夫链，并且在任意时刻t的样本y_t都可以用闭式解表示，令α_t＝1-β_t，则：

且给定y₀的y_1：T的联合概率分布为

前项过程不含可学习参数，由于前向过程中的噪声权重均远小于1，可以假设p(y_t-1|y_t)符合高斯分布，为了在逆向过程中从噪声一步步恢复原始数据，则需要求解后验概率p(y_t-1|y_t)，

但后验概率需要对所有参数求积分，很难找到闭式解，因此引入变分分布用于近似真实后验分布，引入变分分布q(y_1：T|y₀)，经推导可得负对数似然函数的常变分界表示如下：

其中D_KL为两个概率分布差别的非对称性度量经推导可得，不等式左侧为交叉熵，右侧为变分界，记为L，

第一项不含可估计参数，则优化目标为减少第二项中两个概率分布q(y_t-1|y_t，y₀)与p_θ(y_t-1|y_t)的差别，p_θ(y_t-1|y_t)为待估计的分布，q(y_t-1|y_t，y₀)为有偏高斯分布，可用公式表示为

其中

则均值为：

其中∈为随机采样的标准高斯噪声，假设后验概率p_θ的标准差为常数，即等于后验条件概率q的标准差为了使q尽可能地拟合p_θ，则损失函数为：

将式(1.14)代入式(1.15)，可得

忽略常系数，则低照度图像增强模型的损失函数为网络预测的噪声与前项过程采样的随机噪声之间的l₂范数：||∈-f_θ(x，y_t，t)||²。

9.根据权利要求7所述的基于深度学习的面向空间卫星低照度图像增强方法，其特征在于，所述步骤4-3中的低照度图像增强模型的训练，具体为：

记网络为f_θ，前向过程从第0步开始向y添加噪声，每步骤添加的噪声∈作为训练标签；网络输入为原图x、步骤t与叠加了噪声的y_t，预测该步骤的噪声f_θ(x，y_t，t)，计算损失和梯度并优化网络权重。