CN108346133A - 一种面向视频卫星超分辨率重建的深度学习网络训练方法 - Google Patents

一种面向视频卫星超分辨率重建的深度学习网络训练方法 Download PDF

Info

Publication number
CN108346133A
CN108346133A CN201810214943.2A CN201810214943A CN108346133A CN 108346133 A CN108346133 A CN 108346133A CN 201810214943 A CN201810214943 A CN 201810214943A CN 108346133 A CN108346133 A CN 108346133A
Authority
CN
China
Prior art keywords
resolution
image
deep learning
super
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810214943.2A
Other languages
English (en)
Other versions
CN108346133B (zh
Inventor
王中元
陈丹
江奎
易鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810214943.2A priority Critical patent/CN108346133B/zh
Publication of CN108346133A publication Critical patent/CN108346133A/zh
Application granted granted Critical
Publication of CN108346133B publication Critical patent/CN108346133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

本发明公开了一种面向视频卫星超分辨率重建的深度学习网络训练方法，首先，构建由高分辨率静态卫星影像组成的训练样本集，然后构建面向超分辨重建的CNN网络结构和设置网络训练参数，最后建立深度CNN训练的损失函数。本发明方法顾及了目标边缘和像素灰度值对重建误差度量的影响程度，因而改善了深度CNN网络的训练效果，最终促进了基于深度学习的图像超分辨率方法性能的提升。

Description

一种面向视频卫星超分辨率重建的深度学习网络训练方法
技术领域
本发明属于机器学习技术领域，涉及一种深度学习网络训练方法，具体涉及一种面向视频卫星超分辨率重建的深度学习网络训练方法。
技术背景
近年来兴起的视频卫星通过采集连续的动态视频，为大型动态目标的实时观测提供了有效手段，从而极大地弥补了传统的遥感卫星动态观测能力的不足。视频卫星时间分辨率的提升是以牺牲空间分辨率为代价，一般而言，视频卫星的空间分辨率要低于同期的执行静态或序列影像作业的遥感卫星。例如，我国“吉林一号”上光学星的静态影像的地面分辨率达到0.72米，而视频星的动态视频的地面分辨率只有1.12米。因此，通过超分辨率技术提高视频卫星影像的空间分辨率具有重要的科学和应用价值。
近年来，多个领域获得成功应用的深度学习技术被引入图像的超分辨率重建中，取得了比传统的字典学习方法更好的效果。典型的基于深度卷积神经网络(CNN)的超分辨率方法通过大量图像样本训练一个CNN模型，然后将待超分的低分辨率观测图像输入模型，从而预测出一幅高分辨率图像作为输出结果。训练样本由低分辨率/高分辨率图像对构成，在对应的高分辨率图像的监督下，CNN网络对低分辨率图像不断地执行迭代计算，直到生成的重建图像与监督图像之间的误差小于容允门限。这种重建图像与监督图像之间误差的度量方式在深度学习中被称为损失函数，也即深度学习网络训练的优化目标函数。损失函数在深度学习中起着至关重要的作用，它是继网络结构外对学习性能影响最大的因素，不同的损失函数定义方式会带来完全不同的深度学习效果。
现有的基于深度CNN的超分辨率方法，将重建图像和监督图像的最小均方误差(MSE)作为损失函数。这种损失函数的定义方式尽管计算简单，但在视频卫星的超分辨率应用场合，同时也存在明显的局限。首先，它没有对卫星影像中地物目标的边缘给予特殊考虑，而实际上，加强不同类型地物边缘轮廓的清晰度对于卫星影像的判读具有更大价值。其次，根据亮度掩蔽效应，不同灰度级的像素允许的可察觉失真(或重建误差)是不一样的，灰度值越高的像素容允更大的失真，反之亦然；但常规的MSE误差度量函数计算的是绝对误差，并没有考虑像素本身灰度的相对影响。因此，有必要为CNN的训练过程构造更合理的损失函数，以提高基于深度CNN的图像超分辨率性能。
发明内容
为了解决上述技术问题，本发明提供了一种面向视频卫星超分辨率重建的深度学习网络训练方法。
本发明所采用的技术方案是：一种面向视频卫星超分辨率重建的深度学习网络训练方法，其特征在于，包括以下步骤：
步骤1：构建由高分辨率静态卫星影像组成的训练样本集；
步骤2：构建面向超分辨重建的CNN网络结构和设置网络训练参数；
步骤3：建立深度CNN训练的损失函数。
本发明提出的边缘增强和灰度掩蔽的MSE损失函数，顾及了目标边缘和像素灰度值在重建误差度量中的影响，因而改善了深度CNN网络的训练效果，最终促进了基于深度学习图像超分辨率方法性能的提升。具体而言，本发明具有以下优点和积极效果：
(1)通过强化目标边缘重建误差在损失函数中的比重，使得网络训练过程倾向于维持放大图像中目标边缘的保真度；
(2)通过引入灰度加权掩蔽项，度量灰度归一化后的相对误差而非绝对误差，使得失真更符合人眼的主观感知，因而在同等总体误差下失真不易被察觉。
附图说明
图1：本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
视频卫星的动态视频存在固有的空间分辨率不足和模糊的局限，采用其自身的影像作为训练样本无法提供充足的高频信息，严重制约了重建高分辨率图像的细节还原程度。相比于动态卫星视频，在同样的传感器采样和信道传输吞吐量的条件下，静态卫星影像的空间分辨率要高得多、地物细节更为丰富。因此，采用空间分辨率更高的静态卫星影像代替动态视频作为视频卫星超分辨率重建的训练样本。
现有的基于深度CNN的训练中，采用重建图像和监督图像的最小均方误差MSE作为损失函数。这种度量方式将目标的边缘和平坦区域同等对待，不利于突出目标的边缘轮廓；此外，只是简单地对不同灰度级的重建误差进行累加，也有违灰度级高的像素允许更大的处理失真的亮度掩蔽规律。因此，本实施例提出边缘增强的加权MSE损失函数作为深度学习网络训练的优化目标。该损失函数在度量重建误差时，一方面强化边缘的误差而弱化非边缘的平坦区域的误差；另一方面，对误差进行灰度掩蔽加权，度量灰度归一化后的相对误差。具体实施上，利用边缘提取算子将图像转化为边缘图像，度量边缘图像的重建误差；同时，将每个像素的重建误差除以像素自身的灰度，抵消灰度值的影响。
请见图1，本发明提供的一种面向视频卫星超分辨率重建的深度学习网络训练方法，包括以下步骤：
步骤1：构建由高分辨率静态卫星影像组成的训练样本集；
步骤1.1：选择空间分辨率优于预设阈值M(本实施例取0.5米)的高分辨率卫星图像(如0.31米的WorldView-3)，数量大于预设阈值N(本实施例为五百幅以上)，作为高分辨率图像块；
步骤1.2：将每幅图像均匀切分成kxk,k为预设阈值(本实施例取128x128)像素的图像块，得到十万数量级以上的图像块；
步骤1.3：将每个图像块采用高斯核函数进行模糊处理，然后将边长缩小L倍，L为预设阈值(本实施例取1倍)，得到下采样的图像块，作为低分辨率图像块；
步骤1.4：将上述形成的高低分辨率图像块样本对，分别作为训练算法的输入图像(低分辨率图像块)和监督图像(高分辨率图像块)。
步骤2：构建面向超分辨重建的CNN网络结构和设置网络训练参数；
为获得训练速度和精度的平衡，本步骤包含如下要点：
(1)CNN网络由3层构成，每层的节点数分别为64,32,1；
(2)头两层的学习速率设为10-4，最后一层设为10-5。
步骤3：建立深度CNN训练的损失函数，体现边缘增强和灰度掩蔽的思想；
本实施例的深度CNN训练的损失函数定义如下：
令{Xi，Yi}为训练样本对，其中Xi是低分辨率输入图像，Yi是高分辨率监督图像。Zi是深度学习网络重建后的高分辨率图像。对于n个训练样本，加权MSE损失函数定义为：
这里||.||2为矩阵的L-2范数，用于灰度加权掩蔽的除法运算为逐像素操作的点除运算。
边缘增强的加权MSE损失函数定义为：
这里F()为边缘增强算子。
总体损失函数由上述二者加权组成，即
L＝wL1+(1-w)L2
这里w为加权系数，实践中根据实验结果确定。
边缘增强算子F()的操作过程规定如下：
对输入图像用Canny算子提取边缘，得到二值化的边缘图像，然后将输入图像乘以二值化的边缘图像，得到增强后的边缘图像，也即将目标的边缘部分保留图像的原有像素值，而非边缘部分的像素值置为零。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种面向视频卫星超分辨率重建的深度学习网络训练方法，其特征在于，包括以下步骤：
步骤1：构建由高分辨率静态卫星影像组成的训练样本集；
步骤2：构建面向超分辨重建的CNN网络结构和设置网络训练参数；
步骤3：建立深度CNN训练的损失函数。
2.根据权利要求1所述的面向视频卫星超分辨率重建的深度学习网络训练方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：选择空间分辨率优于预设阈值M的高分辨率卫星图像，数量大于预设阈值N，作为高分辨率图像块；
步骤1.2：将每幅图像均匀切分成kxk像素的图像块，得到若干图像块；其中k为预设阈值；
步骤1.3：将每个图像块采用高斯核函数进行模糊处理，然后将边长缩小L倍，L为预设阈值，得到下采样的图像块，作为低分辨率图像块；
步骤1.4：将上述形成的低分辨率图像块和高分辨率图像块样本对，分别作为训练算法的输入图像和监督图像。
3.根据权利要求1所述的面向视频卫星超分辨率重建的深度学习网络训练方法，其特征在于：步骤2中，CNN网络由3层构成，每层的节点数分别为64、32、1；CNN网络的头两层的学习速率设为10-4，最后一层设为10-5。
4.根据权利要求1所述的面向视频卫星超分辨率重建的深度学习网络训练方法，其特征在于，步骤3中所述深度CNN训练的损失函数定义如下：
令{Xi，Yi}为训练样本对，其中Xi是低分辨率输入图像，Yi是高分辨率监督图像；Zi是深度学习网络重建后的高分辨率图像；对于n个训练样本，加权MSE损失函数定义为：
这里||.||2为矩阵的L-2范数，用于灰度加权掩蔽的除法运算为逐像素操作的点除运算；
边缘增强的加权MSE损失函数定义为：
这里F()为边缘增强算子；
总体损失函数由上述二者加权组成，即：
L＝wL1+(1-w)L2
这里w为加权系数，实践中根据实验结果确定。
5.根据权利要求4所述的面向视频卫星超分辨率重建的深度学习网络训练方法，其特征在于：所述边缘增强算子F()，对输入图像用Canny算子提取边缘，得到二值化的边缘图像，然后将输入图像乘以二值化的边缘图像，得到增强后的边缘图像，也即将目标的边缘部分保留图像的原有像素值，而非边缘部分的像素值置为零。
CN201810214943.2A 2018-03-15 2018-03-15 一种面向视频卫星超分辨率重建的深度学习网络训练方法 Active CN108346133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810214943.2A CN108346133B (zh) 2018-03-15 2018-03-15 一种面向视频卫星超分辨率重建的深度学习网络训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810214943.2A CN108346133B (zh) 2018-03-15 2018-03-15 一种面向视频卫星超分辨率重建的深度学习网络训练方法

Publications (2)

Publication Number Publication Date
CN108346133A true CN108346133A (zh) 2018-07-31
CN108346133B CN108346133B (zh) 2021-06-04

Family

ID=62957621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810214943.2A Active CN108346133B (zh) 2018-03-15 2018-03-15 一种面向视频卫星超分辨率重建的深度学习网络训练方法

Country Status (1)

Country Link
CN (1) CN108346133B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525859A (zh) * 2018-10-10 2019-03-26 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN110334807A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质
CN111046893A (zh) * 2018-10-12 2020-04-21 富士通株式会社 图像相似性确定方法和装置、图像处理方法和装置
CN111489292A (zh) * 2020-03-04 2020-08-04 北京思朗科技有限责任公司 视频流的超分辨率重建方法及装置
CN111523392A (zh) * 2020-03-26 2020-08-11 北京航天自动控制研究所 一种基于卫星正射影像全姿态的深度学习样本制备方法及识别方法
CN112508786A (zh) * 2020-12-03 2021-03-16 武汉大学 面向卫星图像的任意尺度超分辨率重建方法及系统
CN112907443A (zh) * 2021-02-05 2021-06-04 深圳市优象计算技术有限公司 一种面向卫星相机的视频超分辨率重建方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132146A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Visual processing using sub-pixel convolutions
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106960416A (zh) * 2017-03-20 2017-07-18 武汉大学 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132146A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Visual processing using sub-pixel convolutions
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106960416A (zh) * 2017-03-20 2017-07-18 武汉大学 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢昱璇: "基于卷积神经网络的图像超分辨率重建及其视觉改进", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
黄冬冬: "基于深度学习的图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525859B (zh) * 2018-10-10 2021-01-15 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN109525859A (zh) * 2018-10-10 2019-03-26 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN111046893A (zh) * 2018-10-12 2020-04-21 富士通株式会社 图像相似性确定方法和装置、图像处理方法和装置
CN111046893B (zh) * 2018-10-12 2024-02-02 富士通株式会社 图像相似性确定方法和装置、图像处理方法和装置
CN110334807A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质
CN110334807B (zh) * 2019-05-31 2021-09-28 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质
CN111489292B (zh) * 2020-03-04 2023-04-07 北京集朗半导体科技有限公司 视频流的超分辨率重建方法及装置
CN111489292A (zh) * 2020-03-04 2020-08-04 北京思朗科技有限责任公司 视频流的超分辨率重建方法及装置
CN111523392A (zh) * 2020-03-26 2020-08-11 北京航天自动控制研究所 一种基于卫星正射影像全姿态的深度学习样本制备方法及识别方法
CN111523392B (zh) * 2020-03-26 2023-06-06 北京航天自动控制研究所 一种基于卫星正射影像全姿态的深度学习样本制备方法及识别方法
CN112508786A (zh) * 2020-12-03 2021-03-16 武汉大学 面向卫星图像的任意尺度超分辨率重建方法及系统
CN112508786B (zh) * 2020-12-03 2022-04-29 武汉大学 面向卫星图像的任意尺度超分辨率重建方法及系统
CN112907443B (zh) * 2021-02-05 2023-06-16 深圳市优象计算技术有限公司 一种面向卫星相机的视频超分辨率重建方法及系统
CN112907443A (zh) * 2021-02-05 2021-06-04 深圳市优象计算技术有限公司 一种面向卫星相机的视频超分辨率重建方法及系统

Also Published As

Publication number Publication date
CN108346133B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN108346133A (zh) 一种面向视频卫星超分辨率重建的深度学习网络训练方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN104008538B (zh) 基于单张图像超分辨率方法
Fan et al. Multiscale low-light image enhancement network with illumination constraint
KR102022812B1 (ko) 이미지 콘트라스트 보강방법
CN107590791B (zh) 图像增强方法以及图像处理装置
JP6126121B2 (ja) 非局所的超解像再構成の方法及び装置
CN109033945B (zh) 一种基于深度学习的人体轮廓提取方法
WO2019242329A1 (zh) 一种卷积神经网络训练方法及装置
WO2021114564A1 (zh) 一种低对比度红外图像的增强方法
Chen et al. Single image super-resolution using deep CNN with dense skip connections and inception-resnet
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN104574328A (zh) 一种基于直方图分割的彩色图像增强方法
CN109389569A (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN104036493A (zh) 一种基于多重分形谱的无参考图像质量评价方法
CN115330646B (zh) 一种用于健身器材喷漆工艺的金属构件检查方法
Wang et al. Low-light image enhancement based on virtual exposure
Yingnan et al. A generative image inpainting network based on the attention transfer network across layer mechanism
Dwivedi et al. Single image dehazing using extended local dark channel prior
CN107369138B (zh) 基于高阶统计模型的图像最优化显示方法
CN112907441A (zh) 一种基于地下水卫星图像超分辨率的空间降尺度方法
CN103839231A (zh) 一种基于人眼视觉最小探测概率最大化的图像增强方法
CN114565537B (zh) 一种基于局部信息熵的红外成像装置
Lan et al. Online knowledge distillation network for single image dehazing
CN110211122A (zh) 一种检测图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant