CN110895790A - 基于后验降质信息估计的场景图像超分辨方法 - Google Patents
基于后验降质信息估计的场景图像超分辨方法 Download PDFInfo
- Publication number
- CN110895790A CN110895790A CN201910967484.XA CN201910967484A CN110895790A CN 110895790 A CN110895790 A CN 110895790A CN 201910967484 A CN201910967484 A CN 201910967484A CN 110895790 A CN110895790 A CN 110895790A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- network
- super
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000015556 catabolic process Effects 0.000 title claims abstract description 12
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 241000287196 Asthenes Species 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种获取真实场景成像过程参数的方法，给出一种利用所获取到的真实场景的成像过程参数实现的基于后验降质信息估计的场景图像超分辨方法及电子设备。基于后验降质信息估计的场景图像超分辨方法包括以下步骤：创建图像超分辨网络，网络共由多个残差网络块串联组成，并在最后通过连接两个反卷积层实现上采样功能；将高清图像数据集，做模糊操作并做下采样，得到低分辨训练数据集；将低分辨训练数据集的图像作为图像超分辨网络的输入，训练完成后保存网络的参数和结构；将目标场景其他需要超分辨的低质量图像或视频作为训练好的图像超分辨网络的输入，输出则是所需要的质量更佳的高分辨图像或视频。
Description
技术领域
本发明涉及一种基于卷积神经网络的图像超分辨算法，涉及一种基于网格参数搜索的实际场景模糊核估计算法。
背景技术
图像已成为现代生活中信息展示和传播的一个非常重要的载体，因此相关算法的研究也受到国内外学者们的广泛重视，衍生出很多重要的分支方向。超分辨技术由于其蕴含巨大的商业价值，近些年发展成为了计算机视觉领域一个国际热点课题。超分辨技术重点解决低分辨率图像(low-resolution,简称LR)还原或重建其对应的高分辨率图像(high-resolution,简称HR)，这是一个典型的病态问题。针对图像超分辨率重建的病态问题，学者们提出了一些较为有效的解决方案。
目前主流的超分辨算法都是基于深度学习技术实现的。2014年香港中文大学的Dong首次将深度学习中的卷积神经网络(CNN)引入到单张图片的超分辨重建的问题上。该方案通过引入三层卷积神经网络学习低分辨图像和高分辨图像之间的非线性关系，进而取得了超越经典算法的效果。2016年Kim等人提出的VDSR算法用一个层数更多的卷积神经网络来学习低分辨图片和高分辨图片之间的映射关系，并通过在网络中加入超连接避免训练中的梯度消失问题。同年提出的SRGAN算法，通过在算法中引入生成对抗网络并利用感知损失加强了重构图像的高频细节进而还原真实感。在2017年提出的EDSR和SRDenseNet利用超分辨网络中层级的串联结构缓解了梯度消失问题，增强了特征传播并且减少了网络中参数的数量，进而显著的提高了算法的效果。
虽然CNN在超分辨率重建中取得超越非深度学习算法的效果。然而，现有的基于CNN的超分辨算法在训练过程中，低分辨率图像往往是通过从高分辨率6遵循双三次下采样的假设，因此不可避免的学习到不恰当的映射关系而产生较差的重构效果。
发明内容
本针对现有基于CNN算法存在的问题，本发明设计了一种基于后验降质信息估计的超分辨算法。本发明旨在对实际场景的图像进行超分辨操作时，通过获取现场实际的图像降质信息并将该信息集成到超分辨算法中来提升网络的效果，技术方案如下：
一种获取真实场景成像过程参数的方法，包括下列步骤：
1)通过待标定摄像头在距离光学标定板L米的位置获取低分辨图像YLR，在距离光学标定板T米的位置获取高分辨率图像YHR，其中L＞T；
2)创建集合G，集合G中包含多种参数下的各向同性的高斯核，每个高斯核记做Gk,σ，其中每个Gk,σ中的k代表高斯核的宽度；σ代表高斯核的方差；
3)创建集合Y，集合Y中的每一张
是对步骤1)中的高分辨率图像YHR通过步骤2)集合G的每一个高斯核Gk,σ做模糊处理，之后做L/T倍的下采样得到的；
4)对步骤3)创建的集合Y中包含的每一张图像计算模糊程度Sk,σ，并依照Sk,σ寻找到与步骤1)中低分辨率图像YLR的模糊程度SLR最接近的图像，该图像记为
其中模糊程度的计算方式如下：
其中Sk,σ代表步骤3)的集合Y中每一张图像的模糊程度；SLR代表步骤1)中低分辨率图像YLR的模糊程度；
表示卷积操作；lap表示拉普拉斯卷积核；Var表示对目标图像的像素值求取方差值；
5)步骤4)中得到的图像
对应的高斯核
即为真实场景成像的过程参数。
优选地，步骤2)中，k取值为3，5，7；σ的取值范围为[0,3]，取值间隔为0.1，最终的集合G共包含90个高斯核Gk,σ。
此外，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任意一项所述的方法步骤。
本发明同时提供一种利用所获取到的真实场景的成像过程参数处理训练集的基于后验降质信息估计的场景图像超分辨方法，包括以下步骤：
1)创建图像超分辨网络，网络共由多个残差网络块串联组成，并在最后通过连接两个反卷积层实现上采样功能。
2)将高清图像数据集，记做IHR，用
做模糊操作并做L/T倍的下采样，得到低分辨训练数据集
3)将低分辨训练数据集
中的每一张图像定义为
将
作为步骤1)创建的图像超分辨网络的输入，输出图像为
高清图像数据集IHR中的每一张图像定义为
然后通过联合
作为输入，
作为标签来训练步骤1)的图像超分辨网络，训练完成后保存网络的参数和结构，其中损失函数如下：
4)将目标场景其他需要超分辨的低质量图像或视频作为步骤3)训练好的图像超分辨网络的输入，输出则是所需要的质量更佳的高分辨图像或视频。
本发明所设计的基于后验降质信息估计的实际场景超分辨算法，相比于传统的深度学习卷积超分辨模型能更好的利用实际场景的降质信息并将该信息集成到网络的训练中去。基于该方案训练的模型能够更好的适应复杂场景成像结果的超分辨，在抗噪性，重构精确度方面都有着显著的提升。本发明所设计的模型可广泛的用于来源于实际场景的不同领域的影像处理，尤其是在监控录像超分辨方面，本发明可以充分的考虑现场的信息使复原出的影像具有更多的高频细节，使得图片可读性更佳。
附图说明
图1为标定所使用的棋盘格光学标定板
图2为标定系统的图示
图3为拉普拉斯卷积核，用于对图像进行高频滤波操作
图4为本发明设计的超分辨卷积神经网络结构图
表1为本发明所设计的超分辨卷积神经网络的参数表
图5为本发明的算法对同一个场景的影像进行超分辨的结果，三幅图像分别为：原始低分辨图像，双三次插值算法的结果和本发明的结果
具体实施方式
为使本发明的技术方案更加清楚，下面结合实例与附图对本专利的基于后验降质信息估计的实际场景超分辨算法的具体实施方案做出详细说明，具体如下：
1.一种获取真实场景成像过程参数的方法，包括下列步骤：
1)用图1所示棋盘格光学标定板(400mm×300mm)作为标定板对真实场景的摄像头做降质标定，即通过待标定摄像头在距离光学标定板L米的位置获取低分辨图像YLR，在距离光学标定板T米的位置获取高分辨率图像YHR，其中L＞T。图2为标定过程的示意图；
2)创建集合G，集合G中包含多种参数下的各向同性的高斯核。每个高斯核记做Gk,σ。其中每个Gk,σ中的k代表高斯核的宽度，k取值为3，5，7；σ代表高斯核的方差，σ的取值范围为[0,3]，取值间隔为0.1，最终的集合G共包含90个高斯核Gk,σ；
3)创建集合Y，集合Y中共包含90张图像
其中每一张
是对步骤1)中的高分辨率图像YHR通过步骤2)中集合G的每一个高斯核Gk,σ做模糊处理，再做L/T倍的下采样得到的；
4)对步骤3)创建的集合Y中包含的每一张图像计算模糊程度Sk,σ，并依照Sk,σ寻找到与步骤1)中低分辨率图像YLR的模糊程度SLR最接近的图像，该图像记为
其中模糊程度的计算方式如下：
其中Sk,σ代表步骤3)的集合Y中每一张图像的模糊程度；SLR代表步骤1)中低分辨率图像YLR的模糊程度；
表示卷积操作；lap表示拉普拉斯卷积核，具体参数由图3给出；Var表示对目标图像的像素值求取方差值；
5)由步骤4)中得到的图像
对应的高斯核
即为真实场景成像的过程参数；
2.一种利用所获取到的真实场景的成像过程参数处理训练集来训练超分辨网络的方法，包括以下步骤：
1)创建图像超分辨网络，网络共由十个残差网络块串联组成，并在最后通过连接两个反卷积层实现上采样功能，网络的具体结构和参数由图4和表1给出。
2)将高清图像数据集(记做IHR)用
做模糊操作并做L/T倍的下采样，得到低分辨训练数据集
3)将低分辨训练数据集
中的每一张图像定义为
将
作为步骤1)创建的图像超分辨网络的输入，输出图像为
将高清图像数据集IHR中的每一张图像定义为
之后通过联合
作为输入，
作为标签来训练步骤1)的图像超分辨网络，训练完成后保存网络的参数和结构，其中损失函数如下：
4)将目标场景其他需要超分辨的低质量图像或视频作为步骤3)训练好的图像超分辨网络的输入，输出则是所需要的质量更佳的高分辨图像或视频。图5为本发明对实际场景图像进行超分辨的结果，可以看出本方法在复杂场景下对图像的超分辨效果优于其他传统算法。
表1
Claims (4)
1.一种获取真实场景成像过程参数的方法，包括下列步骤：
1)通过待标定摄像头在距离光学标定板L米的位置获取低分辨图像YLR，在距离光学标定板T米的位置获取高分辨率图像YHR，其中L＞T。
2)创建集合G，集合G中包含多种参数下的各向同性的高斯核，每个高斯核记做Gk,σ，其中每个Gk,σ中的k代表高斯核的宽度；σ代表高斯核的方差；
3)创建集合Y，集合Y中的每一张
是对步骤1)中的高分辨率图像YHR通过步骤2)集合G的每一个高斯核Gk,σ做模糊处理，之后做L/T倍的下采样得到的；
4)对步骤3)创建的集合Y中包含的每一张图像计算模糊程度Sk,σ，并依照Sk,σ寻找到与步骤1)中低分辨率图像YLR的模糊程度SLR最接近的图像，该图像记为
其中模糊程度的计算方式如下：
其中Sk,σ代表步骤3)的集合Y中每一张图像的模糊程度；SLR代表步骤1)中低分辨率图像YLR的模糊程度；
表示卷积操作；lap表示拉普拉斯卷积核；Var表示对目标图像的像素值求取方差值；
5)步骤4)中得到的图像
对应的高斯核
即为真实场景成像的过程参数。
2.根据权利要求1所述的方法，其特征在于，步骤2)中，k取值为3，5，7；σ的取值范围为[0,3]，取值间隔为0.1，最终的集合G共包含90个高斯核Gk,σ。
3.一种利用所获取到的真实场景的成像过程参数处理训练集的基于后验降质信息估计的场景图像超分辨方法，包括以下步骤：
1)创建图像超分辨网络，网络共由多个残差网络块串联组成，并在最后通过连接两个反卷积层实现上采样功能；
2)将高清图像数据集，记做IHR，用
做模糊操作并做L/T倍的下采样，得到低分辨训练数据集
3)将低分辨训练数据集
中的每一张图像定义为
将
作为步骤1)创建的图像超分辨网络的输入，输出图像为
高清图像数据集IHR中的每一张图像定义为
然后通过联合
作为输入，
作为标签来训练步骤1)的图像超分辨网络，训练完成后保存网络的参数和结构，其中损失函数如下：
4)将目标场景其他需要超分辨的低质量图像或视频作为步骤3)训练好的图像超分辨网络的输入，输出则是所需要的质量更佳的高分辨图像或视频。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任意一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967484.XA CN110895790B (zh) | 2019-10-12 | 2019-10-12 | 基于后验降质信息估计的场景图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967484.XA CN110895790B (zh) | 2019-10-12 | 2019-10-12 | 基于后验降质信息估计的场景图像超分辨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110895790A true CN110895790A (zh) | 2020-03-20 |
| CN110895790B CN110895790B (zh) | 2024-03-22 |
Family
ID=69785870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910967484.XA Active CN110895790B (zh) | 2019-10-12 | 2019-10-12 | 基于后验降质信息估计的场景图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110895790B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102165A (zh) * | 2020-08-18 | 2020-12-18 | 北京航空航天大学 | 一种基于零样本学习的光场图像角域超分辨系统及方法 |
| CN117313818A (zh) * | 2023-09-28 | 2023-12-29 | 四川大学 | 对轻量级卷积神经网络训练的方法及终端设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110115934A1 (en) * | 2009-11-19 | 2011-05-19 | Sen Wang | Increasing image resolution using combined differential image |
| US20140354886A1 (en) * | 2013-05-29 | 2014-12-04 | Yeda Research & Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
-
2019
- 2019-10-12 CN CN201910967484.XA patent/CN110895790B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110115934A1 (en) * | 2009-11-19 | 2011-05-19 | Sen Wang | Increasing image resolution using combined differential image |
| US20140354886A1 (en) * | 2013-05-29 | 2014-12-04 | Yeda Research & Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
Non-Patent Citations (3)
| Title |
|---|
| 王湘晖, 林列, 杨勇, 方志良, 母国光: "基于矢量衍射理论的相位型光瞳滤波器设计", 光子学报, no. 11 * |
| 苏富林;钱素娟;魏霖静;孙连海;: "频域内基于邻域特征学习的单幅图像超分辨重建", 计算机工程, no. 05 * |
| 贺瑜飞;高宏伟;: "基于多层连接卷积神经网络的单帧图像超分辨重建", 计算机应用与软件, no. 05 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102165A (zh) * | 2020-08-18 | 2020-12-18 | 北京航空航天大学 | 一种基于零样本学习的光场图像角域超分辨系统及方法 |
| CN112102165B (zh) * | 2020-08-18 | 2022-12-06 | 北京航空航天大学 | 一种基于零样本学习的光场图像角域超分辨系统及方法 |
| CN117313818A (zh) * | 2023-09-28 | 2023-12-29 | 四川大学 | 对轻量级卷积神经网络训练的方法及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110895790B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fuoli et al. | Efficient video super-resolution through recurrent latent space propagation | |
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| Xu et al. | Exploiting raw images for real-scene super-resolution | |
| CN109064402B (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| Liu et al. | Video frame interpolation via optical flow estimation with image inpainting | |
| CN110895790B (zh) | 基于后验降质信息估计的场景图像超分辨方法 | |
| CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN115511708A (zh) | 基于不确定性感知特征传输的深度图超分辨率方法及系统 | |
| CN116188272A (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| Wei et al. | Channel rearrangement multi-branch network for image super-resolution | |
| CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
| CN104574338A (zh) | 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法 | |
| CN106558021A (zh) | 基于超分辨率技术的视频增强方法 | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| George | Robust single image super resolution using neighbor embedding and fusion in wavelet domain | |
| CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
| CN116612009A (zh) | 一种多尺度连接生成对抗网络医学图像超分辨率重建方法 | |
| CN114638761B (zh) | 一种高光谱图像全色锐化方法、设备及介质 | |
| CN116128722A (zh) | 基于频域-纹理特征融合的图像超分辨率重建方法及系统 | |
| Li et al. | Feature attention parallel aggregation network for single image haze removal | |
| Zeng et al. | SelFSR: Self-Conditioned Face Super-Resolution in the Wild via Flow Field Degradation Network | |
| Xie et al. | Enhanced adaptive dense connection single image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |