CN110675320A - 一种空间参数变化及复杂场景下目标图像清晰化方法 - Google Patents

一种空间参数变化及复杂场景下目标图像清晰化方法 Download PDF

Info

Publication number
CN110675320A
CN110675320A CN201910905332.7A CN201910905332A CN110675320A CN 110675320 A CN110675320 A CN 110675320A CN 201910905332 A CN201910905332 A CN 201910905332A CN 110675320 A CN110675320 A CN 110675320A
Authority
CN
China
Prior art keywords
image
layer
convolution
network
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910905332.7A
Other languages
English (en)
Inventor
徐梦溪
杜心宇
黄陈蓉
施建强
沈晨鸣
赖丹
肖赛赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201910905332.7A priority Critical patent/CN110675320A/zh
Publication of CN110675320A publication Critical patent/CN110675320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种空间参数变化及复杂场景下目标图像清晰化方法，其步骤为：筛选并确定变化空间参数变化以及复杂场景图像的数据集，图片拍摄过程中的目标多角度变化，光照强度以及雨雾天气变化会导致图片空间参数变化，复杂场景包含道路、出入口等不同情境下的成像环境；构建多层亚像素卷积网络，多层网络提取图像信息，最后一层亚像素卷积层进行重建超分辨率图像；将目标变化图像训练集数据送入亚像素卷积网络进行训练；最终将降质后或者分辨率较低的图像送入网络进行重建针对车牌超分辨率重建。本发明算法执行速度快，相比传统的超分辨率模型进行清洗的图像效果更好，能够应用于监控、遥感等空间参数与复杂场景变化下图片清晰度改善。

Description

一种空间参数变化及复杂场景下目标图像清晰化方法
技术领域
本发明设计属于图像处理和深度学习领域，具体涉及一种空间参数变化及复杂场景下目标图像清晰化方法。
背景技术
超分辨率重建的方法通过软件形式的算法与模型从低分辨率图像获得高分辨率图像，成本小，速度快，能够有效提升图像的细节边缘与分辨率，是提高复杂场景下目标图像清晰化的主要技术手段之一。图像清晰与超分辨率重建应用于多个领域，包括医疗、遥感和安保等方面，交通图像的图像重建能够提升车牌车型辨识率，提升交通管理的效率。
当前较为主流的超分辨率重建方法有插值法、重建法和学习法。基于插值的方法原理简单，计算量不大。基于重建的方法逆向利用图像的降质模型，该方法的核心思想是建模，在低分辨率与高分辨率之间形成对应的数学模型。基于学习的超分辨率重建算法更加深入的学习到了高低分辨率图像间的对应关系，这类算法通过特征提取，学习图像特征，超分辨率重构这三个阶段重建超分辨率图像。
深度学其端到端的模型特征让深度学习能够有效的应用到超分辨率重构中来。SRCNN(Super-resolutionReconstructionNeuralNetworks)将深度学习应用于超分辨率重建，使用卷积神经网络提取低分辨率图像信息，提升了超分辨率重建质量。ESPCN(Efficient Sub-Pixel Convolutional Neural Network)引入亚像素卷积层思想，网络输入不经插值放大的原始低分辨率图像，经过三层卷积后得到r2通道的特征图像，直接通过亚像素卷积层重构超分辨率图像。ESPCN模型极大增加了重构的效率。
发明内容
本发明的目的是针对空间参数变化及复杂场景下的图像例如车牌图像进行快速高效的超分辨率重建，提升该类图像重建质量，提升图像重建效率。空间参数变化由图片拍摄过程中的目标多角度变化，光照强度以及雨雾天气变化导致，复杂场景包含道路、出入口等不同情境下的成像环境。因此提出一种空间参数变化及复杂场景下目标图像清晰化方法。
一种空间参数变化及复杂场景下目标图像清晰化方法，包括如下步骤：
步骤1，筛选并构建尽量包含目标多种拍摄角度、光照下的图像数据集，这种图像包含了拍摄过程中的目标多角度变化，光照强度以及雨雾天气变化引起的空间参数变化，复杂场景包含道路、出入口等不同情境下的成像环境；
步骤2，构建多层亚像素卷积网络，包括5层卷积层和1层亚像素卷积层，卷积层提取图像信息，位于最底端的一层亚像素卷积层进行重建超分辨率图像；
步骤3，将图像训练集数据送入多层亚像素卷积网络进行训练；
步骤4，将降质后或者分辨率较低的图像送入网络进行超分辨率重建。
进一步地，步骤1中所述的目标变化条件下的图像数据集构建方法为：
步骤1-1，整合图像数据集，图像应当包含图像拍摄场景中出现的多种角度和光照信息；
步骤1-2，根据图像的具体情况切除原始图像影响超分辨率重建的多余边缘部分；
步骤1-3，对高分辨率图像进行降质，下采样取得低分辨率图像。
进一步地，步骤1-3中降质过程需要先进行高斯噪声模糊，然后下采样2倍。
进一步地，步骤2中，构建卷积网络的模型为6层结构，分为5层卷积层和1层亚像素卷积层，输入图像为3通道的jpg图像，训练前先的预处理先将图像从RGB颜色空间转换为Ycbcr色彩空间；第一层卷积使用7×7的卷积核共64个，卷积后输出64通道的特征图像；第二层使用5×5的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三到四层使用3×3的卷积核，最后一层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像，最后通过亚像素卷积层还原图像。
进一步地，步骤2中所述进行超分辨率重建的亚像素卷积网络的构建方法为：
步骤2-1，多层网络使用卷积操作提取图像特征信息；
步骤2-2，多层网络采用5层神经网络，卷积核分别为7，5，3，3，3；
步骤2-3，最后一层浅层网络形成H*W*C*r2的图像特征块；
步骤2-4，最后一层网络亚像素卷积层从H*W*C*r2的图像特征块中重建高分辨率图像。
进一步地，步骤3中模型的训练步骤为：
步骤3-1，使用Python语言，TensorFlow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001；
步骤3-2，对网络进行训练，从1000张的车牌图像数据集中随机选取700张作为训练数据集，将训练数据集的高、低分辨率图像对分别作为标签和输入数据送入网络进行训练。
本发明的有益效果在于：
(1)构建空间参数变化及复杂场景的目标图像数据集，相比自然图像对深度学习网络进行训练，车牌图像包含很多角度变化与光照变化的信息，有助于提升空间参数变化及复杂场景的图像超分辨率重建的质量。
(2)网络结构引入多层亚像素卷积层，隐藏层可以根据重建需要调整，实现实时性的超分辨率重建系统，该发明能够有效提高重建效率，加快重建速度。
附图说明
图1是本发明的网络结构示意图。
图2是本方法所构建的数据集图像示例。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
一种空间参数变化及复杂场景下目标图像清晰化方法，包括如下步骤：
步骤1，筛选并构建尽量包含目标多种拍摄角度、光照下的图像数据集，这种图像包含了拍摄过程中的目标多角度变化，光照强度以及雨雾天气变化引起的空间参数变化，复杂场景包含道路、出入口等不同情境下的成像环境，以车牌图像数据集为例，如图2所示。
步骤1中所述的目标变化条件下的图像数据集构建方法为：
步骤1-1，整合图像数据集，图像应当包含图像拍摄场景中出现的多种角度和光照信息。
步骤1-2，根据图像的具体情况切除原始图像影响超分辨率重建的多余边缘部分。
步骤1-3，对高分辨率图像进行降质，下采样取得低分辨率图像。
步骤1-3中降质过程需要先进行高斯噪声模糊，然后下采样2倍。
步骤2，构建多层亚像素卷积网络，包括5层卷积层和1层亚像素卷积层，卷积层提取图像信息，位于最底端的一层亚像素卷积层进行重建超分辨率图像。
步骤2中，构建卷积网络的模型为6层结构，分为5层卷积层和1层亚像素卷积层，输入图像为3通道的jpg图像，训练前先的预处理先将图像从RGB颜色空间转换为Ycbcr色彩空间；第一层卷积使用7×7的卷积核共64个，卷积后输出64通道的特征图像；第二层使用5×5的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三到四层使用3×3的卷积核，最后一层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像，最后通过亚像素卷积层还原图像。
步骤2中所述进行超分辨率重建的亚像素卷积网络的构建方法为：
步骤2-1，多层网络使用卷积操作提取图像特征信息。
步骤2-2，多层网络采用5层神经网络，卷积核分别为7，5，3，3，3。
步骤2-3，最后一层浅层网络形成H*W*C*r2的图像特征块。
步骤2-4，最后一层网络亚像素卷积层从H*W*C*r2的图像特征块中重建高分辨率图像。
上述亚像素卷积层的具体实现方法是使用大小为Ks的卷积核Ws进行步长为
Figure BDA0002213106170000061
的卷积可以激活Ws的不同部位。在像素之间的权重不需要计算。被激活的″像素″取决于他们的位置，最多有
Figure BDA0002213106170000062
的权重被激活。当卷积核在逐步扫过整个特征图像空间时，依据不同亚像素的位置周期性的激活，实现这种周期性方法通过mod(x，r)和mod(y，r)，x和y是和高分辨率空间相对应的输出像素。通过公式表示上述过程：
ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)
本文方法使用均方误差作为网络迭代的依据，公式如下：
Figure BDA0002213106170000063
步骤3，将图像训练集数据送入多层亚像素卷积网络进行训练。
步骤3中模型的训练步骤为：
步骤3-1，使用Python语言，TensorFlow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001。
步骤3-2，对网络进行训练，从1000张的车牌图像数据集中随机选取700张作为训练数据集，将训练数据集的高、低分辨率图像对分别作为标签和输入数据送入网络进行训练。
步骤4，将降质后或者分辨率较低的图像送入网络进行超分辨率重建。
本发明构建空间参数变化及复杂场景的目标图像数据集，相比自然图像对深度学习网络进行训练，车牌图像包含很多角度变化与光照变化的信息，有助于提升空间参数变化及复杂场景的图像超分辨率重建的质量。本发明在网络结构引入多层亚像素卷积层，隐藏层可以根据重建需要调整，实现实时性的超分辨率重建系统，该发明能够有效提高重建效率，加快重建速度。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种空间参数变化及复杂场景下目标图像清晰化方法，其特征在于：包括如下步骤：
步骤1，筛选并构建尽量包含目标多种拍摄角度、光照下的图像数据集，这种图像包含了拍摄过程中的目标多角度变化，光照强度以及雨雾天气变化引起的空间参数变化，复杂场景包含道路、出入口等不同情境下的成像环境；
步骤2，构建多层亚像素卷积网络，包括5层卷积层和1层亚像素卷积层，卷积层提取图像信息，位于最底端的一层亚像素卷积层进行重建超分辨率图像；
步骤3，将图像训练集数据送入多层亚像素卷积网络进行训练；
步骤4，将降质后或者分辨率较低的图像送入网络进行超分辨率重建。
2.根据权利要求1所述的一种空间参数变化及复杂场景下目标图像清晰化方法，其特征在于：步骤1中所述的目标变化条件下的图像数据集构建方法为：
步骤1-1，整合图像数据集，图像应当包含图像拍摄场景中出现的多种角度和光照信息；
步骤1-2，根据图像的具体情况切除原始图像影响超分辨率重建的多余边缘部分；
步骤1-3，对高分辨率图像进行降质，下采样取得低分辨率图像。
3.根据权利要求2所述的一种空间参数变化及复杂场景下目标图像清晰化方法，其特征在于：步骤1-3中降质过程需要先进行高斯噪声模糊，然后下采样2倍。
4.根据权利要求1所述的一种空间参数变化及复杂场景下目标图像清晰化方法，其特征在于：步骤2中，构建卷积网络的模型为6层结构，分为5层卷积层和1层亚像素卷积层，输入图像为3通道的jpg图像，训练前先的预处理先将图像从RGB颜色空间转换为Ycbcr色彩空间；第一层卷积使用7×7的卷积核共64个，卷积后输出64通道的特征图像；第二层使用5×5的卷积核共32个，对上一层的64通道特征图卷积，输出图像为32通道；第三到四层使用3×3的卷积核，最后一层使用3×3的卷积核共3×r2个，卷积输出3×r2特征图像，最后通过亚像素卷积层还原图像。
5.根据权利要求1所述的一种空间参数变化及复杂场景下目标图像清晰化方法，其特征在于：步骤2中所述进行超分辨率重建的亚像素卷积网络的构建方法为：
步骤2-1，多层网络使用卷积操作提取图像特征信息；
步骤2-2，多层网络采用5层神经网络，卷积核分别为7，5，3，3，3；
步骤2-3，最后一层浅层网络形成H*W*C*r2的图像特征块；
步骤2-4，最后一层网络亚像素卷积层从H*W*C*r2的图像特征块中重建高分辨率图像。
6.根据权利要求1所述的一种空间参数变化及复杂场景下目标图像清晰化方法，其特征在于：步骤3中模型的训练步骤为：
步骤3-1，使用Python语言，TensorFlow框架，batch-size为32，epoch为100，子图像大小为17*17，学习率为0.001；
步骤3-2，对网络进行训练，从1000张的车牌图像数据集中随机选取700张作为训练数据集，将训练数据集的高、低分辨率图像对分别作为标签和输入数据送入网络进行训练。
CN201910905332.7A 2019-09-24 2019-09-24 一种空间参数变化及复杂场景下目标图像清晰化方法 Pending CN110675320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905332.7A CN110675320A (zh) 2019-09-24 2019-09-24 一种空间参数变化及复杂场景下目标图像清晰化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910905332.7A CN110675320A (zh) 2019-09-24 2019-09-24 一种空间参数变化及复杂场景下目标图像清晰化方法

Publications (1)

Publication Number Publication Date
CN110675320A true CN110675320A (zh) 2020-01-10

Family

ID=69077484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910905332.7A Pending CN110675320A (zh) 2019-09-24 2019-09-24 一种空间参数变化及复杂场景下目标图像清晰化方法

Country Status (1)

Country Link
CN (1) CN110675320A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487594A (zh) * 2021-07-22 2021-10-08 上海嘉奥信息科技发展有限公司 一种基于深度学习的亚像素角点检测方法、系统及介质
CN115083016A (zh) * 2022-06-09 2022-09-20 广州紫为云科技有限公司 一种基于单目摄像机的面向小目标手部隔空交互方法与装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
US20180137603A1 (en) * 2016-11-07 2018-05-17 Umbo Cv Inc. Method and system for providing high resolution image through super-resolution reconstruction
CN110211038A (zh) * 2019-04-29 2019-09-06 南京航空航天大学 基于dirac残差深度神经网络的超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137603A1 (en) * 2016-11-07 2018-05-17 Umbo Cv Inc. Method and system for providing high resolution image through super-resolution reconstruction
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN110211038A (zh) * 2019-04-29 2019-09-06 南京航空航天大学 基于dirac残差深度神经网络的超分辨率重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487594A (zh) * 2021-07-22 2021-10-08 上海嘉奥信息科技发展有限公司 一种基于深度学习的亚像素角点检测方法、系统及介质
CN113487594B (zh) * 2021-07-22 2023-12-01 上海嘉奥信息科技发展有限公司 一种基于深度学习的亚像素角点检测方法、系统及介质
CN115083016A (zh) * 2022-06-09 2022-09-20 广州紫为云科技有限公司 一种基于单目摄像机的面向小目标手部隔空交互方法与装置

Similar Documents

Publication Publication Date Title
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Anwar et al. Densely residual laplacian super-resolution
WO2023092813A1 (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
Syu et al. Learning deep convolutional networks for demosaicing
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN110378845B (zh) 一种基于卷积神经网络的极端条件下的图像修复方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN109035267B (zh) 一种基于深度学习的图像目标抠取方法
CN112001843B (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN108288256A (zh) 一种多光谱马赛克图像复原方法
Kim et al. Pynet-ca: enhanced pynet with channel attention for end-to-end mobile image signal processing
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法
Chen et al. Attention-based Broad Self-guided Network for Low-light Image Enhancement
Wang et al. Underwater image super-resolution using multi-stage information distillation networks
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
CN116977208A (zh) 双分支融合的低照度图像增强方法
CN116563101A (zh) 一种基于频域残差的无人机图像盲超分辨率重建方法
CN114119428B (zh) 一种图像去模糊方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication