CN106910161A - 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 - Google Patents

一种基于深度卷积神经网络的单幅图像超分辨率重建方法 Download PDF

Info

Publication number
CN106910161A
CN106910161A CN201710060058.9A CN201710060058A CN106910161A CN 106910161 A CN106910161 A CN 106910161A CN 201710060058 A CN201710060058 A CN 201710060058A CN 106910161 A CN106910161 A CN 106910161A
Authority
CN
China
Prior art keywords
convolutional neural
neural networks
passage
depth convolutional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710060058.9A
Other languages
English (en)
Other versions
CN106910161B (zh
Inventor
林旭斌
徐向民
贾晓义
邢晓芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710060058.9A priority Critical patent/CN106910161B/zh
Publication of CN106910161A publication Critical patent/CN106910161A/zh
Application granted granted Critical
Publication of CN106910161B publication Critical patent/CN106910161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的单幅图像超分辨率重建方法，包括以下步骤：1：预处理；把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道；2：将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；3：从步骤1的预处理后的图像密集提取小块，结果作为标签；4：将通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型；5：输入低分辨率图像，经过双通道插值后利用训练好的深度卷积神经网络输出高分辨率图像。具有轻量的结构和很好的恢复质量等优点。

Description

一种基于深度卷积神经网络的单幅图像超分辨率重建方法
技术领域
本发明涉及图像超分辨率重建技术，具体涉及一种基于深度卷积神经网络的单幅图像超分辨率重建方法，属于数字图像处理领域。
背景技术
因为摄像硬件设备限制或者摄像条件等影响，会导致图像质量低下、边缘不明显。单方面地提高硬件设备的成像精度会增加产品的成本，而且也不能彻底解决成像环境的干扰。超分辨率重建技术的提出无疑是解决这一难题的最佳途径，既能合理避免因改进成像系统造成的浪费，又能有效提高图像质量。
基于稀疏编码的方法是基于外部样本的图像超分辨率重建的代表性方法之一。该方法涉及几个步骤。从图像中密集地提取小块并进行预处理；将这些小块用低分辨率字典进行编码；将低分辨率字典映射为高分辨率字典，用于重建高分辨率小块；重建的小块被聚集(或平均)以产生输出。基于稀疏编码的方法需要对输入数据进行大量预处理，特别注意字典的学习和优化，并且每个步骤都需要逐一优化，没有把全部步骤当成一个完整的框架统一优化，可能面临结构复杂并且计算速度慢的挑战。
近年来，由于机器学习与深度学习的飞速发展，基于学习的超分辨率重建方法取得较大进步。基于深度学习的超分辨率方法相比于传统的基于学习的超分辨率方法，具有结构简单，速度快的优点，且由于在训练阶段，基于深度学习的方法同时优化了所有操作，并且基于深度学习的方法重建出来的高分辨率图像在质量上要优于传统的基于学习的方法。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于深度卷积神经网络的单幅图像超分辨率重建方法，该方法直接学习低分辨率和高分辨率图像之间的端对端映射，映射表示为一个深度卷积神经网络，将低分辨率图像作为输入，并输出高分辨率图像。
本发明将深度学习应用到单图像超分辨重建方法中，采用双通道分别进行三层的深度神经网络的训练，运用梯度下降法和反向传导算法不断优化网络，再用优化的网络重建出高分辨率图像。
本发明的目的可以通过以下技术方案实现：一种基于深度卷积神经网络的单幅图像超分辨率重建方法，包括以下步骤：
步骤1：预处理步骤：把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道，也就是亮度通道；
步骤2：将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；
步骤3：从步骤1的预处理后的图像密集提取小块，结果作为标签；
步骤4：将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型。
步骤5：输入低分辨率图像，经过双通道插值后利用本发明训练好的深度卷积神经网络输出高分辨率图像。
步骤2所述的预处理图像进行下采样后，分两个通道进行插值，通道1进行双三次插值，然后密集提取小块，将这些小块作为通道1训练数据；通道2进行最近邻插值，结果与通道1的双三次插值结果相乘作为掩码，然后密集提取小块，将这些小块作为通道2训练数据；
步骤4所述的深度卷积神经网络模型，在训练阶段，首先构造一个双通道，每通道分别有三层卷积层的深度卷积神经网络，三层卷积层分别是特征提取层，非线性映射层和高分辨率重建层，然后将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断训练优化网络模型。
本发明的具体步骤可以如下：
(1)预处理步骤：把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道，也就是亮度通道。
(2)将步骤(1)的预处理后的图像进行下采样，然后分两个通道进行插值：
(2.1)通道1进行双三次插值，然后密集提取小块，将这些小块作为通道1训练数据；
(2.2)通道2进行最近邻插值，结果与通道1的双三次插值结果相乘作为掩码，然后密集提取小块，将这些小块作为通道2训练数据；
(3)从步骤(1)的预处理后的图像密集提取小块，结果作为标签；
(4)将步骤(2)的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤(3)的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型。
(5)输入低分辨率图像，经过双通道插值后利用本发明训练好的深度卷积神经网络输出高分辨率图像。
相对于现有技术，本发明具有如下的优点与有益效果：本发明的方法需要的图像预处理少；不同于传统方法分别处理每个组件，本发明的方法联合优化所有层；本发明的深度卷积神经网络具有轻量的结构，而且有很好的恢复质量，并在实际在线使用中有较快速度。
附图说明
图1是本发明图像预处理步骤的框图；
图2是本发明预处理后的图像经过双通道插值形成双通道训练数据的框图；
图3是本发明预处理后的图像形成标签的框图；
图4是本发明利用训练数据和标签反复训练深度卷积神经网络的框图；
图5是本发明利用最终训练好的深度卷积神经网络将低分辨率的输入图像转化为高分辨率的输出图像。
具体实施方式
下面结合附图详细解释本发明提出的基于深度卷积神经网络的单幅图像超分辨率重建方法。
实施例
一种基于深度卷积神经网络的单幅图像超分辨率重建方法，包括以下步骤：
(1)如图1所示，图像预处理步骤包含2个过程：把输入图像从RGB颜色空间转换到YCbCr颜色空间、提取YCbCr颜色空间里面的Y通道，也就是亮度通道作为预处理图像；
(2)如图2所示，把所述步骤(1)得到的预处理图像进行下采样，形成低分辨图像，然后分两个通道进行插值：
(2.1)通道1进行双三次插值，然后密集提取小块，将这些小块作为通道1训练数据；
(2.2)通道2进行最近邻插值，结果与所述步骤(2.1)的通道1的双三次插值结果相乘作为掩码，然后密集提取小块，将这些小块作为通道2训练数据；
具体地，如步骤(1)的预处理图像像素大小为255x255，经过尺度为3的下采样，图像像素大小变成85x 85(低分辨率)，然后分两个通道进行插值；通道1进行双三次插值。
插值后图像大小原图像大小(255x255)，然后再密集提取小块，提取小块方法可以是以步长14，大小为33x 33的窗口进行提取，将这些小块作为通道1的训练数据；通道2进行最近邻插值，令插值后像素的灰度值等于距它最近的像素的灰度值，插值后图像大小为原图像大小(255x255)，然后把两个通道插值后的结果相乘作为掩码，然后再从掩码中密集提取小块，提取方法跟双三次插值提取方法一样，将这些小块作为通道2的训练数据。
(3)在图3中，将所述步骤(1)的预处理后的图像进行密集提取小块，提取方法跟所述步骤(2)方法一样，将这些小块跟步骤(2)的训练数据小块一一对应作为标签；
(4)在图4中，将步骤(2)的两个通道训练数据合并作为深度卷积神经网络模型输入，将步骤(3)的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型。
具体地，本发明把第一层卷积神经网络表示为操作F1：
F1(X)＝max(0,W1*X+B1)，
式中，X是双通道训练数据，它作为第一层卷积神经网络的输入，W1是第一层卷积神经网络的系数，*是卷积操作，将输入数据与网络系数卷积后的结果再加上偏置向量B1，然后对结果应用修正线性单位(ReLu)，它的函数为：
f(x)＝max(0,x)(这里x＝W1*X+B1)。
把第二层卷积神经网络表示为操作F2：
F2(X)＝max(0,W2*F1(X)+B2)，
式中，F1(X)是第一层卷积层的输出结果，W2是第二层卷积神经网络的系数，*是卷积操作，B2是第二层卷积神经网络的偏置向量，对其结果也应用ReLu修正线性单位。
把第三层卷积神经网络表示为操作F3：
F(X)＝W3*F2(X)+B3，
式中，F2(X)是第二层卷积层的输出结果，W3是第三层卷积神经网络的系数，B3是第三层卷积神经网络的偏置向量。F(X)就是网络计算出来的高分辨率图像。
学习端到端映射函数F需要估计参数Θ＝{W1；W2；W3；B1；B2；B3}。这是通过最小化重建图像F(X)和相应的高分辨率图像Y(即步骤(3)的标签)之间的损失来实现的。给定一组高分辨率图像{Yi}及其对应的低分辨率图像{Xi}，本发明使用均方错误(MSE)作为损失函数:
式中，L(Θ)表示损失，n是所有图像的样本量。图4中的从右往左的虚线箭头就是反向传导，用反向传导的随机梯度下降使损失L(Θ)最小化。图4中把三层的卷积神经网络放到一起形成一个深度卷积神经网络，在这个模型中，所有的网络系数和偏置都要根据损失不断优化，最终的卷积神经网络就是最优的网络。
(5)在图5中，输入低分辨率图像，进行双通道插值，然后利用所述步骤(4)训练好的深度卷积神经网络模型，输出最终的高分辨率图像，完成本发明的图像重建。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于深度卷积神经网络的单幅图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1、预处理；把输入图像从RGB颜色空间转换到YCbCr颜色空间，并且只取其中的Y通道；
步骤2、将步骤1的预处理后的图像进行下采样，然后分两个通道进行插值，形成通道1和通道2训练数据；
步骤3、从步骤1的预处理后的图像密集提取小块，结果作为标签；
步骤4、将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断优化网络模型；
步骤5、输入低分辨率图像，经过双通道插值后利用训练好的深度卷积神经网络输出高分辨率图像。
2.根据权利要求1所述的基于深度卷积神经网络的单幅图像超分辨率重建方法，其特征在于，步骤2所述的预处理图像进行下采样后，分两个通道进行插值，通道1进行双三次插值，然后密集提取小块，将这些小块作为通道1训练数据；通道2进行最近邻插值，结果与通道1的双三次插值结果相乘作为掩码，然后密集提取小块，将所述小块作为通道2的训练数据。
3.根据权利要求1所述的基于深度卷积神经网络的单幅图像超分辨率重建方法，其特征在于，步骤4所述的深度卷积神经网络模型，在训练阶段，首先构造一个双通道，每通道分别有三层卷积层的深度卷积神经网络，三层卷积层分别是特征提取层，非线性映射层和高分辨率重建层，然后将步骤2的通道1和通道2的训练数据合并作为深度卷积神经网络模型输入，将步骤3的标签作为深度卷积神经网络模型的输出，利用梯度下降法和反向传导算法不断训练优化网络模型。
CN201710060058.9A 2017-01-24 2017-01-24 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 Active CN106910161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710060058.9A CN106910161B (zh) 2017-01-24 2017-01-24 一种基于深度卷积神经网络的单幅图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710060058.9A CN106910161B (zh) 2017-01-24 2017-01-24 一种基于深度卷积神经网络的单幅图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN106910161A true CN106910161A (zh) 2017-06-30
CN106910161B CN106910161B (zh) 2020-06-19

Family

ID=59207610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710060058.9A Active CN106910161B (zh) 2017-01-24 2017-01-24 一种基于深度卷积神经网络的单幅图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN106910161B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464217A (zh) * 2017-08-16 2017-12-12 清华-伯克利深圳学院筹备办公室 一种图像处理方法及装置
CN107492070A (zh) * 2017-07-10 2017-12-19 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN108416821A (zh) * 2018-03-08 2018-08-17 山东财经大学 一种深度神经网络的ct图像超分辨重建方法
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN108550115A (zh) * 2018-04-25 2018-09-18 中国矿业大学 一种图像超分辨率重建方法
CN108647775A (zh) * 2018-04-25 2018-10-12 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN108805814A (zh) * 2018-06-07 2018-11-13 西安电子科技大学 基于多频段深度卷积神经网络的图像超分辨重建方法
CN108876721A (zh) * 2018-05-31 2018-11-23 东南大学 基于课程学习的超分辨率图像重建方法及系统
CN108986210A (zh) * 2018-08-27 2018-12-11 清华大学 三维场景重建的方法和设备
CN109191376A (zh) * 2018-07-18 2019-01-11 电子科技大学 基于srcnn改进模型的高分辨率太赫兹图像重构方法
US20190057488A1 (en) * 2017-08-17 2019-02-21 Boe Technology Group Co., Ltd. Image processing method and device
CN109525859A (zh) * 2018-10-10 2019-03-26 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN109584164A (zh) * 2018-12-18 2019-04-05 华中科技大学 基于二维影像迁移学习的医学图像超分辨率三维重建方法
WO2019091459A1 (zh) * 2017-11-09 2019-05-16 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
WO2019101140A1 (zh) * 2017-11-24 2019-05-31 腾讯科技（深圳）有限公司 高分辨率图片生成方法、计算机设备及存储介质
WO2019104705A1 (zh) * 2017-12-01 2019-06-06 华为技术有限公司 图像处理的方法和设备
CN109949332A (zh) * 2017-12-20 2019-06-28 北京京东尚科信息技术有限公司 用于处理图像的方法和装置
CN110321913A (zh) * 2018-03-30 2019-10-11 杭州海康威视数字技术股份有限公司 一种文本识别方法及装置
CN110942425A (zh) * 2019-11-26 2020-03-31 贵州师范学院 一种超分辨率图像的重构方法、重构系统和电子设备
CN110971837A (zh) * 2018-09-30 2020-04-07 Tcl集团股份有限公司 基于ConvNets的暗光图像处理方法及终端设备
CN110992267A (zh) * 2019-12-05 2020-04-10 北京科技大学 一种基于DPSR与Lightweight CNN的磨粒识别方法
WO2020081770A1 (en) * 2018-10-18 2020-04-23 Sony Corporation Enhanced color reproduction for upscaling
CN111712853A (zh) * 2018-02-16 2020-09-25 松下知识产权经营株式会社 一种处理方法及利用了它的处理装置
CN112070676A (zh) * 2020-09-10 2020-12-11 东北大学秦皇岛分校 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN113538242A (zh) * 2021-07-22 2021-10-22 苏州大学 一种基于残差引导策略的图像插值模型训练方法
US11194592B2 (en) 2013-03-15 2021-12-07 Tencent Technology (Shenzhen) Company Limited System for launching a social application page in a floating layer on a microblog page

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609549A (zh) * 2009-07-24 2009-12-23 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
US7831078B2 (en) * 2006-07-24 2010-11-09 Siemens Medical Solutions Usa, Inc. System and method for statistical shape model based segmentation of intravascular ultrasound and optical coherence tomography images
CN103544705A (zh) * 2013-10-25 2014-01-29 华南理工大学 一种基于深度卷积神经网络的图像质量测试方法
US20140072094A1 (en) * 2012-03-22 2014-03-13 Eigenor Oy Method, arrangement, and computer program product for efficient production of tomographic images
WO2016132147A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Enhancement of visual data
CN106204489A (zh) * 2016-07-12 2016-12-07 四川大学 结合深度学习与梯度转换的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106251373A (zh) * 2016-07-19 2016-12-21 四川大学 一种融合超分辨率技术和jpeg2000标准的单幅彩色图像压缩编码方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831078B2 (en) * 2006-07-24 2010-11-09 Siemens Medical Solutions Usa, Inc. System and method for statistical shape model based segmentation of intravascular ultrasound and optical coherence tomography images
CN101609549A (zh) * 2009-07-24 2009-12-23 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
US20140072094A1 (en) * 2012-03-22 2014-03-13 Eigenor Oy Method, arrangement, and computer program product for efficient production of tomographic images
CN103544705A (zh) * 2013-10-25 2014-01-29 华南理工大学 一种基于深度卷积神经网络的图像质量测试方法
WO2016132147A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Enhancement of visual data
CN106204489A (zh) * 2016-07-12 2016-12-07 四川大学 结合深度学习与梯度转换的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106251373A (zh) * 2016-07-19 2016-12-21 四川大学 一种融合超分辨率技术和jpeg2000标准的单幅彩色图像压缩编码方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAO DONG等: "Image Super-Resolution Using Deep Convolutional Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
张云: "空间运动图像多尺度增强与超分辨率重建研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
徐冉等: "利用双通道卷积神经网络的图像超分辨率算法", 《中国图象图形学报》 *

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11194592B2 (en) 2013-03-15 2021-12-07 Tencent Technology (Shenzhen) Company Limited System for launching a social application page in a floating layer on a microblog page
CN107492070A (zh) * 2017-07-10 2017-12-19 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN107492070B (zh) * 2017-07-10 2019-12-03 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN107464217A (zh) * 2017-08-16 2017-12-12 清华-伯克利深圳学院筹备办公室 一种图像处理方法及装置
CN107464217B (zh) * 2017-08-16 2020-12-29 清华-伯克利深圳学院筹备办公室 一种图像处理方法及装置
US20190057488A1 (en) * 2017-08-17 2019-02-21 Boe Technology Group Co., Ltd. Image processing method and device
US10861134B2 (en) * 2017-08-17 2020-12-08 Boe Technology Group Co., Ltd. Image processing method and device
WO2019091459A1 (zh) * 2017-11-09 2019-05-16 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
WO2019101140A1 (zh) * 2017-11-24 2019-05-31 腾讯科技（深圳）有限公司 高分辨率图片生成方法、计算机设备及存储介质
US11373275B2 (en) 2017-11-24 2022-06-28 Tencent Technology (Shenzhen) Company Limited Method for generating high-resolution picture, computer device, and storage medium
US11704771B2 (en) 2017-12-01 2023-07-18 Huawei Technologies Co., Ltd. Training super-resolution convolutional neural network model using a high-definition training image, a low-definition training image, and a mask image
WO2019104705A1 (zh) * 2017-12-01 2019-06-06 华为技术有限公司 图像处理的方法和设备
CN109949332A (zh) * 2017-12-20 2019-06-28 北京京东尚科信息技术有限公司 用于处理图像的方法和装置
CN111712853B (zh) * 2018-02-16 2023-11-07 松下知识产权经营株式会社 一种处理方法及利用了它的处理装置
CN111712853A (zh) * 2018-02-16 2020-09-25 松下知识产权经营株式会社 一种处理方法及利用了它的处理装置
CN108416821A (zh) * 2018-03-08 2018-08-17 山东财经大学 一种深度神经网络的ct图像超分辨重建方法
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN108492269B (zh) * 2018-03-23 2021-06-25 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN110321913A (zh) * 2018-03-30 2019-10-11 杭州海康威视数字技术股份有限公司 一种文本识别方法及装置
CN108550115B (zh) * 2018-04-25 2020-06-16 中国矿业大学 一种图像超分辨率重建方法
CN108550115A (zh) * 2018-04-25 2018-09-18 中国矿业大学 一种图像超分辨率重建方法
CN108647775A (zh) * 2018-04-25 2018-10-12 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN108647775B (zh) * 2018-04-25 2022-03-29 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN108876721A (zh) * 2018-05-31 2018-11-23 东南大学 基于课程学习的超分辨率图像重建方法及系统
CN108805814A (zh) * 2018-06-07 2018-11-13 西安电子科技大学 基于多频段深度卷积神经网络的图像超分辨重建方法
CN108805814B (zh) * 2018-06-07 2020-05-19 西安电子科技大学 基于多频段深度卷积神经网络的图像超分辨重建方法
CN109191376B (zh) * 2018-07-18 2022-11-25 电子科技大学 基于srcnn改进模型的高分辨率太赫兹图像重构方法
CN109191376A (zh) * 2018-07-18 2019-01-11 电子科技大学 基于srcnn改进模型的高分辨率太赫兹图像重构方法
CN108986210B (zh) * 2018-08-27 2020-07-14 清华大学 三维场景重建的方法和设备
CN108986210A (zh) * 2018-08-27 2018-12-11 清华大学 三维场景重建的方法和设备
CN110971837B (zh) * 2018-09-30 2021-07-27 Tcl科技集团股份有限公司 基于ConvNets的暗光图像处理方法及终端设备
CN110971837A (zh) * 2018-09-30 2020-04-07 Tcl集团股份有限公司 基于ConvNets的暗光图像处理方法及终端设备
CN109525859A (zh) * 2018-10-10 2019-03-26 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN109525859B (zh) * 2018-10-10 2021-01-15 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling
WO2020081770A1 (en) * 2018-10-18 2020-04-23 Sony Corporation Enhanced color reproduction for upscaling
CN109584164A (zh) * 2018-12-18 2019-04-05 华中科技大学 基于二维影像迁移学习的医学图像超分辨率三维重建方法
CN109584164B (zh) * 2018-12-18 2023-05-26 华中科技大学 基于二维影像迁移学习的医学图像超分辨率三维重建方法
CN110942425A (zh) * 2019-11-26 2020-03-31 贵州师范学院 一种超分辨率图像的重构方法、重构系统和电子设备
CN110992267A (zh) * 2019-12-05 2020-04-10 北京科技大学 一种基于DPSR与Lightweight CNN的磨粒识别方法
CN112070676B (zh) * 2020-09-10 2023-10-27 东北大学秦皇岛分校 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN112070676A (zh) * 2020-09-10 2020-12-11 东北大学秦皇岛分校 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN113538242A (zh) * 2021-07-22 2021-10-22 苏州大学 一种基于残差引导策略的图像插值模型训练方法
CN113538242B (zh) * 2021-07-22 2024-06-21 苏州大学 一种基于残差引导策略的图像插值模型训练方法

Also Published As

Publication number Publication date
CN106910161B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN106910161A (zh) 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN105069825B (zh) 基于深度置信网络的图像超分辨率重建方法
CN108921786B (zh) 基于残差卷积神经网络的图像超分辨率重构方法
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN111739082B (zh) 一种基于卷积神经网络的立体视觉无监督深度估计方法
CN107492070A (zh) 一种双通道卷积神经网络的单图像超分辨率计算方法
CN106709875A (zh) 一种基于联合深度网络的压缩低分辨率图像复原方法
CN115049936A (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN109727195B (zh) 一种图像超分辨率重构方法
CN106952229A (zh) 基于数据增强的改进型卷积网络的图像超分辨率重建方法
CN109544457A (zh) 基于致密链接神经网络的图像超分辨率方法、存储介质和终端
CN110136060A (zh) 基于浅层密集连接网络的图像超分辨率重建方法
CN112365403B (zh) 一种基于深度学习和相邻帧的视频超分辨率恢复方法
CN109949224A (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN114821100B (zh) 基于结构组稀疏网络的图像压缩感知重建方法
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN111667406B (zh) 一种基于时域相关性的视频图像超分辨率重建方法
CN112215753A (zh) 基于双分支边缘保真网络的图像去马赛克增强方法
CN109949217A (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN112017116A (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN110246085A (zh) 一种单图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant