CN112669234A - 基于神经网络的高分辨率图像复原方法及系统 - Google Patents

基于神经网络的高分辨率图像复原方法及系统 Download PDF

Info

Publication number
CN112669234A
CN112669234A CN202011606864.XA CN202011606864A CN112669234A CN 112669234 A CN112669234 A CN 112669234A CN 202011606864 A CN202011606864 A CN 202011606864A CN 112669234 A CN112669234 A CN 112669234A
Authority
CN
China
Prior art keywords
feature
features
frame
layer
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011606864.XA
Other languages
English (en)
Inventor
胡剑凌
高立杭
廖东
羊箭锋
曹洪龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202011606864.XA priority Critical patent/CN112669234A/zh
Priority to PCT/CN2021/070672 priority patent/WO2022141660A1/zh
Priority to US17/642,137 priority patent/US20230154140A1/en
Publication of CN112669234A publication Critical patent/CN112669234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于神经网络的高分辨率图像复原方法及系统，包括：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。本发明可以有效帮助提高图像质量。

Description

基于神经网络的高分辨率图像复原方法及系统
技术领域
本发明涉及图像复原的技术领域，尤其是指一种基于神经网络的高分辨率图像复原方法及系统。
背景技术
在现代生活中，高分辨率图像的需求非常普遍，在安防监视、医学成像、目标检测和人脸识别等众多领域都需要高分辨率图像或视频的支持。高分辨率图像复原技术通过低分辨率图像作为输入，在不需要其他信息的情况下生成对应的高分辨率图像，同时具有较好的主客观评价。如传统方法中的插值算法，它能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中高分辨率图像的复原方法复杂，导致主客观评价较差的问题，从而提供一种方法简单，可提高对低分辨率图像质量的基于神经网络的高分辨率图像复原方法及系统。
为解决上述技术问题，本发明的一种基于神经网络的高分辨率图像复原方法，包括：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
在本发明的一个实施例中，对网络输入中的目标帧进行特征提取时，采用1-2层卷积层对目标帧进行特征提取，得到第一特征；对第一帧及其相邻帧光流进行特征提取时，采用1-2层卷积层对低分辨率图像序列及其稠密光流中的第一帧、第一帧与第二帧的稠密光流、第二帧进行特征提取。
在本发明的一个实施例中，所述采用迭代式上下采样的方法对浅层特征进行特征提取和细化的判断方法为：判断浅层特征是否有相邻帧未计算，若是，则将得到的一个输出第一特征与下一帧及其相邻帧光流的特征进行特征级联，作为下一次迭代的输入，不断循环迭代，直到所有的输入帧都经过计算为止，若否，进入步骤S3。
在本发明的一个实施例中，迭代式上下采样时，单次上下迭代的过程包含：第一卷积层、第一反卷积层、第二卷积层、第二反卷积层、第三卷积层、第三反卷积层。
在本发明的一个实施例中，所述第一卷积层和第一反卷积层采用相同的卷积核、步长、以及通道数；第二卷积层和第二反卷积层采用相同的卷积核、步长、以及通道数；第三卷积层和第三反卷积层采用相同的卷积核、步长、以及通道数。
在本发明的一个实施例中，所述第一卷积层的输入为浅层特征，第一反卷积层的输入为第一卷积层的结果，第二卷积层的输入为第一反卷积层的结果与浅层特征的差，第二反卷积层的输入为第二卷积层的结果，第三卷积层的输入为第二反卷积层的结果，第三反卷积层的输入为第三卷积层的结果与第二反卷积层的结果的差。
在本发明的一个实施例中，迭代式上下采样的数量根据对网络大小的需求调整。
在本发明的一个实施例中，所述采用迭代式上下采样的时，保存每次迭代得到的输出第二特征。
在本发明的一个实施例中，利用最终特征对图像进行复原时，采用1-2层反卷积层。
本发明还提供了一种基于神经网络的高分辨率图像复原系统，包括：特征提取模块，用于对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；编解码模块，用于采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；解码模块，用于对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；权重分配模块及复原模块，用于对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的基于神经网络的高分辨率图像复原方法及系统，对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，不仅可以进行初步的特征拟合，而且有利于对网络的大小进行调整，从而能够控制网络参数量的大小，将第一特征和第二特征进行级联，得到浅层特征，有利于对特征进行特征提取和细化；采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征，从而能够很好的保留输入图像的关键特征，避免在训练中出现梯度消失的情况；对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；由于不同帧距离目标帧的距离不同，其对重建的信息贡献也有一定的区别，因此对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原，从而可以有效帮助提高图像质量。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明基于神经网络的高分辨率图像复原方法流程图；
图2是本发明基于神经网络的高分辨率图像复原的系统示意图；
图3是本发明单次迭代的示意图。
具体实施方式
实施例一
如图1所示，本实施例提供一种基于神经网络的高分辨率图像复原方法，包括：步骤S1：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；步骤S2：采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；步骤S3：对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；步骤S4：对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
本实施例所述基于神经网络的高分辨率图像复原方法，所述步骤S1中，对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，不仅可以进行初步的特征拟合，而且有利于对网络的大小进行调整，从而能够控制网络参数量的大小，将第一特征和第二特征进行级联，得到浅层特征，有利于对特征进行特征提取和细化；所述步骤S2中，采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征，从而能够很好的保留输入图像的关键特征，避免在训练中出现梯度消失的情况；所述步骤S3中，对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；所述步骤S4中，由于不同帧距离目标帧的距离不同，其对重建的信息贡献也有一定的区别，因此对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原，从而可以有效帮助提高图像质量。
所述步骤S1中，对网络输入中的目标帧进行特征提取时，采用1-2层卷积层对目标帧进行浅层特征提取，得到第一特征；对第一帧及其相邻帧光流进行特征提取时，采用1-2层卷积层对低分辨率图像序列及其稠密光流中的第一帧、第一帧与第二帧的稠密光流、第二帧进行特征提取。
如图2所示，采用1-2层卷积层分别目标帧Lt和低分辨率图像序列及其稠密光流中的第一帧，第一帧与第二帧的稠密光流，第二帧[Lt-2，Ft-2，Lt-1]进行浅层特征提取，分别得到第一特征It和第二特征ft-2。
将所述第一特征It和第二特征ft-2级联，得到浅层特征Fconv(i)，i＝1。(其中i表示迭代次数)
所述目标帧为网络输入中的中间帧。本实施例以5帧为例，取中间帧为目标帧。
所述步骤S2中，所述采用迭代式上下采样的方法对浅层特征进行特征提取和细化的判断方法为：判断浅层特征是否有相邻帧未计算，若是，则将得到的一个输出第一特征与下一帧及其相邻帧光流的特征进行特征级联，作为下一次迭代的输入，不断循环迭代，直到所有的输入帧都经过计算为止，若否，进入步骤S4。
判断浅层特征是否有相邻帧未计算，若是，令将得到的一个输出第一特征与下一帧及其相邻帧光流进行特征级联，并令i＝i+1，将级联后的特征再一次进行特征提取，得到新的特征，将新的特征作为输入，继续再次进行迭代式上下采样提取特征，不断循环，直到所有的输入帧都经过计算。
迭代式上下采样的方法包括多组上采样、下采样模块，并采用了跨层连接。
如图3所示，迭代式上下采样时，单次上下迭代的过程包含：第一卷积层、第一反卷积层、第二卷积层、第二反卷积层、第三卷积层、第三反卷积层。
所述第一卷积层和第一反卷积层采用相同的卷积核、步长、以及通道数；第二卷积层和第二反卷积层采用相同的卷积核、步长、以及通道数；第三卷积层和第三反卷积层采用相同的卷积核、步长、以及通道数。
所述第一卷积层的输入为浅层特征，第一反卷积层的输入为第一卷积层的结果，第二卷积层的输入为第一反卷积层的结果与浅层特征的差，第二反卷积层的输入为第二卷积层的结果，第三卷积层的输入为第二反卷积层的结果，第三反卷积层的输入为第三卷积层的结果与第二反卷积层的结果的差。
迭代式上下采样的数量根据对网络大小的需求调整。
所述步骤S3中，对所述多个输出第二特征Fiter(i)进行特征解码，将解码后的特征与上一次循环中Fiter(i)解码后的特征按通道维度进行级联，最后得到多次级联后的特征Frec。
所述步骤S4中，由于不同帧距离目标帧的距离不同，其对重建的信息贡献也有一定的区别，故对Frec进行权重重分配，得到Frrec；利用最终特征对图像进行复原时，采用1-2层反卷积层，利用Frrec继续对图像复原，得到最终目标帧。
在本申请中，对相邻帧及其光流处理时，首先对输入连续帧图像进行稠密光流提取，假设输入连续帧图像为[Lt-(k-1)/2...Lt-2，Lt-1，Lt，Lt+1，Lt+2...Lt+(k-1)/2]，其中，帧数为k(k＝2i+1，i＝1，2，3...)；
提取稠密光流后的数据为：
[Lt-(k-1)/2...Lt-2，Ft-2，Lt-1，Ft-1，Lt，Ft+1，Lt+1，Ft+2，Lt+2...Lt+(k-1)/2]
其中Lt表示低分辨率帧，Ft表示相邻帧之间的稠密光流。一般情况下，处理多个连续帧输入时，常用循环神经网络(RNN)，因为RNN能够较好地提取前后帧图像的时空信息，能够更好地处理序列信息。在本发明中，没有采用RNN的结构，但保留了处理序列信息的特点。
实施例二
本实施例提供一种基于神经网络的高分辨率图像复原系统，是基于实施例一的基于神经网络的高分辨率图像复原方法对图像进行复原，其原理相同。
所述基于神经网络的高分辨率图像复原系统包括：特征提取模块，用于对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；编解码模块，用于采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；解码模块，用于对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；权重分配模块及复原模块，用于对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
所述特征提取模块用于对输入的低分辨率图像做初步的特征筛选，提取较少的特征为编码做准备，使用卷积层来完成该部分。特征提取能够不仅可以进行初步的特征拟合，同时还可以对网络的大小进行调整，能够控制网络参数量的大小。
编解码模块，即迭代式上下采样模块，主要使用卷积层，反卷积层和残差网络结构，残差网络具有较好的传递性，能够很好的保留输入图像的关键特征，避免在训练中出现梯度消失的情况，每一个编-解码模块都包含额外的输入和之前训练的结果，这样能够充分地利用时域信息，将每一帧的信息充分利用，以此作为额外信息，帮助恢复高分辨率的当前帧图片。编解码模块对图像先放大，后缩小，再放大，不断上下迭代，学习更好的网络参数，这一过程为网络的反馈过程，与大部分只有前馈的网络结构不同，反馈能够更好地提取图像特征。
如图2所示，具体来说，一次上下迭代的过程包含六个卷积层，过程包含：卷积层1、反卷积层1、卷积层2、反卷积层2、卷积层3、反卷积层3。每一个卷积层和反卷积层都是用相同的卷积核，步长，以及通道数。其中，卷积层1的输入为浅层特征，反卷积层1的输入为卷积层1的结果，卷积层2的输入为反卷积层1的结果与浅层特征的差，反卷积层2的输入为卷积层2的结果，卷积层3的输入为反卷积层2的结果，反卷积层3的输入为卷积层3的结果与反卷积层2的结果的差。
一次编-解码过程可以包含2-3次迭代，具体数量可以根据对网络大小的需求即运算时间调整。
所述解码模块中，对应每一个编解码模块，其结构都需要为最终的重构做出贡献，提供有效的信息。因此，在每一个编解码训练模块后，都伴随一个进一步的解码模块，该模块由反卷积层组成，充分提取编解码模块训练得到的信息。
权重分配模块及复原模块，经过解码和级联后得到网络提取的最终特征Frec。权重分配模块对前面得到的Frec进行权重的再分配得到Frrec，能够较好的消除伪影等干扰信息。复原模块使用反卷积网络完成，利用Frrec得到最后复原后的图像。
本发明针对的主要场景为远距离拍摄图片时的情况，距离过远容易使目标所占地像素区域较小，同时光线、镜头抖动等问题都和容易造成图片的模糊，在短时间内采样得到镜头中的几帧作为网络的实际输入，得到高分辨率图像输出。在使用过程中，能够非常方便的通过多张连续图片作为网络输入，得到一张高分辨率图像。在网络的训练过程中，采用多张低分辨率图像和单张高分辨率图像做为图像对，即Ht——[Lt-(k-1)/2...Lt-2，Lt-1，Lt，Lt+1，Lt+2...Lt+(k-1)/2]，多张低分辨率图片以及他们之间的稠密光流作为网络的输入，得到的网络输出为Ht，St与Ht形成网络训练的损失，网络的目标是降低以该损失为主体的损失值，以更新参数，得到更好的结果。网络采用优化器Adam，初始学习率设为0.0001。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于神经网络的高分辨率图像复原方法，其特征在于，包括如下步骤：
步骤S1：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；
步骤S2：采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；
步骤S3：对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；
步骤S4：对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
2.根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：对网络输入中的目标帧进行特征提取时，采用1-2层卷积层对目标帧进行特征提取，得到第一特征；对第一帧及其相邻帧光流进行特征提取时，采用1-2层卷积层对低分辨率图像序列及其稠密光流中的第一帧、第一帧与第二帧的稠密光流、第二帧进行特征提取。
3.根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述采用迭代式上下采样的方法对浅层特征进行特征提取和细化的判断方法为：判断浅层特征是否有相邻帧未计算，若是，则将得到的一个输出第一特征与下一帧及其相邻帧光流的特征进行特征级联，作为下一次迭代的输入，不断循环迭代，直到所有的输入帧都经过计算为止，若否，进入步骤S3。
4.根据权利要求1或3所述的基于神经网络的高分辨率图像复原方法，其特征在于：迭代式上下采样时，单次上下迭代的过程包含：第一卷积层、第一反卷积层、第二卷积层、第二反卷积层、第三卷积层、第三反卷积层。
5.根据权利要求4所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述第一卷积层和第一反卷积层采用相同的卷积核、步长、以及通道数；第二卷积层和第二反卷积层采用相同的卷积核、步长、以及通道数；第三卷积层和第三反卷积层采用相同的卷积核、步长、以及通道数。
6.根据权利要求4所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述第一卷积层的输入为浅层特征，第一反卷积层的输入为第一卷积层的结果，第二卷积层的输入为第一反卷积层的结果与浅层特征的差，第二反卷积层的输入为第二卷积层的结果，第三卷积层的输入为第二反卷积层的结果，第三反卷积层的输入为第三卷积层的结果与第二反卷积层的结果的差。
7.根据权利要求1或3所述的基于神经网络的高分辨率图像复原方法，其特征在于：迭代式上下采样的数量根据对网络大小的需求调整。
8.根据权利要求3所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述采用迭代式上下采样的时，保存每次迭代得到的输出第二特征。
9.根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：利用最终特征对图像进行复原时，采用1-2层反卷积层。
10.一种基于神经网络的高分辨率图像复原系统，其特征在于，包括：
特征提取模块，用于对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；
编解码模块，用于采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；
解码模块，用于对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；
权重分配模块及复原模块，用于对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
CN202011606864.XA 2020-12-28 2020-12-28 基于神经网络的高分辨率图像复原方法及系统 Pending CN112669234A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011606864.XA CN112669234A (zh) 2020-12-28 2020-12-28 基于神经网络的高分辨率图像复原方法及系统
PCT/CN2021/070672 WO2022141660A1 (zh) 2020-12-28 2021-01-07 基于神经网络的高分辨率图像复原方法及系统
US17/642,137 US20230154140A1 (en) 2020-12-28 2021-01-07 Neural network-based high-resolution image restoration method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011606864.XA CN112669234A (zh) 2020-12-28 2020-12-28 基于神经网络的高分辨率图像复原方法及系统

Publications (1)

Publication Number Publication Date
CN112669234A true CN112669234A (zh) 2021-04-16

Family

ID=75410877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011606864.XA Pending CN112669234A (zh) 2020-12-28 2020-12-28 基于神经网络的高分辨率图像复原方法及系统

Country Status (3)

Country Link
US (1) US20230154140A1 (zh)
CN (1) CN112669234A (zh)
WO (1) WO2022141660A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163138A (zh) * 2021-05-20 2021-07-23 苏州大学 基于双向循环网络的高分辨率视频复原系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634105A (zh) * 2019-09-24 2019-12-31 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN111316316A (zh) * 2019-04-10 2020-06-19 深圳市大疆创新科技有限公司 用于图像复原的神经网络及其训练与使用方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN111311490B (zh) * 2020-01-20 2023-03-21 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111507462B (zh) * 2020-04-15 2022-05-10 华中科技大学鄂州工业技术研究院 一种端对端的三维医学图像超分辨率重建方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634105A (zh) * 2019-09-24 2019-12-31 南京工程学院 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163138A (zh) * 2021-05-20 2021-07-23 苏州大学 基于双向循环网络的高分辨率视频复原系统及方法
CN113163138B (zh) * 2021-05-20 2023-01-17 苏州大学 基于双向循环网络的高分辨率视频复原系统及方法

Also Published As

Publication number Publication date
WO2022141660A1 (zh) 2022-07-07
US20230154140A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
US10860929B2 (en) Machine-learning based video compression
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN110933429B (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
CN110111251B (zh) 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
Wang et al. Event-driven video frame synthesis
CN111047532B (zh) 一种基于3d卷积神经网络的低照度视频增强方法
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
Niu et al. Blind motion deblurring super-resolution: When dynamic spatio-temporal learning meets static image understanding
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN114463218A (zh) 一种基于事件数据驱动的视频去模糊方法
CN114723760B (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN116777764A (zh) 一种基于扩散模型的光学遥感图像去云雾方法及系统
CN116862773A (zh) 一种应用于复杂场景下的视频超分辨率重建方法
CN113538229B (zh) 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN112669234A (zh) 基于神经网络的高分辨率图像复原方法及系统
CN112637604B (zh) 低时延视频压缩方法及装置
CN116012272A (zh) 一种基于重建流场的压缩视频质量增强方法
Ling et al. Compressed video sensing network based on alignment prediction and residual reconstruction
CN116152710A (zh) 一种基于跨帧实例关联的视频实例分割方法
US11928855B2 (en) Method, device, and computer program product for video processing
CN115564664A (zh) 基于融合双边重组注意力的二阶段Transformer编解码器的去运动模糊方法
JP2024511920A (ja) 圧縮情報に基づくビデオの超解像

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210416

RJ01 Rejection of invention patent application after publication