CN112767250B - 一种基于自监督学习的视频盲超分辨率重建方法及系统 - Google Patents

一种基于自监督学习的视频盲超分辨率重建方法及系统 Download PDF

Info

Publication number
CN112767250B
CN112767250B CN202110067977.5A CN202110067977A CN112767250B CN 112767250 B CN112767250 B CN 112767250B CN 202110067977 A CN202110067977 A CN 202110067977A CN 112767250 B CN112767250 B CN 112767250B
Authority
CN
China
Prior art keywords
resolution
video
network
video frame
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110067977.5A
Other languages
English (en)
Other versions
CN112767250A (zh
Inventor
潘金山
白浩然
唐金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110067977.5A priority Critical patent/CN112767250B/zh
Priority to PCT/CN2021/074281 priority patent/WO2022155990A1/zh
Publication of CN112767250A publication Critical patent/CN112767250A/zh
Application granted granted Critical
Publication of CN112767250B publication Critical patent/CN112767250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种基于自监督学习的视频盲超分辨率重建方法及系统，方法包括：首先采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；基于模糊核估计网络，利用第一分辨率视频序列估计模糊核；其次基于光流估计网络和第一分辨率视频序列确定形变矩阵；然后利用特征提取网络提取第一分辨率视频序列中各视频帧的特征，根据形变矩阵对齐各视频帧的特征；再次利用潜在高分辨率中间帧重建网络和对齐后各视频帧的特征来构建第二分辨率中间视频帧；最后基于第二分辨率中间视频帧确定第二分辨率视频。本发明采用自监督方法能够有效改善重建高分辨率视频时虚假伪影以及错误结构信息，进一步提高视觉效果。

Description

一种基于自监督学习的视频盲超分辨率重建方法及系统
技术领域
本发明涉及视频分辨率重建技术领域，特别是涉及一种基于自监督学习的视频盲超分辨率重建方法及系统。
背景技术
目前，高分辨率显示设备发展迅速，但使用这些设备放映低分辨率视频时，不可避免的会出现模糊和明显的伪影现象，因此视频超分辨率技术受到了越来越多的关注。
视频超分辨率技术的目标是从给出的低分辨率视频中重建出高分辨率视频。视频超分辨率问题的退化过程通常被定义为：
yj＝SKjFi→jxi+n,j＝i-N,i-N+1,…,i+N (1)，
其中，yj、xi、n分别表示第j视频帧低分辨率图像、第i视频帧高分辨率图像和噪声；S和Kj分别表示降采样矩阵和模糊矩阵；Fi→j表示形变矩阵(与光流ui→j相关，用于将xi向第j视频帧形变，实现对齐)。由于潜在高分辨率中间视频帧xi、模糊矩阵Kj和形变矩阵Fi→j都是未知的，所以视频超分辨率是一个高度病态的问题。
目前，随着深度卷积神经网络的发展，许多任务借助深度卷积神经网络都取得了可观的效果。但是，对于视频超分辨率任务，想要获取成对的低-高分辨率训练数据，是十分困难的。大多数视频超分辨率算法都假设模糊核是已知的(如高斯模糊核、双三次插值)，并使用假设的模糊核构建大规模数据集来训练深度模型。但是，实际场景下的模糊核更加的复杂，所以用假设的模糊核构建的数据集，然后利用数据集训练的深度模型在真实视频上的泛化能力较差，但在实际应用场景中图像退化过程更加复杂，所以利用上述方式训练的深度模型在对真实视频高分辨率重建时，会出现虚假伪影以及错误结构信息，这类错误信息会使视觉效果降低，并且在基于重建后的高分辨率视频进行下游任务时，会造成精度下降的影响。
发明内容
基于此，本发明的目的是提供一种基于自监督学习的视频盲超分辨率重建方法及系统，以改善重建高分辨率视频时出现虚假伪影以及错误结构信息的现象。
为实现上述目的，本发明提供了一种基于自监督学习的视频盲超分辨率重建方法，所述方法包括：
S1：基于第一分辨率视频确定第一分辨率视频序列；
S2：采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；
S3：基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核；
S4：基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵；
S5：利用所述特征提取网络提取所述第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征；
S6：利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧；
S7：基于所述第二分辨率中间视频帧确定第二分辨率视频；所述第二分辨率视频的分辨率大于所述第一分辨率视频的分辨率。
可选地，所述采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络，具体包括：
S21：通过卷积操作根据所述模糊核确定模糊矩阵；
S22：根据所述模糊矩阵构建循环一致性损失函数；
S23：构建模糊核正则损失函数；
S24：构建辅助重建损失函数；
S25：根据所述循环一致性损失函数、所述模糊核正则损失函数和所述辅助重建损失函数确定总损失函数；
S26：当总损失函数最小时，确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络。
可选地，所述基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵，具体包括：
S41：基于所述光流估计网络计算第一分辨率视频序列中各视频帧与中间视频帧的光流；
S42：采用双线性插值方法根据所述光流计算形变矩阵；根据所述形变矩阵确定形变操作。
可选地，所述利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征，具体包括：
S51：利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征；
S52：利用所述形变操作将各视频帧的特征向中间视频帧的特征进行对齐，获得对齐后各视频帧的特征。
可选地，所述利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧，具体公式为：
Figure BDA0002904898770000031
其中，NI(·)为潜在高分辨率中间帧重建网络，C[·]为连接操作，
Figure BDA0002904898770000032
为第一分辨率视频序列中对齐后的第j-N视频帧特征，xi为第二分辨率中间视频帧。
本发明还提供一种基于自监督学习的视频盲超分辨率重建系统，所述系统包括：
第一分辨率视频序列确定模块，用于基于第一分辨率视频确定第一分辨率视频序列；
多网络确定模块，用于采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；
模糊核确定模块，用于基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核；
形变矩阵确定模块，用于基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵；
特征对齐模块，用于利用所述特征提取网络提取所述第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征；
第二分辨率中间视频帧确定模块，用于利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧；
第二分辨率视频确定模块，用于基于所述第二分辨率中间视频帧确定第二分辨率视频；所述第二分辨率视频的分辨率大于所述第一分辨率视频的分辨率。
可选地，所述多网络确定模块，具体包括：
模糊矩阵确定单元，用于通过卷积操作根据所述模糊核确定模糊矩阵；
循环一致性损失函数构建单元，用于根据所述模糊矩阵构建循环一致性损失函数；
模糊核正则损失函数构建单元，用于构建模糊核正则损失函数；
辅助重建损失函数构建单元，用于构建辅助重建损失函数；
总损失函数构建单元，用于根据所述循环一致性损失函数、所述模糊核正则损失函数和所述辅助重建损失函数确定总损失函数；
多网络确定单元，用于当总损失函数最小时，确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络。
可选地，所述形变矩阵确定模块，具体包括：
光流确定单元，用于基于所述光流估计网络计算第一分辨率视频序列中各视频帧与中间视频帧的光流；
形变矩阵确定单元，用于采用双线性插值方法根据所述光流计算形变矩阵；根据所述形变矩阵确定形变操作。
可选地，所述特征对齐模块，具体包括：
特征确定单元，用于利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征；
特征对齐单元，用于利用所述形变操作将各视频帧的特征向中间视频帧的特征进行对齐，获得对齐后各视频帧的特征。
可选地，所述利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧，具体公式为：
Figure BDA0002904898770000051
其中，NI(·)为潜在高分辨率中间帧重建网络，C[·]为连接操作，
Figure BDA0002904898770000052
为第一分辨率视频序列中对齐后的第j-N视频帧特征，xi为第二分辨率中间视频帧。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于自监督学习的视频盲超分辨率重建方法及系统，方法包括：首先采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；基于模糊核估计网络，利用第一分辨率视频序列估计模糊核；其次基于光流估计网络和第一分辨率视频序列确定形变矩阵；然后利用特征提取网络提取第一分辨率视频序列中各视频帧的特征，根据形变矩阵对齐各视频帧的特征；再次利用潜在高分辨率中间帧重建网络和对齐后各视频帧的特征来构建第二分辨率中间视频帧；最后基于第二分辨率中间视频帧确定第二分辨率视频。本发明采用自监督方法能够有效改善重建高分辨率视频时虚假伪影以及错误结构信息，提高在真实视频上的泛化能力，进一步提高视觉效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1基于自监督学习的视频盲超分辨率重建方法流程图；
图2为本发明实施例1模糊核估计网络的网络结构图；
图3为本发明实施例1特征提取网络的网络结构图；
图4为本发明实施例1潜在高分辨率中间帧重建网络的网络结构图；
图5为本发明实施例2基于自监督学习的视频盲超分辨率重建系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于自监督学习的视频盲超分辨率重建方法及系统，以改善重建高分辨率视频时出现虚假伪影以及错误结构信息的现象。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，一种基于自监督学习的视频盲超分辨率重建方法，所述方法包括：
S1：基于第一分辨率视频确定第一分辨率视频序列。
S2：采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络。
S3：基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核。
S4：基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵。
S5：利用所述特征提取网络提取所述第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征。
S6：利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧。
S7：基于所述第二分辨率中间视频帧确定第二分辨率视频；所述第二分辨率视频的分辨率大于所述第一分辨率视频的分辨率。
下面对各个步骤进行详细论述：
S1：基于第一分辨率视频确定第一分辨率视频序列；所述第一分辨率视频序列一共包括2N+1视频帧；第一分辨率为低分辨率，即第一分辨率视频为低分辨率视频，所述第一分辨率视频序列为低分辨率视频序列。本实施例中第一分辨率视频为直接获取的。
S2：采用自监督学习方法确定模糊核估计网络Nk(·)、光流估计网络Nf(·)、特征提取网络Ne(·)和潜在高分辨率中间帧重建网络NI(·)，具体包括：
S21：通过卷积操作根据所述模糊核确定模糊矩阵Ki。
S22：根据所述模糊矩阵构建循环一致性损失函数，具体公式为：
Lself＝ρ(SKixi-yi) (2)；
其中，Lself表示循环一致性损失函数，ρ(·)表示一种鲁棒的函数，通常使用L1范数或L2范数，S表示降采样矩阵，Ki表示模糊矩阵，xi表示第二分辨率中间视频帧，yi表示第一分辨率视频序列中第i视频帧。
但是，仅使用公式(2)约束上述网络的训练，往往会导致平凡解。为了解决这个问题，本发明进一步挖掘模糊核和公式(1)的性质，来约束上述网络的训练。
其一是挖掘模糊核的性质，模糊核中的元素往往是稀疏的，为了确保模糊核估计模块估计出来的模糊核满足稀疏的性质，因此本发明引入超拉普拉斯先验来刻画模糊核的稀疏性，即通过最小化模糊核正则损失函数来约束模糊核估计网络Nk(·)的训练。
S23：构建模糊核正则损失函数，具体公式为：
Lk＝||Ki||α (3)；
其中，Lk表示模糊核正则损失函数，Ki表示模糊核，α表示超参数，通常取值为0.5。
其二是挖掘公式(1)的性质，如下：
性质：设
Figure BDA0002904898770000071
M分别表示准确的模糊矩阵，形变矩阵，低-高分辨率视频映射函数，有：
xi＝M(yi-N,…,yi-1,yi,yi+1,…,yi+N) (4)；
恒成立。因此，对于任意的视频{Lj}，当
Figure BDA0002904898770000072
时，有：
Hi＝M(Li-N,…,Li-1,Li,Li+1,…,Li+N) (5)；
当本发明已经估计出模糊核时，本发明可以借助辅助的数据对{Li,Hi}对深度网络进行训练，本发明用输入的第一分辨率视频{yi}作为此处的{Hi}，使用辅助重建损失函数来约束光流估计网络Nf(·)、特征提取网络Ne(·)和潜在高分辨率中间帧重建网络NI(·)，因此有以下步骤：
S24：构建辅助重建损失函数，具体公式为：
Figure BDA0002904898770000081
其中，LI表示辅助重建损失函数，ρ(·)表示一种鲁棒的函数，通常使用L1范数或L2范数，C[·]表示连接操作，NI(·)表示潜在高分辨率中间帧重建网络，
Figure BDA0002904898770000082
表示从Li中提取的特征，
Figure BDA0002904898770000083
表示形变后Lj的特征，{Lj}表示任意的视频。形变时用到的光流为Nf(Lj,Li)，且
Figure BDA0002904898770000084
S25：根据所述循环一致性损失函数、所述模糊核正则损失函数和所述辅助重建损失函数确定总损失函数，具体公式为：
Ltotal＝Lself+λLk+γLI (7)；
其中，Ltotal表示总损失函数，Lself表示循环一致性损失函数Lk表示模糊核正则损失函数，LI表示辅助重建损失函数，λ和γ为表示超参数。
S26：当总损失函数最小时，确定模糊核估计网络Nk(·)、光流估计网络Nf(·)、特征提取网络Ne(·)和潜在高分辨率中间帧重建网络NI(·)。
S3：基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核，具体公式为：
Ki＝Nk(C[yi-N,…,yi-1,yi,yi+1,…,yi+N]) (8)；
其中，Ki为模糊核，Nk(·)为模糊核估计网络，C[·]为连接操作，yi-N为第一分辨率视频序列中第i-N视频帧。
本实施例中，所述模糊核估计网络Nk(·)的具体的网络结构及参数如图2所示。
S4：基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵，具体包括：
S41：基于所述光流估计网络计算第一分辨率视频序列中各视频帧与中间视频帧的光流，具体公式为：
uj→i＝Nf(yj,yi) (9)；
其中，uj→i为第一分辨率视频序列中第j视频帧与中间视频帧的光流，Nf(·)为光流估计网络，yi为第一分辨率视频序列中中间视频帧，yj为第一分辨率视频序列中第j视频帧，j＝i-N,…j-1,j+1,…,i+N。
本实施例中使用已有的光流估计算法PWC-Net作为光流估计网络。
S42：采用双线性插值方法根据所述光流计算形变矩阵Fj→i；根据形变矩阵Fj→i确定形变操作Fj→i。
S43：利用所述形变操作将第一分辨率视频序列中各视频帧向中间视频帧进行对齐，具体公式为：
Figure BDA0002904898770000091
其中，
Figure BDA0002904898770000092
为第一分辨率视频序列中第j视频帧yj被对齐获得的结果，Fj→i为形变操作。
为了更好的对齐相邻帧的信息，本发明提供了第二种技术方案，具体如下：
S5：利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征，具体包括：
S51：利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征，具体公式为：
Figure BDA0002904898770000093
其中，
Figure BDA0002904898770000094
表示第j视频帧yj提取的特征，Ne(·)表示特征提取网络。
本实施例中，所述特征提取网络的具体的网络结构及参数如图3所示。
S52：利用所述形变操作将各视频帧的特征向中间视频帧的特征进行对齐，获得对齐后各视频帧的特征，具体公式为：
Figure BDA0002904898770000095
其中，
Figure BDA0002904898770000096
为第j视频帧对应的特征
Figure BDA0002904898770000097
被对齐后获得的第j视频帧的特征，Fj→i为形变操作，
Figure BDA0002904898770000098
为中间视频帧yi的特征。所述对齐后各视频帧的特征包括
Figure BDA0002904898770000099
S6：利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧，具体公式为：
Figure BDA00029048987700000910
其中，NI(·)为潜在高分辨率中间帧重建网络，C[·]为连接操作，
Figure BDA0002904898770000101
为第一分辨率视频序列中对齐后的第j-N视频帧特征，xi为第二分辨率中间视频帧。
本实施例中潜在高分辨率中间帧重建网络NI(·)的具体的网络结构及参数如图4所示。
S7：基于所述第二分辨率中间视频帧确定第二分辨率视频；所述第二分辨率视频的分辨率大于所述第一分辨率视频的分辨率。
实施例2
如图5所示，本发明还提供一种基于自监督学习的视频盲超分辨率重建系统，所述系统包括：
第一分辨率视频序列确定模块501，用于基于第一分辨率视频确定第一分辨率视频序列。
多网络确定模块502，用于采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络。
模糊核确定模块503，用于基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核。
形变矩阵确定模块504，用于基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵。
特征对齐模块505，用于利用所述特征提取网络提取所述第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征。
第二分辨率中间视频帧确定模块506，用于利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧。
第二分辨率视频确定模块507，用于基于所述第二分辨率中间视频帧确定第二分辨率视频；所述第二分辨率视频的分辨率大于所述第一分辨率视频的分辨率。
作为一种可选的实施方式，本发明所述多网络确定模块502，具体包括：
模糊矩阵确定单元，用于通过卷积操作根据所述模糊核确定模糊矩阵。
循环一致性损失函数构建单元，用于根据所述模糊矩阵构建循环一致性损失函数。
模糊核正则损失函数构建单元，用于构建模糊核正则损失函数。
辅助重建损失函数构建单元，用于构建辅助重建损失函数。
总损失函数构建单元，用于根据所述循环一致性损失函数、所述模糊核正则损失函数和所述辅助重建损失函数确定总损失函数。
多网络确定单元，用于当总损失函数最小时，确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络。
作为一种可选的实施方式，本发明所述形变矩阵确定模块504，具体包括：
光流确定单元，用于基于所述光流估计网络计算第一分辨率视频序列中各视频帧与中间视频帧的光流。
形变矩阵确定单元，用于采用双线性插值方法根据所述光流计算形变矩阵；根据所述形变矩阵确定形变操作。
作为一种可选的实施方式，本发明所述特征对齐模块505，具体包括：
特征确定单元，用于利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征。
特征对齐单元，用于利用所述形变操作将各视频帧的特征向中间视频帧的特征进行对齐，获得对齐后各视频帧的特征。
作为一种可选的实施方式，本发明所述利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧，具体公式为：
Figure BDA0002904898770000111
其中，NI(·)为潜在高分辨率中间帧重建网络，C[·]为连接操作，
Figure BDA0002904898770000112
为第一分辨率视频序列中对齐后的第j-N视频帧特征，xi为第二分辨率中间视频帧。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于自监督学习的视频盲超分辨率重建方法，其特征在于，所述方法包括：
S1：基于第一分辨率视频确定第一分辨率视频序列；
S2：采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；
S3：基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核；
具体公式为：
Ki＝Nk(C[yi-N,…,yi-1,yi,yi+1,…,yi+N])；
其中，Ki为模糊核，Nk(·)为模糊核估计网络，C[·]为连接操作，yi-N为第一分辨率视频序列中第i-N视频帧；
S4：基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵；
S5：利用所述特征提取网络提取所述第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征；
所述利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征，具体包括：
S51：利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征；
S52：利用形变操作将各视频帧的特征向中间视频帧的特征进行对齐，获得对齐后各视频帧的特征；
S6：利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧；
S7：基于所述第二分辨率中间视频帧确定第二分辨率视频；所述第二分辨率视频的分辨率大于所述第一分辨率视频的分辨率。
2.根据权利要求1所述的基于自监督学习的视频盲超分辨率重建方法，其特征在于，所述采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络，具体包括：
S21：通过卷积操作根据所述模糊核确定模糊矩阵；
S22：根据所述模糊矩阵构建循环一致性损失函数；
S23：构建模糊核正则损失函数；
S24：构建辅助重建损失函数；
S25：根据所述循环一致性损失函数、所述模糊核正则损失函数和所述辅助重建损失函数确定总损失函数；
S26：当总损失函数最小时，确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络。
3.根据权利要求1所述的基于自监督学习的视频盲超分辨率重建方法，其特征在于，所述基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵，具体包括：
S41：基于所述光流估计网络计算第一分辨率视频序列中各视频帧与中间视频帧的光流；
S42：采用双线性插值方法根据所述光流计算形变矩阵；根据所述形变矩阵确定形变操作。
4.根据权利要求1所述的基于自监督学习的视频盲超分辨率重建方法，其特征在于，所述利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧，具体公式为：
Figure FDA0003247047730000021
其中，NI(·)为潜在高分辨率中间帧重建网络，C[·]为连接操作，
Figure FDA0003247047730000022
为第一分辨率视频序列中对齐后的第j-N视频帧特征，xi为第二分辨率中间视频帧。
5.一种基于自监督学习的视频盲超分辨率重建系统，其特征在于，所述系统包括：
第一分辨率视频序列确定模块，用于基于第一分辨率视频确定第一分辨率视频序列；
多网络确定模块，用于采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；
模糊核确定模块，用于基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核；
具体公式为：
Ki＝Nk(C[yi-N,…,yi-1,yi,yi+1,…,yi+N])；
其中，Ki为模糊核，Nk(·)为模糊核估计网络，C[·]为连接操作，yi-N为第一分辨率视频序列中第i-N视频帧；
形变矩阵确定模块，用于基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵；
特征对齐模块，用于利用所述特征提取网络提取所述第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征；
所述特征对齐模块，具体包括：
特征确定单元，用于利用所述特征提取网络提取第一分辨率视频序列中各视频帧的特征；
特征对齐单元，用于利用形变操作将各视频帧的特征向中间视频帧的特征进行对齐，获得对齐后各视频帧的特征；
第二分辨率中间视频帧确定模块，用于利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧；
第二分辨率视频确定模块，用于基于所述第二分辨率中间视频帧确定第二分辨率视频；所述第二分辨率视频的分辨率大于所述第一分辨率视频的分辨率。
6.根据权利要求5所述的基于自监督学习的视频盲超分辨率重建系统，其特征在于，所述多网络确定模块，具体包括：
模糊矩阵确定单元，用于通过卷积操作根据所述模糊核确定模糊矩阵；
循环一致性损失函数构建单元，用于根据所述模糊矩阵构建循环一致性损失函数；
模糊核正则损失函数构建单元，用于构建模糊核正则损失函数；
辅助重建损失函数构建单元，用于构建辅助重建损失函数；
总损失函数构建单元，用于根据所述循环一致性损失函数、所述模糊核正则损失函数和所述辅助重建损失函数确定总损失函数；
多网络确定单元，用于当总损失函数最小时，确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络。
7.根据权利要求5所述的基于自监督学习的视频盲超分辨率重建系统，其特征在于，所述形变矩阵确定模块，具体包括：
光流确定单元，用于基于所述光流估计网络计算第一分辨率视频序列中各视频帧与中间视频帧的光流；
形变矩阵确定单元，用于采用双线性插值方法根据所述光流计算形变矩阵；根据所述形变矩阵确定形变操作。
8.根据权利要求5所述的基于自监督学习的视频盲超分辨率重建系统，其特征在于，所述利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧，具体公式为：
Figure FDA0003247047730000041
其中，NI(·)为潜在高分辨率中间帧重建网络，C[·]为连接操作，
Figure FDA0003247047730000042
为第一分辨率视频序列中对齐后的第j-N视频帧特征，xi为第二分辨率中间视频帧。
CN202110067977.5A 2021-01-19 2021-01-19 一种基于自监督学习的视频盲超分辨率重建方法及系统 Active CN112767250B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110067977.5A CN112767250B (zh) 2021-01-19 2021-01-19 一种基于自监督学习的视频盲超分辨率重建方法及系统
PCT/CN2021/074281 WO2022155990A1 (zh) 2021-01-19 2021-01-29 一种基于自监督学习的视频盲超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110067977.5A CN112767250B (zh) 2021-01-19 2021-01-19 一种基于自监督学习的视频盲超分辨率重建方法及系统

Publications (2)

Publication Number Publication Date
CN112767250A CN112767250A (zh) 2021-05-07
CN112767250B true CN112767250B (zh) 2021-10-15

Family

ID=75703085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110067977.5A Active CN112767250B (zh) 2021-01-19 2021-01-19 一种基于自监督学习的视频盲超分辨率重建方法及系统

Country Status (2)

Country Link
CN (1) CN112767250B (zh)
WO (1) WO2022155990A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202017662D0 (en) * 2020-11-09 2020-12-23 Samsung Electronics Co Ltd Method and apparatus for video super resolution

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003041562A2 (en) * 2001-11-14 2003-05-22 Whitehead Institute For Biomedical Research Molecular cancer diagnosis using tumor gene expression signature
CN105913394A (zh) * 2016-04-08 2016-08-31 南京理工大学 一种基于退化图像序列的图像盲复原方法
CN106251297A (zh) * 2016-07-19 2016-12-21 四川大学 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN108288072A (zh) * 2018-01-26 2018-07-17 深圳市唯特视科技有限公司 一种基于生成对抗网络的面部表情合成方法
CN110634108A (zh) * 2019-08-30 2019-12-31 北京工业大学 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法
CN112200732A (zh) * 2020-04-30 2021-01-08 南京理工大学 一种清晰特征融合的视频去模糊方法
CN112218072A (zh) * 2020-10-10 2021-01-12 南京大学 一种基于解构压缩和融合的视频编码方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9692939B2 (en) * 2013-05-29 2017-06-27 Yeda Research And Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN106934769A (zh) * 2017-01-23 2017-07-07 武汉理工大学 基于近景遥感的去运动模糊方法
CN111275626B (zh) * 2018-12-05 2023-06-23 深圳市炜博科技有限公司 一种基于模糊度的视频去模糊方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003041562A2 (en) * 2001-11-14 2003-05-22 Whitehead Institute For Biomedical Research Molecular cancer diagnosis using tumor gene expression signature
CN105913394A (zh) * 2016-04-08 2016-08-31 南京理工大学 一种基于退化图像序列的图像盲复原方法
CN106251297A (zh) * 2016-07-19 2016-12-21 四川大学 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN108288072A (zh) * 2018-01-26 2018-07-17 深圳市唯特视科技有限公司 一种基于生成对抗网络的面部表情合成方法
CN110634108A (zh) * 2019-08-30 2019-12-31 北京工业大学 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法
CN112200732A (zh) * 2020-04-30 2021-01-08 南京理工大学 一种清晰特征融合的视频去模糊方法
CN112218072A (zh) * 2020-10-10 2021-01-12 南京大学 一种基于解构压缩和融合的视频编码方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Deep Blind Video Super-resolution";jinshan Pan et al;《Computer Vision and Pattern Recognition》;20200310;摘要、第4章，第1、3-5页 *
"Space-time super-resolution from a single video";Oded Shahar et al;《CVPR》;20110822;第3353-3360页 *
"基于深度学习的图像超分辨率技术研究";毕敏敏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210115(第1期);第2.4.2章 *
"基于视频超分辨率的研究与应用";陈聪颖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200715(第7期);第I138-1267页 *

Also Published As

Publication number Publication date
WO2022155990A1 (zh) 2022-07-28
CN112767250A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
Huang et al. Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization
Purkait et al. Super resolution image reconstruction through Bregman iteration using morphologic regularization
CN107274347A (zh) 一种基于深度残差网络的视频超分辨率重建方法
CN113837938B (zh) 基于动态视觉传感器重建潜在图像的超分辨率方法
Jiao et al. Multi-scale semantic image inpainting with residual learning and GAN
CN105488759B (zh) 一种基于局部回归模型的图像超分辨率重建方法
Chen et al. Single-image super-resolution using multihypothesis prediction
CN110689509B (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
Bare et al. Real-time video super-resolution via motion convolution kernel estimation
Aakerberg et al. Semantic segmentation guided real-world super-resolution
CN112767250B (zh) 一种基于自监督学习的视频盲超分辨率重建方法及系统
CN104766272A (zh) 一种基于亚像素偏移模型的图像超分辨率重建方法
Huang et al. Learning deformable and attentive network for image restoration
Liu et al. Progressive face super-resolution with cascaded recurrent convolutional network
Wang et al. Self-supervised deep image restoration via adaptive stochastic gradient langevin dynamics
CN111767679B (zh) 时变矢量场数据的处理方法及装置
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN114202459A (zh) 一种基于深度先验的盲图像超分辨率方法
CN117058043A (zh) 一种基于lstm的事件-图像去模糊方法
CN117196948A (zh) 一种基于事件数据驱动的视频超分辨率方法
CN103903239A (zh) 一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其系统
Song et al. Deformable transformer for endoscopic video super-resolution
CN114757826A (zh) 一种基于多特征的pocs图像超分辨率重建方法
Fang et al. Self-enhanced convolutional network for facial video hallucination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant