CN115633145A - 基于循环Unet网络的视频去隔行及超分的方法 - Google Patents

基于循环Unet网络的视频去隔行及超分的方法 Download PDF

Info

Publication number
CN115633145A
CN115633145A CN202211402681.5A CN202211402681A CN115633145A CN 115633145 A CN115633145 A CN 115633145A CN 202211402681 A CN202211402681 A CN 202211402681A CN 115633145 A CN115633145 A CN 115633145A
Authority
CN
China
Prior art keywords
data
frame
neural network
interlacing
unet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211402681.5A
Other languages
English (en)
Inventor
杨常星
凌云
钟宇清
宋一平
宋蕴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Nationalchip Science & Technology Co ltd
Original Assignee
Hangzhou Nationalchip Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Nationalchip Science & Technology Co ltd filed Critical Hangzhou Nationalchip Science & Technology Co ltd
Priority to CN202211402681.5A priority Critical patent/CN115633145A/zh
Publication of CN115633145A publication Critical patent/CN115633145A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了基于循环Unet网络的视频去隔行及超分的方法。本发明方法是基于循环Unet神经网络的多帧输入多帧输出自适应视频去隔行，每次输入当前相邻两帧数据，以及前一次预测的两场去隔行预测数据，将上述数据输入到Unet神经网络中，输出当前次预测的两场去隔行数据，及结合输入数据恢复的去隔行数据。若输入为标清数据，输出要求高清数据，则将去隔行数据输入到SRnet(超分辨率恢复网络)中，输出高清的去隔行数据。若无需数据转换要求，则直接输出去隔行数据。本发明的循环Unet神经网络具有强大的视频去隔行复原能力，无需场景判断能够自适应的处理不同场景的隔行数据，获得理想的去隔行效果。

Description

基于循环Unet网络的视频去隔行及超分的方法
技术领域
本发明属于视频图像处理技术领域，具体涉及一种基于循环Unet网络的视频去隔行及超分的方法。
背景技术
在传输电视信号时，由于受限于传输带宽的约束，对电视信号采用了隔行扫描技术传输。即将电视帧分成两个电视场分别扫描，按奇数扫描行构成的场叫奇数场(或顶场)，按偶数扫描行构成的场叫偶数场(或底场)，奇数和偶数场交错组成一个电视帧。实际传输时，又分为顶场优先和底场优先两种情景。以顶场优先为例，传输的隔行帧数据来源于当前帧的顶场数据，以及下一帧的底场数据。
隔行扫描技术传输节省了传输带宽，同样带来了一些问题。首先由于传输的每帧来源于前一帧的顶场和当前帧的底场(或前一帧的底场和当前帧的顶场)构成的，导致隔行扫描的图像垂直清晰度降低。另外隔行扫描还会带来明显的场间闪烁，运动物体易产生羽化效应，近水平直线易则产生边沿锯齿化效应等等。为解决上述由场效应引起的问题，产生了去隔行技术。如：针对静止画面的奇偶场直接合并技术、仅保留单场的场复制合并技术和内插补点技术、结合奇偶场的场融合技术、基于运动补偿的去隔行技术等。但上述去隔行方法大都针对特定的某一类隔行数据有效，整体去隔行效果不佳。基于场景判断的方法，则集成了上述的多个方法，但该方法很容易由于场景误判，造成去隔行错误，引起去隔行效果不佳。而基于运动补偿的去隔行技术在上述方法中去隔行效果相对较好，但该方法所需硬件资源较大，造成产品的成本高。
深度神经网络在各领域不断取得突破性进展，其技术已被推广到诸多相关领域，相比其它传统机器学习方法，神经网络模型具有更强的拟合表征能力。Unet神经网络是一种轻量级网络结构，且在图像处理领域被证实是一种有效的特征提取网络。RNN(RecurrentNeural Network,RNN)神经网络则具有将先前的信息连接到当前的任务中，可用于前后帧之间信息的互补。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于循环Unet网络的视频去隔行及超分的方法，用以解决现有技术在应对不同场景采用不同去隔行处理手段，而由于场景判断不准确，导致复原的视频质量不理想问题。
本发明包括去隔行任务和超分任务，去隔行任务使用Unet神经网络，超分任务使用SRnet神经网络；具体是：
步骤(1)构建Unet神经网络；所述的Unet神经网络包括特征提取模块、特征融合模块、特征恢复模块。
进一步，所述的特征提取模块接收Unet神经网络的输入数据，包括一个卷积块和三个残差堆；第一卷积块包括两个3×3标准卷积和两个非线性映射层prelu；每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu；
所述的特征融合模块对特征提取模块输出的低维特征和高维特征进行特征融合，包括三个残差堆，每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu、一个2×2反卷积；
所述的特征恢复模块将特征融合后数据恢复去隔行数据，作为Unet神经网络的输出，包括两个3×1标准卷积和一个3×3标准卷积。
步骤(2)构建SRnet神经网络；所述的SRnet神经网络为超分辨恢复网络，包括两个卷积块和两个残差堆。
进一步，第一卷积块包括一个3×3标准卷积、两个非线性映射层prelu、一个3×3反卷积，第二卷积块包括一个3×3标准卷积、一个非线性映射层prelu；每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu。
步骤(3)对Unet神经网络和SRnet神经网络进行联合训练；
首先生成Unet神经网络和SRnet神经网络的训练数据，训练数据尽可能覆盖到去隔行的应用场景(如包含字幕、运动目标、静止画面、近水平直线数据等)。
Unet神经网络预测数据DF对应标签数据LF，去隔行效果约束的损失函数
Figure BDA0003934157620000021
SRnet神经网络预测数据SF对应标签数据LS，超分效果约束的损失函数
Figure BDA0003934157620000022
Γ1表示L1范数，Γ2表示L2范数，
Figure BDA0003934157620000023
表示一阶梯度算子，设定的约束因子0.1≤α≤0.5。
联合训练总损失函数Loos＝Loos1+βLoos2，设定的约束因子0.5≤β≤1.0。
Unet神经网络输出用于约束视频去隔行效果，SRnet神经网络输出用于约束视频超分效果，均采用L1+L2范数约束，加入L2是为了保证输出画面的平滑性。联合训练Loos达到要求后，获得训练后的Unet神经网络和SRnet神经网络。
步骤(4)将输入的第1帧数据F1抽成两个场数据，分别为底场数据F1,b和顶场数据F1,t；第2帧数据F2抽成底场数据F2,b和顶场数据F2,t；将F1,b、F1,t、F2,b、F2,t和两个初始化为0的场数据作为Unet神经网络的第一次输入；Unet神经网络本次输出第1帧底场数据对应的顶场预测场数据f1,t、第2帧顶场数据对应的底场预测场数据f2,b、第1帧底场去隔行帧数据DF1、第2帧顶场去隔行帧数据DF2。
步骤(5)将输入的第3帧数据F3抽成两个场数据，分别为底场数据F3,b和顶场数据F3,t；将F2,b、F2,t、F3,b、F3,t和f1,t、f2,b作为Unet神经网络的第二次输入；Unet神经网络本次输出第2帧底场数据对应的顶场预测场数据f2,t、第3帧顶场数据对应的底场预测场数据f3,b、第2帧底场去隔行帧数据DF3、第3帧顶场去隔行帧数据DF4。
依次类推，将输入的第n′帧数据Fn′抽成底场数据Fn′,b和顶场数据Fn′,t，第n′+1帧数据Fn′+1抽成底场数据Fn′+1,b和顶场数据Fn′+1,t，帧序号n′＝2,3,…,N，N为输入总帧数；将Fn′,b、Fn′,t、Fn′+1,b、Fn′+1,t和fn′-1,t、fn′,b作为Unet神经网络的第n′次输入；Unet神经网络本次输出第n′帧底场数据对应的顶场预测场数据fn′,t、第n′+1帧顶场数据对应的底场预测场数据fn′+1,b、第n′帧底场去隔行帧数据DF2n′-1、第n′+1帧顶场去隔行帧数据DF2n′。
进一步，将Fn,b在抽帧方向通过一个3×3卷积插值函数μ1得到中间变量D12n-1,D12n-1＝μ1(Fn,b)，进而得到将去隔行中间数据D32n-1＝D12n-1+D22n-1，D22n-1为特征恢复模块中3×1标准卷积输出的预测残差结果；
将D32n-1经特征恢复模块中3×3标准卷积得到第n帧底场数据对应的顶场预测场数据fn,t＝conv(D32n-1)，conv(·)表示3×3平滑卷积。
将Fn+1,t在抽帧方向通过另一个3×3卷积插值函数μ2得到中间变量D42n,D42n＝μ2(Fn+1,t)，进而得到将去隔行中间数据D62n＝D42n+D52n，D52n为特征恢复模块中3×1标准卷积输出的预测残差结果；
将D62n经特征恢复模块中3×3标准卷积得到第n+1帧顶场数据对应的底场预测场数据fn+1,b＝conv(D62n)，conv(·)表示3×3平滑卷积。
将Fn,b和fn,t按顶底场交错数据格式，合成DF2n-1；将Fn+1,t和fn+1,b按顶底场交错数据格式，合成DF2n。
步骤(6)将DF2n-1和DF2n输入SRnet神经网络，得到放大的高清数据SF2n-1和SF2n，输出高清数据，帧序号n＝1,2,…,N；SF2n-1＝S12n-1+S22n-1，SF2n＝S12n+S22n，中间变量S12n-1＝μ(DF2n-1)，S12n＝μ(DF2n)，μ为放大函数，S22n-1和S22n为SRnet神经网络的第二个残差堆输出。
本发明方法借鉴RNN思想，所提出的循环Unet神经网络，能够充分的挖掘前后帧之间，以及帧本身的信息，最终得到理想的去隔行复原效果。此外，根据实际应用需求，去隔行后加入超分辨率恢复处理，可根据实际的需求进行选择。本发明所提出的视频去隔行方法，不仅去隔行效果好，而且算力小，易于硬件部署。本发明针对实际需求，如果处理的是标清数据，视频去隔行后，需要将标清转换成高清数据输出，故本发明方法在去隔行后加入图像的放大处理(SRnet)，该操作可依据实际需求进行选择。
附图说明
图1是本发明方法实施例流程图；
图2是Unet和SRnet神经网络示意图。
具体实施方式
以下结合附图，借助实施例详细描述本发明。但应注意到：除非另外特殊说明，否则在实施例中涉及的数字表达式、字母表达式和数值不限定本发明的范围，提供这写实施例仅为了让相关人员更便于理解本发明。对相关领域的技术人员公知的技术方法不做过多描述。但一定条件下，本发明所述技术应当被视为说明书的一部分。
基于循环Unet网络的视频去隔行及超分的方法，包括去隔行任务和超分任务，去隔行任务使用Unet神经网络，超分任务使用SRnet神经网络。具体流程如图1所示，Unet和SRnet神经网络如图2所示：
步骤(1)构建Unet神经网络；Unet神经网络包括特征提取模块、特征融合模块、特征恢复模块。
特征提取模块接收Unet神经网络的输入数据，包括一个卷积块和三个残差堆；第一卷积块包括两个3×3标准卷积和两个非线性映射层prelu；每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu。
特征融合模块对特征提取模块输出的低维特征和高维特征进行特征融合，包括三个残差堆，每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu、一个2×2反卷积。
特征恢复模块将特征融合后数据恢复去隔行数据，作为Unet神经网络的输出，包括两个3×1标准卷积和一个3×3标准卷积。
步骤(2)构建SRnet神经网络；SRnet神经网络为超分辨恢复网络，包括两个卷积块和两个残差堆。第一卷积块包括一个3×3标准卷积、两个非线性映射层prelu、一个3×3反卷积，第二卷积块包括一个3×3标准卷积、一个非线性映射层prelu；每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu。
步骤(3)对Unet神经网络和SRnet神经网络进行联合训练。
首先生成Unet神经网络和SRnet神经网络的训练数据，训练数据尽可能覆盖到去隔行的应用场景(如包含字幕、运动目标、静止画面、近水平直线数据等)。
Unet神经网络预测数据DF对应标签数据LF，去隔行效果约束的损失函数
Figure BDA0003934157620000051
SRnet神经网络预测数据SF对应标签数据LS，超分效果约束的损失函数
Figure BDA0003934157620000052
Γ1表示L1范数，Γ2表示L2范数，
Figure BDA0003934157620000053
表示一阶梯度算子，设定的约束因子0.1≤α≤0.5，本实施例α＝0.3。
联合训练总损失函数Loos＝Loos1+βLoos2，设定的约束因子0.5≤β≤1.0，本实施例β＝0.6。
Unet神经网络输出用于约束视频去隔行效果，SRnet神经网络输出用于约束视频超分效果，均采用L1+L2范数约束，加入L2是为了保证输出画面的平滑性。联合训练Loos达到要求后，获得训练后的Unet神经网络和SRnet神经网络。
步骤(4)将输入的第1帧数据F1抽成两个场数据，分别为底场数据F1,b和顶场数据F1,t；第2帧数据F2抽成底场数据F2,b和顶场数据F2,t；将F1,b、F1,t、F2,b、F2,t和两个初始化为0的场数据作为Unet神经网络的第一次输入；Unet神经网络本次输出第1帧底场数据对应的顶场预测场数据f1,t、第2帧顶场数据对应的底场预测场数据f2,b、第1帧底场去隔行帧数据DF1、第2帧顶场去隔行帧数据DF2。
步骤(5)将输入的第3帧数据F3抽成两个场数据，分别为底场数据F3,b和顶场数据F3,t；将F2,b、F2,t、F3,b、F3,t和f1,t、f2,b作为Unet神经网络的第二次输入；Unet神经网络本次输出第2帧底场数据对应的顶场预测场数据f2,t、第3帧顶场数据对应的底场预测场数据f3,b、第2帧底场去隔行帧数据DF3、第3帧顶场去隔行帧数据DF4。
依次类推，将输入的第n′帧数据Fn′抽成底场数据Fn′,b和顶场数据Fn′,t，第n′+1帧数据Fn′+1抽成底场数据Fn′+1,b和顶场数据Fn′+1,t，帧序号n′＝2,3,…,N，N为输入总帧数；将Fn′,b、Fn′,t、Fn′+1,b、Fn′+1,t和fn′-1,t、fn′,b作为Unet神经网络的第n′次输入；Unet神经网络本次输出第n′帧底场数据对应的顶场预测场数据fn′,t、第n′+1帧顶场数据对应的底场预测场数据fn′+1,b、第n′帧底场去隔行帧数据DF2n′-1、第n′+1帧顶场去隔行帧数据DF2n′。
具体操作方法是：将Fn,b在抽帧方向通过一个3×3卷积插值函数μ1得到中间变量D12n-1,D12n-1＝μ1(Fn,b)，进而得到将去隔行中间数据D32n-1＝D12n-1+D22n-1，D22n-1为特征恢复模块中3×1标准卷积输出的预测残差结果，帧序号n＝1,2,…,N；
将D32n-1经特征恢复模块中3×3标准卷积得到第n帧底场数据对应的顶场预测场数据fn,t＝conv(D32n-1)，conv(·)表示3×3平滑卷积。
将Fn+1,t在抽帧方向通过另一个3×3卷积插值函数μ2得到中间变量D42n,D42n＝μ2(Fn+1,t)，进而得到将去隔行中间数据D62n＝D42n+D52n，D52n为特征恢复模块中3×1标准卷积输出的预测残差结果；
将D62n经特征恢复模块中3×3标准卷积得到第n+1帧顶场数据对应的底场预测场数据fn+1,b＝conv(D62n)，conv(·)表示3×3平滑卷积。
将Fn,b和fn,t按顶底场交错数据格式，合成DF2n-1；将Fn+1,t和fn+1,b按顶底场交错数据格式，合成DF2n。
步骤(6)将DF2n-1和DF2n输入SRnet神经网络，得到放大的高清数据SF2n-1和SF2n，输出高清数据；SF2n-1＝S12n-1+S22n-1，SF2n＝S12n+S22n，中间变量S12n-1＝μ(DF2n-1)，S12n＝μ(DF2n)，μ为放大函数，S22n-1和S22n为SRnet神经网络的第二个残差堆输出。

Claims (5)

1.基于循环Unet网络的视频去隔行及超分的方法，包括去隔行任务和超分任务，去隔行任务使用Unet神经网络，超分任务使用SRnet神经网络；其特征在于：
步骤(1)构建Unet神经网络；所述的Unet神经网络包括特征提取模块、特征融合模块、特征恢复模块；
步骤(2)构建SRnet神经网络；所述的SRnet神经网络为超分辨恢复网络，包括两个卷积块和两个残差堆；
步骤(3)对Unet神经网络和SRnet神经网络进行联合训练；
首先生成Unet神经网络和SRnet神经网络的训练数据；
Unet神经网络预测数据DF对应标签数据LF，去隔行效果约束的损失函数
Figure FDA0003934157610000011
SRnet神经网络预测数据SF对应标签数据LS，超分效果约束的损失函数
Figure FDA0003934157610000012
Γ1表示L1范数，Γ2表示L2范数，
Figure FDA0003934157610000013
表示一阶梯度算子，联合训练总损失函数Loos＝Loos1+βLoos2，α和β为设定的约束因子；
联合训练Loos达到要求后，获得训练后的Unet神经网络和SRnet神经网络；
步骤(4)将输入的第1帧数据F1抽成两个场数据，分别为底场数据F1,b和顶场数据F1,t；第2帧数据F2抽成底场数据F2,b和顶场数据F2,t；将F1,b、F1,t、F2,b、F2,t和两个初始化为0的场数据作为Unet神经网络的第一次输入；Unet神经网络本次输出第1帧底场数据对应的顶场预测场数据f1,t、第2帧顶场数据对应的底场预测场数据f2,b、第1帧底场去隔行帧数据DF1、第2帧顶场去隔行帧数据DF2；
步骤(5)将输入的第3帧数据F3抽成两个场数据，分别为底场数据F3,b和顶场数据F3,t；将F2,b、F2,t、F3,b、F3,t和f1,t、f2,b作为Unet神经网络的第二次输入；Unet神经网络本次输出第2帧底场数据对应的顶场预测场数据f2,t、第3帧顶场数据对应的底场预测场数据f3,b、第2帧底场去隔行帧数据DF3、第3帧顶场去隔行帧数据DF4；
依次类推，将输入的第n′帧数据Fn′抽成底场数据Fn′,b和顶场数据Fn′,t，第n′+1帧数据Fn′+1抽成底场数据Fn′+1,b和顶场数据Fn′+1,t，帧序号n′＝2,3,…,N，N为输入总帧数；将Fn′,b、Fn′,t、Fn′+1,b、Fn′+1,t和fn′-1,t、fn′,b作为Unet神经网络的第n′次输入；Unet神经网络本次输出第n′帧底场数据对应的顶场预测场数据fn′,t、第n′+1帧顶场数据对应的底场预测场数据fn′+1,b、第n′帧底场去隔行帧数据DF2n′-1、第n′+1帧顶场去隔行帧数据DF2n′；
步骤(6)将DF2n-1和DF2n输入SRnet神经网络，得到放大的高清数据SF2n-1和SF2n，输出高清数据，帧序号n＝1,2,…,N；SF2n-1＝S12n-1+S22n-1，SF2n＝S12n+S22n，中间变量S12n-1＝μ(DF2n-1)，S12n＝μ(DF2n)，μ为放大函数，S22n-1和S22n为SRnet神经网络的第二个残差堆输出。
2.如权利要求1所述的基于循环Unet网络的视频去隔行及超分的方法，其特征在于：
所述的特征提取模块接收Unet神经网络的输入数据，包括一个卷积块和三个残差堆；卷积块包括两个3×3标准卷积和两个非线性映射层prelu；每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu；
所述的特征融合模块对特征提取模块输出的低维特征和高维特征进行特征融合，包括三个残差堆，每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu、一个2×2反卷积；
所述的特征恢复模块将特征融合后数据恢复去隔行数据，作为Unet神经网络的输出，包括两个3×1标准卷积和一个3×3标准卷积。
3.如权利要求2所述的基于循环Unet网络的视频去隔行及超分的方法，其特征在于：
将Fn,b在抽帧方向通过一个3×3卷积插值函数μ1得到中间变量D12n-1,D12n-1＝μ1(Fn,b)，进而得到将去隔行中间数据D32n-1＝D12n-1+D22n-1，D22n-1为特征恢复模块中3×1标准卷积输出的预测残差结果；
将D32n-1经特征恢复模块中3×3标准卷积得到第n帧底场数据对应的顶场预测场数据fn,t＝conv(D32n-1)，conv(·)表示3×3平滑卷积；
将Fn+1,t在抽帧方向通过另一个3×3卷积插值函数μ2得到中间变量D42n,D42n＝μ2(Fn+1,t)，进而得到将去隔行中间数据D62n＝D42n+D52n，D52n为特征恢复模块中3×1标准卷积输出的预测残差结果；
将D62n经特征恢复模块中3×3标准卷积得到第n+1帧顶场数据对应的底场预测场数据fn+1,b＝conv(D62n)，conv(·)表示3×3平滑卷积；
将Fn,b和fn,t按顶底场交错数据格式，合成DF2n-1；将Fn+1,t和fn+1,b按顶底场交错数据格式，合成DF2n。
4.如权利要求1所述的基于循环Unet网络的视频去隔行及超分的方法，其特征在于：
所述的SRnet神经网络的第一卷积块包括一个3×3标准卷积、两个非线性映射层prelu、一个3×3反卷积，第二卷积块包括一个3×3标准卷积、一个非线性映射层prelu；每个残差堆包括两个残差子模块，每个残差子模块包括一个1×1标准卷积、一个3×3可分离卷积、一个非线性映射层prelu。
5.如权利要求1所述的基于循环Unet网络的视频去隔行及超分的方法，其特征在于：所述的约束因子0.1≤α≤0.5，0.5≤β≤1.0。
CN202211402681.5A 2022-11-09 2022-11-09 基于循环Unet网络的视频去隔行及超分的方法 Pending CN115633145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211402681.5A CN115633145A (zh) 2022-11-09 2022-11-09 基于循环Unet网络的视频去隔行及超分的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211402681.5A CN115633145A (zh) 2022-11-09 2022-11-09 基于循环Unet网络的视频去隔行及超分的方法

Publications (1)

Publication Number Publication Date
CN115633145A true CN115633145A (zh) 2023-01-20

Family

ID=84909386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211402681.5A Pending CN115633145A (zh) 2022-11-09 2022-11-09 基于循环Unet网络的视频去隔行及超分的方法

Country Status (1)

Country Link
CN (1) CN115633145A (zh)

Similar Documents

Publication Publication Date Title
US6069664A (en) Method and apparatus for converting a digital interlaced video signal from a film scanner to a digital progressive video signal
US5543939A (en) Video telephone systems
CN102714726B (zh) 使用元数据的用于时间缩放的边缘增强
EP0796540B1 (en) Method for procucing from a standard-bandwidth color television signal a color video signal with extended vertical definition
US6266093B1 (en) Color video camera method and system
CN112750094B (zh) 一种视频处理方法及系统
US20030112369A1 (en) Apparatus and method for deinterlace of video signal
US20070041665A1 (en) Information processing apparatus
JP2007104623A (ja) 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法
KR970006299B1 (ko) 촬상 장치
CN115633145A (zh) 基于循环Unet网络的视频去隔行及超分的方法
US20080279278A1 (en) Method of doubling frame rate of video signals
JP2869844B2 (ja) 駒数変換機能を有する画像信号処理装置
CN1199448C (zh) 用于视频扫描速率转换的运动补偿上变频的方法和装置
US7129988B2 (en) Adaptive median filters for de-interlacing
US6563548B1 (en) Interlace noise filter
CN111885337B (zh) 一种多帧率视频高效编辑方法
US5481304A (en) Apparatus for zooming a digital video signal of a predetermined color order which is derived from a charge-coupled device
EP1709799A1 (en) Method and apparatus for deinterlacing of video using motion compensated temporal interpolation
JPH0468984A (ja) 映像信号の方式変換回路
JP3071526B2 (ja) Ｍｕｓｅデコーダ
JP4109328B2 (ja) ビデオ信号符号化装置
JP3537189B2 (ja) テレビジョン信号変換装置
JP2928561B2 (ja) テレビジョン信号の形成方法及び装置
JPH0256191A (ja) Ｍｕｓｅデコーダの静止表示制御回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 310012 5-6 / F, block a, East Software Park Innovation Building, 90 Wensan Road, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Guoxin Microelectronics Co.,Ltd.

Address before: 310012 5-6 / F, block a, East Software Park Innovation Building, 90 Wensan Road, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU NATIONALCHIP SCIENCE & TECHNOLOGY Co.,Ltd.

Country or region before: China