CN116523758A - 基于关键帧的端云联合超分辨率视频重建方法及系统 - Google Patents

基于关键帧的端云联合超分辨率视频重建方法及系统 Download PDF

Info

Publication number
CN116523758A
CN116523758A CN202310801631.2A CN202310801631A CN116523758A CN 116523758 A CN116523758 A CN 116523758A CN 202310801631 A CN202310801631 A CN 202310801631A CN 116523758 A CN116523758 A CN 116523758A
Authority
CN
China
Prior art keywords
definition
video
low
frame
resolution video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310801631.2A
Other languages
English (en)
Other versions
CN116523758B (zh
Inventor
秦志金
王丽婷
杨定熹
陶晓明
段一平
刘帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nantong Research Institute for Advanced Communication Technologies Co Ltd
Original Assignee
Tsinghua University
Nantong Research Institute for Advanced Communication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nantong Research Institute for Advanced Communication Technologies Co Ltd filed Critical Tsinghua University
Priority to CN202310801631.2A priority Critical patent/CN116523758B/zh
Publication of CN116523758A publication Critical patent/CN116523758A/zh
Application granted granted Critical
Publication of CN116523758B publication Critical patent/CN116523758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及高清视频重建技术领域，提供了一种基于关键帧的端云联合超分辨视频重建方法及系统，包括：获取原始高清视频，进行下采样生成低分辨率视频流提取高清关键帧；删除重复帧生成去重低分辨率视频流；将去重低分辨率视频流进行编码生成低清视频码流，将高清关键帧进行编码生成关键帧码流；将低清视频码流、关键帧码流和删除重复帧的位置发送至视频处理端；视频处理端解码获取去重低分辨率视频流和高清关键帧并输入至更新后的视频超分模型，生成复原高清帧；根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。本发明解决了现有高清视频传输成本高、清晰度不佳的问题。

Description

基于关键帧的端云联合超分辨率视频重建方法及系统
技术领域
本发明涉及高清视频重建技术领域，尤其涉及一种基于关键帧的端云联合超分辨率视频重建方法及系统。
背景技术
目前，用户对视频的分辨率要求越来越高，同时越来越多的设备支持2k，4k等分辨率的视频，另一方面高清的监控视频包含了人脸、车牌号等细节信息，有利于记录突发事件、帮助破案等等。然而，高清视频由于其高分辨率具有巨大的码流，不论是网络视频业务中传输给用户高清视频的业务，还是要将监控摄像头拍摄的高清视频传输到云端处理中心，都需要使用压缩编码方法降低码流，节省传输带宽。目前最常用的视频压缩编码标准为H.264/AVC和H.265/HEVC，此外还有VVC等新标准出现，但传统的压缩编码方法对码流压缩程度有限。
此外，目前还有许多使用深度学习方法进行视频压缩编码的研究，其主要功能模块包括预处理、编码和后处理。但这些方法对于收发端的计算资源都有很高的要求，此外由于深度学习模型的复杂性和不透明性，其处理过程中可能出现黑盒效应，可解释性较差。最后，深度学习压缩编码方法与传统编码方法一般为替代关系，部署较为困难。
视频超分辨率是指将分辨率较低的低清视频通过上采样增强为高清视频。传统的超分方法如插值等难以还原高频信息，性能较差。基于深度学习的超分方法是目前的主流方法，而相比传统方法其性能虽然有很大提升，但超分所得的视频的性能指标（PSNR,SSIM等）和压缩编码前后的视频的性能指标仍有一定差距。
发明内容
本发明提供一种基于关键帧的端云联合超分辨率视频重建方法及系统，用以解决现有高清视频传输成本高、清晰度不佳的问题。
本发明提供一种基于关键帧的端云联合超分辨视频重建方法，包括：
获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
通过所述高清视频进行下采样生成低分辨率视频流；
对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
根据本发明提供的一种基于关键帧的端云联合超分辨视频重建方法，所述获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧，具体包括：
对原始的高清视频逐帧进行下采样，对每帧进行低通滤波，根据网络状况选取下采样的倍率；
通过比较相邻帧的性能指标，选取变化最大的帧作为关键帧。
根据本发明提供的一种基于关键帧的端云联合超分辨视频重建方法，通过所述高清视频进行下采样生成低分辨率视频流，具体包括：
按照选定的采样倍率对高清视频进行采样，采样完成后生成低分辨率视频流。
根据本发明提供的一种基于关键帧的端云联合超分辨视频重建方法，对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流，具体包括：
对所述低分辨率视频流中的每一帧与上一个非重复帧的均方误差进行比较，生成比较结果；
所述比较结果小于等于设定阈值，则判定为重复帧，否则为非重复帧，依次对每一帧进行判定；
对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流。
根据本发明提供的一种基于关键帧的端云联合超分辨视频重建方法，将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流，具体包括：
将所述去重低分辨率视频流通过设定的编码程序进行编码生成待传输的低清视频码流；
将所述高清关键帧单独组装为视频流，并通过相同的设定编码程序进行编码，生成关键帧码流。
根据本发明提供的一种基于关键帧的端云联合超分辨视频重建方法，所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧，具体包括：
所述视频超分模型将输入的去重低分辨率视频流和高清关键帧通过残差块对关键帧特征和非关键帧进行特征提取；
通过一阶网格传播和关键帧特征传播的方式分为两层前向传播和两层后向传播；
将关键帧特征通过光流扭曲后传播至非关键帧位置，再将特征逐层向下传播；
通过注意力过滤器获取最终的特征映射，利用像素洗牌进行上采样得到复原高清帧。
根据本发明提供的一种基于关键帧的端云联合超分辨视频重建方法，所述根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出，具体包括：
根据重复帧的位置信息复制对应位置的复原高清帧，生成重复帧的复原高清帧；
将重复帧的复原高清帧和通过去重低分辨率视频流复原的高清帧进程组装，生成高清视频，输出并展示生成的高清视频。
本发明还提供一种基于关键帧的端云联合超分辨视频重建系统，所述系统包括：
数据获取模块，用于获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
下采样模块，用于通过所述高清视频进行下采样生成低分辨率视频流；
去重模块，用于对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
编码模块，用于将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
传输模块，用于将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
高清复原模块，用于所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
输出模块，用于根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于关键帧的端云联合超分辨视频重建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于关键帧的端云联合超分辨视频重建方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于关键帧的端云联合超分辨视频重建方法。
本发明提供的一种基于关键帧的端云联合超分辨率视频重建方法及系统，通过将采集的高清视频下采样生成低分辨率视频流并提取高清关键帧，使用较小的带宽即可进行低分辨率视频流和高清关键帧的传播，降低对带宽的需求，减少视频传播的成本；通过高清视频对视频超分模型的参数进行更新，使得超分模型还原高清视频更准确；通过超分模型结合低分辨率视频流和高清关键帧复原组装生成极高质量的高清视频，便于后续的查看调阅。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于关键帧的端云联合超分辨率视频重建方法的流程示意图之一；
图2是本发明提供的一种基于关键帧的端云联合超分辨率视频重建方法的流程示意图之二；
图3是本发明提供的一种基于关键帧的端云联合超分辨率视频重建方法的流程示意图之三；
图4是本发明提供的一种基于关键帧的端云联合超分辨率视频重建方法的流程示意图之四；
图5是本发明提供的一种基于关键帧的端云联合超分辨率视频重建方法的流程示意图之五；
图6是本发明提供的一种基于关键帧的端云联合超分辨率视频重建方法的流程示意图之六；
图7是本发明提供的一种基于关键帧的端云联合超分辨率视频重建系统的模块连接示意图；
图8是本发明提供的基于关键帧的端云联合超分辨率视频重建系统架构示意图；
图9是本发明提供的适配器模块结构示意图；
图10是本发明提供的电子设备的结构示意图。
附图标记：
110：数据获取模块；120：下采样模块；130：去重模块；140：编码模块；150：传输模块；160：高清复原模块；170：输出模块；
1010：处理器；1020：通信接口；1030：存储器；1040：通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的一种基于关键帧的端云联合超分辨视频重建方法，包括：
S100、获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
S200、通过所述高清视频进行下采样生成低分辨率视频流；
S300、对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
S400、将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
S500、将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
S600、所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
S700、根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
在本发明中，通过发送端主动下采样退化，大幅减少了码率；使用高清帧辅助超分，提升了视频的质量；和成熟的传统编码方法结合，更容易部署，降低视频传输成本，提升复原视频的清晰度。
获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧，具体包括：
S101、对原始的高清视频逐帧进行下采样，对每帧进行低通滤波，根据网络状况选取下采样的倍率；
S102、通过比较相邻帧的性能指标，选取变化最大的帧作为关键帧。
在本发明中，为了避免高频混叠，需要对帧进行低通滤波再按一定频率取点，下采样的倍率可以根据网络的状况选取，一般为四倍下采样，在网络状况很差时可以使用更高倍率的下采样减小码率。
对原始的高清视频下采样过程中，将视频拆分为帧，逐帧进行下采样；待传输的码率大幅下降，如对视频帧下四采样数据量可以减小为1/16，下八采样则可以减少为1/64，因此相比H265编码方法可以大幅降低码率。而在发送端主动下采样使用成熟的传统方法编码传输，再在接收端超分恢复相比直接替换编码方法可解释性更高，同时更容易部署，此外这种方法对发送端计算资源要求低，对于端侧低计算资源的设备向云侧传输视频的场景相较深度学习压缩编码方法有明显优势。
对于高清关键帧的选取，通过比较相邻帧的PSNR和SSIM，选取变化大的帧作为关键帧，通过选定高清关键帧便于后续超分模型复原出高清视频。
对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流，具体包括：
S201、对所述低分辨率视频流中的每一帧与上一个非重复帧的均方误差进行比较，生成比较结果；
S202、所述比较结果小于等于设定阈值，则判定为重复帧，否则为非重复帧，依次对每一帧进行判定；
S203、对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流。
在本发明中，重复帧通过比较当前帧和上一个非重复帧的MSE来确定，图片RGB取值在0-255之间时取MSE≤1为阈值，即若MSE>1则判定为非重复帧，否则判断为重复帧，依次对视频的每一帧进行判定。通过删除重复帧，能够降低对带宽的占用。
具体地，在本发明中，针对某些特殊场景中监控视频内存在大量静态重复帧的情况，本发明中通过重复帧检测进行去重减少处理时间。其中判断两帧是否重复的主要判据有两个，首先是两帧的均方误差MSE，MSE通过计算像素值的平均距离直接反映了两张图的相似度，然而考虑到MSE将误差对整张图进行了平均，如果仅使用MSE作为判据会无法区分大部分区域相同但误差集中在某些区域的情况，例如小范围的运动。在乡村监控视频中，场景不会改变，因此这种现象非常常见。因此引入了第二个判据：运动区域MSE。首先计算两帧的差值并转换为灰度图，再将灰度图中取值大的区域记录为掩模，从而根据帧的差分值获得了运动区域。再根据掩模仅取出两帧中对应的区域计算运动区域MSE，从而有效地检测了小范围的运动。此外为了防止误差累积，应通过计算当前帧和上一个非重复帧的帧间MSE和运动区域MSE，而非相邻帧间的差距。
重复帧检测的具体算法为：
输入：H.265解码后的低清帧序列lr；
输出：重复帧位置信息repeat_idx；
1）初始化帧间MSE阈值TH1，运动区域MSE阈值TH2，运动掩模判定阈值M，记录上一帧是否被忽略的flag=0，当前位置指针i=0，repeat_idx全0初始化；
2）while i<T-1 do:
3）if flag == 0:
4）frame1 = lr[i]，frame2 = lr[i+1]
5）计算两帧之间的MSE1；
6）diff = RGB2GRAY(abs(frame1-frame2))将两帧的差分灰度化；
7）mask=where（diff>M，1，0）将差分灰度图中大于阈值的部分作为运动掩模；
8）仅取出mask出的运动部分计算运动区域MSE2；
9）若 MSE1<TH1 and MSE2<TH2则 flag = 1，repeat_idx[i+1]=1 第i+1帧为重复帧，否则flag = 0，repeat_idx[i+1]=0；
10）else：
11）frame2 = lr[i+1]；
12）执行第5-9步
13）end while
14）返回repeat_idx；
根据实验选取参数为：帧间MSE阈值TH1=0.5，运动区域MSE阈值TH2=15，运动掩模判定阈值M=2。在一个例子中利用运动区域MSE区分小范围运动，在此例子中帧间MSE为0.49，小于TH1，而运动区域MSE为86.39，因此判断此帧不是重复帧，成功对小范围的运动进行了检测。
重复帧检测一方面减少了需要传的低清视频的长度进一步减小了码率，此外减少了含重复帧视频待处理的帧的数量，减少了处理时间，最后去除重复帧也有利于关键帧的选取。而相应的，重复帧的删除会导致视频的重建质量略微下降，重复帧的占比依据实际数据集决定。如REDS数据集主要采集动态场景，几乎没有重复帧，而乡村监控视频数据集中重复帧约占总视频帧的20%至30%左右。
将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流，具体包括：
S301、将所述去重低分辨率视频流通过设定的编码程序进行编码生成待传输的低清视频码流；
S302、将所述高清关键帧单独组装为视频流，并通过相同的设定编码程序进行编码，生成关键帧码流。
在本发明中，将所述去重低分辨率视频流H265编码得到待传输的低清视频码流；将高清关键帧单独组装为视频并使用H265编码减小关键帧的帧间冗余，生成关键帧码流。
将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新。
本发明中，通过重建高清视频对视频超分模型进行更新，由于直接用待传输高清视频对所有模型参数进行训练调整的方法耗时且训练效果不明显，在超分模型中特征提取模块之后传播模块之前以及传播、融合模块之后上采样模块之前分别加入适配器模块，适配器模块结构示例如图9所示。
映射矩阵将输入/>映射到低维空间，经过非线性激活函数/>，再乘上映射矩阵/>映射为原有维度，公式为：
；
先将适配器系数以较小的值初始化，由于其为残差连接，初始化模块效果接近直连，不影响原有模型的输出表现，在更新系数时，冻结模型除适配器模块外的所有系数，训练只调整适配器的参数，虽然适配器的系数量较少，其系数变化对模型输出影响明显，从而达到只训练少部分参数就能达到较好的调整模型效果的目的，减少了训练时间且提升了模型更新的效果，模型更新完成后只需传输变化后的适配器模块的参数到接收端而不需要传输整个模型的所有参数，实现对视频超分模型的更新，更新后的视频超分模型能够更加准确地复原出高分辨率的视频。
视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧，具体包括：
S401、所述视频超分模型将输入的去重低分辨率视频流和高清关键帧通过残差块对关键帧特征和非关键帧进行特征提取；
S402、通过一阶网格传播和关键帧特征传播的方式分为两层前向传播和两层后向传播；
S403、将关键帧特征通过光流扭曲后传播至非关键帧位置，再将特征逐层向下传播；
S404、通过注意力过滤器获取最终的特征映射，利用像素洗牌进行上采样得到复原高清帧。
本发明中，在视频处理端进行H265解码，得到去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入到更新后的视频超分模型中得到复原的高清帧。
其中，视频超分模型首先用残差块对关键帧和非关键帧进行特征提取，传播方案为一阶网格传播加关键帧特征传播，即四层RNN，分别为两层前向传播和两层后向传播，同时将关键帧特征用光流扭曲后传播到非关键帧位置，再将特征逐层向下传播。最后用注意力过滤器来获得最终的特征映射，再用像素洗牌层进行上采样从而得到复原高清帧。
根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出，具体包括：
S501、根据重复帧的位置信息复制对应位置的复原高清帧，生成重复帧的复原高清帧；
S502、将重复帧的复原高清帧和通过去重低分辨率视频流复原的高清帧进程组装，生成高清视频，输出并展示生成的高清视频。
经过复原的高清视频与初始采集的高清视频具有相同的品质，能够通过较高的分辨率展示视频内容细节，同时对视频传输的带宽需求降低，减少视频传输成本。
通过本发明提供的一种基于关键帧的端云联合超分辨率视频重建方法，通过将采集的高清视频下采样生成低分辨率视频流并提取高清关键帧，使用较小的带宽即可进行低分辨率视频流和高清关键帧的传播，降低对带宽的需求，减少视频传播的成本；通过高清视频对视频超分模型的参数进行更新，使得超分模型还原高清视频更准确；通过超分模型结合低分辨率视频流和高清关键帧复原组装生成极高质量的高清视频，便于后续的查看调阅。
参考图7和图8，本发明还公开了一种基于关键帧的端云联合超分辨视频重建系统，所述系统包括：
数据获取模块110，用于获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
下采样模块120，用于通过所述高清视频进行下采样生成低分辨率视频流；
去重模块130，用于对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
编码模块140，用于将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
传输模块150，用于将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
高清复原模块160，用于所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
输出模块170，用于根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
其中，数据获取模块110对原始的高清视频逐帧进行下采样，对每帧进行低通滤波，根据网络状况选取下采样的倍率；
通过比较相邻帧的性能指标，选取变化最大的帧作为关键帧。
下采样模块120，按照选定的采样倍率对高清视频进行采样，采样完成后生成低分辨率视频流。
去重模块130，对所述低分辨率视频流中的每一帧与上一个非重复帧的均方误差进行比较，生成比较结果；
所述比较结果小于等于设定阈值，则判定为重复帧，否则为非重复帧，依次对每一帧进行判定；
对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流。
编码模块150，将所述去重低分辨率视频流通过设定的编码程序进行编码生成待传输的低清视频码流；
将所述高清关键帧单租组装为视频流，并通过相同的设定编码程序进行编码，生成关键帧码流。
高清复原模块160，所述预训练的视频超分模型将输入的去重低分辨率视频流和高清关键帧通过残差块对关键帧特征和非关键帧进行特征提取；
通过一阶网格传播和关键帧特征传播的方式分为两层前向传播和两层后向传播；
将关键帧特征通过光流扭曲后传播至非关键帧位置，再将特征逐层向下传播；
通过注意力过滤器获取最终的特征映射，利用像素洗牌进行上采样得到复原高清帧。
输出模块170，根据重复帧的位置信息复制对应位置的复原高清帧，生成重复帧的复原高清帧；
将重复帧的复原高清帧和通过去重低分辨率视频流复原的高清帧进程组装，生成高清视频，输出并展示生成的高清视频。
通过本发明提供的一种基于关键帧的端云联合超分辨率视频重建系统，通过将采集的高清视频下采样生成低分辨率视频流并提取高清关键帧，使用较小的带宽即可进行低分辨率视频流和高清关键帧的传播，降低对带宽的需求，减少视频传播的成本；通过高清视频对视频超分模型的参数进行更新，使得超分模型还原高清视频更准确；通过超分模型结合低分辨率视频流和高清关键帧复原组装生成极高质量的高清视频，便于后续的查看调阅。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行一种基于关键帧的端云联合超分辨视频重建方法，该方法包括：获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
通过所述高清视频进行下采样生成低分辨率视频流；
对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的一种基于关键帧的端云联合超分辨视频重建方法，该方法包括：获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
通过所述高清视频进行下采样生成低分辨率视频流；
对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的一种基于关键帧的端云联合超分辨视频重建方法，该方法包括：获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
通过所述高清视频进行下采样生成低分辨率视频流；
对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于关键帧的端云联合超分辨视频重建方法，其特征在于，包括：
获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
通过所述高清视频进行下采样生成低分辨率视频流；
对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
2.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，所述获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧，具体包括：
对原始的高清视频逐帧进行下采样，对每帧进行低通滤波，根据网络状况选取下采样的倍率；
通过比较相邻帧的性能指标，选取变化最大的帧作为关键帧。
3.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，通过所述高清视频进行下采样生成低分辨率视频流，具体包括：
按照选定的采样倍率对高清视频进行采样，采样完成后生成低分辨率视频流。
4.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流，具体包括：
对所述低分辨率视频流中的每一帧与上一个非重复帧的均方误差进行比较，生成比较结果；
所述比较结果小于等于设定阈值，则判定为重复帧，否则为非重复帧，依次对每一帧进行判定；
对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流。
5.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流，具体包括：
将所述去重低分辨率视频流通过设定的编码程序进行编码生成待传输的低清视频码流；
将所述高清关键帧单独组装为视频流，并通过相同的设定编码程序进行编码，生成关键帧码流。
6.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧，具体包括：
所述视频超分模型将输入的去重低分辨率视频流和高清关键帧通过残差块对关键帧特征和非关键帧进行特征提取；
通过一阶网格传播和关键帧特征传播的方式分为两层前向传播和两层后向传播；
将关键帧特征通过光流扭曲后传播至非关键帧位置，再将特征逐层向下传播；
通过注意力过滤器获取最终的特征映射，利用像素洗牌进行上采样得到复原高清帧。
7.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，所述根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出，具体包括：
根据重复帧的位置信息复制对应位置的复原高清帧，生成重复帧的复原高清帧；
将重复帧的复原高清帧和通过去重低分辨率视频流复原的高清帧进程组装，生成高清视频，输出并展示生成的高清视频。
8.一种基于关键帧的端云联合超分辨视频重建系统，其特征在于，所述系统包括：
数据获取模块，用于获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；
下采样模块，用于通过所述高清视频进行下采样生成低分辨率视频流；
去重模块，用于对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；
编码模块，用于将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；
传输模块，用于将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；
高清复原模块，用于所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；
输出模块，用于根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于关键帧的端云联合超分辨视频重建方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于关键帧的端云联合超分辨视频重建方法。
CN202310801631.2A 2023-07-03 2023-07-03 基于关键帧的端云联合超分辨率视频重建方法及系统 Active CN116523758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310801631.2A CN116523758B (zh) 2023-07-03 2023-07-03 基于关键帧的端云联合超分辨率视频重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310801631.2A CN116523758B (zh) 2023-07-03 2023-07-03 基于关键帧的端云联合超分辨率视频重建方法及系统

Publications (2)

Publication Number Publication Date
CN116523758A true CN116523758A (zh) 2023-08-01
CN116523758B CN116523758B (zh) 2023-09-19

Family

ID=87396255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310801631.2A Active CN116523758B (zh) 2023-07-03 2023-07-03 基于关键帧的端云联合超分辨率视频重建方法及系统

Country Status (1)

Country Link
CN (1) CN116523758B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016915A (zh) * 2008-03-17 2011-04-13 Ati技术无限责任公司 用于图像的超分辨率的方法与设备
CN111586412A (zh) * 2020-05-06 2020-08-25 华为技术有限公司 高清视频处理方法、主设备、从设备和芯片系统
CN112019861A (zh) * 2020-07-20 2020-12-01 清华大学 基于关键帧指导超分辨率的视频压缩方法及装置
WO2021254139A1 (zh) * 2020-06-15 2021-12-23 中兴通讯股份有限公司 视频处理方法、设备及存储介质
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备
CN115689917A (zh) * 2022-10-20 2023-02-03 浙江大学 一种基于深度学习的高效时空超分辨率视频压缩复原方法
CN115866297A (zh) * 2022-11-24 2023-03-28 腾讯科技（深圳）有限公司 视频处理方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016915A (zh) * 2008-03-17 2011-04-13 Ati技术无限责任公司 用于图像的超分辨率的方法与设备
CN111586412A (zh) * 2020-05-06 2020-08-25 华为技术有限公司 高清视频处理方法、主设备、从设备和芯片系统
WO2021254139A1 (zh) * 2020-06-15 2021-12-23 中兴通讯股份有限公司 视频处理方法、设备及存储介质
CN112019861A (zh) * 2020-07-20 2020-12-01 清华大学 基于关键帧指导超分辨率的视频压缩方法及装置
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备
CN115689917A (zh) * 2022-10-20 2023-02-03 浙江大学 一种基于深度学习的高效时空超分辨率视频压缩复原方法
CN115866297A (zh) * 2022-11-24 2023-03-28 腾讯科技（深圳）有限公司 视频处理方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MEHDI S. M. SAJJADI 等: "Frame-Recurrent Video Super-Resolution", CVPR *

Also Published As

Publication number Publication date
CN116523758B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
US20090067491A1 (en) Learning-Based Image Compression
US10334256B2 (en) Video compression method
WO2022111631A1 (zh) 视频传输方法、服务器、终端和视频传输系统
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
US10827161B2 (en) Depth codec for 3D-video recording and streaming applications
CN113766249A (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
JP5689291B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、及び画像符号化プログラム
CN116582685A (zh) 一种基于ai的分级残差编码方法、装置、设备和存储介质
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN117044216A (zh) 基于自适应面部再现和面部恢复的视频会议
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
CN116523758B (zh) 基于关键帧的端云联合超分辨率视频重建方法及系统
EP1574068B1 (fr) Procede de codage d&#39;une image par ondelettes et procede de decodage correspondant
CN111277835A (zh) 一种结合yolo3与flownet2网络的监控视频压缩及解压方法
Peng et al. An optimized algorithm based on generalized difference expansion method used for HEVC reversible video information hiding
CN114222127A (zh) 一种视频编码方法、视频解码方法及装置
Yang et al. Graph-convolution network for image compression
JP2017073135A (ja) ビデオエピトメを用いて画像からノイズを除去する方法及び装置
Ouyang et al. Towards quantized DCT coefficients restoration for compressed images
CN114581304B (zh) 一种基于循环网络的图像超分辨率和去雾融合方法及系统
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质
JPH07322255A (ja) ディジタル画像信号の階層符号化装置
WO2023168712A1 (zh) 零游程值编解码方法及视频编解码方法、装置和系统
WO2024093627A1 (zh) 一种视频压缩方法、视频解码方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant