CN111586412B - 高清视频处理方法、主设备、从设备和芯片系统 - Google Patents

高清视频处理方法、主设备、从设备和芯片系统 Download PDF

Info

Publication number
CN111586412B
CN111586412B CN202010374383.4A CN202010374383A CN111586412B CN 111586412 B CN111586412 B CN 111586412B CN 202010374383 A CN202010374383 A CN 202010374383A CN 111586412 B CN111586412 B CN 111586412B
Authority
CN
China
Prior art keywords
definition
frame
low
current
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010374383.4A
Other languages
English (en)
Other versions
CN111586412A (zh
Inventor
钱生
许翔
周浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010374383.4A priority Critical patent/CN111586412B/zh
Publication of CN111586412A publication Critical patent/CN111586412A/zh
Application granted granted Critical
Publication of CN111586412B publication Critical patent/CN111586412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种高清视频处理方法、主设备、从设备和芯片系统。本发明实施例提供的技术方案中，主设备根据第一高清视频流生成编码后的高清关键帧和低清视频流，并向从设备发送由低清视频流和编码后的高清关键帧进行数据融合生成的视频数据流；从设备将视频数据流进行解析生成低清视频流和编码后的高清关键帧，对编码后的高清关键帧解码生成高清关键帧，并根据低清视频流和高清关键帧生成第二高清视频流。本发明实施例应用于终端人工智能领域以及计算机视觉领域，基于高清关键帧的超分辨率技术，主设备和从设备通过设备协同完成高清视频的处理，能够实现高清视频的更低码率传输和低清视频的更高超分质量，改善用户的数字电视服务体验。

Description

高清视频处理方法、主设备、从设备和芯片系统
【技术领域】
本发明涉及人工智能领域，尤其涉及一种高清视频处理方法、主设备、从设备和芯片系统。
【背景技术】
近年来，基于IPTV(Internet Protocol Television)技术的数字电视服务的应用规模处于飞速发展阶段，数字电视领域不断迈入高分辨率、高帧率、高动态范围、高色深和宽色域的全高清时代。
但是由于网络传输系统自身传输能力的限制，以及巨大的数据传输需求，当前承载数字电视服务的视频传输网络在全高清时代还存在一定的局限性。具体而言，视频传输网络的局限性主要体现在以下方面：因视频传输网络传输的带宽较小且容量受限，数字电视服务不能在全网的全时段提供高质量的视频；在密集服务时，因视频传输网络的传输带宽产生波动以及视频传输网络的服务规模突然增大，网络传输系统会基于自适应码率机制传输低清视频，进而导致用户在观看视频过程中出现卡顿和马赛克的现象，使得用户的数字电视服务体验较差。
【发明内容】
有鉴于此，本发明实施例提供了一种高清视频处理方法、主设备、从设备和芯片系统，能够实现高清视频的更低码率传输和低清视频的更高超分质量，改善用户的数字电视服务体验。。
第一方面，本发明实施例提供了一种高清视频处理方法，应用于主设备，所述方法包括：
根据第一高清视频流生成编码后的高清关键帧；
根据第一高清视频流生成低清视频流；
对所述低清视频流和所述编码后的高清关键帧进行数据融合，生成视频数据流；
将所述视频数据流发送至从设备。
在一种可能的实现方式中，所述根据第一高清视频流生成编码后的高清关键帧，包括：
从所述第一高清视频流中提取出高清关键帧；
根据视频编码标准对所述高清关键帧进行编码，生成所述编码后的高清关键帧。
在一种可能的实现方式中，所述根据第一高清视频流生成低清视频流，包括：
通过图像插值算法对所述第一高清视频流按照压缩比降采样，生成低清帧；
根据视频编码标准对所述低清帧进行编码生成所述低清视频流。
在一种可能的实现方式中，所述从所述第一高清视频流中提取出高清关键帧，包括：
将所述第一高清视频流的第一个高清帧作为当前的高清关键帧，并将所述第一个高清帧的下一个高清帧作为当前高清帧；
将所述当前的高清关键帧和所述当前高清帧输入深度网络模型，得到所述当前的高清关键帧和所述当前高清帧之间的语义特征差异和纹理特征差异；
将所述语义特征差异和纹理特征差异相加得到特征差异；
判断所述特征差异是否大于预设阈值；
若判断出所述特征差异大于所述预设阈值，将所述当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧，并继续执行所述将所述当前的高清关键帧和所述当前高清帧输入深度网络模型的步骤；
若判断出所述特征差异小于或者等于所述预设阈值，判断所述当前的高清关键帧和所述当前高清帧之间的帧间间隔是否大于最大帧间间隔；
若判断出所述当前的高清关键帧和所述当前高清帧之间的帧间间隔小于或者等于所述最大帧间间隔，将下一个高清帧作为当前高清帧，并继续执行所述将所述当前的高清关键帧和所述当前高清帧输入深度网络模型的步骤；
若判断出所述当前的高清关键帧和所述当前高清帧之间的帧间间隔大于所述最大帧间间隔，将所述当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧，并继续执行所述将所述当前的高清关键帧和所述当前高清帧输入深度网络模型的步骤。
另一方面，本发明实施例提供了一种高清视频处理方法，应用于从设备，所述方法包括：
接收主设备发送的视频数据流；
将所述视频数据流进行解析，生成低清视频流和编码后的高清关键帧；
将所述编码后的高清关键帧解码，生成所述高清关键帧；
根据所述低清视频流和所述高清关键帧，生成第二高清视频流。
在一种可能的实现方式中，所述根据所述低清视频流和所述高清关键帧，生成第二高清视频流，包括：
将所述低清视频流解码，生成低清帧；
通过视频超分辨率算法和深度卷积神经网络算法对所述低清帧和所述高清关键帧进行计算，生成超分帧；
对所述高清关键帧、所述低清帧和所述超分帧进行图像重构，生成所述第二高清视频流。
在一种可能的实现方式中，所述通过视频超分辨率算法和深度卷积神经网络算法对所述低清帧和所述高清关键帧进行计算，生成超分帧，包括：
通过视频超分辨率算法对第一个低清帧进行计算，生成当前的超分帧，将所述第一个低清帧的下一个低清帧作为当前低清帧；
通过深度卷积神经网络算法对所述高清关键帧和所述当前的超分帧进行计算，从所述高清关键帧和所述当前的超分帧中提取出高清特征；
通过自适应实例归一化技术对所述高清特征和所述当前低清帧进行计算生成超分特征；
对所述超分特征进行上采样生成下一个的超分帧；
判断所述当前低清帧是否包括所述低清视频帧的最后一个低清帧；
若判断出所述当前低清帧不包括所述低清视频帧的最后一个低清帧，将下一个低清帧作为当前低清帧，将所述下一个的超分帧作为当前的超分帧，继续执行所述通过深度卷积神经网络算法对所述高清关键帧和所述当前的超分帧进行计算，从所述高清关键帧和所述当前的超分帧中提取出高清特征的步骤；
若判断出所述当前低清帧包括所述低清视频帧的最后一个低清帧，继续执行所述对所述高清关键帧、所述低清帧和所述超分帧进行图像重构，生成所述第二高清视频流的步骤。
另一方面，本发明实施例提供了一种主设备，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述主设备执行上述所述的方法。
另一方面，本发明实施例提供了一种从设备，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述主设备执行上述所述的方法。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如上述所述的方法。
另一方面，本发明实施例提供了一种芯片系统，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片系统的电子设备执行如上述所述的方法。
本发明实施例提供的高清视频处理方法、主设备、从设备和芯片系统的技术方案中，主设备根据第一高清视频流生成编码后的高清关键帧和低清视频流，并向从设备发送由低清视频流和编码后的高清关键帧进行数据融合生成的视频数据流；从设备将视频数据流进行解析生成低清视频流和编码后的高清关键帧，对编码后的高清关键帧解码生成高清关键帧，并根据低清视频流和高清关键帧生成第二高清视频流。本发明实施例基于高清关键帧的超分辨率技术，主设备和从设备通过设备协同完成高清视频的处理，能够实现高清视频的更低码率传输和低清视频的更高超分质量，改善用户的数字电视服务体验。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一实施例提供的一种高清视频处理系统的架构图；
图2为从云服务器向终端设备的高清视频传输系统；
图3为本发明一实施例提供的一种高清视频处理方法的流程图；
图4为图3中根据第一高清视频流生成编码后的高清关键帧的具体流程图；
图5为图3中从第一高清视频流中提取出高清关键帧的具体流程图；
图6为图3中根据第一高清视频流生成低清视频流的具体流程图；
图7为本发明又一实施例提供的一种高清视频处理方法的流程图；
图8为图7中根据低清视频流和高清关键帧，生成第二高清视频流的具体流程图；
图9为图8中通过视频超分辨率算法和深度卷积神经网络算法对低清帧和高清关键帧进行计算，生成超分帧的具体流程图；
图10为超分辨率模型的结构示意图；
图11为第一高清视频流的视频截图；
图12为图11中第一高清视频流对应的低清视频流的视频截图；
图13为图11中第一高清视频流对应的编码后的高清关键帧的视频截图；
图14为图11中第一高清视频流经过相关技术中高清视频处理方法得到的视频截图；
图15为图11中第一高清视频流经过本发明实施例提供的高清视频处理方法得到的视频截图；
图16为本发明实施例提供的一种主设备的结构示意图；
图17为图16中提取子单元的结构示意图；
图18为本发明实施例提供的一种从设备的结构示意图；
图19为图18中计算子单元的结构示意图；
图20为本发明实施例提供的一种电子设备的结构示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
由于本发明实施例涉及人工智能领域和计算机视觉领域，为了便于理解，下面先对本发明实施例可能涉及的相关术语进行介绍。
(1)设备协同
设备协同是指由多个电子设备共同完成一个任务。其中，每个电子设备负责该任务中的子功能且与其他电子设备相互协作完成该任务。
(2)视频超分
视频超分是指通过硬件或者软件提高原有视频的分辨率，将低分辨率视频转化为高分辨率视频的过程。
(3)超分辨率技术
随着人工智能研究的快速发展，超分辨率技术作为关键的图像信号处理技术，在视频图像压缩传输、医学成像、遥感成像、视频感知与监控等领域得到了广泛的应用与研究。基于硬件固件或软件算法的超分辨率技术，单幅高分辨率的图像可以通过单幅或者多幅低分辨率的图像重构。由于受到相机成像、数据采样、编码压缩、以及数据传输过程中多种多样退化因素的影响，低分辨率图像和视频会出现质量失真，与高分辨率图像和视频相比，因低分辨率图像和视频缺失了部分的高频信息，在主观感受和客观度量上低分辨率图像和视频的质量都有所不足。通过超分辨技术，缺失的高频信息可以通过低分辨率图像和视频重建出来，能够增强图像和视频的整体清晰度和细节显著性。
基于不同的分类视角，超分辨率技术可以粗略地划分为以下类别：(a)从数据的类别来看，可以分为基于图像的超分辨率和基于视频的超分辨率；(b)从处理的图像数量来看,基于图像的超分辨率可以进一步划分为基于单帧图像的超分辨率和基于参考图像的超分辨率；(c)从数据的空间类型来看，可以分为基于空域的超分辨率、基于频域的超分辨率和基于时域的超分辨率；(d)从算法设计来看，可以分为基于插值的超分辨率、基于重构的超分辨率和基于学习的超分辨率。
因此，常用的视频超分辨率算法包括基于插值的超分辨率算法、基于重构的超分辨率算法和基于学习的超分辨率算法。
1)基于插值的超分辨率算法包括最近邻插值、双线性插值和双三次插值等。由于这些基于插值的超分辨率算法本质上不能很好的建模，因此生成的高清视频的图像高频信息有显著的损失、画质有明显的不足。
2)基于重构的超分辨率算法建立从高分辨率到低分辨率的空域或频域映射模型，通过求解观测映射模型的逆向问题来实现超分辨率。由于高清视频的重构效果依赖于对映射模型各个环节的深入了解，而实际应用中无法精确建模每个关键环节及其参数，因此基于重构的超分辨率算法生成的高清视频质量的提升空间相对有限。
3)基于学习的超分辨率算法通过有监督学习建模低分辨率图像到高分辨率图像的非线性映射关系，利用所提取的图像先验知识恢复图像高频细节。基于学习的分辨率算法通常采用深度卷积神经网络和基于视觉感知的损失设计，在超分辨率效果上表现出了其他方法不可比拟的优势。
此外，超分辨率技术与高清视频生成、画质增强、低码高清传输等应用领域密切相关，因此超分辨率技术在提升用户体验方面具有重要价值。
(4)低码高清技术
低码高清技术采用较低的数据传输带宽或码率，在基本不影响高清视频质量的前提下完成信息传输。低码高清技术主流的技术实施途径包括采用高压缩比编码协议、采用视频超分辨率算法或画质增强技术等。
为了实现高清视频的更低码率传输和低清视频的更高超分质量，相关技术中，通常采用基于低码高清视频传输技术或者基于超分辨率技术的高清视频处理方法。
1)基于低码高清视频传输技术的高清视频处理方法
基于低码高清视频传输技术的高清视频处理方法包括基于高压缩比的编码方法。2012年新提出一种高效视频编码标准HEVC/H.265，视频编码标准HEVC/H.265相对于视频编码标准H.264，在同等质量的视频可大幅度减少传输码率。此外，中兴通讯开发了一种低码高清编码技术，该低码高清编码技术通过精确分析视频内容，采用自适应视频滤波和码率控制等策略，使得编码码率远低于视频编码标准H.264的编码码率。
2)基于超分辨率技术的高清视频处理方法
2013年，中国电信提出在编码端采用稀疏编码提取超完备字典并生成低清视频，在解码端接收低清视频并基于超完备字典重建高清视频。2017年，四川大学提出基于HEVC/H.265标准，在编码端采用分割方法提升压缩比，在解码端采用基于学习的超分算法进行高清视频重构。
上述高清视频处理方法虽然能够解决因网络传输系统性能和视频数据体量巨大而引起的高清视频传输问题，为用户提供良好的高清视频体验效果，但是相关技术中的高清视频处理方法存在以下缺点：如果改进常用视频编码标准或者提出新兴的通用视频编码标准，通常需进行较大规模的软硬件系统改造；视频超分辨率算法主要包括基于插值的超分辨率算法、基于重构的超分辨率算法和基于学习的超分辨率算法，但是由于受限于超分建模机理，这些算法的重建效果有限；为保障超分辨率算法的视频重建质量，需构建规模较大的算法模型，该算法模型通常包括体量庞大的超完备字典或者结构复杂的神经网络，由于算法模型的计算复杂度较高以及设备功耗的限制，视频超分辨率算法的运算的实时性难以保证，因此视频超分辨率算法在智能移动终端的应用受到限制。总而言之，相关技术中的高清视频处理方法在系统改造费用、超分辨率效果和运算实时性之间难以达到良好的平衡。
为了解决上述技术问题，本发明实施例提供一种高清视频处理方法、主设备、从设备和芯片系统。
参见图1，图1为本发明实施例提供的一种高清视频处理系统的架构图。本发明实施例的高清视频处理系统包括两个电子设备，其中，两个电子设备可包括主设备和从设备，主设备和从设备通过设备协同共同完成对高清视频的处理。如图1所示，高清视频处理系统包括主设备100和从设备200。主设备100与从设备200之间通过视频传输网络进行数据传输，例如：视频传输网络包括wifi传输网络或者WLAN传输网络。其中，主设备100存储有第一高清视频流。主设备100包括识别编码模块、缩放编码模块、数据融合模块和发送模块。从设备200包括接收模块、解析模块、关键帧解码模块、视频解码模块和视频超分模块。
其中，主设备100中的识别编码模块、缩放编码模块分别和数据融合模块连接，数据融合模块和发送模块连接。从设备200中的接收模块和解析模块连接，解析模块和关键帧解码模块、视频解码模块连接，关键帧解码模块、视频解码模块还分别和视频超分模块连接。
具体地，识别编码模块用于根据第一高清视频流识别高清关键帧，并根据视频编码标准对高清关键帧进行编码，生成编码后的高清关键帧；缩放编码模块用于通过图像插值算法对第一高清视频流按照压缩比降采样，生成低清帧，并根据视频编码标准对低清帧进行编码生成低清视频流；数据融合模块用于对低清视频流和编码后的高清关键帧进行数据融合，生成视频数据流；发送模块用于将视频数据流发送至从设备200。接收模块用于接收主设备100发送的视频数据流；解析模块用于将视频数据流进行解析，生成低清视频流和编码后的高清关键帧；关键帧解码模块用于将编码后的高清关键帧解码，生成高清关键帧；视频解码模块用于将低清视频流解码，生成低清帧；视频超分模块用于根据低清视频流和高清关键帧，生成第二高清视频流。
本发明实施例中，主设备100包括云服务器或者终端设备；从设备200包括云服务器、终端设备或者云侧设备。因此，本发明实施例提供的高清视频处理系统可覆盖以下多种场景：
(1)主设备100包括云服务器，且从设备200包括云服务器。例如，该场景包括云服务器向另一个云服务器进行视频分发。
(2)主设备100包括终端设备，且从设备200包括终端设备。例如，该场景包括终端设备向另一个终端设备进行视频分享。
(3)主设备100包括终端设备，且从设备200包括云侧设备。例如，该场景包括终端设备将短视频上传至云侧设备。
(4)主设备100包括云服务器，且从设备200包括终端设备。例如，该场景包括通过终端设备浏览云服务器中的短视频，此时云服务器向终端设备传输高清的短视频。
随着短视频领域的不断发展，目前短视频应用总的用户使用时长已逼近长视频应用总的用户使用时长。由于规模巨大的短视频浏览，云服务器因受到网络传输能力和服务成本等因素限制，无法提供全网全时段的高清短视频服务。在此情形下，如果云服务器或者终端设备的处理能力满足要求，云服务器和终端设备之间可以通过设备协同和超分辨率技术，在云服务器传输低清视频，在终端设备重构高清视频，从而为用户呈现更好的短视频浏览体验。总而言之，在客观条件受限的情况下超分辨率技术能够优化短视频应用的服务能力并提升短视频应用的用户体验，是传统应用借助人工智能技术的一种重要落地场景。
上述主设备100包括终端设备，从设备200包括云侧设备或者主设备100包括云服务器，且从设备200包括终端设备的场景中，主设备100向从设备200传输高清视频整个过程，相比于相关技术，本发明实施例能够提高运算实时性。其中，本发明实施例能够提高运算实时性主要体现在两个方面：(1)本发明实施例利用视频的局部时空一致性，主设备100可以发送更低码率和低清的视频流，从而降低视频数据传输时延；(2)结合高清关键帧，终端设备可以部署比相关技术更加轻量的超分辨率模型，从而降低数据处理时延。
例如，图2为从云服务器向终端设备的高清视频传输系统。如图2所示，云服务器采用搭载英伟达(NVIDIA)Tesla V100图形处理器(Graphics Processing Unit，GPU)的华为RH2288服务器，终端设备采用搭载麒麟990神经网络处理器(Neural-network ProcessingUnit，NPU)的华为智能手机。云服务器采用H.264编码高清关键帧和低清视频流，通过视频传输网络发送视频数据流给终端设备，终端设备通过视频传输网络接收视频数据流，解码出高清关键帧和低清帧，运行超分辨率模型生成高清视频。在超分辨率模型学习过程中，可以基于TensorFlow、PyTorch等深度学习框架实现超分辨率模型；使用公开数据集或者实际短视频进行模型训练。例如：公开数据集包括DIV2K、Set5、Set14等数据集。
如图1所示，本发明实施例提供的一种高清视频处理系统，系统包括主设备100和从设备200。其中，主设备100实现对第一高清视频流的高清关键帧识别与编码、低清视频流的缩放与编码，通过视频传输网络将由低清视频流和编码后的高清关键帧数据融合后生成的视频数据流发送给从设备200；从设备200通过视频传输网络接收视频数据流，通过解析和解码生成高清关键帧和低清帧，通过超分辨率模型重构第二高清视频流。本发明实施例提供的一种高清视频处理系统考虑到视频的局部时空一致性，主设备100和从设备200之间通过设备协同和超分辨率技术，能够实现高清视频的更低码率传输和低清视频的更高超分质量，改善用户的数字电视服务体验。
基于上述图1提供的架构图，本发明实施例提供了一种高清视频处理方法，应用于主设备100。图3为本发明一实施例提供的一种高清视频处理方法的流程图。如图3所示，该方法包括：
步骤102、根据第一高清视频流生成编码后的高清关键帧。
本发明实施例中，主设备100中的识别编码模块根据第一高清视频流生成编码后的高清关键帧，并将编码后的高清关键帧发送至数据融合模块。
其中，第一高清视频流包括在高清视频处理前原始的高清视频流。第一高清视频流存储于主设备100。
本发明实施例中，如图4所示，步骤102包括：
步骤1022、从第一高清视频流中提取出高清关键帧。
本发明实施例中，如图5所示，步骤1022包括：
步骤1022a、将第一高清视频流的第一个高清帧作为当前的高清关键帧，并将第一个高清帧的下一个高清帧作为当前高清帧。
本发明实施例中，第一高清视频流包括若干个高清帧，若干个高清帧按照顺序排列。主设备100中的识别编码模块将第一高清视频流的第一个高清帧作为当前的高清关键帧，并将第一个高清帧的下一个高清帧作为当前高清帧。
需要说明的是，本发明实施例中，高清关键帧包括当前的高清关键帧。
步骤1022b、将当前的高清关键帧和当前高清帧输入深度网络模型，得到当前的高清关键帧和当前高清帧之间的语义特征差异和纹理特征差异。
本发明实施例中，识别编码模块存储有深度网络模型，识别编码模块通过深度网络模型提取出当前的高清关键帧和当前高清帧的网络各层次特征，将高层次特征作为语义特征，将低层次特征作为纹理特征，计算当前的高清关键帧和当前高清帧之间的语义特征差异和纹理特征差异。
步骤1022c、将语义特征差异和纹理特征差异相加得到特征差异。
本发明实施例中，识别编码模块将语义特征差异和纹理特征差异相加得到特征差异。
步骤1022d、判断特征差异是否大于预设阈值，若是，执行步骤1022e；若否，执行步骤1022f。
本发明实施例中，语义特征差异阈值包括THs，纹理特征差异包括THt，语义特征差异阈值THs和纹理特征差异THt之间的比重包括1：α。其中，预设阈值包括THs+α*THt，α包括纹理特征差异THt与语义特征差异阈值THs之间的倍数。
步骤1022e、将当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧；并继续执行步骤1022b。
本发明实施例中，识别编码模块若判断出特征差异大于预设阈值，将当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧；并继续执行步骤1022b。
步骤1022f、判断当前的高清关键帧和当前高清帧之间的帧间间隔是否大于最大帧间间隔，若是，执行步骤1022e；若否，执行步骤1022g。
本发明实施例中，识别编码模块若判断出特征差异小于或者等于预设阈值，将当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧；并继续执行步骤1022b。
本发明实施例中，最大帧间间隔包括高清关键帧的最大帧间间隔。
本发明实施例中，识别编码模块若判断出当前的高清关键帧和当前高清帧之间的帧间间隔大于最大帧间间隔，将当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧；并继续执行步骤1022b。
步骤1022g、将下一个高清帧作为当前高清帧；并继续执行步骤1022b。
本发明实施例中，识别编码模块若判断出当前的高清关键帧和当前高清帧之间的帧间间隔小于或者等于最大帧间间隔，将下一个高清帧作为当前高清帧；并继续执行步骤1022b。
步骤1024、根据视频编码标准对高清关键帧进行编码，生成编码后的高清关键帧。
本发明实施例中，识别编码模块根据视频编码标准对高清关键帧进行编码，生成编码后的高清关键帧。
本发明实施例中，视频编码标准包括常用的视频编码标准。例如，视频编码标准包括H.263或H.264。
步骤104、根据第一高清视频流生成低清视频流。
本发明实施例中，主设备100中的缩放编码模块根据第一高清视频流生成低清视频流。
本发明实施例中，如图6所示，步骤104包括：
步骤1042、通过图像插值算法对第一高清视频流按照压缩比降采样，生成低清帧；
本发明实施例中，缩放编码模块通过图像插值算法对第一高清视频流按照压缩比降采样，生成低清帧。其中，图像插值算法包括最近邻插值、双线性插值或者双三次线性插值。
步骤1044、根据视频编码标准对低清帧进行编码生成低清视频流。
本发明实施例中，缩放编码模块根据视频编码标准对低清帧进行编码生成低清视频流，并将低清视频流发送至主设备100中的数据融合模块。
例如：第一高清视频流的分辨率包括W*H，压缩比包括S，通过图像插值算法对第一高清视频流按照压缩比降采样后生成的低清帧组成的低清视频流的分辨率包括(W/S)*(H/S)。其中，W包括第一高清视频流的横向列数，H包括第一高清视频流的纵向列数。
本发明实施例中对步骤102和步骤104的执行顺序不做限定，可以先执行步骤104再执行步骤104，或者先执行步骤104再执行步骤104，或者步骤102和步骤104同时执行。
步骤106、对低清视频流和编码后的高清关键帧进行数据融合，生成视频数据流。
本发明实施例中，主设备100中的数据融合模块对低清视频流和编码后的高清关键帧进行数据融合，生成视频数据流，并将视频数据流发送至主设备100中的发送模块。
步骤108、将视频数据流发送至从设备。
本发明实施例中，主设备100中的发送模块将视频数据流发送至从设备200。
本实施例提供的高清视频处理方法的技术方案中，主设备根据第一高清视频流生成编码后的高清关键帧；根据第一高清视频流生成低清视频流；对低清视频流和编码后的高清关键帧进行数据融合，生成视频数据流；将视频数据流发送至从设备，以使从设备将视频数据流进行解析生成低清视频流和编码后的高清关键帧，对编码后的高清关键帧解码生成高清关键帧，并根据低清视频流和高清关键帧生成第二高清视频流。本发明实施例基于高清关键帧的超分辨率技术，主设备和从设备通过设备协同完成高清视频的处理，能够实现高清视频的更低码率传输和低清视频的更高超分质量，改善用户的数字电视服务体验。
基于上述图1提供的架构图，本发明实施例提供了一种高清视频处理方法，应用于从设备200。图7为本发明又一实施例提供的一种高清视频处理方法的流程图。如图7所示，该方法包括：
步骤202、接收主设备发送的视频数据流。
本发明实施例中，从设备200中的接收模块接收主设备100发送的视频数据流，并将视频数据流发送至从设备200中的解析模块。
步骤204、将视频数据流进行解析，生成低清视频流和编码后的高清关键帧。
本发明实施例中，从设备200中的解析模块将视频数据流进行解析，生成低清视频流和编码后的高清关键帧，并将低清视频流发送至视频解码模块，将编码后的高清关键帧发送至关键帧解码模块。
步骤206、将编码后的高清关键帧解码，生成高清关键帧。
本发明实施例中，从设备200中的关键帧解码模块将编码后的高清关键帧解码，生成高清关键帧，并将高清关键帧发送至视频超分模块。
步骤208、根据低清视频流和高清关键帧，生成第二高清视频流。
本发明实施例中，视频超分模块根据低清视频流和高清关键帧，生成第二高清视频流。
本发明实施例中，如图8所示，步骤208包括：
步骤2082、将低清视频流解码，生成低清帧。
本发明实施例中，视频解码模块将低清视频流解码，生成低清帧，并将低清帧发送至视频超分模块。
步骤2084、通过视频超分辨率算法和深度卷积神经网络算法对低清帧和高清关键帧进行计算，生成超分帧。
本发明实施例中，视频超分模块通过超分辨率模型中的视频超分辨率算法和深度卷积神经网络算法对低清帧和高清关键帧进行计算，生成超分帧。
本发明实施例中，如图9所示，步骤2084包括：
步骤2084a、通过视频超分辨率算法对第一个低清帧进行计算，生成当前的超分帧，将第一个低清帧的下一个低清帧作为当前低清帧。
本发明实施例中，视频超分模块通过视频超分辨率算法对第一个低清帧进行计算，生成当前的超分帧，将第一个低清帧的下一个低清帧作为当前低清帧。
步骤2084b、通过深度卷积神经网络算法对高清关键帧和当前的超分帧进行计算，从高清关键帧和当前的超分帧中提取出高清特征。
本发明实施例中，如图10所示，视频超分模块通过深度卷积神经网络算法对高清关键帧和当前的超分帧进行计算，从高清关键帧和当前的超分帧中提取出高清特征。
本发明实施例中，深度卷积神经网络算法包括深度卷积神经网络CNNA算法和深度卷积神经网络CNNB算法。
具体地，深度卷积神经网络CNNA算法中包括N层网络，第i层网络记为
Figure BDA0002479368030000101
Figure BDA0002479368030000102
将高清关键帧和当前的超分帧输入超分辨率模型；通过深度卷积神经网络CNNA算法从高清关键帧和当前的超分帧中提取出网络各层特征，即高清特征。高清特征包括高清关键帧中的网络各层特征MKF和当前的超分帧的网络各层特征MSR,t-1。其中，
Figure BDA0002479368030000103
Figure BDA0002479368030000104
步骤2084c、通过自适应实例归一化技术对高清特征和当前低清帧进行计算生成超分特征。
本发明实施例中，如图10所示，视频超分模块通过自适应实例归一化技术对高清特征和当前低清帧进行计算生成超分特征MSR,t，
Figure BDA0002479368030000105
具体地，深度卷积神经网络CNNB算法中包括N层网络，第i层网络记为
Figure BDA0002479368030000106
Figure BDA0002479368030000111
将高清特征和当前低清帧LRFt输入超分辨率模型；通过深度卷积神经网络CNNB算法和自适应实例归一化技术对高清特征和当前低清帧进行计算生成超分特征。
其中，超分特征MSR,t的过程如下列公式所示：
Figure BDA0002479368030000112
Figure BDA0002479368030000113
Figure BDA0002479368030000114
Figure BDA0002479368030000115
步骤2084d、对超分特征进行上采样生成下一个的超分帧。
本发明实施例中，视频超分模块对超分特征进行上采样生成下一个的超分帧。
需要说明的是，本发明实施例中，超分帧包括当前的超分帧和下一个的超分帧。
具体地，视频超分模块对最后一层特征，即第N层超分特征
Figure BDA0002479368030000116
进行上采样，生成下一个的超分帧。
步骤2084e、判断当前低清帧是否包括低清视频帧的最后一个低清帧，若否，执行步骤2084f；若是，执行步骤2086。
本发明实施例中，视频超分模块判断当前低清帧是否包括低清视频帧的最后一个低清帧。
步骤2084f、将下一个低清帧作为当前低清帧，将下一个超分帧作为当前的超分帧；继续执行步骤2084b。
本发明实施例中，视频超分模块若判断出当前低清帧不包括低清视频帧的最后一个低清帧，将下一个低清帧作为当前低清帧，将下一个超分帧作为当前的超分帧；继续执行步骤2084b。
步骤2086、对高清关键帧、低清帧和超分帧进行图像重构，生成第二高清视频流。
本发明实施例中，视频超分模块若判断出当前低清帧包括低清视频帧的最后一个低清帧，对高清关键帧、低清帧和超分帧进行图像重构，生成第二高清视频流。
为了说明本发明实施例提供的高清视频处理方法带来的技术效果，下面通过举例说明本发明实施例提供的高清视频处理方法相比于相关技术中的高清视频处理方法带来的技术效果：
图11为第一高清视频流的视频截图，图12为图11中第一高清视频流对应的低清视频流的视频截图，图13为图11中第一高清视频流对应的编码后的高清关键帧的视频截图，图14为图11中第一高清视频流经过相关技术中高清视频处理方法得到的视频截图，图15为图11中第一高清视频流经过本发明实施例提供的高清视频处理方法得到的视频截图。
如图11至图15所示，图11所示视频截图的画质最好，图像最清晰。图12所示视频截图的画质最差，图像最模糊；图13所示视频截图的画质相对于图12较好，图像较清晰；图13所示视频截图的画质和清晰度与图14所示视频截图的画质和清晰度几乎相同；图15所示视频截图的画质相对于图13和图4更好，图像更清晰。
如图14和图15所示，一方面，图15所示的视频截图相比于图14所示的视频截图，图15所示的视频截图的画质明显更好，图像拥有更显著的高频细节。因此，本发明实施例提供的高清视频处理方法基于视频传输网络和常用的视频编码标准，不需要系统改造费用，相比于相关技术在超分辨率效果方面也有显著的提高。另一方面，与直接传输第一高清视频相比，采用本发明实施例提供的高清视频处理方法传输高清视频所占用的网络传输带宽可缩减至原始的(1/(S2)+1/(T)倍。例如，压缩比S＝2,最大帧间间隔T＝30时，网络传输带宽缩减至原始的0.283；压缩比S＝3,最大帧间间隔T＝30时，网络传输带宽缩减至原始的0.144。因此，本发明实施例提供高清视频处理方法能够明显降低网络传输带宽，为用户提供良好的高清视频体验效果。
本实施例提供的高清视频处理方法的技术方案中，从设备接收主设备发送的视频数据流；将视频数据流进行解析，生成低清视频流和编码后的高清关键帧；将编码后的高清关键帧解码，生成高清关键帧；根据低清视频流和高清关键帧，生成第二高清视频流。本发明实施例基于高清关键帧的超分辨率技术，主设备和从设备通过设备协同完成高清视频的处理，能够实现高清视频的更低码率传输和低清视频的更高超分质量，改善用户的数字电视服务体验。
上文结合图3至图9，详细描述了本发明实施例提供的高清视频处理方法，下面将结合图16至图19，详细描述本发明的装置实施例。应理解，本发明实施例中的电子设备可以执行前述本发明实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
图16是本发明实施例的主设备100的示意性框图。应理解，主设备100能够执行图3至图6的方法中的步骤，为了避免重复，此处不再详述。如图16所示，主设备100包括：第一生成单元11、第二生成单元12、数据融合单元13和发送单元14。
第一生成单元11，用于根据第一高清视频流生成编码后的高清关键帧。
本发明实施例中，第一生成单元11包括：提取子单元111和第一编码子模块112。
提取子单元111，用于从第一高清视频流中提取出高清关键帧。
本发明实施例中，如图17所示，提取子单元111包括：第一处理子模块1111、输入子模块1112、第一计算子模块1113、第一判断子模块1114、第二处理子模块1115、第二判断子模块1116和第三处理子模块1117。
第一处理子模块1111，用于将第一高清视频流的第一个高清帧作为当前的高清关键帧，并将第一个高清帧的下一个高清帧作为当前高清帧。
输入子模块1112，用于将当前的高清关键帧和当前高清帧输入深度网络模型，得到当前的高清关键帧和当前高清帧之间的语义特征差异和纹理特征差异。
第一计算子模块1113、将语义特征差异和纹理特征差异相加得到特征差异。
第一判断子模块1114，用于判断特征差异是否大于预设阈值。
第二处理子模块1115，用于若第一判断子模块1114判断出特征差异大于预设阈值，将当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧；并继续执行将当前的高清关键帧和当前高清帧输入深度网络模型，得到高清关键帧和当前高清帧之间的语义特征差异和纹理特征差异的操作。
第二判断子模块1116，用于若第一判断子模块1114判断出特征差异小于或者等于预设阈值，判断当前的高清关键帧和当前高清帧之间的帧间间隔是否大于最大帧间间隔。
第二判断子模块1116还用于若第二判断子模块1116判断出当前的高清关键帧和当前高清帧之间的帧间间隔大于最大帧间间隔，继续执行将当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧的操作。
第三处理子模块1117，用于若第二判断子模块1116判断出当前的高清关键帧和当前高清帧之间的帧间间隔小于或者等于最大帧间间隔，将下一个高清帧作为当前高清帧；并继续执行将当前的高清关键帧和当前高清帧输入深度网络模型，得到高清关键帧和当前高清帧之间的语义特征差异和纹理特征差异的操作。
第一编码子模块112，用于根据视频编码标准对高清关键帧进行编码，生成编码后的高清关键帧。
第二生成单元12，用于根据第一高清视频流生成低清视频流。
本发明实施例中，第二生成单元12包括：降采样单元121和第二编码子模块122。
降采样单元121，用于通过图像插值算法对第一高清视频流按照压缩比降采样，生成低清帧；
第二编码子模块122，用于根据视频编码标准对低清帧进行编码生成低清视频流。
数据融合单元13，用于对低清视频流和编码后的高清关键帧进行数据融合，生成视频数据流。
发送单元14，用于将视频数据流发送至从设备。
本实施例提供的一种主设备的技术方案中，主设备根据第一高清视频流生成编码后的高清关键帧；根据第一高清视频流生成低清视频流；对低清视频流和编码后的高清关键帧进行数据融合，生成视频数据流；将视频数据流发送至从设备，以使从设备将视频数据流进行解析生成低清视频流和编码后的高清关键帧，对编码后的高清关键帧解码生成高清关键帧，并根据低清视频流和高清关键帧生成第二高清视频流。本发明实施例基于高清关键帧的超分辨率技术，主设备和从设备通过设备协同完成高清视频的处理，能够实现高清视频的更低码率传输和低清视频的更高超分质量，改善用户的数字电视服务体验。
图18是本发明实施例的从设备200的示意性框图。应理解，从设备200能够执行图7至图9的方法中的步骤，为了避免重复，此处不再详述。如图18所示，从设备200包括：接收单元21、解析单元22、解码单元23和第三生成单元24。
接收单元21，用于接收主设备发送的视频数据流。
解析单元22，用于将视频数据流进行解析，生成低清视频流和编码后的高清关键帧。
解码单元23，用于将编码后的高清关键帧解码，生成高清关键帧。
第三生成单元24，用于根据低清视频流和高清关键帧，生成第二高清视频流。
本发明实施例中，第三生成单元24包括：解码子单元241、计算子单元242和第三编码子单元243。
解码子单元241，用于将低清视频流解码，生成低清帧。
计算子单元242，用于通过视频超分辨率算法和深度卷积神经网络算法对低清帧和高清关键帧进行计算，生成超分帧。
本发明实施例中，如图19所示，计算子单元242包括：第四处理子模块2421、提取子模块2422、第二计算子模块2423、上采样子模块2424、第三判断子模块2425和第五处理子模块2426。
第四处理子模块2421，用于通过视频超分辨率算法对第一个低清帧进行计算，生成当前的超分帧，将第一个低清帧的下一个低清帧作为当前低清帧。
提取子模块2422，用于通过深度卷积神经网络算法对高清关键帧和当前的超分帧进行计算，从高清关键帧和当前的超分帧中提取出高清特征。
第二计算子模块2423，用于通过自适应实例归一化技术对高清特征和当前低清帧进行计算生成超分特征。
上采样子模块2424，用于对超分特征进行上采样生成下一个超分帧。
第三判断子模块2425，用于判断当前低清帧是否包括低清视频帧的最后一个低清帧。
第五处理子模块2426，用于若第三判断子模块2425判断出当前低清帧不包括低清视频帧的最后一个低清帧，将下一个低清帧作为当前低清帧，将下一个超分帧作为当前的超分帧；继续执行通过深度卷积神经网络算法对高清关键帧和当前的超分帧进行计算，从高清关键帧和当前的超分帧中提取出高清特征的操作。
第三判断子模块2425还用于若第三判断子模块2425判断出当前低清帧包括低清视频帧的最后一个低清帧，继续执行对高清关键帧、低清帧和超分帧进行图像重构，生成第二高清视频流的操作。
重构子单元243，用于对高清关键帧、低清帧和超分帧进行图像重构，生成第二高清视频流。
本实施例提供的从设备的技术方案中，从设备接收主设备发送的视频数据流；将视频数据流进行解析，生成低清视频流和编码后的高清关键帧；将编码后的高清关键帧解码，生成高清关键帧；根据低清视频流和高清关键帧，生成第二高清视频流。本发明实施例基于高清关键帧的超分辨率技术，主设备和从设备通过设备协同完成高清视频的处理，能够实现高清视频的更低码率传输和低清视频的更高超分质量，改善用户的数字电视服务体验。
应理解，上述主设备100和从设备200以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本发明的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例还提供一种芯片系统，包括处理器。该处理器用于读取并运行存储器中存储的计算机程序，以执行本发明提供的高清视频处理方法执行的相应操作和/或流程。
可选地，该芯片系统还包括存储器，该存储器与该处理器通过电路或电线与存储器连接，处理器用于读取并执行该存储器中的计算机程序。进一步可选地，该芯片系统还包括通信接口，处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理。该通信接口可以是输入输出接口。
本发明实施例提供一种电子设备，该电子设备可以是终端设备也可以是内置于所述终端设备的电路设备。该电子设备包括上述主设备或从设备，可以用于执行上述方法实施例中的功能/步骤。
如图20所示，电子设备900包括处理器910和收发器920。可选地，该电子设备900还可以包括存储器930。其中，处理器910、收发器920和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。
可选地，电子设备900还可以包括天线940，用于将收发器920输出的无线信号发送出去。
上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。
除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。
可选地，上述电子设备900还可以包括电源950，用于给终端设备中的各种器件或电路提供电源。
应理解，图20所示的电子设备900能够实现图3至图9所示方法实施例的各个过程。电子设备900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。
应理解，图20所示的电子设备900中的处理器910可以是片上系统(system on achip，SOC)，该处理器910中可以包括中央处理器(central processing unit，CPU)，还可以进一步包括其他类型的处理器，所述CPU可以叫主CPU。各部分处理器配合工作实现之前的方法流程，并且每部分处理器可以选择性执行一部分软件驱动程序。
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。
本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该指令在终端设备上运行时，使得终端设备执行如上述图3至图6和/或如上述图7至图9所示的高清视频处理方法中的各个步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机或任意至少一种处理器上运行时，使得计算机执行如上述图3至图6和/或如上述图7至图9所示的高清视频处理方法中的各个步骤。
以上各实施例中，涉及的处理器910可以例如包括中央处理器(centralprocessing unit，CPU)、微处理器、微控制器或数字信号处理器，还可包括GPU、NPU和ISP，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器中。
存储器可以是只读存储器(read-only memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种高清视频处理方法，其特征在于，应用于主设备，所述方法包括：
根据第一高清视频流生成编码后的高清关键帧；
根据第一高清视频流生成低清视频流；所述低清视频流包括与所述高清关键帧对应的多个低清帧；
对所述低清视频流和所述编码后的高清关键帧进行数据融合，生成视频数据流；
将所述视频数据流发送至从设备，以使所述从设备依次将所述多个低清帧中每个低清帧基于所述高清关键帧进行计算，生成所述多个低清帧对应的超分帧，并根据所述高清关键帧、所述多个低清帧和所述多个低清帧对应的超分帧进行图像重构，生成第二高清视频流；
所述从设备依次将所述多个低清帧中每个低清帧基于所述高清关键帧进行计算，生成所述多个低清帧对应的超分帧，包括：
所述从设备通过视频超分辨率算法对第一个低清帧进行计算，生成当前的超分帧，将所述第一个低清帧的下一个低清帧作为当前低清帧；通过深度卷积神经网络算法对所述高清关键帧和所述当前的超分帧进行计算，从所述高清关键帧和所述当前的超分帧中提取出高清特征；通过自适应实例归一化技术对所述高清特征和所述当前低清帧进行计算生成超分特征；对所述超分特征进行上采样生成下一个的超分帧；判断所述当前低清帧是否包括所述多个低清帧的最后一个低清帧；若判断出所述当前低清帧不包括所述多个低清帧的最后一个低清帧，将下一个低清帧作为当前低清帧，将所述下一个的超分帧作为当前的超分帧，继续执行所述通过深度卷积神经网络算法对所述高清关键帧和所述当前的超分帧进行计算，从所述高清关键帧和所述当前的超分帧中提取出高清特征的步骤；若判断出所述当前低清帧包括所述多个低清帧的最后一个低清帧，继续执行所述根据所述高清关键帧、所述多个低清帧和所述多个低清帧对应的超分帧进行图像重构，生成第二高清视频流的步骤。
2.根据权利要求1所述的方法，其特征在于，所述根据第一高清视频流生成编码后的高清关键帧，包括：
从所述第一高清视频流中提取出高清关键帧；
根据视频编码标准对所述高清关键帧进行编码，生成所述编码后的高清关键帧。
3.根据权利要求1所述的方法，其特征在于，所述根据第一高清视频流生成低清视频流，包括：
通过图像插值算法对所述第一高清视频流按照压缩比降采样，生成低清帧；
根据视频编码标准对所述低清帧进行编码生成所述低清视频流。
4.根据权利要求2所述的方法，其特征在于，所述从所述第一高清视频流中提取出高清关键帧，包括：
将所述第一高清视频流的第一个高清帧作为当前的高清关键帧，并将所述第一个高清帧的下一个高清帧作为当前高清帧；
将所述当前的高清关键帧和所述当前高清帧输入深度网络模型，得到所述当前的高清关键帧和所述当前高清帧之间的语义特征差异和纹理特征差异；
将所述语义特征差异和纹理特征差异相加得到特征差异；
判断所述特征差异是否大于预设阈值；
若判断出所述特征差异大于所述预设阈值，将所述当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧，并继续执行所述将所述当前的高清关键帧和所述当前高清帧输入深度网络模型的步骤；
若判断出所述特征差异小于或者等于所述预设阈值，判断所述当前的高清关键帧和所述当前高清帧之间的帧间间隔是否大于最大帧间间隔；
若判断出所述当前的高清关键帧和所述当前高清帧之间的帧间间隔小于或者等于所述最大帧间间隔，将下一个高清帧作为当前高清帧，并继续执行所述将所述当前的高清关键帧和所述当前高清帧输入深度网络模型的步骤；
若判断出所述当前的高清关键帧和所述当前高清帧之间的帧间间隔大于所述最大帧间间隔，将所述当前高清帧确定为当前的高清关键帧，将下一个高清帧作为当前高清帧，并继续执行所述将所述当前的高清关键帧和所述当前高清帧输入深度网络模型的步骤。
5.一种高清视频处理方法，其特征在于，应用于从设备，所述方法包括：
接收主设备发送的视频数据流；
将所述视频数据流进行解析，生成低清视频流和编码后的高清关键帧；所述低清视频流包括与所述高清关键帧对应的多个低清帧；
将所述编码后的高清关键帧解码，生成所述高清关键帧；
依次将所述多个低清帧中每个低清帧基于所述高清关键帧进行计算，生成所述多个低清帧对应的超分帧；
根据所述高清关键帧、所述多个低清帧和所述多个低清帧对应的超分帧进行图像重构，生成第二高清视频流；
所述依次将所述多个低清帧中每个低清帧基于所述高清关键帧进行计算，生成所述多个低清帧对应的超分帧，包括：
通过视频超分辨率算法对第一个低清帧进行计算，生成当前的超分帧，将所述第一个低清帧的下一个低清帧作为当前低清帧；
通过深度卷积神经网络算法对所述高清关键帧和所述当前的超分帧进行计算，从所述高清关键帧和所述当前的超分帧中提取出高清特征；
通过自适应实例归一化技术对所述高清特征和所述当前低清帧进行计算生成超分特征；
对所述超分特征进行上采样生成下一个的超分帧；
判断所述当前低清帧是否包括所述多个低清帧的最后一个低清帧；
若判断出所述当前低清帧不包括所述多个低清帧的最后一个低清帧，将下一个低清帧作为当前低清帧，将所述下一个的超分帧作为当前的超分帧，继续执行所述通过深度卷积神经网络算法对所述高清关键帧和所述当前的超分帧进行计算，从所述高清关键帧和所述当前的超分帧中提取出高清特征的步骤；
若判断出所述当前低清帧包括所述多个低清帧的最后一个低清帧，继续执行所述根据所述高清关键帧、所述多个低清帧和所述多个低清帧对应的超分帧进行图像重构，生成第二高清视频流的步骤。
6.根据权利要求5所述的方法，其特征在于，所述依次将所述多个低清帧中每个低清帧基于所述高清关键帧进行计算，生成所述多个低清帧对应的超分帧之前，还包括：
将所述低清视频流解码，生成低清帧。
7.一种主设备，其特征在于，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述主设备执行如权利要求1-4任一项所述的方法。
8.一种从设备，其特征在于，包括处理器和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述主设备执行如权利要求5-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如权利要求5-6任一项所述的方法。
11.一种芯片系统，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片系统的电子设备执行如权利要求1-4任一项所述的方法。
12.一种芯片系统，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片系统的电子设备执行如权利要求5-6任一项所述的方法。
CN202010374383.4A 2020-05-06 2020-05-06 高清视频处理方法、主设备、从设备和芯片系统 Active CN111586412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010374383.4A CN111586412B (zh) 2020-05-06 2020-05-06 高清视频处理方法、主设备、从设备和芯片系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010374383.4A CN111586412B (zh) 2020-05-06 2020-05-06 高清视频处理方法、主设备、从设备和芯片系统

Publications (2)

Publication Number Publication Date
CN111586412A CN111586412A (zh) 2020-08-25
CN111586412B true CN111586412B (zh) 2022-07-26

Family

ID=72124670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010374383.4A Active CN111586412B (zh) 2020-05-06 2020-05-06 高清视频处理方法、主设备、从设备和芯片系统

Country Status (1)

Country Link
CN (1) CN111586412B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173137A (zh) * 2020-09-10 2022-03-11 北京金山云网络技术有限公司 视频编码方法、装置及电子设备
CN114786007B (zh) * 2022-03-21 2024-04-19 鹏城实验室 一种结合编码与图像超分辨率的智能视频传输方法及系统
WO2024018525A1 (ja) * 2022-07-19 2024-01-25 日本電信電話株式会社 映像処理装置、方法およびプログラム
CN116523758B (zh) * 2023-07-03 2023-09-19 清华大学 基于关键帧的端云联合超分辨率视频重建方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230574A (ja) * 2001-02-06 2002-08-16 Monolith Co Ltd 画像生成方法、装置およびシステム
US6807306B1 (en) * 1999-05-28 2004-10-19 Xerox Corporation Time-constrained keyframe selection method
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
CN102142136A (zh) * 2011-03-05 2011-08-03 河海大学常州校区 基于神经网络的声纳图像的超分辨率重建方法
CN103813174A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
CN106961610A (zh) * 2017-03-15 2017-07-18 四川大学 结合超分辨率重建的超高清视频新型压缩框架
CN110267041A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像编码方法、装置、电子设备和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
US10783611B2 (en) * 2018-01-02 2020-09-22 Google Llc Frame-recurrent video super-resolution
CN109905624B (zh) * 2019-03-01 2020-10-16 北京大学深圳研究生院 一种视频帧插值方法、装置及设备
CN110852944B (zh) * 2019-10-12 2023-11-21 天津大学 基于深度学习的多帧自适应融合的视频超分辨方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807306B1 (en) * 1999-05-28 2004-10-19 Xerox Corporation Time-constrained keyframe selection method
JP2002230574A (ja) * 2001-02-06 2002-08-16 Monolith Co Ltd 画像生成方法、装置およびシステム
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
CN102142136A (zh) * 2011-03-05 2011-08-03 河海大学常州校区 基于神经网络的声纳图像的超分辨率重建方法
CN103813174A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
CN106961610A (zh) * 2017-03-15 2017-07-18 四川大学 结合超分辨率重建的超高清视频新型压缩框架
CN110267041A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 图像编码方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HDR video super-resolution for future video coding;Seiya Umeda;《2018 International Workshop on Advanced Image Technology(IWAIT)》;20180109;全文 *
multiscale convolutional neural network for the detection of built-up areas in high-resolution sar images;Li Jingge;《2016 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM(IGARSS)》;20160715;全文 *
基于混合超分辨的自适应下采样编码;胡增;《中国优秀硕士学位论文全文数据库》;20180315;全文 *

Also Published As

Publication number Publication date
CN111586412A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111586412B (zh) 高清视频处理方法、主设备、从设备和芯片系统
US10666962B2 (en) Training end-to-end video processes
CN108495130B (zh) 视频编码、解码方法和装置、终端、服务器和存储介质
US11410275B2 (en) Video coding for machine (VCM) based system and method for video super resolution (SR)
WO2019001108A1 (zh) 视频处理的方法和装置
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
WO2020238439A1 (zh) 无线自组织网络带宽受限下的视频业务质量增强方法
CN110072119A (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
WO2022111631A1 (zh) 视频传输方法、服务器、终端和视频传输系统
WO2023005740A1 (zh) 图像编码、解码、重建、分析方法、系统及电子设备
CN114979672A (zh) 视频编码方法、解码方法、电子设备及存储介质
Löhdefink et al. Focussing learned image compression to semantic classes for V2X applications
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
Li et al. End-to-end optimized 360° image compression
Jiang et al. Multi-modality deep network for extreme learned image compression
Duan et al. Multimedia semantic communications: Representation, encoding and transmission
CN206283618U (zh) 基于感兴趣区域的空间可分级编码装置
CN115941966A (zh) 一种视频压缩方法及电子设备
CN115665427A (zh) 直播数据的处理方法、装置及电子设备
Yang et al. Graph-convolution network for image compression
CN116918329A (zh) 一种视频帧的压缩和视频帧的解压缩方法及装置
Huang et al. Pearl: A fast deep learning driven compression framework for UHD video delivery
CN116708793B (zh) 视频的传输方法、装置、设备及存储介质
KR102604657B1 (ko) 영상 압축 성능 개선 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant