CN115361582A - 一种视频实时超分辨率处理方法、装置、终端及存储介质 - Google Patents

一种视频实时超分辨率处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN115361582A
CN115361582A CN202210848722.7A CN202210848722A CN115361582A CN 115361582 A CN115361582 A CN 115361582A CN 202210848722 A CN202210848722 A CN 202210848722A CN 115361582 A CN115361582 A CN 115361582A
Authority
CN
China
Prior art keywords
super
frame
video
resolution
scene switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210848722.7A
Other languages
English (en)
Other versions
CN115361582B (zh
Inventor
陈作舟
薛雅利
邹龙昊
陈梓豪
陶小峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202210848722.7A priority Critical patent/CN115361582B/zh
Publication of CN115361582A publication Critical patent/CN115361582A/zh
Application granted granted Critical
Publication of CN115361582B publication Critical patent/CN115361582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频实时超分辨率处理方法、装置、终端及存储介质，方法包括：获取超分模型及待超分视频，并确定待超分视频中各视频帧的类型；根据各视频帧的类型确定待超分视频中的关键帧和非关键帧，并通过超分模型对关键帧进行超分处理，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表；确定非关键帧中的场景切换帧和非场景切换帧，通过超分模型对场景切换帧进行超分处理，并根据插值算法和参考帧列表对非场景切换帧进行超分处理；根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。本发明通过采用深度学习和插值算法相结合的方式，既保证了超分效率又保证了超分视频质量。

Description

一种视频实时超分辨率处理方法、装置、终端及存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及的是一种视频实时超分辨率处理方法、装置、终端及存储介质。
背景技术
传输时使用低分辨率视频，大幅降低传输带宽，在解码端将低分辨率视频实时超分到高分辨率，提升用户观看视频质量。既大幅降低了视频传输带宽又保证了用户的观看体验。
已有的视频超分技术分为以下几类：
第一类是采用深度学习方法，虽然这种技术的超分效果好，但是耗时时间长且实时性差；
第二类是采用传统插值上采样方法，虽然这种技术的实时性好，但是超分视频质量差；
第三类是将深度学习和传统插值算法结合，对GOP中的关键帧使用深度学习方法上采样，GOP中其他帧进行插值上采样。虽然这种技术在一定程度上兼顾了实时性和超分效果，但是视频中除了关键帧GOP组中其他帧也存在场景切换情况，所以当帧间有场景切换时，超分效果质量差。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种视频实时超分辨率处理方法、装置、终端及存储介质，以解决现有的视频超分技术实时性及超分效果质量差的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种视频实时超分辨率处理方法，包括：
获取超分模型及待超分视频，并确定所述待超分视频中各视频帧的类型；
根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，并通过所述超分模型对所述关键帧进行超分处理，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表；
确定所述非关键帧中的场景切换帧和非场景切换帧，通过所述超分模型对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表，并根据插值算法和所述参考帧列表对所述非场景切换帧进行超分处理；
根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。
在一种实现方式中，所述获取超分模型及待超分视频，并确定所述待超分视频中各视频帧的类型，包括：
获取服务器发送的超分模型及待超分视频；
解析所述待超分视频的压缩码流语义信息；
根据所述压缩码流语义信息确定所述待超分视频中各视频帧的类型。
在一种实现方式中，所述解析待超分视频的压缩码流语义信息，包括：
通过网络抽象层对所述待超分视频进行分帧处理，得到各视频帧。
在一种实现方式中，所述根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，并通过所述超分模型对所述关键帧进行超分处理，包括：
根据各视频帧的类型判断当前视频帧是否为所述关键帧；
若当前视频帧为所述关键帧，则根据视频解码流程对当前视频帧进行解码，得到解码后的未压缩视频帧数据；其中，所述未压缩视频帧数据为YUV视频帧数据；
将解码后的YUV视频帧数据转换为RGB视频帧数据，并加载对应的超分模型对所述RGB视频帧数据进行超分处理；
将超分后的RGB格式的超分帧转换为YUV格式的超分帧。
在一种实现方式中，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表，包括：
将超分后的关键帧按照原始码流的参考关系存入所述解码器的解码图片缓存区中；
构建所述参考帧列表，并根据所述超分后的关键帧对应的编码顺序更新所述参考帧列表。
在一种实现方式中，所述确定非关键帧中的场景切换帧和非场景切换帧，通过所述超分模型对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表，包括：
若当前视频帧为所述非关键帧，则遍历当前视频帧的所有编码块，解码得到各编码块的预测模式；
计算当前视频帧内编码块的比例，并通过所述比例判断当前视频帧是否为所述场景切换帧；
若当前视频帧为所述场景切换帧，则加载所述超分模型，并对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表。
在一种实现方式中，所述遍历当前视频帧的所有编码块，解码得到各编码块的预测模式，包括：
遍历当前视频帧的编码树单元，并以四叉树的形式划分所述编码树单元；
判断当前编码块是否满足继续划分的条件；
若当前编码块满足所述继续划分的条件，则进一步对当前编码块进行划分；
若当前编码块不满足所述继续划分的条件，则解码得到当前编码块的预测模式。
在一种实现方式中，所述计算当前视频帧内编码块的比例，并通过所述比例判断当前视频帧是否为场景切换帧，包括：
确定当前视频帧的原始宽度和原始高度；
确定当前视频帧内编码块的数量、各编码块高度以及各编码块宽度；
根据所述原始宽度、所述原始高度、所述编码块的数量、各编码块高度以及各编码块宽度，计算当前视频帧内编码块的比例；
判断所述比例是否大于比例阈值；
若所述比例大于所述比例阈值，则判定当前视频帧为所述场景切换帧；
若所述比例小于或等于所述比例阈值，则判定当前视频帧为所述非场景切换帧。
在一种实现方式中，所述根据插值算法和所述参考帧列表对所述非场景切换帧进行超分处理，包括：
若当前视频帧为所述非场景切换帧，将预测值和残差值通过插值上采样后叠加，得到超分后的帧内编码块重建值；
将运动矢量上采样后计算得到上采样后的预测值，并将残差上采样，与预测值叠加，得到超分后的帧间编码块数据；
根据超分后的非场景切换帧更新解码器解码缓冲区和参考帧列表。
在一种实现方式中，所述根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧，包括：
判断所述解码器是否处于解码输出状态；
若所述解码器处于所述解码输出状态，则根据所述输出顺序从所述解码器的缓存区中获取及输出超分后的视频帧。
第二方面，本发明提供一种视频实时超分辨率处理装置，包括：
获取模块，用于获取超分模型及待超分视频，并确定所述待超分视频中各视频帧的类型；
关键帧超分模块，用于根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，并通过所述超分模型对所述关键帧进行超分处理，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表；
非关键帧超分模块，用于确定所述非关键帧中的场景切换帧和非场景切换帧，通过所述超分模型对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表，并根据插值算法和所述参考帧列表对所述非场景切换帧进行超分处理；
输出模块，用于根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。
第三方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有视频实时超分辨率处理程序，所述视频实时超分辨率处理程序被所述处理器执行时用于实现如第一方面所述的视频实时超分辨率处理方法。
第四方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有视频实时超分辨率处理程序，所述视频实时超分辨率处理程序被处理器执行时用于实现如第一方面所述的视频实时超分辨率处理方法。
本发明采用上述技术方案具有以下效果：
本发明根据各视频帧的类型确定待超分视频中的关键帧和非关键帧，并通过超分模型对关键帧进行超分处理，可以根据超分后的关键帧更新解码器解码缓冲区和参考帧列表；以及通过确定非关键帧中的场景切换帧和非场景切换帧，利用超分模型对场景切换帧进行超分处理，将超分后的场景切换帧更新到参考帧列表，并根据插值算法和参考帧列表对非场景切换帧进行超分处理，从而根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。本发明通过采用深度学习和插值算法相结合的方式，将关键帧和选取的场景切换帧使用深度学习模型进行超分，其余视频帧参考模型超分帧进行插值上采样超分，既保证了超分效率又保证了超分视频质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中视频实时超分辨率处理方法的流程图。
图2是本发明的一种实现方式中终端的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
在现有的超分方式中，采用深度学习方法耗时时间长且实时性差，采用传统插值上采样方法超分视频质量差，而采用深度学习和传统插值算法结合的方法在帧间有场景切换时，超分效果质量差。
针对上述技术问题，本实施例中提供了一种视频实时超分辨率处理方法，通过采用深度学习和插值算法相结合的方式，将关键帧和选取的场景切换帧使用深度学习模型进行超分，其余视频帧参考模型超分帧进行插值上采样超分，既保证了超分效率又保证了超分视频质量。
如图1所示，本发明实施例提供一种视频实时超分辨率处理方法，包括以下步骤：
步骤S100，获取超分模型及待超分视频，并确定所述待超分视频中各视频帧的类型。
在本实施例中，所述视频实时超分辨率处理方法应用于终端上，所述终端包括但不限于：计算机以及移动终端等设备。
在本实施例中，利用压缩码流的语义信息确定当前视频帧的类型和帧间编码块的比例大小，从而选取出关键帧和场景切换帧。将关键帧和选取的场景切换帧使用深度学习模型进行超分，其余视频帧参考模型超分帧进行插值上采样超分。场景切换帧的判断过程利用了压缩码流已有的信息，计算量很小。另外，采用超分模型和插值超分的方法，利用模型超分后的视频帧作为插值超分的参考帧，在保证超分后视频质量的同时提升了视频超分的速率，实现在低性能电子设备上实时超分视频。
具体地，在本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，获取服务器发送的超分模型及待超分视频；
步骤S102，解析所述待超分视频的压缩码流语义信息；
步骤S103，根据所述压缩码流语义信息确定所述待超分视频中各视频帧的类型。
在本实施例中，需要接收服务器发送的超分模型及待超分视频；其中，所述超分模型为通过服务端训练得到的深度学习模型，用于将低分辨率的视频图像超分为高分辨率的视频图像；所述待超分视频即为低分辨率的视频，对超分后的视频(即目标分辨率的视频)而言，若当前视频的分辨率小于超分后视频的分辨率，可以认为该视频为低分辨率的视频。
在接收待超分视频后，通过解析压缩码流语义信息，获取待超分视频中的视频帧类型。所述解析压缩码流语义信息即为视频解码的过程，包括：H.264视频和HEVC视频的解码过程；对于H.264视频和HEVC视频，语义信息包括：SPS(序列参数集)、PPS(图像参数集)、I/P/B Slice(帧内编码图像帧、预测编码图像帧、双向预测编码图像帧)。
在本实施例中，在解析压缩码流语义信息的过程中，可以参照H.264视频或者HEVC视频的解码流程进行解码。
具体地，在本实施例的一种实现方式中，步骤S102包括以下步骤：
步骤S102a，通过网络抽象层对所述待超分视频进行分帧处理，得到各视频帧。
在本实施例中，在解析压缩码流语义信息的过程中，可通过解析NALU(网络抽象层)进行分帧，每个NALU都以固定的start code(启动码)进行分帧处理；在分帧处理之后，可以通过NALU TYPE(网络抽象层的类型判断)确认当前帧的类型。
如图1所示，在本发明实施例的一种实现方式中，视频实时超分辨率处理方法还包括以下步骤：
步骤S200，根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，并通过所述超分模型对所述关键帧进行超分处理，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表。
在本实施例中，根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，进而将关键帧和选取的场景切换帧使用深度学习模型进行超分处理，其余视频帧参考模型超分帧进行插值上采样超分处理。
具体地，在本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，根据各视频帧的类型判断当前视频帧是否为所述关键帧；
步骤S202，若当前视频帧为所述关键帧，则根据视频解码流程对当前视频帧进行解码，得到解码后的未压缩视频帧数据；其中，所述未压缩视频帧数据为YUV视频帧数据；
步骤S203，将解码后的YUV视频帧数据转换为RGB视频帧数据，并加载对应的超分模型对所述RGB视频帧数据进行超分处理；
步骤S204，将超分后的RGB格式的超分帧转换为YUV格式的超分帧。
在本实施例中，根据视频帧类型判断当前帧是否为关键帧；其中，所述关键帧为I帧(即Intra-coded picture，帧内编码图像帧)或IDR帧(即Intantaneous decodeingrefresh，即时解码刷新帧)。
在判断当前帧是否为关键帧时，如果视频帧为关键帧，则按照正常解码流程解码当前帧，以得到解码后未压缩视频帧数据；其中，正常解码流程可以参照HEVC视频或者H.264视频解码流程，解码后数据为YUV数据。
进一步地，将解码后的YUV视频帧数据转换为RGB格式，通过加载对应的超分模型对视频帧数据进行超分(即将低分辨率的视频图像超分辨率为高分辨率的视频图像)，超分后将RGB格式的超分帧转换为YUV格式；在此过程中，超分模型的输入和输出都是RGB格式，视频格式为YUV格式，因此，需要将YUV视频帧转换为RGB后输入给超分模型。
具体地，在本实施例的一种实现方式中，步骤S200还包括以下步骤：
步骤S205，将超分后的关键帧按照原始码流的参考关系存入所述解码器的解码图片缓存区中；
步骤S206，构建所述参考帧列表，并根据所述超分后的关键帧对应的编码顺序更新所述参考帧列表。
在本实施例中，在转换为YUV格式的超分帧后，可以将超分后的视频帧(包括已解码的关键帧超分帧，场景切换超分帧以及插值上采样超分后的帧)按照原始码流的参考关系存入到解码器的解码图片缓存区DPB中，并更新到参考帧列表，给后面的其他帧(即非关键帧中的非场景切换帧)作参考帧使用；其中，原始码流的参考关系为指视频中的帧间参考关系，该帧间参考关系由编码器决定。
在更新参考帧列表的过程中，先根据当前帧的POC和DPB中视频帧的POC顺序构建当前帧的参考帧列表，其中，参考帧列表包括：短期参考图像参数集和长期参考图像参数集；然后，根据所述超分后的关键帧对应的编码顺序更新所述参考帧列表。
在本实施例中，充分利用压缩码流的语义信息，实现对视频实时超分；而在使用超分模型对关键帧进行超分时，可以根据视频文件选取超分模型，支持加载任意超分模型，可实现视频帧级别的模型选取，可对不同帧使用不同的超分模型(即针对视频内容或者应用场景使用不同的超分模型)，从而可以根据实际需求使用最合适的超分模型。
如图1所示，在本发明实施例的一种实现方式中，视频实时超分辨率处理方法还包括以下步骤：
步骤S300，确定所述非关键帧中的场景切换帧和非场景切换帧，通过所述超分模型对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表，并根据插值算法和所述参考帧列表对所述非场景切换帧进行超分处理。
在本实施例中，在判断当前帧是否为关键帧的过程中，如果视频帧为非关键帧，则进一步根据是否为场景切换帧(即视频内容发生某种意义上的变化造成视频内容不连续的帧)，以执行不同的超分策略；其中，所述非关键帧为P帧(Predictive-coded picture，预测编码图像帧)和B帧(Bidirectionally predicted picture，双向预测编码图像帧)。
具体地，在本实施例的一种实现方式中，步骤S300包括以下步骤：
步骤S301，若当前视频帧为所述非关键帧，则遍历当前视频帧的所有编码块，解码得到各编码块的预测模式；
步骤S302，计算当前视频帧内编码块的比例，并通过所述比例判断当前视频帧是否为所述场景切换帧；
步骤S303，若当前视频帧为所述场景切换帧，则加载所述超分模型，并对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表。
在本实施例中，如果视频帧为非关键帧，则遍历当前帧的所有编码块，解码得到每个编码块的预测模式，并计算当前帧帧内编码块的比例大小(即当前帧内所有编码块面积占当前帧面积的比例)。
进一步地，通过计算得到的帧内编码块的比例，判断当前帧是否是场景切换帧。如果是场景切换帧，则根据关键帧的超分流程加载超分模型，以对场景切换帧进行超分处理。
同样地，在对场景切换帧进行超分处理的过程中，可以根据视频文件选取超分模型，支持加载任意超分模型，可实现视频帧级别的模型选取，可对不同帧使用不同的超分模型(即针对视频内容或者应用场景使用不同的超分模型)，从而可以根据实际需求使用最合适的超分模型。
具体地，在本实施例的一种实现方式中，步骤S301包括以下步骤：
步骤S301a，遍历当前视频帧的编码树单元，并以四叉树的形式划分所述编码树单元；
步骤S301b，判断当前编码块是否满足继续划分的条件；
步骤S301c，若当前编码块满足所述继续划分的条件，则进一步对当前编码块进行划分；
步骤S301d，若当前编码块不满足所述继续划分的条件，则解码得到当前编码块的预测模式。
在本实施例中，在解码得到各编码块的预测模式的过程中，需要将当前视频帧划分为若干个互不重叠的编码树单元，在编码树单元内部，采用基于四叉树的循环分层结构进行划分，直至编码块无法被继续划分，编码块是否被继续划分取决于分割标志(即splitflag)，即根据分割标志判断当前编码块是否满足继续划分的条件，若有分割标志，则表示可以继续划分。
以HEVC视频为例，解码一帧视频图像所有编码单元的预测模式流程：
步骤S21，解析压缩码流，得到视频帧数据；
步骤S22，如果当前帧是B帧、P帧，获取BSlice数据、P Slice数据(Slice是图像条带，即视频帧数据)；
步骤S23，遍历当前帧的所有CTU(Coding tree unit编码树单元)；
步骤S24，划分CTU四叉树(HEVC中CTU可以划分得到不同大小的编码单元)；
步骤S25，判断当前编码块是否可以继续划分，如果是，则继续返回到S24步骤进一步划分；
步骤S26，如果当前编码块无法继续划分，则解码当前编码块的预测模式；即从编码块数据中解码出当前编码块是帧内编码块还是帧间编码块。
在本实施例中，在计算当前视频帧内编码块的比例的过程中，可以通过比例算法计算得到，进而根据计算得到的比例和设定的比例阈值来判断当前视频帧为场景切换帧。
具体地，在本实施例的一种实现方式中，步骤S302包括以下步骤：
步骤S302a，确定当前视频帧的原始宽度和原始高度；
步骤S302b，确定当前视频帧内编码块的数量、各编码块高度以及各编码块宽度；
步骤S302c，根据所述原始宽度、所述原始高度、所述编码块的数量、各编码块高度以及各编码块宽度，计算当前视频帧内编码块的比例；
步骤S302d，判断所述比例是否大于比例阈值；
步骤S302e，若所述比例大于所述比例阈值，则判定当前视频帧为所述场景切换帧；
步骤S302f，若所述比例小于或等于所述比例阈值，则判定当前视频帧为所述非场景切换帧。
在本实施例中，设当前视频帧原始视频宽度为W，高度为H；设当前视频帧帧内编码块的数目为N；设当前视频帧第i个编码块的宽度为wi，高度为hi；设当前视频帧帧内编码块的比例为
Figure BDA0003754018450000111
则
Figure BDA0003754018450000112
设帧内编码块比例阈值为k，则当
Figure BDA0003754018450000113
时，表示当前帧为场景切换帧，当
Figure BDA0003754018450000114
时，不为场景切换帧。
在本实施例中，通过计算视频帧帧间编码块的占比大小，来判断视频帧是否为场景切换帧。上面的过程中只设置了一个阈值k，对不同类型的视频帧，例如B帧和P帧设置不同的阈值同样在实施例的保护范围内。
同时限制每个GOP(即Group of picture，图像组)中最大的场景切换帧数目也属于实施例的保护范围。上述过程完全利用压缩码流语义信息来计算非关键帧是否为场景切换帧，最大程度利用了编码器信息，且计算代价小，对超分流程几乎没有带来性能的影响，同时又大幅提升了超分质量。
具体地，在本实施例的一种实现方式中，步骤S300还包括以下步骤：
步骤S304，若当前视频帧为所述非场景切换帧，将预测值和残差值通过插值上采样后叠加，得到超分后的帧内编码块重建值；
步骤S305，将运动矢量上采样后计算得到上采样后的预测值，并将残差上采样，与预测值叠加，得到超分后的帧间编码块数据；
步骤S306，根据超分后的非场景切换帧更新解码器解码缓冲区和参考帧列表。
在本实施例中，判断当前视频帧是否为场景切换帧时，如果当前帧不是场景切换帧，则利用插值方法和参考帧列表中的已超分的参考视频帧，超分得到当前帧的超分帧(此过程不需要超分模型)。
具体地，在对非场景切换帧超分处理时，对于帧内编码块，将预测值和残差值通过插值上采样后叠加，得到超分后的帧内编码块重建值；而对于帧间编码块，通过将运动矢量上采样后计算得到上采样后的预测值，再将残差上采样，与预测值叠加得到超分后的帧间编码块数据。
同样地，对于超分后的非场景切换帧，按照原始码流的参考关系存入所述解码器的解码图片缓存区中。
如图1所示，在本发明实施例的一种实现方式中，视频实时超分辨率处理方法还包括以下步骤：
步骤S400，根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。
具体地，在本实施例的一种实现方式中，步骤S400包括以下步骤：
步骤S401，判断所述解码器是否处于解码输出状态；
步骤S402，若所述解码器处于所述解码输出状态，则根据所述输出顺序从所述解码器的缓存区中获取及输出超分后的视频帧。
在本实施例中，在视频中所有视频帧超分后，通过判断解码器是否要输出解码视频帧，输出超分后的视频帧；即如果解码器即将要输出解码视频帧，则则根据输出顺序(根据视频帧的POC(Picture Order Count)值顺序输出)从解码器解码缓存区DPB中获取超分后的视频帧，并进行输出。
本实施例将选取的关键帧和场景切换帧通过超分模型进行超分后，直接存储到解码器的解码缓存区DPB中，并根据原来编码器的信息更新到对应的参考帧列表。在对其他非关键帧进行超分时，遍历当前帧的所有编码块，如果是帧内编码块，直接使用三立方插值按超分倍数对编码块上采样，如果是帧间编码块，则将解码得到的预测值和残差值通过三立方插值按超分倍数上采样，然后根据参考关系找到对应参考帧的超分后的视频帧，对当前编码块进行解码超分重建，最终完成当前视频帧的超分。超分过程中使用了通过模型超分的视频帧作为解码重建的参考帧，得到的超分效果比直接采用传统插值算法更好，提升了视频超分的整体质量。
本实施例通过上述技术方案达到以下技术效果：
本实施例根据各视频帧的类型确定待超分视频中的关键帧和非关键帧，并通过超分模型对关键帧进行超分处理，可以根据超分后的关键帧更新解码器解码缓冲区和参考帧列表；以及通过确定非关键帧中的场景切换帧和非场景切换帧，利用超分模型对场景切换帧进行超分处理，并根据插值算法和参考帧列表对非场景切换帧进行超分处理，从而根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。本实施例通过采用深度学习和插值算法相结合的方式，将关键帧和选取的场景切换帧使用深度学习模型进行超分，其余视频帧参考模型超分帧进行插值上采样超分，既保证了超分效率又保证了超分视频质量。
示例性设备
基于上述实施例，本发明还提供一种视频实时超分辨率处理装置，包括：
获取模块，用于获取超分模型及待超分视频，并确定所述待超分视频中各视频帧的类型；
关键帧超分模块，用于根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，并通过所述超分模型对所述关键帧进行超分处理，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表；
非关键帧超分模块，用于确定所述非关键帧中的场景切换帧和非场景切换帧，通过所述超分模型对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表，并根据插值算法和所述参考帧列表对所述非场景切换帧进行超分处理；
输出模块，用于根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。
基于上述实施例，本发明还提供一种终端，其原理框图可以如图2所示。
该终端包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，该终端的处理器用于提供计算和控制能力；该终端的存储器包括存储介质以及内存储器；该存储介质存储有操作系统和计算机程序；该内存储器为存储介质中的操作系统和计算机程序的运行提供环境；该接口用于连接外部设备，例如，移动终端以及计算机等设备；该显示屏用于显示相应的信息；该通讯模块用于与云端服务器或移动终端进行通讯。
该计算机程序被处理器执行时用以实现一种视频实时超分辨率处理方法。
本领域技术人员可以理解的是，图2中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，存储器存储有视频实时超分辨率处理程序，视频实时超分辨率处理程序被处理器执行时用于实现如上的视频实时超分辨率处理方法。
在一个实施例中，提供了一种存储介质，其中，存储介质存储有视频实时超分辨率处理程序，视频实时超分辨率处理程序被处理器执行时用于实现如上的视频实时超分辨率处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种视频实时超分辨率处理方法、装置、终端及存储介质，方法包括：获取超分模型及待超分视频，并确定待超分视频中各视频帧的类型；根据各视频帧的类型确定待超分视频中的关键帧和非关键帧，并通过超分模型对关键帧进行超分处理，根据超分后的关键帧更新解码器解码缓存区和参考帧列表；确定非关键帧中的场景切换帧和非场景切换帧，通过超分模型对场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓存区和参考帧列表并根据插值算法和参考帧列表中对应的参考帧的超分帧对非场景切换帧进行超分处理；根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。本发明通过采用深度学习和插值算法相结合的方式，既保证了超分效率又保证了超分视频质量。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (13)

1.一种视频实时超分辨率处理方法，其特征在于，所述视频实时超分辨率处理方法包括：
获取超分模型及待超分视频，并确定所述待超分视频中各视频帧的类型；
根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，并通过所述超分模型对所述关键帧进行超分处理，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表；
确定所述非关键帧中的场景切换帧和非场景切换帧，通过所述超分模型对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表，并根据插值算法和所述参考帧列表对所述非场景切换帧进行超分处理；
根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。
2.根据权利要求1所述的视频实时超分辨率处理方法，其特征在于，所述获取超分模型及待超分视频，并确定所述待超分视频中各视频帧的类型，包括：
获取服务器发送的超分模型及待超分视频；
解析所述待超分视频的压缩码流语义信息；
根据所述压缩码流语义信息确定所述待超分视频中各视频帧的类型。
3.根据权利要求2所述的视频实时超分辨率处理方法，其特征在于，所述解析待超分视频的压缩码流语义信息，包括：
通过网络抽象层对所述待超分视频进行分帧处理，得到各视频帧。
4.根据权利要求1所述的视频实时超分辨率处理方法，其特征在于，所述根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，并通过所述超分模型对所述关键帧进行超分处理，包括：
根据各视频帧的类型判断当前视频帧是否为所述关键帧；
若当前视频帧为所述关键帧，则根据视频解码流程对当前视频帧进行解码，得到解码后的未压缩视频帧数据；其中，所述未压缩视频帧数据为YUV视频帧数据；
将解码后的YUV视频帧数据转换为RGB视频帧数据，并加载对应的超分模型对所述RGB视频帧数据进行超分处理；
将超分后的RGB格式的超分帧转换为YUV格式的超分帧。
5.根据权利要求1所述的视频实时超分辨率处理方法，其特征在于，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表，包括：
将超分后的关键帧按照原始码流的参考关系存入所述解码器的解码图片缓存区中；
构建所述参考帧列表，并根据所述超分后的关键帧对应的编码顺序更新所述参考帧列表。
6.根据权利要求1所述的视频实时超分辨率处理方法，其特征在于，所述确定非关键帧中的场景切换帧和非场景切换帧，通过所述超分模型对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表，包括：
若当前视频帧为所述非关键帧，则遍历当前视频帧的所有编码块，解码得到各编码块的预测模式；
计算当前视频帧内编码块的比例，并通过所述比例判断当前视频帧是否为所述场景切换帧；
若当前视频帧为所述场景切换帧，则加载所述超分模型，并对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表。
7.根据权利要求6所述的视频实时超分辨率处理方法，其特征在于，所述遍历当前视频帧的所有编码块，解码得到各编码块的预测模式，包括：
遍历当前视频帧的编码树单元，并以四叉树的形式划分所述编码树单元；
判断当前编码块是否满足继续划分的条件；
若当前编码块满足所述继续划分的条件，则进一步对当前编码块进行划分；
若当前编码块不满足所述继续划分的条件，则解码得到当前编码块的预测模式。
8.根据权利要求6所述的视频实时超分辨率处理方法，其特征在于，所述计算当前视频帧内编码块的比例，并通过所述比例判断当前视频帧是否为场景切换帧，包括：
确定当前视频帧的原始宽度和原始高度；
确定当前视频帧内编码块的数量、各编码块高度以及各编码块宽度；
根据所述原始宽度、所述原始高度、所述编码块的数量、各编码块高度以及各编码块宽度，计算当前视频帧内编码块的比例；
判断所述比例是否大于比例阈值；
若所述比例大于所述比例阈值，则判定当前视频帧为所述场景切换帧；
若所述比例小于或等于所述比例阈值，则判定当前视频帧为所述非场景切换帧。
9.根据权利要求1所述的视频实时超分辨率处理方法，其特征在于，所述根据插值算法和所述参考帧列表对所述非场景切换帧进行超分处理，包括：
若当前视频帧为所述非场景切换帧，将预测值和残差值通过插值上采样后叠加，得到超分后的帧内编码块重建值；
将运动矢量上采样后计算得到上采样后的预测值，并将残差上采样，与预测值叠加，得到超分后的帧间编码块数据；
根据超分后的非场景切换帧更新解码器解码缓冲区和参考帧列表。
10.根据权利要求1所述的视频实时超分辨率处理方法，其特征在于，所述根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧，包括：
判断所述解码器是否处于解码输出状态；
若所述解码器处于所述解码输出状态，则根据所述输出顺序从所述解码器的缓存区中获取及输出超分后的视频帧。
11.一种视频实时超分辨率处理装置，其特征在于，包括：
获取模块，用于获取超分模型及待超分视频，并确定所述待超分视频中各视频帧的类型；
关键帧超分模块，用于根据各视频帧的类型确定所述待超分视频中的关键帧和非关键帧，并通过所述超分模型对所述关键帧进行超分处理，根据超分后的关键帧更新解码器解码缓冲区和参考帧列表；
非关键帧超分模块，用于确定所述非关键帧中的场景切换帧和非场景切换帧，通过所述超分模型对所述场景切换帧进行超分处理，根据超分后的场景切换帧更新解码器解码缓冲区和参考帧列表，并根据插值算法和所述参考帧列表对所述非场景切换帧进行超分处理；
输出模块，用于根据输出顺序从解码器的缓存区中获取及输出超分后的视频帧。
12.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有视频实时超分辨率处理程序，所述视频实时超分辨率处理程序被所述处理器执行时用于实现如权利要求1-10中任意一项所述的视频实时超分辨率处理方法。
13.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质存储有视频实时超分辨率处理程序，所述视频实时超分辨率处理程序被处理器执行时用于实现如权利要求1-10中任意一项所述的视频实时超分辨率处理方法。
CN202210848722.7A 2022-07-19 2022-07-19 一种视频实时超分辨率处理方法、装置、终端及存储介质 Active CN115361582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210848722.7A CN115361582B (zh) 2022-07-19 2022-07-19 一种视频实时超分辨率处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210848722.7A CN115361582B (zh) 2022-07-19 2022-07-19 一种视频实时超分辨率处理方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN115361582A true CN115361582A (zh) 2022-11-18
CN115361582B CN115361582B (zh) 2023-04-25

Family

ID=84031141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210848722.7A Active CN115361582B (zh) 2022-07-19 2022-07-19 一种视频实时超分辨率处理方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN115361582B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527833A (zh) * 2023-07-03 2023-08-01 清华大学 一种基于超分模型的高清视频生成方法及系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
EP1631089A1 (en) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and decoding apparatus
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
WO2011105849A2 (ko) * 2010-02-26 2011-09-01 에스케이텔레콤 주식회사 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence
CN103400346A (zh) * 2013-07-18 2013-11-20 天津大学 基于自适应的超像素导向自回归模型的视频超分辨率方法
US20130329798A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Inferred key frames for fast initiation of video coding sessions
CN103914816A (zh) * 2014-03-04 2014-07-09 西安电子科技大学 一种基于非局部正则化和关键帧的视频超分辨方法
US20140328400A1 (en) * 2012-11-13 2014-11-06 Atul Puri Content adaptive super resolution prediction generation for next generation video coding
CN106097251A (zh) * 2016-06-22 2016-11-09 深圳信息职业技术学院 非均匀稀疏采样视频超分辨率方法
CN106534949A (zh) * 2016-11-25 2017-03-22 济南中维世纪科技有限公司 延长视频监控系统录像存储时间的方法
CN107277519A (zh) * 2017-06-30 2017-10-20 武汉斗鱼网络科技有限公司 一种判断视频帧的帧类型的方法及电子设备
CN108848376A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备
CN110062232A (zh) * 2019-04-01 2019-07-26 杭州电子科技大学 一种基于超分辨率的视频压缩方法及系统
CN110324626A (zh) * 2019-07-10 2019-10-11 武汉大学苏州研究院 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法
CN111629262A (zh) * 2020-05-08 2020-09-04 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质
CN111726614A (zh) * 2019-03-18 2020-09-29 四川大学 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN113810763A (zh) * 2020-06-15 2021-12-17 深圳市中兴微电子技术有限公司 一种视频处理方法、设备及存储介质
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
EP1631089A1 (en) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and decoding apparatus
WO2011105849A2 (ko) * 2010-02-26 2011-09-01 에스케이텔레콤 주식회사 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
US20130329798A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Inferred key frames for fast initiation of video coding sessions
US20140328400A1 (en) * 2012-11-13 2014-11-06 Atul Puri Content adaptive super resolution prediction generation for next generation video coding
CN103400346A (zh) * 2013-07-18 2013-11-20 天津大学 基于自适应的超像素导向自回归模型的视频超分辨率方法
CN103914816A (zh) * 2014-03-04 2014-07-09 西安电子科技大学 一种基于非局部正则化和关键帧的视频超分辨方法
CN106097251A (zh) * 2016-06-22 2016-11-09 深圳信息职业技术学院 非均匀稀疏采样视频超分辨率方法
CN106534949A (zh) * 2016-11-25 2017-03-22 济南中维世纪科技有限公司 延长视频监控系统录像存储时间的方法
CN107277519A (zh) * 2017-06-30 2017-10-20 武汉斗鱼网络科技有限公司 一种判断视频帧的帧类型的方法及电子设备
CN108848376A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备
CN111726614A (zh) * 2019-03-18 2020-09-29 四川大学 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN110062232A (zh) * 2019-04-01 2019-07-26 杭州电子科技大学 一种基于超分辨率的视频压缩方法及系统
CN110324626A (zh) * 2019-07-10 2019-10-11 武汉大学苏州研究院 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法
CN111629262A (zh) * 2020-05-08 2020-09-04 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质
CN113810763A (zh) * 2020-06-15 2021-12-17 深圳市中兴微电子技术有限公司 一种视频处理方法、设备及存储介质
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527833A (zh) * 2023-07-03 2023-08-01 清华大学 一种基于超分模型的高清视频生成方法及系统
CN116527833B (zh) * 2023-07-03 2023-09-05 清华大学 一种基于超分模型的高清视频生成方法及系统

Also Published As

Publication number Publication date
CN115361582B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
US11206405B2 (en) Video encoding method and apparatus, video decoding method and apparatus, computer device, and storage medium
KR102058759B1 (ko) 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법
US10097821B2 (en) Hybrid-resolution encoding and decoding method and a video apparatus using the same
WO2019242491A1 (zh) 视频编码、解码方法、装置、计算机设备和存储介质
US9414086B2 (en) Partial frame utilization in video codecs
US9420282B2 (en) Video coding redundancy reduction
CN107005698B (zh) 支持尽力服务解码的元数据提示
US20200389665A1 (en) Video encoding and decoding method, and storage medium thereof
CN103493481A (zh) 基于场景的适应性比特率控制
WO2020140700A1 (zh) 色度块的预测方法和装置
CN113905234A (zh) 视频图像处理方法与装置
CN111182308B (zh) 视频解码方法、装置、计算机设备及存储介质
CN114501010A (zh) 图像编码方法、图像解码方法及相关装置
CN114450956A (zh) 自适应分辨率管理中的帧缓冲
EP1940175A1 (en) Image encoding apparatus and memory access method
CN115361582B (zh) 一种视频实时超分辨率处理方法、装置、终端及存储介质
CN112449182A (zh) 视频编码方法、装置、设备及存储介质
CN115866297A (zh) 视频处理方法、装置、设备及存储介质
CN114727116A (zh) 编码方法及装置
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
CN113542737A (zh) 编码模式确定方法、装置、电子设备及存储介质
EP3989566A1 (en) Motion information list construction method in video encoding and decoding, device, and apparatus
US20240155137A1 (en) Multimedia data processing method and apparatus, computer device, computer-readable storage medium, and computer program product
CN111357288B (zh) 视频图像处理方法与装置
CN110784719B (zh) 在视频注释的存在下视频数据的高效编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant