CN103813174A - 一种混合分辨率编解码方法和装置 - Google Patents

一种混合分辨率编解码方法和装置 Download PDF

Info

Publication number
CN103813174A
CN103813174A CN201210450379.7A CN201210450379A CN103813174A CN 103813174 A CN103813174 A CN 103813174A CN 201210450379 A CN201210450379 A CN 201210450379A CN 103813174 A CN103813174 A CN 103813174A
Authority
CN
China
Prior art keywords
frame
frames
resolution
sampled images
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210450379.7A
Other languages
English (en)
Other versions
CN103813174B (zh
Inventor
王荣刚
谷沉沉
毛煦楠
陈敬昌
吕静
辛柏成
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Peking University Shenzhen Graduate School
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201210450379.7A priority Critical patent/CN103813174B/zh
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CA2891275A priority patent/CA2891275C/en
Priority to MYPI2015701473A priority patent/MY174250A/en
Priority to SG11201503694YA priority patent/SG11201503694YA/en
Priority to MX2015005924A priority patent/MX2015005924A/es
Priority to PCT/CN2013/075965 priority patent/WO2014071728A1/en
Priority to EP13852473.1A priority patent/EP2907309A4/en
Priority to US14/091,305 priority patent/US10097821B2/en
Publication of CN103813174A publication Critical patent/CN103813174A/zh
Application granted granted Critical
Publication of CN103813174B publication Critical patent/CN103813174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Abstract

本发明实施例提供了一种混合分辨率编码和解码方法，所述方法包括：对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；对所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像；对视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；发送视频码流，所述视频码流包括经过编码得到的I帧和非I帧。本发明实施例还公开了一种混合分辨率编码方法以及相应的编解码装置。采用本发明，能够降低了编解码计算复杂度，极大的提升了编解码两端的速度和效率。

Description

一种混合分辨率编解码方法和装置
技术领域
本发明涉及一种视频编解码领域，尤其涉及一种混合分辨率编解码方法和装置。
背景技术
随着处理器的能力提升和存储器成本降低，编码视频的网络支持变化多端以及压缩编码技术的快速发展，旨在充分提高编码效率和增强网络环境稳定性的新一代视频编码标准H.264／AVC（Advanced Video Coding，高级视频编码）由国际电信联盟标准化组织ITU-T（International TelecommunicationsUnion-Telecommunication Standardization Sector，国际电信联盟管理下的远程通信标准化组织）的视频编码专家组和ISO（International Standard Organized，国际标准化组织）/IEC（International Electrotechnical Commission，国际电工委员会）的运动图像专家组联合成立的联合视频编码小组提出。H.264／AVC的计算复杂度相较于以往的编码标准更大，增大了实时视频通信的难度。而移动平台的计算能力相对于个人电脑来说要低，可用的存储资源更少，而且移动网络带宽较小且不稳定，因此提升视频编码速度与视频压缩率是推进移动平台的实时视频通信的关键所在。
由于视频编码的高复杂度，因此通常将原始视频下采样，对低分辨率视频进行编码，这样也使得编码后需要传输的视频码流数据量也大大降低，在接收端对低分辨率的视频码流解码后，通过超分辨率图像复原技术恢复至较高分辨率。而现有技术中采用H.264／AVC标准编码低分辨率视频时，由于所有帧都是按低分辨率编码，在解码后做超分辨率恢复时可以利用的已有信息量有限，因此图像质量也较差。而且所有P帧以前向帧为参考帧，B帧以前向／后向的帧作为参考帧，这样，作为参考帧的P帧都需要编码器对其做子像素插值，在编码后也要进行去块效应滤波以减少编码的误差传播，此部分也具有较高的复杂度。
发明内容
有鉴于此，本发明实施例提供了一种混合分辨率编解码方法和装置，可提升了视频编解码的效率。
为了解决上述技术问题，本发明实施例提供了一种混合分辨率编码方法，所述方法包括：
对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；
对所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像；
对视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；
以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；
发送视频码流，所述视频码流包括经过编码得到的I帧和非I帧。
相应的，本发明实施例提供了一种混合分辨率解码方法，所述方法包括：
接收视频码流；
对所述视频码流中只采用帧内编码的I帧进行全分辨率的标准解码；
对经过所述全分辨率的标准解码得到的I帧进行下采样，得所述I帧的采样图像；
对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧进行标准解码；
对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧图像。
相应地，本发明实施例还提供了一种混合分辨率编码装置，所述混合分辨率编码装置包括：
I帧编码模块，用于对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；
下采样模块，用于所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像，以及用于视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；
非I帧编码模块，用于以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；
传输模块，用于发送视频码流，所述视频码流包括经过编码得到的的I帧和非I帧。
相应的，本发明实施例还提供了一种混合分辨率解码装置，所述混合分辨率解码装置包括：
码流接收模块，用于接收视频码流；
I帧解码模块，用于对所述视频码流中只采用帧内编码的I帧进行全分辨率的标准解码；
下采样模块，用于对经过所述全分辨率的标准解码得到的I帧进行下采样，得所述I帧的采样图像；
非I帧解码模块，用于对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧进行标准解码；
超分辨率复原模块，用于对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧图像。
实施本发明实施例，具有如下有益效果：通过对视频帧序列中的I帧和非I帧采用混合分辨率的编码方式进行编码使得视频帧序列中的非I帧的编码数据量减少了一半，且非I帧都采用已下采样之后的I帧为参考帧，使非I帧在编码端不必再做子像素插值和去块效应滤波，降低了计算复杂度，极大的提升了编解码两端的速度，同时又保证主观质量无明显影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种混合分辨率编码方法的流程示意图；
图2是本发明实施例中的一种混合分辨率解码方法的流程示意图；
图3是本发明实施例中在对经过解码得到的非I帧进行超分辨率图像复原的流程示意图；
图4是本发明实施例中进行空域插值滤波的宏块的示意图；
图5是本发明实施例中对帧间编码的宏块选择插值滤波方式的流程示意图；
图6是本发明实施例中采用时域与空域相结合的插值滤波方式的宏块的示意图；
图7是本发明实施例中的一种混合分辨率编码装置的结构示意图；
图8是本发明实施例中的一种混合分辨率解码装置的结构示意图；
图9是本发明实施例的混合分辨率解码装置中超分辨率复原模块605的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例中的一种混合分辨率编码方法的流程示意图。如图所示本发明实施例中的视频编码流程包括：
S101，对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧。本发明实施例中的视频帧序列分成多个连续的图像组（Group of Pictures，GOP）进行编码，每个图像组中包含至少一个只采用帧内编码的I帧以及至少一个非I帧，I帧（I frame）被称为内部画面(intrapicture)或关键帧，I帧通常是每个GOP的第一个帧，非I帧可以包括P帧和B帧，P帧和B帧可采用帧内编码和帧间编码两种方式，P帧只有前向预测模式，即只能以视频序列中按播放顺序排在当前帧之前的I帧作为参考帧进行预测编码，而B帧有前向、后向和双向预测模式。例如若一个视频中不包含B帧时，一个图像组中可以包含1个I帧以及3个P帧。本发明实施例中所提及的对视频的标准编码或标准解码，可以为采用H.264／AVC标准进行的视频编码和解码过程，在可选实施例中，也可以采用ITU-T或ISO/IEC所提出的其他视频编解码标准，由于H.264／AVC是如今采用较为广泛的视频编解码标准，本发明实施例均以采用H.264／AVC标准为例进行说明，本领域技术人员可以毫无疑义的推出采用其他编解码标准均可以实现本发明所希望解决的技术问题。因此，本实施例中对视频进行编码首先是对视频的各图像中采用帧内编码的I帧进行全分辨率的H.264标准编码，以16x16（像素x像素）大小的宏块作为编码的基本单位，使用已编码的宏块的像素对待编码的宏块做帧内预测，再将待编码的宏块的实际像素值减去得到的预测值，获得宏块的残差数据，对I帧的编码过程就是将变换、量化之后的残差数据经过重排序和熵编码处理得到适合网络传输的数据包，即I帧的编码结果。而对I帧的帧重建过程就是将量化之后的残差数据经过反量化、反变换，与预测值相加，再经过去块效应滤波器即可获得I帧的重建帧。
S102，对所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像。假设视频帧图像的原始宽、高分别是w、h（单位是像素），I帧的重建帧经过下采样之后的得到的采样图像的宽、高为w/a，h／b（a>1，b>1），由于H.264标准编码采用的是16x16大小的宏块作为编码的基本单位，因此若下采样得到的I帧重建帧的采样图像的宽度、高度不是16像素的整倍数，则需要扩边使其变为16像素的整倍数，这样得到的采样图像作为非I帧编码的参考帧。
S103，对视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像。对非I帧的下采样与对I帧的重建帧进行的下采样相类似，得到采样图像的宽度为原帧图像宽度的1/a、高度为原帧图像的1／b，其中a和b均大于1，若得到的采样图像的宽度和高度不是宏块宽度和高度（例如对H.264标准，宏块宽度和高度都是16个像素）的整数倍，则将所述采样图像进行扩边，得到图像宽度和高度均为宏块宽度和高度的整数倍的采样图像。
S104，以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行H.264标准编码。具体的，若所述非I帧为P帧，则其对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播放顺序的前一个I帧和/或后一个I帧，即若采用前向预测模式，则B帧对应的I帧与P帧相同为视频帧序列中按播放顺序的前一个I帧，若采用后向预测模式则其对应的I帧为视频帧序列中按播放顺序的后一个I帧，若采用双向预测模式则其对应的I帧为视频帧序列中按播放顺序的前一个I帧和后一个I帧。对某一非I帧进行编码，首先要找到该非I帧对应的I帧，进而获取该I帧的重建帧的采样图像作为参考帧，然后可以根据该参考帧对下采样得到的非I帧的采样图像进行H.264标准编码，具体可以包括：对下采样得到非I帧的采样图像以宏块为单位在参考帧中做运动估计，寻找参考帧中最为匹配的宏块，即可获取该宏块的运动矢量；将实际宏块与参考帧中的匹配宏块进行比较获取残差数据；进而将获取到的残差数据经过整数变换、量化、重排序和熵编码后与运动矢量一同打包，从而得到适合网络传输的数据包，即非I帧的编码结果。
S105，发送视频码流，所述视频码流包括经过编码得到的的I帧和非I帧。
图2是本发明实施例中的一种混合分辨率解码方法的流程示意图。如图所示本发明实施例中的混合分辨率解码方法流程可以包括：
S201，接收视频码流。具体的，本发明实施例中解码的视频码流可以为前文实施例中的经过混合分辨率编码的视频码流，包括经过编码的I帧和非I帧。
S202，对所述视频码流中只采用帧内编码的I帧进行全分辨率的H.264标准解码。由于获取到的视频码流中的I帧在编码时采用全分辨率的H.264标准编码，因此在解码装置可以采用全分辨率的H.264标准解码，即可得到全分辨率的I帧图像。
S203，对经过所述全分辨率的H.264标准解码得到的I帧进行下采样，得到所述I帧的采样图像。具体的，与编码时相同，对经过解码得到的I帧图像进行下采样，得到采样图像的宽度为原帧图像宽度的1/a、高度为原帧图像的1／b，其中a和b均大于1，若得到的采样图像的宽度和高度不是宏块宽度和高度（例如对H.264标准，宏块宽度和高度都是16个像素）的整数倍，则将所述采样图像进行扩边，得到图像宽度和高度均为宏块宽度和高度的整数倍的采样图像。
S204，对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧进行H.264标准解码。具体的，若所述非I帧为P帧，则其对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播放顺序的前一个I帧和/或后一个I帧，即若采用前向预测模式，则B帧对应的I帧与P帧相同为视频帧序列中按播放顺序的前一个I帧，若采用后向预测模式则其对应的I帧为视频帧序列中按播放顺序的后一个I帧，若采用双向预测模式则其对应的I帧为视频帧序列中按播放顺序的前一个I帧和后一个I帧。获取到所述非I帧对应的I帧后，将该对应的I帧经过下采样得到的采样图像作为这个非I帧的参考帧，具体到非I帧中的每一个宏块，则根据该宏块的运动矢量在参考帧中找到对应的宏块获取该宏块的预测值，然后将该宏块经过反量化反变换后的残差数据与预测值相加，再经过去块效应滤波器处理即可得到重建的宏块。
S205，对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧图像。具体的，由于视频码流中非I帧是下采样后进行编码的，解码得到的图像也是下采样后的低分辨率图像，因此在解码后需要对解码得到的非I帧进行超分辨率图像复原，以得到原始分辨率的非I帧图像。
具体实现中对解码得到的非I帧进行超分辨率图像复原的方法可以如图3所示包括：
S301，判断当前宏块为采用帧间编码或采用帧内编码。若是采用帧内编码的宏块，则执行步骤S302，若是采用帧间编码的宏块，则执行步骤S303。
S302，对所述经过解码得到的非I帧中采用帧内编码的宏块进行空域插值滤波。例如，可采用H.264／AVC的6tap插值系数（1，-5，20，20，-5，1）/32做帧内插值，完成宏块的超分辨率恢复。例如图4中所示，像素p为待插值的像素，像素a,b,c,d,e,f是已有的像素，则像素p的像素值为p=(20*(c+d)-5*(b+e)+a+f+16)/32。
S303，获取所述经过编码得到的非I帧中采用帧间编码的宏块的运动矢量和残差数据。
S304，根据S303获取到的所述宏块的运动矢量和残差数据选择采用空域插值滤波、时域插值滤波或时域与空域相结合的插值滤波方式对所述采用帧间编码的宏块进行超分辨率图像复原。其中采用时域插值滤波或时域与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分辨率图像复原时，可以根据所述非I帧对应的I帧经过所述全分辨率的H.264标准解码得到的图像对所述采用帧间编码的宏块进行超分辨率图像复原。
具体实现中，可以采用如图5所示的方法流程来选择上述三种插值滤波方式中的一种：
S501，根据所述宏块的运动矢量和残差数据判断是否满足式1。式1为判断判断宏块的运动估计是否准确的条件，若不满足式1表示当前宏块的运动估计不够准确，则执行步骤S502，若满足式1则执行步骤S503。
S502，采用空域插值滤波对所述采用帧间编码的宏块进行超分辨率图像复原。
S503，根据所述宏块的运动矢量和残差数据判断是否满足式2。式2满足时表示当前宏块可能为以下3种情况中的一种：
1）宏块的图像内容几乎是静止且运动估计较为准确；
2）宏块的图像内容运动轻微且运动估计准确；
3）宏块的图像内容运动较为剧烈但运动估计非常准确。
因此当根据宏块的运动矢量和残差数据判断可以满足式2时，执行步骤S504，否则执行S505。
S504，选择时域插值滤波对宏块进行超分辨率图像复原。例如可以完全采用对应I帧经过所述全分辨率的H.264标准解码得到的图像对宏块A进行超分辨率图像复原，即直接复制对应I帧经过所述全分辨率的H.264标准解码得到的图像中的对应宏块。
S505，根据所述宏块的运动矢量和残差数据判断是否满足式3。式3满足时表示当前宏块可能为以下3种情况中的一种：
1）宏块的图像内容几乎静止且运动估计相对准确；
2）宏块的图像内容运动轻微且运动估计较为准确；
3）宏块的图像内容运动估计准确。
当根据宏块的运动矢量和残差数据判断可以满足式3时，执行步骤S506，否则执行S502。
S506，选择采用时域与空域相结合的插值滤波方式对所述采用帧间编码的宏块进行超分辨率图像复原。例如采用一种可选的时域和空域相结合的插值滤波算法如下：在如图6所示的宏块中，像素p为待插值像素，像素a,b,c,d为已有的像素，像素i为对应I帧经过所述全分辨率的H.264标准解码得到的图像中对应宏块的像素，则有p=(2*i+4*(b+c)-a-d+4)/8。实际应用中也可以采用其他形式的插值滤波计算方式。
具体实现中，本发明实施例根据宏块的运动矢量和残差数据计算得到如下3个参数：
a）宏块的残差绝对值之和：sum；
b）宏块的水平与垂直方向的整像素运动矢量之和：sum_mv；
c）宏块的残差中绝对值最大的值：max_res。
以上3个参数中块宏块的残差绝对值之和sum与宏块的残差中绝对值最大的值max_res表示运动估计是否准确，宏块的水平和垂直方向的整像素运动矢量之和sum_mv表示图像运动是否剧烈。在选择插值滤波方式时针对每个参数可以分别设置一定的阈值，用于对不同尺寸的块，可依据这3个参数与阈值的比较结果来判断是否可以采用时域插值。
下面将列出宏块在不同分块尺寸的条件下每种参数的阈值设置以及选择插值滤波方式的表达式定义，实际也可根据应用需求采用其他形式的表达式和阈值。
子块残差绝对值之和sum的阈值：
Figure BDA00002390967700091
子块的水平与垂直方向整像素绝对值之和sum_mv的阈值：
Figure BDA00002390967700092
子块的8x8块的残差中绝对值最大的值max_res的阈值:
1）宏块分块尺寸为16x16的条件下三个表达式分别为：
表达式1：
((sum<TH_RES_0)&&(sum_mv<TH_MV_2)&&(max_res<TH_MAX_RES_0));
表达式2：
((sum_mv<TH_MV_0)&&(sum<(TH_RES_0>>1))&&(max_res<TH_MAX_RES_0))
||((sum_mv<TH_MV_1)&&(sum<(TH_RES_1>>1))&&(max_res<TH_MAX_RES_1))
||((sum_mv<TH_MV_2)&&(sum<(TH_RES_2>>1))&&(max_res<TH_MAX_RES_2))
表达式3：
((sum_mv<TH_MV_0)&&(sum<TH_RES_0))
||((sum_mv<TH_MV_1)&&(sum<TH_RES_1))||(sum<TH_RES_2)
2）宏块分块尺寸为16x8的条件下三个表达式分别为：
表达式1：
(sum<(TH_RES_0>>1))&&(sum_mv<TH_MV_2)&&(max_res<TH_MAX_RES_0)
表达式2：
((sum_mv<TH_MV_0)&&(sum<(TH_RES_0>>2))&&(max_res<TH_MAX_RES_0))
||((sum_mv<TH_MV_1)&&(sum<(TH_RES_1>>2))&&(max_res<TH_MAX_RES_1)
||((sum_mv<TH_MV_2)&&(sum<(TH_RES_2>>2))&&(max_res<TH_MAX_RES_2))
表达式3：
((sum_mv<TH_MV_0)&&(sum<(TH_RES_0>>1)))
||((sum_mv<TH_MV_1)&&(sum<(TH_RES_1>>1)))
||(sum<(TH_RES_2>>1))
3）宏块分块尺寸为8x16的条件下三个表达式分别为：
表达式1：
(sum<(TH_RES_0>>1))&&(sum_mv<TH_MV_2)&&(max_res<TH_MAX_RES_0)
表达式2：
((sum_mv<TH_MV_0)&&(sum<(TH_RES_0>>2))&&(max_res<TH_MAX_RES_0))
||((sum_mv<TH_MV_1)&&(sum<(TH_RES_1>>2))&&(max_res<TH_MAX_RES_1))
||((sum_mv<TH_MV_2)&&(sum<(TH_RES_2>>2))&&(max_res<TH_MAX_RES_2))
表达式3：
((sum_mv<TH_MV_0)&&(sum<(TH_RES_0>>1)))
||((sum_mv<TH_MV_1)&&(sum<(TH_RES_1>>1)))
||(sum<(TH_RES_2>>1))
4）宏块分块尺寸为8x8的条件下三个表达式分别为：
表达式1：
(sum<(TH_RES_0>>2))&&(sum_mv<TH_MV_2)&&(max_res<TH_MAX_RES_0)
表达式2：
((sum_mv<TH_MV_0)&&(sum<(TH_RES_0>>3))&&(max_res<TH_MAX_RES_0))
||((sum_mv<TH_MV_1)&&(sum<(TH_RES_1>>3))&&(max_res<TH_MAX_RES_1))
||((sum_mv<TH_MV_2)&&(sum<(TH_RES_2>>3))&&(max_res<TH_MAX_RES_2))
表达式3：
((sum_mv<TH_MV_0)&&(sum<(TH_RES_0>>2)))
||((sum_mv<TH_MV_1)&&(sum<(TH_RES_1>>2)))
||(sum<(TH_RES_2>>2))
图7是本发明实施例中的一种混合分辨率编码装置的结构示意图。如图所示本发明实施例中的混合分辨率编码装置包括：
I帧编码模块701，用于对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧。本发明实施例中的视频帧序列分成多个连续的图像组（Group of Pictures，GOP）进行编码，每个图像组中包含一个只采用帧内编码的I帧以及至少一个非I帧，I帧（I frame）被称为帧内编码帧(intra picture)或关键帧，I帧通常是每个GOP的第一个帧，非I帧可以包括P帧和B帧，P帧和B帧可采用帧内编码和帧间编码两种方式，P帧只有前向预测模式，即只能以视频序列中按播放顺序排在当前帧之前的I帧作为参考帧进行预测编码，而B帧有前向、后向和双向预测模式。例如若一个视频中不包含B帧时，一个图像组中可以包含1个I帧以及3个P帧。本发明实施例中所提及的对视频的标准编码或标准解码，可以为采用H.264标准进行的视频编码和解码过程，在可选实施例中，也可以采用ITU-T或ISO/IEC所提出的其他视频编解码标准，由于H.264／AVC是如今采用较为广泛的视频编解码标准，本发明实施例均以采用H.264标准为例进行说明，本领域技术人员可以毫无疑义的推出采用其他编解码标准均可以实现本发明所希望解决的技术问题。因此，本实施例中对视频进行编码首先是对视频的各图像中采用帧内编码的I帧进行全分辨率的H.264标准编码，以16x16（像素x像素）大小的宏块作为编码的基本单位，使用已编码的宏块的像素对待编码的宏块做帧内预测，再将待编码的宏块的实际像素值减去得到的预测值，获得宏块的残差数据，对I帧的编码过程就是将变换、量化之后的残差数据经过重排序和熵编码处理得到适合网络传输的数据包，即I帧的编码结果。而对I帧的帧重建过程就是将量化之后的残差数据经过反量化、反变换，与预测值相加，再经过去块效应滤波器即可获得I帧的重建帧。
下采样模块702，用于所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像，以及用于视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像。可选的，下采样模块702可以进一步包括：
下采样单元，用于对所述I帧的重建帧的帧图像或非I帧的帧图像进行下采样得到采样图像，所述采样图像的宽度为所述帧图像宽度的1/a、高度为所述帧图像的1／b，其中a和b均大于1；
扩边单元，用于当所述采样图像的宽度和高度不是宏块宽度和高度（例如对H.264标准，宏块宽度和高度都是16个像素）的整数倍时，将所述下采样单元得到的采样图像进行扩边，得到图像宽度和高度均为宏块宽度和高度的整数倍的采样图像。
非I帧编码模块703，用于以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行H.264标准编码。具体的，若所述非I帧为P帧，则其对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播放顺序的前一个I帧和/或后一个I帧，即若采用前向预测模式，则B帧对应的I帧与P帧相同为视频帧序列中按播放顺序的前一个I帧，若采用后向预测模式则其对应的I帧为视频帧序列中按播放顺序的后一个I帧，若采用双向预测模式则其对应的I帧为视频帧序列中按播放顺序的前一个I帧和后一个I帧。非I帧编码模块703对某一非I帧进行编码，首先要找到该非I帧对应的I帧，进而获取该I帧的重建帧的采样图像作为参考帧，然后可以根据该参考帧对下采样得到的非I帧的采样图像进行H.264标准编码，具体可以包括：对下采样得到非I帧的采样图像以宏块为单位在参考帧中做运动估计，寻找参考帧中最为匹配的宏块，即可获取该宏块的运动矢量；将实际宏块与参考帧中的匹配宏块进行比较获取残差数据；进而将获取到的残差数据经过整数变换、量化、重排序和熵编码后与运动矢量一同打包，从而得到适合网络传输的数据包，即非I帧的编码结果。
传输模块704，用于发送视频码流，所述视频码流包括经过编码得到的的I帧和非I帧。
图8是本发明实施例中的一种混合分辨率解码装置的结构示意图。如图8所示本发明实施例中的混合分辨率解码装置可以包括：
码流接收模块801，用于接收视频码流。本发明实施例中码流接收模块801获取到的需要解码的视频码流可以为前文图7所介绍的混合分辨率编码装置编码得到的视频码流，包括经过编码的I帧和非I帧。
I帧解码模块802，用于对所述视频码流中只采用帧内编码的I帧进行全分辨率的H.264标准解码。
下采样模块803，用于对经过所述全分辨率的H.264标准解码得到的I帧进行下采样，得所述I帧的采样图像。具体的，与编码时类似，下采样模块804可以进一步包括：
下采样单元，用于对经过所述全分辨率的H.264标准解码得到的I帧进行下采样得到采样图像，所述采样图像的宽度为所述帧图像宽度的1/a、高度为所述帧图像的1／b，其中a和b均大于1；
扩边单元，用于当所述采样图像的宽度和高度不是宏块宽度和高度（例如对H.264／AVC标准，宏块宽度和高度都是16个像素）的整数倍时，将所述下采样单元得到的采样图像进行扩边，得到图像宽度和高度均为宏块宽度和高度的整数倍的采样图像。
非I帧解码模块804，用于对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧进行H.264标准解码。具体的，若所述非I帧为P帧，则其对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播放顺序的前一个I帧和/或后一个I帧，即若采用前向预测模式，则B帧对应的I帧与P帧相同为视频帧序列中按播放顺序的前一个I帧，若采用后向预测模式则其对应的I帧为视频帧序列中按播放顺序的后一个I帧，若采用双向预测模式则其对应的I帧为视频帧序列中按播放顺序的前一个I帧和后一个I帧。非I帧解码模块804获取到所述非I帧对应的I帧后，将该对应的I帧经过下采样得到的采样图像作为这个非I帧的参考帧，具体到非I帧中的每一个宏块，则根据该宏块的运动矢量在参考帧中找到对应的宏块获取该宏块的预测值，然后将该宏块经过反量化、反变换后的残差数据与预测值相加，再经过去块效应滤波器处理即可得到重建的宏块。
超分辨率复原模块805，用于对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧图像。具体可以如附图9所示，本发明实施例中的超分辨率复原模块805可以进一步包括：
数据获取单元8051，用于获取所述经过编码得到的非I帧中采用帧间编码的宏块的运动矢量和残差数据。
帧间编码复原单元8052，用于根据所述数据获取单元获取到的所述宏块的运动矢量和残差数据选择采用空域插值滤波、时域插值滤波或时域与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分辨率图像复原。其中采用时域插值滤波或时域与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分辨率图像复原时，可以根据所述非I帧对应的I帧经过所述全分辨率的H.264标准解码得到的图像对所述采用帧间编码的宏块进行超分辨率图像复原。具体选择方法可以参考前文方法实施例中结合图5的说明，本实施例中不再赘述。
帧内编码复原单元8053，用于对所述经过解码得到的非I帧中采用帧内编码的宏块进行空域插值滤波。
具体的空域插值滤波、时域插值滤波以及时域与空域相结合的插值滤波方法可以参考前文方法实施例中的详细介绍，本实施例中不再赘述。
本发明实施例通过对视频帧序列中的I帧和非I帧采用混合分辨率的编码方式进行编码使得视频帧序列中的非I帧的编码数据量减少了一半，且非I帧都采用已下采样之后的I帧为参考帧，使非I帧在编码端不必再做子像素插值和去块效应滤波，降低了计算复杂度，经大量实验证明这可以使得编码器的速度平均可以提升67.40%，解码速度平均提升15.49%。而在解码器对非I帧通过根据每个宏块的残差数据和运动矢量自适应的选择超分辨率图像复原的方式，使得经过超分辨率图像复原后的非I帧图像与采用更高分辨率编码、解码的P帧相比，画面质量无明显下降，因此在同等解码视频质量下，极大的节约了视频编解码的资源消耗，提升了编解码的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (18)

1.一种混合分辨率编码方法，其特征在于，所述方法包括：
对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；
对所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像；
对视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；
以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；
发送视频码流，所述视频码流包括经过编码得到的I帧和非I帧。
2.如权利要求1所述的方法，其特征在于，所述下采样包括：
对所述I帧的重建帧的帧图像或非I帧的帧图像进行下采样得到采样图像，所述采样图像的宽度为所述帧图像宽度的1/a、高度为所述帧图像的1／b，其中a和b均大于1；
若所述采样图像的宽度和高度不是编码宏块的宽度和高度的整数倍，则将所述采样图像进行扩边，得到宽度和高度分别为所述编码宏块的宽度和高度的整数倍的采样图像。
3.如权利要求1所述的方法，其特征在于，若所述非I帧为P帧，则对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；
若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播放顺序的前一个I帧和/或后一个I帧。
4.一种混合分辨率解码方法，其特征在于，所述方法包括：
接收视频码流；
对所述视频码流中只采用帧内编码的I帧进行全分辨率的标准解码；
对经过所述全分辨率的标准解码得到的I帧进行下采样，得所述I帧的采样图像；
对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧进行标准解码；
对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧图像。
5.如权利要求4所述的方法，其特征在于，所述对经过解码得到的非I帧进行超分辨率图像复原包括：
获取所述经过编码得到的非I帧中采用帧间编码的宏块的运动矢量和残差数据；
根据所述宏块的运动矢量和残差数据选择采用空域插值滤波、时域插值滤波或时域与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分辨率图像复原。
6.如权利要求5所述的方法，其特征在于，所述采用时域插值滤波或时域与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分辨率图像复原包括：
根据所述非I帧对应的I帧经过所述全分辨率的标准解码得到的图像对所述采用帧间编码的宏块进行超分辨率图像复原。
7.如权利要求5所述的方法，其特征在于，所述对经过解码得到的非I帧进行超分辨率图像复原还包括：
对所述经过解码得到的非I帧中采用帧内编码的宏块进行空域插值滤波。
8.如权利要求4所述的方法，其特征在于，所述下采样包括：
对经过所述全分辨率的标准解码得到的I帧进行下采样得到采样图像，所述采样图像的宽度为所述帧图像宽度的1/a、高度为所述帧图像的1／b，其中a和b均大于1；
若所述采样图像的宽度和高度不是所述视频码流的编码宏块的宽度和高度的整数倍，则将所述采样图像进行扩边，得到宽度和高度分别为所述编码宏块的宽度和高度的整数倍的采样图像。
9.如权利要求4~8中任一项所述的方法，其特征在于，若所述非I帧为P帧，则对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；
若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播放顺序的前一个I帧和/或后一个I帧。
10.一种混合分辨率编码装置，其特征在于，所述混合分辨率编码装置包括：
I帧编码模块，用于对视频帧序列中只采用帧内编码的I帧进行全分辨率的标准编码并进行帧重建得到所述I帧的重建帧；
下采样模块，用于所述I帧的重建帧进行下采样，得到所述I帧的重建帧的采样图像，以及用于视频帧序列中的非I帧进行下采样，得到所述非I帧的采样图像；
非I帧编码模块，用于以所述非I帧对应的I帧的重建帧的采样图像作为参考帧对所述非I帧的采样图像进行标准编码；
传输模块，用于发送视频码流，所述视频码流包括经过编码得到的的I帧和非I帧。
11.如权利要求8所述的混合分辨率编码装置，其特征在于，所述下采样模块包括：
下采样单元，用于对所述I帧的重建帧的帧图像或非I帧的帧图像进行下采样得到采样图像，所述采样图像的宽度为所述帧图像宽度的1/a、高度为所述帧图像的1/b，其中a和b均大于1；
扩编单元，用于当所述采样图像的宽度和高度不是编码宏块的宽度和高度的整数倍时，将所述下采样单元得到的采样图像进行扩边，得到宽度和高度分别为所述编码宏块的宽度和高度的整数倍的采样图像。
12.如权利要求10所述的混合分辨率编码装置，其特征在于，若所述非I帧为P帧，则对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；
若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播放顺序的前一个I帧和/或后一个I帧。
13.一种混合分辨率解码装置，其特征在于，所述混合分辨率解码装置包括：
码流接收模块，用于接收视频码流；
I帧解码模块，用于对所述视频码流中只采用帧内编码的I帧进行全分辨率的标准解码；
下采样模块，用于对经过所述全分辨率的标准解码得到的I帧进行下采样，得所述I帧的采样图像；
非I帧解码模块，用于对所述视频码流中的非I帧以所述非I帧对应的I帧的采样图像作为参考帧进行标准解码；
超分辨率复原模块，用于对经过解码得到的非I帧进行超分辨率图像复原，得到原始分辨率的非I帧图像。
14.如权利要求13所述的混合分辨率解码装置，其特征在于，所述超分辨率复原模块包括：
数据获取单元，用于获取所述经过编码得到的非I帧中采用帧间编码的宏块的运动矢量和残差数据；
帧间编码复原单元，用于根据所述数据获取单元获取到的所述宏块的运动矢量和残差数据选择采用空域插值滤波、时域插值滤波或时域与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分辨率图像复原。
15.如权利要求14所述的混合分辨率解码装置，其特征在于，所述复原单元采用时域插值滤波或时域与空域相结合的插值滤波的方式对所述采用帧间编码的宏块进行超分辨率图像复原包括：
根据所述非I帧对应的I帧经过所述全分辨率的标准解码得到的图像对所述采用帧间编码的宏块进行超分辨率图像复原。
16.如权利要求14所述的混合分辨率解码装置，其特征在于，超分辨率复原模块还包括：
帧内编码复原单元，用于对所述经过解码得到的非I帧中采用帧内编码的宏块进行空域插值滤波。
17.如权利要求13所述的混合分辨率解码装置，其特征在于，所述下采样模块包括：
下采样单元，用于对经过所述全分辨率的标准解码得到的I帧进行下采样得到采样图像，所述采样图像的宽度为所述帧图像宽度的1/a、高度为所述帧图像的1／b，其中a和b均大于1；
扩边单元，用于当所述采样图像的宽度和高度不是所述视频码流的编码宏块的宽度和高度的整数倍时，将所述采样图像进行扩边，得到宽度和高度分别为所述编码宏块的宽度和高度的整数倍的采样图像。
18.如权利要求14~17中任一项所述的混合分辨率解码装置，其特征在于，若所述非I帧为P帧，则对应的I帧为所述P帧在所述视频帧序列中按播放顺序的前一个I帧；
若所述非I帧为B帧，则对应的I帧为所述B帧在所述视频帧序列中按播放顺序的前一个I帧和/或后一个I帧。
CN201210450379.7A 2012-11-12 2012-11-12 一种混合分辨率编解码方法和装置 Active CN103813174B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201210450379.7A CN103813174B (zh) 2012-11-12 2012-11-12 一种混合分辨率编解码方法和装置
MYPI2015701473A MY174250A (en) 2012-11-12 2013-05-21 A hybrid-resolution decoding method and a video apparatus using the same
SG11201503694YA SG11201503694YA (en) 2012-11-12 2013-05-21 A hybrid-resolution encoding and decoding method and a video apparatus using the same
MX2015005924A MX2015005924A (es) 2012-11-12 2013-05-21 Un metodo de codificacion y decodificacion de resolucion hibrida y un aparato de video que utiliza el mismo.
CA2891275A CA2891275C (en) 2012-11-12 2013-05-21 A hybrid-resolution encoding and decoding method and a video apparatus using the same
PCT/CN2013/075965 WO2014071728A1 (en) 2012-11-12 2013-05-21 A hybrid-resolution encoding and decoding method and a video apparatus using the same
EP13852473.1A EP2907309A4 (en) 2012-11-12 2013-05-21 HYBRID RESOLUTION CODING AND DECODING METHOD AND VIDEO DEVICE THEREWITH
US14/091,305 US10097821B2 (en) 2012-11-12 2013-11-26 Hybrid-resolution encoding and decoding method and a video apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210450379.7A CN103813174B (zh) 2012-11-12 2012-11-12 一种混合分辨率编解码方法和装置

Publications (2)

Publication Number Publication Date
CN103813174A true CN103813174A (zh) 2014-05-21
CN103813174B CN103813174B (zh) 2016-04-27

Family

ID=50684005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210450379.7A Active CN103813174B (zh) 2012-11-12 2012-11-12 一种混合分辨率编解码方法和装置

Country Status (8)

Country Link
US (1) US10097821B2 (zh)
EP (1) EP2907309A4 (zh)
CN (1) CN103813174B (zh)
CA (1) CA2891275C (zh)
MX (1) MX2015005924A (zh)
MY (1) MY174250A (zh)
SG (1) SG11201503694YA (zh)
WO (1) WO2014071728A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187824A (zh) * 2014-06-10 2015-12-23 杭州海康威视数字技术股份有限公司 图像编码方法和装置以及图像解码方法和装置
US9455010B1 (en) 2015-10-20 2016-09-27 International Business Machines Corporation Video storage and video playing
CN108495130A (zh) * 2017-03-21 2018-09-04 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、终端、服务器和存储介质
CN108769681A (zh) * 2018-06-20 2018-11-06 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN108833917A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN108833923A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
CN108848380A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
CN108848381A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
CN108848376A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备
CN108924553A (zh) * 2018-06-20 2018-11-30 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN109151481A (zh) * 2017-06-28 2019-01-04 腾讯科技（深圳）有限公司 图片的传输和接收的方法、装置及其系统
CN109819263A (zh) * 2017-11-22 2019-05-28 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
WO2019242486A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
CN111447442A (zh) * 2020-03-13 2020-07-24 浙江大华技术股份有限公司 帧内编码方法、帧内解码方法、设备以及介质
CN111586412A (zh) * 2020-05-06 2020-08-25 华为技术有限公司 高清视频处理方法、主设备、从设备和芯片系统
CN111726614A (zh) * 2019-03-18 2020-09-29 四川大学 一种基于空域下采样与深度学习重建的hevc编码优化方法
WO2021109978A1 (zh) * 2019-12-02 2021-06-10 华为技术有限公司 视频编码的方法、视频解码的方法及相应装置
WO2021238735A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 视频传输方法和设备
WO2021254139A1 (zh) * 2020-06-15 2021-12-23 中兴通讯股份有限公司 视频处理方法、设备及存储介质
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3314894B1 (en) * 2015-06-25 2024-03-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Refinement of a low-pel resolution motion estimation vector
US11051026B2 (en) 2015-08-31 2021-06-29 Intel Corporation Method and system of frame re-ordering for video coding
CN106254874B (zh) * 2016-09-19 2019-05-31 上海国茂数字技术有限公司 一种全景视频编码方法及装置
US11405645B2 (en) * 2017-02-28 2022-08-02 Google Llc Transform kernel selection and entropy coding
CN108833916B (zh) * 2018-06-20 2021-09-24 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
EP3591972A1 (en) * 2018-07-02 2020-01-08 Axis AB Method and system for encoding video with overlay
CN113676641B (zh) * 2021-08-17 2023-04-07 杭州叙简未兰电子有限公司 一种基于5g执法记录仪的双摄像头三码流方法
US20230171418A1 (en) * 2021-11-30 2023-06-01 Comcast Cable Communications, Llc Method and apparatus for content-driven transcoder coordination
CN114465993B (zh) * 2022-01-24 2023-11-10 杭州网易智企科技有限公司 视频编码方法、视频解码方法和装置、介质和计算设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078109A1 (en) * 2005-01-21 2006-07-27 Samsung Electronics Co., Ltd. Method of multi-layer based scalable video encoding and decoding and apparatus for the same
CN101375605A (zh) * 2006-01-31 2009-02-25 汤姆森许可贸易公司 用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的方法和装置
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
CN102006483A (zh) * 2009-09-03 2011-04-06 中兴通讯股份有限公司 一种视频编解码方法及装置
CN102196256A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种视频编码方法及装置
CN102196258A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种i帧编码方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3130876B2 (ja) * 1998-09-08 2001-01-31 日本電気アイシーマイコンシステム株式会社 画像再生装置及び画像再生方法
US6907073B2 (en) * 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
CN102714726B (zh) * 2010-01-15 2015-03-25 杜比实验室特许公司 使用元数据的用于时间缩放的边缘增强
EP2375747B1 (en) * 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078109A1 (en) * 2005-01-21 2006-07-27 Samsung Electronics Co., Ltd. Method of multi-layer based scalable video encoding and decoding and apparatus for the same
CN101375605A (zh) * 2006-01-31 2009-02-25 汤姆森许可贸易公司 用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的方法和装置
CN102006483A (zh) * 2009-09-03 2011-04-06 中兴通讯股份有限公司 一种视频编解码方法及装置
CN102196256A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种视频编码方法及装置
CN102196258A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种i帧编码方法及装置
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187824A (zh) * 2014-06-10 2015-12-23 杭州海康威视数字技术股份有限公司 图像编码方法和装置以及图像解码方法和装置
US10659800B2 (en) 2014-06-10 2020-05-19 Hangzhou Hikvision Digital Technology Co., Ltd. Inter prediction method and device
US9455010B1 (en) 2015-10-20 2016-09-27 International Business Machines Corporation Video storage and video playing
US9578278B1 (en) 2015-10-20 2017-02-21 International Business Machines Corporation Video storage and video playing
US9584788B1 (en) 2015-10-20 2017-02-28 International Business Machines Corporation Video storage and video playing
US10721466B2 (en) 2017-03-21 2020-07-21 Tencent Technology (Shenzhen) Company Limited Video encoding method, video decoding method, computer device and storage medium
CN108495130A (zh) * 2017-03-21 2018-09-04 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、终端、服务器和存储介质
WO2018171447A1 (zh) * 2017-03-21 2018-09-27 腾讯科技（深圳）有限公司 视频编码方法、视频解码方法、计算机设备和存储介质
CN109151481A (zh) * 2017-06-28 2019-01-04 腾讯科技（深圳）有限公司 图片的传输和接收的方法、装置及其系统
CN109151481B (zh) * 2017-06-28 2022-03-15 腾讯科技（深圳）有限公司 图片的传输和接收的方法、装置、系统、设备和介质
CN109819263B (zh) * 2017-11-22 2022-08-19 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
US11032539B2 (en) 2017-11-22 2021-06-08 Tencent Technology (Shenzhen) Company Limited Video coding method, computer device, and storage medium
WO2019100783A1 (zh) * 2017-11-22 2019-05-31 腾讯科技（深圳）有限公司 视频编码方法、计算机设备及存储介质
CN109819263A (zh) * 2017-11-22 2019-05-28 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
US11206405B2 (en) 2018-06-20 2021-12-21 Tencent Technology (Shenzhen) Company Limited Video encoding method and apparatus, video decoding method and apparatus, computer device, and storage medium
CN108833923A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
WO2019242500A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和可读存储介质
WO2019242563A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
WO2019242490A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
WO2019242491A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
WO2019242486A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
WO2019242498A1 (zh) * 2018-06-20 2019-12-26 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及可读存储介质
CN108848376A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备
CN108848381A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
CN108924553A (zh) * 2018-06-20 2018-11-30 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
US11558639B2 (en) 2018-06-20 2023-01-17 Tencent Technology (Shenzhen) Company Limited Selective resolution video encoding method, computer device, and readable storage medium
CN108769681B (zh) * 2018-06-20 2022-06-10 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN108848380A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
US11323739B2 (en) 2018-06-20 2022-05-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for video encoding and decoding
US11412228B2 (en) 2018-06-20 2022-08-09 Tencent Technology (Shenzhen) Company Limited Method and apparatus for video encoding and decoding
CN108848381B (zh) * 2018-06-20 2021-09-24 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
US11172220B2 (en) 2018-06-20 2021-11-09 Tencent Technology (Shenzhen) Company Limited Video encoding method, and storage medium thereof
CN108848380B (zh) * 2018-06-20 2021-11-30 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
CN108833917A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
US11451787B2 (en) 2018-06-20 2022-09-20 Tencent Technology (Shenzhen) Company Limited Method and apparatus for video encoding and decoding
US11196989B2 (en) 2018-06-20 2021-12-07 Tencent Technology (Shenzhen) Company Ltd Video encoding method, device and storage medium using resolution information
US11412229B2 (en) 2018-06-20 2022-08-09 Tencent Technology (Shenzhen) Company Limited Method and apparatus for video encoding and decoding
CN108769681A (zh) * 2018-06-20 2018-11-06 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN108848376B (zh) * 2018-06-20 2022-03-01 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备
CN111726614A (zh) * 2019-03-18 2020-09-29 四川大学 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN112995663B (zh) * 2019-12-02 2022-09-23 华为技术有限公司 视频编码的方法、视频解码的方法及相应装置
CN112995663A (zh) * 2019-12-02 2021-06-18 华为技术有限公司 视频编码的方法、视频解码的方法及相应装置
WO2021109978A1 (zh) * 2019-12-02 2021-06-10 华为技术有限公司 视频编码的方法、视频解码的方法及相应装置
CN111447442A (zh) * 2020-03-13 2020-07-24 浙江大华技术股份有限公司 帧内编码方法、帧内解码方法、设备以及介质
CN111586412B (zh) * 2020-05-06 2022-07-26 华为技术有限公司 高清视频处理方法、主设备、从设备和芯片系统
CN111586412A (zh) * 2020-05-06 2020-08-25 华为技术有限公司 高清视频处理方法、主设备、从设备和芯片系统
CN113747099A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 视频传输方法和设备
WO2021238735A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 视频传输方法和设备
CN113747099B (zh) * 2020-05-29 2022-12-06 华为技术有限公司 视频传输方法和设备
WO2021254139A1 (zh) * 2020-06-15 2021-12-23 中兴通讯股份有限公司 视频处理方法、设备及存储介质
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备

Also Published As

Publication number Publication date
US10097821B2 (en) 2018-10-09
SG11201503694YA (en) 2015-06-29
MY174250A (en) 2020-04-01
WO2014071728A1 (en) 2014-05-15
CN103813174B (zh) 2016-04-27
US20140140407A1 (en) 2014-05-22
EP2907309A1 (en) 2015-08-19
CA2891275A1 (en) 2014-05-15
EP2907309A4 (en) 2016-03-23
MX2015005924A (es) 2015-09-08
CA2891275C (en) 2020-05-12

Similar Documents

Publication Publication Date Title
CN103813174B (zh) 一种混合分辨率编解码方法和装置
US9344731B2 (en) Image encoding and decoding apparatus and method
CN103200402B (zh) 清除解块人为噪声的方法
KR101377528B1 (ko) 움직임 벡터 부호화/복호화 방법 및 장치
CN105141957B (zh) 图像和视频数据编解码的方法和设备
TW201004363A (en) Advanced interpolation techniques for motion compensation in video coding
CN114616826A (zh) 基于帧类型的自适应分辨率管理的隐式标识
CN107005698A (zh) 支持尽力服务解码的元数据提示
CN114467300A (zh) 自适应分辨率管理信令
CN113497937B (zh) 图像编码方法、图像解码方法及相关装置
KR20150047379A (ko) 비디오 인코딩 장치 그리고 이의 구동 방법
CN114009042A (zh) 具有全局运动的帧中的候选
KR20170125154A (ko) 곡선 화면 내 예측을 사용하는 비디오 복호화 방법 및 장치
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN114503583A (zh) 使用子帧的自适应分辨率管理
CN114080811A (zh) 具有全局运动的帧中的选择性运动矢量预测候选
CN115361582B (zh) 一种视频实时超分辨率处理方法、装置、终端及存储介质
CN114902671A (zh) 用于自适应裁剪的方法和系统
KR100667815B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
CN109672889A (zh) 约束的序列数据头的方法及装置
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
JP2016116175A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR100968808B1 (ko) 가변길이부호 디코딩 시스템 및 그것의 디코딩 방법
KR100928272B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 장치
CN113615184A (zh) 扩展长期参考图片保留的显式信令

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190905

Address after: Shenzhen Futian District City, Guangdong province 518057 Zhenxing Road, SEG Science Park 2 East Room 403

Co-patentee after: Shenzhen Graduate School of Peking University

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: Shenzhen Futian District City, Guangdong province 518057 Zhenxing Road, SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.

TR01 Transfer of patent right