CN101459840B - 视频图像编码和解码方法及装置和系统 - Google Patents
视频图像编码和解码方法及装置和系统 Download PDFInfo
- Publication number
- CN101459840B CN101459840B CN 200710195371 CN200710195371A CN101459840B CN 101459840 B CN101459840 B CN 101459840B CN 200710195371 CN200710195371 CN 200710195371 CN 200710195371 A CN200710195371 A CN 200710195371A CN 101459840 B CN101459840 B CN 101459840B
- Authority
- CN
- China
- Prior art keywords
- group
- image
- frame
- frame encoding
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了视频图像编码和解码方法及装置和系统,通过在对视频图像进行编码和相对应的解码时,每个图组内的至少一个前向预测编码图像参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像进行编码,编码参考更多的图像可以大大的提高编码效率,因为后续图族内前向预测编码图像也是参考本图组内可以正常解码的帧内编码图像,避免了对后续图组的连续误差扩散,而且每个图组的图组头都可以作为随机访问点,为用户提供更加细致化的随机访问性能。
Description
技术领域
本发明涉及视频图像处理技术领域,具体涉及视频图像编码和解码方法及装置和系统。
背景技术
视频图像压缩编码是当前非常活跃的一个研究领域。在过去的近20年当中,视频压缩编码技术得到不断发展,新的视频压缩编码标准也不断涌现。1991年MPEG组织制定的MPEG-1标准,面向VCD存储光盘应用,在中国市场上取得了巨大的成功;1994年MPEG和ITU联合制定的MPEG-2标准,面向数字电视广播和DVD激光视盘的应用,该标准是目前在数字视频广播和激光视盘领域应用最为广泛、最为成熟、影响最为深远的视频压缩标准;之后,MPEG推出了面向对象的新一代视频压缩编码标准MPEG-4,ITU推出了面向视频会议、视频通信的标准H.263以及其后续版本包括H.263+、H.263++、H.263L。目前最新的视频压缩编码标准主要有ITU/MPEG联合制定的H.264/AVC标准、微软公司制定的VC-1标准,前者于2005年3月由ISO/IEC/ITU标准组织颁布为国际标准,后者则于2006年4月由SMPTE标准组织颁布。视频压缩编码技术的发展趋势:追求更高的编码压缩效率、更好的网络兼容性、更好的用户体验和更广泛的应用领域。
在视频压缩编码技术中,涉及帧内编码图像、帧间编码图像和图组(GOP,Group of Picture)等概念。帧内编码图像由图像本身即可完成编码,不需要其他图像作参考。帧内编码图像可以利用帧内预测技术进行编码。例如,I帧就是一种帧内编码图像。帧间编码图像是利用帧间预测技术进行编码的图像,需要根据参考图像对本图像进行预测编码。帧间编码图像有两种类型:前向预测编码图像和双向预测编码图像。前向预测编码图像只能参考前面出现的图像进行预测编码,而双向预测编码图像是指在前向和后向两个方向上都进行预测编码的图像。在前向和后向两个方向上的参考图像数目可以是单个也可以是多个。例如,P帧是一种前向预测编码图像,B帧是一种双向预测编码图像。图组是指一个或多个编码图像的组合,由一个帧内编码图像和该帧内编码图像之后的多个帧间编码图像组成。图组头可用于辅助随机访问和编辑。
参考图像是指被帧间编码图像用作参考的图像。帧间编码图像需要有参考图像才能进行帧间预测编码,同样在解码端对帧间编码图像的解码也需要参考图像。参考图像也被称为关键图像。一般地,参考图像可以是帧内编码图像,如I帧,也可以是帧间编码图像,如P帧。
非参考图像是指不被其他图像用作参考的图像。在某些应用中可以被丢弃,可应用于支持时间轴上的可伸缩性。这里非参考图像是指双向预测编码图像,即B帧。
在视频压缩编码技术中,涉及上述各种编码图像的排列顺序问题,即编码顺序和显示顺序。如果视频序列中没有B帧,编码顺序与显示顺序相同。如果视频序列中包含B帧,编码顺序与显示顺序不同,解码图像输出显示前应进行图像重排序。
下面举例说明图像的编码过程中的重排序:I帧和P帧之间有两个B帧,两个连续的P帧之间也有两个B帧。用图像1I预测图像4P,用图像4P和1I预测图像2B和3B。编码顺序是1I,4P,2B,3B;显示顺序是1I,2B,3B,4P。
表1为编码器输入顺序,表2为编码顺序,表3为解码器输出,即显示顺序。
表1
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 |
I | B | B | P | B | B | P | B | B | I | B | B | P |
表2
1 | 4 | 2 | 3 | 7 | 5 | 6 | 10 | 8 | 9 | 13 | 11 | 12 |
I | P | B | B | P | B | B | I | B | B | P | B | B |
表3
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 |
I | B | B | P | B | B | P | B | B | I | B | B | P |
随机访问是指从除比特流起始点之外的某一点开始,对比特流解码并恢复出解码图像的能力。随机访问可以分为两种,一种是立即随机访问,从码流切入点开始就可以正确解码;另一种是逐渐随机访问,从码流切入点开始到可以正确解码,需要一个过程。随机访问的需求主要包括节目换台、码流切换、编辑和拼接、节目回放的随机定位、快进快退等。不同的业务对随机访问性能的要求不同,比如,对于广播业务,DVB标准规定每隔0.5s要出现一个随机访问切入点;对于视频通信、视频会议、PPV(Pay Per View)等业务对随机访问性能的要求较低。随机访问直接与用户的体验相关。
对视频压缩码流的随机访问的需求普遍存在。为了支持随机访问,视频码流需要有一定的冗余信息,因此,随机访问的性能和编码效率之间是矛盾的关系,如何在两者之间进行权衡,是视频编码标准必须要考虑的一个重要问题。
为了获得较高的编码压缩效率,目前各种视频压缩编码技术力求去除图像内和图像间的各种冗余信息,其中包括多帧参考技术,应用多帧参考技术可以使P帧可以跨过I帧参考I帧之前的图像,将导致图组中的I帧起不到阻止误差扩散的作用。这样,在I帧发生随机访问时,由于该I帧之前的图像不可得,而该I帧之后的P帧将参考所述I帧之前的的图像,因此将导致切入点之后的图像不可解码的问题,进一步后续图组的中的P帧继续参考本图组中无法解码的帧间编码图像,将使图像误差扩散到后续图组,并进一步扩散下去。
为解决多参考帧情况下的随机访问问题,出现了下面的现有技术方案一和方案二。
现有的技术方案一:
在H.264标准中,引入瞬时解码刷新(Instantaneous Decoding Refresh,IDR)图像。IDR图像为一种新的图像类型,为帧内编码图像,但不同于普通的帧内编码图像。H.264标准中规定,IDR图像之后的图像不使用IDR之前的图像作参考,从IDR图像开始,后续图像均可以正确解码。视频序列的第一个图像应为IDR图像,IDR图像可以作为一个压缩码流的随机访问切入点。
在对现有技术的研究和实践过程中,发明人发现现有技术方案一存在以下问题:
现有的技术方案一,是限制随机访问点后的帧间编码图像的预测参考特性和参考帧数目。这是以牺牲编码效率为代价的。
一方面,由于IDR图像之后的图像不使用IDR之前的图像作参考,也就是说,IDR图像之后的图像无法充分利用多参考帧技术,因此将导致编码效率降低。
另一方面,随机访问只能发生在IDR边界,而IDR图像是一种特殊的I帧,也就是说,随机访问并不能以每一个I帧作为切入点,即随机访问不能发生在图组的边界。因此,该方法在随机访问的灵活性方面有较大的限制。
现有的技术方案二:
在视频编码标准AVS中,也采用了多参考帧技术,允许前向参考二帧。为解决随机访问问题,标准中对序列头(Sequence header)赋予更多的含义。标准中规定,序列头后第一个I帧后的第一个P帧不参考序列头之前的图像。这样一来,从带有序列头的I帧随机切入时,后续图像并不缺少参考图像,均可以正确解码,从而支持随机访问。
可见,这种方法,与H.264中的IDR图像的作用相同。
在对现有技术的研究和实践过程中,发明人发现现有技术方案二存在以下问题:
一方面,由于限制序列头后的I帧后第一个P帧的预测参考特性,无法充分利用多参考帧技术,导致了编码效率的降低。
另一方面,随机访问灵活性不高,只能发生在sequence header边界,不能发生在GOP边界。在序列内部,允许P帧跨过I帧参考前面的帧,因此无法进行随机访问。
发明内容
本发明实施例解决的技术问题是提供视频图像编码和解码方法及装置和系统,可以提高视频流的编码效率。
本发明实施例提供一种支持随机访问的视频图像编码方法,包括:
获取图组之前的帧内编码图像;
获取所述图组内的第一个帧内编码图像;
参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像对所述图组内的至少一个前向预测编码图像进行编码。
本发明实施例提供一种支持随机访问的视频图像解码方法,包括:
获取图组之前的帧内编码图像;
获取所述图组的第一个帧内编码图像;
参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
本发明实施例提供一种支持随机访问的视频图像解码方法,包括:
获取随机访问点之后的至少两个帧内编码图像;
参考所述至少两个帧内编码图像对其中最后获取的帧内编码图像所在图组中的至少一个前向预测编码图像进行解码。
本发明实施例提供一种视频图像编码装置,包括:
编码参考图像获取单元,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
编码参考图像缓冲单元,用于存储所述图组之前的帧内编码图像;
图像编码单元,用于参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像对所述图组内的至少一个前向预测编码图像进行编码。
本发明实施例提供一种视频图像解码装置,包括:
解码参考图像获取单元,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
解码参考图像缓冲单元,用于存储所述图组之前的帧内编码图像;
图像解码单元,用于参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
本发明实施例还提供一种编解码系统,包括:视频图像编码装置和视频图像解码装置;
所述视频图像编码装置包括:
编码参考图像获取单元,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
编码参考图像缓冲单元,用于存储所述图组之前的帧内编码图像;
图像编码单元,用于参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像对所述图组内的至少一个前向预测编码图像进行编码;
所述视频解码装置包括:
解码参考图像获取单元,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
解码参考图像缓冲单元,用于存储所述图组之前的帧内编码图像;
图像解码单元,用于参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
采用上述技术方案,本发明实施例有益的技术效果在于:
本发明实施例中支持随机访问的视频图像编码方法和解码方法,通过在对视频图像进行编码和相对应的解码时,每个图组内的至少一个前向预测编码图像参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像进行编码,编码参考更多的图像可以大大的提高编码效率,因为后续图组内前向预测编码图像也是参考本图组内可以正常解码的帧内编码图像,避免了对后续图组的连续误差扩散,而且每个图组的图组头都可以作为随机访问点,为用户提供更加细致化的随机访问性能。
附图说明
图1为本发明实施例一支持随机访问的视频图像编码方法的流程图;
图2为本发明实施例二支持随机访问的视频图像解码方法的流程图;
图3为本发明实施例三支持随机访问的视频图像解码方法的流程图;
图4为本发明应用例一图组编码示意图;
图5为本发明应用例二图组编码示意图;
图6为本发明实施例四视频图像编码装置的结构示意图;
图7为本发明实施例五视频图像解码装置的结构示意图;
图8为本发明实施例六支持随机访问的视频图像编解码系统结构示意图。
具体实施方式
本发明实施例提供了视频图像编码和解码方法及装置和系统,用于视频图像处理技术领域,可以提高视频流的编码效率。
下面对本发明提供的视频图像编码和解码方法及装置和系统进行详细描述。
实施例一,一种支持随机访问的视频图像编码方法,流程图如图1所示,包括:
A1,获取该图组之前的帧内编码图像;
本发明实施例中,获取图组之前的帧内编码图像用于图组内P帧的参考图像。获取的该图组之前帧内编码图像的个数需要小于协议规定的允许参考的最多个数,参考的图像越多,编码的压缩率越大,不过进行编码以及相应的解码时所需的计算量也就越大,因此具体的参考图组之前的帧内编码图像的个数根据实际情况进行选择。
A2,获取图组内的第一个帧内编码图像;
本发明实施例中,所述帧内编码图像由图像本身即可完成编码,不需要其他图像做参考,帧内编码图像可以利用帧内预测技术进行编码。I帧即是一种帧内编码图像。
步骤A1,A2没有绝对顺序,也可以先执行步骤A2再执行步骤A1。
A3,参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像所述图组内的至少一个前向预测编码图像进行编码。
本发明实施例中,每个图组都可以作为随机访问点进行随机访问,对于图组头I帧后的P帧,允许这些P帧参考该图组以前的图组的I帧进行编码。
本步骤强调的是对前向预测编码图像编码时,参考所述图组之前的帧内编码图像进行编码,具体的编码过程可以采取现有的多种编码方式实现,具体的编码方式不构成对本发明的限制。
由于本发明实施例中,由于图组中的P帧没有参考图组前的P帧,而是参考图组前的I帧,即使出现图组前的I帧不可得,本图组的P帧出现没有参考图像,导致该P帧无法解码。但是因为后续的图组内的P帧也不会参考该无法解码的P帧,因此不会存在误差连续向后续图组扩散的问题。
本发明实施例中,所述步骤A3之后还可以包括:
将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行编码。
本发明实施例中,图组中包含双向预测编码图像,即B帧。所述步骤B3之后还可以包括:
参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行编码。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括如下步骤:
获取图组之前的帧内编码图像;
获取所述图组内的第一个帧内编码图像;
参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像所述图组内的至少一个前向预测编码图像进行编码。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
实施例二,一种支持随机访问的视频图像解码方法,本发明实施例二与实施例一对应,是对实施例一编码方法的解码方法。
流程图如图2所示,包括:
B1,获取图组之前的帧内编码图像;
本实施例步骤B1之前可以先对获取图组之前的帧内编码图像的个数进行设置。具体的设置要与实施例一中编码时设置的参考该图组之前的帧内编码图像个数一致,以实现正确解码。
B2,获取所述图组的第一个帧内编码图像;
步骤B1,B2没有绝对顺序,也可以先执行步骤B2再执行步骤B1。
B3,参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
本步骤强调的是对前向预测编码图像编码的参考所述图组之前的帧内编码图像进行解码,具体的解码过程需要与图像的编码方式对应。
本发明实施例中,每个图组都可以作为随机访问点进行随机访问,对于图组头I帧后的P帧,允许这些P帧参考该图组以前的图组的I帧进行解码。
由于本发明实施例中,由于图组中的P帧没有参考图组前的P帧,而是参考图组前的I帧,即使出现图组前的I帧不可得,本图组的P帧出现没有参考图像,导致该P帧无法解码。但是因为后续的图组内的P帧也不会参考该无法解码的P帧,因此不会存在误差连续向后续图组扩散的问题。
本实施例中,所述步骤B3之后可以包括:将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行解码。
本发明实施例还可以包括:参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行解码。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括如下步骤:
获取图组之前的帧内编码图像;
获取所述图组的第一个帧内编码图像;
参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
本发明实施例二与实施例一对应,是对实施例一编码方法对应的解码方法。
本发明实施例三,一种支持随机访问的视频图像解码方法,流程图如图3,包括:
C1,获取随机访问点之后的至少两个帧内编码图像;
具体的获得帧内编码图像的数目与实施例一编码方法相对应,本实施例中获得的帧内编码图像的数目为实施例一中本图组之前的帧内编码图像的数目与本图组中帧内编码图像数目之和,即:本图组之前的帧内编码图像个数+1。
C2,参考所述至少两个帧内编码图像对其中最后获取的帧内编码图像对所在图组中的至少一个前向预测编码图像进行解码。
可以理解的是,所述最后获取的帧内编码图像为实施例一中的本图组的帧内编码图像。
所述步骤C2之后还可以进一步包括:将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行解码。
本实施例还可以包括:参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行解码。
本发明实施例三,是对在解码过程中发生随机访问的情况进行了描述。
下面结合具体应用例对本发明的编解码方法进行说明。
应用例一,本应用例中,允许的参考帧数为2帧,即帧间编码图像允许有2个参考帧。这是多帧参考技术最简单的情况,但是可以完全说明本发明技术方案。
参考图4,为本应用例一图组编码示意图。图中包含3个图组:GOP1、GOP2和GOP3。图中包含3个随机访问点(Random Access Point,RAP):RAP1、RAP2和RAP3。图中的每一个图组头都可以作为一个随机访问点进行切入。
图4中从编码顺序来看,I帧后面的第一组B帧和第一个P帧均可跨过I帧参考I帧之前的帧。由于B帧是非参考帧,不存在误差传递问题,无论B帧是否参考了I帧之前的I帧,都不影响从图组头的I帧随机切入。在现有技术中,P帧作为参考帧被后续其他图组的P帧参考,而本发明实施例中,P帧只跨过本图组的I帧参考前面的I帧。如图4所示:用于P3帧参考的图像,除了当前GOP的I2帧以外,还参考了上一个GOP的I0帧。需要指出的是,本发明实施例中,不必限定随机参考点以前的最近的I帧,实际上可以参考更早出现的I帧。这里仅以上一个GOP的I帧为例加以说明。
与现有技术相比,本应用例由于RAP后的P帧多了一个参考帧,可以提高编码效率。另外,还可以有效阻止误差扩散。当在RAP2处发生随机访问时,由于之前GOP1中的I0不可得,导致P3缺少参考帧而不能被正确解码,此时,最简单的方法是丢弃这些无法正确解码的图像,当然,也可以对P3采用差错隐藏的方法进行处理。不过从下一个GOP3开始(从RAP3开始),P5可以参考I4和I2,不存在缺少参考帧的问题,可以正确解码,后续其他图像也都可以正确解码。总而言之,由于在RAP2处的随机访问而带来的参考帧丢失问题,不会引起误差的持续扩散,仅影响当前1个GOP帧的解码。
本应用例的编码过程如下:
1)对于随机访问点RAP后的第一个P帧,按照参考二帧进行编码,这两个参考帧为当前GOP的I帧以及上一个GOP的I帧。
2)对于其他图像的编码,按照正常参考二帧进行编码。
涉及的解码过程,分两种情况。
1)连续正常解码:
对于随机访问点RAP后的第一个P帧,按照参考二帧进行解码,所述的参考帧为当前GOP的I帧和上一个GOP的I帧;
对与其他图像的解码,按照正常参考二帧进行解码处理。
2)发生随机访问时:
对于随机访问点RAP后的第一个P帧无法正确解码,可采用差错隐藏的方法进行处理生成的图像,可以用于显示和后续本图组内其他图像解码的参考。当下一个RAP到达时,该RAP后的第一个P帧,即可参考当前GOP的I帧和上一个GOP的I帧,进行解码。后续图像均可正常解码。从而过渡到连续正常解码过程,即上述第一种情况。
本发明在传统的编码框架中增加了一个缓冲区(BUFFER),用于存储上一个GOP的I帧。对当前GOP的第一个P进行编码时,该BUFFER中始终保存着上一个GOP的I帧。
在编码RAP后的第一个P帧时,利用参考帧队列中的当前GOP的I帧以及保存在BUFFER中的上一个GOP的I帧,作为参考图像进行编码。
在完成RAP后的第一个P帧编码之后,把参考帧队列中的当前GOP的I帧保存到BUFFER中,用作下一个GOP编码时的参考。
应用例二,本应用例中,允许的参考帧数为3帧,即帧间编码图像允许有3个参考帧。
参考图5,为应用例二图组编码示意图。图中包含3个图组:GOP1、GOP2和GOP3。图中包含3个随机访问点:RAP1、RAP2和RAP3。图中的每一个图组头都可以作为一个随机访问点进行切入。
在3个参考帧的情况下,RAP后的I帧后有2个P帧可跨过I帧参考I帧之前的帧。如图5中所示,其中GOP2的P1可参考RAP2之前的两个I帧,而P2可以参考RAP2之前的一个I帧。这两个P帧,在编解码时需要特殊处理。当在RAP2发生随机访问时,P1和P2将缺少参考图像而无法正确解码,此时可以采用差错隐藏的方法进行处理,当解码到RAP3时,RAP3后面的第一个P帧仍然参考了GOP1的I帧,缺少参考图像无法正确解码,此时可以采用差错隐蔽的方法对该图像进行处理。当解码到RAP4时,RAP4后面的第一个P帧和第二个P帧均不缺少参考图像,对于第一个P帧,其参考图像为GOP2的I帧、GOP3的I帧,以及当前GOP4的I帧,这些图像均位于随机访问点RAP2之后,均可获得并作为参考对RAP4后的第一个P帧正确解码,其他后续图像也可正确解码。因此,从RAP4开始,所有图像均可正确解码。可见,这里有一个恢复正确解码的过程:随机访问从RAP2进入,而从RAP4恢复正确解码。总而言之,由于在RAP2处的随机访问带来的参考帧丢失问题,不会引起误差的持续扩散,仅影响RAP2后的2个GOP:即GOP2和GOP3。
本应用例涉及的编码过程如下:
1)对于随机访问点RAP后的第一个P帧和第二个P帧,采用多参考帧技术进行编码,按照参考三帧的方法进行编码。此时第一个P帧的参考图像为该图像之前的3个I帧。而第二个P帧的参考图像为该图像之前的2个I帧以及所述的第一个P帧。
2)对于其他图像的编码,按照参考三帧的方法进行正常编码。
涉及的解码过程,分两种情况。
1)连续正常解码:
对于随机访问点RAP后的第一个P帧和第二个P帧,按照参考3帧进行解码。此时第一个P帧的参考图像为该图像之前的3个I帧;而第二个P帧的参考图像为该图像之前的2个I帧以及所述的第一个P帧;
对于其他图像的解码,按照参考3帧进行正常解码处理。
2)发生随机访问时:
随机访问点RAP后的第一个P帧和第二个P帧由于缺少参考帧而无法正确解码,可以采用差错隐藏的方法进行处理,恢复重建的图像,用于显示和用于本图组后续图像的参考。当下一个RAP到达时,该RAP后的第一个P帧仍然缺少参考图像,不能正确解码,同样可以采用差错隐藏的方法进行处理。当下2个RAP到达时,该RAP后的第一个P帧和第二个P帧,并不缺少参考图像,即他们可参考当前GOP以前的2个I帧和当前GOP本身的I帧,进行解码,输出完全正确的解码图像。后续图像也均可正常解码。从而过渡到连续正常解码过程,即上述第一种情况。
在传统的编码框架中,增加了一个BUFFER缓冲区,与实施例1的区别是,BUFFER容量扩大,可用于存储两个I图像。具体实施时,该BUFFER可以是一个FIFO队列。在对当前GOP后的第一个和第二个P图像进行编码时,该BUFFER中始终保存着上2个GOP的2个I图像。
在编码RAP后的第一个P图像和第二个P图像时,以参考帧队列中的当前GOP的I图像和保存在BUFFER中的上2个GOP的2个I图像,作为参考图像进行编码。
在RAP后的第一个P图像和第二个P图像编码完成之后,把参考帧队列中的当前GOP的I图像保存到BUFFER中,更新BUFFER中的内容,确保BUFFER中始终保存着当前GOP的I图像以及上一个GOP的I图像。
本发明实施例中,当参考帧的个数大于3个时,编解码过程和参考帧的管理可以类推,均属于本发明的保护范围。
本发明实施例四,一种视频图像编码装置500,结构示意图如图6所示,包括:编码参考图像获取单元510、编码参考图像缓冲单元520和图像编码单元530。
编码参考图像获取单元510,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
编码参考图像缓冲单元520,用于存储所述编码参考图像获取单元510获取的所述图组之前的帧内编码图像;
图像编码单元530,用于参考编码图像获取单元510获取的所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像对所述图组内的至少一个前向预测编码图像进行编码。
本发明实施例中,所述图像编码单元530还可以用于将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行编码。
本发明实施例中,所述图像编码单元530还可以用于参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行编码。
本发明实施例五,一种视频图像解码装置,结构示意图如图7所示,包括:
解码参考图像获取单元610、解码参考图像缓冲单元620和图像解码单元630;
解码参考图像获取单元610,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
解码参考图像缓冲单元620,用于存储解码参考图像获取单元610获取的所述图组之前的帧内编码图像;
图像解码单元630,用于参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
本发明实施例中,所述图像解码单元还可以用于将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行解码。本发明实施例中,所述图像解码单元还可以用于参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行解码。
实施例六,一种支持随机访问的视频图像编解码系统,系统结构示意图如图7所示,包括:视频图像编码装置710和视频图像解码装置720。
所述视频图像编码装置710包括:
编码参考图像获取单元711,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
编码参考图像缓冲单元712,用于存储所述图组之前的帧内编码图像;
图像编码单元713,用于参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像对所述图组内的至少一个前向预测编码图像进行编码。
所述视频解码装置720包括:
解码参考图像获取单元721,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
解码参考图像缓冲单元722,用于存储所述图组之前的帧内编码图像;
图像解码单元723,用于参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
以上对本发明所提供的视频图像编码和解码方法及装置和系统进行了详细介绍,其中:
本发明实施例视频图像编码方法和解码方法,通过在对视频图像进行编码和相对应的解码时,每个图组内的至少一个前向预测编码图像参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像进行编码,编码参考更多的图像可以大大的提高编码效率,并且因为该前向预测编码图像不作为为后续图组内图像的参考图像,避免了误差扩散的影响,每个图组的图组头都可以作为随机访问点,为用户提供更加细致化的随机访问性能。
本发明实施例实现简单,在存储容量方面,仅仅增加一个缓冲器对参考帧进行存储,而在存储带宽需求方面要求很低,实现简单。并且本发明实施例提高随机访问的灵活性,本发明实施例提出的新的GOP结构支持多参考帧情况下的随机访问。随机访问可以发生在每个图组头,精度更高。
本发明实施例具有丢帧恢复,快速重新同步的能力,可以应用于数字广播、流媒体组播、压缩码流编辑/拼接,VOD/PVR播放快快退等场合。
对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种支持随机访问的视频图像编码方法,其特征在于,包括:
获取图组之前的帧内编码图像;
获取所述图组内的第一个帧内编码图像;
参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像对所述图组内的至少一个前向预测编码图像进行编码。
2.如权利要求1所述的支持随机访问的视频图像编码方法,其特征在于,进一步包括:
将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行编码。
3.如权利要求2所述的支持随机访问的视频图像编码方法,其特征在于,进一步包括:参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行编码。
4.一种支持随机访问的视频图像解码方法,其特征在于,包括:
获取图组之前的帧内编码图像;
获取所述图组的第一个帧内编码图像;
参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
5.如权利要求4所述的支持随机访问的视频图像解码方法,其特征在于,还包括:
将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行解码。
6.如权利要求5所述的支持随机访问的视频图像解码方法,其特征在于,参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行解码。
7.一种支持随机访问的视频图像解码方法,其特征在于,包括:
获取随机访问点之后的至少两个帧内编码图像;
参考所述至少两个帧内编码图像对其中最后获取的帧内编码图像所在图组内的至少一个前向预测编码图像进行解码。
8.如权利要求7所述的支持随机访问的视频图像解码方法,其特征在于,进一步包括:
将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行解码。
9.如权利要求8所述的支持随机访问的视频图像解码方法,其特征在于,进一步包括:参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行解码。
10.一种视频图像编码装置,其特征在于,包括:
编码参考图像获取单元,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
编码参考图像缓冲单元,用于存储所述图组之前的帧内编码图像;
图像编码单元,用于参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像对所述图组内的至少一个前向预测编码图像进行编码。
11.如权利要求10所述的装置,其特征在于,所述图像编码单元还用于将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行编码。
12.如权利要求11所述的装置,其特征在于,还包括:图像编码单元还用于参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行编码。
13.一种视频图像解码装置,其特征在于,包括:
解码参考图像获取单元,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
解码参考图像缓冲单元,用于存储所述图组之前的帧内编码图像;
图像解码单元,用于参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
14.如权利要求13所述的装置,其特征在于,所述图像解码单元还用于将所述至少一个前向预测编码图像作为参考图像之一对该图组内后续的前向预测编码图像进行解码。
15.如权利要求14所述的装置,其特征在于,所述图像解码单元还用于参考所述组内的帧内编码图像和前向预测编码图像对该图组内的双向预测编码图像进行解码。
16.一种编解码系统,其特征在于,包括:视频图像编码装置和视频图像解码装置;
所述视频图像编码装置包括:
编码参考图像获取单元,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
编码参考图像缓冲单元,用于存储所述图组之前的帧内编码图像;
图像编码单元,用于参考所述图组内的第一个帧内编码图像和所述图组之前的帧内编码图像对所述图组内的至少一个前向预测编码图像进行编码;
所述视频解码装置包括:
解码参考图像获取单元,获取图组内的第一个帧内编码图像和获取该图组之前的帧内编码图像;
解码参考图像缓冲单元,用于存储所述图组之前的帧内编码图像;
图像解码单元,用于参考所述图组之前的帧内编码图像和所述图组的第一个帧内编码图像对所述图组内的至少一个前向预测编码图像进行解码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710195371 CN101459840B (zh) | 2007-12-13 | 2007-12-13 | 视频图像编码和解码方法及装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710195371 CN101459840B (zh) | 2007-12-13 | 2007-12-13 | 视频图像编码和解码方法及装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101459840A CN101459840A (zh) | 2009-06-17 |
CN101459840B true CN101459840B (zh) | 2010-04-21 |
Family
ID=40770423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710195371 Active CN101459840B (zh) | 2007-12-13 | 2007-12-13 | 视频图像编码和解码方法及装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101459840B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710990A (zh) * | 2009-11-10 | 2010-05-19 | 华为技术有限公司 | 视频图像编码处理、解码处理方法和装置及编解码系统 |
MX337078B (es) * | 2011-07-02 | 2016-02-11 | Samsung Electronics Co Ltd | Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video. |
WO2014010300A1 (ja) * | 2012-07-10 | 2014-01-16 | ソニー株式会社 | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
KR101785886B1 (ko) * | 2014-02-03 | 2017-10-16 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법 |
CN106791875B (zh) * | 2016-11-30 | 2020-03-31 | 华为技术有限公司 | 视频数据解码方法、编码方法以及相关设备 |
CN112040233B (zh) * | 2020-11-04 | 2021-01-29 | 北京金山云网络技术有限公司 | 视频编码、视频解码方法和装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5436664A (en) * | 1992-09-18 | 1995-07-25 | Sgs-Thomson Microelectronics S.A. | Method for masking transmission errors of MPEG compressed pictures |
CN1269663A (zh) * | 1999-04-02 | 2000-10-11 | 松下电器产业株式会社 | 动画发送/接收装置、及动画数据记录媒体 |
CN1618236A (zh) * | 2002-01-22 | 2005-05-18 | 微软公司 | 编码和解码视频数据以起动随机存取和接合的方法和系统 |
CN1957617A (zh) * | 2004-05-25 | 2007-05-02 | 皇家飞利浦电子股份有限公司 | 用于编码数字视频数据的方法和设备 |
CN101005622A (zh) * | 2007-01-12 | 2007-07-25 | 清华大学 | 一种支持视频帧随机读取的视频编解码方法 |
-
2007
- 2007-12-13 CN CN 200710195371 patent/CN101459840B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5436664A (en) * | 1992-09-18 | 1995-07-25 | Sgs-Thomson Microelectronics S.A. | Method for masking transmission errors of MPEG compressed pictures |
CN1269663A (zh) * | 1999-04-02 | 2000-10-11 | 松下电器产业株式会社 | 动画发送/接收装置、及动画数据记录媒体 |
CN1618236A (zh) * | 2002-01-22 | 2005-05-18 | 微软公司 | 编码和解码视频数据以起动随机存取和接合的方法和系统 |
CN1957617A (zh) * | 2004-05-25 | 2007-05-02 | 皇家飞利浦电子股份有限公司 | 用于编码数字视频数据的方法和设备 |
CN101005622A (zh) * | 2007-01-12 | 2007-07-25 | 清华大学 | 一种支持视频帧随机读取的视频编解码方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101459840A (zh) | 2009-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101389034B (zh) | 一种图像编/解码方法、装置及一种图像处理方法、系统 | |
US10397592B2 (en) | Method and apparatus for multi-threaded video decoding | |
US6771703B1 (en) | Efficient scaling of nonscalable MPEG-2 Video | |
US7023924B1 (en) | Method of pausing an MPEG coded video stream | |
US6871006B1 (en) | Processing of MPEG encoded video for trick mode operation | |
US8121187B2 (en) | Method and apparatus for performing multiple bit rate video encoding and video stream switching | |
US6389218B2 (en) | Method and apparatus for simultaneously producing compressed play and trick play bitstreams from a video frame sequence | |
US6937770B1 (en) | Adaptive bit rate control for rate reduction of MPEG coded video | |
CN101459840B (zh) | 视频图像编码和解码方法及装置和系统 | |
US7212576B2 (en) | Picture encoding method and apparatus and picture decoding method and apparatus | |
CN101321284B (zh) | 一种编解码方法、设备及系统 | |
US6356708B1 (en) | Method and apparatus for implementing playback features for compressed video data | |
EP2635025B1 (en) | Video processing method and video appliance implementing the method | |
CN102939766B (zh) | 接收器和接收器侧使用单个解码器使能信道变化的方法 | |
CN101729889B (zh) | 数字媒体数据的编/译码方法及其比特流的处理方法 | |
CN101389018B (zh) | 一种图像编/解码方法、装置及一种图像处理方法、系统 | |
Lou et al. | Complexity and memory efficient GOP structures supporting VCR functionalities in H. 264/AVC | |
US8175154B2 (en) | Method for restructuring a group of pictures to provide for random access into the group of pictures | |
WO2013114826A1 (ja) | 画像復号装置 | |
US9219930B1 (en) | Method and system for timing media stream modifications | |
JP2020108032A (ja) | 映像符号化ストリーム編集装置及びプログラム | |
Psannis et al. | QoS for wireless interactive multimedia streaming | |
US20220329841A1 (en) | Method for encoding audio and video data, and electronic device | |
Psannis et al. | MPEG-based interactive video streaming: a review. | |
US20100166383A1 (en) | System and method for providing trick modes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210420 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TR01 | Transfer of patent right |