CN101170697A - 多视图象编解码方法及编解码器 - Google Patents
多视图象编解码方法及编解码器 Download PDFInfo
- Publication number
- CN101170697A CN101170697A CN 200710101528 CN200710101528A CN101170697A CN 101170697 A CN101170697 A CN 101170697A CN 200710101528 CN200710101528 CN 200710101528 CN 200710101528 A CN200710101528 A CN 200710101528A CN 101170697 A CN101170697 A CN 101170697A
- Authority
- CN
- China
- Prior art keywords
- image
- current time
- view
- coding
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种多视图象编解码方法及编解码器。在多视图象的编码过程中,为了提高编码效率,需要利用视间图象参考以利用不同视图象之间的相关性,但是这样往往也因为需要参考本时刻其他视图象而影响各个视编码的并行性和增加编解码的延时。本发明通过限制同一时刻参考图象的选择,使得在多视编码中实现低延时和并行处理,同时允许选择其他时刻的不同视之间的参考以兼顾编码效率。而且,本发明还提出了视组的概念,使得对于编解码并行性的设定更加灵活。
Description
技术领域
本发明涉及视频编码技术领域,尤其涉及一种多视编码技术。
背景技术
目前的视频编码标准如国际电信联盟(ITU,International Telecommunication Union)制定的H.261、H.263、H.263+、H.264标准,以及运动图象专家组(MPEG,Moving Picture Experts Group)制定的MPEG-1、MPEG-2、MPEG-3、MPEG-4等图象编码标准,都是建立在混合编码(Hybrid Coding)框架之上。
所述的混合编码框架是一种混合时间空间的视频图象编码方法,具体为:在编码时,先进行图象内、图象间的预测,得到预测值,以消除时间域的相关性;然后,根据预测值与原始图象实际值的差值,得到残差图象,对残差图象采用离散余弦变换法或其它的变换法进行二维变换,以消除空间域的相关性;最后,对变换后的数据进行量化以减小数据量,和熵编码,以消除统计上的冗余度,将熵编码后的数据与解码所需的包括运动矢量在内的一些边信息,一起组成一个压缩后的码流,供后续传输和存储用,达到压缩视频图象的目的。
相应地,在混合编码对应的解码端进行解码时,按照熵解码、反变换以及预测补偿等一系列解码过程重建出图象。所述的图像可以是静止图象也可以是序列图象中的一幅,可以是逐行扫描,隔行扫描,也可以是其它扫描得来,或是人工拼接构成。
混合编码框架中包括了图象内编码和图象间编码两种不同的编码方法。且所述的帧内编码与帧间编码过程中,均采用了预测技术,以充分利用了帧内以及帧间的空间、时间相关性,在消除相关性的基础上减小码率,并提高压缩码流与原始图象的数据量压缩比。尤其在混合编码框架中,帧间预测是减小图象时间相关性的有效方法,特别是在最近的视频标准H.264的高级视频编码(H.264/AVC,Advanced Video Coding)中,帧间预测采用了范围更广的块尺寸划分,包括从16×16到4×4,以及多参考图象帧等技术。
同样,在多视视频编码技术领域中,如多个摄像机对同一个对象或场景进行拍摄时,所拍到的多个视频序列的各个图象之间也存在着较大的相关性。因此在对多个视频序列同时编码时,可以利用当前视频序列中或其它视频序列中已编码的图象作为参考图象对当前待编码图象进行预测,得到残差图象,并对残差图象进行编码,从而消除多个视频序列的图象之间的相关性,有效降低图象之间的冗余度。
如图1所示,为便于描述,称各摄像机为“视”,即在图1中,视1、视2、......、视5分别来自于不同的摄像机的序列集合。同一时刻的图象组,是指同一物理时刻所有摄像机拍摄到的图象集合或者人为规定的同一时刻所有摄像机拍摄到的图象集合。参照图2所示,相应的A1和B1是同一时刻的图象组,A2和B2是同一时刻的图象组,等等。
通常情况下,作为当前待编码图象的参考图象,可以是当前时刻已经编码过的其他视拍摄到的图象,也可以是其他时刻已经编码过的所有摄像机拍摄(所有视)的图象。如图2所示,T1~T3是三个时刻,T1<T2<T3,A和B是两个不同的视,其中,B2是当前时刻(即T2时刻)的待编码图象,A2是当前时刻不同视的已经编码的图象;图2中的A1和B1是T1时刻已经编码过的图象。T3时刻的图象先于T2时刻的图象进行编码。A3和B3是T3时刻已经编码过的图象。在对B2进行编码时,可以用A1、B1、A3、B3和A2作为参考帧进行预测。
目前具体可以采用的多视编码实现方案可以为以下两种。
实现方案一
该实现方案一的编码结构如图3所示。在T=1时刻,图象A1最先进行编码。编码B1图象可以参考A1图象,编码C1可以参考B1图象,依此类推。在其他后续时刻,当前待编码图象只参考当前视中已经编码过的图象,不同视之间的图象不进行相互参考。
在T=1时刻,首先编(解)码的图象是A1,然后是B1,然后是C1,然后是D1,最后是E1。因此,T=1时刻的编(解)码延时是5个单位。
在T=2以及后续时刻,如果前面时刻的各个视的参考图象都已经获得,则各个视同一时刻的图象可以同时进行编(解)码,所以这些时刻的编(解)码延时是0个单位;所述的编(解)码延时的单位是指同一时刻最先编(解)码的一帧(或多帧)图象和最后编(解)码的一帧(或多帧)图象之间经过的图象个数。
该编码结构简单的将单视图象序列的编码结构组合构成多视编码结构,除了第一个时刻各个视图象间有参考关系,其他时刻的视图象均仅参考本视的已经编码的图象。虽然可以做到低延时和并行处理,但是由于没有使用视间图象的参考,编码效率相比单视编码的直接组合提高有限。
实现方案二
该实现方案二的编码结构如图4所示。在T=1时刻,A1图象最先进行编码,编码C1可以参考A1图象,编码B1可以参考A1和C1图象,依此类推。在其他后续时刻,当前待编码图象即参考当前视中已经编码过的图象,也可以参考不同视之间的已经编码过的图象。
在T=1时刻,首先编(解)码的图象是A1,然后是C1,然后是E1,然后是B1和D1。所以T=1时刻的编(解)码延时是3个单位。
在T=2时刻,首先编(解)码的图象是A2和C2和E2,然后是B2和D2。所以T=2时刻的编(解)码延时是1个单位。
在实施本发明过程中,发明人发现上述现有技术至少存在以下问题:
这种编码结构大量使用了帧间参考,相比单视图象的直接组合在编码效率上有较大的提升,但是由于同一时刻各个视图象存在编解码依赖关系,因此编码和解码延时比较大,而且不利于并行处理各个视图象。
发明内容
本发明实施例提供一种多视编解码方法及多视编解码器,从而可以降低编解码延时。
本发明实施例提供了一种多视图象编码方法,包括:
获取当前时刻各个视对应的待编码的图象信息,并对当前时刻的所有视的图象采用相互之间各自独立地编码方式进行编码操作,获得编码后的码流。
本发明实施例提供了一种多视图象解码方法,包括:
接收所述码流,对某一时刻各个视对应的码流进行相互独立的解码操作,获得解码后的视频数据。
本发明实施例提供了一种多视图象编码方法,包括:
将多视编码中不同的视对应的图象信息按照预定规则划分为不同的视组,且相应的编码操作包括:获取当前时刻的各个待编码的视组,并对当前时刻的所有视组包含的图象采用视组相互之间各自独立地编码方式进行编码操作。
本发明实施例提供了一种多视图象解码方法,包括:
接收所述码流,对某一时刻各个视组对应的码流进行相互独立的解码操作,获得解码后的视频数据。
本发明实施例提供了一种多视图象编码方法,包括:
获取当前时刻各个视对应的待编码的图象信息,并对当前时刻的所有视的图象根据预定规则进行等级的设定,对当前时刻属于相同等级的各个视图象,采用相互之间各自独立地编码方式进行编码操作,获得编码后的码流。
本发明实施例提供了一种多视图象解码方法,包括:
接收所述码流,获得各个视的等级,对同一时刻的相同等级的各个视对应的码流进行相互独立的解码操作,获得解码后视频数据。
本发明实施例提供了一种多视图象编码器,包括用于获取待编码图象信息的编码信息获取单元,以及用于对图象信息进行编码处理的编码处理单元,还包括编码控制单元,用于控制将当前时刻的各视或视组包含的图象相互之间各自独立地输入到所述的编码处理单元中进行编码处理。
本发明实施例提供了一种多视图像解码器,包括用于接收码流的码流接收单元,以及用于执行解码操作解码处理单元,还包括解码控制单元,用于控制将码流接收单元接收的各视或视组对应的码流相互独立的输入到解码处理单元中进行解码操作。
本发明实施例提供了一种多视图象编码器,其特征在于,包括用于获取待编码图象信息的编码信息获取单元,以及用于对图象信息进行编码处理的编码处理单元,还包括:
视图象划分单元,用于将当前时刻的各视划分为多个等级;
编码控制单元,用于对当前时刻属于相同等级的各个视图象,采用相互之间各自独立地编码方式进行编码操作,获得编码后的码流。
由上述本发明实施例提供的技术方案可以看出,本发明实施例提供的多视编码实现方案通过限制同一时刻各个视图象的参考关系,以消除编解码过程中不同视图象的依赖,减小编解码过程的延时,并且能够实现对多视图象编解码中各个视图象的并行处理。
附图说明
图1为多视编码过程中的多视示意图;
图2为现有技术中的多视编码过程示意图;
图3为现有技术中具体可以采用的多视编码方案一的过程示意图;
图4为现有技术中具体可以采用的多视编码方案二的过程示意图;
图5为本发明实施例提供的多视编码方案的具体实现过程示意图一;
图6为本发明实施例提供的多视编码方案的具体实现过程示意图二;
图7为本发明实施例提供的多视编码方案的具体实现过程示意图三;
图8为本发明实施例提供的多视编码方案的具体实现过程示意图四;
图9为本发明实施例提供的多视编解码器的具体实现结构示意图一;
图10为本发明实施例提供的多视编解码器的具体实现结构示意图二。
具体实施方式
本发明实施例提供一种多视图象编解码方法及编解码器,以降低编码不同视图象的编解码延时和提高不同视图象编解码的并行性。其中,所述的并行性是指:对当前视的某一图象进行编(解)码操作时可以在当前视内独立完成而不需要依赖于同一时刻其他视的各个图象。
本发明实施例是通过限制同一时刻各个视图象的参考关系,来降低编码延时及提高编解码的并行性。具体可以为:直接限制同一时刻的各个视之间的参考关系,仅允许以其他时刻的已经编码过的重建图象作为参考图象;或者,在一定程度进行同一时刻的各个视之间的参考关系的相对限定,即将各个视划分为视组,限制同一时刻各个视组之间的参考关系。
本发明实施例中,在编码当前时刻各个视图象时,还可以利用参考图象进行预测编码,且所述的参考图象为其他时刻的至少一个已经编码重建的图象,或者,为其他时刻的至少一个已经编码重建的图象按照预定规则处理获得的图象;例如,所述的参考图象可以从当前时刻的相邻时刻已经编码过的图象中选取获得。
而且,在本发明实施例中,还可以对当前时刻所有视图象同时分别进行并行编码操作,以提高编码效率。
本发明实施例中,还可以在码流中设置编码标识,用于表示编码当前时刻某一视图象时,是否允许利用当前时刻其他视已经编码过的图象作为参考图象,以便于码流接收端可以获知相应信息。
为便于对本发明实施例的理解,下面将结合附图,对本发明实施例的具体实现方案进行详细说明。
本发明实施例提供的多视图象编码方法具体包括:
首先采用选定的编码结构,对第一个时刻的所有视图象进行编码,其编码获得的重建图象作为之后编码其他时刻视图象的参考图象;
然后,编码第二个时刻所有视的图象,在编码过程中,可以参考第一个时刻的任意一个视的重建图象,并且,当编码完毕该时刻的某一个视图象后,相应的重建图象不能作为该第二时刻其他视的参考图象;
也就是说,在编码当前时刻(第二个时刻)各个视图象时,其参考图象仅能为其他时刻已经编码过的图象,相应的参考图象具体可以从其相邻时刻已经编码过的图象中选取,例如,从其他已经编码过的图象中选择与当前时刻最相邻的那些图象等。
例如,在图5中,t1为多视图象编码的第一个时刻,t2为多视编码的第二个时刻,该结构中一共有三个视,分别为视S1、S2、S3,其中S1包含t1和t2时刻的图象s01和s11,S2包含t1和t2时刻的图象s02、s12,S3包含t1和t2时刻的图象s03、s13。
在针对t1时刻的图象编码完成后,rs01、rs02、rs03分别为s01、s02、s03的编码后的重建图象,在编码t2时刻图象s11、s12和s13时,仅将rs01、rs02和rs03或者其中一部分作为图象s11、s12和s13的参考图象进行编码。
针对t2时刻的图象s11、s12和s13编码完毕后,对应的重建图象分别为rs11、rs12和rs13,其可以作为编码其他时刻的视对应的图象的参考图象。
根据编码器的结构的不同,在编码第二个时刻的视图象的过程中,根据编码器的结构具体可以采用以下两种不同的处理方式:
(1)如果编码器只有单个的编码处理单元,那么依次编码该时刻的所有图象,当编码完其中的一个视图象后,编码剩余视图象过程中并不参考该时刻中已经编码完毕的部分图象的重建图象,当编码完该时刻所有的视图象后,其重建图象可以作为其他时刻的视图象的参考图象;
(2)如果编码器中有多个编码处理单元,由于该时刻所有的视图象中并没有参考关系,则可以同时将该时刻的多个视图象进行并行编码,在编码过程中均可以将第一个时刻重建图象作为参考图象。
将上述针对多视图象编码的t1、t2时刻编码结构推及其他时刻的视图象编码,则当编码某时刻t的视图象的时候,参考且仅参考已经编码过的其他时刻视图象的重建图象,如果当前图象需要作为剩余的其他编码时刻的视图象编码中的参考图象,则将相应的重建图象保存,否则,无需保存,即可以抛弃相应的重建图象。
本发明实施例中,与上述编码方式对应的,相应的解码过程如下:
首先,解码第一个时刻的所有视图象,解码完毕后,将其作为剩余时刻(如第二个时刻)视图象解码的参考帧;
之后,再解码第二个时刻的视图象,在解码第二个时刻的视图象过程中具体可以根据编码端的编码操作情况以第一个时刻图象作为参考图象进行相应的解码操作。
同样,如果解码器中只有单个解码处理单元,则依次将该时刻的视图象进行串行解码输出;如果解码器中有多个解码处理单元,由于该时刻所有图象并没有参考关系,那么可以同时并行解码该视所有图象。
参照图5所示,首先解码时刻t1的所有视图象s01、s02和s03,当解码完毕后,将其作为t2时刻解码过程的参考图象。在t2解码过程中,首先根据编码端写入的参考图象信息解码出t2时刻图象的参考帧,由于该参考帧属于t1时刻解码图象,故可以并行解码t2时刻图象。
在本发明实施例中,为了能够灵活应用本发明实施例提供的在并行低延时多视图象编解码实现方案,即在一定程度上限制编码图象之间的参考关系,本发明实施例还提出了视组的概念。所述视组是指多视图象中一个或者多个视构成的一个集合,可以将多个视包含的图象信息划分为一个或者多个视组。即在本发明实施例还可以将需要编码的各个视进行分组,之后,针对各个视组再依据上述描述的编码处理过程进行编码操作。
在针对视组的编码过程中,各个视图象编码过程不仅参考其他时刻已经编码的所有视图象,并且可以参考处于同一视组内同一时刻的其他视已经编码的图象。
可以看出,如果每一个视单独为一个视组,那么其编码结构即为上面描述的所有视并行编码结构。如果所有的视包含于同一视组内,则各个视编码均可能依赖同一时刻其他视的编码结果。如果视组划分介于两者之间,各个视组之间可以并行处理,但是所述视组内的各个视可能存在依赖关系。
本发明实施例中,编解码器的多个编码处理单元或解码处理单元可以是位于同一芯片内部的的多个计算功能单元,或者同一系统的多个具有计算功能的处理器,或者不同系统的多个具有计算功能的处理器。
下面再结合一个针对多视图象组的编码过程的具体应用实例对本发明实施例进行详细描述。所述的多视图象组是指以帧内编码图象(I图象)开头的各个连续的多视图象。
如图6所示,相应的编码的多视图象组包含三个视S1、S2和S3,以及对应的四个时刻t1、t2、t3和t4的图象;相应的编码过程包括:
(1)在编码该多视图象组起始时刻t1,选择一个视图象(即一个视对应的图像信息),例如,选择对A0进行编码,编码完毕后,将其作为参考图象依次对A1,A2进行预测编码,并将编码结果其写入码流。
(2)在对时刻t1的所有视图象编码完毕后,对t2的三个视图象B0、B1和B2同时进行并行编码操作;
例如,可以在编码B0、B1和B2时,均选择t1时刻图象A0、A1和A2其中一个的重建图象作为参考图象,进行预测编码,并将编码结果写入码流。
(3)在对时刻t2的所有视图象编码完毕后,对t3的三个视图象C0、C1和C2同时进行并行编码;
例如,可以在编码t3时刻三个视图象C0、C1和C2时,均选择t1时刻视图象A0、A1和A2的重建图象或者t2时刻视图象B0、B1和B2的重建图象作为参考图象,进行预测编码,并将编码结果写入码流。
(4)在对时刻t3的所有视图象编码完毕后,对t4的三个视图象D0、D1和D2同时进行并行编码,具体可以从t1、t2和t3时刻视图象的重建图象中选择相应的参考图象,进行预测编码,并将编码结果写入码流。
对该多视图象组编码完毕后,则可以对后续的多视图象组进行同样的处理方式直到针对整个序列的编码结束。
对应的,在解码端的解码操作过程显而易见,故不再详述。
在上述实例中提供的所有图象仅采用单向预测结构,下面给出另一实例,表明在有双向结构的预测图象时,本发明实施例的具体应用方式。
如图7所示,相应的编码的多视图象组包含三个视S1、S2和S3,以及对应的四个时刻t1、t2和t3的图象;
参照图7所示,相应的编码过程包括:
(1)在编码该多视图象组起始时刻t1,选择一个视图象(即一个视对应的图像信息),例如,选择对A0进行帧内编码,编码完毕后,将其作为参考图象依次对A1,A2进行预测编码,并将编码结果其写入码流。
(2)在对时刻t1的所有视图象编码完毕后,对t3的三个视图象C0、C1和C2进行预测编码,预测参考帧不使用当前时刻(t3)的编码重建图象,可以使用其它时刻已编码重建的图象,如选择t1时刻图象A0、A1和A2其中一个的重建图象,C0、C1、C2的编码可并行进行,并将编码结果写入码流。
(3)在对时刻t3所有视图象编码完毕后,对t2的三个视图象B0、B1、B2进行编码,在编码过程中可以使用双向预测方式,双向预测参考帧不使用当前时刻(t2)的编码重建图象;可以使用其它时刻已编码重建的图象作为参考图象,例如:可以选择t1时刻图象A0、A1和A2其中一个的重建图象作为前向参考图象,和/或,选择t3时刻图象C0,C1,C2其中一个的重建图象作为后向参考图象;B0、B1、B2的编码可并行进行,并将编码结果写入码流。
(4)按照上述(1)至(3)描述的处理过程对剩余的图象编码直至序列结束,并将编码结果写入码流。
与针对图7所示多视图象组的编码过程对应,相应的解码过程如下:
(1)先依次解码A0、A1、A2;
(2)再解码C0、C1、C2,解码时可分别并行进行,并使用已重建出的A0、A1、A2进行运动补偿;
(3)再解码B0、B1、B2,解码时可分别并行进行,并使用已重建出的A0、A1、A2和C0、C1、C2进行双向运动补偿;
(4)解码出多视图象组剩余图象;
(5)对解码图象按原生成顺序重新排序,即显示顺序为A0、A1、A2,B0、B1、B2,C0、C1、C2,从而完成相应的解码操作。
即本发明实施例可以适用于多参考帧预测编码情况,即预测参考帧可选择除当前时刻以外的其它多个时刻的多个视的多个已编码重建图象。
本发明实施例也适用于加权预测编码情况,即选择除当前时刻以外的其它多个时刻的多个视的多个已编码重建图象,所述多个重建图象按预定规则(函数)加权处理后作为编码的预测参考帧。
进一步地,多个视可以分成视组,如针对图4,可以分为三个视组:视组1,包括视1、视2;视组2包括视3和视4;视组3包括视5。同一个视组内,预测编码时,可以选择同一时刻其它视的编码重建图象作为参考图象,如编码B2时,可以选择编码A2的重建图象作参考图象,但不能选择其它视组的同一时刻的编码重建图象(如视组2的C2的重建图象)作为参考图象,这样同一视组内不同视图象的编码有依赖关系不能完全并行,但不同视组之间,当前时刻图象的编码是相互独立的,可以并行。
本发明实施例中,在编码端,还可以获取当前时刻各个视对应的待编码的图象信息,并对当前时刻的所有视的图象根据预定规则进行等级或视组的设定,对当前时刻属于相同等级的各个视图象,则采用相互之间各自独立地编码方式进行编码操作,获得编码后的码流,发送给解码端;之后,在解码端,接收所述码流,获得各个视的等级信息,并对同一时刻相同等级的各个视对应的码流进行相互独立的解码操作,获得解码后的视频数据。
本发明实施例中,对当前时刻所有视图象按照预定规则划分不同视组的过程可以为:首先,将所有视图象划分为不同的等级,之后,将同一等级的所有视图象设置为同一视组,不同等级的图象属于不同视组;例如,可以根据各视图象对应的视的编码由低到高依次设置对应的由低到高的不同等级,各等级包含至少一个视图象;
在对各等级或视组中的当前时刻所有视图象进行编码过程中,假设按照等级从低到高的顺序分别进行编码或解码操作,则低等级的视图象可以作为高等级视图象的参考图象;同一等级的不同视图象之间,其所采用的来自当前时刻的参考图象的最高等级相同;或者,对当前某个视图象进行编码(或解码)过程中,其可以采用的参考图象可以为:来自当前时刻等级较该图象低的视图象;或者,其他时刻的至少一个已经编码过的图象,该图象的视等级不高于当前编码图象;或者,来自其他时刻的至少一个已经编码过的图象(该图象的视等级不高于当前编码图象),按照预定规则处理获得的图象。
在该实施例中,在编码当前时刻各个视图象时,利用参考图象进行编码操作,且所述的参考图象仅为其他时刻的至少一个已经编码过的图象,或者,为其他时刻的至少一个已经编码过的图象按照预定规则处理获得的图象;例如,所述的参考图象是从当前时刻的相邻时刻已经编码过的图象中选取获得。
在该实施例中,还可以对当前时刻同一视组内所有视图象同时分别进行并行编码操作,或者,还可以对当前时刻所有视图象同时进行并行编码或解码操作,或者,也可以对当前时刻的相同等级的各个视图象同时进行并行的编码或解码操作,以提高编码效率。
在该实施例中,还可以在码流中设置编码标识,用于表示编码或解码当前时刻某一等级内各个图象时,是否允许利用当前时刻该与其相同等级的其他视已经编码或解码过的图象作为参考图象。
下面将结合对各个视图象按照其等级进行分组编码的情况对相应的具体实施例进行说明,如图8所示,包括三个视s1(对应的图象为s01和s11),s2(对应的图象为s02和s12),s3(对应的图象为s03和s13),按照其相互的依赖关系将其划分为两个等级的视组,s1为等级1的视组1,s2,s3为等级2的视组2。那么对于t0和t1时刻的图象的编码(解码)过程为:
首先编(解)码等级较低的视组1,即t0时刻图象s01;
编(解)码s01完毕后,采用s01作为参考图象,并行的编(解)码t0时刻等级高的图象s02,s03,由于低等级视组图象不参考高等级视组图象,所以在编(解)码t0时刻等级高的图象s02,s03时,可以同时采用s01作为参考编(解)码t1时刻视组1图象s11;
然后采用s11,s01,s02,s03全部或者部分作为参考图象,并行编(解)码时刻t1时刻的视组2图象s12,s13。与此同时,还可以并行处理视组1后续时刻的图象;
依时间顺序按照如上的规则进行编(解)过程,可以并行完成各个视的编(解)码。
对于视组等级划分更为复杂的情况,按照上述的原则,可以保证同一等级的视组内图象独立并行的处理,并且不同等级视组的图象按照等级由低到高的顺序进行并行编(解)码过程。
本发明实施例还提供了一种多视编码器和多视解码器,其具体实现结构如图9所示,下面将分别对相应编解码器的具体实现进行说明。
(一)所述的多视编码器,包括用于获取待编码图象信息的编码信息获取单元,以及用于对图象信息进行编码处理的编码处理单元,而且,还包括编码控制单元,用于控制将当前时刻的各视或视组包含的图象相互之间各自独立地输入到所述的编码处理单元中进行编码处理,即不利用当前时刻其他视图象的重建图象作为参考图象,而可以选择其他时刻的已经编码过的图像的重建图象作为相应的参考图像。
在多视编码器中,若所述的编码处理单元为多个时,则编码控制单元用于控制将各待编码图象信息并行输入到编码处理单元,以实现并行编码,减少延时;若所述的编码处理单元为单个时,则编码控制单元用于控制将各待编码图象信息依次串行输入到编码处理单元。
所述编码器还包括编码标识设置单元,用于设置表示编码当前时刻某一视或视组包含的图象时,是否允许利用当前时刻其他视组已经编码的图象作为参考图象,以便于解码端的解码器可以依据该编码标识确定对应的解码方式,从而进行正确快捷的解码操作。
(二)所述的多视解码器,包括用于接收码流的码流接收单元,以及用于执行解码操作解码处理单元,而且,还包括解码控制单元,用于控制将码流接收单元接收的各视或视组对应的码流相互独立的输入到解码处理单元中进行解码操作;
若所述的解码处理单元为多个时,则解码控制单元用于控制将各视或视组对应的码流并行输入到解码处理单元;若所述的解码处理单元为单个时,则解码控制单元用于控制将各视或视组对应的码流串行输入到解码处理单元。
本发明实施例还提供了另一种多视图象编码器,如图10所示,包括用于获取待编码图象信息的编码信息获取单元,以及用于对图象信息进行编码处理的编码处理单元,而且,该编码器还包括以下单元:
视图象划分单元,用于将当前时刻的各视划分为多个等级;
编码控制单元,用于对当前时刻属于相同等级的各个视图象,采用相互之间各自独立地编码方式进行编码操作,获得编码后的码流。
可选地,所述的编码器还包括参考图象选择单元,用于对当前时刻所有视图象,选择低等级的视图象作为高等级的视图象的参考图象,且相同等级的不同视图象之间,选择采用的参考图象的最高等级相同。
综上所述,本发明实施例提供的多视编码实现方案是通过限制同一时刻各个视图象的参考关系,但是允许参考其他时刻已经编码的图象。这样,一方面,可以有效利用视间图象的相关性,提高多视图象编码的编码效率;另一方面,还可以消除编解码过程中不同视图象的依赖,减小编解码过程的延时,并且能够实现对多视图象编解码中各个视图象的并行处理。
也就是说,通过本发明实施例对编解码结构的设计,大大减小了同一时刻不同视或视组之间的依赖关系,即可以降低编解码延时和提高编解码过程并行性,节省编码处理时间,有利于系统实现。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (43)
1.一种多视图象编码方法,其特征在于,包括:
获取当前时刻各个视对应的待编码的图象信息;
对当前时刻的所有视的图象采用相互之间各自独立的编码方式进行编码操作,获得编码后的码流。
2.根据权利要求1所述的方法,其特征在于,所述的编码操作包括:
利用参考图象对当前时刻各个视图像进行预测编码;所述的参考图象为其他时刻的至少一个已经编码的图象,或者,为其他时刻的至少一个已经编码的图象按照预定规则处理获得的图象。
3.根据权利要求2所述的方法,其特征在于,所述的参考图象是从当前时刻的相邻时刻已经编码过的图象中选取获得。
4.根据权利要求1所述的方法,其特征在于,所述编码操作包括:
对当前时刻所有视图象采用相互之间各自独立的编码方式同时进行并行编码操作。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述的方法还包括:在码流中设置编码标识,用于表示编码当前时刻某一视图象时,是否允许利用当前时刻其他视已经编码过的图象作为参考图象。
6.一种多视图象解码方法,对接收到的码流进行解码获得视频数据,其特征在于,包括:
接收所述码流,对同一时刻各个视图象对应的码流进行相互独立的解码操作,获得解码后的视频数据。
7.根据权利要求6所述的方法,其特征在于,所述的解码操作包括:
利用参考图象对当前时刻各个视图象对应的码流进行预测解码;所述的参考图象仅为其他时刻的至少一个已经解码的图象,或者,为其他时刻的至少一个已经解码的图象按照预定规则处理获得的图象。
8.根据权利要求7所述的方法,其特征在于,所述的参考图象为从当前时刻的相邻时刻已经解码过的图象中选取获得。
9.根据权利要求6所述的方法,其特征在于,所述的解码操作包括:
对当前时刻所有视图象相互独立的同时进行并行解码操作。
10.根据权利要求6至9任一项所述的方法,其特征在于,所述的方法还包括:根据码流中设置的编码标识,确定解码当前时刻某一视图象时,是否允许利用当前时刻其他视已经解码过的图象作为参考图象。
11.一种多视图象编码方法,其特征在于,包括:
将多视编码中不同的视对应的图象信息按照预定规则划分为不同的视组,获取当前时刻的各个待编码的视组,并对当前时刻的所有视组包含的图象采用视组相互之间各自独立的编码方式进行编码操作。
12.根据权利要求11所述的方法,其特征在于,所述的编码操作包括:
根据参考图象对当前时刻的视组包含的各个视图象进行预测编码;所述的参考图象为:其他时刻的至少一个已经编码过的图象,或者,同一时刻处于同一视组内的至少一个已经编码过的视图象,或者,为其他时刻的至少一个已经编码过的图象按照预定规则处理获得的图象,或者,同一时刻处于同一视组内的至少一个已经编码过的视图象按照预定规则处理获得的图象。
13.根据权利要求11或12所述的方法,其特征在于,所述的编码操作包括:在当前时刻,对所有视组同时进行并行编码。
14.根据权利要求11或12所述的方法,其特征在于,所述的方法还包括:在码流中设置表示视组划分的信息。
15.根据权利要求11或12所述的方法,其特征在于,所述的方法还包括:在码流中设置一个标识,标明编码当前时刻某一视图象时,是否允许利用当前时刻其他视组图象的编码信息。
16.根据权利要求11或12所述的方法,其特征在于,所述的方法还包括:在码流中设置编码标识,用于表示编码当前时刻某一视图象时,是否允许利用当前时刻其他视组已经编码过的图象作为参考图象。
17.一种多视图象解码方法,其特征在于,包括:
接收所述码流,对某一时刻各个视组对应的码流进行相互独立的解码操作,获得解码后的视频数据。
18.根据权利要求17所述的方法,其特征在于,所述的解码操作包括:
根据参考图象对当前时刻的视组包含的各个视图象进行预测解码;所述的参考图象为:其他时刻的至少一个已经解码过的图象,或者,同一时刻处于同一视组内的至少一个已经解码过的视图象,或者,为其他时刻的至少一个已经解码过的图象按照预定规则处理获得的图象,或者,同一时刻处于同一视组内的至少一个已经解码过的视图象按照预定规则处理获得的图象。
19.根据权利要求17或18所述的方法,其特征在于,所述的解码操作包括:在当前时刻,对所有视组同时进行并行解码。
20.根据权利要求17或18所述的方法,其特征在于,所述的方法还包括:从码流中获取表示视组划分的信息。
21.根据权利要求17或18所述的方法,其特征在于,所述的方法还包括:根据码流中设置的一个标识,确定在解码当前时刻某一视图象时,是否允许利用当前时刻其他视组图象的解码信息。
22.根据权利要求17或18所述的方法,其特征在于,所述的方法还包括:根据在码流中设置的编码标识,确定解码当前时刻某一视图象时,是否允许利用当前时刻其他视组已经解码过的图象作为参考图象。
23.一种多视图象编码方法,其特征在于,包括:
获取当前时刻各个视对应的待编码的图象信息,并对当前时刻的所有视的图象根据预定规则进行等级的设定,对当前时刻属于相同等级的各个视图象,采用相互之间各自独立的编码方式进行编码操作,获得编码后的码流。
24.根据权利要求23所述的方法,其特征在于,所述编码操作过程包括:根据所述等级按照预定的等级高低顺序对各个等级包含的各个视图象采用各自独立的编码方式进行编码操作。
25.根据权利要求23所述的方法,其特征在于,所述编码操作过程包括:在编码当前时刻各个视图象时,利用参考图象进行编码操作;所述的参考图象为其他时刻的至少一个已经编码过的图象,或者,为其他时刻的至少一个已经编码过的图象按照预定规则处理获得的图象。
26.根据权利要求23所述的方法,其特征在于,在所述编码操作过程中,按照等级从低到高的顺序进行编码操作,则所述的编码操作过程包括:对当前时刻所有视图象,低等级的视图象作为高等级的视图象的参考图象,且相同等级的不同视图象之间,所采用的参考图象的最高等级相同。
27.根据权利要求26所述的方法,其特征在于,所述的参考图象包括:
当前时刻等级较该图象低的视图象;或者,其他时刻的至少一个已经编码过的图象,且该图象的视等级不高于当前编码图象;或者,其他时刻的至少一个已经编码过的等级不高于当前编码图象的图象按照预定规则处理获得的图象。
28.根据权利要求23至27任一项所述的方法,其特征在于,所述的方法还包括:在码流中设置编码标识,用于表示编码当前时刻某一等级内各个图象时,是否允许利用当前时刻该与其相同等级的其他视已经编码过的图象作为参考图象。
29.根据权利要求23至27任一项所述方法,其特征在于,所述的方法还包括:对当前时刻所有视图象同时进行并行编码操作,或者,对当前时刻的相同等级的各个视图象同时进行并行的编码操作。
30.一种多视图象解码方法,其特征在于,包括:
接收所述码流,获得各个视的等级,对同一时刻的相同等级的各个视对应的码流进行相互独立的解码操作,获得解码后视频数据。
31.根据权利要求30所述的方法,其特征在于,所述解码操作过程包括:根据所述等级按照预定的等级高低顺序对各个等级包含的各个视图象采用各自独立的解码方式进行解码操作。
32.根据权利要求30所述的方法,其特征在于,所述的解码操作过程包括:在解码当前时刻各个视图象时,利用参考图象进行解码操作,且所述的参考图象仅为其他时刻的至少一个已经解码过的图象,或者,为其他时刻的至少一个已经解码过的图象按照预定规则处理获得的图象。
33.根据权利要求30所述的方法,其特征在于,在所述解码操作过程中,按照等级从低到高的顺序进行解码操作,则所述解码操作过程包括:对当前时刻所有视图象,低等级的视图象作为高等级的视图象的参考图象,且相同等级的不同视图象之间,所采用的参考图象的最高等级相同。
34.根据权利要求33所述的方法,其特征在于,所述的参考图象包括:
当前时刻等级较该图象低的视图象;或者,其他时刻的至少一个已经解码过的图象,且该图象的视等级不高于当前解码图象;或者,其他时刻的至少一个已经解码过的等级不高于当前解码图象的图象按照预定规则处理获得的图象。
35.根据权利要求30至34任一项所述的方法,其特征在于,所述的方法还包括:根据在码流中设置的编码标识,确定解码当前时刻某一等级内各个图象时,是否允许利用当前时刻该与其相同等级的其他视已经解码过的图象作为参考图象。
36.根据权利要求30至34任一项所述方法,其特征在于,所述的方法还包括:对当前时刻所有视图象同时进行并行解码操作,或者,对当前时刻的相同等级的各个视图象同时进行并行解码操作。
37.一种多视图象编码器,包括用于获取待编码图象信息的编码信息获取单元,以及用于对图象信息进行编码处理的编码处理单元,其特征在于,还包括编码控制单元,用于控制将当前时刻的各视或视组包含的图象相互之间各自独立地输入到所述的编码处理单元中进行编码处理。
38.根据权利要求37所述的编码器,其特征在于,所述的编码处理单元为多个时,则编码控制单元用于控制将各待编码图象信息并行输入到编码处理单元,或者,所述的编码处理单元为单个时,则编码控制单元用于控制将各待编码图象信息依次串行输入到编码处理单元。
39.根据权利要求37所述的编码器,其特征在于,所述编码器还包括编码标识设置单元,用于设置表示编码当前时刻某一视或视组包含的图象时,是否允许利用当前时刻其他视组已经编码的图象作为参考图象。
40.一种多视图像解码器,包括用于接收码流的码流接收单元,以及用于执行解码操作解码处理单元,其特征在于,还包括解码控制单元,用于控制将码流接收单元接收的各视或视组对应的码流相互独立的输入到解码处理单元中进行解码操作。
41.根据权利要求40所述的解码器,其特征在于,所述的解码处理单元为多个时,则解码控制单元用于控制将各视或视组对应的码流并行输入到解码处理单元,或者,所述的解码处理单元为单个时,则解码控制单元用于控制将各视或视组对应的码流串行输入到解码处理单元。
42.一种多视图象编码器,其特征在于,包括用于获取待编码图象信息的编码信息获取单元,以及用于对图象信息进行编码处理的编码处理单元,其特征在于,还包括:
视图象划分单元,用于将当前时刻的各视划分为多个等级;
编码控制单元,用于对当前时刻属于相同等级的各个视图象,采用相互之间各自独立地编码方式进行编码操作,获得编码后的码流。
43.根据权利要求42所述的编码器,其特征在于,还包括参考图象选择单元,用于对当前时刻所有视图象,选择低等级的视图象作为高等级的视图象的参考图象,且相同等级的不同视图象之间,选择采用的参考图象的最高等级相同。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710101528 CN101170697B (zh) | 2006-10-24 | 2007-04-25 | 多视图象编解码方法及编解码器 |
PCT/CN2007/071246 WO2008071132A1 (en) | 2006-12-14 | 2007-12-14 | Multi-view image encoding/decoding method and encoder/decoder |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200610136463 | 2006-10-24 | ||
CN200610136463.6 | 2006-10-24 | ||
CN 200710101528 CN101170697B (zh) | 2006-10-24 | 2007-04-25 | 多视图象编解码方法及编解码器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101170697A true CN101170697A (zh) | 2008-04-30 |
CN101170697B CN101170697B (zh) | 2012-07-25 |
Family
ID=39391132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710101528 Active CN101170697B (zh) | 2006-10-24 | 2007-04-25 | 多视图象编解码方法及编解码器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101170697B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103313073A (zh) * | 2012-03-12 | 2013-09-18 | 中兴通讯股份有限公司 | 用于三维图像数据发送、接收、传输的方法和装置 |
CN104754358A (zh) * | 2013-12-27 | 2015-07-01 | 中兴通讯股份有限公司 | 码流的生成和处理方法、装置及系统 |
CN106063267A (zh) * | 2014-03-07 | 2016-10-26 | 索尼公司 | 发送装置、发送方法、接收装置以及接收方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4355914B2 (ja) * | 2003-10-01 | 2009-11-04 | 日本電気株式会社 | 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム |
-
2007
- 2007-04-25 CN CN 200710101528 patent/CN101170697B/zh active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103313073A (zh) * | 2012-03-12 | 2013-09-18 | 中兴通讯股份有限公司 | 用于三维图像数据发送、接收、传输的方法和装置 |
WO2013134990A1 (zh) * | 2012-03-12 | 2013-09-19 | 中兴通讯股份有限公司 | 用于三维图像数据发送、接收、传输的方法和装置 |
CN103313073B (zh) * | 2012-03-12 | 2016-12-14 | 中兴通讯股份有限公司 | 用于三维图像数据发送、接收、传输的方法和装置 |
CN104754358A (zh) * | 2013-12-27 | 2015-07-01 | 中兴通讯股份有限公司 | 码流的生成和处理方法、装置及系统 |
WO2015096540A1 (zh) * | 2013-12-27 | 2015-07-02 | 中兴通讯股份有限公司 | 码流的生成和处理方法、装置及系统 |
US10638141B2 (en) | 2013-12-27 | 2020-04-28 | Xi'an Zhongxing New Software Co., Ltd. | Bitstream generation method and apparatus, bitstream processing method and apparatus, and system |
CN106063267A (zh) * | 2014-03-07 | 2016-10-26 | 索尼公司 | 发送装置、发送方法、接收装置以及接收方法 |
CN106063267B (zh) * | 2014-03-07 | 2019-07-23 | 索尼公司 | 发送装置、发送方法、接收装置以及接收方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101170697B (zh) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101518089B (zh) | 编/解码方法、编/解码器及寻找最佳匹配块的方法及装置 | |
KR101684207B1 (ko) | 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법 | |
KR100739281B1 (ko) | 움직임 추정 방법 및 장치 | |
CN101490968A (zh) | 用于视频压缩的并行处理装置 | |
CN102196256B (zh) | 一种视频编码方法及装置 | |
KR100239260B1 (ko) | 화상 디코딩 장치 | |
CN1290342C (zh) | 可执行区块比对移动补偿与全域移动补偿的装置与方法 | |
CN101060628B (zh) | 图像数据传输方法、图像处理装置和摄像系统 | |
JP2012124896A (ja) | 低遅延階層のbグループを有するピクチャ構造を用いた動画像符号化の方法及び装置 | |
CN101960858A (zh) | 运动图像编码装置、摄像装置以及运动图像编码方法 | |
EP1280356A2 (en) | Apparatus and method for compressing multiplexed video signals | |
CN102143361B (zh) | 一种视频编码方法和装置 | |
CN101170692B (zh) | 多视图象编解码方法及编解码器 | |
CN102769753B (zh) | H264编码器及编码方法 | |
CN101242530B (zh) | 运动估计方法、基于运动估计的多视编解码方法及装置 | |
CN101170697B (zh) | 多视图象编解码方法及编解码器 | |
CN101179724B (zh) | 帧间压缩编码中的帧存储方法及装置 | |
JP2007325024A (ja) | 画像符号化装置及び画像符号化方法 | |
CN100474930C (zh) | 在基于多重扫描的帧内模式中编码和解码的方法和设备 | |
CN101547350A (zh) | 高效平面与立体数字视频编码及解码方法 | |
He et al. | High-performance H. 264/AVC intra-prediction architecture for ultra high definition video applications | |
JPH06225279A (ja) | 符号化方法、復号化方法、符号化装置及び復号化装置 | |
CN1263309C (zh) | 用于视频编码的运动矢量预测方法 | |
KR20160105203A (ko) | 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법 | |
US20060227874A1 (en) | System, method, and apparatus for DC coefficient transformation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |