CN101222638B - 多视视频编解码方法及装置 - Google Patents

多视视频编解码方法及装置 Download PDF

Info

Publication number
CN101222638B
CN101222638B CN2007100045303A CN200710004530A CN101222638B CN 101222638 B CN101222638 B CN 101222638B CN 2007100045303 A CN2007100045303 A CN 2007100045303A CN 200710004530 A CN200710004530 A CN 200710004530A CN 101222638 B CN101222638 B CN 101222638B
Authority
CN
China
Prior art keywords
reference picture
current image
image
alternative
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007100045303A
Other languages
English (en)
Other versions
CN101222638A (zh
Inventor
杨平
朱刚
许晓中
何芸
郑萧桢
郑建铧
孟新建
史舒娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Huawei Technologies Co Ltd
Original Assignee
Tsinghua University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Huawei Technologies Co Ltd filed Critical Tsinghua University
Priority to CN2007100045303A priority Critical patent/CN101222638B/zh
Priority to PCT/CN2007/071376 priority patent/WO2008083599A1/zh
Publication of CN101222638A publication Critical patent/CN101222638A/zh
Application granted granted Critical
Publication of CN101222638B publication Critical patent/CN101222638B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

本发明涉及一种多视视频编解码方法及装置。本发明主要包括：首先，根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；根据各备选参考图象的参考距离选择确定当前图象采用的至少一帧参考图象，并利用所述参考图象对当前图象进行编解码操作。因此，本发明可以在不需要额外的参考缓存情况下，利用当前参考缓存中的图象达到较佳的预测效果，从而提高多视视频编解码效率。

Description

多视视频编解码方法及装置
技术领域
本发明涉及编解码技术领域，尤其涉及一种视频编解码技术。
背景技术
目前，视频编码标准制定的MPEG-1(MPEG，即运动图象专家组，Moving Picture Experts Group)、MPEG-2、MPEG-3、MPEG-4等图象编码标准，都是建立在混合编码(Hybrid Coding)框架之上。
所述的混合编码框架是一种混合时间空间的视频图象编码方法，其在编码过程中具体包括：
(1)对待编码的图象进行图象内、图象间的预测，以得到预测值，从而可以消除编码过程中图象之间的时间域的相关性；
(2)根据预测值与原始图象实际值的差值，得到残差图象，并对残差图象采用离散余弦变换法或其它的变换法进行二维变换，以消除编码过程中图象之间的空间域的相关性；
(3)对变换后的数据进行量化以减小数据量，和熵编码，以消除编码过程中的统计上的冗余度；
(4)将熵编码后的数据与解码所需的包括运动矢量在内的一些边信息，一起组成一个压缩后的码流，供后续传输和存储用。
相应地，在混合编码对应的解码端进行解码时，需要按照熵解码、反变换以及预测补偿等解码过程重建出图象，完成相应的解码操作。
在实际应用过程中，若多个摄像机对同一个对象或场景进行拍摄时，则可以采用所述的混合编码技术对所拍到的多个视频序列的各个图象进行编码，称为多视视频编码技术。
由于多视视频编码过程中需要同时存储和传输来自多个摄像机采集的视频序列图象，因而相应的编码过程中要求编码算法具有更高的压缩效率以减少数据量和传输带宽。多视视频编码的帧间预测不仅可以利用与当前图象处于同一视频序列的图象进行预测，还可以利用与当前不同视的视频序列的图象进行预测，即利用不同摄像机对同一对象或者场景的拍摄，以消除视间的相关性。因此，在对多个视频序列同时编码过程中，可以利用更加丰富的预测结构，从而达到压缩码率的目的。
下面将结合附图对现有技术中的多视视频编码的实现方式进行说明。
如图1所示，视1、视2、......、视4分别来自于不同摄像机的视频序列的集合。同一时刻的图象组是指同一物理时刻所有摄像机拍摄到的图象集合或者人为规定的同一时刻所有摄像机拍摄到的图象集合。如图2所示，图象A1和B1是同一时刻的图象组，图象A2和B2是同一时刻的图象组，等等。
在混合编码框架中，需要将已经编码图象作为参考帧保存于参考帧缓冲区中，当编码后续图象时，从参考帧(即参考图象)缓冲区中选择一帧图象作为参考图象进行预测编码。对于多参考帧技术，需要对参考帧缓冲区容量进行扩展，以便于在缓冲区中可以存放已经编码过的多个图象的重建图象。在预测当前图象时，缓冲区的各图象均可作为候选的参考图象。
对于多视视频编码，由于多参考帧技术的引入，使得参考图象不是唯一的，因此，在缓冲区内，重建图象需要按照某种次序构建成为当前图象的参考帧列表。在编码过程中，编码器需要从列表中选择一帧作为参考图象，并且将其索引值写入码流提供给解码器。这样，在解码端才能够采用同样的次序构建参考帧列表后，并通过码流中列表的索引值找到正确的参考帧，从而完成相应的解码操作。
多视视频编码中缓存于参考帧列表中作为当前待编码图象的参考图象，可以是当前时刻已经编码过的其他视拍摄到的图象，也可以是其他时刻已经编码过的所有摄像机拍摄(即所有视)的图象。仍如图2所示，T1～T3是三个时刻，且T1<T2<T3，T3时刻的图象先于T2时刻的图象进行编码；A和B是两个不同的视，其中，B2是当前时刻(即T2时刻)的B视的待编码图象，A2是当前时刻不同视(即A视)的已经编码的图象；A1和B1是T1时刻已经编码过的图象，A3和B3是T3时刻已经编码过的图象，这样，在对图象B2进行编码时，则可以利用A1、B1、A3、B3和A2作为参考帧进行预测。
在所述的参考帧列表的构建过程，通常需要将预测效果较好的图象排列于参考图象列表的前面，以便于优先选择作为当前图象的参考图象。但是，目前在多视视频编码对应的缓冲区中，还没有提供一种处理机制可以保证缓冲区中的图象满足按照最优预测效果排序的原则。
发明内容
本发明的实施例提供了一种多视视频编解码方法及装置，从而可以降低多视视频编解码过程的时延，有效地提高多视视频编解码的效率。
本发明的实施例提供了一种多视视频编码方法，包括：
根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
根据各备选参考图象的参考距离确定当前图象采用的至少一帧参考图象，并利用所述参考图象对当前图象进行编码。
本发明的实施例提供了一种多视视频编码装置，包括：
参考距离获取单元，用于根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
参考图象选择单元，用于根据各备选参考图象的参考距离选择确定当前图象采用的至少一帧参考图象；
编码操作单元，用于利用参考图象选择单元选择确定的所述参考图象对当前图象进行编码。
本发明的实施例提供了一种多视视频解码方法，包括：
根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
根据各备选参考图象的参考距离选择确定当前图象采用的至少一帧参考图象，并利用所述参考图象对当前图象进行解码。
本发明的实施例提供了一种多视视频解码装置，包括：
参考距离获取单元，用于根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
参考图象选择单元，用于根据各备选参考图象的参考距离选择确定当前图象采用的至少一帧参考图象；
解码操作单元，用于利用参考图象选择单元选择确定的所述参考图象对当前图象进行解码。
由上述本发明实施例提供的技术方案可以看出，本发明提供的实施例可以在不需要额外的参考缓存情况下，利用当前参考缓存中的图象达到较佳的预测效果，从而提高多视视频编解码效率。
附图说明
图1为多视编码过程中的多视示意图；
图2为现有技术中的多视编码过程示意图；
图3为本发明提供的编码方法实施例的处理过程示意图；
图4为本发明提供的编码装置实施例的处理过程示意图；
图5为本发明提供的解码方法实施例的处理过程示意图；
图6为本发明提供的解码方法实施例的处理过程示意图；
图7为单向预测的多视视频编码过程示意图；
图8为双向预测的多视视频编码过程示意图。
具体实施方式
由于多视视频编解码的预测结构多种多样，即多视视频编解码中存在着不同视之间的预测，因此，在多视视频编解码情况下，需要采用新的算法构建当前图象参考帧列表，以便于有效利用该参考帧列表进行图象的编解码操作，提高多视视频编解码效率。
也就是说，在多视图象编解码的过程中，为了提高编码效率，需要利用多个视的图象作为参考图象(即参考帧)，用于预测编码过程。由于不同视的图象对当前图象的预测效果不同，在编码当前图象时，需要根据其预测效果有效的安排参考图象的顺序可以较大的提高编码效率。
本发明提供的实施例正是通过计算各个参考图象与当前图象的参考距离，进而基于该参考距离对参考图象进行排序，以便于根据排序后的参考图象构建当前图象的参考图象列表，使得在编解码过程中可以优先选择最佳的重建图象作为当前图像的参考图象。
下面将结合附图对本发明提供的各实施例进行说明。
本发明提供的多视视频编码方法的实施例如图3所示，具体包括：
步骤31：计算参考帧缓冲区内所有重建图象(即备选参考图象)与待编码的当前图象之间的参考距离，该参考距离的具体计算方式如下：
参考距离(Distance)＝第一权重因子x时间距离(TD)+第二权重因子x空间距离(SD)，其中：
所述的时间距离是指参考图象与当前图象在时间上的间隔长短，其与参考图象与当前图象间隔的图象帧数以及图象采集的帧率相关，所述帧率是指在图象采集过程中每秒采集的帧数，即间隔帧数越多，帧率越小，时间距离就越大；所述的时间距离为参考图象与当前图象的采集或显示的时间间隔，或者为参考图象与当前图象间隔的图象数；且所述的时间距离通常可以表现为编码帧在编码顺序上的编号与参考帧编号的差值；例如，为每一个视做单独的视内图象顺序编号，并利用视内图象顺序编号计算时间间隔；
所述的空间距离是指参考图象所处的视与当前图象所处的视之间的距离，具体可以体现为拍摄视图象的摄像机之间的距离(即参考图象对应的视与当前图象对应的视之间的距离)或为参考图象对应的视与当前图象对应的视之间的视的数目；空间距离的计算是因多视的存在而引入，其体现为摄像机之间的距离；在编解码器中，若摄像机之间实际距离作为编码参数写入码流，则可以使用所述参数计算空间距离，若无所述参数，则可以对每一个视给出视编号，利用编号之间的差值确定摄像机之间的距离；
所述的权重因子是用于衡量时间距离和空间距离在预测效果上的差异，其中所述的第一权重因子可以为1，此时可以忽略第一权重因子，或者，所述的第二权重因子可以为1，此时可以忽略第二权重因子；所述权重因子具体可以为设定的常数或者根据编码器参数计算得到的数值，比如根据实际多视编码中输入的帧率和摄像机距离计算合适的权重因子。合适的权重因子应该保证同样距离的参考帧有同样的预测效果，也即编码时有同样的概率被选用做实际预测图象。
步骤32：根据计算的参考帧距离构建当前图象对应的参考帧列表；
构建所述参考帧列表的原则可以为：参考图象的参考距离值越小，在参考帧列表中的位置越靠前；其中，还包括对于参考距离相同的图象，视间隔越小越靠前，若视间隔一样，则视序号较小的靠前；当然，也可以为其他设定的原则，例如参考图象的参考距离值越小，在参考帧列表中的位置越靠后，对于参考距离相同的图象，视间隔越小越靠前或靠后，若视间隔一样，则视序号较小的靠前或靠后；总之，只要能够保证参考帧列表中以预定的策略可以选择到最佳的参考图象进行编解码操作即可；
如果构建的双向预测图象的参考帧列表，则分别构建前向和后向两个参考帧列表，其中：
(1)前向列表分为两个部分，处于列表前面一部分的参考图象的时间顺序编号小于当前图象的时间顺序编号，或者时间顺序编号相同但是视编号小于当前图象的视编号，将其按照距离从小到大排列放入参考帧列表；处于列表后面一部分的参考图象的时间顺序编号大于当前图象的时间顺序编号，或者时间顺序编号相同但是视编号大于当前图象的视编号，将其按照距离从小到大放入参考帧列表；
(2)后向列表同样分为两个部分，处于列表前面一部分的参考图象的时间顺序编号大于当前图象的时间顺序编号，或者时间顺序编号相同但是视编号大于当前图象的视编号，将其按照距离从小到大放入参考帧列表；处于列表后面一部分的参考图象的时间顺序编号小于当前图象的时间顺序编号，或者时间顺序编号相同但是视编号小于当前图象的视编号，将其按照距离从小到大排列放入参考帧列表。
步骤33：当参考帧列表构建完毕后，可以利用多参考帧技术进行后续的编码操作，即对当前图象进行编码前，从参考帧列表中为当前图象依顺序选择确定相应的参考图象；
由于之前参考帧列表的过程已经将各参考图象根据预测效果以预定的顺序保存于表中，例如保证预测效果好的参考帧在所述参考帧列表中位置靠前；则在该步骤中依顺序便可以从所述参考帧列表中最佳的参考图象；
步骤34：采用选择的参考图象对当前图象进行编码操作；
在上述处理过程中，保证了无论用于参考的实际参考帧的数量有多少，均可以令最有参考价值的参考帧不会丢失；而且，在上述处理过程中还可以保证参考效果最佳的参考帧被选为实际预测参考帧的概率最高。
本发明提供的多视视频编码装置的实施例如图4所示，具体包括以下各处理单元：
(1)参考距离获取单元
该单元用于根据参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
而且，所述的参考距离获取单元具体可以包括：
第一计算单元，用于计算参考帧的时间距离和空间距离，并且分别乘以相应的权重因子；
第二计算单元，用于将第一计算单元计算获得的两乘积相加后作为所述的参考距离；
(2)排序处理单元
该装置的实施例中还可以包括排序处理单元，其用于在确定的参考图象的参考距离值后，对当前图象进行编码前，还可以将当前图象的所有参考图象按照该参考距离值进行排序处理，以便于进行参考图象的选择；这样，所述的参考图象选择单元便可以较为方便地从排序后的参考图象中依顺序获取其中的一帧或者多帧图象作为当前图象的参考图象，即使得编码过程中不仅可以选择应用参考效果最佳的参考图象，同时还可以使得选择的过程中更为方便快捷，有利于提高编码效率；
其中，所述的排序处理单元具体包括：当编码单向预测帧时，从排序后的参考图象中依顺序获取其中的一帧或者多帧图象构成当前图象的参考图象序列；当编码双向预测帧时，从排序后的参考图象中依顺序获取其中显示时间在当前图象之前的一帧或者多帧图象构成第一个参考图象序列，依顺序获取显示时间在当前图象之后的一帧或者多帧图象构成第二个参考图象序列。
(3)参考图象选择单元
该单元用于根据各备选参考图象的参考距离选择确定当前图象编码过程中需要采用的参考图象；
(4)编码操作单元
用于利用参考图象选择单元选择确定的参考图象对当前图象进行编码；
(5)参考距离保存单元
该装置的实施例中还可以包括参考距离保存单元，其用于预先根据各视的位置及编码时刻将参考图象的参考距离保存于参考距离表中，所述的参考距离表以空间距离和时间距离值索引或者以参考图象所处的时刻和视索引；这样，所述的参考距离获取单元便可以通过查询该参考距离表较为方便地获得所述的参考距离，从而进一步提高编码效率；
本发明提供的多视视频解码方法的实施例如图5所示，具体包括：
步骤51：计算参考帧缓冲区内所有重建图象与当前需要解码的当前图象之间的参考距离；
其中，具体的确定参考距离的方式与编码端对应，即与前面所述的编码方法对应，根据所述时间距离和空间距离进行参考距离的计算确定，为保证正确解码，在解码端具体采用的参考距离确定策略需要与编码端采用的参考距离确定策略相同；
在该步骤中，所述参考距离的具体计算方式如下：
参考距离(Distance)＝第一权重因子x时间距离(TD)+第二权重因子x空间距离(SD)，其中：
所述的时间距离是指参考图象与当前图象在时间上的间隔长短，具体一点，所述的时间距离为参考图象与当前图象的采集或显示的时间间隔，或者为参考图象与当前图象间隔的图象数；
所述的空间距离是指参考图象所处的视与当前图象所处的视之间的距离，具体可以体现为拍摄视图象的摄像机之间的距离或为参考图象对应的视与当前图象对应的视之间的视的数目；
所述的权重因子是用于衡量时间距离和空间距离在预测效果上的差异，其具体可以为设定的常数或者根据解码器参数计算得到的数值。
步骤52：根据计算的参考帧距离构建当前图象对应的参考帧列表；
相应的构建所述参考帧列表的原则与编码端遵循的原则相同，即在解码端需要采用与上述编码方法实施例中提供的构建参考帧列表的处理方式相同，这样，才可以保证解码端能够正确地进行解码操作；
其中，构建所述参考帧列表的原则可以为：参考图象的参考距离值越小，在参考帧列表中的位置越靠前；其中，还包括对于参考距离相同的图象，视间隔越小越靠前，若视间隔一样，则视序号较小的靠前；以保证参考帧列表中以预定的策略可以选择到最佳的参考图象进行编解码操作；
如果构建的双向预测图象的参考帧列表，则分别构建前向和后向两个参考帧列表，其中：
(1)前向列表分为两个部分，处于列表前面一部分的参考图象的时间顺序编号小于当前图象的时间顺序编号，或者时间顺序编号相同但是视编号小于当前图象的视编号，将其按照距离从小到大排列放入参考帧列表；处于列表后面一部分的参考图象的时间顺序编号大于当前图象的时间顺序编号，或者时间顺序编号相同但是视编号大于当前图象的视编号，将其按照距离从小到大放入参考帧列表；
(2)后向列表同样分为两个部分，处于列表前面一部分的参考图象的时间顺序编号大于当前图象的时间顺序编号，或者时间顺序编号相同但是视编号大于当前图象的视编号，将其按照距离从小到大放入参考帧列表；处于列表后面一部分的参考图象的时间顺序编号小于当前图象的时间顺序编号，或者时间顺序编号相同但是视编号小于当前图象的视编号，将其按照距离从小到大排列放入参考帧列表。
步骤53：当解码端的参考帧列表构建完毕后，可以利用多参考帧技术进行后续的解码操作，即对当前图象进行解码前，从参考帧列表中为当前图象依顺序选择确定相应的参考图象；
步骤54：采用选择的参考图象对当前图象进行解码操作。
由于解码端的参考图象选择确定处理方式与编码端采用的参考图象选择确定处理方式相同，故在此不对相应的处理进行详细描述。
本发明提供的多视视频解码装置的实施例如图6所示，具体包括：
(1)参考距离获取单元
该单元用于根据参考图象与当前图象之间的时间距离和空间距离采用与编码端对应的策略确定各备选参考图象与当前图象之间的参考距离；
(2)排序处理单元
当计算得到各个参考帧的距离之后，利用排序处理单元按照各个参考帧距离对参考帧进行排序。其排序的结果以供参考图象选择单元进行参考图象的选择。
排序处理单元中包括单向预测帧排序和双向预测帧排序。单向预测帧排序时，从排序后的参考图象中依顺序获取其中的一帧或者多帧图象构成当前解码图象的参考图象序列；双向预测帧排序时，从排序后的参考图象中依顺序获取其中显示时间在当前解码图象之前的一帧或者多帧图象构成第一个参考图象序列，依顺序获取显示时间在当前解码图象之后的一帧或者多帧图象构成第二个参考图象序列。
(3)参考图象选择单元
该单元用于根据各备选参考图象的参考距离采用与编码端对应的策略选择确定当前图象采用的参考图象；
(4)解码操作单元
该单元用于利用参考图象选择单元选择确定的参考图象对当前图象进行解码。
另外，所述的装置还包括参考距离保存单元，用于预先根据各视的位置及编码时刻将参考图象的参考距离保存于参考距离表中，所述的参考距离表以空间距离和时间距离值索引或者以参考图象所处的时刻和视索引；且所述的参考距离获取单元用于通过查询该参考距离表获得所述的参考距离。
再者，所述的装置还包括排序处理单元，用于在确定的参考图象的参考距离值后，对当前图象进行解码前，将当前图象的所有参考图象按照该参考距离值进行排序；且所述的参考图象选择单元用于从排序后的参考图象中依顺序获取其中的一帧或者多帧图象作为当前图象的参考图象。
同样，由于解码装置需要与编码装置的结构对应才可以保证解码的正确性，故解码装置中参考图象选择确定处理方式与编码装置采用的参考图象选择确定处理方式相同，这样，两装置包含的处理单元也基本相同，故在此不再对解码装置相应的处理单元进行详细描述。
在上述各实施例提供的实现方案中，分别是通过计算参考距离对参考图象进行排序，从而可以基于参考距离在各参考图象中选择参考效率较好的参考图象进行编码操作。为了进行该参考距离的计算，则需要确定的备选的参考图象的时间距离及空间距离，具体可以分别以时间间隔参数和视间隔参数表示。在本发明提供的实施例中，假设：利用“view_poc”表示图象在其视中的时间顺序编号，用“view_id”表示视的编号，这样，便可以采用view_poc的差值表示时间间隔大小，采用view_id的差值表示视间隔的大小，假设采用“D”表示计算得到的参考距离，则该参考距离D可以为：
D＝|view_poc_current-view_poc_ref|+αx|view_id_current-view_id_ref|
其中，view_poc_current，view_id_current，view_poc_ref，view_id_ref分别表示当前图象的时间顺序编号和视顺序编号，以及参考图象的时间顺序编号和视顺序编号；α为权重因子，在此取值可以为1.5；|·|表示取绝对值。
为便于对上述各实施例中的参考距离的确定方式的进一步理解，下面将具体通过两种预测结构的多视编码方案对其进行说明。
(一)单向预测编码结构
如图7所示，分别包括A，B，C，D，E五个视，其视编号“view_id”分别为1，2，3，4，5。对于视A内图象，按照时间顺序，其时间顺序编号“view_poc”分别为1，2，3，4，5......。在该单向预测结构中，首先编码第一个时刻各个视图象，在编码后续时刻视图象的过程中，为了保证低延时，需要限定处于同一时刻其他视的图象不被作为参考图象，而只能参考已经编码过的其它时刻的图象。比如在编码C3图象时，图象A3，B3，D3和E3不能作为其参考图象。而相应的参考图象只能从图象A1，B1，C1，D1，E1，A2，B2，C2，D2和E2中选择。假设在该实施例中，允许的最大参考帧数为五，则在图象A1，B1，C1，D1，E1，A2，B2，C2，D2和E2中选择排序前5个参考图象放入参考帧列表中。
相应的具体的参考帧列表的生成过程包括：
在第一个时刻各个视图象编码过程中，由于时间距离均为0，因此按照空间距离排序，而编码顺序同样为视编号从小到大，因此图象在缓冲区内的顺序也就是排序结果；
在编码第二个时刻视图象过程中，由于为并行编码，因此参考帧缓冲区内可用的图象为A1，B1，C1，D1，E1；其中，在编码A2时，排序结果为A1(D＝1)，B1(D＝2.5)，C1(D＝4)，D1(D＝5.5)，E1(D＝7)；同理，在编码B2时，排序结果为B1，A1，C1，D1，E1；针对其他帧排序结果以此类推；
在编码第三个时刻图象时，参考帧缓冲区内可用做参考的图象为A1，B1，C1，D1，E1，A2，B2，C2，D2，E2；其中，在编码A3时，排序结果为A2，A1，B2，B1，C2，C1，D2，D1，E2，E1，取前五帧为参考帧即为A2，A1，B2，B1，C2；在编码B3时，排序结果为B2，B1，A2，A1，C2，C1，D2，D1，E2，E1，取前五帧为参考帧为B2，B1，A2，A1，C2，以此类推。
针对图7，相应的编码前四个时刻参考帧内的图象排列和选择的参考图象如下面的表1所示：
表1
 
编码图象 参考帧缓冲区 排序结果 参考列表
A1 无 无 无
B1 A1 A1 A1
C1 B1.A1 B1，A1 B1，A1
D1 C1，B1，A1 C1，B1，A1 C1，B1，A1
E1 D1，C1，B1，A1 D1，C1，B1，A1 D1，C1，B1，A1
A2 E1，D1，C1，B1，A1 A1，B1，C1，D1，E1 A1，B1，C1，D1，E1
B2 E1，D1，C1，B1，A1 B1，A1，C1，D1，E1 B1，A1，C1，D1，E1
C2 E1，D1，C1，B1，A1 C1，B1，D1，A1，E1 C1，B1，D1，A1，E1
D2 E1，D1，C1，B1，A1 D1，C1，E1，B1，A1 D1，C1，E1，B1，A1
E2 E1，D1，C1，B1，A1 E1，D1，C1，B1，A1 E1，D1，C1，B1，A1
A3 E2，D2，C2，B2，A2，E1，D1，C1，B1，A1 A2，A1，B2，B1，C2，C1，D2，D1，E2，E1 A2，A1，B2，B1，C2
B3 E2，D2，C2，B2，A2，E1，D1，C1，B1，A1 B2，B1，A2，A1，C2，C1，D2，D1，E2，E1 B2，B1，A2，A1，C2
C3 E2，D2，C2，B2，A2，E1，D1，C1，B1，A1 C2，C1，B2，B1，D2，D1，A2，A1，E2，E1 C2，C1，B2，B1，D2
D3 E2，D2，C2，B2，A2，E1，D1，C1，B1，A1 D2，D1，C2，C1，，E2，E1，B2，B1，A2，A1 D2，D1，C2，C1，E2
E3 E2，D2，C2，B2，A2，E1，D1，C1，B1，A1 E2，E1，D2，D1，C2，C1，B2，B1，A2，，A1 E2，E1，D2，D1，C2
A4 E3，D3，C3，B3，A3，E2，D2，C2，B2，A2E1，D1，C1，B1，A1 A3，A2，B3，A1，B2，C3，B1，C2，D3，C1，D2，E3，D1，E2，E1 A3，A2，B3，A1，B2
B4 E3，D3，C3，B3，A3，E2，D2，C2，B2，A2E1，D1，C1，B1，A1 B3，B2，A3，C3，B1，A2，C2，D3，A1，B1，D2，E3，D1，E2，E1 B3，B2，A3，C3，B1
C4 E3，D3，C3，B3，A3，E2，D2，C2，B2，A2E1，D1，C1，B1，A1 C3，C2，B3，D3，C1，B2，D2，A3，E3，B1D1，A2，E2，A1，E1 C3，C2，B3，D3，C1
D4 E3，D3，C3，B3，A3，E2，D2，C2，B2，A2E1，D1，C1，B1，A1 D3，D2，C3，E3，D1，C2，E2，B3，C1，E1B2，A3，B1，A2，A1 D3，D2，C3，E3，D1
 
E4 E3，D3，C3，B3，A3，E2，D2，C2，B2，A2E1，D1，C1，B1，A1 E3，E2，D3，E1，D2，C3，D1，C3，B3，C1B2，A3，B1，A2，A1 E3，E2，D3，E1，D2
可以看出，对于参考帧缓冲区内容更新是在每一个新的时刻图象开始编码时完成。因此，可以采用多视并行进行编码的编码实现方案。
(一)双向预测编码结构
在此，再结合图4对在每一个编码图象完毕均更新参考帧缓冲区内可用的参考图象的处理过程进行描述。
如图4所示，包括A，B，C，D，E五个视，其视编号分别为1，2，3，4，5；对于视A内图象，按照时间顺序其编号“view_poc”分别为1，2，3......。
在该双向预测的编码结构中，采用了可分级的B帧进行编码，编码过程可能利用同一时刻其他视图象作为参考图象。
在该编码结构中，相应的编码过程为：首先，编码第一个时刻的各个视图象；然后，编码第三时刻图象A3，C3，E3；最后，编码A2，C2，E2，B3，D3，最后编码B2，D2。
下面将对该双向预测的编码结构中的参考帧列表的生成过程进行说明：
由于该结构中存在双向预测的编码图象，因此要分别构建B帧的前向和后项参考帧列表；例如，在编码图象B2时，其参考图象缓冲区内的图象有A1，B1，C1，D1，E1，A2，C2，E2，A3，B3，C3，D3，E3；其前向列表排序结果为B1，A2，A1，C1，D1，E1，B3，C2，A3，C3，D3，E2，E3，对应的各图象的距离值分别为1，1.5，2.5，2.5，4，5.5，1，1.5，2.5，2.5，4，4.5，5.5；后向列表排序结果为B3，C2，A3，C3，D3，E2，E3，B1，A2，A1，C1，D1，E1，对应的各图象的距离值分别为1，1.5，2.5，2.5，4，4.5，5.5，1，1.5，2.5，2.5，4，5.5。
在该编码结构中，在编码前三个时间点图象时参考帧缓冲区内变化的情况如下面的表2所示：
表2
Figure S07104530320070126D000161
需要说明的是，本发明提供的各实施例中，相应的计算各参考帧的参考距离值的过程中，并不局限于上述实现方案。例如，还可以通过通过查找预先保存的参考距离表的方式获得所述的参考距离值，下面将对该获得参考距离的实现方案进行说明。
由于参考距离值与空间距离和时间距离相关，而且，通常多视视频中摄像机的位置相对固定，因此各个视的空间距离相对固定。另外，若在时间点上对参考帧的帧数施加一定的限制，则编码图象的拓扑结构可以确定，并且图象点数是有限点。此时，若空间距离的权重固定，则图象间的参考距离固定，这样，便可以用参考距离表的形式将相应的参考距离预先存储，以便后续过程中查找确定相应的参考距离值。
具体为：在编码和解码过程中，距离值并不需要通过显式的计算，而是通过查找所述的参考距离表获得。同样，以图7所示的编码结构为例，共有A，B，C，D，E五个视，相对于A视，其空间距离分别为0，1，2，3，4，如果取固定的空间距离权重，并且限制参考帧图象最多为时间上的5帧，时间点从当前图象的时间往前分别是t1，t2，t3，t4，t5，则相应的参考距离表便可以如表3所示：
表3参考距离表(假设空间距离权重因子为1.5)
 
A B C D E
t1 0 1.5 3 4.5 6
t2 1 2.5 4 5.5 7
t3 2 3.5 5 6.5 8
t4 3 4.5 6 7.5 9
t5 4 5.5 7 8.5 10
当进行距离的计算时，通过确定参考图象所处的视和时间点，便可以查找该参考距离表较为方便地获得相应的参考距离值；例如，参考帧处于D视，时刻为t3，那么得到距离值为6.5。
当各个视图象平行排列，并且其空间间隔距离相等的情况下，为各个视分别制定的距离表可以统一成一张表，该表采用空间距离和时间距离为索引，可以查得参考帧距离，如表4所示；
表4参考帧距离表(假设空间距离权重因子为1.5)
Figure S07104530320070126D000181
基于表4，当计算参考帧对应的参考距离时，则首先根据当前图象和参考图象的位置关系分别得到空间距离和时间距离，之后，便可以利用两距离值查表得到对应的参考距离；同样，仍以图7为例，当前图象为D4，参考图象为A2，计算空间距离和时间距离分别为3、2，查表得到参考帧距离为6.5；又比如当前图象为B5，参考图象为C4，空间距离和时间距离分别为1、1，查表得距离为2.5。
总之，本发明提供的各实施例采用计算参考帧与当前帧距离的方法对参考帧进行排序，例如，相应的参考距离越小，在参考帧列表中越靠前，以保证参考效果较佳的参考图象被优先选用，从而可以有效的提高编码效率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (17)

1.一种多视视频编码方法，其特征在于，包括：
根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
将当前图象的备选参考图象按照该参考距离从小到大进行排序；
从排序后的备选参考图象中依序获取其中的一帧或者多帧图象作为当前图象的参考图象，并利用所述参考图象对当前图象进行编码。
2.根据权利要求1所述的方法，其特征在于，所述的参考距离为通过备选参考图象与当前图象间的时间距离和空间距离的线性组合计算获得。
3.根据权利要求2所述的方法，其特征在于，所述的时间距离和空间距离的线性组合方式包括：
参考距离＝第一权重因子×时间距离+第二权重因子×空间距离，其中，所述第一权重因子或第二权重因子为设定的常数或者根据编码器参数计算得到的数值。
4.根据权利要求1所述的方法，其特征在于，所述的时间距离为备选参考图象与当前图象的采集或显示的时间间隔，所述的空间距离为备选参考图象对应的视与当前图象对应的视之间的距离；或者，所述的时间距离为备选参考图象与当前图象间隔的图象数，所述的空间距离为备选参考图象对应的视与当前图象对应的视之间的视的数目。
5.根据权利要求4所述的方法，其特征在于，若将同一个视内的图象序列进行编号，则所述的备选参考图象与当前图象间隔的图象数为其对应的序号的差值的绝对值；若将编码的多个视进行编号，则备选参考图象对应的视与当前图象对应的视之间的视的数目为其对应的视编号的差值的绝对值。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述的方法还包括：预先根据各视的位置及编码时刻将备选参考图象的参考距离保存于参考距离表中，所述的参考距离表以空间距离和时间距离值索引或者以备选参考图象所处的时刻和视索引；且所述的确定各备选参考图象与当前图象之间的参考距离包括：通过查询该参考距离表获得所述的参考距离。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：将所述参考图象列入参考图象列表中。
8.根据权利要求7所述的方法，其特征在于，所述的从排序后的备选参考图象中依序获取其中的一帧或者多帧图象作为当前图象的参考图象具体包括：当编码单向预测帧时，从排序后的备选参考图象中依顺序获取其中的一帧或者多帧图象构成当前图象的参考图象序列；当编码双向预测帧时，从排序后的备选参考图象中依顺序获取其中显示时间在当前图象之前的一帧或者多帧图象构成第一个参考图象序列，依顺序获取显示时间在当前图象之后的一帧或者多帧图象构成第二个参考图象序列。
9.一种多视视频编码装置，其特征在于，包括：
参考距离获取单元，用于根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
排序处理单元，用于将当前图象的备选参考图象按照该参考距离从小到大进行排序；
参考图象选择单元，用于从排序后的备选参考图象中依序获取其中的一帧或者多帧图象作为当前图象的参考图象；
编码操作单元，用于利用参考图象选择单元选择确定的所述参考图象对当前图象进行编码。
10.根据权利要求9所述的装置，其特征在于，所述的参考距离获取单元具体包括：
第一计算单元，用于计算第一权重因子与时间距离的乘积，以及第二权重因子与空间距离的乘积，其中，所述权重因子为设定的常数或根据编码器参数计算得到的数值；
第二计算单元，用于将第一计算单元计算获得的两乘积相加后作为所述的参考距离。
11.根据权利要求9所述的装置，其特征在于，所述的装置还包括参考距离保存单元：用于预先根据各视的位置及编码时刻将备选参考图象的参考距离保存于参考距离表中，所述的参考距离表以空间距离和时间距离值索引或者以备选参考图象所处的时刻和视索引；且所述的参考距离获取单元用于通过查询该参考距离表获得所述的参考距离。
12.根据权利要求9所述的装置，其特征在于，所述的参考图象选择单元具体包括：当编码单向预测帧时，从排序后的备选参考图象中依顺序获取其中的一帧或者多帧图象构成当前图象的参考图象列表；当编码双向预测帧时，从排序后的备选参考图象中依顺序获取其中显示时间在当前图象之前的一帧或者多帧图象构成第一个参考图象列表，依顺序获取显示时间在当前图象之后的一帧或者多帧图象构成第二个参考图象列表。
13.一种多视视频解码方法，其特征在于，包括：
根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
将当前图象的备选参考图象按照该参考距离从小到大进行排序；
从排序后的备选参考图象中依序获取其中的一帧或者多帧图象作为当前图象的参考图象，利用所述参考图象对当前图象进行解码。
14.根据权利要求13所述的方法，其特征在于，所述的方法还包括：预先根据各视的位置及编码时刻将备选参考图象的参考距离保存于参考距离表中，所述的参考距离表以空间距离和时间距离值索引或者以备选参考图象所处的时刻和视索引；且所述的确定各备选参考图象与当前图象之间的参考距离包括：通过查询该参考距离表获得所述的参考距离。
15.根据权利要求13或14所述的方法，其特征在于，所述的方法还包括：将所述参考图象列入参考图象列表中。
16.一种多视视频解码装置，其特征在于，包括：
参考距离获取单元，用于根据备选参考图象与当前图象之间的时间距离和空间距离确定各备选参考图象与当前图象之间的参考距离；
排序处理单元，用于将当前图象的备选参考图象按照该参考距离从小到大进行排序；
参考图象选择单元，用于从排序后的备选参考图象中依序获取其中的一帧或者多帧图象作为当前图象的参考图象；
解码操作单元，用于利用参考图象选择单元选择确定的所述参考图象对当前图象进行解码。
17.根据权利要求16所述的装置，其特征在于，所述的装置还包括参考距离保存单元，用于预先根据各视的位置及编码时刻将备选参考图象的参考距离保存于参考距离表中，所述的参考距离表以空间距离和时间距离值索引或者以备选参考图象所处的时刻和视索引；且所述的参考距离获取单元用于通过查询该参考距离表获得所述的参考距离。
CN2007100045303A 2007-01-08 2007-01-08 多视视频编解码方法及装置 Expired - Fee Related CN101222638B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2007100045303A CN101222638B (zh) 2007-01-08 2007-01-08 多视视频编解码方法及装置
PCT/CN2007/071376 WO2008083599A1 (en) 2007-01-08 2007-12-28 Multi-view video encoding and decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007100045303A CN101222638B (zh) 2007-01-08 2007-01-08 多视视频编解码方法及装置

Publications (2)

Publication Number Publication Date
CN101222638A CN101222638A (zh) 2008-07-16
CN101222638B true CN101222638B (zh) 2011-12-07

Family

ID=39608355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100045303A Expired - Fee Related CN101222638B (zh) 2007-01-08 2007-01-08 多视视频编解码方法及装置

Country Status (2)

Country Link
CN (1) CN101222638B (zh)
WO (1) WO2008083599A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3179723B1 (en) * 2011-09-09 2023-01-25 KT Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
US9338474B2 (en) * 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US9883205B2 (en) 2013-06-11 2018-01-30 Hfi Innovation Inc. Method of inter-view residual prediction with reduced complexity in three-dimensional video coding
KR101761523B1 (ko) 2013-10-17 2017-07-25 미디어텍 인크. 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법
CN103916672B (zh) * 2014-03-21 2018-03-13 华为技术有限公司 一种数据编解码方法、相关装置及系统
CN104539961B (zh) * 2014-12-12 2017-12-15 上海交通大学 基于分层结构渐进式字典学习的可分级视频编码系统
CN106303570B (zh) * 2016-08-22 2019-07-05 北京奇艺世纪科技有限公司 一种视频编码参考帧选择方法和装置
CN107483949A (zh) * 2017-07-26 2017-12-15 千目聚云数码科技（上海）有限公司 增加svac svc实用性的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1537390A (zh) * 2002-04-18 2004-10-13 ��ʽ���綫֥ 运动图像编码/解码方法和装置
CN1810041A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备
CN1863315A (zh) * 2002-04-18 2006-11-15 株式会社东芝 运动图像编码/解码方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263962A (zh) * 2004-12-10 2011-11-30 韩国电子通信研究院 对多视图视频进行统一编码的装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1537390A (zh) * 2002-04-18 2004-10-13 ��ʽ���綫֥ 运动图像编码/解码方法和装置
CN1863315A (zh) * 2002-04-18 2006-11-15 株式会社东芝 运动图像编码/解码方法和装置
CN1810041A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备

Also Published As

Publication number Publication date
CN101222638A (zh) 2008-07-16
WO2008083599A1 (en) 2008-07-17

Similar Documents

Publication Publication Date Title
CN101222638B (zh) 多视视频编解码方法及装置
CN109565590B (zh) 用于视频编解码的基于模型的运动向量推导
CN101227614B (zh) 视频编码系统的运动估计装置及其方法
CN102835111B (zh) 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备
KR101627399B1 (ko) 카메라와 배경 모션에 기반한 기준 프레임 버퍼의 적응적 구성
CN101610413B (zh) 一种视频的编码/解码方法及装置
KR100939917B1 (ko) 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
CN102113328B (zh) 确定用于比较运动补偿视频编码中的图像块的度量的方法和系统
US8619862B2 (en) Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream
CN104754355A (zh) 对运动矢量进行编码和解码的方法和设备
US8660191B2 (en) Software video decoder display buffer underflow prediction and recovery
CN102598670A (zh) 参考多个帧对图像进行编码/解码的方法和设备
US9351004B2 (en) Multiview video coding reference picture selection under a one reference picture constraint
US20120155540A1 (en) Pixel retrieval for frame reconstruction
CN105025298A (zh) 对图像进行编码/解码的方法和设备
CN105874800A (zh) 在相同帧中处理多个图像区域或处理多个帧的多个句法解析电路的句法解析装置和相关句法解析方法
CN102801982B (zh) 一种应用于视频压缩且基于块积分的快速运动估计方法
Slowack et al. Distributed video coding with feedback channel constraints
US20150055707A1 (en) Method and Apparatus for Motion Compensation Reference Data Caching
CN103327340B (zh) 一种整数搜索方法及装置
KR101502145B1 (ko) 영상 부호화/복호화 방법 및 장치
TWI833327B (zh) 視訊編解碼方法及裝置
CN112203087B (zh) 一种hevc帧内预测模式快速选择方法与系统
CN102833535A (zh) 一种基于宏块统计信息的参考帧筛选方法、装置
US20080317121A1 (en) Rate control methods and devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111207

Termination date: 20210108

CF01 Termination of patent right due to non-payment of annual fee