CN101222640A

CN101222640A - 确定参考帧的方法及其装置

Info

Publication number: CN101222640A
Application number: CN 200710004573
Authority: CN
Inventors: 林四新; 霍俊彦; 杨海涛; 常义林; 熊联欢
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2007-01-09
Filing date: 2007-01-09
Publication date: 2008-07-16
Anticipated expiration: 2027-01-09
Also published as: CN100571401C

Abstract

本发明公开了一种确定参考帧的方法，该方法包括：计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标；比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。本发明还公开了一种确定参考帧的装置。本发明能够合理地选择参考帧，避免了现有技术在任何情况下都不会选择视图间参考帧作为当前编码数据块的参考帧的缺陷，也使得采用视图间参考帧作为参考帧的DIRECT模式能够以更高的高率出现。

Description

确定参考帧的方法及其装置

技术领域

本发明涉及多视点视频编码技术领域，特别是一种确定参考帧的方法以及一种确定参考帧的装置。

背景技术

随着多媒体通信技术的发展，人们不再满足于传统的固定视点视频以及二维(2D)平面视频，从而在娱乐、教育、观光和外科医学等许多应用领域内出现了对于自由视点视频和三维(3D)视频的需求。例如，能够由观看者选择视角的自由视点电视(FTV)、以及向处于不同位置的观看者播放不同视角视频的三维电视(3D TV)。上述应用都要求使用多个摄像机在不同的空间位置以不同的角度同时获取同一场景的视频信号，并且还要求有效地对所获得的一组视频信号进行压缩编码和传输。所获得的这一组视频被称为多视点视频，而对它们进行压缩编码的过程被称为多视点视频编码。显然，多视点视频编码是实现上述所有自由视点视频类和3D视频类应用的一项关键技术。

HHI提出了一种与高级视频编码(Advanced Video Coding，AVC)兼容的多视点视频预测结构--分等级B帧预测结构。该技术充分利用了单个视点视频内部视图的时间相关性以及不同视点视图间的相关性进行预测编码，能够获得较高的编码增益。图1所示的是基于AVC的视图间分等级B帧预测结构，其中S0、S1、...S7是每个视图的序号，T0、T1、T2、...T3表示不同的时间点。由图1可以看出，S0是采用H.264的编码方式单独编码的视图，不需要其它视图做预测；S2、S4、S6、S7仅有一个视图作为其参考帧；S1、S3、S5利用上下相邻视图做预测，从而去除视图间的冗余信息。

H.264是目前为止最新的视频编码标准，在压缩效率、抗误码特性和网络接入等性能上都有巨大的提高。直接(DIRECT)模式是一种有效的帧间编码模式，它的运动矢量(MV)和参考帧索引(refIdx)信息通过已编码块的MV和refIdx信息推导得出，不需要传送，从而能够节省一定的码率。H.264中的DIRECT模式包含时域DIRECT模式和空域DIRECT模式两种。其中，时域DIRECT模式是指MV由其最邻近的后向参考帧相同位置块的MV推导得出，而空间DIRECT模式的MV信息和refIdx信息是由当前编码块的相邻块的MV和refIdx推导得出。

H.264中的空间DIRECT模式主要包括两大步骤：首先完成参考帧选择过程，其次完成MV的推导过程。图2给出了当前块的相邻块的示意图，其中E块为当前编码块，A块为E的左块，B块为E的上块，C块为E的右上块，并且当C块不存在时，用左上的D块来代替C块。

在现有的空间DIRECT模式中，参考帧的选择机制如下：选取A、B、C块中最小的有效参考帧索引refIdx作为当前块DIRECT模式的参考帧。这里的有效refIdx是指大于0的refIdx。当某个块仅采用单向预测时，未使用的一侧的refIdx等于-1。

另外，在现有的空间DIRECT模式中，MV推导过程如下：默认选用A、B、C块MV的平均值作为当前块E的MV；并且，如果A、B、C中仅有一个块的参考帧与当前块的参考帧相同时，优先选择该块的MV作为当前块E的MV。

在上述空间DIRECT模式的参考帧选择机制中，参考帧选择3个邻近块中最小的非负refIdx作为当前块的参考帧。该机制认为refIdx越小的参考帧与当前块越相似。

但是，在多视点编码时，参考帧列表中同时存放了两种性质的参考帧。一种是与当前帧处于同一视图的参考帧，称为视图内参考帧；另一种是与当前帧处于同一时刻但属于不同视图的参考帧，称为视图间参考帧。例如，在图1中，编码S1视图中T2时刻的帧时，S1中T0和T4时刻的帧是其视图内参考帧，而S0中T2和S2中T2时刻的帧为其视图间参考帧。

多视点编码中的参考帧管理机制仍旧沿用H.264中的机制，采用两个参考帧列表。不同的是先存放视图内参考帧，然后存放视图间参考帧，由于先存放的参考帧的refIdx较小，所以视图内参考帧的refIdx总是小于视图间参考帧的refIdx。那么，依据空间DIRECT的参考帧选择机制，只要三个邻近块中有一个块选视图内参考帧作为参考帧，那么当前块的参考帧将会选成视图内参考帧。然而，如果三个邻近块中有两个块选视图间参考帧作为参考帧，那么在一定程度上说明视图间相关性更强一些。但是，现有的机制导致了采用视图间参考帧作为参考帧的DIRECT模式出现的概率非常小，从而降低了编码的效率。

发明内容

有鉴于此，本发明提出了一种确定参考帧的方法，用以合理地选择参考帧。本发明还提出了一种确定参考帧的装置。

本发明提供了一种确定参考帧的方法，该方法包括：

计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标；

比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。

该方法进一步包括：设置标志位，用以表示当前数据块的参考帧是否为视图间参考帧。

该方法进一步包括：在选取视图内参考帧情况下的性能指标优于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧确定为当前数据块的参考帧；和/或，在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的参考帧。

该方法进一步包括：设置标志位，用以表示当前数据块的参考帧为视图内参考帧或者视图间参考帧。

所述计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标之前进一步包括：在参考帧列表中选取视图内参考帧和视图间参考帧作为当前数据块的参考帧。

该方法进一步包括：改变参考帧列表中参考帧的排列顺序。

在上述技术方案中，所述性能指标为比特率、失真率或者代价。

本发明还提供了一种确定参考帧的装置，该装置包括：

性能指标计算模块，用于计算选取视图内参考帧情况下的性能指标以及计算选取视图间参考帧情况下的性能指标；

参考帧确定模块，用于比较所述选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定为当前块的参考帧。

所述参考帧确定模块进一步用于设置用以表示当前块的参考帧是否为视图间参考帧的标志位。

所述参考帧确定模块进一步用于在选取视图内参考帧情况下的性能指标优于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧确定为当前块的参考帧，和/或，在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的参考帧。

所述参考帧确定模块进一步用于设置用以表示当前块的参考帧为视图内参考帧或者视图间参考帧的标志位。

该装置进一步包括：选取模块，用于在参考帧列表中选取作为当前数据块参考帧的视图内参考帧和视图间参考帧，并提供给所述性能指标计算模块。

从上述方案中可以看出，由于本发明计算了在选取视图内参考帧作为当前编码数据块参考帧情况下的性能指标以及在选取视图间参考帧作为当前编码数据块参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图间参考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧，从而使得合理地选择了参考帧，避免了现有技术在任何情况下都不会选择视图间参考帧作为当前编码数据块的参考帧的缺陷，也使得采用视图间参考帧作为参考帧的DIRECT模式能够以更高的高率出现。由于能够在性能指标更佳的情况下进行编码，所以本发明还提高了编码的效率。而且，由于提高了DIRECT模式出现的概率，而DIRECT模式无需进行运动估计也无需携带MV和refIdx，所以本发明还进一步提高了编码的效率，降低了编码的数据量。

附图说明

图1为基于AVC的视图间分等级B帧预测结构；

图2为当前块的临近块的示意图；

图3为本发明实施例中确定参考帧的方法的流程示意图；

图4为本发明实施例中确定参考帧的装置的结构示意图；

图5为采用JMVM2和本发明实施例方法时选取DIRECT模式的数目图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。

多视点编码的主要目的是为了去除视图间的相关性，现有的工作主要围绕这个问题在做。联合视频组(JVT)建立了一些核心实验，如亮度补偿、视图合成等。具体到编码层，就是希望采用视图间参考帧的比例有所增加。DIRECT模式在提高压缩效率方面起着比较重要的作用。根据前面的分析，采用视图间参考帧作为参考帧的DIRECT模式的概率非常小。

本发明的实施例考虑到时间相关性和视图间相关性的独立性，分别对视图内参考帧和视图间参考帧做DIRECT模式，选择性能指标较佳的一个作为空间DIRECT模式的参考帧。

当前编码的数据块可以是块(block)、宏块(macro block)等，在下面的说明中以块为代表进行描述。

在本发明实施例中，同时还可以添加表示参考帧是视图内参考帧或视图间参考帧的标志位Direct_rps_flag。例如，如果Direct_rps_flag等于0，采用视图内参考帧；如果Direct_rps_flag等于1，采用视图间参考帧。采用本方法可以充分地比较当前编码块的视图相关性和时间相关性。

图3为本发明实施例中确定当前块空间DIRECT模式的参考帧的流程示意图。参照图3，该方法包括以下流程：

步骤101，在参考帧列表中选取视图内参考帧作为当前块空间DIRECT模式的参考帧，从而做一次空间DIRECT模式并计算此时的性能指标。性能指标可以采用比特率、失真率、代价等等，在下面的描述中以代价为例进行说明，但是在具体应用中可以选取其它的性能指标。

在参考帧列表中选取视图内参考帧具有许多种方法。例如，根据参考帧信息中的视图识别标识来选取，视图识别标识与当前块的视图识别标识一致的参考帧为视图内参考帧，而视图识别标识与当前块的视图识别标识不一致的参考帧为视图间参考帧，因此在这里选取视图识别标识与当前块的视图识别标识一致的参考帧。另外，也可以利用视频的播放顺序来选取，时间点与当前块的时间点不同的参考帧为视图内参考帧，时间点与当前块的时间点相同的参考帧为视图间参考帧，因此在此选取时间点与当前块的时间点不同的参考帧。需要说明的是，本发明并不局限于这些方法。

步骤102，推导在上述选取视图内参考帧作为当前块空间DIRECT模式的参考帧情况下的MV。例如，可以使用现有的方法推导MV，这里不再赘述。然后，计算这种情况下的代价cost_intra_view。

可以采用多种方法来计算代价cost_intra_view。举例来说：首先，根据所述视图内参考帧和推导出的MV得到重建帧；接着，根据重建帧和当前帧计算得到失真率；然后，根据失真率和编码的比特率计算得到cost_intra_view，例如将失真率和比特率相成得到一个cost_inter_view。这里介绍的是一种较为简单的例子，在现有技术中还有其它许多计算代价的方法，这里不一一描述，并且本发明并不局限于上述方法。

步骤103，在参考帧列表中选择视图间参考帧作为当前块空间DIRECT模式的参考帧，从而也做一次空间DIRECT模式并计算此时的性能指标。

同样，在参考帧列表中选取视图间参考帧具有许多种方法。例如，根据参考帧信息中的视图识别标识来选取，视图识别标识与当前块的视图识别标识一致的参考帧为视图内参考帧，而视图识别标识与当前块的视图识别标识不一致的参考帧为视图间参考帧，所以在这里选取视图识别标识与当前块的视图识别标识不一致的参考帧。另外，也可以利用视频的播放顺序来选取，时间点与当前块的时间点不同的参考帧为视图内参考帧，时间点与当前块的时间点相同的参考帧为视图间参考帧，因此在此选取时间点与当前块的时间点相同的参考帧。同样，本发明并不局限于这些方法。

步骤104，推导在上述选取视图间参考帧作为当前块空间DIRECT模式的参考帧情况下的MV。例如，使用现有的方法推导MV，这里不再赘述。然后，计算与最佳匹配块的代价cost_inter_view。

在本步骤中可以使用上面步骤102中所述的各种方法来计算代价cost_inter_view，只需要将其中的视图内参考帧替换为视图间参考帧。同样，本发明并不局限于这种计算方法。

需要注意的是，在步骤101至步骤102中计算了在选取视图内参考帧作为当前块空间DIRECT模式的参考帧情况下的性能指标，在步骤103至步骤104中计算了在选取视图间参考帧作为当前块空间DIRECT模式的参考帧情况下的性能指标，在具体实现时，步骤101至步骤102与步骤103至步骤104并不需要按照上述顺序执行，可以先执行步骤103至步骤104后执行步骤101至步骤102，也可以同时执行步骤101至步骤102和步骤103至步骤104。上面的说明顺序只是为了描述方便，本发明对此并不作特别的限制。

步骤105，比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，执行步骤106及其后续步骤。执行步骤107及其后续步骤。

当性能指标具体为代价时，在本步骤中，比较cost_intra_view和cost_inter_view，在cost_intra_view大于cost_inter_view以及cost_inter_view小于cost_intra_view时，将步骤103中选取的视图间参考帧确定为当前块空间DIRECT模式的参考帧，执行步骤106及其后续步骤；否则，将步骤101中选取的视图内参考帧确定为当前块空间DIRECT模式的参考帧，执行步骤107及其后续步骤。当然，在cost_intra_view＝cost_inter_view时，可以将步骤103中选取的视图间参考帧确定为当前块空间DIRECT模式的参考帧，也可以将步骤101中选取的视图内参考帧确定为当前块空间DIRECT模式的参考帧。

步骤106，将所述视图间参考帧确定为当前块空间DIRECT模式的参考帧，设置用以表示当前块空间DIRECT模式的参考帧为视图间参考帧的标志位，即设置表示参考帧是否是视图间参考帧的Direct_rps_flag＝1。那么，在解码端，就可以根据该标志位得知当前块空间DIRECT模式的参考帧为视图间参考帧，从而根据视图间参考帧进行解码。本流程结束。

步骤107，将所述视图内参考帧确定为当前块空间DIRECT模式的参考帧，设置用以表示当前块的空间DIRECT模式参考帧为视图内参考帧的标志位，即设置Direct_rps_flag＝0。那么，在解码端，就可以根据该标志位得知当前块的空间DIRECT模式参考帧位视图内参考帧，从而根据视图内参考帧进行解码。本流程结束。

另外，也可以不设置Direct_rps_flag＝0，那么解码端与现有技术一样根据视图内参考帧进行解码。

需要注意的是，在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下的性能指标时，可以将所述视图内参考帧或者视图间参考帧确定为当前块空间DIRECT模式的参考帧。

在使用本实施例的上述方法之后，参考帧列表可以不按照现有技术中先存放视图内参考帧后存放视图间参考帧的顺序来存放参考帧，那么可以进一步改变现有的参考帧列表中参考帧的排列顺序，从而提高了参考帧管理的灵活性。

图4为本发明实施例中用于确定参考帧的装置的结构示意图。参照图4，该装置包括性能指标计算模块和参考帧确定模块，还可以进一步包括选取模块。

其中，性能指标计算模块主要用于计算在选取视图内参考帧作为当前块空间DIRECT模式的参考帧情况下的性能指标，以及计算在选取视图间参考帧作为当前块空间DIRECT模式的参考帧情况下的性能指标。该性能指标计算模块可以采用上述步骤102和步骤104中描述的性能指标计算方法。以计算代价cost_intra_view为例，首先，根据所述视图内参考帧和推导出的MV得到重建帧；接着，根据重建帧和当前帧计算得到失真率；然后，根据失真率和编码的比特率计算得到cost_intra_view。

参考帧确定模块主要用于比较选取视图内参考帧情况下的性能指标和选取视图间参考帧情况下的性能指标，在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，将视图间参考帧确定为当前块空间DIRECT模式的参考帧，否则将视图内参考帧确定为当前块空间DIRECT模式的参考帧。另外，所述参考帧确定模块在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下的性能指标时，可以将视图间参考帧确定为当前块空间DIRECT模式的参考帧，也可以将视图内参考帧确定为当前块空间DIRECT模式的参考帧。

进一步，在将视图间参考帧确定为当前块空间DIRECT模式的参考帧时，参考帧确定模块还可以设置用以表示当前块空间DIRECT模式的参考帧为视图间参考帧的标志位，例如前面所述的设置Direct_rps_flag＝1。那么，在解码端，就可以根据该标志位得知当前块的空间DIRECT模式参考帧为视图间参考帧，从而根据视图间参考帧进行解码。

另外，在将视图内参考帧确定为当前块空间DIRECT模式的参考帧时，参考帧确定模块可以设置用以表示当前块空间DIRECT模式的参考帧为视图内参考帧的标志位，例如设置Direct_rps_flag＝0，那么，在解码端就可以根据该标志位得知当前块空间DIRECT模式的参考帧为视图内参考帧，从而根据视图内参考帧进行解码；参考帧确定模块也可以不设置标志位，那么解码端与现有技术一样根据视图内参考帧进行解码。

继续参照图4，所述选取模块主要用于在参考帧列表中选择视图内参考帧作为当前块空间DIRECT模式的参考帧以及在参考帧列表中选择视图间参考帧作为当前块空间DIRECT模式的参考帧，然后将所选取的视图内参考帧和视图间参考帧提供给所述性能指标计算模块。该选取模块可以采用步骤101和步骤103中所述的方法进行操作，但是本发明并不局限于此。

如图4所示的装置可以作为编码设备的一个部分。

在采用本实施的方案后，采用视图间参考帧作为参考帧的DIRECT模式的比例有所增加，从而可以提高编码效率。同时由于DIRECT模式的MV和refIdx信息是由邻近块推导得出的，不需要做运动搜索，所以在步骤101至步骤104中做两次DIRECT模式不会引入很大的计算量。

图5为采用JMVM2和本发明实施例方法时选取DIRECT模式的数目图，给出了JMVM2和采用本实施例上述技术方案后ballroom序列S1到S7DIRECT模式选取的平均值比较。在图5中，横坐标为帧数(FrameNum)，纵坐标为选择DIRECT模式的块数(DirectNum)，其中“▲”表示采用JMVM2技术时选择DIRECT模式的块数，“■”表示采用本实施例技术后选择DIRECT模式的块数。从图5中可以看出采用本实施例技术方案后，DIRECT模式选取比例有所增加。而DIRECT模式选取的增加，可以提高编码效率，降低编码和后续解码的计算量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种确定参考帧的方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

设置标志位，用以表示当前数据块的参考帧是否为视图间参考帧。

3.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

在选取视图内参考帧情况下的性能指标优于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧确定为当前数据块的参考帧；和/或

在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的参考帧。

4.根据权利要求3所述的方法，其特征在于，该方法进一步包括：

设置标志位，用以表示当前数据块的参考帧为视图内参考帧或者视图间参考帧。

5.根据权利要求1所述的方法，其特征在于，所述计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标之前进一步包括：在参考帧列表中选取视图内参考帧和视图间参考帧作为当前数据块的参考帧。

6.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

改变参考帧列表中参考帧的排列顺序。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述性能指标为比特率、失真率或者代价。

8.一种确定参考帧的装置，其特征在于，该装置包括：

9.根据权利要求8所述的装置，其特征在于，所述参考帧确定模块进一步用于设置用以表示当前块的参考帧是否为视图间参考帧的标志位。

10.根据权利要求8所述的装置，其特征在于，所述参考帧确定模块进一步用于在选取视图内参考帧情况下的性能指标优于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧确定为当前块的参考帧，和/或，在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的参考帧。

11.根据权利要求10所述的装置，其特征在于，所述参考帧确定模块进一步用于设置用以表示当前块的参考帧为视图内参考帧或者视图间参考帧的标志位。

12.根据权利要求8所述的装置，其特征在于，该装置进一步包括：

选取模块，用于在参考帧列表中选取作为当前数据块参考帧的视图内参考帧和视图间参考帧，并提供给所述性能指标计算模块。