CN101557519B - 一种多视点视频编码方法 - Google Patents

Abstract

本发明公开了一种多视点视频编码方法，首先根据已编码相邻块的参考帧信息，确定先进行运动估计模式还是视差估计模式，然后对当前宏块遍历帧内模式、Skip模式、运动估计或视差估计的7种模式，并计算各个模式的RD开销，确定暂时的最佳模式；通过得到的暂时最佳模式进行不同的视差估计模式或运动估计模式计算，最后得到的最佳模式作为最终的编码模式，对当前宏块编码结束；本发明利用运动估计和视差估计模式之间的相关性，通过提前结束不必要的模式计算，降低多视点视频编码的计算复杂度；在几乎不降低图像质量的前提下，相比于遍历所有编码模式，减少了50％以上的编码时间。

Description

一种多视点视频编码方法

技术领域

本发明涉及一种多视点视频编码方法，属于多视点视频编码技术领域。

背景技术

随着通信与计算机视觉技术的发展，人们对于视频的要求不在满足于简单的二维平面视频，随之产生了多视点视频。与普通的视频相比，多视点视频能够提供更好的交互性以及更逼真的3D影像。针对多视点视频相应地出现了一些新兴的应用，例如任意视点视频/电视，3D视频/电视以及沉浸式视频会议等。多视点视频是由性能相似位置不同的一组摄像机对同一场景拍摄得到，由于其数据量相对于单个视频随摄像机数量的增加而成倍增加，对多视点视频进行高效压缩成为实现多视点视频应用的一项关键技术。

多视点视频中各个视点的图像之间存在着明显的数据冗余，即各个视点之间具有很强的相关性。当前，多视点视频编码是基于现有单个视点传统编码技术的扩展。利用传统视频编码中的运动估计和补偿来消除时间上的数据冗余，同时利用合理的视差估计和补偿有效地消除各视点图像之间的数据冗余。视差估计和运动估计技术在原理上是相同的，都是对于待编码的图像块在参考帧中搜寻与其差异最小的图像块，只是参考帧的选择不同。运动估计的参考帧是同一个视点内不同时间点的视频图像，而视差估计的参考帧是不同视点的视频图像。由于在传统视频编码领域，基于块预测结构的H.264/AVC已经发展地十分成熟，因此对于多视点视频编码技术的研究和应用主要是基于H.264/AVC标准。

基于H.264/AVC多视点视频编码技术具体在实现的时候，首先将编码图像按指定的大小(16×16)划分为不同的宏块，然后对于同一宏块采用不同的模式对其进行预编码，得到各个模式的率失真(Rate Distortion，RD)开销，即RD开销，最后选取RD开销最小的模式作为该宏块的最终编码模式。RD开销通过公式(1)计算得到：

$J(M,d)={\mathrm{SAD}}_{B_{m\×n}}\left(d\right)+\mathrm{\λ}\left(M\right)R\left(d\right)---\left(1\right)$

其中m×n代表编码宏块的大小，d是搜索到的运动/视差矢量，λ(M)是拉格朗日乘子，R(d)为对于该模式的比特开销(包括模式索引号、参考帧索引号和运动/视差矢量差值等)。

是待编码宏块和预测宏块的绝对误差和，可通过公式(2)得到，它反映了图像的失真度。

${\mathrm{SAD}}_{B_{m\×n}}\left(d\right)=\underset{x=1,y=1}{\overset{m,n}{\mathrm{\Σ}}}|f^s(x,y)-f^r(x+d_x,y+d_y)|---\left(2\right)$

其中f^s和f^r分别代表待编码帧和参考帧，d_x和d_y分别是运动/视差矢量的水平分量和垂直分量。

宏块采用的模式可分为：帧内(Intra)模式、跳过(Skip)模式、运动估计模式、视差估计模式，图1表示运动估计和视差估计模式以16×16大小的宏块为单元，按分块的方式又分为7种模式：16×16、16×8、8×16、8×8、8×4、4×8和4×4。现有的多视点视频编码技术在编码时需要遍历以上所有模式，其计算复杂度相当高，不利于多视点视频技术的实际应用。

“相邻块”的概念，相邻块的定义如图2所示，A、B和C分别为当前宏块在同一图像帧中的上块、右上块和左块，它们被定义为当前宏块的相邻块，如果当前宏块的右上块(即B)不存在，则B块用当前宏块的D块(即左上块)来替代。

发明内容

本发明的目的在于，提供一种快速有效的多视点视频编码方法，在保证多视点视频编码的质量的同时，降低多视点视频编码技术的计算复杂度。

一种多视点视频编码方法，包括以下步骤：

步骤A：根据已编码的相邻块的参考帧信息，确定当前宏块先进行运动估计模式还是先进行视差估计模式，如果先进行运动估计模式转到步骤B，否则转到步骤C；

步骤B：对当前宏块遍历帧内模式、Skip模式和运动估计的7种模式，并计算各个模式的RD开销，得到值E，将E值最小的模式作为暂时的最佳模式；通过得到的暂时最佳模式进行不同的视差估计模式计算，最后得到当前宏块的最佳模式作为最终的编码模式，对当前宏块编码结束；

步骤C：对当前宏块遍历帧内模式、Skip模式和视差估计的7种模式，并计算各个模式的RD开销，得到值F，将F值最小的模式作为暂时的最佳模式；通过得到的暂时最佳模式进行不同的运动估计模式计算，最后得到当前宏块的最佳模式作为最终的编码模式，对当前宏块编码结束。

本发明的优点在于：

(1)本发明利用运动估计和视差估计模式之间的相关性，通过提前结束一些不必要的模式计算，降低了多视点视频编码的计算复杂度；

(2)本发明在几乎不降低图像质量的前提下，相比于遍历所有编码模式，减少了50％以上的编码时间；

(3)本发明方法具有可扩展性：利用本发明方法，可以结合现有的快速视差估计和快速运动估计技术，进一步降低多视点视频编码的计算复杂度。

附图说明

图1为现有技术中宏块以16×16单元的划分方式；

图2为现有技术中相邻块的定义示意图；

图3为本发明的方法流程图；

图4为本发明的步骤B的方法流程图；

图5为本发明的步骤C的方法流程图；

图6为实施例中“Ballroom”多视点视频序列8个视点中的前3个视点图像；

图7为实施例中“Exit”多视点视频序列8个视点中的前3个视点图像；

图8为实施例中“Race1”多视点视频序列8个视点中的前3个视点图像；

图9为实施例中“Ballroom”多视点视频序列第2个视点的编码率失真比较曲线图；

图10为实施例中“Exit”多视点视频序列第2个视点的编码率失真比较曲线图；

图11为实施例中“Race1”多视点视频序列第2个视点的编码率失真比较曲线图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明中的一种多视点视频编码方法，流程如图3所示，该方法包括以下步骤：

步骤A：根据已编码的相邻块的参考帧信息，确定当前宏块先进行运动估计模式还是先进行视差估计模式，如果先进行运动估计模式转到步骤B，否则转到步骤C。

所述步骤A具体包括以下步骤：

步骤A1：统计已编码的相邻块的参考帧信息，即统计已编码相邻块最终的编码模式中，视差估计模式占多数还是运动估计模式占多数。

步骤A2：通过统计的参考帧信息决定当前宏块进行运动估计模式和视差估计模式的顺序，若相邻块最终的编码方式中视差估计模式占多数，则当前宏块先进行视差估计模式，转到步骤C，否则先进行运动估计模式，转到步骤B。

步骤B：对当前宏块遍历帧内模式、Skip模式和运动估计的7种模式，并计算各个模式的RD开销，得到值E，将E值最小的模式作为暂时的最佳模式；通过得到的暂时最佳模式进行不同的视差估计模式计算，最后得到当前宏块的最佳模式作为最终的编码模式，对当前宏块编码结束。

流程如图4所示，所述步骤B具体包括以下步骤：

步骤B1：对当前宏块遍历Skip模式、帧内模式以及运动估计的7种模式，并计算各个模式的RD开销，得到E，将得到E值最小的模式作为暂时的最佳模式；如果该模式为Skip模式，则转到步骤B2；如果该模式为帧内模式，则转到步骤B4；否则转到步骤B5。

步骤B2：计算当前宏块视差估计16×16模式的RD开销，记为Cost_16×16，若Cost_16×16小于步骤B1中的Skip模式的RD开销，Skip模式的RD开销记为Cost_Skip，即Cost_16×16＜Cost_Skip，转到步骤B3，否则以Skip模式作为最佳模式转到步骤B7。

步骤B3：计算当前宏块视差估计的16×8模式和8×16模式的RD开销，与步骤B2中的16×16模式的RD开销Cost_16×16相比，得到此时RD开销最小的模式为最佳模式，转到步骤B7。

步骤B4：遍历当前宏块视差估计的7种模式，分别计算7种模式的RD开销，与步骤B1中的帧内模式的RD开销相比，得到此时RD开销最小的模式为最佳模式，转到步骤B7。

步骤B5：通过步骤B1得到的最佳运动估计模式，其RD开销记为Cost_T，计算相应分块方式的视差估计模式的RD开销，记为Cost_V，如果Cost_V＜Cost_T，转到步骤B6，否则以Cost_T对应的模式作为最佳模式转到步骤B7。

所述的相应分块方式的视差估计模式，指例如步骤B1中得到的暂时最佳模式为运动估计16×16模式，那对应分块方式的视差估计模式为视差估计16×16模式，以此类推。

步骤B6：遍历视差估计除步骤B5中的其余模式并得到各模式的RD开销，与步骤B5中的CostV相比得到RD开销最小的模式为最佳模式，转到步骤B7。

所述的其余模式，例如步骤B5中计算了视差估计16×16模式，那么此时需要计算视差估计16×8、8×16、8×8、8×4、4×8和4×4模式，以此类推。

步骤B7：以得到的最佳模式作为当前宏块最终的编码模式，当前宏块编码结束。

步骤C：对当前宏块遍历帧内模式、Skip模式和视差估计的7种模式，并计算各个模式的RD开销，得到F，将F值最小的模式作为暂时的最佳模式；通过得到的暂时最佳模式进行不同的运动估计模式计算，最后得到当前宏块的最佳模式作为最终的编码模式，对当前宏块编码结束。

流程如图5所示，所述步骤C具体包括以下步骤：

步骤C1：对当前宏块遍历Skip模式、帧内模式以及视差估计的7种模式，并计算各个模式的RD开销，得到值F，将得到F值最小的模式作为暂时的最佳模式；如果该模式为Skip模式，则转到步骤C2；如果该模式为帧内模式，则转到步骤C4；否则转到步骤C5。

步骤C2：计算当前宏块运动估计16×16模式的RD开销，记为Cost′_16×16，若Cost′_16×16小于步骤C1中的Skip模式的RD开销，Skip模式的RD开销为Cost′_Skip，即Cost′_16×16＜Cost′_Skip，转到步骤C3，否则以Skip模式为最佳模式转到步骤C7。

步骤C3：计算当前宏块运动估计16×8模式和8×16模式的RD开销，与步骤C2中16×16模式的RD开销Cost′_16×16相比，得到此时RD开销最小的模式为最佳模式，转到步骤C7。

步骤C4：遍历当前宏块运动估计的7种模式，分别计算7种模式的RD开销，与步骤C1中的帧内模式的RD开销相比，得到此时RD开销最小的模式为最佳模式，转到步骤C7。

步骤C5：通过步骤C1得到的最佳视差估计模式，其RD开销记为Cost′_V，计算相应分块方式的运动估计模式的RD开销，记为Cost′_T，如果Cost′_T＜Cost′_V，转到步骤C6，否则以Cost′_V对应的模式为最佳模式转到步骤C7。

所述的相应分块方式的运动估计模式，例如步骤C1中得到的暂时最佳模式为视差估计16×16模式，那对应分块方式的运动估计模式为运动估计16×16模式，以此类推。

步骤C6：遍历运动估计的除步骤C5中的其余模式并得到各模式的RD开销，与步骤C5中的Cost′_T相比得到此时RD开销最小的模式为最佳模式，转到步骤C7。

所述的其余模式，例如步骤C5中计算了运动估计16×16模式，那么此时需要计算运动估计16×8、8×16、8×8、8×4、4×8和4×4模式，以此类推。

步骤C7：以得到的最佳模式作为当前宏块最终的编码模式，当前宏块编码结束。

实施例：

选取具有8个视点的“Ballroom”、“Exit”和“Race1”三组标准多视点视频序列，采用本发明的多视点视频编码方法进行编码，并与遍历所有模式的编码方法进行比较。

图6、图7、图8依次为“Ballroom”、“Exit”和“Race1”的多视点视频序列，每个图中有3个不同视点图像，其图像尺寸均为640×480，YUV(4:2:0)格式，各视点的间距为20cm，“Ballroom”和“Exit”采集的帧率为25帧/秒，“Race1”采集的帧率为30帧/秒。其中“Ballroom”序列运动信息较为复杂，“Exit”序列静止的背景信息较多，“Race1”序列相对于前2个序列，采集的摄像机组存在着运动。

图9、图10、图11为不同码率(bit rate)下对图6、图7、图8中的第2个视点的视频数据采用本发明多视点视频编码方法及现有的遍历所有模式的方法进行编码后的解码重建图像的平均峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)曲线。其中，横坐标为码率(bit rate)，纵坐标为峰值信噪比(PSNR)，第2个视点的视频图像在做视差估计时，采用第1、3个视点的在同一时刻的图像作为参考帧。由图9、图10、图11可见采用本发明的多视点视频编码方法同遍历所有模式的多视点视频编码方法得到的重建图像的峰值信噪比曲线非常接近，表明采用本发明多视点视频编码方法所获得的编码质量与采用遍历所有模式的多视点视频编码方法所获得的编码质量基本相同，只有微小下降。

采用本发明多视点视频编码方法与采用遍历所有模式的方法得到三组标准多视点视频序列的编码后码率、解码图像峰值信噪比PSNR以及编码过程的时耗。其中码率反映了压缩性能，PSNR反映了解码图像的质量，时耗反映了编码的计算复杂度。

表1给出了在不同量化参数(Quantification Parameter，QP)下，QP分别取27、29、30、32时，对三组标准多视点视频序列的第2个视点的视频数据采用本发明多视点视频编码方法得到的编码后码率、解码图像峰值信噪比PSNR以及编码过程的时耗与采用遍历所有模式的方法得到的相应参数之间的差值，即Δ码率、ΔPSNR和Δ时耗。由表1可见，与采用遍历所有模式的多视点视频编码方法相比，采用本发明的多视点视频编码方法的整个编码过程的时耗减少了55.54％～62.90％，而PSNR的下降不超过0.026dB，码率的增加不超过1.4％。

显然，本发明方法明显降低了整个多视点视频编码系统的计算复杂度。

表1本发明方法和遍历所有模式的多视点视频编码方法的编码性能比较

QP	性能	Ballroom	Exit	Race1
					27	ΔPSNR(dB)Δ码率(％)Δ时耗(％)	-0.0181.40-55.54	-0.00430.48-62.85	-0.0180.8-57.8
29	ΔPSNR(dB)Δ码率(％)Δ时耗(％)	-0.01921.39-56.13	-0.00530.55-62.88	-0.02380.85-57.64
					30	ΔPSNR(dB)Δ码率％)Δ时耗(％)	-0.01961.36-56.05	-0.00380.39-62.9	-0.01690.17-58.23
32	ΔPSNR(dB)Δ码率(％)Δ时耗(％)	-0.01951.35-56.06	-0.00880.37-62.68	-0.02520.23-57.19
					平均	ΔPSNR(dB)Δ码率(％)Δ时耗(％)	-0.019081.37-55.95	-0.00560.45-62.83	-0.021070.51-57.72

Claims (1)

1.一种多视点视频编码方法，包括以下步骤：

步骤A：根据已编码的相邻块的参考帧信息，确定当前宏块先进行运动估计模式还是先进行视差估计模式，如果先进行运动估计模式转到步骤B，否则转到步骤C；

所述相邻块为当前宏块在同一图像帧中的上块、右上块和左块，若当前宏块的右上块不存在，则以当前宏块的左上块代替；

所述步骤A具体包括以下步骤：

步骤A1：统计已编码的相邻块的参考帧信息，统计已编码的相邻块最终的编码模式中，视差估计模式占多数还是运动估计模式占多数；

步骤A2：通过统计的参考帧信息决定当前宏块进行运动估计模式和视差估计模式的顺序，若相邻块最终的编码模式中视差估计模式占多数，则当前宏块先进行视差估计模式，转到步骤C，否则先进行运动估计模式，转到步骤B；

其特征在于，还包括：

步骤B：对当前宏块遍历帧内模式、跳过模式和运动估计的7种模式，并计算各个模式的率失真开销，得到值E，将E值最小的模式作为暂时的最佳模式；通过得到的暂时的最佳模式进行不同的视差估计模式计算，最后得到当前宏块的最佳模式作为最终的编码模式，对当前宏块编码结束；

所述步骤B具体包括以下步骤：

步骤B1：对当前宏块遍历跳过模式、帧内模式以及运动估计的7种模式，并计算各个模式的率失真开销，得到值E，将得到E值最小的模式作为暂时的最佳模式；如果该模式为跳过模式，则转到步骤B2；如果该模式为帧内模式，则转到步骤B4；否则转到步骤B5；

步骤B2：计算当前宏块视差估计16×16模式的率失真开销，记为Cost_16×16，若Cost_16×16小于步骤B1中的跳过模式的率失真开销，跳过模式的率失真开销记为Cost_Skip，即Cost_16×16＜Cost_Skip，转到步骤B3，否则以跳过模式作为最佳模式转到步骤B7；

步骤B3：计算当前宏块视差估计的16×8模式和8×16模式的率失真开销，与步骤B2中的16×16模式的率失真开销Cost_16×16相比，得到此时率失真开销最小的模式为最佳模式，转到步骤B7；

步骤B4：遍历当前宏块视差估计的7种模式，分别计算7种模式的率失真开销，与步骤B1中的帧内模式的率失真开销相比，得到此时率失真开销最小的模式为最佳模式，转到步骤B7；

步骤B5：通过步骤B1得到的暂时的最佳模式，其率失真开销记为Cost_T，计算相应分块方式的视差估计模式的率失真开销，记为Cost_V，如果Cost_V＜Cost_T，转到步骤B6，否则以Cost_T对应的模式作为最佳模式转到步骤B7；

步骤B6：遍历视差估计的7种模式中除步骤B5所用模式外的其余模式，并得到各模式的率失真开销，与步骤B5中的Cost_V相比得到率失真开销最小的模式为最佳模式，转到步骤B7；

步骤B7：以得到的最佳模式作为当前宏块最终的编码模式，当前宏块编码结束；

步骤C：对当前宏块遍历帧内模式、跳过模式和视差估计的7种模式，并计算各个模式的率失真开销，得到值F，将F值最小的模式作为暂时的最佳模式；通过得到的暂时的最佳模式进行不同的运动估计模式计算，最后得到当前宏块的最佳模式作为最终的编码模式，对当前宏块编码结束；

所述步骤C具体包括以下步骤：

步骤C1：对当前宏块遍历跳过模式、帧内模式以及视差估计的7种模式，并计算各个模式的率失真开销，得到值F，将得到F值最小的模式作为暂时的最佳模式；如果该模式为跳过模式，则转到步骤C2；如果该模式为帧内模式，则转到步骤C4；否则转到步骤C5；

步骤C2：计算当前宏块运动估计16×16模式的率失真开销，记为Cost′_16×16，若Cost′_16×16小于步骤C1中的跳过模式的率失真开销，跳过模式的率失真开销记为Clst′_Skip，即Cost′_16×16＜Cost′_Skip，转到步骤C3，否则以跳过模式为最佳模式转到步骤C7；

步骤C3：计算当前宏块运动估计16×8模式和8×16模式的率失真开销，与步骤C2中16×16模式的率失真开销Cost′_16×16相比，得到此时率失真开销最小的模式为最佳模式，转到步骤C7；

步骤C4：遍历当前宏块运动估计的7种模式，分别计算7种模式的率失真开销，与步骤C 1中的帧内模式的率失真开销相比，得到此时率失真开销最小的模式为最佳模式，转到步骤C7；

步骤C5：通过步骤C1得到的暂时的最佳模式，其率失真开销记为Cost′_V，计算相应分块方式的运动估计模式的率失真开销，记为Cost′_T，如果Cost′_T＜Cost′_V，转到步骤C6，否则以Cost′_V对应的模式为最佳模式转到步骤C7；

步骤C6：遍历运动估计的7种模式中除步骤C5所用模式外的其余模式，并得到各模式的率失真开销，与步骤C5中的Cost′_T相比得到此时率失真开销最小的模式为最佳模式，转到步骤C7；

步骤C7：以得到的最佳模式作为当前宏块最终的编码模式，当前宏块编码结束；

其中，所述的运动估计的7种模式和视差估计的7种模式均为：16×16、16×8、8×16、8×8、8×4、4×8和4×4。

Images