CN101166282A

CN101166282A - 摄像机参数编码传输的方法

Info

Publication number: CN101166282A
Application number: CN 200610135868
Authority: CN
Inventors: 林四新; 曾鹏鑫; 熊联欢; 周建同; 谢清鹏; 胡昌启
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2006-10-16
Filing date: 2006-10-16
Publication date: 2008-04-23
Anticipated expiration: 2026-10-16
Also published as: CN101166282B

Abstract

本发明公开了一种摄像机参数编码传输方法，包括如下步骤：A.判断各个摄像机待编码的同一类型参数是否彼此相同，若是执行步骤B，否则执行步骤C；B.在多视点视频编码MVC码流的序列头写入摄像机参数，并结束本流程；C.在MVC码流的每一个图像头或者条带头分别写入该图像所属的摄像机的参数。本发明还公开了另外一种摄像机参数编码传输方法。本发明方法可以使传输摄像机参数的码率开销降低，从而有利于MVC中利用摄像机参数控制视点间视图编码。

Description

摄像机参数编码传输的方法

技术领域

本发明涉及多视点视频编码技术领域，特别涉及摄像机参数编码传输的方法。

背景技术

随着多媒体技术的发展，人们不再满足于传统的固定视点视觉以及2维(2D)平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内出现了对于自由视点视频和3维(3D)立体视频的需求。例如能够由观看者选择视角的自由视点电视(Free view-point Television，FTV)，以及为处于不同位置的观看者播放不同视角视频的3维电视(3 Dimensional Television，3DTV)。

多视点视频编码(Multi-view Video Coding，MVC)是实现自由视点视频类和3D视频类应用的一项关键技术，该技术用于对在不同的空间位置以不同的角度同时获取同一场景的一组视频信号进行有效的压缩编码。所获得的这一组视频被称为多视点视频。当前多视点视频编码的研究重点在于如何充分利用不同视点视图之间的空间相关性，以进一步提高多视点视频的编码效率。

目前的MVC方案基本上都是利用视间图像本身的相关性进行视间预测，以达到去除视间图像的相关性从而实现多视角编码压缩的效果。而实际上，用于拍摄多视点视频的摄像机的自身参数也可以用来进一步挖掘视图间的相关性，得到潜在的编码增益。摄像机参数有很多，包括内部参数，如焦距、聚焦孔径、伽马(gama)矫正等；外部参数，如像距、摄像机位置等。

视频联合工作组(Joint Video Team，JVT)提出了一个简单的摄像机参数传输方法，只在MVC系统中传输摄像机的位置参数，要么每次只编码单个视点的摄像机参数，把位置信息编码在条带头中；要么同时编码所有视点的摄像机参数，把摄像机参数编码在条带头中。

该方法的摄像机参数编码传输方法，只是对每个摄像机的参数单独传输，而没有考虑摄像机参数之间的相关性进行编码。目前编码摄像机参数的码率开销不小，例如在MPEG2标准中，对摄像机焦距参数就分配了22比特。在MVC摄像机阵列中，摄像机数目越多，编码摄像机参数的码率开销就越大。该方法由于传输摄像机参数带来的码率开销甚至有可能大于摄像机参数用于视间预测带来的码率增益。

发明内容

有鉴于此，本发明的目的在于，提出一种摄像机参数编码传输方法，能够提高摄像机参数传输的编码效率。该方法包括如下步骤：

A、判断各个摄像机待编码的同一类型参数是否彼此相同，若是执行步骤B，否则执行步骤C；

B、在多视点视频编码MVC码流的序列头写入摄像机参数，并结束本流程；

C、在MVC码流的每一个图像头或者条带头分别写入该图像所属的摄像机的参数。

在步骤A之前进一步包括：判断是否需要传输摄像机信息，若是，则在序列头设置一个标识用于表明在码流中传输摄像机信息。

所述步骤B进一步包括：在序列头将用于表明摄像机参数相同的标识设置为真；

所述步骤C进一步包括：在序列头将用于表明摄像机参数相同的标识设置为假。

该方法进一步包括：用所述摄像机参数控制MVC的视点间图像编码。

所述摄像机参数包括摄像机位置和摄像机焦距，则所述控制MVC的视点间图像编码包括：

根据摄像机焦距构造出摄像机内参数矩阵A(c)，根据摄像机位置构造出平移矩阵T(c)；根据所构造的摄像机内参数矩阵A(c)和平移矩阵T(c)，利用公式[u，v，u]＝R(c)·A^-1(c)·[x，y，1]·D[c，t，x，y]+T(c)和[x′，y′，z′]＝A(c′)·R^-1(c′)·{[u，v，w]-T(c′)}进行视差预测；其中[u，v，w]为图像像素的世界坐标，[x，y，z]为图像像素的空间坐标，R(c)为旋转矩阵，D[c，t，x，y]为深度映射。

所述步骤C之后进一步包括：

D、读取序列头中用于表明摄像机参数相同的标识，并判断该标识是否为真，若是执行步骤E，退出本流程；

E、读取序列头中用于表明摄像机参数相同的标识，若该标识为真则执行步骤F，否则执行步骤G；

F、读取序列头的摄像机参数，将所读取的摄像机参数作为各个摄像机的参数，并结束本流程；

G、读取各个图像头或条带头的摄像机参数，并将所读取的摄像机参数作为该图像所属的摄像机的参数。

本发明还公开了第二种摄像机参数编码传输方法，包括如下步骤：

a、将不同位置的摄像机的同一类参数聚合在一起，得到一个三维数组阵列，{CP_ijk，|0≤i＜I，0≤j＜J，0≤k＜K}，CP_ijk为摄像机参数；其中i为摄像机所在的行位置，I为摄像机阵列中最大行数；j为摄像机所在的列位置，J为摄像机阵列中最大列数；k为摄像机参数种类，K为待编码摄像机参数种类数；

b、在MVC码流中写入编码后的摄像机参数CP_ijk。

所述步骤b包括：

b1、将待编码的每类摄像机参数用一个标识位cp_id来标识；cp_id的值代表当前待编码的第k类参数值，编码cp_id的值并写入MVC码流；

b2、判断摄像机第k类参数值统计特性是否具有一致性，若是，将标识位cp_coherence设置为1并转至步骤b3；否则将标识位cp_coherence设置为0，并转至步骤b4；

b3、编码标识位cp_coherence的值并写入MVC码流，待编码的第k类参数阵列退化成为一个一元数据CP，将CP值直接编码写入MVC码流并结束本流程；

b4、待编码的第k类参数阵列为一个I行，J列的数组CP_k[i，j]，去除CP_k[i，j]的相关性并将编码结果写入MVC码流。

较佳地，步骤b4包括：

将CP_k[i，j]分割成一个以上参数块B，参数块B为M×N的矩阵。根据公式A＝C×B×C^T去除参数块B中摄像机参数的相关性，其中，A为M×N的系数矩阵，C为N×M的变换矩阵，CT为C的转置矩阵；将变换后的系数矩阵A扫描、熵编码，而后写入MVC码流。

步骤b4为：对位置相邻的摄像头参数进行预测残差编码并将编码结果写入MVC码流。

步骤b之后进一步包括：

c、解码cp_id的值，用以确定当前待解码的摄像机参数的类型；

d、对于已确定类型的摄像机参数，解码cp_coherence的值，根据cp_coherence的值判断当前待解码的摄像机参数统计特性是否具有一致性，若是则执行步骤e，否则执行步骤f；

e：解码第k类参数的值CP，并将解码得到的该参数作为各个摄像机的第k类参数并结束本流程；

f、将CP_k[i，j]的编码结果解码成各个摄像机的第k类参数并结束本流程。

所述步骤f包括：从码流中解码第k类参数阵列每个系数矩阵A(M列N行)的值，合成系数矩阵A，根据公式B＝C^T×A×C对系数矩阵A采用反变换，得到该系数矩阵对应的摄像机参数矩阵B；然后再将所得各个矩阵B合并成为二维数组CP_k[i，j]。

从以上技术方案可以看出，本发明通过去除不同视点的摄像机参数的相关性，可以使传输摄像机参数的码率开销降低，从而有利于MVC中利用摄像机参数控制视点间视图编码。

附图说明

图1为本发明实施例一进行摄像机参数编码的流程图；

图2为本发明实施例一进行摄像机参数解码的流程图；

图3为本发明实施例二进行摄像机参数编码的流程图；

图4为本发明实施例二进行摄像机参数解码的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细阐述。

本发明方法可以分为两种，第一种是摄像机参数离散编码方法，其基本内容为：根据摄像机阵列的构成情况即不同视点的摄像机的参数是否相同来决定摄像机参数的传输方式，如果所有摄像机参数都相同，则在序列头上传输所有摄像机的公共参数，否则在每个图像头或条带头上编码传输该图像所属的摄像机参数。

实施例一以编码传输焦距和摄像机位置为例，对上述第一种方法进行详细阐述。图1示出了本实施例进行摄像机参数编码的具体实现流程，包括如下步骤：

步骤101：在MVC码流的序列头用一个标识CP_Select_Flag说明是否在MVC码流中传输摄像机信息，本例中该标识为真。

步骤102：判断摄像机参数对于各个摄像机来说是否相同，若是则执行步骤103，否则执行步骤104。

步骤103：在MVC码流的序列头把用于表示摄像机参数是否相同的标识CP_Structure_Flag设置为真，并在序列头写入摄像机参数，写入摄像机参数的具体编码方法可按照表1所示伪代码的进行编码：

camera_parameters_set_in_seq_header_rbsp(){
camera_parameters_set_in_seq_header_rbsp(){		CP_selection_flag	f(1)
if(CP_selection_flag){		CP_selection_flag	f(1)
if(CP_selection_flag){		cp_structure_flag	f(1)
if(cp_structure_flag){		cp_structure_flag	f(1)
if(cp_structure_flag){		focal_length	f(n)
position_x	f(n)	focal_length	f(n)
position_x	f(n)	position_y	f(n)
}		position_y	f(n)
}		}
}		}

表1

其中，CP_selection_flag表示在MVC的码流中是否传输摄像机参数集。cp_structure_flag表示摄像机阵列参数是否都相同，如果摄像机阵列的所有参数是相同的，则只在序列头上传输一次参数集，否则在每帧图像的图像头上传输该图像视图所属摄像机的参数集。focal_length表示摄像机焦距，position_x表示摄像机位置x坐标，position_y表示摄像机位置y坐标。

步骤104：在MVC码流的序列头把用于表示摄像机参数是否相同的标识CP_Structure_Flag设置为假，并在每一个图像头或条带头分别写入该图像所属的摄像机参数，写入摄像机参数的具体编码方法可以采用表2所示伪代码进行编码：

camera_parameters_set_in_pic_header_rbsp(){
camera_parameters_set_in_pic_header_rbsp(){		if(CP_selection_flag &&！cp_structure_flag){
focal_length	f(22)	if(CP_selection_flag &&！cp_structure_flag){
focal_length	f(22)	position_x	f(n)
position_y	f(n)	position_x	f(n)
position_y	f(n)	}
}		}

表2

完成上述步骤后，可以利用摄像机参数控制MVC视点间视图的编码。下面进行具体说明。

摄像机参数可以有效的表示同一场景的不同视图之间的关系。根据针孔模型建立的各视图象素到世界坐标系上的一般映射公式为：

[u，v，w]＝R(c)·A^-1(c)·[x，y，1]·D[c，t，x，y]+T(c) (1)

从世界坐标系到某视图的象素映射公式为：

[x′，y′，z′]＝A(c′)·R^-1(c′)·{[u，v，w]-T(c′)} (2)

最后规范化为[x’/z’，y’/z’，1]。其中R(c)为旋转矩阵，A(c)为摄像机内部参数矩阵，D[c，t，x，y]为深度映射，T(c)是摄像机平移矩阵。其中，摄像机焦距是构成矩阵A(c)的因子，摄像机位置是矩阵T(c)的因子。

在对摄像机焦距和摄像机位置进行了参数编码的同时，利用上述参数控制MVC编码，具体包括：根据摄像机焦距构造出摄像机内参数矩阵A(c)，根据摄像机位置构造出平移矩阵T(c)；根据所构造的摄像机内参数矩阵A(c)和平移矩阵T(c)，利用公式(1)和(2)进行视差预测，或者生成虚拟参考帧再做视差预测，去除视图间的相关性，从而达到提高MVC编码效率的效果。

编码后的摄像机参数被传输到解码端，将如图2所示进行相应的解码流程，包括：

步骤201：读取序列头的标识CP_Select_Flag，判断该标识是否为真，若为真则继续执行步骤202；否则执行现有的MVC解码流程；

步骤202：读取序列头的标识CP_Structure_Flag，判断该标识是否为真，若是则执行步骤203，否则执行步骤204；

步骤203：读取序列头的摄像机参数，将所读取的摄像机参数作为各个摄像机的参数，并转至步骤205；

步骤204：读取各个图像头或条带头的摄像机参数，并将所读取的摄像机参数作为该图像所属的摄像机的参数；

步骤205：用所述摄像机参数控制MVC解码。控制解码的具体方法与上述编码端利用摄像机参数进行编码的方法相对应。

本发明的第二种方法是阵列摄像机参数联合编码的方法，该方法每个摄像机的同一类参数统一编码，去除其中的相关性，从而达到降低传输码率的目的。

因为每个摄像机的同一类参数之间具有一定的相关性，此时可以将每个摄像机的同一类参数统一编码，去除其中的相关性，从而达到降低传输码率的目的。假设有NUM_OF_PARAMETERS类参数需要编码传输，则对每类参数，都把所有摄像机参数聚合在一起编码传输，既可以按照统计经验，按哈夫曼变长编码单个摄像头参数，也可以依赖摄像机同类参数的相关性，对相邻摄像头参数的预测残差进行编码传输，或者用其他方法编码传输。将不同位置的摄像机同一参数聚合在一起，得到一个三维数组阵列{CP_ijk，|0≤i＜I，0≤j＜J，0≤k＜K}，CP_ijk为摄像机参数；

其中i为摄像机所在的行位置，I为摄像机阵列中最大行数；

j为摄像机所在的列位置，J为摄像机阵列中最大列数；

k为摄像机参数种类，K为待编码摄像机参数种类数；

第k类参数排列方法如图4所示：

方法二的编码实施流程如图3所示，包括如下步骤：

步骤301：将待编码的每类摄像机参数用一个标识位cp_id来标识；cp_id的值代表当前待编码的第k类参数值，编码cp_id的值并写入码流；

步骤302：判断摄像机第k类参数值统计特性是否具有一致性，也就是各个摄像机是否具有相同的k类参数，若是，将标识位cp_coherence设置为1并转至步骤303；否则设置为0，并转至步骤304；

步骤303：编码标识位cp_coherence的值并写入码流，待编码的第k类参数阵列退化成为一个一元数据CP，将CP值直接编码写入码流；

步骤304：待编码的第k类参数阵列为一个I行，J列的数组CP_k[i，j]，对CP_k[i，j]采用相关方法去除其相关性，然后进行编码传输。对CP_k[i，j]去除相关性的方法包括但不限于：正交变换、对相邻摄像头参数的预测残差编码方法。

例如，将CP_k[i，j]分割成一个以上参数块B，参数块B为M×N的矩阵。根据公式(3)去除参数块B中摄像机参数的相关性：

A＝C×B×C^T (3)

其中，A为M×N的系数矩阵，C为N×M的变换矩阵，C^T为C的转置矩阵；将变换后的系数矩阵A扫描、熵编码，而后写入码流。

或者，可采用预测残差编码方法进行处理：

摄像机参数值参照相邻摄像机参数值进行预测，对其残差编码。该方法的伪代码如表3所示：

camera_parameters_set_in_seq_header_rbsp(){
camera_parameters_set_in_seq_header_rbsp(){	CP_selection_flag	f(1)
if(CP_selection_flag){	CP_selection_flag	f(1)
if(CP_selection_flag){	for(k＝0；k＜K；k++){
for(i＝0；i＜num_views；i++){	for(k＝0；k＜K；k++){
for(i＝0；i＜num_views；i++){	camera_parameters[i][k]；	ue(v)
}	camera_parameters[i][k]；	ue(v)

}
}			}
}			}

表3

其中，K是摄像机需编码的参数种类。以只编码焦距和摄像机位置为例，K的值为3，camera_parameters[i][0]时表示摄像机i的焦距，camera_parameters[i][1]表示摄像机i的水平位置，camera_parameters[i][2]表示摄像机i的垂直位置，Num_view表示视点总数，也就是摄像机的总数。

相应的解码流程如图4所示，包括如下步骤：

步骤401：解码cp_id的值，用以确定当前待解码的摄像机参数的类型；

步骤402：对于已确定类型的摄像机参数，解码cp_coherence的值，根据cp_coherence的值判断当前待解码的摄像机参数统计特性是否具有一致性，若是则执行步骤403，否则执行步骤404；

步骤403：解码第k类参数的值CP，并将解码得到的该参数作为各个摄像机的参数。

步骤404：将CP_k[i，j]的编码结果解码成各个摄像机的第k类参数。若编码端采用正交变换的方法去除相关性，则本步骤为：从码流中解码第k类参数阵列每个系数矩阵A(M列N行)的值，合成系数矩阵A，根据公式(4)对系数矩阵A采用反变换，得到该系数矩阵对应的摄像机参数矩阵B。

B＝C^T×A×C (4)

其中各个符号的含义与公式(3)相同。然后再将所得各个矩阵B合并成为二维数组CP_k[i，j]。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种摄像机参数编码传输方法，其特征在于，该方法包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，在步骤A之前进一步包括：判断是否需要传输摄像机信息，若是，则在序列头设置一个标识用于表明在码流中传输摄像机信息。

3.根据权利要求2所述的方法，其特征在于，所述步骤B进一步包括：在序列头将用于表明摄像机参数相同的标识设置为真；

4.根据权利要求1所述的方法，其特征在于，该方法进一步包括：用所述摄像机参数控制MVC的视点间图像编码。

5.根据权利要求4所述的方法，其特征在于，所述摄像机参数包括摄像机位置和摄像机焦距，则所述控制MVC的视点间图像编码包括：

根据摄像机焦距构造出摄像机内参数矩阵A(c)，根据摄像机位置构造出平移矩阵T(c)；根据所构造的摄像机内参数矩阵A(c)和平移矩阵T(c)，利用公式[u，v，u]＝R(c).A^-1(c).[x，y，1].D[c，t，x，y]+T(c) 和[x′，y′，z′]＝A(c′).R^-1(c′).{[u，v，w]-T(c′)}进行视差预测；其中[u，v，w]为图像像素的世界坐标，[x，y，z]为图像像素的空间坐标，R(c)为旋转矩阵，D[c，t，x，y]为深度映射。

6.根据权利要求3所述的方法，其特征在于，所述步骤C之后进一步包括：

7.一种摄像机参数编码传输方法，其特征在于，该方法包括如下步骤：

b、在MVC码流中写入编码后的摄像机参数CP_ijk。

8.根据权利要求7所述的方法，其特征在于，所述步骤b包括：

9.根据权利要求8所述的方法，其特征在于，步骤b4包括：

将CP_k[i，j]分割成一个以上参数块B，参数块B为M×N的矩阵。根据公式A＝C×B×C^T去除参数块B中摄像机参数的相关性，其中，A为M×N的系数矩阵，C为V×M的变换矩阵，CT为C的转置矩阵；将变换后的系数矩阵A扫描、熵编码，而后写入MVC码流。

10.根据权利要求8所述的方法，其特征在于，步骤b4为：对位置相邻的摄像头参数进行预测残差编码并将编码结果写入MVC码流。

11.根据权利要求8所述的方法，其特征在于，步骤b之后进一步包括：

12.根据权利要求11所述的方法，其特征在于，所述步骤f包括：从码流中解码第k类参数阵列每个系数矩阵A(M列N行)的值，合成系数矩阵A，根据公式B＝C^T×A×C对系数矩阵A采用反变换，得到该系数矩阵对应的摄像机参数矩阵B；然后再将所得各个矩阵B合并成为二维数组CP_k[i，j]。