CN101742349B - 一种对三维场景的表达方法及其电视系统 - Google Patents

Abstract

本发明公开了一种对三维场景的表达方法。在本发明涉及的表达方法中，首先根据输入的多路视频图像序列和从各路视频图像序列中提取的信息，对实际场景中的物体的语义及边缘进行识别和提取，并得出三维场景的深度信息，在此基础上，对处于中间视点的一路视频图像进行分割；对分割后的对象，根据其相互之间的遮挡关系，将从其它视点视频图像中提取的遮挡信息加入被遮挡对象被遮挡的位置中；最后根据提取的深度信息，用一个深度函数来表示各对象的深度，或用深度级和深度变化模式共同表示各对象的深度。本发明还同时公开了一种应用该表达方法处理输入的多路视频图像数据的电视系统。

Description

一种对三维场景的表达方法及其电视系统

技术领域

本发明涉及视频图像处理领域，尤其涉及一种对三维场景的表达方法及电视系统。

背景技术

随着人们视听享受要求的不断提高，自第一部电视面世以来，电视技术在不到一个世纪的时间里获得了飞速的发展，从黑白电视到彩色电视、从模拟电视到数字电视、从标清电视到高清电视，越发先进的显示技术正持续地冲击着人们的感官。而在科技浪潮的推动下，下一代的电视技术，自由视点电视，以及更具视觉冲击力的电视技术——三维电视正悄然来到人们的面前。

无论是自由视点电视还是三维电视，都需要获取对三维场景的多视点的视频图像。获取多视点的视频图像通常有两个途径，一个是利用多部摄像机组成一维或多维的阵列进行拍摄，另一个是利用一路的视频进行转换。前者的成本较高，但能比一路视频获得具体场景更多的信息，因此能实现更清晰和精确的显示。而后者成本较低廉，但现有的转换算法并不能提供令人满意的效果，因此实用性还不高。

基于上述原因，许多研究者投入到了如何对多视点视频图像进行高效表达的技术研究中。和传输一路视频相比，因为要传输多视点的多路视频，所以如果直接传输多路视频对带宽的要求非常大，现有的技术还不足以支持。因此如何在尽可能多地保留原始视频数据的情况下对多视点的多路视频进行高效的压缩是人们研究的重点。

现有的针对自由视点电视和三维电视的视频图像数据表达方式主要有以下几种：立体视频(两路视频)、多视点视频、一路视频+一路深度图、一路视频+一路分层深度图、多路视频+一路/多路深度图。这些方案都在尽量保留原始视频数据的前提下力图实现对多路视频数据的高效压缩。在这些方案中，多视点视频编码具有最高的保真度，也是唯一用于对自由视点电视的视频数据进行表达的方案，但这个方案的最大问题在于对带宽的要求还是较高，压缩比较低；而一路视频+一路深度图是压缩效率最高的视频数据表达方式，但它在解码重构恢复多个视点图像时保真度比多视点的视频表达方式要低，而且可能出现“空洞填补”的问题。因此，目前还没有一种对三维场景的表达方式能在减少失真和高效压缩间获得良好的折中。

发明内容

本发明的目的是克服现有技术的不足，提供了一种对三维场景的表达方法及其电视系统。

一种对三维场景的表达方法包括如下步骤：

1)由输入的多个视点的多路视频图像序列中提取深度线索、视差信息、运动信息、遮挡信息、物体的语义信息和物体的边缘信息；

2)利用深度线索、视差信息、运动信息和遮挡信息综合获取三维场景和物体的深度信息；利用物体的语义信息识别出物体的语义；

3)从输入的多个视点的视频图像序列确定被用于分割的一路视频图像序列，若视点数为奇数，则取处于中间视点的视频图像为待分割的视频图像序列；若视点数为偶数，则取处于中间位置的两个视点的任意一个视点的视频图像序列为待分割的视频图像序列，或取由处于中间位置的两个视点的视频图像序列经过双向视点内插生成的位于两视点中间的虚拟图像序列作为中间视点的视频图像序列；

4)结合场景和物体的深度信息、物体的边缘信息和物体的语义对处于中间视点的一路视频图像进行分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景；

5)从多个不同视点的视频图像序列中提取遮挡信息，如有多个视点的视频图像序列可提供相应的遮挡信息，则选取其中最左视点和最右视点的视频图像序列所提供的遮挡信息，并将遮挡信息加入到被遮挡对象的被遮挡的位置中；

6)根据场景和物体的深度信息，用如下深度函数来表征分割出的对象的深度：

(1)如果对象的深度是沿空间中单一的一个方向线性变化，则用以下的深度函数来表达：

Z＝a·X+b·Y+c

其中，X和Y分别为对象对应像素点的横坐标和纵坐标，Z表示该像素点的深度值，  a，b，c是参数值，由对象深度变化的方向所决定；

(2)如果对象的深度变化起伏小，可看作整个对象的深度是一致的，深度值由对象深度的统计信息来确定，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，深度函数可简化表达如下：

Z＝c

其中，Z表示对象中某一像素点的深度值，c是参数值，代表了对象的深度的一个统计值，这个统计值是均值、众数和中位数中的一种；

(3)如果对象的不同部分的深度是沿空间中两个或两个以上的方向线性变化的，则对每一个方向的深度变化都建立一个深度函数，第i个方向的深度函数可表达如下；

Z_i＝a_i·X+b_i·Y+c_i

其中，X和Y分别为对象中深度沿空间中第i个方向线性变化的某一像素点的横坐标和纵坐标，Zi表示该像素点的深度值，a_i，b_i，c_i是参数值，由对象深度变化的方向所决定；

(4)如果对象的深度变化符合一个二次曲面，则可用以下的深度函数来表达：

Z＝a₀·X²+a₁X+b₀·Y²+b₁Y+cX·Y+d

其中，X和Y分别为对象中的像素点的横坐标和纵坐标，Z表示该像素点的深度值，  a₀，a₁，b₀，b₁，c，d是参数值，由对象深度的变化所决定；

(5)对三维场景中经常出现的、能识别出语义的物体根据对其深度变化的经验建立起相应的深度函数，当对象中的物体的语义被识别出来，可用该物体对应的深度函数来表达其深度；

(6)如果对象的深度变化不符合以上所述的任何一种情况，则根据对象深度的统计信息确定一个深度值来表达整个对象的深度，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，对象的深度值可用均值、众数和中位数中的一种来表示。

所述的步骤4)为：对视频图像序列的分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景。若某个深度大的物体的深度和场景的深度间的差异小于一个阈值，可根据实际情况划归为一个背景对象，或仍分割为两个对象。

所述的步骤6)中的(5)为：对三维场景中经常出现的、能识别出语义的物体根据对其深度变化的经验建立起相应的深度函数，当对象中的物体的语义被识别出来，可用该物体对应的深度函数来表达其深度，对能识别出语义的物体，同一个物体可根据经验建立起一个或多个深度函数，在表达物体的深度时，选择与物体的实际深度变化情况最相近的一个深度函数来表达物体的深度。

另一种对三维场景的表达方法包括如下步骤：

1)由输入的多个视点的多路视频图像序列中提取深度线索、视差信息、运动信息、遮挡信息、物体的语义信息和物体的边缘信息；

2)利用深度线索、视差信息、运动信息和遮挡信息综合获取三维场景和物体的深度信息，利用物体的语义信息识别出物体的语义；

3)从输入的多个视点的视频图像序列确定被用于分割的一路视频图像序列，若视点数为奇数，则取处于中间视点的视频图像为待分割的视频图像序列；若视点数为偶数，则取处于中间位置的两个视点的任意一个视点的视频图像序列为待分割的视频图像序列，或取由处于中间位置的两个视点的视频图像序列经过双向视点内插生成的位于两视点中间的虚拟图像序列作为中间视点的视频图像序列；

4)结合场景和物体的深度信息、物体的边缘信息和物体的语义对处于中间视点的一路视频图像进行分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景；

5)从多个不同视点的视频图像序列中提取遮挡信息，如有多个视点的视频图像序列可提供相应的遮挡信息，则选取其中最左视点和最右视点的视频图像序列所提供的遮挡信息，并将遮挡信息加入到被遮挡对象的被遮挡的位置中；

6)根据场景和物体的深度信息，用深度级和深度变化模式表达分割出的对象的深度。

所述的步骤2)为：对视频图像序列的分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景。若某个深度大的物体的深度和场景的深度间的差异小于一个阈值，可根据实际情况划归为一个背景对象，或仍分割为两个对象。

所述的根据场景和物体的深度信息，用深度级和深度变化模式表达分割出的对象的深度步骤为：利用各对象的深度的统计信息确定深度级，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，对象的深度级可用均值、众数和中位数中的一种来表示；预先根据经验知识建立起的对象中物体或场景的多种深度变化模式，对所有的深度变化模式进行编号，选择与物体的实际深度变化情况最相近的一个深度变化模式，用该深度变化模式对应的编号来代表物体的深度变化情况；

深度变化模式是预先根据经验建立起的对象中物体或场景的可能的深度变化的模型，包括如下均匀模式、渐变模式和基于物体识别的模式：

(a)均匀模式即同一对象内深度的起伏变化小，可看作整个对象具有同一的深度，该深度就是该对象深度级对应的深度值；

(b)渐变模式即对象或物体的深度沿一个或多个方向线性变化，包括以下几个类模式：深度由四周向内部深度逐渐变大、深度由四周向内部深度逐渐变小、深度由左向右深度逐渐变大、深度由左向右深度逐渐变小、深度由上往下深度逐渐变大、深度由上往下深度逐渐变小，每一个类模式根据深度变化的剧烈度的不同生成一个或多个子模式，深度由四周向内部深度逐渐变大的类模式根据深度最大值点的位置的不同生成一个或多个子模式，深度由四周向内部深度逐渐变小的类模式根据深度最小值点的位置的不同生成一个或多个子模式；

(c)基于物体识别的模式，即对三维场景中经常出现的、能识别出语义的物体，根据对该物体深度变化的经验知识建立起的物体的深度变化模型，同一个物体根据经验知识和实际需要建立起一个或多个深度变化模式。

一种电视系统是：呈一维水平排列的多部摄像机与预处理模块、信息提取模块、目标视点视频生成模块、内容处理模块、编码模块、信道、解码模块、重构与生成模块依次相连，重构与生成模块和显示设备相连；

由呈一维水平排列的多部摄像机获取三维场景的彩色视频图像，将这多路的视频图像通过预处理模块进行预处理，然后分别输入到信息提取模块和目标视点视频生成模块，得到深度信息、物体的语义、物体的边缘信息以及用于分割的中间视点视频图像，输入到内容处理模块，生成的视频图像序列在编码模块进行压缩编码后产生输出码流，产生的码流通过信道的传输到达接收端的解码模块进行解码，解码出的数据经过重构与生成模块，最终产生的视频图像数据在显示设备上显示；

所述的预处理模块对拍摄的多视点视频进行预处理，包括记录摄像机的参数、对同一时刻不同视点的视频图像进行亮度校正和色彩校正；

所述的信息提取模块对输入的多视点视频进行多种信息的提取，包括深度线索、视差信息、运动信息、遮挡信息和物体语义特征信息，其中，多种物体语义特征信息的提取包括多种颜色空间的特征信息、物体的形状信息、物体的边缘信息、物体的纹理信息和表面亮度变化信息，利用多种特定物体的语义特征信息识别出物体，确定物体的语义；利用深度线索、视差信息、运动信息和遮挡信息综合获取场景和物体的深度信息；

所述的目标视点视频生成模块，从输入的多个视点的视频图像序列确定被用于分割的中间视点的视频图像；

所述的内容处理模块利用三维场景的表达方法，根据输入的深度信息、物体的语义和物体的边缘信息对输入的中间视点的视频图像进行分割，再将提取的遮挡信息加入到被遮挡对象被遮挡的位置中，接着对各个对象根据深度信息用深度函数来表达其深度，或用深度级和深度变化模式共同表达其深度，产生一路对象化的视频图像序列；

所述的编码模块是用基于对象的编码技术对内容处理模块输出的数据进行编码；

所述的解码模块是用基于对象的解码技术对接收到的码流进行解码；

所述的重构与合成模块，根据显示设备的类型，对输入的视频图像数据进行处理。

所述的压缩编码后的输出码流中包含以下数据：被分割出的各个对象、各个对象对应的深度函数的各个系数值；或者，所述的压缩编码后的输出码流中包含以下数据：被分割出的各个对象、各个对象对应的深度级和深度变化模式的编号值。

本发明的针对三维场景的表达方法与现有的许多针对自由视点电视和三维电视的表达方式相比具有很大的优势：首先，和多视点视频的压缩表达方式相比，由于本编码方法只需要传输一路对象化的视频而不是多路视频，因此码率大大地降低，压缩效率有很大的提高，而遮挡信息补在了视频相应的对象中一起传输，又保证了不会产生因缺乏遮挡信息而产生的空洞的问题，因而保真度也较高；其次，和带宽要求较低的“一路视频+一路深度”的表达方式相比，由于深度的表达只由深度级和深度变化模式或者深度函数来决定，因此在传输时只需要传输有限的离散的值和序数值，或者函数的参数信息，这就使得本表达方式的带宽要求更低，压缩效率高，而且因为带有遮挡信息，因此和前者相比对实际场景能实现更精确的表达。

此外，因为这种表达方式本身的特征，在解码端恢复显示时，并不需要做传统的深度渲染来重构虚拟视点，也不用花时间来填补空洞的信息，因此解码的算法复杂度较低，速度也更快，而且，本发明所述的电视系统与现有的和未来的各种主流电视技术都具有良好的兼容性，传输的视频流既可以解码到现有的二维平面电视上播放，也可以解码到自由视点电视和三维电视上播放。

附图说明

图1是本表达方法的结构示意图；

图2(a)是有奇数个视点图像时的中间视点的视频图像选择示意图；

图2(b)是有偶数个视点图像时的中间视点的视频图像选择示意图；

图3是对中间视点的视频图像进行分割的示意图；

图4是将遮挡信息提取并加入被遮挡对象的被遮挡的位置中的示意图；

图5是形成一路对象化视频的示意图；

图6是本电视系统的系统框图；

图7(a)是用三维电视显示时对一路对象化视频进行重构与合成操作的示意图；

图7(b)是用自由视点电视显示时对一路对象化视频进行重构与合成操作的示意图；

图7(c)是用二维平面电视显示时对一路对象化视频进行重构与合成操作的示意图；

图8是对实际的多视点图像提取中间视点的视频图像选择；

图9是对实际的中间视点的视频图像进行分割；

图10是将遮挡信息提取并加入被遮挡对象的被遮挡的位置中；

图11是对各对象的深度进行拟合的结果。

具体实施方式

对三维场景的表达方法的结构示意图如图1。

图中的方块101～105分别代表一项操作，其中：101是对中间视点的图像进行分割，分割操作分割出若干个对象：对象1，对象2，......，对象n；102是将遮挡信息加入到相应的对象中，如果没加入遮挡信息，对象i¹(i¹＝1¹，2¹，......，n¹)与其输入时相同，如果加入了遮挡信息，对象j¹(j¹＝1¹，2¹，......，n¹)就包括输入时的对象j的数据和遮挡信息的数据；103是获取各个对象或对象中的物体所对应的深度函数，104是获取各个对象或对象中的物体所对应的深度级和深度变化模式，105是控制选择开关，若选择用深度函数表达物体的深度信息则拨动开关使102和103相连接，若选择用深度级和深度变化模式表达物体的深度信息则拨动开关使102和104相连接。

图中的110～112是103的输出，其中：110是对象1¹对应的深度函数的参数值，111是对象2¹对应的深度函数的参数值，112是对象n¹对应的深度函数的参数值。

图中的120～122是104的输出，其中：120是对象1¹对应的深度级和深度变化模式对应的序数值，121是对象2¹对应的深度级和深度变化模式对应的序数值，122是对象n¹对应的深度级和深度变化模式对应的序数值。

一种对三维场景的表达方法包括如下步骤：

1)由输入的多个视点的多路视频图像序列中提取深度线索、视差信息、运动信息、遮挡信息、物体的语义信息和物体的边缘信息；

2)利用深度线索、视差信息、运动信息和遮挡信息综合获取三维场景和物体的深度信息；利用物体的语义信息识别出物体的语义；

3)从输入的多个视点的视频图像序列确定被用于分割的一路视频图像序列，若视点数为奇数，则取处于中间视点的视频图像为待分割的视频图像序列；若视点数为偶数，则取处于中间位置的两个视点的任意一个视点的视频图像序列为待分割的视频图像序列，或取由处于中间位置的两个视点的视频图像序列经过双向视点内插生成的位于两视点中间的虚拟图像序列作为中间视点的视频图像序列；

如图2(a)所示，若拍摄所用的摄像机数为奇数(图中假设有5路不同视点的视频图像)，则取处于中间位置的摄像机拍摄的视频图像为中间视点的视频图像；如图2(b)所示，若拍摄所用的摄像机数为偶数(图中假设有6路不同视点的视频图像)，则取处于中间位置的两部摄像机中的任意一部拍摄的视频图像为中间视点的视频图像，或取由处于中间位置的两部摄像机的视频图像经过双向视点内插生成的位于两摄像机水平连线中点处的虚拟图像作为中间视点的视频图像。

4)结合场景和物体的深度信息、物体的边缘信息和物体的语义对处于中间视点的一路视频图像进行分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景；

如图3所示，假设视频图像中只有两部分的深度差异较大，因此把视频图像分割为两部分，矩形框内的不规则图形表示一个被分割出来的完整的前景物体，视频图像被分割后，形成前景物体对象和背景对象。图中左下方是背景对象，划斜线部分包含了原视频图像中背景部分的数据；右下方是前景物体对象，划斜线部分包含了原视频图像中前景物体部分的数据。

5)从多个不同视点的视频图像序列中提取遮挡信息，如有多个视点的视频图像序列可提供相应的遮挡信息，则选取其中最左视点和最右视点的视频图像序列所提供的遮挡信息，并将遮挡信息加入到被遮挡对象的被遮挡的位置中；

图4表明了如何提取和添加遮挡信息。如图所示，假设有五路不同视点的视频图像，图中的不规则图形表示一个被分割出来的前景物体，除中间视点外的视频图像中的不规则的虚线图形表示这个前景物体在中间视点中的位置在该视点图像中的投影。因此在虚线图形内部不被实线图形遮盖住的部分就是遮挡信息。

可以看出，遮挡信息是由不同于中间视点的左右各个视点的视频图像提供的，如有多个视点的视频图像可提供相应的遮挡信息，则易知，最左边和最右边视点的视频图像能提供最多的遮挡信息(如图4中的第一行最左和最右的矩形框中深灰色的部分)。因此，取这些视频图像的遮挡信息加入到被遮挡对象的被遮挡的位置中，如图4所示，因为视频图像只被分割为两个对象，因此遮挡信息被加入到背景对象中，形成新的背景对象数据(如图4中最下面一个矩形框内划斜线的部分)。

6)根据场景和物体的深度信息，用如下深度函数来表征分割出的对象的深度：

(1)如果对象的深度是沿空间中单一的一个方向线性变化，则用以下的深度函数来表达：

Z＝a·X+b·Y+c

其中，X和Y分别为对象对应像素点的横坐标和纵坐标，Z表示该像素点的深度值，  a，b，c是参数值，由对象深度变化的方向所决定；

(2)如果对象的深度变化起伏小，可看作整个对象的深度是一致的，深度值由对象深度的统计信息来确定，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，深度函数可简化表达如下：

Z＝c

其中，Z表示对象中某一像素点的深度值，c是参数值，代表了对象的深度的一个统计值，这个统计值是均值、众数和中位数中的一种；

(3)如果对象的不同部分的深度是沿空间中两个或两个以上的方向线性变化的，则对每一个方向的深度变化都建立一个深度函数，第i个方向的深度函数可表达如下；

Z_i＝a_i·X+b_i·Y+c_i

其中，X和Y分别为对象中深度沿空间中第i个方向线性变化的某一像素点的横坐标和纵坐标，Z_i表示该像素点的深度值，  a_i，b_i，c_i是参数值，由对象深度变化的方向所决定；

(4)如果对象的深度变化符合一个二次曲面，则可用以下的深度函数来表达：

Z＝a₀·X²+a₁X+b₀·Y²+b₁Y+cX·Y+d

其中，X和Y分别为对象中的像素点的横坐标和纵坐标，Z表示该像素点的深度值，  a₀，a₁，b₀，b₁，c，d是参数值，由对象深度的变化所决定；

(5)对三维场景中经常出现的、能识别出语义的物体根据对其深度变化的经验建立起相应的深度函数，当对象中的物体的语义被识别出来，可用该物体对应的深度函数来表达其深度；

(6)如果对象的深度变化不符合以上所述的任何一种情况，则根据对象深度的统计信息确定一个深度值来表达整个对象的深度，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，对象的深度值可用均值、众数和中位数中的一种来表示。

图1中的103就是对输入的已加入遮挡信息的对象做上述的获取深度函数的操作。

所述的步骤4)为：对视频图像序列的分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景。若某个深度大的物体的深度和场景的深度间的差异小于一个阈值，可根据实际情况划归为一个背景对象，或仍分割为两个对象。

所述的步骤6)中的(5)为：对三维场景中经常出现的、能识别出语义的物体根据对其深度变化的经验建立起相应的深度函数，当对象中的物体的语义被识别出来，可用该物体对应的深度函数来表达其深度，对能识别出语义的物体，同一个物体可根据经验建立起一个或多个深度函数，在表达物体的深度时，选择与物体的实际深度变化情况最相近的一个深度函数来表达物体的深度。

另一种对三维场景的表达方法包括如下步骤：

1)由输入的多个视点的多路视频图像序列中提取深度线索、视差信息、运动信息、遮挡信息、物体的语义信息和物体的边缘信息；

2)利用深度线索、视差信息、运动信息和遮挡信息综合获取三维场景和物体的深度信息；利用物体的语义信息识别出物体的语义；

3)从输入的多个视点的视频图像序列确定被用于分割的一路视频图像序列，若视点数为奇数，则取处于中间视点的视频图像为待分割的视频图像序列；若视点数为偶数，则取处于中间位置的两个视点的任意一个视点的视频图像序列为待分割的视频图像序列，或取由处于中间位置的两个视点的视频图像序列经过双向视点内插生成的位于两视点中间的虚拟图像序列作为中间视点的视频图像序列；

4)结合场景和物体的深度信息、物体的边缘信息和物体的语义对处于中间视点的一路视频图像进行分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景；

5)从多个不同视点的视频图像序列中提取遮挡信息，如有多个视点的视频图像序列可提供相应的遮挡信息，则选取其中最左视点和最右视点的视频图像序列所提供的遮挡信息，并将遮挡信息加入到被遮挡对象的被遮挡的位置中；

6)根据场景和物体的深度信息，用深度级和深度变化模式表达分割出的对象的深度。

所述的步骤2)为：对视频图像序列的分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景。若某个深度大的物体的深度和场景的深度间的差异小于一个阈值，可根据实际情况划归为一个背景对象，或仍分割为两个对象。

所述的根据场景和物体的深度信息，用深度级和深度变化模式表达分割出的对象的深度步骤为：利用各对象的深度的统计信息确定深度级，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，对象的深度级可用均值、众数和中位数中的一种来表示；预先根据经验知识建立起的对象中物体或场景的多种深度变化模式，对所有的深度变化模式进行编号，选择与物体的实际深度变化情况最相近的一个深度变化模式，用该深度变化模式对应的编号来代表物体的深度变化情况；

图1中的104就是对输入的已加入遮挡信息的对象做上述的获取深度级和深度变化模式的操作。

深度变化模式是预先根据经验建立起的对象中物体或场景的可能的深度变化的模型，包括如下均匀模式、渐变模式和基于物体识别的模式：

(a)均匀模式即同一对象内深度的起伏变化小，可看作整个对象具有同一的深度，该深度就是该对象深度级对应的深度值；

(b)渐变模式即对象或物体的深度沿一个或多个方向线性变化，包括以下几个类模式：深度由四周向内部深度逐渐变大、深度由四周向内部深度逐渐变小、深度由左向右深度逐渐变大、深度由左向右深度逐渐变小、深度由上往下深度逐渐变大、深度由上往下深度逐渐变小，每一个类模式根据深度变化的剧烈度的不同生成一个或多个子模式，深度由四周向内部深度逐渐变大的类模式根据深度最大值点的位置的不同生成一个或多个子模式，深度由四周向内部深度逐渐变小的类模式根据深度最小值点的位置的不同生成一个或多个子模式；

(c)基于物体识别的模式，即对三维场景中经常出现的、能识别出语义的物体，根据对该物体深度变化的经验知识建立起的物体的深度变化模型，同一个物体根据经验知识和实际需要建立起一个或多个深度变化模式。

图5表示了将已分割的视频信息与深度信息结合起来形成一路对象化的视频的过程。假设用256级的灰度表示图像深度，灰度值越小(即越黑)表示深度越大；灰度值越大(即越白)表示深度越小。若深度信息由深度级和深度变化模式表征，则开关拨向上；若深度信息由深度函数表征，则开关拨向下。假设示例视频图像的背景对象的深度变化特征为由上往下深度逐渐变小，则对应的图像中的背景对象的灰度值由上往下深度逐渐变大；假设前景物体对象的深度均匀，则可看作不变，其对应的深度用一个常数值表示(图中的浅灰色)。

一种电视系统是：呈一维水平排列的多部摄像机与预处理模块、信息提取模块、目标视点视频生成模块、内容处理模块、编码模块、信道、解码模块、重构与生成模块依次相连，重构与生成模块和显示设备相连，如图6所示。

由呈一维水平排列的多部摄像机获取三维场景的彩色视频图像，将这多路的视频图像通过预处理模块进行预处理，然后分别输入到信息提取模块和目标视点视频生成模块，得到深度信息、物体的语义、物体的边缘信息以及用于分割的中间视点视频图像，输入到内容处理模块，生成的视频图像序列在编码模块进行压缩编码后产生输出码流，产生的码流通过信道的传输到达接收端的解码模块进行解码，解码出的数据经过重构与生成模块，最终产生的视频图像数据在显示设备上显示；

所述的预处理模块对拍摄的多视点视频进行预处理，包括记录摄像机的参数、对同一时刻不同视点的视频图像进行亮度校正和色彩校正；

所述的信息提取模块对输入的多视点视频进行多种信息的提取，包括深度线索、视差信息、运动信息、遮挡信息和物体语义特征信息，其中，多种物体语义特征信息的提取包括多种颜色空间的特征信息、物体的形状信息、物体的边缘信息、物体的纹理信息和表面亮度变化信息，利用多种特定物体的语义特征信息识别出物体，确定物体的语义；利用深度线索、视差信息、运动信息和遮挡信息综合获取场景和物体的深度信息；

所述的目标视点视频生成模块，从输入的多个视点的视频图像序列确定被用于分割的中间视点的视频图像；

所述的内容处理模块利用三维场景的表达方法，根据输入的深度信息、物体的语义和物体的边缘信息对输入的中间视点的视频图像进行分割，再将提取的遮挡信息加入到被遮挡对象被遮挡的位置中，接着对各个对象根据深度信息用深度函数来表达其深度，或用深度级和深度变化模式共同表达其深度，产生一路对象化的视频图像序列；

所述的编码模块是用基于对象的编码技术对内容处理模块输出的数据进行编码；

所述的解码模块是用基于对象的解码技术对接收到的码流进行解码；

所述的重构与合成模块，根据显示设备的类型，对输入的视频图像数据进行处理。

图7(a)表示了当视频图像数据用于三维电视的显示播放时重构与合成模块所做的处理，即根据所需重构出来的视点视频图像与输入的中间视点视频图像之间的几何关系以及对象的深度信息，对各对象做适当的水平平移，再将各对象叠合成一幅图像，深度小的对象的图像数据覆盖深度大的对象的图像数据，分别生成各个重构视点的图像，然后进行视点合成的处理实现三维显示。

图7(b)表示了当视频图像数据用于自由视点电视的显示播放时重构与合成模块所做的处理，即根据播放视点视频图像与输入的中间视点视频图像之间的几何关系以及对象的深度信息，对各对象做适当的水平平移，再将各对象进行叠合成一幅图像，深度小的对象的图像数据覆盖深度大的对象的图像数据，即是对应视点的视频图像。当用户提出视点间视频切换的要求时，再根据播放视点与编码的中间视点图像的几何关系，对各对象做相应的水平平移，再将各对象进行叠合，融合成用户要求的视点的视频图像。

图7(c)表示了当视频图像数据用于二维电视的显示播放时重构与合成模块所做的处理，即可将深度相关信息丢弃，对各对象的视频图像直接进行叠合，深度小的对象的图像数据覆盖深度大的对象的图像数据，融合成一幅图像，即被编码的中间视点的视频图像，用于二维显示。

所述的压缩编码后的输出码流中包含以下数据：被分割出的各个对象、各个对象对应的深度函数的各个系数值；或者，所述的压缩编码后的输出码流中包含以下数据：被分割出的各个对象、各个对象对应的深度级和深度变化模式的编号值。

在实施例中，输入是三路视点的视频图像，因为视点个数为奇数，因此选择中间一个视点的视频图像作为中间视点的视频图像，如图8所示，红色方框的一路视频图像即所选的中间视点的视频图像。

然后对提取出的中间视点的视频图像进行分割。如图9所示，在上方的一路原视频图像被分割为三个对象：图像左下角的是分割出的一个背景对象，右下角的是两个分割出的前景对象。

视频图像分割完成后进行提取遮挡信息和加入遮挡信息的操作。如图10所示，因为只有三路试点的视频图像，所以中间视点的左边和右边均只有一路视频图像可提供遮挡信息，因此只需从这两路视频图像寻找中间视点视频图像的遮挡信息。因为背景对象被两个前景对象遮挡了，所以提取出的遮挡信息加被入到背景对象的被前景对象遮挡的位置中。

遮挡信息加入后对深度信息进行拟合，如图11所示，对于两个前景对象，因为其深度变化小，所以用整个对象的深度值的均值来表示对象的深度；而对于背景对象，可以看出，它的深度变化基本是沿空间中的三个方向线性变化的，因此分别对这三个方向的深度变化进行拟合，得出如图所示的深度变化效果。

Claims (5)

1.一种对三维场景的表达方法，其特征在于包括如下步骤：

1)由输入的多个视点的多路视频图像序列中提取深度线索、视差信息、运动信息、遮挡信息、物体的语义信息和物体的边缘信息；

2)利用深度线索、视差信息、运动信息和遮挡信息综合获取三维场景和物体的深度信息；利用物体的语义信息识别出物体的语义；

3)从输入的多个视点的视频图像序列确定被用于分割的一路视频图像序列，若视点数为奇数，则取处于中间视点的视频图像为待分割的视频图像序列；若视点数为偶数，则取处于中间位置的两个视点的任意一个视点的视频图像序列为待分割的视频图像序列，或取由处于中间位置的两个视点的视频图像序列经过双向视点内插生成的位于两视点中间的虚拟图像序列作为中间视点的视频图像序列；

4)结合场景和物体的深度信息、物体的边缘信息和物体的语义对处于中间视点的一路视频图像进行分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景；

5)从多个不同视点的视频图像序列中提取遮挡信息，如有多个视点的视频图像序列可提供相应的遮挡信息，则选取其中最左视点和最右视点的视频图像序列所提供的遮挡信息，并将遮挡信息加入到被遮挡对象的被遮挡的位置中；

6)根据场景和物体的深度信息，用如下深度函数来表征分割出的对象的深度：

(1)如果对象的深度是沿空间中单一的一个方向线性变化，则用以下的深度函数来表达：

            Z＝a·X+b·Y+c

其中，X和Y分别为对象对应像素点的横坐标和纵坐标，Z表示该像素点的深度值，a，b，c是参数值，由对象深度变化的方向所决定；

(2)如果对象的深度变化起伏小，可看作整个对象的深度是一致的，深度值由对象深度的统计信息来确定，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，深度函数可简化表达如下：

                Z＝c

其中，Z表示对象中某一像素点的深度值，c是参数值，代表了对象的深度的一个统计值，这个统计值是均值、众数和中位数中的一种；

(3)如果对象的不同部分的深度是沿空间中两个或两个以上的方向线性变化的，则对每一个方向的深度变化都建立一个深度函数，第i个方向的深度函数可表达如下；

                Z_i＝a_i·X+b_i·Y+c_i

其中，X和Y分别为对象中深度沿空间中第i个方向线性变化的某一像素点的横坐标和纵坐标，Z_i表示该像素点的深度值，a_i，b_i，c_i是参数值，由对象深度变化的方向所决定；

(4)如果对象的深度变化符合一个二次曲面，则可用以下的深度函数来表达：

            Z＝a₀·X²+a₁X+b₀·Y²+b₁Y+cX·Y+d

其中，X和Y分别为对象中的像素点的横坐标和纵坐标，Z表示该像素点的深度值，a₀，a₁，b₀，b₁，c，d是参数值，由对象深度的变化所决定；

(5)对三维场景中经常出现的、能识别出语义的物体根据对其深度变化的经验建立起相应的深度函数，当对象中的物体的语义被识别出来，可用该物体对应的深度函数来表达其深度；

(6)如果对象的深度变化不符合以上所述的任何一种情况，则根据对象深度的统计信息确定一个深度值来表达整个对象的深度，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，对象的深度值可用均值、众数和中位数中的一种来表示。

2.一种对三维场景的表达方法，其特征在于包括如下步骤：

1)由输入的多个视点的多路视频图像序列中提取深度线索、视差信息、运动信息、遮挡信息、物体的语义信息和物体的边缘信息；

2)利用深度线索、视差信息、运动信息和遮挡信息综合获取三维场景和物体的深度信息，利用物体的语义信息识别出物体的语义；

3)从输入的多个视点的视频图像序列确定被用于分割的一路视频图像序列，若视点数为奇数，则取处于中间视点的视频图像为待分割的视频图像序列；若视点数为偶数，则取处于中间位置的两个视点的任意一个视点的视频图像序列为待分割的视频图像序列，或取由处于中间位置的两个视点的视频图像序列经过双向视点内插生成的位于两视点中间的虚拟图像序列作为中间视点的视频图像序列；

4)结合场景和物体的深度信息、物体的边缘信息和物体的语义对处于中间视点的一路视频图像进行分割，将深度相近的一个或多个物体分割为同一个对象，深度差异大的不同物体分割为不同的对象，分割出的对象可以是任意形状，并且能表达出实际场景中的一个或多个完整的物体，或表达实际场景中的背景；

5)从多个不同视点的视频图像序列中提取遮挡信息，如有多个视点的视频图像序列可提供相应的遮挡信息，则选取其中最左视点和最右视点的视频图像序列所提供的遮挡信息，并将遮挡信息加入到被遮挡对象的被遮挡的位置中；

6)根据场景和物体的深度信息，用深度级和深度变化模式表达分割出的对象的深度。

3.如权利要求2所述的一种对三维场景的表达方法，其特征在于，所述的根据场景和物体的深度信息，用深度级和深度变化模式表达分割出的对象的深度步骤为：利用各对象的深度的统计信息确定深度级，对象深度的统计信息包括对象中各像素深度的均值、众数、中位数、方差和均方差，对象的深度级可用均值、众数和中位数中的一种来表示；预先根据经验知识建立起的对象中物体或场景的多种深度变化模式，对所有的深度变化模式进行编号，选择与物体的实际深度变化情况最相近的一个深度变化模式，用该深度变化模式对应的编号来代表物体的深度变化情况；

深度变化模式是预先根据经验建立起的对象中物体或场景的可能的深度变化的模型，包括如下均匀模式、渐变模式和基于物体识别的模式：

(a)均匀模式即同一对象内深度的起伏变化小，可看作整个对象具有同一的深度，该深度就是该对象深度级对应的深度值；

(b)渐变模式即对象或物体的深度沿一个或多个方向线性变化，包括以下几个类模式：深度由四周向内部深度逐渐变大、深度由四周向内部深度逐渐变小、深度由左向右深度逐渐变大、深度由左向右深度逐渐变小、深度由上往下深度逐渐变大、深度由上往下深度逐渐变小，每一个类模式根据深度变化的剧烈度的不同生成一个或多个子模式，深度由四周向内部深度逐渐变大的类模式根据深度最大值点的位置的不同生成一个或多个子模式，深度由四周向内部深度逐渐变小的类模式根据深度最小值点的位置的不同生成一个或多个子模式；

(c)基于物体识别的模式，即对三维场景中经常出现的、能识别出语义的物体，根据对该物体深度变化的经验知识建立起的物体的深度变化模型，同一个物体根据经验知识和实际需要建立起一个或多个深度变化模式。

4.一种电视系统，其特征在于，呈一维水平排列的多部摄像机与预处理模块、信息提取模块、目标视点视频生成模块、内容处理模块、编码模块、信道、解码模块、重构与生成模块依次相连，重构与生成模块和显示设备相连；

由呈一维水平排列的多部摄像机获取三维场景的彩色视频图像，将这多路的视频图像通过预处理模块进行预处理，然后分别输入到信息提取模块和目标视点视频生成模块，得到深度信息、物体的语义、物体的边缘信息以及用于分割的中间视点视频图像，输入到内容处理模块，生成的视频图像序列在编码模块进行压缩编码后产生输出码流，产生的码流通过信道的传输到达接收端的解码模块进行解码，解码出的数据经过重构与生成模块，最终产生的视频图像数据在显示设备上显示；

所述的预处理模块对拍摄的多视点视频进行预处理，包括记录摄像机的参数、对同一时刻不同视点的视频图像进行亮度校正和色彩校正；

所述的信息提取模块对输入的多视点视频进行多种信息的提取，包括深度线索、视差信息、运动信息、遮挡信息和物体语义特征信息，其中，多种物体语义特征信息的提取包括多种颜色空间的特征信息、物体的形状信息、物体的边缘信息、物体的纹理信息和表面亮度变化信息，利用多种特定物体的语义特征信息识别出物体，确定物体的语义；利用深度线索、视差信息、运动信息和遮挡信息综合获取场景和物体的深度信息；

所述的目标视点视频生成模块，从输入的多个视点的视频图像序列确定被用于分割的中间视点的视频图像；

所述的内容处理模块利用三维场景的表达方法，根据输入的深度信息、物体的语义和物体的边缘信息对输入的中间视点的视频图像进行分割，再将提取的遮挡信息加入到被遮挡对象被遮挡的位置中，接着对各个对象根据深度信息用深度函数来表达其深度，或用深度级和深度变化模式共同表达其深度，产生一路对象化的视频图像序列；

所述的编码模块是用基于对象的编码技术对内容处理模块输出的数据进行编码；

所述的解码模块是用基于对象的解码技术对接收到的码流进行解码；

所述的重构与合成模块，根据显示设备的类型，对输入的视频图像数据进行处理。

5.如权利要求4所述的一种电视系统，其特征在于，所述的压缩编码后的输出码流中包含以下数据：被分割出的各个对象、各个对象对应的深度函数的各个系数值；或者，所述的压缩编码后的输出码流中包含以下数据：被分割出的各个对象、各个对象对应的深度级和深度变化模式的编号值。

Images