CN1613093A - 用于定标三维模型的方法与定标单元以及显示设备 - Google Patents

Abstract

在与深度有关的一维上对三维模型(100)进行定标成经定标的三维模型(108)的方法，该方法基于人的视觉感觉的特性。该方法是基于在人的视觉感觉敏感的三维模型所代表的信息的相关的部分与人的视觉感觉不敏感的三维模型所代表的信息的非相关的部分之间的区别。人的视觉感觉的特性是例如对于代表深度的不连续性的灵敏度和对于三维模型的二维视图的相邻的象素之间的亮度值的差别的灵敏度。

Description

用于定标三维模型的方法与定标单元以及显示设备

本发明涉及在相应于观众朝向三维模型观看的方向的那一维上把三维模型定标成经定标的三维模型的方法。

本发明还涉及用于在相应于观众朝三维模型观看的方向的那一维上把三维模型定标成经定标的三维模型的定标单元。

本发明还涉及图象显示设备，包括；

-接收装置，用于接收代表三维模型的信号；

-定标单元，用于在相应于观众朝三维模型观看的方向的那一维上把三维模型定标成经定标的三维模型；以及

-显示装置，用于使经定标的三维模型的图成为可见。

三维情景的尺寸与图象显示设备的显示能力不匹配的可能性是很大的。因此，定标操作是重要的。可能需要定标的其他理由在于，为了让代表三维情景的三维模型的几何形状适合于传输信道或使得三维模型适合于观众的喜好。

对于代表三维情景的三维模型的线性定标操作是熟知的。在开头段落中描述的这种图象显示设备的实施例可从美国专利6,313,866中获知。这个图象显示设备包括用于从第一图像信号获取深度信息最大值的电路。图象显示设备还包括视差控制电路，用于根据包含在第一和第二图像信号中的深度信息来控制第二图像信号的视差的量，以使得相应于第二图像信号的图像可被三维地显示在相应于第一图像信号的图像的前面。三维图像合成器根据每个图像信号的视差量合成由视差量控制电路控制的第一和第二图像信号，以使得这些图像与在三维显示空间中的该第一和第二图像信号相对应。深度信息的定标在原理上藉助于深度信息的线性适配而被执行，除非深度信息超过显示能力极限。对于后一种情况，其数值被加以剪切。

深度适配或定标的缺点在于，它可能导致深度视觉感的减小。特别是，线性的深度定标对于经定标的三维模型的深度视觉感可能是不利的。

本发明的目的是提供在开头段落中描述的那种方法，它可得出经定标的三维模型，这个三维模型在感觉上像原先的三维模型但具有愉悦的三维视觉感。

本发明的目的之所以能达到，是在于该方法是基于观众的人的视觉感的特性。这些特性可以是：

-对于在与深度有关的一维上(即代表深度的信号)的三维模型的不连续性的灵敏度；注意：相应于观众朝三维模型观看的方向的那一维就是深度；

-对于在三维模型的二维视图的相邻的象素之间的亮度值的差(即，纹理的量)的灵敏度；

-对于三维模型的二维视图的象素的彩色值的灵敏度；以及

-对于在三维模型的二维视图的相邻的象素之间的特定的彩色值差的灵敏度。

按照本发明的方法是基于在人的视觉感觉敏感的三维模型所代表的信息的相关部分与人的视觉感觉不敏感的三维模型所代表的信息的非相关部分之间的区别或辨别。当三维模型被定标时，相关的部分应当被强调，任选地，使得非相关部分受损或甚至变形。

按照本发明的方法的实施例包括一个不连续性检测步骤，以检测三维模型在与深度有关的一维上的不连续性。线性定标的一个方面是，三维模型的几何关系可被保持。但这不是对于深度定标的强烈的要求，因为人对于深度量的适配不是非常敏感的。这一点的最好的证明是，人欣赏完全“平的”正常的二维图像。这个现象也在M.Siegel等，“Just enough reality：Comfortable 3-D viewing viamicrostereopsis(刚好足够的现实：经由微立体镜观看的舒适的三维图像)”，IEEE Transactions on Circuits and Systems for VideoTechnology，vol.10，No.3，pp.387-396，2000的文章中讨论。所以，通过例如线性定标三维模型而提供的有限的深度仍旧给出三维视觉感。无论如何，人确实明确地注意到，在这种情形下，三维视觉感是小的。这并不是由于经定标的三维模型的绝对深度值是小的，而是由于深度不连续性是小的这样的事实。换句话说，线性的深度定标影响深度不连续性的尺度，导致深度视觉感的减小。通常，人对于情景的拓扑结构非常敏感，对于深度不连续性特别敏感，而对于几何关系不太敏感。人们很好地观察到，各个物体互相地处在前面，例如，互相部分地遮挡。然而，绝对深度(指物体之间的实际距离)是不太重要的。这暗示，即使对于有限的深度值的范围，只要拓扑结构被保留，因而深度不连续性被保持或甚至被放大，则仍旧可达到愉悦的三维的视觉感。

按照本发明的方法的另一个实施例包括：

-亮度对比度检测步骤，用于确定特定的象素相对于相邻的象素的特定的亮度对比度值，该特定的象素是属于三维模型的一个视图的二维图像的；以及

-与亮度对比度相关的定标步骤，用于根据该特定的亮度对比度值，对与该特定的象素相应的单元的深度值进行定标。

下面通过例子说明这个实施例背后的理论。如果白色物体位于白色背景(例如，墙)的前面，则它是很难看到的。这意味着，具有白色物体与白色背景的情景的定标深度基本上不影响三维视觉感。如果在情景中有第二个(例如)黑色物体，则这个情景的三维模型的深度定标应当被黑色物体与墙之间的深度差所控制。白色物体与墙之间的深度差对于定标是不太重要的，它们不应当或很少被考虑用于深度适配。

按照本发明的方法的一个实施例包括：

-范围检测步骤，用于估计在与深度有关的一维上三维模型的一部分中深度值的范围；以及

-比较步骤，用于比较深度值的范围与深度值的输出范围。

通常，定标是信息从输入域到输出域的映射。如果输入值与输出值的范围是已知的，就可以确定合适的定标。在大多数情形下，输出值的范围是已知的，因为这个范围与显示设备的显示能力相应。然而，如果输入值的范围是未知的，则应当确定这个范围。其优点是可以得到最佳的定标。

该方法的修正方案和该方法的变例可相应于定标单元和所述的图象显示设备的修正方案和变例。

当参照此后描述的实施方案和实施例以及参照附图，将明白和阐述按照本发明的方法、定标单元、和图象显示设备的这些和其他方面，其中：

图1A示意地显示原先的三维模型的深度剖面；

图1B示意地显示线性定标的三维模型的深度剖面；

图1C示意地显示用按照本发明的方法定标的三维模型的深度剖面；

图2A示意地显示基于不连续性保留的定标单元的实施例；

图2B示意地显示包括低通滤波器的基于保留不连续性的定标单元的实施例；

图2C示意地显示包括剪切单元的定标单元的实施例；

图3示意地显示基于亮度对比度检测的定标单元的实施例；以及

图4示意地显示三维显示设备的实施例。

在所有的图上相应的参考数字具有相同的意义。

有以下几种类型：

-用于获取或生成三维信息的方法和设备；

-用于存储三维信息的三维模型；

-由一种类型的三维模型代表的数据到另一个三维模型的变换；以及

-图象显示设备，用于使三维信息成为可见。

首先，概要地描述某些类型的三维模型。

-线框，例如，按VRML规定的。这些模型包括线和面的结构。

-体积数据-结构或Voxel(体元)映射(Voxel意思是体积单元)。这些体积的数据结构包括单元的三维阵列。每个单元具有三维，以及代表特征值。例如，CT(计算机X射线断层术)数据作为体积数据结构被存储，其中每个单元相应于各自的Hounsfield值。

-具有深度映射的二维图像，例如，具有RGBZ值的二维图像。这意味着，每个象素包括亮度、彩色和深度值。

-基于图像的模型，例如，立体图像对或多视角图像。这种类型的图像也被称为光场。

用线框或具有深度映射的二维图像代表的数据可以藉助于翻译(rendering)被变换成用体积数据结构或基于图像的模型代表的数据。

可在三维图象显示设备上实现的深度量取决于设备的类型：

-对于体积显示设备，深度量完全由显示设备的维数确定。

-例如戴眼镜的立体显示，它对于深度量具有取决于观察者的软极限。如果由于在透镜调节和眼睛互会聚之间的“冲突”而造成深度量太多，则观察者可能变得疲劳。

-自动立体显示设备，例如，用于多个视图的带透镜屏的LCD，它的理论上的最大深度值由视图数量决定。这个最大深度值可被超过，从而导致清晰度损失。在三维图象显示设备的类型与应当提供三维信息的三维模型的适当类型之间有一个关系。

图1A示意地显示原先的三维模型的深度剖面100。图1B示意地显示相应的经线性定标的三维模型的深度剖面102。图1C示意地显示用按照本发明的方法定标过的三维模型的深度剖面108。在图1B和图1C上，显示了三维图象显示设备104的顶视图。灰色块表示可应用于这个三维图象显示设备104的深度范围106。这个块类似于三维图象显示设备104在与深度有关的一维上的显示能力。

首先，深度剖面100与深度剖面102相比较。可以看到，连续的部分101-107被映射成相应的连续部分115-121。它们的形状没有被修正。这意味着，属于特定的连续部分，例如115，的单元具有相等的深度值。C₀-不连续性109-113被映射成C₀-不连续性123-127。C₀-不连续性123-127的尺寸小于C₀-不连续性109-113的尺寸。因此，深度视觉感被减小。

接着，深度剖面100与深度剖面108相比较。可以看到，连续部分101-107被映射成各个连续部分129-135。它们的形状被修正。这意味着，属于特定的连续部分，例如129，的单元不具有相等的深度值，虽然这些单元在定标前确实具有相等的深度。事实上，在原先的情景中的平行的面现在具有倾斜的取向。C₀-不连续性109-113被映射成C₀-不连续性137-141。C₀-不连续性137-141的尺寸大于C₀-不连续性109-113的尺寸。应当指出，这些尺寸的放大是不需要的。虽然总的深度范围被减小，但深度视觉感却被增加。这是通过强调C₀-不连续性109-113而达到的。连续部分101-107因为C₀-不连续性109-113而被变形。因为人对于绝对深度不是非常敏感的，这些变形很难被觉察到。如果觉察到，则这些变形也是不讨厌的。

图2A示意地显示基于不连续性保留的定标单元200的实施例。特别感兴趣的是C₀-不连续性。定标单元200包括：

-高通滤波器202，被安排来对相应于深度的信号进行滤波，以便检测不连续性；

-自动增益控制器204，根据峰值检测或任选地根据包络检测来确定深度值的输入范围；以及

-归一化单元206，根据由自动增益控制器204检测的输入范围，使滤波后的信号适配于输出范围。

在输入端208处提供深度信号，以及定标单元200在它的输出端210处提供经定标的深度信号。高通滤波器202被安排成区别信号的相关部分和不相关部分，即，分别区别不连续性的和连续的部分。滤波后的信号藉助于归一化单元206根据滤波后的信号的局部最大值或根据藉助于最大值的“行走平均(walking average)”所计算的数值被归一化。如图2A所示的定标单元200的工作基本上等同于如图2B所示的定标单元201的工作，以及将结合图2B进行描述。

图2B示意地显示包括低通滤波器212和相减单元214的基于不连续性保留的定标单元201的实施例。代替使用高通滤波器202，有可能应用低通滤波器212与相减单元214相组合。通过从原先的信号中减去低通滤波的信号，高频分量被保持。定标单元210的这个实施例是基于这样的滤波方法。下面给出这个实施例的数学描述。原先的情景的深度是D₀(x，y)，其中x和y是图像坐标。D₀(x，y)可以以与深度有关的任何单位来表示，例如，象素差距或米。令该单位是象素差距。定标后的深度是Dc(x，y)，并且一个使其上的信息成为可见的三维图象显示设备的深度范围被给出为-k＜D_c＜k。应当指出，大多数三维图象显示设备在围绕零深度处有对称的极限。如果情形不是这样，则可以把对称的k极限与相加单元组合起来使用，该相加单元被安排成把预定的常数加到经定标的信号。在具有9个画面的凸透镜屏幕的立体显示器的情形下，k的典型值是4。这是从k＝(9-1)/2得出的。定标单元201可以用下式数学地描述：

$D_c=k\frac{D_0-F_{{\mathrm{\σ}}_1}\left(D_0\right)}{{2F}_{{\mathrm{\σ}}_2}\left(\right|D_0-F_{{\mathrm{\σ}}_1}\left(D_0\right)\left|\right)}---\left(1\right)$

其中F_σ1和F_σ2为低通滤波器，例如具有方差(variance)参数σ₁和σ₂等于50的高斯滤波器。然而，滤波器类型或它的参数可以很大地变化。方差参数可被选择为使得属于完全的二维图像的整个深度映射都被包括。任选地，在需要把视频数据进行滤波的情形下，滤波器包括时间分量。面向象素的模算子被引入，以用于去除正负号。公式1的分子与不连续性检测相对应，以及分母与包络检测相对应。把公式1应用于如图1A所示的信号，导致如图1C所示的信号。定标单元201的附加效果是，小于三维图象显示设备的深度范围的、原先的情景的深度D₀(x，y)将被增加。因此，任何深度映射D₀(x，y)被定标为，在给定图象显示设备的能力下，三维效果被最大化。

图2C示意地显示包括剪切单元216的定标单元203的实施例。应用公式1可能导致超过(superceding)三维图象显示设备的深度范围。这造成最大总的深度效果。对于某些类型的三维图象显示设备，这是有帮助的，例如，对于具有凸透镜屏幕的立体显示。每当真正不允许超过深度范围时，利用剪切单元216执行剪切的后处理操作。

图3示意地显示基于亮度对比度检测的定标单元300的实施例。定标单元300包括：

-亮度对比度检测单元302，被安排来确定特定的象素相对于相邻的象素的特定的亮度对比度值，该特定的象素属于三维模型的视图的一个二维图像313；以及

-与亮度对比度相关的定标装置304，被安排来根据该特定的亮度对比度值来定标与特定的象素相应的单元的深度值。

下面通过例子说明定标单元300的工作。在输入端306处，提供二维图像312，它的每个象素具有亮度值。图像312显示白色背景。两个物体位于该背景的前面：不带有纹理结构的白色物体316和灰色物体314。白色物体316与背景之间的距离大于灰色物体314与背景之间的距离。这可通过审视相应于图像312的象素行313的深度剖面318而看到。整个深度剖面318包括两个块319和321，它们分别相应于白色物体316和灰色物体314。在输入端308处，把深度映射提供给定标单元。深度映射包括一组单元，每个单元具有代表二维图像312的相应的象素的深度值的数值。因为白色物体316缺乏纹理结构和与背景的对比度，这个物体316在二维图像上是很难看见的。因此，当深度映射必须根据例如三维图象显示设备的能力来定标时，考虑与白色物体316有关的深度值319将不是非常有用的。而对于与灰色物体314有关的深度值321，相反的情形是正确的。在定标单元310的输出端310处，提供经定标的深度映射。取决于定标单元300的设置值，在原先的深度映射中与很难看见的物体(例如白色物体316)的相对应的区域可以完全被去除。深度剖面322只显示与灰色物体314相对应的一个块327，而不显示其他块。对于定标单元300的其他设置值，这些类型的区域没有被去除，而是根据由在深度映射中可看见的(例如灰色物体314)的区域所确定的定标进行调整。定标装置304可以是基于分别结合图2A、图2B或图2C描述的定标单元200、201、203。

基于彩色灵敏度的定标单元的实施例基本上类似于结合图3描述的定标单元300的实施例。

图4示意地显示图像显示设备400的实施例，该图象显示设备包括：

-接收装置402，用于接收代表三维模型的信号；

-定标单元404，用于在与深度有关的一维上把三维模型定标成经定标的三维模型；以及

-显示装置406，用于使经定标的三维模型视图成为可见。

信号可以从广播方接收或从诸如DVD的贮存媒体中读出。任选地，接收装置402被安排成把藉助于第一种类型的三维模型而存储的接收的信息变换成另一种类型的三维模型。定标单元404相应于结合图2A，2B，或3的任一项描述的定标单元之一。图象显示设备400可以是以上列出的任何的类型。

应当指出，上述的实施例是说明而不是限制本发明，本领域技术人员将能够设计替换实施例，而不背离附属权利要求的范围。在权利要求中，在括号之间的任何参考符号不被看作为限制该权利要求。单字“包括”不排除在权利要求中未列出的单元或步骤的存在。在单元前面的单字“一个”并不排除多个这样的单元的存在。本发明藉助于包括几个不同的单元的硬件和藉助于适当的编程的计算机被实施。在枚举几个装置的定标单元权利要求中，几个这些装置可以用同一个硬件项来实施。

Claims (10)

1.在相应于观众朝向三维模型(100)观看的方向的一维上把三维模型(100)定标成经定标的三维模型(108)的方法，其特征在于，定标是基于观众的人的视觉感觉的特性。

2.如权利要求1中要求的方法，其特征在于，人的视觉感觉的第一个特性是在与深度有关的一维上对三维模型(100)的不连续性(109-113)的灵敏度。

3.如权利要求1中要求的方法，其特征在于，人的视觉感觉的第二个特性是对于三维模型(100)的二维视图(312)的相邻的象素之间亮度值的差别的灵敏度。

4.如权利要求1中要求的方法，其特征在于，人的视觉感觉的第三个特性是对于三维模型(100)的二维视图(312)的相邻的象素之间的彩色值的差别的灵敏度。

5.如权利要求2中要求的方法，其特征在于，该方法包括不连续性检测步骤，用以检测在与深度有关的这一维上三维模型(100)的C0-不连续性(109-113)。

6.如权利要求3中要求的方法，其特征在于，

-亮度对比度检测步骤，用以确定特定的象素相对于相邻的象素的特定的亮度对比度值，该特定的象素属于一个作为该三维模型视图的二维图像(312)；以及

-与亮度对比度相关的定标步骤，用以根据该特定的亮度对比度值，对与该特定的象素相对应的单元的深度值进行定标。

7.如权利要求4中要求的方法，其特征在于，

-彩色差别检测步骤，用以确定特定的象素相对于相邻的象素的特定的彩色差别值，该特定的象素属于一个作为三维模型的视图的二维图像(312)；以及

-与彩色差别值相关的定标步骤，用以根据该特定的彩色差别值，对与该特定的象素相对应的单元的深度值进行定标。

8.如权利要求1中要求的方法，其特征在于，

-范围检测步骤，用以估计在与深度有关的该一维上三维模型的一部分的深度值的范围；以及

-比较步骤，用以比较深度值的范围与深度值的输出范围。

9.用于在相应于观众朝三维模型观看的方向的一维上把三维模型(100)定标成经定标的三维模型的定标单元(200，201，203，300)，其特征在于，该定标单元(200，201，203，300)被设计成根据观众的人的视觉感觉的特性进行定标。

10.图象显示设备(400)，包括；

接收装置(402)，用于接收代表三维模型(100)的信号；

定标单元(404)，用于在相应于观众朝三维模型观看的方向的一维上把三维模型(100)定标成经定标的三维模型(108)；以及

显示装置(406)，用于使经定标的三维模型视图成为可见，其特征在于，定标单元(404)被设计成根据观众的人的视觉感觉的特性进行定标。

Images