CN1447288A

CN1447288A - 用于建模3d场景的方法

Info

Publication number: CN1447288A
Application number: CN03107388A
Authority: CN
Inventors: 菲利普·罗贝尔; 扬妮尔·尼古拉
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2002-03-25
Filing date: 2003-03-25
Publication date: 2003-10-08
Anticipated expiration: 2023-03-25
Also published as: FR2837597A1; EP1349116B1; EP1349116A1; CN100337252C; JP4376532B2; US20030179194A1; US7113635B2; JP2003323631A; KR20030077985A

Abstract

一种3D场景的建模方法，其特征在于，为了验证模型，该方法包括以下的步骤：预先确定由模型(2)的固有近似产生的、在2D合成图象(4)上的最大允许畸变(5)；根据一组表示与点I对应的场景的3D点的合成图象(4)，为参考图象(7)的点I计算对应于最大畸变的点I深度Zi的最小(Z_i－Δ_zi ¹)深度值和最大(Z_i+Δ_zi ²)深度值；根据为所述组的合成图象计算的值中的误差Δ_zi ²的最小值和误差Δ_zi ¹的最小值，计算围绕点I的深度Z_i的范围。本发明的应用涉及用于图象合成或数据压缩的模型的结构。

Description

用于建模3D场景的方法

技术领域

本发明涉及一种3D场景建模方法，更特别地涉及一种通过可以控制合成图象中的畸变的平面小平面化3D模型而用于建模或用于近似3D物体的方法。

本发明需要根据具有深度图的参考图象来构建场景的3D模型。

技术背景

图1示出了在3D空间中的物体的表面1。这一物体的近似通过小平面化或分成三角形产生表面2的模型。通过将该模型投影在平面4上从视点6可以获得合成图象。由物体表面到模型表面的近似产生的误差3被转化为图象上的2D畸变5。该图示出由于借助平面的3D物体表面的近似产生的误差可以被转化为图象的轮廓位置中的误差，通常可以被转化为物体形状和图象纹理形状的误差。

常规类型的3D模型由3D小平面表示。存在用于小平面化深度图的已知方法。一种方案需要基于深度图的初始三角剖分的迭代方法。例如，93年7月在意大利的热那亚的国际信息处理联合会关于“计算机图形中的建模”的工作会议，95-113页，Xin CHEN和Francis SCHMITT的名称为“使用约束表面三角剖分的自适应区间数据近似(Adaptive interval dataapproximation by constrained surface triangulation)”的文章中提到了该方法。

图2描述了一种“从粗糙到精细”类型的递增小平面。更确切来说，图2a至2d与连续的迭代相对应，在图2a中，第一次迭代从矩形图象中产生了两个三角形。需要注意，可以将小平面化限定在前面多边形化和三角形化的图象的某个区域，以便组成初始模型。

在每次迭代操作中，计算近似误差图：对图象的所有点计算的误差对应于象素深度值和通过小平面化的象素的近似值之间的差值。根据这一误差图，检测最不近似的点：根据绝对值该点是具有最大误差的一个点。将该误差与阈值相比较：如果该误差低于该阈值，则终止小平面化方案；否则将相应点引入作为小平面的新顶点，以及该点所属的小平面由三个新的小平面组成，正如图2b所示，或者由四个新的小平面组成，如果该点位于边缘的话，正如进行下一次迭代的图2c所示。

在通过最不近似的点的小平面化的已知方法中，图象的所有点使用了单个阈值。结果是，获得的精度(quality)并不是均匀的。此外，为了最小化所需的精度，建模成本、定义模型需要的信息或显示成本可能是相当可观的。

发明内容

本发明的目的是减少上述缺点。本发明的主题是提供一种通过计算描述模型的近似深度图来建模根据与视点相关的参考图象和原始深度图定义的3D场景的方法，其特征在于该方法包括下列步骤：

预先确由模型固有的近似产生的、在2D合成图象定上允许的最大畸变，

根据一组表示与点I对应的场景的3D点的合成图象，为参考图象的点I计算与该最大畸变的点I对应的深度Z_i的最小(Z_i-Δ_zi ¹)深度值和最大(Z_i+Δ_zi ²)深度值。

根据为所述组的合成图象计算的值中的误差Δ_zi ²的最小值和误差

Δ_zi ¹的最小值，计算围绕点I的深度Z_I的范围，

以及该方法也包含步骤：根据深度图属于或不属于为这些点I计算的范围，验证通过迭代操做计算的近似深度图，作为与参考图象的点I相关的对应模型的3D点深度的函数。

根据特定实施例，该方法的特征在于：通过使用与合成图象中的点I相对应的视线(epipolar line)，计算合成图象的点I的深度的最小值与最大值，其中所述的视线指的是对应于允许最大畸变的距离。

根据特定实施例，由一组基本区域对该模型进行定义，在验证步骤中使用了其深度的3D点是该模型的基本区域的点。

根据特定实施例，基本区域是小平面，以及其特征在于通过迭代操作进行的计算是对深度图的小平面化，该迭代操作包括根据处理是“粗糙到精细”还是“精细到粗糙”来创建模型的新的3D小平面顶点或删除模型的3D小平面顶点。

根据特定特征，“粗糙到精细”类型的方法的特征在于：迭代操作包括计算和小平面相关的近似值和在该范围之外的近似值中的最不近似的值，以及在于新的顶点与对应于该值的点相关。

根据特定特征，执行了误差计算的这组合成的图象与代表了使用参考图象的一组视点的采样对应。另一特定特征在于，执行了误差计算的这组合成的图象是由和参考图象相同、具有比3D点的阈值大的数字的多个图象组成。

根据特定实施例，将允许的最大畸变预定为图象的特征函数，例如，亮度梯度。

本发明也涉及一种用于产生图象的方法，其特征在于根据前面描述的方法建模场景而产生图象。

本发明也涉及一种用于压缩定义了3D场景的数据的方法，这些数据与涉及重现的参考图象相关并与关联的深度图有关，其特征在于该方法包括根据权利要求4的方法通过小平面化来建模深度图，以及使用定义了小平面的数据来代替与参考图象相关和与深度图相关的数据。

本发明也涉及一种压缩定义了3D场景的数据的方法，这些数据与涉及重现的参考图象相关并与关联的深度图有关，其特征在于该方法包括根据权利要求3的建模方法的建模步骤，通过将深度图划分为图象块来定义模型的基本区域，对近似深度图的计算包括修改这些块的量化步长，以便给出确定该块没有近似的点中的近似深度的量化深度。

根据这一方法的特定实施例，以能够获得块的相同量化深度值的方式执行量化步长的修改。

使用适应于每个象素和由辅助的方法计算的可变的阈值，就有可能控制获得的合成图象的精度。

该原理使用了表示将要根据模型来合成的视点的采样，并在执行模块的构建的同时控制采样的各种视点中产生的畸变。更具体地，图象中的畸变的最大固定值能够依次对所有点在借助模型的近似3D物体的误差固定一个上限。该方法因此可以控制重现过程中产生的畸变误差。

本发明特别地建议当已知由小平面化产生的3D模型的使用空间时，即，已知可能从模型中产生的视点组时，或已知表示这些视点的采样时，对可变阈值进行精确的定义。通过小平面化方法为视点产生的深度图的近似误差被延至3D模型，并且通常由模型中合成的用于其它视点的图象中的2D几何畸变转化而来。

本发明允许以能够获得较便宜的显示的方法来简化深度图，同时控制重构图象的精度损失，这里是2D几何畸变。以此降低模型的成本。

附图说明

根据通过非限制性的示例以及参考附图所给出的说明，本发明的其它特征和益处将会变得更清楚，其中：

图1是3D空间的场景和它的建模，

图2示出了“粗糙到精细”类型的小平面化方法，

图3示出由于对物体的建模引起的合成图象的误差，

图4示出合成图象中的参考图象的点的透视投影，

图5示出来自实际场景的合成图象上投影点和来自模型的投影点，

图6示出与投影点相关的视线，

图7a和7b分别示出根据固定阈值和可变阈值使用分段曲线的近似方法，

图8示出由于建模场景而产生的误差。

具体实施方式

图3示出由3D物体表面的近似误差所产生的合成图象中的误差，该近似与参考图象7的深度图的小平面化对应。在视点J的侧面观看方位，该深度近似误差3被转化为2D畸变误差5。

这一方法是为已知的视点J或任意定义的视点考虑2D图象中的畸变误差。这些视点的数量必须足以和代表性的采样相对应。在2D图象层次定义与图象的畸变的最大容差相对应的最大误差。

目的是用于建模参考图象7的深度图，同时限制畸变，为视点J将在图象中产生这一建模。为了这样做，对于参考图象7的所有点，我们将计算限制近似误差以及由此确保要求的图象精度的最小值和最大值。在参考图象7的各点，计算与可以看见该点的N个图象J对应的N对值。下一步，以能够确保高于N个图象J的重现精度的这种方式来计算该点的该对最后值。

对于参考图象7，创建最小值的图和最大值的图，其中对于图象的每个象素来说，最小值的图和最大值的图对应于最小和最大深度，超过最小和最大深度的、比允许的值大得多的2D畸变从一组视点J中的点来看至少出现在一个图象上。它是实际3D深度和这些最大与最小值之间的用于确定创建新的小平面的阈值、偏差。

参考图象7必须足够多，以便可以描绘物体的特征，例如，它们必须围绕物体分布，以便定义物体的各种特征，或更通常地定义任何的场景。仅借助于这些参考视点，就实际上已知物体或场景。

图4表示了分别在与视点J相关的所选图象4和与视点I相关的参考图象7上的物体1的点O的投影P_J和P_i。图4示出了参考图象7或显示的图象中的点在所选图象或渲染的图象4上的透视投影8。这包括计算连接显示的点P_i的深度误差与点P_J的2D位置中的误差的关系，其中点P_J的2D位置中的误差是由被重构的图象上的P_i投影产生的。

(u，v)是图象中点的坐标，z是该点的深度值，即从视觉中心(I或J)至物体O的距离，下标对应于和视点I或J有关的图象，其中该图象随后将被看作图象I或图象J。

通过象素P_i(u_i，v_i，z_i)在图象J上的透视投影获得(U_j，V_j，Z_j)，即点P_J的坐标。

可以按照下面的形式写出该方程：

z_{j} \cdot [\begin{matrix} u_{j} \\ v_{j} \\ 1 \end{matrix}] = z_{i} \cdot [\begin{matrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{matrix}] \cdot [\begin{matrix} u_{i} \\ v_{i} \\ 1 \end{matrix}] + [\begin{matrix} t_{1} \\ t_{2} \\ t_{3} \end{matrix}]

系数a和t与数学运算相对应，涉及两个视点的参考帧、旋转、变换和固有摄象机参数的改变。

图5示出由图象I的点P_i的投影产生的图象J中的点P_J。该点通常不与目标图象J的象素相对应。

由于模型对实际物体的近似，即，在参考图象中根据(Z_i+Δ_Zi)的深度Z_i的近似，在投影点的位置出现了误差。带有坐标(U_j，V_j)的P_J是基于实际物体的透视投影，以及带有坐标(U_j+ε_U’V_j+ε_V)的坐标

P’_J是基于模型的透视投影。Z_j与点P_J的深度对应，而Z_J+ε_Z与点P’_J的深度对应。

对根据(Z_i+Δ_Zi)的Z_i的近似与投影点(U_j+ε_U，V_j+ε_V)的位置中的对应于渲染图象表面的畸变误差之间存在的关系，可以给出下面的方程：

(z_{j} + ϵ_{z}) \cdot [\begin{matrix} u_{j} + ϵ_{u} \\ v_{j} + ϵ_{v} \\ 1 \end{matrix}] = (z_{i} + {Δ_{z}}_{i}) \cdot [\begin{matrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{matrix}] \cdot [\begin{matrix} u_{i} \\ v_{i} \\ 1 \end{matrix}] + [\begin{matrix} t_{1} \\ t_{2} \\ t_{3} \end{matrix}]

考虑到如果畸变不影响观察者观看，则畸变是可以接受的，可以在可接受的畸变值ε_U和ε_V中定义间隔。依次地，这些间隔可以在Z_i中找到可接受的下限和上限：(Z_i-Δ_Zi ¹)和(Z_i+Δ_Zi ²)。可以很容易地从上述方程中推导出这些值。

已知在第二图象上具有同一个投影点的空间中的点在第一图象上的3D投影位于第一图象的被称为平视线的直线上。在这条线上的投影点的位置取决于该视点和第二图象之间的距离，即，值Z_i。图6中以虚线示出了这条线。

投影点的容许位置误差可以由图中的符号[]来符号化表示，该符号[]定义了到投影点的最大距离。例如，若使用了比象素的一半还小的畸变，则这些位置对应于值ε_U和ε_V中最大的一个，该值等于中间象素距离的一半，以及等于相应的负值。这两个限制值定义了视线上的两个点，可以根据这两个点计算值Z_min(i，j)＝(Z_i-Δ_Zi ¹)和Z_max(i，j)＝(Z_i+Δ_Zi ²)。

显示的每个点P_i因此被投影在它参与重构的图象J上。对于参考图象的点P_i，与一对(Z_min(i，j)，Z_max(i，j))相关的点P_j对应于每个图象J。为这些图象J的每个图象计算值Z_min(i，j)和Z_max(i，j)。

在这些值中，选出值Z_min(i，j)中的最大值Z_M(i)和值Z_max(i，j)中的最小值Z_m(i)。如果点P_i的值Z_i+Δ_Zi落入[Z_m(i)，Z_M(i)]的范围，则无论图象J是什么，可以推导出与表示点I的、图象J的集合的象素相关的畸变比预定的限制小，由此确保控制所有重构图象的精度。

在小平面化过程中，针对近似深度值与间隔[Z_m(i)，Z_M(i)]的从属关系来测试每个象素的近似深度值Z_app(i)以便使用自适应的阈值。如果所有的象素都是Z_app(i)属于这一间隔的象素，则深度图被认为是“良好的近似”，以及停止小平面化方法。另一方面，如果存在值Z_app(i)在这一间隔之外的象素时，则选择出最不近似的点Pi，并引入作为小平面的顶点，以及继续迭代操作的方法。

图7a和7b描述了在固定阈值的第一种情况下和在自适应阈值的第二中情况下使用直线段近似曲线的原理。被近似的曲线被标为符号9，间隔或阈值被标为符号10以及通过近似获得的曲线被标为符号11。

可以很容易地从这一描述外推通过小平面近似表面的情况。将与场景对应的原始深度图和与模型对应的近似深度图分别与被近似的曲线9和直线段11相比较。深度图的象素所分配的范围对应于可变的阈值10。

根据基本区域例如小平面来描述定义场景的3D模型。正如图2所示，通过迭代操作来对初始深度图进行小平面化，以便产生近似深度图或合成深度图。

例如，以下面的方式执行迭代操作：

根据和基本区域或3D场景的小平面相关的图的每个区域的近似深度图，将每个象素的近似值与分配给该象素的范围比较。将例如通过外插小平面顶点的深度的已知方式计算的、分配给近似深度图的象素的深度与定义场景的原始深度图的对应象素的深度相比较。如果象素的近似值在该范围之外，则计算它的相应近似误差。接着，从这些象素中选出误差最大的一个象素。然后为基本区域决定新的小平面化。为深度图的区域集合继续该方法。当近似深度图的点都具有在分配给这些点的范围以下的近似深度时，停止对这些深度图的迭代操作。

自适应阈值的有利之处特别地在于一定的摄象机运动配置：例如，当摄象机运动是正面类型时，可以使用粗糙的方式近似摄象机指向的区域的起伏。类似地，如果该运动对应于旋转，深度信息不再有用，因此间隔是不定的，以及可以最小化使用小平面的显示。

根据所有投影点上固定的容许最大畸变误差而在每个点上规定自适应的阈值。可以或多或少地容许这种畸变：

根据投影在渲染图象上的点是位于2D物体的轮廓上还是轮廓内。保持精确的轮廓可能是很重要的，虽然内部畸变并不是可见的。

根据显示的图象上的点是位于物体的特性特征上、几何类型的特性特征上，例如直线突出边缘或精度需要保持的纹理边缘，或者相反是在几乎看不见误差的统一纹理区域内。

允许的畸变因此可以变化为这些因数的函数。通过考虑例如每个点的分配给最接近于相应的投影点的象素的最大畸变值，可以计算小平面化的阈值。

可以自动地计算这一最大畸变值，作为定义图象的参数的函数，例如，亮度梯度。

计算阈值的上述方法是在建模一个或多个深度图的上下文中的，合成的建模一方面需要压缩信息，另一方面需要用于合成它需要控制视点的渲染精度的所述视点。在上下文中，包括深度值的近似的建模的任何模式可以是基于控制渲染精度的自适应阈值的。小平面化是压缩与深度图有关的数据的方法。当然，不再根据分配给每个象素的深度值定义3D场景，而是根据定义小平面的数据来定义3D场景。使用了空间相关的另一种方法以常规方式将图象划分为图象块，在离散余弦变换之后量化图象块。例如，如果这一近似使用了计算过的最小和最大限制对块的所有点进行了编辑，通过将块的所有点设置为相同的深度值，这样是可能在变换之前简化块的内容的。

原始深度图被划分为图象块。在物体上的每个投影块表示基本区域。通过量化组成图象块的深度值执行定义模型的深度图的近似。例如，选择量化步长在迭代期间，以增加在量化的图象块与原始图象块之间、表示了模型的近似的误差。将用于对应于块中的最大误差的深度的象素的相关范围与近似误差相比较，以确定下一次迭代操作。

参考图3，图8组成了一般的场景以及相关模型，这并不必然地分别限制于单一的物体和小平面模型。

名称为“通过分析图象序列来构建3D场景模型的方法“procédédeconstruction d′un modèle de scène 3D par analyse de séquence d′images”(Process for constructing a 3D scene model by analysis of imagesequences)”的公开的法国专利No.2798761，该专利的所有人是申请人，其中描述了根据图象序列的图象遮罩对3D场景的定义，图象遮罩是为模型和深度图的结构所选的象素。前面描述的小平面化也可以应用到该模型的结构上。根据图象序列构建的以及是描述2D区域的二进制遮罩、深度图和视图位置的3D显示然后对应于参考图象。可以召集渲染中相同区域的视点的列表，即，该区域对应于具有与同一个3D点一样的象素的图象，或这一列表中相关的子集，如果该列表很大的话，则上述列表被用于计算自适应的阈值。

本发明同样地涉及“粗糙到精细”或“精细到粗糙”类型的模型结构。

根据粗糙初始模型，“粗糙到精细”类型的增量结构通过每次迭代时引入要被建模的物体的新的3D点。在这一过程中，每次迭代时，可以通过计算图象中的最大畸变来为参考集合的每个视点检测模型的有效性，以及如果该畸变大于阈值时引入新的3D点。当所有的参考视点在比固定阈值小的在所有点有畸变时，停止这一过程。可以不再考虑一个视点，只要它的图象中的畸变比所有点的阈值小就可以。

根据具有最大分辨率的模型，只要模型的精度可以接受，“精细到粗糙”类型的模型的增量结构删除一些点。在这种环境中，也可以在每次迭代操作时，为所给视点的每个点检测模型的有效性，以及如果每个图象中产生的畸变小于阈值时，删除一个点。当删除一个点产生的畸变大于至少N个视点上的固定阈值时，停止该过程。

本发明的应用涉及用于图象合成或数据压缩的模型结构。

Claims

1.一种用于通过计算描述模型的近似深度图建模根据与视点(I)相关的参考图象(7)和原始深度图定义的3D场景的方法，其特征在于该方法包括下面的步骤：

预先确定由模型(2)的固有的近似产生的、在2D合成图象(4)上的最大允许畸变(5)，

根据一组表示与点I对应的场景的3D点的合成图象(4)，为参考图象(7)的点I计算与该最大畸变的点I对应的深度Z_i的最小(Z_i-Δ_zi ¹)和最大(Z_i+Δ_zi ²)深度值，

根据为所述组的合成图象计算的值中的误差Δ_zi ²的最小值和误差Δ_zi ¹的最小值，计算围绕点I的深度Z_i的范围，

2.如权利要求1所述的方法，其特征在于：通过使用与合成图象中的点I相对应的视线，计算合成图象(4)的点I的深度的最小值与最大值，其中所述的视线指的是对应于允许最大畸变的距离。

3.如权利要求1所述的方法，其特征在于由一组基本区域对该模型进行定义，验证步骤中使用了其深度的3D点是该模型的基本区域的点。

4.如权利要求3所述的方法，其特征在于基本区域是小平面，以及通过迭代操作进行的计算是深度图的小平面化，该迭代操作包括根据处理是“粗糙到精细”还是“精细到粗糙”来创建模型的新的3D小平面顶点或删除模型的3D小平面顶点。

5.如权利要求4所述的方法，其特征在于，“粗糙到精细”类型的迭代操作包括计算和小平面相关的近似值和在该范围之外的近似值中的最不近似的值，以及新的顶点与对应于该值的点相关。

6.如权利要求1所述的方法，其特征在于执行了误差计算的该组合成的图象(4)与代表了使用参考图象(7)的一组视点的采样对应。

7.如权利要求6所述的方法，其特征在于执行了误差计算的该组合成的图象是由和参考图象相同、具有比3D点的阈值大的数量的多个图象组成。

8.如权利要求1述的方法，其特征在于将允许的最大畸变预定为图象的特征函数。

9.如权利要求8述的方法，其特征在于图象的特征是亮度梯度。

10.一种用于产生图象的方法，其特征在于按照根据权利要求1的方法建模场景而产生图象。

11.一种用于压缩定义了3D场景的数据的方法，这些数据与涉及重现的参考图象相关并与关联的深度图有关，其特征在于根据权利要求4的方法通过小平面化来建模深度图，以及使用定义了小平面的数据来代替与参考图象相关和与深度图相关的数据。

12.一种用于压缩定义了3D场景的数据的方法，这些数据与涉及重现的参考图象相关并与关联的深度图有关，其特征在于该方法包括根据权利要求3的建模方法的建模步骤，通过将深度图划分为图象块来定义模型的基本区域，通过对近似深度图的包括修改这些块的量化步长的迭代来计算，以便给出是近似深度的量化深度。

13.如权利要求12所述的方法，其特征在于对量化步长的修改是增加量化步长，以便获得块的最宽的量化步长或同样的量化深度值。