CN1666234B - 拓扑图像模式 - Google Patents

拓扑图像模式 Download PDF

Info

Publication number
CN1666234B
CN1666234B CN038157160A CN03815716A CN1666234B CN 1666234 B CN1666234 B CN 1666234B CN 038157160 A CN038157160 A CN 038157160A CN 03815716 A CN03815716 A CN 03815716A CN 1666234 B CN1666234 B CN 1666234B
Authority
CN
China
Prior art keywords
unit
shape
module
model
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN038157160A
Other languages
English (en)
Other versions
CN1666234A (zh
Inventor
C·W·A·M·范奥维德
F·E·埃恩斯特
P·-A·雷德特
R·P·A·罗德里古斯
P·维林斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN1666234A publication Critical patent/CN1666234A/zh
Application granted granted Critical
Publication of CN1666234B publication Critical patent/CN1666234B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于将一个N-维对象的体元表示转换成含有一个单元空间的计算机模型的方法,所述的单元空间是图形的一种特殊形式。在单元空间的每个边界上附加的一个表示符,表明该边界是否属于一个对象。这对于视频序列的三维压缩以及对于互联网视频序列搜索来说非常有用。

Description

拓扑图像模式
技术领域
本发明涉及一种将一个N维第一对象的计算机表示转换成第一对象的计算机模型的方法。
本发明也涉及将一个N维对象的计算机表示转换成该对象的压缩模型的压缩方法。
本发明还涉及一种将压缩的视频信号解压缩为一个N维对象的计算机表示的方法。
本发明还涉及一种将具有第一多个单元的第一单元空间模型转换成具有第二多个单元的第二单元空间模型的方法。
本发明还涉及一种用于执行将一个N维第一对象的计算机表示转换成第一对象的计算机模型的方法的计算机程序。
本发明还涉及一种用于执行将一个N维对象的计算机表示转换成该对象的压缩模型的压缩方法的计算机程序。
本发明还涉及一种用于执行将压缩的视频信号解压缩为一个N维对象的计算机表示的方法的计算机程序。
本发明还涉及一种将一个N维第一对象的计算机表示转换成对象的计算机模型的设备,该设备包括:
-用于获取第一对象的计算机表示的获取装置;
-用于转换第一对象的计算机表示的处理装置;以及
-用于输出计算机模型的输出装置。
本发明还涉及一种用于将压缩的视频信号解压缩为一个N维对象的计算机表示的视频解压缩设备,该视频解压缩设备包括:
-用于获取压缩的视频信号的获取装置;
-用于根据压缩的视频信号生成计算机表示的处理装置;以及
-用于输出计算机表示的输出装置。
本发明还涉及一种包括一个用于表示一个数字化的N维对象的单元空间的数据表示。
背景技术
在M Ghanbari“视频编码,标准码导论”,电子工程学会,1999,ISBN 0852967624,第46-48页中可以知道该方法的一个例子。
在该实施例当中,计算机表示是一组二维图像的数字化表示,该二维图像表示在连续的时间内,由在照相机的图像平面中的投影在一个空间内记录的记录的三维对象的记录。图像由像素位置矩阵构成,在矩阵中指定了灰度值。
在已知方法的多数应用当中,例如数字电视传输或者在一个DVD盘上的记录中,固定的像素块根据某个适应模式被转换成一个计算机模型.该应用的一个例子是使用MPEG2标准在一个DVD上记录,其中计算机模型尤其包括为一个先前的固定像素块计算的离散余弦变换(DCT)系数.已知系统的另一个应用是根据PMEG4标准的视频应用,其允许更多的自适应改变.例如,一个2-维对象能够以基于对象的方式,以MPEG4编码.MPEG4标准也允许一个在时间上生动变化的人脸的三维模型作为视频序列中的人脸的压缩模型.目前的MPEG4压缩系统的缺点在于没有能够自动地模拟视频立方中的三维对象的体元表示的满意方法.体元表示将一个三维对象表示为一组基本元素的立方,被称为体元.体元可以被定义为与一个数字相关的三维几何位置,该数字表示,例如一个视频图像中的一个像素的灰度值.视频立方是通过将多个视频图像放在一起所形成的体元的立方,这些视频图像在时间上彼此连续,一个挨着一个.
发明内容
尤其是,本发明的第一个目的是提供一种转换方法,用于通过用户友好的计算机模型来模拟N-维对象。
尤其是,本发明第二个目的是提供一种压缩一个N-维对象的有效方法。
尤其是,本发明的第三个目的是提供一个解压缩被有效压缩的视频信号的方法。
尤其是,本发明的第四个目的是提供一种将第一单元模型转换为第二单元模型,从而能够有效地模拟相关的N-维对象的转换的方法。
尤其是,本发明的第五个目的是提供一种执行转换方法的计算机程序。
尤其是,本发明的第六个目的是提供一种执行压缩方法的计算机程序。
尤其是,本发明的第七个目的是提供一种执行解压缩方法的计算机程序。
尤其是,本发明的第八个目的是提供一种执行转换方法的设备。
尤其是,本发明的第九个目的是提供一种执行解压缩方法的设备。
尤其是,本发明的第十个目的是提供一种表示一个N-维对象的容易处理的数据表示。
本发明的第一个目的这样来实现:计算机模型转换包括生成具有第一单元和第二单元的一个单元空间模型的步骤,所述的第一单元属于具有等于N维的第一流形(manifold),第二单元属于位于第一流形的边缘处的具有等于N-1的较低维的第二流形,第一单元和第二单元之间的边界被指定了一个表示符,其表示第二流形是否形成了第一流形的边界的一部分。
流形是具有维D的点的集合的数学名称。一个流形的例子是一个平面。在视频立方中的一个平面的例子是通过投射一个照相机从例如一个方块对象的上部拾取的连续视频图像所建立起来的平面。在每个视频图像中,投射形成了一行,所有的行联合起来形成一个平面。一个对象的上部所形成的平面当然可以是弯曲的。除了与视频图像和时间维相关的二维空间以外,在三维电视设备中还可以出现第三维空间。当再加入一个比例维时,N维的数目就等于5。可以增加附加的维表示其他的参数,例如,根据对象的纹理所进行的计算。
单元空间是图形的一个特例.图形是一个数学概念,由单元和边缘构成.单元空间通常以这样的方式建立:一个单元对应于N维对象的每个流形,从形成对象内部的N维流形开始,经过边缘上的所有低维流形,直到并且包含成为点的,具有零维的边界上的流形.单元空间的特征在于,如果第二流形位于第一流形的边界上,在与具有D维的第一流形相应的第一单元和与具有减少一维,即D-1维的较低维的第二流形相应的第二单元之间加入了一个边界.在母对象的边界上的所有低级维流形通过单元空间模型中的单元和边界清楚模拟.建立一个单元图形的例子参考图3和4描述.在根据本发明的转换方法中,在边界上增加一个表示符,表示在具有D维的第一流形的边界上的具有D-1维的第二流形是否形成了第一流形中的对象的一部分.“形成部分”的含义将参照图2描述.
在计算机图形技术中存在多种模拟N-维对象的方法。但是,这些方法都具有一个度量特征。其中的一个例子是一个八叉树,其中一个三维对象被分成不同维的立方,直到最小的立方接近具有给定精度的不规则外部表面。其他的模型模拟诸如一个三角网或者一个高斯震动模型的N维对象表面。但是,单元空间是N-维对象的拓扑表示,其允许对象构成成分的表示,如果需要,该成分能够通过度量模型被补充模拟。
当对于一个第二对象的计算机表示来说,在单元空间模型中增加了一个属于第三流形的第三单元时,这是非常有利的。当两个对象的所有流形都在一个单元空间中表示时,它们的拓扑关系非常简单并且容易处理。属于第一和第二单元的两个相连的流形具有属于第三单元的低级维的公共边缘流形。单元空间在第三和第一单元之间具有第一边界,在第三和第二单元之间具有第二边界,其模拟边界流形的边界关系。由于边界流形通常仅形成一个流形的一部分,因此一个边界的表示符的值是“形成一部分”,其他边界的表示符的值是“未形成一部分”。利用所有对象的信息,包括单元空间,很容易预测,例如对象的时间估计,或者在计算机图形应用中对其进行改变。表示符提供了关于在视频序列中,照相机所捕获的三维空间中的两个对象中的哪一个的位置最落后的事实的信息。
在一个实施例中,一个三维视频立方由与连续时间相关的二维图像构成,并且逐个放置,该三维视频立方被分成第一对象和第二对象,并且转换生成了第一单元和第三单元,第一流形和第三流形的维数至多为3。
该实施例发生在例如二维电视应用中。根据本发明的方法的优点在于能够通过单元空间模型及时容易地模拟对象的几何转换。视频立方中的所有体元被指定给一个对象,例如第一三维时空对象表示一个正在走动的人,第二对象是这个人所处的环境,包括所有其他的体元。当一个视频立方包括从一个视频序列中选择出来的P个图像时,这个人可能仅在P-K个图像中出现,或者他可以在选定视频立方以外的图像中出现。视频立方中的每个对象都在相同的单元空间模型中模拟。
当转换根据从计算机表示值中导出的至少一个几何特征的计算将一个值指定给表示符时是非常令人感兴趣的。根据一个真实的视频序列自动生成单元空间模型。视频序列中的对象的各种特征都能够被测量,从而能够通过一个或者多个这些特征赋予表示符以具有确定性的正确值。
在使用表示符的一个鲁棒计算的实施例中,转换根据相对于当时视频立方中具有二维图像的平面的第一对象的横截面的表面时间的变化的计算将一个值指定给一个表示符。实际上,当视频序列中的一个对象的二维横截面在另一个对象的横截面之后出现或者消失时,由于对象中的某些像素是不可见的,因此与横截面相关的像素数目改变。
第二个目的是通过使用一个单元空间模型进行转换来实现的.除了单元空间模型以外,还生成了一个压缩模型.压缩模型包括度量信息,例如,有关第一对象内部的精确形式.根据本发明的方法的优点在于视频立方中的对象通过三维模型压缩,同时现有的MPEG4技术中的对象通过在不同的电视图像中仅模拟和压缩二维横截面来二维压缩.通过使用一个三维压缩模型,在相同的图像质量下实现的压缩因子高于二维压缩.此外,在固定的压缩因子的情况下,三维压缩所获得的图像质量高于二维压缩.由于将一幅图像分割成16×16的像素块的固定模式和图像的时间预测,MPEG-2不能完全地利用视频立方中的对象的三维特征.对于一个有效的压缩,必须明确考虑对象被阻塞的事实.阻塞发生在当第一对象在三维空间内移动到先前的第二对象之后时,或者当第一对象在第二对象的后面出现时.
专利申请WO-A-00/64148描述了一种压缩方法,该方法是基于匹配二维图块进行的。在该申请中描述的一些技术对于从一个视频立方当中获得一个N-维对象是有用的,本发明需要这种方法。但是,该专利申请中没有明确使用N-维对象,仅使用了其二维投影。
第三目的是通过使用一个单元空间模型的解压缩方法来实现的。单元空间模型中的对象的明确编码允许高级压缩和解压缩。实际上,在再生N-维对象的过程中,这通过对像素可见的单元空间模型的方法来计算。
第四目的是通过第一多个单元与第二多个单元不同来实现的。例如,当第一N-维对象与第二N-维对象相比较时,例如对于互联网上的图像材料的搜索,很容易比较它们的相关单元空间模型。在将两个单元空间模型的单元和边缘彼此相关之前,很容易首先转换单元空间模型中的一个。例如,对于模拟一个质询中指定的房子的单元空间模型,表示一间房子的对象的屋顶是平的,并且在互联网上的一幅图像中指出第二间房子。例如,表示平形屋顶的单元可以重新用于指定屋顶的第一侧面,并且为第二侧面加入一个额外的单元。同样的技术对于计算机图形应用是非常有益的。
第五目的是通过提供一个包括一个用于执行转换方法的计算机程序的计算机代码来实现的。
第六目的是通过提供一个包含一个用于执行压缩方法的计算机程序的计算机代码来实现的。
第七目的是通过提供一个包含一个用于执行解压缩方法的计算机程序的计算机代码来实现的。
第八目的是通过一种处理装置实现的,该装置能够生成一个具有第一单元和第二单元以及第一单元和第二单元之间的边缘的单元空间模型,第一单元属于具有等于N的高维数的第一流形,第二单元属于位于第一流形边缘的,等于N-1的低维数的第二流形,该装置还能够为边缘指定一个表示符,该表示符表示第二流形是否形成了第一流形的边缘的一部分。
第九目的是通过一种能够访问该单元空间模型的处理装置来实现的。
第十目的是通过为单元空间的第一单元和第二单元之间的边缘指定一个表示符来实现的,该表示符表示具有低维数的第二流形是否形成了具有高维数的第一流形的一部分,所述的第一和第二流形分别由第一和第二单元表示。
附图说明
下面将参照附图以实施例的方式详细阐明根据本发明的转换方法,压缩方法,解压缩方法,设备,视频解压缩装置和数据表示。在这些附图中:
图1是表明将一个对象的计算机表示转换成计算机模型的方框图;
图2是表示一个三维场景的二维图像;
图3是用于阐明一个单元空间模型的结构的一个简单的二维对象;
图4是与图3中的对象有关的单元空间模型;
图5表明了两个网状的环形对象;
图6是与图5中的环形对象有关的单元空间模型的简化表示;
图7是具有两个对象的视频立方;
图8是解压缩方法的方框图;
图9是用于生成一个N-维对象的单元空间模型的设备;
图10是一个视频解压缩设备;
图11是三个对象的两个边缘的T形连接;
图12是时间上彼此连续的图像的符号表示;
图13是与图12中的圆有关的三维时空对象。
在下面的附图中,与附图中已经描述过的部分相应的部分用相同的参考标记表示。一个对象和相关的单元空间模型的相应对象的参考标记仅在百位有所不同。参考三维或者二维对象来描述方法和装置是为了更为清楚地阐述。所描述的步骤可以以显然的方式,在更高维数当中数学计算。
具体实施方式
图1中的转换方法的第二步骤是获取1计算机表示,例如一个N-维对象的体元表示。很可能分割步骤3在获取步骤之前执行,在分割步骤中,对象从一个视频立方中分割。分割是将视频立方中的每个像素仅分配一个对象。分割一个三维视频立方的算法能够以简单的方式从文献中所述的二维图像图块中推导。一种可能的算法是当标准表明它们就选定的特征而言种类相同时,将例如一个8×8×8体元的立方分配给一个相同的图块。特征的一个例子是与体元有关的灰度值。标准的一个例子是与体元的两个立方有关的柱状图绝对差G:
H = Σ i = 1 M | C i K 1 - C i K 2 | / 2 V - - - [ 1 ]
在公式[1]中,i是柱状图面元(bin)的指数,其中视频立方中的所有灰度值被分成M个面元。C是在立方体K1和K2中与一个面元i有关的灰度值的数目。立方的体积V作为标准化常数使用。当差别G很小时,根据分割算法,两个立方属于同一个图块。不同的标准是在文献中的描述,其中的每一个都能够使用不同的特征例如体元灰度值,体元彩色,纹理尺寸,例如通过Gabor滤波获得的值,或者来自于一个联合发生矩阵的值等。在文献中,还存在不同的图块算法分组,例如,小图块到大图块,或者相反,分裂成大图块到小图块。
已经根据一个给定的模型例如一个八叉树模拟了一个对象。如果需要,八叉树模型可以在获取步骤过程中被转换成一个体元表示。或者,可以根据例如一个三角网状表示来生成一个单元空间模型。
在图1中的生成步骤5中,根据体元表示建立了一个单元空间。下面参考图3和4对此进行描述。
图3表明了具有平面511的一个简单的二维图形510,该图形被一个一维的圆形边界513和三个直线边界514,515和516所界定.直线边界由两个点相连而形成,例如,第一直线边界514被第一点520和第二点521连接而成.
图4以图表的方式表明了属于图3所示图形的单元空间模型609。存在一个具有属于平面511的单元维数为2的单元611。对于具有维数比2低1维的平面511的边缘上的所有边缘流形,在单元611和与边缘流形相应的单元,例如单元611和与一个圆形边界513有关的单元613之间的边界612之间的单元空间模型609中,增加一个边缘。在与被看作是区别大于1的维数的流形有关的单元之间不加入边界,例如在单元611和与第一点520有关的单元620之间没有边界加入。为所有的边界指定了一个表示符,为了附图的清楚,仅表明了一个表示符625。该表示符表示圆形边界513是否形成了平面511的一部分,或者换句话说,圆形边界是否形成了二维图形510的一部分,在这种情况下,例如,表示符被指定为值1。如果圆形边界513没有形成平面511的一部分,例如,该表示符被指定为值0。
图2表明了“形成一部分”的含义并且显示了一个空间上的三维场景的二维图像,例如一个照相机所拾取的图像或者一个计算机绘图程序所描述的图像。对象13位于对象15的前面空间中。对象15的平面16被四条直线,尤其是第一直线边界17和第二直线边界18所围绕。为了赋予表示符一个与属于平面16的单元和属于直线边界17的单元之间的边界有关的正确值,应当询问这样的问题:第一直线边界17是否形成了平面16的一部分,或者,与此等价地,是否形成了对象15的一部分。当对象表明,例如,墙面上的门已经打开,第一直线边界17与门孔有关。因此,标准是当门孔在通过移动镜头照相机所拾取的连续视频图像上移动时,第一直线边界17沿着门孔移动。例如,使用一个Hough转换,在诸如Canny边界检测器的边界检测器所发现的边界17上的点,一段直线以相同的速度和方向沿着门孔的纹理,例如在给定的灰度值以上的一图块的像素移动。如果门具有足够的纹理信息,可以使用一个运动估计器来确定它的运动,例如在专利文件WO-A-0188852中描述的估计器。第二直线边界18也在平面16之内。假设第二直线边界18形成了对象13的上边界,并且对象15的真实边界隐藏,例如隐藏在对象13的后面。然后,沿着对象13移动第二直线边界18,例如当对象13是一个向左的人时,其向左移动,并且不沿着对象15移动,例如在照相机移动的影响下,其向右移动。第二直线边界18这样界定平面16,但是没有形成平面16的一部分,却形成了对象13的一部分。可以使用不同的启发通过阻塞分析的方式来定义对象的边界与哪个对象相关。第一启发定义,例如:当连续图像中的第一对象的横截面减小或者增加时,同时第二伴随对象的横截面保持恒定,第二对象覆盖第一对象,并且边界流形形成第二对象的一部分。
第二启发参照图11描述。在边界301和边界303的T形接点上,与连续边界301有关的对象305位于对象307和309的前面,并且边界301形成了对象305的一部分。
第三启发分析边界移动进行哪个连接纹理。这可以受运动估计的影响。首先,能够执行纹理分析,例如通过计算规定参数,或者纹理的小波或者碎片分析,或者能够执行纹理单元的分析。还有可能将具有相同类型纹理的图块从图像中分离出来并且应用一个基于图块的运动估计器。
如果存在第二对象,例如,与图7所示的视频立方201中的第一对象203在一起的第二对象204,在单元空间模型中为第二对象增加了单元.例如,在图6中,分别为图5中的第一环21的内部25和第二环23的内部27增加了单元125和127.在图6中,由虚线表示的表示符与具有“没有形成部分”的意思的值有关.为了图6的清楚明了,仅表明了两个点的相关单元.
当图1中的生成步骤5不仅生成体元表示的单元空间模型223,模拟步骤6还生成一个度量模型222时,这是非常令人感兴趣的。例如,一个三维对象的二维包络能够通过三角网状模型或者计算机图形技术中已知的其他模型可测量的模拟。使用测量算法生成边界流形是非常令人感兴趣的。为了定义一个对象的二维边界表面,例如可以首先计算对象的重心,接下来和与重心距离最远的对象有关的点被认为是重心半径上的边界点。在推定固体几何技术中还已知用于确定流形的其他算法。作为所有边界点的集合获得的对象的弯曲的二维边界表面可以仅利用例如平面来模拟,而不用通过与二维边界表面的匹配计算出的平面流形来模拟,其中平面上的一个点,不是平面的流形与二维边界上的一个点之间的距离不会大于一个预定的距离。参照图3描述另一个例子。很明显,仅使用一个直线边界,例如516,描述了边界的直线部分,但是直线边界516可以被分成两个更短的直线边界,然后这两个直线边界分别属于单元空间609中的两个单元。而且,也可以为度量模型指派一个纹理功能。很可能为一个流形中的所有体元给定一个和相同的彩色。另一个可能是,例如,在三角网状表示的三角中加入一个多项式纹理模型。然后可以将多项式的参数加入到压缩模型当中。压缩模型和单元空间给出了有效重建对象所需的全部信息。
在输出步骤7的过程中,将单元空间模型以及度量模型222(如果应用)输出到存储器219,或者通过数据连接传输。当使用测量模型和单元空间的数据生成一个压缩模型228,最好是一个基于对象的压缩模型时,这是非常令人感兴趣的。例如,可以使用从现有的压缩技术中已知的技术,例如小波系数的量化技术,同时考虑人类的视觉特征,例如哈夫曼编码,使用对象的一个三维小波模型作为压缩模型。
使用单元空间模型的优点在于能够比仅利用度量模型更为有效地执行压缩和解压缩。这将参考图12和13进行描述。在视频序列中,两个对象彼此阻塞是非常常见的。方块713在第一图像701,第二图像703和第三图像705中保持在相同的位置上。但是,圆圈在方块的后面移动,并且在第三图像中甚至移出了图像帧。图13表明了圆圈在不同的图像中的运动作为一个三维对象730。由于圆圈的各部分已经被阻塞,即在一些图像中已经看不见,因此三维对象730的形状是不规则的。例如,与圆圈的第三位置714相应的横截面725就由于部分圆圈位于图像之外而不圆。但是,在发生移动的三维空间内,圆圈总是保持圆的。这样如果阻塞也要被模拟的话,就可能使用一个圆柱的模型来模拟圆圈。这在我们的方法中是通过单元空间模型中的表示符实现的。在解压缩过程中,当将根据压缩模型生成视频立方图像时,将考虑阻塞。例如,当再生图像时,落在图像之外的内容将被剪切。边界是一个阻塞对象的特殊情况。图像的再生进一步在图8的描述中介绍。二维图像中的对象改变可以由平移,旋转和缩放构成,简单的三维对象与上述内容有关。更为复杂的转换模型会出现非线性弯曲。
例如,如果一个足球滚入了一幅图像,纹理模拟可以选择性地模拟足球的旋转纹理功能,或者线性平移的静态功能,其中在接收端足球被看作正在滑动,而不是滚动.如果纹理功能随时间变化,例如,随亮度的改变而变化,第一种选择是使用非常短的三维对象仅例如用四个帧模拟对象轨迹的一小部分.另一种选择是使用时间变化纹理功能,例如与对象耦合的参考轴系统中的像素的灰度值的多项式改变.
压缩对于多数应用非常重要。能够理解数据传输作为一种压缩应用指的是例如,互联网,第三和第四代移动通信,在DSL(数字用户线)上的视频点播以及数字电视。存储器指的是例如,高容量记录载体,例如数字盘DVD上的HDTV,专业视频服务器,基于硬盘的个人视频记录器,在硬盘上记录了很多节目,尽管利用的是低质量,和在多种系统当中适当压缩来记录的。人们对于低容量存储器,例如视频CD的载体,小盘以及固态存储器,也很感兴趣。视频信号可以是来自于卫星电视到互联网视频的所有种类的源。该方法可以在提供者终端,例如在电视演播室中使用,也可以在中间终端例如电缆网络公司,以及直播间中使用。
可以通过例如为每一个帧构建一个所谓的可缩放空间来获得大于3的维数。例如,可以利用高斯滤波器对该帧滤波,在高斯滤波器中滤波器的标准偏差σ持续增加。然后标准偏差形成了一个额外的维。与视频立方相似,其可以通过在时间上将一帧放在另一帧之后来形成。如图7所示,滤波的帧被认为是不同级别的帧,能够放置在另一个之后。
单元空间模型的另一种应用是计算机想象。例如,当一个机器人必须参考照相机拾取的图像在一个三维空间中安排一个运动轨迹时,它可以使用单元空间模型来定义该帧中的哪个流形属于彼此从而它能够更好的计算三维结构和在三维空间中对象的放置。另一种应用是从另一个观点例如三维电视或者视频点播出发的场景再生。而且,当生成特殊效果时,单元空间模型也是非常有意思的。另一种应用是互联网上的图像的结构分解。当必须找到具有给定对象的图像时,这些对象可以利用单元空间模型描述。既可以为用户给出的搜索对象的轮廓,例如一个图像搜索程序,又可为互联网上的数据库中的图像生成一个单元空间模型。人们对单元空间模型在医学图像处理应用中的使用也很感兴趣。
图8是解压缩一个压缩视频信号的方框图。首先在步骤101获取压缩信号,例如来自于电视分布电缆或者个人视频记录其的信号。如果需要,对其进行转换从而实现一个可用的度量模型。例如,可以例如差别地存储压缩模型中的部分信息,在这种情况下,首先计算模型参数的绝对值,并将其存储在度量模型当中。在一个优选实施例中,应用一个单元空间模型以及一个压缩模型,尽管在另一个实施例中是在接收端计算单元空间模型。
接下来,使用测量模型和单元空间模型生成一个计算机表示(图8中的步骤)103,例如一个视频立方201。在第一实施例中,直接生成一个包括P个帧的三维视频立方。例如首先生成一个三维对象的边界,接下来通过例如纹理模型生成其内部。或者,在第二实施例中独立地生成每一帧。参考幅图12和图5描述第二实施例。
例如,当生成第二图像703时,首先通过例如将圆圈712和方块713的相关的三维对象投射到第二图像703的平面上来计算它们的边界。接下来,应用每个纹理功能从而对圆圈和方块的像素着色。应当计算圆圈或者方块是否在前面。由于边界流形形成了方块的一部分,因此方块在前面。接下来,必须首先在圆圈的第二位置712绘出其纹理功能,并且利用方块713的纹理功能重写。
图5表明了第一环21和第二环23在空间上互相连接的一个更为困难的情况.通过投射算法生成了环的一维边界,例如边界29和30.接下来,应用纹理功能从而对环的像素着色.为此,例如,使用一个漆匠算法.其为对象边界内的所有像素指定正确的值.一种选择算法首先绘出第一环21的像素,然后绘出第二环23的像素.如果使用选择算法,在交叉点55和分隔点56之间的区域中,第一环21的像素被第二环的像素不法重写.而且当另一种选择算法首先绘出第二环时,存在错误的像素.这是由于第一环21和第二环23都不在前面.这一问题可以通过在单元空间模型中应用一个圆形的检测算法来解决.当检测到一个圆时,必须加入一个额外的边界流形,这被称为一个交叉点,例如交叉点55.交叉点55和边界51之间的第一环21将穿过第二环在第三绘图相位描述.通过使用输入交叉点和执行额外的绘图相位的算法,所有的像素都具有一个正确的值.
在输出步骤105的过程中,将视频立方写入到例如一个存储器271当中,或者将连续的图像发送到例如一个图形处理单元当中。
图9表明了一种用于将一个计算机表示,例如一个N-维第一对象203的体元表示221转换成对象203的计算机模型的设备211。为此,设备211包括获取装置215,例如一个用于获取第一对象203的体元表示221的数据连接。在一个优选实施例当中,体元表示221位于存储器219当中。而且,设备211包括处理装置213,用于根据体元表示221生成计算机模型。在一个优选实施例当中,处理装置213是一个处理器。用于输出计算机模型的输出装置217例如是一个与存储器219相连的数据连接,其中写入了单元空间模型223和算法模型222。当设备211结合到一个视频处理装置241当中时是非常令人感兴趣的。在一个实施例中,视频处理装置241具有一个用于接收视频信号229的输入端233以及一个能够处理接收到的视频信号的条件单元225,其能够例如将接收到的视频信号转换从一个PAL信号转换成一个视频立方。而且,在该实施例中,提供了一个用于输出视频信号231的输出端235,通过输出处理单元227形成了视频信号。尤其是,当输出处理单元227生成一个压缩模型228时是非常令人感兴趣的。
图10表明了一种视频解压缩装置251,用于将包括一个压缩模型的压缩的视频信号261压缩为一个计算机表示262,例如一个三维视频立方201。该视频解压缩装置251具有一个用于接收一个压缩视频信号261的输入端255和一个用于输出一个解压缩视频信号263,例如一个视频立方201的输出端257。或者,提供一个输出处理单元265用于将视频立方转换成一个PAL或者NTSC信号。在视频解压缩装置251的一个优选实施例中,用于生成计算机表示262的处理单元253连接到一个存储器271,在该存储器中存储了一个单元空间模型273。

Claims (10)

1.一种将一个N-维第一对象的计算机表示转换成第一对象的计算机模型的方法,特征在于计算机模型转换包括下列步骤:生成具有一个第一单元和一个第二单元的一个单元空间模型,以及第一单元和第二单元之间的单元空间模型的、给其指定了一个表示符的边缘,其中,所述第一单元属于具有维数等于N的第一流形,所述第二单元属于位于第一流形的边界处的具有等于N-1的较低维数第二流形,并且,该表示符表示第二流形是否形成了第一流形的边界的一部分。
2.根据权利要求1所述的一种转换方法,特征在于在单元空间模型中增加一个属于第三流形的第三单元,用作第二对象的计算机表示。
3.根据权利要求2所述的一种转换方法,特征在于包括与连续时间有关并且彼此相联前后放置的二维图像组成的一个三维视频立方被分割成第一对象和第二对象,并且转换生成了第一单元和第三单元,第一流形和第三流形的维数至多为3。
4.根据权利要求3所述的一种转换方法,特征在于转换根据从计算机表示的值导出的至少一个几何特征的计算为表示符指定一个值。
5.根据权利要求4所述的一种转换方法,特征在于转换根据当时在视频序列立方中具有一个二维图像的平面的第一对象的横截面的表面相对于时间的改变的计算为表示符指定一个值。
6.一种将一个N-维对象的计算机表示转换成该对象的一个压缩模型的压缩方法,特征在于转换利用了具有一个第一单元和一个第二单元的一个单元空间模型,以及第一单元和第二单元之间的单元空间模型的、给其指定了一个表示符的边缘,其中,所述第一单元属于具有维数等于N的第一流形,所述第二单元属于位于第一流形的边界处具有等于N-1的较低维数的第二流形,并且,该表示符表示第二流形是否形成了第一流形的边界的一部分。
7.一种将压缩的视频信号解压缩成一个N-维对象的计算机表示的方法,特征在于解压缩利用了具有一个第一单元和一个第二单元的一个单元空间模型,以及第一单元和第二单元之间的单元空间模型的、给其指定了一个表示符的边缘,其中,所述第一单元属于具有维数等于N的第一流形,所述第二单元属于位于第一流形的边界处具有等于N-1的较低维数的第二流形,并且,该表示符表示第二流形是否形成了第一流形的边界的一部分。
8.一种将具有第一多个单元的第一单元空间模型转换成具有第二多个单元的第二单元空间模型的方法,特征在于第一多个单元与第二多个单元不同,所述第一单元空间模型具有一个第一单元和一个第二单元,以及在第一单元和第二单元之间的所述单元空间模型的、给其指定了一个表示符的边缘,所述第一单元属于具有维数等于N的第一流形,所述第二单元属于位于第一流形的边界处具有等于N-1的较低维数的第二流形,该表示符表示第二流形是否形成了第一流形的边界的一部分。
9.一种用于将一个N-维的第一对象的计算机表示转换成该第一对象的计算机模型的装置设备,该装置设备包括:
获取装置,用于获取第一对象的计算机表示,
处理装置,用于转换第一对象的计算机表示,以及
输出装置,用于输出计算机模型,
特征在于该处理装置能够生成具有第一单元和第二单元的一个单元空间模型,以及第一单元和第二单元之间的空间模型的边缘,其中,所述第一单元属于具有维数等与N的第一流形,所述第二单元属于位于第一流形的边界处具有等于N-1的较低维数的第二流形,并且该处理装置能够对单元空间模型的边缘指定一个表示符,该表示符表示第二流形是否形成了第一流形的边界的一部分.
10.一种用于将压缩的视频信号解压缩为一个N-维对象的计算机表示的视频解压缩装置设备,该视频解压缩装置设备包括:
获取装置,用于获取压缩的视频信号;
处理装置,用于根据压缩的视频信号生成计算机表示;
输出装置,用于输出计算机表示,
特征在于处理装置访问具有一个第一单元和第二单元的一个单元空间模型,以及第一单元和第二单元之间的该空间模型的边缘,其中,所述第一单元属于具有维数等与N的第一流形,所述第二单元属于位于第一流形的边界处具有等于N-1的较低维数的第二流形,并且该处理装置能够对单元空间模型的边缘指定一个表示符,该表示符表示第二流形是否形成了第一流形的边界的一部分。
CN038157160A 2002-07-04 2003-07-02 拓扑图像模式 Expired - Fee Related CN1666234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02077692 2002-07-04
EP02077692.8 2002-07-04
PCT/IB2003/003034 WO2004006187A1 (en) 2002-07-04 2003-07-02 Topological image model

Publications (2)

Publication Number Publication Date
CN1666234A CN1666234A (zh) 2005-09-07
CN1666234B true CN1666234B (zh) 2010-05-12

Family

ID=30011158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN038157160A Expired - Fee Related CN1666234B (zh) 2002-07-04 2003-07-02 拓扑图像模式

Country Status (9)

Country Link
US (1) US20050231507A1 (zh)
EP (1) EP1522049B1 (zh)
JP (1) JP2005531862A (zh)
KR (1) KR100984473B1 (zh)
CN (1) CN1666234B (zh)
AT (1) ATE345549T1 (zh)
AU (1) AU2003281393A1 (zh)
DE (1) DE60309710T2 (zh)
WO (1) WO2004006187A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710423B2 (en) * 2005-03-21 2010-05-04 Microsoft Corproation Automatic layout of items along an embedded one-manifold path
CN101105864B (zh) * 2007-08-07 2010-04-07 中国地质大学(武汉) 一种基于序列剖面拓扑推理的三维地质体动态重构方法
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN101794457B (zh) * 2010-03-19 2012-07-25 浙江大学 基于样例的区分式三维运动恢复方法
CN102509339B (zh) * 2011-10-10 2014-04-02 武汉大学 一种带纹理约束的三维模型顶点聚类简化方法
CN102592313B (zh) * 2011-12-29 2015-04-01 中国水电顾问集团华东勘测设计研究院 一种地质三维模型自动建模与动态更新的方法
CN111665709B (zh) * 2020-06-29 2021-10-15 北京东方计量测试研究所 广域空间内统一时间的方法和空间守时系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1003131A1 (en) * 1998-11-02 2000-05-24 Koelman Intellectueel Eigendom B.V. Method and device for designing surfaces with a free form

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438266B1 (en) * 1998-08-27 2002-08-20 Lucent Technologies Inc. Encoding images of 3-D objects with improved rendering time and transmission processes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1003131A1 (en) * 1998-11-02 2000-05-24 Koelman Intellectueel Eigendom B.V. Method and device for designing surfaces with a free form

Also Published As

Publication number Publication date
WO2004006187A1 (en) 2004-01-15
KR100984473B1 (ko) 2010-09-30
DE60309710T2 (de) 2007-09-20
AU2003281393A1 (en) 2004-01-23
KR20050016721A (ko) 2005-02-21
US20050231507A1 (en) 2005-10-20
DE60309710D1 (de) 2006-12-28
EP1522049A1 (en) 2005-04-13
JP2005531862A (ja) 2005-10-20
EP1522049B1 (en) 2006-11-15
ATE345549T1 (de) 2006-12-15
CN1666234A (zh) 2005-09-07

Similar Documents

Publication Publication Date Title
Turki et al. Mega-nerf: Scalable construction of large-scale nerfs for virtual fly-throughs
US5983251A (en) Method and apparatus for data analysis
Chen et al. Towards efficient and photorealistic 3d human reconstruction: a brief survey
Tian et al. Quality assessment of DIBR-synthesized views: An overview
CN111899320A (zh) 数据处理的方法、动捕去噪模型的训练方法及装置
Pavez et al. Dynamic polygon cloud compression
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
JPH09502586A (ja) データ分析方法及び装置
CN115205463A (zh) 基于多球面场景表达的新视角图像生成方法、装置和设备
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN1666234B (zh) 拓扑图像模式
JP7290546B2 (ja) 3dモデル生成装置および方法
CN117115786A (zh) 一种联合分割跟踪的深度估计模型训练方法及使用方法
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
McLean Structured video coding
KR20060015755A (ko) 3차원 모델을 사용하는 화상 시퀀스를 표현하는 방법 및 그장치와 신호
Sehli et al. WeLDCFNet: Convolutional Neural Network based on Wedgelet Filters and Learnt Deep Correlation Features for depth maps features extraction
Cho et al. Depth image processing technique for representing human actors in 3DTV using single depth camera
Champawat et al. Online point-cloud transmission for tele-immersion
Lai et al. Immovable Cultural Relics Preservation Through 3D Reconstruction Using NeRF
Haccius Towards a synthetic world
Li et al. Extended signal-theoretic techniques for very low bit-rate video coding
Lee et al. Category-level Neural Field for Reconstruction of Partially Observed Objects in Indoor Environment
Du et al. Temporal residual neural radiance fields for monocular video dynamic human body reconstruction
Turki Towards City-Scale Neural Rendering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: QUALCOMM INC.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090605

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090605

Address after: American California

Applicant after: Qualcomm Inc.

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100512

Termination date: 20190702