CN1350748A - 为获得三维效果而进行的视频取样率转换 - Google Patents

为获得三维效果而进行的视频取样率转换 Download PDF

Info

Publication number
CN1350748A
CN1350748A CN00807392A CN00807392A CN1350748A CN 1350748 A CN1350748 A CN 1350748A CN 00807392 A CN00807392 A CN 00807392A CN 00807392 A CN00807392 A CN 00807392A CN 1350748 A CN1350748 A CN 1350748A
Authority
CN
China
Prior art keywords
scale
change
image
video image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN00807392A
Other languages
English (en)
Other versions
CN100426846C (zh
Inventor
L·波兰德
J·扬森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1350748A publication Critical patent/CN1350748A/zh
Application granted granted Critical
Publication of CN100426846C publication Critical patent/CN100426846C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

视频显示系统具有的二维取样率转换功能用来产生三维效果。对视频图像应用线性和非线性尺度变换,可以表达深度感。三维效果用来增强显示系统中现有功能和新功能的视觉吸引力。象立方体或锥体等多种多面体表现形式,可以在该表现形式的每一个面上显示不同的视频图像。在每个面上将每个图像适当进行尺度变换后,可以获得一种深度感。不同面上的图像可以被选择以代表一个共同主题的不同方面,例如与主要信息源有关的数据广播信息。电视机中频道的选择也可以用多面体旋转的形式展现。同样可以有其它常见的表现形式,例如可以使用一本书的表现形式,其中改变频道被呈现为对该书翻页,每个电视节目呈现在不同的书页上。更高级的功能,例如节目分类别,可以表现为书的标签,这样便于选择特定类别。同样,多面体以某条轴为轴心旋转可以对应于在所选类别中改变频道,而以另一条轴为轴心旋转对应于改变类别。提供了技术,用于利用通过适合于对传统显示系统的取样率转换器进行的计算而获得这些三维效果。

Description

为获得三维效果而进行的视频取样率转换
发明背景
1.发明领域
本发明涉及视频信号处理领域,特别是通过视频取样率转换产生三维效果。
2.背景技术
高质量视频显示系统,例如高清晰度电视(HDTV)系统越来越流行,因此在成本和性能方面的竞争愈加激烈。为了保持竞争力,一个系统必须提供更多功能,更吸引买家,或者拥有其它系统所不具备的性能。最好这些系统能够以与其他不具备这些性能的系统同样的价格提供给用户,因此功能与价格的组合对扩大市场份额和提高利润有利。
系统所具备的一个独特功能是,比如,“画中画(PIP)”功能,其中第二个视频图像可以叠加在主视频图像上。最初带有画中画功能的电视机可以卖一个好价钱。随后竞争的系统提供了附加的画中画功能,例如用户可控制显示屏上画中画的大小和位置。根据计算机接口技术,电视系统目前还可提供“开窗”功能,不同的视频图像可以显示在电视机上不同的窗口中。这些视频图像可以是其它电视节目图像,频道选择指南或与主图像有关的信息,例如包含与正在观看的节目有关的辅助信息、对广告商品更细致的观看等等。提供这些功能的电视机通常利润空间要比功能较少的电视机大,特别是如果这些功能是新推出的,因为通常加入新功能附加的成本较低,而对此功能的需求却很大。
基于因特网的电视提供商也希望用同样的方式来争夺观众,这样就可以获得更高的广告价格。如果某种电视显示系统提供一种所希望的功能,因特网服务提供商就会提供支持使用这种功能的节目,因此既增加了对包含这种功能的显示系统的需求量,也提高了提供商业务的访问量。
为了实现上述提到的画中画和开窗视频效果,每个视频图像都必须进行尺度变换以放在相应的显示区域。在一个数字显示系统中,取样率转换器(SRC)用来完成尺度变换。一个数字化编码后的视频图像由原先图像的样值阵列组成;显示屏区域由像素阵列构成。如果水平和垂直方向上的样值数与显示屏水平和垂直方向的像素数相等,就不需要进行尺度变换。每个样值与相应的像素一一对应,最后显示的图像相当于原先图像。如果像素数目是样值数的一半,则每隔一个样值与相应的像素对应。最后显示的图像相当于以原来样值取样率的一半对图像进行取样。也就是说,尺度变换相当于改变取样率,即所谓的“取样率转换器”。通过产生对应于取样值估计的像素值实现非整数的尺度变换,如果初始取样率对应于该显示尺度变换,则获得所述取样值的估计。这些产生的像素通常从每个像素位置周围一组样值中内插获得。传统的显示系统包括一个垂直样值取样率转换器和一个水平样值取样率转换器,以完成单个方向或二维的尺度变换。
计算机图形系统可以在显示屏幕上产生深度感或三维显象的视觉效果。这些图形系统使用复杂的图形加速设备来完成这些三维效果。但图形加速设备并不能与传统的视频再现系统直接兼容,也不能满足常规视频显示系统的质量需求。在视频显示系统中应用产生三维效果的图形加速器装置很显然将大大提高显示系统的成本。
发明概述
本发明的一个目的是为视频显示系统提供附加特性。本发明的另一个目的是提供带三维效果的视频显示系统。更进一步的目的是在不大幅增加系统成本的前提下,在视频显示系统中提供三维效果。
通过使用视频显示系统中的二维取样率转换能力来产生三维效果,可以实现这些以及其它目的。对视频图像应用线性和非线性尺度变换,可以产生深度感。三维效果用来增强显示系统中现有功能和新功能组的视觉吸引力。象立方体或锥体等多种多面体表现形式,可以用来在物体的每一个面上显示不同的视频图像。将多面体的各个面上的每个图像相应变换大小后,可以获得一种深度感。各个面上的图像可以被选择来表示一个公共主题的不同的方面,例如与主要信息源相关的数据广播信息。电视机中频道的选择也可以用多面体旋转的形式展现。同样可以有其它常见的表现形式,例如用一本书,改变频道相当于翻页,每个电视节目以不同的书页表示。更高级的功能,例如节目分类别,可以表现为书的标签,这样便于选择特定类别。同样,多面体以某条轴为轴心旋转可能对应于在所选择的节目类别中改变频道,而以另一条轴为轴心旋转意味着改变节目类别。为了得到这些三维效果,提供通过对传统显示系统的取样率转换器进行相应的计算后完成的技术。
附图说明
通过参考附图来举例进一步详述本发明,其中:
图1是根据本发明的三维尺度变换器的示例框图;
图2是根据本发明的视频显示系统的示例框图;
图3是根据本发明的三维尺度变换器的示例流程图;
图4A-4E和5A-5C是根据本发明的示例透视图;
图6A-6B、7和8A-8B是根据本发明的三维物体视图;
在整个附图表示中,同样的参考数字表明相似或相符的性能或功能。
发明详述
本发明通过在图像视图中加入三维(3-D)效果,从而增强了视频图像的吸引力。与图形处理器将三维物体对象提供至二维平面相比,本发明将第三维加到传统的二维视频图像中。也即,在图形系统中的一个物体除了定义每个物体所在的对象空间中的三维坐标以外,还包括长度、宽度和深度信息。图形系统完成必要的确定将三维物体投射到二维图像显示平面的操作,包括决定相对于假定的观看者每个物体投影的大小和形状,决定哪些物体遮住其它物体等等。在本发明中,信息的来源是一幅二维图像。通过将二维视频图像视为一个图像平面,并模拟图像平面相对于显示屏平面的旋转或其它方位变化,从而将第三维加入到二维视频图像中。在进行旋转时,概念上离观看者更远的图像区域比离观看者更近的画面区域要小,这样就可以表达出一种旋转图像的“深度”感。正如下所述,这种深度的模拟是通过修正传统高质量视频系统中水平和垂直取样率转换器的控制和操作而得到的。
图1是根据本发明的三维尺度变换器100的示例框图。如图所示,三维尺度变换器100包括一个控制单元110、一个垂直取样率转换器120和一个水平取样率转换器130。注意在这里用取样率转换器来表示尺度变换是为了便于理解,因为如前所述,取样率转换器通常用于产生尺度变换效果。很显然,对于考虑本公开内容的本领域的普通技术人员来说,可以采用任何其它尺度变换方式来产生同样的视觉效果,这些都被包括在本发明的预期范围内。
除了以下将详述的方面以外,取样率转换器120和130的工作方式与传统的取样率转换器类似,用来将视频图像在水平和垂直方向上进行尺度变换。控制单元110通过开关115a-c来控制数据流通过转换器120和130。控制单元110还提供垂直和水平尺度因子,即VS和HS,来控制垂直120和水平130取样率转换器所能提供的尺度变换程度。尺度变换器100的工作过程通过在图3中示例的流程图以及相应视频图像视图中的合成效果(如图4A-4E和图5A-5C所示)可以清楚地理解。
图3是根据本发明的三维尺度变换器,如图1中所示的尺度变换器100的流程图。注意,为便于参考,介于100和99之间的参考数字与图1中的数据项对应,而介于300和399的参考数字与图3中的数据项对应。在310,输入视频图像101加入旋转或定位102,角度为A。在320,处理路径有两条分支,去哪条支路取决于旋转是以垂直轴还是以水平轴为轴心。此分支相应于由图1中控制单元110对开关115a-c进行的控制。图1中所示开关115a-c的设置对应于以Y轴,也就是垂直方向旋转,即对应图3中320支路后左路的处理步骤。
众所周知,一个平面以y轴为轴心旋转,可以用下述变换式表示:
x’  =x*cos(A)-z*sin(A)        (1)
y’  =y                        (2)
z’  =x*sin(A)+z*cos(A)        (3)
这里x、y、z是旋转前平面内的坐标,x’、y’、z’是关于y轴旋转角度A后得到的合成坐标。在这个坐标系统中,z对应于距离观看者的距离,z为正值比为0或负值时,离开用户的距离更远。为便于理解,图像最初的z值赋0,尽管本领域的普通技术人员可以认识到,如果使用非零值,z*sin(A)项只是将每个z’坐标乘以一个固定值,这一点在水平尺度变换框320后由一个变换框来表示。注意每个x坐标的水平尺度变换都乘以相同的尺度系数,cos(A)。在图1的示例实施例中,此尺度系数HS由控制单元110提供给水平取样率转换器130,转换器130用这个系数HS对输入视频图像101进行尺度变换。图4A-4B示出与以a0角度旋转对应的尺度系数对图像410a进行尺度变换,得到水平尺度变换后的图像410b。在图4B中,已变换尺度图像410b的长度(extent)X0’等于原图像410a的长度X0乘以相对于原图像410a的平面的定位角度a0的余弦值。注意这种以定位角度a0旋转的水平变换相当于从某个角度观看图像时感觉画面按透视原理缩小的效果,但并不能产生深度感。
为产生深度感,根据本发明可提供一种透视视图。在透视视图中,离观看者更远的物体看起来比离观看者更近的物体要小。通常,透视视图是一个线性变换:
s1=s0*d0/d1            (4)
这里s0表示一个物体在距离为d0时的视在大小,s1表示同样的物体距离为d1时的视在大小。距离d0经常称作原先图像的焦距。在本公开中,距离d0等于观看者距原图像平面的一个假定的焦距f,距离d1是通过模拟图像以原图像平面进行旋转时引入的z分量而导致离开观看者的距离:d1=f+z’。因此,方程4可被改写为:
x″=x’*f/(f+z’)         (5)
y″=y’*f/(f+z’)         (6)
如方程5和6所示,当由于图像旋转引入距离z’时,x和y坐标进行尺度变换时应为z’的函数。也就是说,每个图像样值的x轴和y轴都必须进行尺度变换,变换是已旋转图像中每个样值的z坐标,或深度值的函数。
根据本发明的一个方面,为了减少处理时间,确定与通过旋转图像平面而缩小的轴相对的轴的尺度变换对于表达深度感已足够。例如,在图4B中,已旋转图像410b的最远范围X0’按照距离Z0’,离观看者更远。为了产生深度方面的透视感,根据本发明的原则,图像410b最远范围X0的垂直大小Y0乘以一个因子f/(f+Z0’)进行尺度变换,得到如图4C中所示减小的垂直大小Y0’。每个Y坐标以相同方式进行尺度变换,产生图像410c的倾斜的上下边缘。注意尽管图4C中的x坐标与透视图4B中相比没有变化,但对y轴进行尺度变换,该变换是距离z的函数,因此产生出深度感。同时应注意在图4C中,旋转图像最近的区域X1’离观看者比原图像平面要近,因此垂直大小Y1’乘以对应于系数f/(f+z1’)的尺度变换比在该较近范围处原来的垂直大小要大,因为在这里所使用的规则中,Z1是负值。
关于图1,y坐标的这种尺度变换是离观看者距离的函数,其实现是通过开关115c将水平取样率转换器130的输出送到垂直取样率转换器120,并通过一个垂直尺度变换因子VS进行尺度变换,VS作为旋转图像的每个坐标的已确定深度参数z的函数而变化。注意在以y轴旋转时,对每一列x坐标常数值而言,z坐标值也是常数。对旋转图像的每一列(离散x值),控制单元110按照上述方程6为垂直取样率转换器提供一个垂直尺度变换VS(x)。如图3中回路340-370所示,垂直取样率转换器120对一列中每个已经进行过水平尺度变换的图像值应用尺度变换值VS(x),然后再对下一列经过水平尺度变换的图像样值应用下一个尺度变换值VS(x+1),依次类推,直到已进行水平尺度变换图像的所有垂直坐标都根据深度系数f/(f+z)进行过变换。在水平和垂直尺度变换后,原图像进行三维旋转的模拟像素值结果就可以在380显示。对本领域的普通技术人员来说,很显然,在这一步处理时可以应用优化技术。例如,为了减少计算深度系数(f/(f+z))时需要的除法次数,可以确定最近和最远列的范围,中间列的尺度因子可以通过内插获得。
图4D和4E示出图像410a经过更大角度a1的旋转。如前所述,图4D相当于对图像410a进行对应于cos(a1)的常数尺度因子的水平尺度变换,图4E相当于对已进行水平尺度变换图像410d再进行垂直尺度变换,尺度因子作为离原先图像平面距离的函数而变化,对应于f/(f+z)。正如上例说明,从图4A到4C到4E将逐步达到图像在三维空间中旋转的感觉。
图5A-5C示出图像510a以x轴为轴心旋转的例子,处理流程见图3中320后面右路的步骤。众所周知,沿x轴旋转导致如下的坐标变换:
x’=x                        (7)
y’=y*cos(A)+z*sin(A)        (8)
z’=-y *sin(A)+z*cos(A)      (9)如前所述,z具有对应于离观看者的距离的指向(符号)。图像510a首先在垂直方向上用常数尺度因子cos(b0)进行尺度变换,产生如图5B所示的变短的图像510b,对应图3中的块335。
如前所述,与开始以常数尺度因子进行尺度变换的轴相反的轴随后由一个尺度因子进行尺度变换,该尺度因子作为z坐标,也就是由旋转引入的深度值的函数而变化,对应前述的方程5。也就是说,图像510b已旋转图像值的每一行都用一个不同的水平尺度因子进行变换,产生图5C中图像510c的倾斜水平边缘。这些倾斜的边缘可以产生图像510a关于x轴旋转的所希望的视觉效果。
图1中的控制单元通过将开关115a-c切到与图1中相反的状态来完成上述处理。因此,视频图像101通过115a,送到垂直取样率转换器120,使用来自控制单元110的常数垂直尺度因子VS进行尺度变换。然后,已经过垂直尺度变换的图像经过115b送到水平取样率转换器130。水平取样率转换器130将已经过尺度变换图像的每一行用水平尺度因子HS进行变换,每一行的HS由控制单元110根据每行的z-维和给定的焦距f决定。
需要特别注意的是,根据本发明,控制单元通过控制提供给对应于当前用于高质量视频系统中的取样速率转换器的水平和垂直取样率转换器的水平和垂直尺度因子HS和VS,可以产生多种透视视图。如前所述的三维效果和其它一些效果可以用这种方式来完成,同时附加成本最小。还要注意本发明中在一个方向上用常数尺度变换被提供以减少所需的处理量,而仍然可以表现出透视效果。由于处理能力不断增强,可以轻松地对控制单元110重新设置,无论旋转轴如何,都可以对取样率转换器120和130进行变化的尺度变换,对每幅处理的图像实现方程5和6。还要注意,为便于理解和高效处理,对处理图像的特定顺序(对于沿y轴旋转先水平变换再垂直变换,沿x轴旋转先垂直变换再水平变换)已经加以说明。由于每个方向上的尺度变换与另一个方向无关,所以每个取样率转换器120、130的尺度变换可以以任何顺序进行。
用来产生三维效果的尺度变换可以与其它技术配合使用。例如,通常提供水平和垂直取样率转换器120和130是为了将视频图像放在指定的显示区域上。在一个优选实施例中,用来将图像变换到指定大小的尺度因子被与三维尺度因子合并。也就是说,如果因子K1是将原图像变换到显示区域中的像素所需的水平尺度因子,则在方程式1中用到的尺度因子是K1*cos(A),在方程式5中,尺度因子是K1*f/(f+z)。
本发明的原则也同样用于沿z轴旋转,也就是产生2维操作的效果。众所周知,z轴旋转角度A导致下述的坐标变换:
x’=x*cos(A)-y*sin(A)                   (10)
y’=x*sin(A)+y*cos(A)                   (11)
显然,这些方程可以顺序进行处理。这个处理的第一步是垂直尺度变换:
x’=x                                   (12)
y=x*sin(A)+y*cos(A)                     (13)
第二步是对已进行垂直尺度变换的坐标再进行水平尺度变换。
x=x  sec(A)-y*tan(A)                    (14)
y″=y’                                 (15)
因此,为产生沿z轴旋转的效果,控制单元110通过115a将原图像送到垂直取样率转换器120,并对图像坐标的每一列提供一个垂直尺度因子cos(A)加上与x有关的平移分量(x*sin(A))。本领域的普通技术人员能够认识到,该操作相当于对原图像进行垂直剪切。经过垂直剪切后的图像随后通过115b,送到水平取样率转换器130,应用对应于sec(A)的水平尺度因子。随后从垂直剪切过的图像中剪去与y有关的平移分量(y*tan(A))。这种水平尺度变换和平移相当于水平剪切。两次剪切处理的结果是图像的二维旋转。
方程式10和11还可以转换为一次水平剪切再接一次垂直剪切。为避免当角度A接近90度时出现的反常效果,控制单元被配置来产生90度旋转,然后将转置的图像使用前述的技术旋转90-A度。
注意这种顺序的剪切处理可以与前述的常规尺度变换组合,以将图像变换到所分配的显示区域,也可以与前述沿x轴和y轴旋转组合,从而产生一种螺旋形的视觉效果以及其它效果。对于本领域的技术人员来说,显然,其它效果也可以通过适合的数学变换来实现,例如模拟球形或具有一个或多个图像贴在其表面上的其它复杂的形状。
视频图像上模拟三维效果可用来为视频显示系统提供多种视觉增强性能。图2是根据本发明的一个视频显示系统的结构框图。在本领域中,高质量视频显示系统通常允许通过选择器201从同时显示在250上的多个视频图像源Va、Vb、Vc等中进行选择。例如,一个常见的画中画电视系统允许同时显示来自两个视频图像源的图像。一个常见的多媒体计算机系统允许在多个分立的窗口中同时显示多个图像,仅受限于输入的有效性、信号源带宽和计算机系统的性能。
按照本发明,前面提出的三维尺度变换器100通常用来响应用户控制230,对一个或多个所选择的图像产生三维效果。例如,选择器210和尺度变换器100根据用户发出的频道改变指令被配置,将一个频道的图像“旋转”出去,而将另一个频道的图像旋转进来。也就是说,图4A、4C和4E系列可以用来将第一个频道被显示为基本上旋转离开用户的画面。当旋转角度到达90度时,选择器可以被配置将第二个频道提供给尺度变换器100,当作图像平面继续向180度旋转。以这种方式,第二个频道的图像看起来是在含有第一个频道画面的图像平面的“反面”。类似地,在一个多频道系统中,系统可以在显示当前频道时进行配置以对下一个频道的显示初始化;一旦当前图像被旋转一个预定角度,则启动该后来的显示。同样,下一个图像的方位角度可以与当前图像的角度直接相关,例如角度为90-A,从而仿真互相正交的图像。还可以产生其它效果。例如,由用户发出的频道上升指令可以实现在一个方向旋转,而频道下降可以实现以相反的方向旋转。以同样的方式,跳到某个指定的频道可以被仿真为关于与用于增加频道选择的轴相对的轴旋转。这些效果以及其它三维视觉效果的实现在本领域的技术人员阅读了本公开后将是显而易见的。
图6A-B,7和8A-B是根据本发明原则而实现的实例效果。这些例子为说明而用,并非说明本发明的使用范围仅限于这几个例子。这些例子示出三维建模器220用于配置多个透视图像之间的方位和关系以获得一种相关的视觉效果。
图6A示出一个三维方块的两个面。第一个图像610被提供以出现在与图像平面一致的方块的一个表面上,,第二个图像620被提供以出现在与图像平面倾斜的方块的另一个表面上。这种表现形式还可以作为“开窗”画中画显示的替换形式,其中倾斜的图像作为第二幅图像。这种表现形式可以是出现在更大主图像中的多图像画中画图像,并允许用户在观看主图像的同时看到两个画中画图像。这种表现形式也可以是具有与主图像有关的辅助“数据广播”信息(例如表演者的荣誉和经历等)620的主图像610。在电子商务领域,备用图像620可以是与定购图像610中广告商品有关的信息。使用多图像展示的优点在本领域中是共同的;本发明提供了一种装置,该装置以比静态二维展示更具视觉吸引力的形式提供多图像展示。
图6B示出三维块的旋转。注意在此例中,旋转是沿轴650进行,z分量并不与原图像610的平面对应,因此旋转除了产生图像的水平位移外,还会引入水平尺度变化,从而提高了深度感。也就是说,当块沿轴650以如图所示的方向旋转时,图像610和620移到左边,而同时当图像610与观看平面的角度增加时,该图像继续收缩,而图像620继续扩展。注意可使用多种用户接口来产生这个旋转。在前例中,一个频道上升或频道下降指令可以产生块的旋转,以将第二个图像620变为主观看平面,替代图6A中最终方向中的图像610,这样来自另一个源的图像占据图6A中图像620的位置。可替代地,还可能用一个指向装置,这样当用户指向并选择图6A中的图像620时,视频系统200产生如图6B所示的旋转。也就是得到这样一个印象,即三维物体根据频道选择指令移动,或是响应于与三维物体交互而获得频道选择,如图2中所示选择器210和三维尺度变换器100之间的双向箭头215。考虑到本公开,这些和其它接口对于本领域的技术人员是显而易见的。
图7示出一个三维块中的表示,其中有三个面可以观看,图像710、720、730分别投射在这三个面上。如上所述,这三个图像可能是三个不同的电视节目,来自一个DVD播放机的三个不同场景,一个主图像和与主图像相关的补充图像等等。此例示出图像720的变化的垂直尺度变换,图像730的变化的水平尺度变换。用户控制230控制选择器210和尺度变换器100,以便于三维块的表示以垂直轴750或水平轴760为轴心旋转。可选择的轴都可以对应不同的选择机制。例如,电视的高级用户接口包括用来在观看的同时对节目的选择进行分类(诸如“新闻”、“运动”、“喜剧”等)的装置。在本发明的优选实现方案中,沿一条轴旋转对应于在一类节目中选择,例如将一个频道变到下一个新闻节目,而沿其它轴旋转对应于改变类别。
尽管本发明只以简单的三维物体,例如图6A、6B和图7中的块来展示,但也可以使用其它形式来进一步提高视频显示系统的视觉吸引力。对于一个给定的三维物体其Z坐标的决定可能被扩展超出前面给定的方程1-3和7-9。计算机图形领域中的普通技术人员能够定义适合在图1的控制单元110中实现的其他表现形式,用于对一个图像平面的三维变换进行模拟。例如,图8A示出图像810作为书本850的一页。当选择一幅新图像来观看时,视频系统200模拟出翻页效果以显示出新的图像820,如图8B所示。进一步利用书本的类比,图中所示的书本850有标签801和802,便于从书的不同“部分”进行选择,例如“喜剧”部分、“戏剧”部分等等。当用户选择了一个标签或选择一个类别时,视频系统200提供模拟翻阅多页的效果,以显示该书签或该类别的第一页(视频图像)。
前述只说明了本发明的原理。应当理解,尽管在这里没有清楚地描述或说明,本领域的专业人员可以设计各种包含本发明原理的方案,并且这些都包含在随后的权利要求的精神和范围内。

Claims (11)

1.一个视频显示系统(100)包括:
一个水平尺度变换器(130),被配置对输入视频图像(101)在水平方向上进行尺度变换;
一个垂直尺度变换器(120),被配置对输入视频图像(101)在垂直方向上进行尺度变换;以及
一个控制器(110),可操作地连接到水平(130)和垂直(120)尺度变换器,它被配置通过水平(130)和垂直(120)尺度变换器对输入视频图像(101)完成对应于输入视频图像(101)的透视视图(410c,410e,510c,620,720,730,810)的尺度变换,
其中:
透视视图是通过对水平(120)和垂直(130)尺度变换器中的至少一个应用变化的尺度因子(HS,VS)来获得的,以提供输入视频图像(101)。
2.如权利要求1所述的视频显示系统(100),还包括:
一个多输入视频图像源(210),并且
其中:
控制器(110)还可以被配置有选择地提供多个输入图像的至少两个输入视频图像(610,620),以形成对应三维物体表现形式的合成透视视图。
3.如权利要求2所述的视频显示系统(100),还包括:
一个用户控制(230),以便于改变三维物体表现形式的方位(650),从而改变每个输入视频图像(101)的透视视图。
4.如权利要求3所述的视频显示系统(100),其中:
方位(650)的改变对应于从多个输入视频图像(101)源中选择输入视频图像的改变。
5.如权利要求3所述的视频显示系统(100),其中:
三维物体的表现形式对应一本包括多页的书(850)的表现形式,
表现形式的方位(650)的改变对应翻动多页中的一页。
6.如权利要求3所述的视频显示系统(100),其中:
用户控制(230)便于通过多个方位控制来改变方位(750,760),
每个方位控制(750,760)对应来自多个视频图像源的不同组输入视频图像,并且
每次方位(750,760)的改变对应从相应输入视频图像组中改变对输入视频图像的选择。
7.如权利要求1所述的视频显示系统(100),其中:
水平尺度变换器(130)对应一个水平扫描率转换器,并且
垂直尺度变换器(120)对应一个垂直扫描率转换器。
8.一种在显示面上提供多个视频图像的方法,包含:
将所述多个视频图像的每一个与三维物体的表现形式的一个面相结合(310),并且
对每个视频图像:
确定对应于相对于显示面的相应面的角度(A)的旋转尺度(cos(A)),
根据旋转尺度对视频图像进行尺度变换(330,335)以产生变换尺度的图像值的阵列,
确定对应于相对于显示面的变换尺度的图像值的阵列的每个变换尺度的图像值的深度的感觉尺度变换(350,355),以及
根据感觉尺度对每个尺度变换的图像值进行尺度变换(360,365),以产生对应于视频图像的象素值的一个阵列。
9.如权利要求8所述的方法,其中:
视频图像的尺度变换(330,335)对应视频图像的垂直取样率转换(335)和水平取样率转换(330)中的选择的一个,并且
每个已变换尺度图像值的尺度变换(360,365)对应来自所选择的一个的垂直和水平取样率转换中对应的一个。
10.一个被配置来存储于存储器中以由一个处理设备执行的程序,该程序被配置来:
使得视频图像(310)与一个三维物体的表现形式的一个面相结合,
使得能够确定对应于相对于一个显示面的面的角度的一个旋转尺度,
使得能够根据旋转尺度对视频图像进行尺度变换(330,335),以产生一个被变换尺度的图像值的阵列,
使得能够确定对应于相对于显示面的已变换尺度的图像值的阵列的每个已变换尺度图像值的深度的感觉尺度变换(350,355),以及
使得能够根据感觉尺度而对已变换尺度的图像值进行尺度变换(360,365),以产生对应于视频图像的象素值的一个阵列。
11.如权利要求10所述的程序还包括:
启动一个用户控制,该用户控制便于改变三维物体的表现形式的方位(650),从而改变旋转尺度和感觉尺度中的至少一个。
CNB008073929A 2000-01-10 2000-12-12 显示视频的系统和方法 Expired - Fee Related CN100426846C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US17518900P 2000-01-10 2000-01-10
US60/175189 2000-01-10
US60/175,189 2000-01-10
US09/593,839 2000-06-14
US09/593839 2000-06-14
US09/593,839 US6674484B1 (en) 2000-01-10 2000-06-14 Video sample rate conversion to achieve 3-D effects

Publications (2)

Publication Number Publication Date
CN1350748A true CN1350748A (zh) 2002-05-22
CN100426846C CN100426846C (zh) 2008-10-15

Family

ID=26870981

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB008073929A Expired - Fee Related CN100426846C (zh) 2000-01-10 2000-12-12 显示视频的系统和方法

Country Status (6)

Country Link
US (1) US6674484B1 (zh)
EP (1) EP1192803A1 (zh)
JP (1) JP2003520357A (zh)
KR (1) KR100806057B1 (zh)
CN (1) CN100426846C (zh)
WO (1) WO2001052528A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026704B (zh) * 2006-02-22 2010-07-14 三星电子株式会社 提供以三维视图实施屏幕转换的用户界面的方法及设备
CN101094423B (zh) * 2006-06-23 2010-08-04 南京Lg新港显示有限公司 图像显示设备及其控制方法
CN101399897B (zh) * 2007-09-30 2010-12-29 宏达国际电子股份有限公司 图像处理方法
CN102024247A (zh) * 2010-10-09 2011-04-20 宁波新然电子信息科技发展有限公司 用于实现新老显示界面切换的控制方法
WO2011091673A1 (en) * 2010-01-27 2011-08-04 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
CN102667911A (zh) * 2009-11-18 2012-09-12 汤姆逊许可证公司 用于具有灵活像差选择的三维内容递送的方法和系统
CN103079098A (zh) * 2013-02-01 2013-05-01 北京奇艺世纪科技有限公司 一种利用手机控制电视界面翻页的方法
CN103501462A (zh) * 2013-09-26 2014-01-08 天脉聚源(北京)传媒科技有限公司 一种视频切换方法及装置
CN105913473A (zh) * 2015-12-27 2016-08-31 乐视致新电子科技(天津)有限公司 一种卷页特效的实现方法及系统

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606413B1 (en) * 1998-06-01 2003-08-12 Trestle Acquisition Corp. Compression packaged image transmission for telemicroscopy
US6421067B1 (en) * 2000-01-16 2002-07-16 Isurftv Electronic programming guide
US7095905B1 (en) * 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US7015910B2 (en) * 2000-12-21 2006-03-21 Xerox Corporation Methods, systems, and computer program products for the display and operation of virtual three-dimensional books
US7139982B2 (en) * 2000-12-21 2006-11-21 Xerox Corporation Navigation methods, systems, and computer program products for virtual three-dimensional books
US6924822B2 (en) * 2000-12-21 2005-08-02 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
US7379069B2 (en) * 2001-02-15 2008-05-27 Sony Corporation Checkerboard buffer using two-dimensional buffer pages
US6803917B2 (en) 2001-02-15 2004-10-12 Sony Corporation Checkerboard buffer using memory bank alternation
US6828977B2 (en) * 2001-02-15 2004-12-07 Sony Corporation Dynamic buffer pages
US7006707B2 (en) * 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
US7103236B2 (en) * 2001-08-28 2006-09-05 Adobe Systems Incorporated Methods and apparatus for shifting perspective in a composite image
US7199837B2 (en) * 2001-11-13 2007-04-03 Ati Technologies, Inc. System for improved ratiometric expansion and method thereof
DE10164337A1 (de) * 2001-12-28 2003-07-17 Broadcasttelevision Systems Me Verfahren zum Erzeugen eines aus zwei gespeicherten Bildern zusammengesetzten Bildes
US6985642B2 (en) * 2002-01-31 2006-01-10 International Business Machines Corporation Image size reduction method and system
US20040027267A1 (en) * 2002-03-22 2004-02-12 Rousso Armand M. 3D entertainment system
US7511710B2 (en) * 2002-11-25 2009-03-31 Microsoft Corporation Three-dimensional program guide
US20040100484A1 (en) * 2002-11-25 2004-05-27 Barrett Peter T. Three-dimensional television viewing environment
US20110107223A1 (en) * 2003-01-06 2011-05-05 Eric Tilton User Interface For Presenting Presentations
JP5138930B2 (ja) 2003-07-11 2013-02-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディスプレイ装置のための封入構造
US20050052470A1 (en) * 2003-09-05 2005-03-10 Chris Hemmings 3D font-engine
US7542042B1 (en) * 2004-11-10 2009-06-02 Nvidia Corporation Subpicture overlay using fragment shader
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2007067923A (ja) * 2005-08-31 2007-03-15 Toshiba Corp 情報処理装置およびプログラム
US7660464B1 (en) 2005-12-22 2010-02-09 Adobe Systems Incorporated User interface for high dynamic range merge image selection
US8345049B2 (en) * 2007-08-16 2013-01-01 International Business Machine Corporation Method and apparatus for predicting avatar movement in a virtual universe
US9003304B2 (en) * 2007-08-16 2015-04-07 International Business Machines Corporation Method and apparatus for moving an avatar in a virtual universe
US7990387B2 (en) * 2007-08-16 2011-08-02 International Business Machines Corporation Method and apparatus for spawning projected avatars in a virtual universe
US8127235B2 (en) 2007-11-30 2012-02-28 International Business Machines Corporation Automatic increasing of capacity of a virtual space in a virtual world
KR101379337B1 (ko) * 2007-12-04 2014-03-31 삼성전자주식회사 삼차원적 pip 영상을 제공하는 영상기기 및 이를 적용한영상표시방법
US20090164919A1 (en) 2007-12-24 2009-06-25 Cary Lee Bates Generating data for managing encounters in a virtual world environment
US8671349B2 (en) * 2008-05-15 2014-03-11 International Business Machines Corporation Virtual universe teleportation suggestion service
US8508550B1 (en) * 2008-06-10 2013-08-13 Pixar Selective rendering of objects
DE102008045994A1 (de) * 2008-09-05 2010-03-11 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
US7721209B2 (en) * 2008-09-08 2010-05-18 Apple Inc. Object-aware transitions
US20100118037A1 (en) * 2008-09-08 2010-05-13 Apple Inc. Object-aware transitions
US20100064222A1 (en) 2008-09-08 2010-03-11 Apple Inc. Object-aware transitions
JP2010073126A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 情報可視化装置および情報可視化方法
KR20100040563A (ko) * 2008-10-10 2010-04-20 삼성전자주식회사 방송 표시장치 및 그의 2차원 영상 표시 방법
JP5388631B2 (ja) * 2009-03-03 2014-01-15 株式会社東芝 コンテンツ提示装置、及び方法
TWI493500B (zh) * 2009-06-18 2015-07-21 Mstar Semiconductor Inc 使二維影像呈現出三維效果之影像處理方法及相關影像處理裝置
KR101627214B1 (ko) 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20110055196A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 디스플레이장치 및 그 영상신호처리방법
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
KR101622407B1 (ko) * 2010-04-22 2016-05-18 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US8786673B2 (en) * 2011-01-07 2014-07-22 Cyberlink Corp. Systems and methods for performing video conversion based on non-linear stretch information
US9204123B2 (en) * 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
KR20130019273A (ko) * 2011-08-16 2013-02-26 삼성전자주식회사 3d 영상 출력 방법 및 이를 적용한 디스플레이 장치
US8988467B2 (en) * 2011-10-13 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen selection visual feedback
US9436358B2 (en) 2013-03-07 2016-09-06 Cyberlink Corp. Systems and methods for editing three-dimensional video
KR102115930B1 (ko) * 2013-09-16 2020-05-27 삼성전자주식회사 디스플레이 장치 및 영상 처리 방법
US11030793B2 (en) * 2019-09-29 2021-06-08 Snap Inc. Stylized image painting

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4600919A (en) 1982-08-03 1986-07-15 New York Institute Of Technology Three dimensional animation
JP2526857B2 (ja) * 1984-12-27 1996-08-21 ソニー株式会社 画像信号変換方法
GB2181929B (en) * 1985-10-21 1989-09-20 Sony Corp Methods of and apparatus for video signal processing
GB2183118B (en) * 1985-11-19 1989-10-04 Sony Corp Image signal processing
EP0449478A3 (en) 1990-03-29 1992-11-25 Microtime Inc. 3d video special effects system
US5173948A (en) 1991-03-29 1992-12-22 The Grass Valley Group, Inc. Video image mapping system
US5592599A (en) * 1991-12-18 1997-01-07 Ampex Corporation Video special effects system with graphical operator interface
GB2270243B (en) 1992-08-26 1996-02-28 Namco Ltd Image synthesizing system
GB9316214D0 (en) 1993-08-05 1993-09-22 Philips Electronics Uk Ltd Image processing
DE69532916D1 (de) * 1994-01-28 2004-05-27 Schneider Medical Technologies Verfahren und vorrichtung zur bilddarstellung
US5729673A (en) * 1995-04-07 1998-03-17 Avid Technology, Inc. Direct manipulation of two-dimensional moving picture streams in three-dimensional space
US6057851A (en) 1995-10-06 2000-05-02 International Business Machines Corp. Computer graphics system having efficient texture mapping with perspective correction
KR100412166B1 (ko) 1995-11-14 2004-05-31 소니 가부시끼 가이샤 영상처리장치및영상처리방법
US5945996A (en) * 1996-10-16 1999-08-31 Real-Time Geometry Corporation System and method for rapidly generating an optimal mesh model of a 3D object or surface
US5739867A (en) * 1997-02-24 1998-04-14 Paradise Electronics, Inc. Method and apparatus for upscaling an image in both horizontal and vertical directions
JP3675629B2 (ja) * 1997-08-04 2005-07-27 株式会社リコー パターン認識方法、装置および記録媒体
US6437828B1 (en) * 1997-09-30 2002-08-20 Koninklijke Philips Electronics N.V. Line-quadrupler in home theater uses line-doubler of AV-part and scaler in graphics controller of PC-part
US6339434B1 (en) * 1997-11-24 2002-01-15 Pixelworks Image scaling circuit for fixed pixed resolution display
JP2000196971A (ja) * 1998-12-25 2000-07-14 Matsushita Electric Ind Co Ltd 映像表示装置
US6442283B1 (en) * 1999-01-11 2002-08-27 Digimarc Corporation Multimedia data embedding
US6266452B1 (en) * 1999-03-18 2001-07-24 Nec Research Institute, Inc. Image registration method
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101026704B (zh) * 2006-02-22 2010-07-14 三星电子株式会社 提供以三维视图实施屏幕转换的用户界面的方法及设备
US8243197B2 (en) 2006-02-22 2012-08-14 Samsung Electronics Co., Ltd. Method of providing user interface which implements screen conversion by channel change in three-dimensional effect, and apparatus thereof
CN101094423B (zh) * 2006-06-23 2010-08-04 南京Lg新港显示有限公司 图像显示设备及其控制方法
CN101399897B (zh) * 2007-09-30 2010-12-29 宏达国际电子股份有限公司 图像处理方法
CN102667911A (zh) * 2009-11-18 2012-09-12 汤姆逊许可证公司 用于具有灵活像差选择的三维内容递送的方法和系统
CN102726038A (zh) * 2010-01-27 2012-10-10 联发科技股份有限公司 用于依据视频输入产生适合显示装置的显示能力的视频输出的视频处理装置及相关方法
WO2011091673A1 (en) * 2010-01-27 2011-08-04 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
CN102158718A (zh) * 2010-01-27 2011-08-17 联发科技股份有限公司 视频处理装置及方法
US9491432B2 (en) 2010-01-27 2016-11-08 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
CN102024247A (zh) * 2010-10-09 2011-04-20 宁波新然电子信息科技发展有限公司 用于实现新老显示界面切换的控制方法
CN102024247B (zh) * 2010-10-09 2012-07-18 宁波新然电子信息科技发展有限公司 用于实现新老显示界面切换的控制方法
CN103079098A (zh) * 2013-02-01 2013-05-01 北京奇艺世纪科技有限公司 一种利用手机控制电视界面翻页的方法
CN103501462A (zh) * 2013-09-26 2014-01-08 天脉聚源(北京)传媒科技有限公司 一种视频切换方法及装置
CN105913473A (zh) * 2015-12-27 2016-08-31 乐视致新电子科技(天津)有限公司 一种卷页特效的实现方法及系统

Also Published As

Publication number Publication date
CN100426846C (zh) 2008-10-15
KR100806057B1 (ko) 2008-02-21
WO2001052528A1 (en) 2001-07-19
EP1192803A1 (en) 2002-04-03
KR20010104376A (ko) 2001-11-24
US6674484B1 (en) 2004-01-06
JP2003520357A (ja) 2003-07-02

Similar Documents

Publication Publication Date Title
CN100426846C (zh) 显示视频的系统和方法
US5963215A (en) Three-dimensional browsing of multiple video sources
CN100481132C (zh) 用于显示器的合成速率降低
CN102763061B (zh) 导航三维媒体指导应用的系统和方法
CN1529875A (zh) 在虚拟三维空间中显示可视内容的方法和系统
US20080246759A1 (en) Automatic Scene Modeling for the 3D Camera and 3D Video
US10540918B2 (en) Multi-window smart content rendering and optimizing method and projection method based on cave system
WO2006004932A2 (en) Method for creating artifact free three-dimensional images converted from two-dimensional images
US7975399B2 (en) Perpendicular view three dimensional electronic programming guide
EP1364344A1 (en) Texturing method and apparatus
Weiskopf et al. Explanatory and illustrative visualization of special and general relativity
JP4134145B2 (ja) 電子ブック装置
CN111354085A (zh) 沉浸式交互Box影像制作方法
CN1547131A (zh) 一种虚拟现实交互式控制系统
US20020060691A1 (en) Method for increasing multimedia data accessibility
US20030090487A1 (en) System and method for providing a virtual tour
JP2000137563A (ja) 電子ブック装置
KR100403942B1 (ko) 3차원 가상공간내에서 목적물 선택시 동영상을 구현하는시스템
WO1996041311A2 (en) Stereoscopic interactive painting
CN100498840C (zh) 缩放三维模型的方法和缩放单元
CN112130667A (zh) 一种超高清vr视频的互动方法和系统
CN111344744A (zh) 用于展示三维物体的方法以及相关计算机程序产品、数字存储介质和计算机系统
Jensen Film theory meets 3D: a FilmTheoretic approach to the design and analysis of 3D Spaces
CN105898277A (zh) 多窗口裸眼3d与2d混合显示方法
JP2006189936A (ja) 出版物発行配信システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081015

Termination date: 20100112