CN110915206A - 用于产生看起来是投影在电子显示器前方或上方的虚拟三维图像的系统、方法和软件 - Google Patents

Abstract

一种用于产生将在电子显示器(12)上观看的虚拟场景(10)的系统、方法和软件。定义了虚拟参考平面(24)。参考平面(24)具有多个外围边界(27、28、29、30)。虚拟对象(20)位于所述虚拟场景(10)中的参考平面(24)上方。计算多个立体摄像机视点(25、26)，以使得所述虚拟对象(20)能够在所述参考平面(24)的所述多个外围边界(27、28、29、30)内用所述参考平面(24)成像。所述虚拟对象(20)在被立体成像之前和/或之后被数字地改变。所述改变包括弯曲、锥化或倾斜虚拟对象(20)的一部分和/或倾斜参考平面(24)的一部分。为叠加图像设置共同的边界集以创建最终图像(48)。

Description

用于产生看起来是投影在电子显示器前方或上方的虚拟三维 图像的系统、方法和软件

技术领域

大致上，本发明涉及用于创建在电子显示器上观看的虚拟立体和/或自动立体图像的系统、方法和软件。更具体地，本发明涉及创建看起来垂直投影在电子显示器上方或前方的虚拟图像的系统、方法和软件。以这种方式，虚拟图像可以看起来像立在电子显示器的顶上或浮在电子显示器的上方，和/或漂浮在电子显示器的前面。

背景技术

存在许多用于创建立体图像和自动立体图像的系统。这些图像是二维的，但是当使用3D眼镜在标准显示器上观看时或不使用3D眼镜在自动立体显示器上观看时，这些图像却显示为三维。然而，尽管由现有技术系统创建的图像是三维图像，但是它们通常看起来存在于电子屏幕的平面之后或下方。因此，电子显示器具有作为窗口的效果，在该窗口之后可以观看三维场景。

要创建看起来像立于屏幕(在该屏幕上观看虚拟图像)上方或前面的虚拟图像要困难得多。为了创建看起来在显示器上方或前面的虚拟图像，必须在图像的创建中进行复杂的调整。这种调整通常包括对虚拟图像中设计的视差和视角的复杂调整。Freeman的美国专利(专利号US7,589,759)举例说明了修改了立体图像的视差和视角的现有技术系统。

在Freeman的美国专利US7,589,759中，公开了一种系统，该系统创建虚拟3D对象，该3D对象看起来似乎在显示屏的前面或上方。这主要是通过在对象被成像时创造性地更改成像立体摄像机的视差和视角来实现的。

已经发现，通过以新的方式改变正被成像的对象的图像，可以更逼真和更清晰地创建3D对象的虚拟图像。在本发明中，申请人已经开发了一种系统和方法，该系统和方法结合了对现有技术的若干改进，并且创建了更好的立体/自动立体图像，该立体/自动立体图像以向前投影或垂直投影产生对象的外观，其中空间效果被显著改善。图像质量高，且具有技术上的进步。下面描述并要求保护改进的系统和方法。

发明内容

本发明是一种用于产生虚拟3D场景的系统、方法和软件，该虚拟3D场景看起来是从电子显示器垂直投影或向前投影的。虚拟场景可以是固定图像或动态视频。虚拟场景包含虚拟对象，当在电子显示器上观看时，该虚拟对象看起来是三维的。

为了创建虚拟场景，定义了虚拟零视差参考平面。参考平面具有包括前边界、后边界和侧边界的多个外围边界。至少一个虚拟对象被添加到虚拟场景。从参考平面上方的视点在参考平面的边界内观看虚拟对象。为了改善虚拟对象在电子显示器上方或前面的外观，对虚拟对象和/或虚拟场景的元素进行数字更改。

计算多个立体摄像机视点，以使虚拟对象能够在参考平面的多个外围边界内成像。在成像之前和/或之后对虚拟对象进行数字改变。所述虚拟对象的改变包括弯曲所述虚拟对象的一部分、锥化所述虚拟对象的一部分、使所述虚拟对象倾斜和/或使所述参考平面的全部或一部分倾斜。

虚拟场景是从多个立体视点成像的。成像创建第一图像和第二图像。改变后的虚拟对象的两个图像被叠加以创建叠加图像。为叠加的图像设置一组共同的边界，以创建最终图像。最终图像可显示在电子显示器上，其中在所述虚拟场景中使用的参考平面与所述电子显示器的屏幕平面对齐。结果是，取决于显示器的定向，虚拟场景中的虚拟对象将看起来是在电子显示器上方或前方。

附图说明

为了更好地理解本发明，参考下面结合附图考虑的对本发明的示例性实施例的描述，其中：

图1示出了创建和使用本发明的系统、方法和软件所需的系统硬件；

图2是虚拟场景的示例性实施例的透视图；

图3是图2的虚拟场景的侧视图；

图4是示出对虚拟场景中的参考平面和/或虚拟对象进行倾斜数字修改的侧视图；

图5是示出对虚拟场景中的虚拟对象进行弯曲数字修改的侧视图；

图6是示出对虚拟场景中的虚拟对象进行锥化数字修改的正视图；

图7和图8分别示出虚拟场景的左、右立体图像；

图9是立体图像的俯视图，示出了指引线的叠加；

图10示出了使用先前在图9中示出的指引线创建的数字校正的立体图像；

图11是将左立体图像和右立体图像重叠后的最终图像；以及

图12示出了本发明所使用的软件方法的框图逻辑流程。

具体实施方式

尽管本发明的系统、方法和软件可以以许多方式实施，但是所示的实施例示出了用于模拟恐龙图像的系统、方法和软件。选择本实施例是为了描述和解释的目的。恐龙旨在代表可以通过系统成像和呈现的任何对象，无论是真实的还是虚构的。但是，所示的实施例仅是示例性的，在解释所附权利要求的范围时不应视为限制。

参考图1，可以理解的是，本发明被用于在电子设备14的显示器12上产生虚拟场景10。对于观看虚拟场景10的人而言，虚拟场景10看起来具有三维特征。此外，虚拟场景10具有对观看者而言看起来在显示器12的平面上方延伸的元素。如果电子设备14具有传统的LED或LCD显示器，则必须使用3D眼镜观看虚拟场景10，以观察虚拟场景10中的三维效果。如果电子设备14具有自动立体显示器，则无需专用眼镜就可以观察虚拟场景10中的三维效果。

在电子设备14上显示的虚拟场景10可以是静态图像或视频。此外，虚拟场景10可以是视频游戏或电影的一部分。无论呈现虚拟场景10的背景如何，用户都必须将图像、移动应用程序、游戏、电影或其他此类准备好的软件文件16下载或以其它方式输入到包含虚拟场景10的电子设备14中。

准备好的软件文件16由平面设计师、游戏设计师或类似的内容制作者创建。内容制作者使用在内容制作者的计算机系统19上运行的图形建模软件18在准备好的软件文件16中创建虚拟场景10。如将要描述的，图形建模软件18需要使用两个立体图像。如果虚拟场景10包含虚拟对象，则用虚拟摄像机对虚拟对象进行成像。如果虚拟场景10包含真实对象，则可以用一组立体真实摄像机17对真实对象成像。

结合图1参考图2和图3，示出了使用图形建模软件18创建的示例性虚拟场景10。虚拟场景10包含主要对象20。在所示示例中，主要对象20是恐龙22。然而，将理解，可以在虚拟场景10中对任何对象建模。虚拟场景10具有参考平面24。参考平面24可以是虚拟场景10中的任何平面，对象将从该平面的上方、前方和/或下方出现。在所示的实施例中，参考平面24与恐龙22站立的地面对准。当在电子显示器12上显示时，虚拟场景10的参考平面24将沿着电子显示器12的平面定向。这样，根据显示器12的定向，当观看虚拟场景10时，在参考平面24上方成像的任何对象将向前投影并且看起来延伸到显示器12的前方或显示器12的上方。相反地，当观看虚拟场景10时，在参考平面24下方成像的任何对象将看起来向后投影并且将出现在虚拟零视差参考平面的下方或后面。

如果要打印虚拟场景10，则内容制作者选择参考平面24。通常选择参考平面以与在其上打印虚拟场景10的纸张的平面相对应。但是，可以选择其他参考平面。

尽管可以用真实摄像机17对真实对象成像以产生数字立体图像和/或自动立体图像，但是该技术未被用作示例。在提供的示例中，要成像的对象是由图形建模软件18生成的虚拟对象，该图形建模软件18在内容制作者的计算机系统19上运行。这样，作为示例，将假设正被创建的主要对象20是设置在虚拟场景10中并由虚拟摄像机成像的虚拟对象。然而，将理解，本文中将要描述的相同技术可以用于通过利用真实摄像机17对真实对象进行成像来创建真实对象的立体和/或自动立体图像。

拍摄虚拟场景10的立体视图。从虚拟左摄像机视点25和虚拟右摄像机视点26拍摄立体视图。虚拟摄像机视点25、26之间的距离D1和虚拟摄像机视点25、26的仰角A1取决于虚拟场景10的范围。正在创建虚拟场景10以显示在电子显示器12上。大多数电子显示器为矩形形状，宽度为长度的50％到80％。因此，在使虚拟场景10在尺寸和比例上适合于典型的电子显示器12的边界内创建虚拟场景10。边界包括前边界27、后边界28和两个侧边界29、30。为了被看到，将要显示在电子显示器12上的虚拟场景10必须存在于边界27、28、29、30内。

为虚拟场景10设置后图像边界28。将要在虚拟场景10中成像的所有对象都将出现在后图像边界28的前方。主要对象20的高度为H1。虚拟摄像机视点25、26被设置为第二高度H2。第二高度H2是对象高度H1和后图像边界28的函数。虚拟摄像机视点25、26的第二高度H2足够高，使得从虚拟摄像机视点25、26观看时主要对象20的顶部不在后图像边界28上方延伸。虚拟摄影机视点25、26的仰角和摄影机视点25、26的会聚角具有依赖于场景边界27、28、29、30和主要对象20的高度H1的直接数学关系。

虚拟摄像机视点25、26具有视差角，使得虚拟摄像机视点25、26在参考平面24处相交。即，两个虚拟摄像机视点25、26在参考平面24处实现零视差。如果主要对象20放置在基准平面24上，则会聚点P优选地被选择为对应于所述主要对象20的底部和后部附近的点。例如，在所示的实施例中，参考平面24对应于恐龙22站立在其上的地面。虚拟摄影机视点25、26指向恐龙身体后部正下方的地面。但是，如果虚拟场景是飞机在云层中飞行的场景，则参考平面可能远低于飞机的位置。在这种场景下，虚拟摄像机视点25、26将指向虚拟飞机看上去要在其下方飞行的参考平面24。当主要对象20相对于参考平面24移动时，逐帧调整虚拟摄像机视点25、26的角度。

结合图3参考图4，可以解释虚拟场景10不仅仅从摄像机视点25、26成像。而是在虚拟场景10成像之前和/或之后，以有利于将要获得的立体图像的各种方式对虚拟场景10进行数字操纵。数字操纵包括但不限于：

ⅰ.虚拟场景参考平面的倾斜操纵；

ⅱ.虚拟场景中主要和次要对象的倾斜操纵；

ⅲ.虚拟场景中对象的弯曲操纵；和

ⅳ.虚拟场景中对象的锥化操纵。

所使用的操纵取决于要在虚拟场景10中成像的对象的细节。

图4示出了可以使用的两种可能的倾斜操纵。在第一倾斜操纵中，参考平面24可以朝向或远离虚拟摄像机视点25、26倾斜。取决于主要对象20的最终感知高度，优选的倾斜角度A2通常相对于水平面在1度至20度之间主要对象。在第二次倾斜操纵中，对象20可以朝向或远离虚拟摄像机视点25、26倾斜。取决于主要对象20的最终感知高度，优选的倾斜角度A1通常相对于水平面在1度到20度之间。主要对象20的倾斜角度A1与参考平面的倾斜角度A2和虚拟场景10中的其他元素无关。

使用主要对象20下方的摄像机视点转换点P作为支点，可以数字地操纵参考平面24以向前或向后倾斜。参考平面24的倾斜角度T2与主要对象20的倾斜角度T1无关。参考平面24的倾斜改变了后图像边界28相对于主要对象20的感知位置的位置。这使得主要对象20的高度能够在数学关系的范围内成比例地增加。

参考图5，示出了优选的弯曲操纵。在图5中，为了易于说明，主要对象20B被示出为矩形而不是恐龙。恐龙复杂形状的弯曲将很难被察觉。沿着主要对象20B的高度选择弯曲点B1。弯曲点B1在主要对象20B的总高度的1/3和2/3之间。主要对象20B也沿其高度被分成三个区域31、33、35。在第一区域31中，主图像20B未被操纵。在第二区域33中，直到弯曲线B1才发生操纵。主要对象20B的在弯曲线B1上方并且在第二区域33内的任何部分被数字地倾斜第一角度AA1。在第三区域35中，主要对象20B以第二角度AA2倾斜，所述第二角度AA2比第一角度AA1陡峭。相对于与设置有虚拟摄像机视点25、26的垂直平面平行的假想垂直平面测量第一角度AA1和第二角度AA2。结果是可以使虚拟场景10更大和更高，而没有在所述后图像边界28上方延伸。当从虚拟摄像机视点25、26观看时，所述主要对象20B显得更高，并且具有更明显的向前或垂直投影。

参考图6，解释了优选的锥化操纵。再次，为了易于说明，主要对象20B被示为代表性的矩形，而不是恐龙。主要对象20B沿其高度被分成两个区域37、39。在第一区域37中，主要对象20B未被操纵。在第二区域39中，主要对象使用角度AA3在1度和25度之间的从前到后的锥化减小主要对象20B的尺寸。锥化开始的点定位于主要对象20B的高度的1/3与2/3之间。结果是可以使虚拟场景10变宽，而不会延伸到侧面图像边界29、30之外。当观看时，主要对象20B显得更高，并且具有更明显的向前或垂直投影。

一旦以所描述的一种或多种方式数字地调整了虚拟场景10，就创建了改变的虚拟场景。可替代地，可以在任何数字调整之前对虚拟场景进行成像，并且可以在将两个图像组合成立体图像或自动立体图像之后执行数字调整。

结合图2参考图7和图8，可以看到两个图像40、42是立体的，一个是左摄像机图像40(图7)，一个是右摄像机图像42(图8)。由于摄像机视点的角度，每个立体图像40、42具有渐变视角。这使得前图像边界27看起来比后图像边界28宽。

参考图9，示出了来自图7或图8的立体图像40、42之一的俯视图。尽管仅示出了立体图像之一，但是将理解的是，对两个立体图像都执行了所描述的处理。因此，两个立体图像的附图标记40、42用于指示该处理影响这两个立体图像。

临时参考指引叠加在立体图像40、42上。这些参考指引包括一组内部指引线44和一组外部指引线46。内部指引线44是从后图像边界28延伸到前图像边界27的平行线。内部指引线44在点P2处开始，在点P2处，立体图像40、42与后边界线28相交。外部指引线46也是从后图像边界28延伸到前图像边界27的平行线。外部指引线46的位置取决于要在其上显示虚拟场景10的电子显示器12的尺寸。外部指引线46之间的宽度对应于要使用的电子显示器的像素宽度。

结合图9参考图10，可以看到，立体图像40、42被数字地改变以适应外部指引线46的参数。这样，立体图像40、42朝着后图像边界28变宽并且朝着前图像边界27压缩。这创建校正后的立体图像40A、42A。所述内部指引线44保留在校正后的立体图像40A、42A上。

结合图10参考图11，校正后的左、右立体图像40A、42A被叠加。来自两个校正后的立体图像40A、42A的内部指引线44被对准。一旦实现对准，就移除内部指引线44。这创建了最终图像48。取决于如何观看最终图像48，校正后的立体图像40A、42A可以被着色为红色或蓝色，或者校正后的图像40A、42A可以被相反地偏振。以这种方式，当使用3D眼镜或在自动立体显示器上观看最终图像48时，最终图像48将看起来是三维的。

基于所有先前的附图，参考图12，现在可以总结整个系统的软件方法。如框50所示，内容制作者创建虚拟场景10，所述虚拟场景10包括一个或多个将在虚拟场景10中作为3D对象出现的对象20。参见先前的图1和图2的描述。内容制作者还为虚拟场景10选择参考平面24。请参见框52。使用参考平面16和所选对象20，内容制作者可以确定虚拟场景10的边界。请参见框54。

知道了虚拟场景10的边界和参考平面24，内容制作者设置真实立体摄像机17的虚拟摄像机视点25、26的角度和高度。设置摄像机视点，以使得立体摄像机视线在参考平面24处达到零视差。参见框56。还参见先前图3的描述。

如方框58、60、62所示，使用倾斜操纵、弯曲操纵和锥化操纵来数字地改变虚拟场景10。参见先前图4、图5和图6的描述。然后针对虚拟场景获得两个立体图像40、42。参见框64。还参见先前图7和图8的描述。然后，校正立体图像40、42以适应虚拟图像10的边界指引线。参见框66。还参见先前图9和图10的描述。最后，将校正后的立体图像叠加。参见框68。还参见先前图11的描述。结果是当用户观看时，最终图像48将看起来在显示器12上方或前方延伸。

将理解的是，图示和描述的本发明的实施例仅是示例性的，并且本领域技术人员可以对该实施例做出许多变化。所有这些实施例旨在被包括在由所附权利要求限定的本发明的范围内。

Claims (20)

1.一种产生将在显示器上观看的虚拟场景的方法，其特征在于，所述虚拟场景包含虚拟对象，当在所述显示器上观看时，所述虚拟对象看起来是三维的，所述方法包括以下步骤：

定义虚拟参考平面，所述虚拟参考平面具有包括前边界、后边界和侧边界的多个外围边界；

在所述虚拟参考平面上设置所述虚拟对象；

确定使所述虚拟对象能够在所述参考平面的所述多个外围边界内用所述参考平面成像的多个立体摄像机视点；

通过虚拟地弯曲所述虚拟对象的一部分来改变所述虚拟对象，以创建改变的虚拟对象；

从所述多个立体摄像机视点对所述改变的虚拟对象进行成像，其中，从所述多个立体摄像机视点对所述改变的虚拟对象进行成像创建第一图像和第二图像；

叠加所述第一图像和所述第二图像以创建叠加图像；

为所述叠加图像定义共同的边界集以创建最终图像；以及

在所述显示器上显示所述最终图像，其中，所述最终图像至少部分地看起来延伸出所述显示器。

2.根据权利要求1所述的方法，其特征在于，所述显示器具有屏幕平面，并且以相对于所述屏幕平面定向的所述参考平面来显示所述最终图像。

3.根据权利要求1所述的方法，其特征在于，所述多个立体摄像机视点在共同的平面中，并且通过从所述共同的平面观看时虚拟地弯曲所述虚拟对象的所述部分来改变所述虚拟对象。

4.根据权利要求1所述的方法，其特征在于，通过虚拟地弯曲所述虚拟对象的一部分来改变所述虚拟对象包括：在所述虚拟对象上的第一高度处选择第一弯曲点，以及仅在所述第一弯曲点上方弯曲所述虚拟对象。

5.根据权利要求4所述的方法，其特征在于，所述虚拟对象具有感知高度，并且所述第一弯曲点的所述第一高度在所述感知高度的1/3和2/3之间。

6.根据权利要求1所述的方法，其特征在于，通过虚拟地弯曲所述虚拟对象的一部分来改变所述虚拟对象包括：在所述虚拟对象上的第一高度处选择第一弯曲点，并且在所述虚拟对象上的第二高度处选择第二弯曲点，其中，所述虚拟对象在所述第一弯曲点上方弯曲第一角度并且在所述第二弯曲点上方弯曲第二角度。

7.根据权利要求6所述的方法，其特征在于，所述第二角度大于所述第一角度。

8.根据权利要求1所述的方法，其特征在于，包括通过虚拟地锥化所述虚拟对象的至少一部分以远离所述多个立体摄像机视点来进一步改变所述虚拟对象。

9.根据权利要求1所述的方法，其特征在于，还包括：通过从所述多个立体摄像机视点观看时虚拟地倾斜所述参考平面的至少一部分来改变所述虚拟对象。

10.根据权利要求1所述的方法，其特征在于，还包括：通过从所述多个立体摄像机视点观看时虚拟地倾斜所述虚拟对象的至少一部分来改变所述虚拟对象。

11.一种产生将在显示器上观看的虚拟场景的方法，其特征在于，所述虚拟场景包含虚拟对象，当在所述显示器上观看时，所述虚拟对象至少部分地看起来是三维的并且延伸出所述显示器，所述方法包括以下步骤：

定义虚拟参考平面，所述虚拟参考平面具有包括前边界、后边界和侧边界的多个外围边界；

在所述虚拟参考平面上设置所述虚拟对象；

确定使所述虚拟对象能够在所述参考平面的所述多个外围边界内与所述参考平面成像的多个立体摄像机视点；

通过虚拟地倾斜所述参考平面的至少一部分来改变所述虚拟对象，以创建改变的虚拟对象；

从所述多个立体摄像机视点对所述改变的虚拟对象进行成像，其中，从所述多个立体摄像机视点对所述改变的虚拟对象进行成像创建第一图像和第二图像；

叠加所述第一图像和所述第二图像以创建叠加图像；以及

为所述叠加图像定义共同的边界集以创建最终图像。

12.根据权利要求11所述的方法，其特征在于，所述显示器具有屏幕平面，并且以相对于所述屏幕平面定向的所述参考平面来显示所述最终图像。

13.根据权利要求11所述的方法，其特征在于，所述多个立体摄像机视点在共同的平面中，并且通过虚拟地倾斜所述参考平面的至少一部分来改变所述虚拟对象包括：从所述多个立体摄像机视点观看时，使靠近所述后边界的所述参考平面倾斜。

14.根据权利要求11所述的方法，其特征在于，所述多个立体摄像机视点在共同的平面中，并且通过虚拟地倾斜所述参考平面的至少一部分来改变所述虚拟对象包括：相对于所述多个立体摄像机视点倾斜所述虚拟对象。

15.根据权利要求11所述的方法，其特征在于，还包括通过相对于所述共同的平面虚拟地弯曲所述虚拟对象的一部分来改变所述虚拟对象。

16.根据权利要求11所述的方法，其特征在于，还包括通过虚拟地锥化所述虚拟对象的至少一部分以远离所述多个立体摄像机视点来改变所述虚拟对象。

17.一种产生将在显示器上观看的虚拟场景的方法，其特征在于，所述虚拟场景包含虚拟对象，当在所述显示器上观看时，所述虚拟对象至少部分地看起来是三维的并且延伸出所述显示器，所述方法包括以下步骤：

定义虚拟参考平面，所述虚拟参考平面具有多个外围边界；

在所述虚拟参考平面上设置所述虚拟对象；

确定使所述虚拟对象能够在所述参考平面的所述多个外围边界内与所述参考平面成像的多个立体摄像机视点；

通过从所述多个立体摄像机视点观看时虚拟地锥化所述虚拟对象的一部分来改变所述虚拟对象，以创建改变的虚拟对象；

从所述多个立体视点对所述改变的虚拟对象进行成像，其中从所述多个立体视点对所述改变的虚拟对象进行成像创建第一图像和第二图像；

叠加所述第一图像和所述第二图像以创建叠加图像，以创建最终图像。

18.根据权利要求17所述的方法，其特征在于，还包括在显示器中显示所述最终图像，其中所述显示器具有屏幕平面，并且以相对于所述屏幕平面定向的所述参考平面显示所述最终图像。

19.根据权利要求17所述的方法，其特征在于，通过虚拟地锥化所述虚拟对象的一部分来改变所述虚拟对象包括：在所述虚拟对象上的第一高度处选择第一点，以及仅在所述第一弯曲点上方锥化所述虚拟对象。

20.根据权利要求17所述的方法，其特征在于，所述虚拟对象具有感知高度，并且所述第一点的所述第一高度在所述感知高度的1/3和2/3之间。

Images