CN103390287B - 用于增强现实的装置和方法 - Google Patents

Abstract

将增强现实视频图像并入虚拟环境中的方法包括：检测在视频图像中捕捉的真实世界控制对象的状态；响应于控制对象的状态，增强该视频图像；响应于控制对象的状态，相对于该视频图像的本地坐标系计算动作的轨迹参数；将增强的视频图像嵌入在3D虚拟环境中；相对于该3D虚拟环境的本地坐标系计算该动作的轨迹参数；以及在3D虚拟环境中呈现与该动作对应的图形效果。

Description

用于增强现实的装置和方法

技术领域

本发明涉及用于增强现实的装置和方法。

背景技术

近来在与诸如网络摄像机和诸如Sony 和PlayStation 的其他摄像机的外围设备的普遍存在连在一起的诸如控制台（）和其他个人计算机的视频游戏控制台的性能方面的进步已经普及了虚拟现实的使用。

也称为混合现实的虚拟现实采取实况视频输入并在其上叠加计算机图形以使得用户能够不是通过诸如鼠标、键盘或者游戏手柄（joypad）的更传统的输入或者除了通过这些更传统的输入之外、通过手势、面部表情和/或身体移动与应用（通常是游戏）交互。

例如，捕捉的视频图像的虚拟增强可以包括增强图像层，该增强图像层转而包括一个或多个虚拟实体。该层被叠加在捕捉的视频图像上，由此组合真实和虚拟特征。另外，虚拟增强可以包括在增强的图像上的输入区域，允许用户与图像交互。通常，这些输入与一个或多个虚拟实体的全部或者部分相关，但是可用例如使用对象识别与捕捉的视频图像的元素相关。

这样的增强现实的例子是公知的游戏，其中用户通过抚摸虚拟宠物或者使用所谓的参照标记（fiduciary marker）（具有高对比度样式的手持的卡）或者Playstation 控制器控制虚拟对象来与虚拟宠物交互，其中PS3可以使用EyeToy追踪该参照标记或者Playstation 控制器，并且用屏幕上的另一虚拟对象来替换。例如参见http://www.youtube.com/watch？v=ORYSSQZTzbE。

但是，希望进一步该机与虚拟实体的此交互。

发明内容

在第一方面，根据权利要求1，提供了将增强现实视频图像并入虚拟环境中的方法。

在一方面，根据权利要求11，提供了娱乐设备。

在所附权利要求中定义了本发明的进一步的各个方面和特征

附图说明

现在将参考附图通过例子描述本发明的实施例，附图中：

图1是根据本发明的实施例的娱乐设备的示意图。

图2A是根据本发明的实施例的书的示意图。

图2B是根据本发明的实施例的书的增强的图像的示意图。

图3A是根据本发明的实施例的捕捉的视频图像的示意图。

图3B是根据本发明的实施例的增强的视频图像的示意图。

图4是根据本发明的实施例的在3D虚拟环境内嵌入的增强的视频图像的示意图。

图5是根据本发明的实施例的将增强现实视频图像并入虚拟环境中的方法的流程图。

具体实施方式

公开了用于增强现实的装置和方法。在以下描述中，给出了很多具体细节以便提供对本发明的实施例的全面理解。但是，对本领域技术人员将显然的是，不需要采用这些具体细节来实践本发明。相反，在适当时，为了清楚的目的省略本领域技术人员已知的具体细节。

如上所述，Sony PS3控制台通常在连接到诸如EyeToy的适当的视频摄相机时以及当在适当的软件控制下操作时是用于实现增强现实的适当的装置或者娱乐设备。

图1示意性例示SonyPS3的整体系统架构。提供了系统单元10，各个外围设备可连接到该系统单元。

系统单元10包括：单元处理器100；动态随机存取存储器（XDRAM）单元500；具有专用的视频随机存取存储器（VRAM）单元250的现实合成器图形单元200；以及I/O桥700。

系统单元10还包括可通过I/O桥700访问的用于从盘440读取的蓝光盘光盘读取器430和可移除的插入硬盘驱动器（HDD）400。可选地，系统单元还包括用于读取紧凑快闪存储卡、记忆棒存储卡等的存储卡读取器450，其类似地可通过I/O桥700访问。

I/O桥700还连接到四个通用串行总线（USB）2.0端口710；吉比特以太网端口720；IEEE802.11b/g无线网络（Wi-Fi）端口730；以及能够支持高达7个蓝牙连接的蓝牙无线链接端口740。在操作中，I/O桥700处理所有无线、USB和以太网数据，包括来自一个或多个游戏控制器751的数据。例如，当用户正玩游戏时，I/O桥700经由蓝牙链接接收来自游戏控制器751的数据并将其引导到单元处理器100，该单元处理器100据此更新游戏的当前状态。

无线、USB和以太网端口还提供用于除了游戏控制器751之外的其它外围设备的连接性和输入，所述其他外围设备比如：远程控制器752；键盘753；鼠标754；诸如SonyPlaystation 娱乐设备的可携式娱乐设备755；诸如摄像机的摄像机756；以及麦克风耳机757。因此这样的外围设备原则上可以无线地连接到系统单元10；例如可携式娱乐设备755可以经由Wi-Fi自组织连接来通信，而麦克风耳机757可以经由蓝牙链接通信。

提供这些接口意味着Playstation3设备还可能与诸如数字视频记录器（DVR）、机顶盒、数字相机、可携式媒体播放器、通过IP的语音电话、移动电话、打印机和扫描仪的其它外围设备兼容。

另外，遗留的存储卡读取器410可以经由USB端口710连接到系统单元，使得能够读取由或设备使用的种类的存储卡420。

在本实施例中，游戏控制器751可操作以经由蓝牙链接与系统单元10无线通信。但是，替代地，游戏控制器751可以连接到USB端口，由此还通过其提供电力以对游戏控制器751的电池充电。除了一个或多个模拟操纵杆和传统的控制按钮之外，游戏控制器在对应于每个轴中的变换和旋转的6个自由度上对运动是敏感的。从而，除了传统的按钮或者操纵杆命令之外或者替代传统的按钮或者操纵杆命令，游戏控制器的用户的姿势和运动可以被翻译为对游戏的输入。可选地，诸如Playstation Portable（游戏站可携式）设备或者Playstation Move（游戏站移动，RTM）的无线使能的外围设备可以被用作控制器。在Playstation Portable设备的情况下，可以在设备的屏幕上提供另外的游戏或者控制信息（例如控制指令或者命的数量）。在Playstation Move的情况下，可以通过内部运动传感器以及通过对在Playstation Move设备上的光的视频监视两者来提供控制信息。可以使用其他替换的或者补充的控制设备，比如跳舞毯（未示出）、光枪（未示出）、方向盘和踏板（未示出）或者定制控制器，比如用于快速反应测试游戏的单个或者几个大的按钮（也未示出）。

远程控制器752还可操作以经由蓝牙链接与系统单元无线通信。远程控制器752包括适合于蓝光盘BD-ROM读取器430的操作以及盘内容的导航的控制。

蓝光盘BD-ROM读取器430可操作以读取除了传统的预记录的和可记录的CD以及所谓的超级音频CD之外的、与Playstation和Playstation2设备兼容的CD-ROM。读取器430还可操作以读取除了传统的预记录和可记录的DVD之外的、与Playstation2和Playstation3设备兼容的DVD-ROM。读取器430还可操作以读取与Playstation3设备兼容的BD-ROM以及传统的预记录的和可记录的蓝光盘。

系统单元10可操作以经由现实合成器图形单元200将由Playstation3设备产生或解码的音频和视频通过音频和视频连接器提供给诸如具有显示器305以及一个或多个扬声器310的监视器或者电视机的显示器和声音输出设备300。音频连接器210可以包括传统的模拟和数字输出，而视频链接器220可以不同地包括电视信号分量、S-视频、合成视频以及一个或多个高清晰度多媒体接口（HDMI）输出。从而，视频输出可以是诸如PAL或NTSC格式的或者是720p、1080i或者1080p高清晰度的。

由单元处理器100进行音频处理（产生、解码等等）。Playstation3设备的操作系统支持环绕声、剧场环绕（DTS）以及来自蓝光盘的7.1环绕声的解码。

在本实施例中，摄像机756包括单个电荷耦合器件（CCD）、LED指示器和基于硬件的实时数据压缩和编码装置以便压缩的视频数据可以按用于由系统单元10解码的诸如基于图像内的MPEG（运动画面专家组）标准的适当的格式而传输。摄像机LED指示器被布置为响应于来自系统单元10的适当的控制数据而发光，例如以表明不利的照明条件。摄像机756的实施例可以不同地经由USB、蓝牙或者Wi-Fi通信端口连接到系统单元10。摄像机的实施例可以包括一个或多个相关联的麦克风以及还能够传输音频数据。在摄像机的实施例中，CCD可以具有适合于高清晰度视频捕捉的分辨率。类似地，在一些实施例中，摄像机是立体视觉的。在使用中，由摄像机捕捉的图像可以例如并入在游戏内或者被解译以获得游戏控制输入。

通常，为了经由系统单元10的通信端口之一发生与诸如摄像机或者远程控制器的外围设备的成功的数据通信，应该提供诸如设备驱动器的适当的软件。设备驱动器技术是公知的并且在此将不详细描述，除了说明本领域技术人员将知悉在公开的本实施例中可能需要设备驱动器或者类似的软件接口。

在通常的配置中，PS3与显示器以及与EyeToy链接，通常与被放置在电视机上或者下的面向用户的EyeToy链接。因此，当由EyeToy捕捉的图像显示在电视机上时，用户能够面对他们自身并且在他们看着屏幕时看到他们的即刻的环境。通常，单元处理器100、现实合成器图形单元200或者两者的组合然后作为用于将一个或多个虚拟实体添加到用户可以与之交互的环境的图像增强部件操作。

现在参考图2A和2B，在本发明的实施例中，上述的参照标记被印刷在书上，尽管将认识到这不是限制的例子。

在图2A中，书1000具有多张刚性的、可转动的翻书页（leaves）（所谓的“精装书”），并且包括在每页（page）1001、1002上的参照标记1011、1012。翻书页将被理解为是书的可转动的单张或单片，并且通常包括在每一面的页。图2A和2B通过例子示出页1和2（分别标记为1001和1002）。可选地，书的封里（front cover）和/或封底里页（back cover）也可以当作页并且包括参照标记。因此，在此例子中，页1事实上可以是封里。类似地，可选地，封面和/或封底可以包括参照标记。另外，可选地，每页以在外侧边缘的高对比度的标记1020而加边（edge）以帮助对页的范围的检测。

当耦合到摄像机时，PS3可以捕捉书的图像并且使用已知的技术来检测每个可见的页上的参照标记以及其位置、比例（scale）、方位等，如前所述。根据这些，可以类似地估计具体页及其视位置、比例方位等。

给出此信息，然后如图2B中所示，PS3可以利用与可见的页上的参照标记1011、1012的位置、比例和方位对应的虚拟图形元素1111、1112来增强书的捕捉的视频图像，

该增强处理通常包括：响应于参照标记的方位和位置，建立已经在虚拟空间中定向和定位的虚拟图形元素的3D模型；以及将该3D模型的视图投影到与相机的图像平面一致的2D图像平面上。此投影形成随后可以叠加在来自相机的视频图像上的数字图像，作为所谓的“增强层”以便创建可以输出用于显示的增强的视频图像。

以此方式，书的显示的版本变为“魔术的”弹出书，其中页可用在PS3的控制下显得逼真。

现在转向图3A，这例示了可能被摄像机756捕捉的常见的实际场景，因此表示可以被PS3接收的常见的输入视频图像。在该图像中，用户2000正与书1000交互，在此情况下结合控制器758。诸如地毯/地板、沙发、壁纸等的背景特征也可能出现在该视频图像中。

现在还转向图3B，这例示了由PS3（例如由在适当的软件指令下操作的单元处理器，结合现实合成器图形单元）捕捉的视频图像的常见的增强。在此情况下，已经基于设备的光在视频图像中的检测的位置和比例、以及从设备本身传输到PS3的方位数据（例如基于其加速器信号）利用木棍2242的图像增强了Move（移动）控制器。

同时，响应于显示的参照标记，书已经被增强为具有营火2244的营地，并且用户正将木棍指向营地以点燃它。

另外，可选地，已经向输入视频添加了色彩，响应于与指示营火虚拟地产生的光的颜色的营火对象相关联的元数据而修改输入视频中的颜色平衡。

值得注意，在传统的增强现实的情况下，固有的是存在要被增强的真实的图像（即视频图像）。因此，图形增强被应用于视频图像并且因此被限制于视频图像的范围。

在此增强内，还可能存在坐标的一个或多个本地集合。一个集合可以为参照标记提供参考，并且一个集合可以为移动控制器提供参考。但是，在每种情况下，参照标记和移动控制器将为图像平面提供参考，因为它们的比例、位置和（在标记的情况下的）方位是从捕捉的图像得出的变量。

因此（作为非限制性的例子），增强现实（x,y,z）坐标空间的原点可以是视频图像的左下角，x、y定义图像上的位置（因此与像素位置有关）并且z由在预定物理距离处的参照标记和/或移动控制器光的参考模型确定，因此与距离图像平面的真实距离有关。

同时，在虚拟现实（例如视频游戏中的传统游戏世界、比如虚拟城堡）的情况下，还将具有其自己的世界坐标系，并且这可以具有任意的度量单位，只要一致地定义该世界即可。在传统的视频游戏中，用户可以通过控制玩家角色而在其世界行进，并且基于游戏世界的坐标系计算对于虚拟相机的位置的城堡的当前视图。

现在参考图5，在本发明的实施例中，提出了将分别由增强现实视频图像的坐标系和虚拟游戏世界的坐标系定义的两个单独的空间组合，以便用户和增强现实图像内的虚拟对象可以与包含了增强现实视频图像的更大的虚拟世界交互并投影到该虚拟世界中。

因此，在本发明的实施例中，选择3D游戏世界内的位置，在该位置将放置增强现实视频作为2D或者平面的对象。在图5中，作为非限制性的例子，这被简单地示出为与城堡中的后墙平行地定位。对象的默认的比例可以假设坐下的用户将占据视频图像的（由此占据2D对象的）垂直范围的近似2/3。这可以用于缩放对象以便用户在虚拟世界中看起来与实物一样大小。或者，由于增强现实系统保留关于参照标记（或者移动控制器）的实际大小的信息，对于视频图像中的参照标记或者控制器的有效大小的参考可以用于缩放视频图像，以便参照标记或者控制器在虚拟世界中是与该世界一致的预定大小。以此方式，如果参照标记或者控制器被正确地重新缩放用于虚拟世界，则视频图像中的其余元素（包括用户）也将被正确地重新缩放。

另外，参照标记的范围可以用于将增强的视频图像正确地与3D游戏世界对准；如果假设其上印刷了参照标记的页平躺在书中，并且书本身平躺在视频图像中的表面上（例如在地板上），则参照标记的范围可以用于计算视频图像中的地板的方位。从而，可选地，包括增强的视频图像的2D平面对象可以进一步被倾斜和/或旋转以便参照标记的方位（或者更一般地，其倾斜）以及因此地板在3D游戏世界中看起来类似于相关表面的方位或者倾斜。

在任一情况下，可选地，遮蔽或者其他图形效果可以用于掩饰2D平面对象的边缘，以便其在3D游戏世界中看起来更自然。这样的效果可以包括对象的渐进的透明性以便边缘逐渐消失，和/或可以应用以模糊2D平面对象的边缘的诸如朦胧或者魔法门（magicalportal）的图形效果。或者，2D对象可以被放置在3D世界中的光圈之后，所述3D世界中的光圈诸如窗户或门，其类似地用于模糊2D平面对象的边缘。

一旦增强现实视频图像被放置在3D游戏时间中，则为虚拟相机选择视点以观看游戏世界，这还将以对于游戏世界内的任何对象几乎相同的方式确定在游戏世界内看到的增强现实视频图像的任何进一步的缩放和任何旋转。

在图5中，增强现实视频图像已经因此被缩放以占据屏幕面积的近似1/9，这还使得用户近似是对于城堡的正常大小，并且位于与从虚拟相机看到的其在3D游戏世界内的位置一致的位置处。

因此，在这点，增强现实视频图像已经作为2D平面对象被插入到3D虚拟游戏世界中，并且同样可以在3D虚拟游戏世界中看到。换句话说，（被增强现实系统增强的）来自实际相机的实况视频被嵌入在虚拟3D环境中，然后从该3D环境内的虚拟相机观看。

但是，尽管增强的视频图像本身是二维对象，它表示下述空间：在该空间之内（或者之后，在穿过图像平面的意义上）具有在实际视频相机的图像平面中的参考点。

值得注意，增强的视频图像的图像平面与现在在3D游戏世界中定义的2D平面对象一致。因此，该图像平面可以担当两个空间的坐标系之间的公共参考或者接口。

作为具体例子，在图3B和图4中，用户正握着木棍，该木棍可以用于指向具体方向。该木棍是移动控制器的增强，并且增强现实系统可以确定控制器在图像平面中的位置（即其在图像中的x、y位置）、控制器离图像平面的距离（即从相对于在距离相机参考距离处的控制器或光的大小的控制器的比例或者仅其光得到的其z位置）。同时，来自控制器的遥测（telemetry）给出了控制器在此位置的方位。根据此信息，可以计算木棍的位置、大小和方位用于增强的目的，但是也能够计算从移动控制器轴向投影的矢量以及该矢量与图像平面的交叉点。还将理解，可以关于书的参照标记计算类似的矢量和交叉点。

为了清楚的目的，假设此交叉点在图像的范围内，则想象的线将移动控制器连接到图像平面，如果画出来，此线看起来像是移动控制器从图像内部将激光束指向TV屏幕（或2D平面对象）。

在本发明的实施例中，增强现实系统然后可以将图像平面上的位置（因此也是在3D游戏世界中的位置）以及经过该位置的矢量传递到3D游戏世界系统。

从而，3D游戏世界系统能够在其游戏世界空间内单独画出在相同位置处与2D平面对象相交的矢量线，因此看起来与增强现实图像中的线对齐并且加入到该线。这给出了错觉：该线是在增强现实空间中开始并且进入并穿过虚拟现实空间的单个实体。

值得注意，增强现实空间的坐标也可以按与视频图像的缩放和任意旋转对应的方式缩放以及（如果需要）旋转，以形成并放置2D平面对象。因此，此缩放和旋转可以应用于从增强现实世界行进到3D游戏世界的矢量。

因此，增强现实系统可以使矢量通过在增强现实空间以外的任何3D游戏世界而不需要关于该3D游戏世界的坐标系的任何信息，因为是该3D游戏世界系统根据增强的图像在该3D游戏世界内如何被缩放和旋转而缩放和旋转该矢量的。这使得为了插入到3D游戏世界中而预先呈现的增强现实图像的结合容易得多。

如上所述，因此可以在增强现实图像中呈现表示该矢量的线，并且该图像然后被插入到3D游戏世界中，然后使用位置和矢量信息，可以在3D游戏世界中呈现表示该矢量的线，其与该线在预呈现的增强视频图像中的位置和方向匹配，从而两条线看起来是穿过两个空间的单条线。

将理解，在实践中，图形图像不需要限制到线。非限制性的例子包括喷火或者水，或者沿着（未画出的）该线的任何流或对象。

还将理解，可以类似地从真实世界对象在视频图像中的位置和方位得出非线性轨迹，而且不仅仅是直的矢量。在此情况下，原理相同，在于得到与图像平面的交叉点，并且将该轨迹的参数描述传递到3D游戏世界。在此情况下，另外，在交叉点处的指示沿着该轨迹的进行的值也可以被传递到3D游戏世界从而其可以无缝继续。

另外，可以在增强现实系统和3D游戏系统之间传递其他变量。例如，可以传递对象的速度和/或该速度将如何改变的参数描述，用于直矢量或者非线性轨迹。

因此，例如，轨迹、速度（以及可选的旋转）的组合可以用于允许玩家将增强现实球投掷到虚拟世界中，在那里该球然后可以击中虚拟世界中的其他对象或与之交互。

也可以考虑对视频图像的增强的其他修改。例如，如之前所述，响应于视频图像的增强的特征视频图像可以着色。以类似的方式，响应于虚拟环境中的发光水平和色温，视频图像可以着色或者调整其亮度。在增强现实系统在3D游戏世界之前或者与3D游戏世界独立地操作的情况下，用于产生下一增强的视频图像的此信息可以从3D游戏世界的当前呈现的图像近似。

在替换实施例中，增强现实系统不预先呈现意图穿过图像平面到虚拟游戏世界中的增强现实图像中的元素。

取而代之的是，增强现实系统将真实世界对象（移动控制器或者参照标记）的位置和方位坐标信息传递到3D游戏世界。

如之前那样，可以按与视频图像的缩放和旋转一致的方式重新缩放和旋转此位置和方位数据，以在3D游戏世界中形成2D平面对象。其随后可以根据2D平面对象中的图像参考点（例如参考对象的左下角）的位置而在3D游戏世界内偏移。

然后3D游戏世界可以将该位置和方位数据作为其是3D游戏世界的部分一样来对待。

现在，可以根据3D游戏世界内的线或轨迹的有效源位置画出线或者轨迹，或者在这些线或者轨迹上的动画对象或者点（particle），因此出现3D游戏世界内的整个虚拟效果。

但是，在此情况下，3D游戏系统可以使用修改的z缓冲系统来允许虚拟效果中在增强图像的图像平面之后产生的部分在增强图像的前面可见，以便可以看到其看起来是从增强图像发出的。

此实施例具有优点：3D游戏世界的游戏引擎可以比增强现实系统使用更好的虚拟效果和对象模型，或者类似地，该游戏引擎更有效地操作（例如利用更高帧频或者更少的存储器）而没有来自以可能不协调的方式同样使用这些虚拟效果的增强现实系统的中断。

以上实施例允许用户不仅与在增强现实环境内的对象（比如例如EyePet或者木棍）交互，而且与分开的虚拟环境交互。

以下简要概括此交互的例子。

首先，交互可能起因于打开书的特定页。这可以首先触发从仅仅在用户的电视屏幕上的增强现实显示到该增强现实显示嵌入在3D游戏世界内的转变（例如通过初始地将3D游戏世界中的虚拟相机设置为以2D平面对象为中心并且与该2D平面对象垂直，以便其看起来与传统的增强图像一致，然后将其拉回以显露更宽的3D世界）。另外，将书翻到特定页可能触发增强现实空间和3D游戏世界空间之间的变换的效果（使用任意的上述实施例），比如使得虚拟角色跃出该书并且来到3D游戏世界中。

第二，交互可能起因于用户进行的姿势。例如，使用移动控制器的轻击姿势可能被解释为魔咒抛出（spell casting）或者扔球动作。当控制器的移动已经基本停止时，或者当控制器上的动作按钮被按下时，该魔咒或者球然后可能沿着在增强现实空间以外的轨迹。

第三，以与先前对于从移动控制器投影的想象的线描述的类似的方式，控制器可以被用作可以指向在增强现实空间内以及从增强现实空间出来到虚拟游戏世界中的对象的指针或光标。诸如光网或者光斑的图形效果可以指示想象的线在哪里与虚拟世界中的表面相交或者与在视频图像中捕捉的真实世界中的表面的计算的位置相交。

在任意的上述情形中，考虑到捕捉的视频图像中的控制对象的分辨率可能很低以及因此计算的轨迹（相对于用户已经意欲的轨迹）的准确性也可能很低的可能性，系统可以实现围绕该轨迹的交互的胀式圆锥（expanding cone），其可以被认为是乘以从控制对象到3D游戏世界的沿着该轨迹的虚拟距离的错误的界限。以此方式，与虚拟对象交互所需的有效准确性保持一致，与该对象距离嵌入的视频图像中的控制对象多远无关。

现在还参考图5，在本发明的概括实施例中，将增强现实视频图像并入虚拟环境中的方法包括：

在第一步骤s10中，检测在视频图像中捕捉的真实世界控制对象（例如诸如具有参照标记的书或者移动控制器的真实世界对象）的状态；

在第二步骤s20中，响应于控制对象的状态，增强视频图像（例如，响应于书的特定页上的参照标记而添加营火，或者用木棍覆盖移动控制器）；

在第三步骤s30中，响应于控制对象的状态，相对于视频图像的本地坐标系计算动作的轨迹参数（例如，如果用户按下移动控制器上的动作按钮或者如前所述进行触发姿势，则基于其相对于视频图像平面的位置以及传输到PS3的方位信息从控制器投影直线或曲线。）

在第四步骤s40中，将增强的视频图像嵌入在3D虚拟环境中（即作为位于3D虚拟环境内的并且因此具有相对于3D虚拟环境的本地坐标系的位置坐标的2D平面对象）；

在第五步骤s50中，相对于3D虚拟环境的本地坐标系计算该动作的轨迹参数（对于该轨迹的穿出图像平面并因此穿出2D平面对象的那部分，或者对于整个轨迹，如之前所述）；以及

在第六步骤s60中，在3D虚拟环境内呈现与该动作对应的图形效果（再次如上所述，对于从2D平面对象发出的部分，或者将真实环境内的空间当作在2D平面对象之后的3D环境上重叠的该3D环境的部分）。

如之前所述，可以部分在增强视频图像中以及部分在3D环境中或者完全在3D环境内呈现该图形效果。

因此，在概括实施例的一个实例中，该方法包括以下步骤：计算该轨迹与视频图像的图像平面的交叉点；以及计算其中嵌入了增强视频图像的3D虚拟环境内的相应的点（即，在2D平面对象上的相应的点，使用3D虚拟环境的坐标系）；并且步骤s20包括利用与该动作对应的图形效果增强该视频图像（即，直到与图像平面的交叉点），并且步骤s60包括呈现该图形效果，开始点在计算的3D虚拟环境中的计算的相应点处（即从2D平面对象上的相应的点开始）——这里，将理解，“开始点”并不暗示（或排除）图形效果的时间方面，或者图形效果必须在该点处重新开始（例如，如在火把效果中光的加宽的锥形可能已经在交叉点处部分加宽，因此该效果在2D平面对象上的相应点处开始在虚拟环境中此部分加宽的状态）。

因此，还在概括实施例的替换实例中，该方法包括以下步骤：计算真实世界控制对象相对于视频图像的本地坐标系的位置和方位（例如在该图像内的x和y像素，并且z作为基于控制对象的相对大小的参考距离与在参考距离处的控制对象的参考大小的乘积），以及响应于嵌入在3D虚拟环境内的增强视频图像的位置和方位，将计算的真实世界控制对象的位置和方位映射到3D虚拟环境的本地坐标系。如之前所述，响应于3D游戏世界中的2D平面对象的比例、位置和方位而重新缩放、重新定位以及需要时旋转控制对象的坐标系使得这些坐标能够直接用在或者直接映射到3D游戏世界的本地坐标系中。一旦完成，步骤s60包括使开始点在计算的轨迹的开始处地呈现图形效果。换句话说，从控制对象发出该效果的点处（或者从与控制对象的增强一致的点处，比如正在增强控制器的木棍的尖端，或者位于书上的增强的顶帽（top hat））。

在概括实施例的一个实例中，步骤60还包括修改深度缓冲器，以当增强的视频图像位于计算的轨迹的开始和呈现的观看点之间时显示图形效果。换句话说，因为控制对象相对于图像平面具有深度，所以图形效果好像在2D平面对象之后开始，并且传统上，z缓冲器将因此并不示出图形效果的具有比2D平面对象的深度更大的深度的那部分。

因此，例如，z缓冲器可以具有对于这样的图形效果的标志或覆盖（override）以便尽管这样的图形效果在绘出增强的视频的2D平面对象之后也示出它们。基于此呈现顺序，也可以应用诸如防混淆的其他效果。

在概括实施例的一个实例中，则如前所述，轨迹可以是简单的线性矢量，或者是参数定义的非线性路径。可替换的，或除此之外，轨迹可以是程序地定义的路径，比如由聚类算法产生的路径。

在概括实施例的一个实例中，s40包括响应于控制对象在捕捉的视频图像内的大小而缩放视频图像（例如，如上所述，参考参照标记的已知大小；因此，例如，如果真实世界标记是10cm x10cm，则该视频图像被重新缩放以便该真实世界标记看起来相对于3D游戏世界中的其他虚拟对象是10cm x10cm）。

在概括实施例的一个实例中，s40包括将模糊增强视频图像的边缘的图形效果应用于增强视频图像。

在概括实施例的一个实例中，该方法包括响应于在视频图像的增强中使用的虚拟对象的色温（例如从与该对象相关联的元数据得到的）以及3D虚拟环境的色温（例如基于当前呈现的图像的子采样的平均值）之一或两者而修改视频图像的色温的步骤。

在概括实施例的一个实例中，该方法包括响应于在视频图像的增强中使用的虚拟对象的预定亮度（同样，例如由元数据设置的）和对于3D虚拟环境的亮度值（同样，例如基于当前呈现的图像的子采样）之一或两者而修改视频图像的亮度。

如前所述，PS3是用于当在适当的软件指令下操作时实现以上公开的技术和方法的适当的娱乐设备。

因此，例如，USB端口710可以担当可操作以接收绘出了真实世界控制对象的捕捉的视频图像的输入。同时，单元处理器100可以担当可操作以检测视频图像中的真实世界控制对象的状态的第一图像分析器。类似地，现实合成器（RSX）200可以担当可操作以响应于控制对象的状态而增强视频图像的第一图像处理器。该单元处理器还可以担当可操作以响应于控制对象的状态而相对于视频图像的本地坐标系计算对于动作的轨迹参数的第一轨迹处理器。现实合成器200还可以担当可操作以将增强的视频图像嵌入在3D虚拟环境中的第二图像处理器。同样，单元处理器可以担当可操作以相对于3D虚拟环境的本地坐标系计算该动作的轨迹参数的第二轨迹处理器，最后，RSX还可以担当可操作以在3D虚拟环境内呈现与该动作对应的图形效果的第二图像处理器。

单元处理器的各个角色可以在单元处理器的各个处理器之间划分，或者可以作为处理线程而共享。

从而，将理解，在此公开的方法可以通过软件指令或者通过包括或替换专用硬件在可应用的适当采用的传统硬件上实现。

因此，所需的对传统的等同设备的现有部分的适应可以以非暂时计算机程序产品或者包括存储在诸如软盘、光盘、硬盘、PROM、RAM、快闪存储器或者这些及其他存储介质的任意组合的数据载体上的处理器可实现的指令的制造品的类似对象的形式来实现，或者以经由数据信号在诸如以太网、无线网络、因特网或者这些以及其他网络的任意组合的网络的传输的形式来实现，或者以硬件作为ASIC（专用集成电路）或者FPGA（场可编程门阵列）或者适合于在适应传统的等同设备中使用的其他可配置的电路而实现。

Claims (13)

1.一种将增强现实视频图像并入虚拟环境中的方法，包括：

检测在视频图像中捕捉的真实世界控制对象的状态；

响应于控制对象的状态，增强该视频图像；

响应于控制对象的状态，相对于该视频图像的本地坐标系计算动作的轨迹参数；

相对于该视频图像的本地坐标系计算真实世界控制对象的位置和方位；

响应于嵌入在3D虚拟环境内的增强的视频图像的位置和方位，将计算的真实世界控制对象的位置和方位映射到3D虚拟环境的本地坐标系；

相对于不同于该视频图像的本地坐标系的该3D虚拟环境的本地坐标系计算该动作的轨迹参数；以及

在3D虚拟环境中呈现与该动作对应的图形效果，

其中，在3D虚拟环境中呈现与该动作对应的图形效果的步骤包括使开始点在计算的轨迹的开始处地呈现图形效果。

2.根据权利要求1所述的方法，包括步骤：

计算该轨迹与该视频图像的图像平面的交叉点；以及

计算其中嵌入了该增强的视频图像的3D虚拟环境内的相应的点；以及

其中：

响应于控制对象的状态增强该视频图像的步骤包括利用与该动作对应的图形效果增强该视频图像；以及

在3D虚拟环境中呈现与该动作对应的图形效果的步骤包括在3D虚拟环境中使开始点在计算的相应的点处地呈现图形效果。

3.根据权利要求1所述的方法，其中在3D虚拟环境中呈现与该动作对应的图形效果的步骤包括修改深度缓冲器以在增强的视频图像位于计算的轨迹的开始和呈现观看点之间时允许显示该图形效果。

4.根据权利要求1到3的任意一项所述的方法，其中所述轨迹是从包含以下的列表中选择的一个或多个：

i.线性矢量；

ii.参数定义的非线性路径；以及

iii.程序定义的非线性路径。

5.根据权利要求1所述的方法，其中将增强的视频图像嵌入在3D虚拟环境中的步骤包括响应于捕捉的视频图像内的控制对象的大小，缩放增强的视频图像。

6.根据权利要求1所述的方法，其中将增强的视频图像嵌入在3D虚拟环境中的步骤包括向增强的视频图像应用模糊该增强的视频图像的边缘的图形效果。

7.根据权利要求1所述的方法，包括响应于从由以下组成的列表中选择的一个或多个而修改视频图像的色平衡的步骤：

i.在视频图像的增强中使用的虚拟对象的色温；以及

ii.3D虚拟环境的色温。

8.根据权利要求1所述的方法，包括响应于从由以下构成的列表中选择的一个或多个而修改视频图像的亮度的步骤：

i.在视频图像的增强中使用的虚拟对象的预定亮度；以及

ii.3D虚拟环境的亮度值。

9.一种计算机可读记录介质，其中记录用于实现权利要求1所述的步骤的计算机程序。

10.一种娱乐设备，包括：

输入，可操作以接收绘出真实世界控制对象的捕捉的视频图像；

第一图像分析器，可操作以检测视频图像中的真实世界控制对象的状态；

第一图像处理器，可操作以响应于控制对象的状态而增强视频图像；

第一轨迹处理器，可操作以响应于控制对象的状态，相对于视频图像的本地坐标系计算动作的轨迹参数；

第二图像处理器，可操作以将增强的视频图像嵌入在3D虚拟环境中；

第二轨迹处理器，可操作以相对于不同于该视频图像的本地坐标系的3D虚拟环境的本地坐标系计算该动作的轨迹参数；并且

该第二图像处理器可操作以在3D虚拟环境内呈现对应于该动作的图形效果，

其中，该第一轨迹处理器可操作以相对于所述视频图像的本地坐标系计算真实世界控制对象的位置和方位；以及

该第二轨迹处理器可操作以响应于嵌入在3D虚拟环境内的增强的视频图像的位置和方位，将计算的该真实世界控制对象的位置和方位映射到3D虚拟环境的本地坐标系，以及

其中，该第二图像处理器可操作以使开始点在计算的轨迹的开始处地呈现图形效果。

11.根据权利要求10所述的娱乐设备，其中：

该第一轨迹处理器可操作以计算该轨迹与视频图像的图像平面的交叉点；以及

该第二轨迹处理器可操作以计算在其中嵌入了增强的视频图像的3D虚拟环境中的相应的点；

该第一图像处理器可操作以利用与该动作对应的图形效果增强该视频图像；以及

该第二图像处理器可操作以在3D虚拟环境内使开始点在计算的相应的点处地呈现图形效果。

12.根据权利要求10所述的娱乐设备，包括：深度缓冲器，布置为当增强的视频图像位于计算的轨迹的开始和呈现观看点之间时允许显示该图形效果。

13.根据权利要求10到12的任意一项所述的娱乐设备，其中该第二图像处理器可操作以在将增强的视频图像嵌入在3D虚拟环境中时响应于捕捉的视频图像内的控制对象的大小来缩放增强的视频图像。