CN102301397A - 用于提供计算机生成的三维虚拟环境的视频表示的方法和设备 - Google Patents

Abstract

服务器过程将3D虚拟环境的实例再现为视频流，所述视频流随后可以在功能不足够强以本地实现再现过程或者没有安装本地再现软件的装置上观看。所述服务器过程被分解为两个步骤：3D再现和视频编码。3D再现步骤使用来自视频编码步骤的编解码器、目标视频帧率、大小和比特率的知识来以正确的帧率、以正确的大小、颜色空间且用正确的细节等级再现虚拟环境的版本，以使得所再现的虚拟环境针对通过视频编码步骤所进行的编码而被优化。同样，视频编码步骤关于运动估计、宏块大小估计和帧类型选择而使用来自3D再现步骤的运动知识以降低视频编码过程的复杂度。

Description

用于提供计算机生成的三维虚拟环境的视频表示的方法和设备

技术领域

 本发明涉及虚拟环境，并且更特别涉及用于提供计算机生成的三维虚拟环境的视频表示的方法和设备。

背景技术

 虚拟环境仿真实际或幻想的3D环境，并且允许许多参与者经由远程定位的客户端进行彼此交互以及与该环境中的构造进行交互。一种可以在其中使用虚拟环境的情况与游戏有关，其中用户在游戏中假扮人物的角色并且对该人物的大多数动作进行控制。除了游戏之外，虚拟环境还正被用来仿真真实生活环境以为用户提供实现在线教育、训练、购物、以及用户组之间和商家与用户之间的其它类型的交互的界面。

 在虚拟环境中，在计算机处理器/存储器内仿真实际或幻想的世界。通常，虚拟环境将具有其自己的不同三维坐标空间。表示用户的化身（avatar）可以在三维坐标空间内移动并且与该三维坐标空间内的对象以及其它化身进行交互。虚拟环境服务器保存所述虚拟环境并且基于用户化身在该虚拟环境内的位置为每个用户生成视觉呈现。

 虚拟环境可以被实现为独立应用程序，诸如计算机辅助设计包或计算机游戏。可替换地，虚拟环境可以被在线实现以使得多个人可以通过计算机网络参与所述虚拟环境，所述计算机网络诸如局域网或诸如互联网之类的广域网。

 用户在虚拟环境中由“化身”表示，该化身往往为用于在虚拟环境中表示用户的人或者其它对象的三维表示。参与者与虚拟环境软件进行交互以控制其化身如何在虚拟环境内移动。参与者可以使用常规输入装置来控制化身，诸如计算机鼠标和键盘、小键盘或者任选地可以使用诸如游戏控制器之类的更特殊的控制。

 随着化身在虚拟环境内移动，用户所体验的视野（view）根据用户在虚拟环境中的位置（即，化身在虚拟环境内所在之处）和虚拟环境中的视野方向（即，化身正所看之处）而变化。三维虚拟环境基于化身在虚拟环境中的位置和视野而再现，并且所述三维虚拟环境的视觉表示在用户显示器上向用户进行显示。所述视野被显示给参与者以使得控制化身的参与者可以看到化身正所看到的东西。此外，许多虚拟环境使得参与者能够诸如从化身之外（即，之后）的有利位置切换（toggle）到不同视点，以看到化身处于虚拟环境中的何处。化身可以被允许在虚拟环境内行走、奔跑、游泳以及以其它方式移动。化身还可以能够执行精细运动技能（motor skill），诸如被允许捡起对象、投掷对象、使用钥匙开门以及执行其它类似任务。

 虚拟环境内的移动或者对象通过虚拟环境的移动是通过在随时间稍有不同的位置中分割所述虚拟环境来实现的。通过足够快地（诸如以每秒钟30或60次）示出三维虚拟环境的不同迭代，虚拟环境内的移动或者对象在虚拟环境内的移动可能看上去是连续的。

 全沉浸式（immersive）全运动3D环境的生成要求图形加速器硬件或功能强的CPU形式的显著图形处理能力。此外，再现全运动3D图形还要求能够访问装置的处理器和硬件加速资源的软件。在一些情况下，递送具有这些能力的软件是不方便的（即，浏览web的用户必须安装某种类型的软件以允许显示3D环境，这对于使用而言是一种障碍）。并且在一些情况下，可能不容许用户在其装置上安装新的软件（移动装置如特别以安全导向的组织中的一些PC那样被频繁锁定）。同样，并非所有装置都具有图形硬件或足够的处理能力来再现全运动三维虚拟环境。例如，许多家庭和膝上型计算机以及大多数的常规个人数据助理、蜂窝电话和其它手持消费电子装置都缺乏足够的计算能力来生成全运动3D图形。由于这些限制妨碍了人们使用这些类型的装置来参与虚拟环境，所以提供一种方式以使得这些用户能够使用这些类型的有限能力的计算装置来参与三维虚拟环境将是有利的。

发明内容

 在此提供以下发明内容以及在本申请结尾处所阐述的摘要以介绍在下面的具体实施方式中所讨论的一些概念。发明内容和摘要部分并不是全面的而且并非意在描绘由下面提出的权利要求所阐述的可保护主题的范围。

 服务器过程将3D虚拟环境的实例再现为视频流，所述视频流随后可以在功能不足够强以本地（natively）实现再现过程或者没有安装本地再现软件的装置上观看。所述服务器过程被分解为两个步骤：3D再现和视频编码。3D再现步骤使用来自视频编码步骤的编解码器、目标视频帧率、大小和比特率的知识来以正确的帧率、以正确的大小、颜色空间且用正确的细节等级再现虚拟环境的版本，以使得所再现的虚拟环境针对通过视频编码步骤所进行的编码而被优化。同样，视频编码步骤关于运动估计、宏块大小估计和帧类型选择而使用来自3D再现步骤的运动知识以降低视频编码过程的复杂度。

附图说明

 本发明各方面利用所附权利要求中的细节加以指出。本发明通过示例方式在以下附图中进行图示，其中相同的附图标记指示类似的要素。以下附图仅出于说明的目的公开了本发明的各个实施例，而并非意在限制本发明的范围。出于清楚的目的，并非每个组件都可以在每幅图中进行标记。在图中：

图1是根据本发明实施例的使得用户能够访问计算机生成的三维虚拟环境的示例系统的功能框图；

图2示出了能力有限的手持计算装置的示例；

图3是根据本发明实施例的示例再现服务器的功能框图；和

图4是根据本发明实施例的3D虚拟环境再现和视频编码过程的流程图。

具体实施方式

 以下详细描述阐述了众多特定细节以提供本发明的彻底理解。然而，本领域的技术人员将意识到，本发明可以在没有这些特定细节的情况下进行实践。在其它实例中，为了不对本发明造成混淆，没有对公知的方法、过程、组件、协议、算法和电路进行详细描述。

 图1示出了示例系统10的一部分，其示出了多个用户与一个或多个基于网络的虚拟环境12之间的交互。用户可以使用计算机14来访问基于网络的虚拟环境12，所述计算机14具有足够的硬件处理能力和所需的软件来再现全运动3D虚拟环境。用户可以通过分组网络18或其它普通通信基础设施来访问虚拟环境。

 可替换地，用户可能希望使用具有不足以再现全运动3D虚拟环境的硬件/软件的、能力有限的计算装置16来访问基于网络的虚拟环境12。能力有限的示例计算装置可以包括功率较低的膝上型计算机、个人数据助理、蜂窝电话、便携式游戏装置、以及其它具有不足以再现全运动3D虚拟环境的处理能力或者具有足够处理能力但是缺少为完成此的必要软件的装置。术语“能力有限的计算装置”将在这里被用来指代不具有足够的处理能力来再现全运动3D虚拟环境或者不具有正确的软件来再现全运动3D虚拟环境的任意装置。

 虚拟环境12由一个或多个虚拟环境服务器20在网络上实现。所述虚拟环境服务器保存所述虚拟环境并且使得虚拟环境的用户能够通过网络与虚拟环境以及彼此进行交互。可以由一个或多个通信服务器22实现诸如用户之间的诸如音频呼叫之类的通信会话，以使得用户能够在加入虚拟环境的同时彼此通话并且听到附加的音频输入。

 提供一个或多个再现服务器24以使得用户能够利用能力有限的计算装置来访问虚拟环境。再现服务器24为每个能力有限的计算装置16实现再现过程并且将所再现的3D虚拟环境转换为要通过网络18流传送至能力有限的计算装置的视频。能力有限的计算装置可能具有不足的处理能力和/或安装软件来再现全运动3D虚拟环境，但是可能具有充足的计算能力来解码和显示全运动视频。因此，再现服务器提供了使得用户能够利用能力有限的计算装置来体验全运动3D虚拟环境的视频桥。

 此外，再现服务器24可以出于归档的目的而创建3D虚拟环境的视频表示。在该实施例中，不是将视频实况流传送至能力有限的计算装置16，视频流被存储以随后播放。由于再现到视频编码过程在两个实例中是相同的，所以将通过集中于流视频的创建来描述本发明的实施例。然而，相同的过程可以被用来创建用于存储的视频。同样，在具有足够的处理能力和安装软件的计算机14的用户想要记录其在虚拟环境内的交互的情况下，所组合的3D再现和视频编码过程的实例可以在计算机14而不是服务器24上实现以允许用户记录其在虚拟环境内的动作。

 在图1所示的示例中，虚拟环境服务器20以正常方式向计算机14提供输入（箭头1），以使得计算机14能够向用户再现虚拟环境。在每个计算机用户的虚拟环境视野根据用户化身的位置和视点而不同的情况下，所述输入（箭头1）对于每个用户而言将是唯一的。然而，在用户通过相同相机正在观看虚拟环境的情况下，所述计算机均可以生成3D虚拟环境的类似视野。

 同样，虚拟环境服务器20还向再现服务器24提供与向计算机14所提供的（箭头1）相同类型的输入（箭头2）。这允许再现服务器24为该再现服务器所支持的每个能力有限的计算装置16再现全运动3D虚拟环境。再现服务器24为每个所支持的用户实现全运动3D再现过程并且将用户的输出转换为流视频。所述流视频随后通过网络18被流传送至能力有限的计算装置，以使得用户可以在其能力有限的计算装置上看到所述3D虚拟环境。

 存在其中虚拟环境支持来自一组固定相机位置的第三人视点的其它情况。例如，虚拟环境可以具有每个房间一个固定相机。在这种情况下，再现服务器可以为由至少一个用户所使用的每个固定相机再现一次虚拟环境，并且随后将与该相机相关联的视频流传送至当前正经由该相机观看虚拟环境的每个用户。例如，在呈现的情况下，可以经由礼堂中的固定相机向每个观众成员提供相同的呈现方视野。在该示例以及其它这样的情况下，再现方服务器可以为观众成员组再现一次3D虚拟环境，并且视频编码过程可以使用针对该特定观看者的正确编解码器（例如，正确视频帧率、比特率、分辨率等）来编码要流传送至每个观众成员的视频。这允许所述3D虚拟环境被再现一次且视频编码多次以流传送至观看者。在这种情况下注意：在多个观看者被配置为接收相同类型的视频流的情况下，视频编码过程仅需要对视频编码一次。

 在存在多个虚拟环境观看者的情况下，可能的是不同观看者可能希望以不同帧率和比特率来接收视频。例如，一组观看者可能能够以相对低的比特率接收视频，而其它组的观看者可能能够以相对高的比特率接收视频。虽然所有观看者将经由相同相机正在浏览（look into）3D虚拟环境，但是如果需要，可以使用不同3D再现过程来针对不同视频编码速率中的每一个再现3D虚拟环境。

 计算机14包括处理器26以及任选地图形卡28。计算机14还包括存储器，所述存储器包含一个或多个计算机程序，所述计算机程序当被加载到处理器中时使得计算机能够生成全运动3D虚拟环境。在计算机包括图形卡28的情况下，与生成全运动3D虚拟环境相关联的部分处理可以由所述图形卡来实现以减少处理器26上的负担。

 在图1所示的示例中，计算机14包括虚拟环境客户端30，其连同虚拟环境服务器20一起工作以为用户生成三维虚拟环境。到虚拟环境的用户接口32使得来自用户的输入能够控制虚拟环境的各方面。例如，所述用户接口可以提供控制仪表板，用户可以使用所述控制仪表板来控制其在虚拟环境中的化身并且控制所述虚拟环境的其它方面。用户接口32可以是虚拟环境客户端30的一部分，或者被实现为单独的过程。虽然特定的虚拟环境客户端可以被设计为与多个虚拟环境服务器进行对接，但是针对用户想要访问的每个虚拟环境可能需要单独的虚拟环境客户端。提供通信客户端34以使得用户能够与也正在参与计算机生成的三维虚拟环境的其它用户进行通信。所述通信客户端可以是虚拟环境客户端30、用户接口32的一部分，或者可以是计算机14上运行的单独过程。用户能够经由用户输入装置40控制其在虚拟环境内的化身以及所述虚拟环境的其它方面。所再现的虚拟环境的视野经由显示器/音频42向用户进行呈现。

 用户可以使用诸如计算机键盘和鼠标之类的控制装置来控制化身在虚拟环境内的运动。一般而言，键盘上的按键可以被用来控制化身的移动而鼠标可以被用来控制相机角度和运动方向。虽然通常也给其它按键指定特定任务，但是被频繁用来控制化身的一个普通字母集合是字母WASD。例如，用户可以按住W键来使得其化身行走并且使用鼠标来控制化身正在行走的方向。已研发出了众多其它输入装置，诸如触摸敏感屏幕、专用游戏控制器、操纵杆等。随着时间的过去已研发了控制游戏环境和其它类型的虚拟环境的许多不同方式。已研发的示例输入装置包括小键盘、键盘、光笔、鼠标、游戏控制器、音频麦克风、触摸敏感用户输入装置以及其它类型的输入装置。

 同计算机14一样，能力有限的计算装置16包括处理器26以及包含一个或多个计算机程序的存储器，所述计算机程序当被加载到处理器中时使得计算机能够参与3D虚拟环境。然而，不同于计算机14的处理器26，能力有限的计算装置中的处理器26要么功能不足够强以再现全运动3D虚拟环境要么无法访问将使得其能够再现全运动3D虚拟环境的正确软件。因此，为了使得能力有限的计算装置16的用户能够体验全运动三维虚拟环境，能力有限的计算装置16从再现服务器24之一获取表示所再现的三维虚拟环境的流视频。

 根据特定实施例，能力有限的计算装置16可以包括若干件软件以使得其能够参与虚拟环境。例如，能力有限的计算装置16可以包括与计算机14类似的虚拟环境客户端。所述虚拟环境客户端可以适于在能力有限的计算装置的更有限的处理环境上运行。可替换地，如图1所示，能力有限的计算装置16可以使用视频解码器31而不是虚拟环境客户端30。视频解码器31对由再现服务器24所再现和编码的表示虚拟环境的流视频进行解码。

 所述能力有限的计算装置还包括用户接口，以收集来自用户的用户输入并且将所述用户输入提供到再现服务器24以使得所述用户能够控制虚拟环境内的用户化身以及虚拟环境的其它特征。所述用户接口可以提供与计算机14上的用户接口相同的仪表板，或者可以基于能力有限的计算装置上可获得的有限控制集合而向用户提供有限的特征集合。用户经由用户接口32提供用户输入，并且特定用户输入被提供到正在为用户执行再现的服务器。再现服务器能够按照需要将那些输入提供到虚拟环境服务器，那些输入在那里影响三维虚拟环境的其它用户。

 可替换地，能力有限的计算装置可以实现web浏览器36和视频插件38以使得能力有限的计算装置能够显示来自再现服务器24的流视频。所述视频插件使得视频能够由所述能力有限的计算装置进行解码和显示。在该实施例中，所述web浏览器或插件还可以用作用户接口。如同计算机14，能力有限的计算装置16可以包括通信客户端34以使得用户能够与三维虚拟环境的其它用户进行通话。

 图2示出了能力有限的计算装置16的一个示例。如图2所示，普通手持装置通常包括用户输入装置40，诸如小键盘/键盘70、特殊功能按钮72、轨迹球74、相机76和麦克风78。此外，这种性质的装置通常具有彩色LCD显示器80和扬声器82。能力有限的计算装置16还配备有处理电路，例如处理器、硬件和天线，以使得所述能力有限的计算装置能够在一个或多个无线通信网络（例如，蜂窝或802.11网络）上进行通信以及运行特定应用程序。已研发了许多类型的能力有限的计算装置，并且图2仅意在示出典型的能力有限的计算装置的示例。

 如图2所示，能力有限的计算装置可以具有有限的控制，其可以限制用户为控制其化身在虚拟环境内的动作并且为控制虚拟环境的其它方面而能够向用户接口提供的输入的类型。因此，用户接口可以适于使得不同装置上的不同控制能够被用来控制虚拟环境内的相同功能。

 在操作中，虚拟环境服务器20将向再现服务器24提供以与虚拟环境相关的信息，以使得再现服务器能够为每个能力有限的计算装置再现虚拟环境。再现服务器24将代表由服务器所支持的能力有限的计算装置16来实现虚拟环境客户端30以向能力有限的计算装置再现虚拟环境。能力有限的计算装置的用户与用户输入装置40进行交互以控制其在虚拟环境中的化身。经由用户输入装置40所接收的输入被用户接口32、虚拟环境客户端30或web浏览器所捕捉，并且被送回到再现服务器24。再现服务器24以与计算机14上的虚拟环境客户端30将如何使用输入类似的方式使用所述输入，以使得用户可以控制其在虚拟环境内的化身。再现服务器24再现三维虚拟环境，创建流视频，并且将所述视频流传送回到能力有限的计算装置。所述视频在显示器/音频42上向用户进行呈现，以使得用户能够参与所述三维虚拟环境。

 图3示出了示例再现服务器24的功能框图。在图3所示的实施例中，再现服务器24包括包含控制逻辑52的处理器50，所述控制逻辑52当被加载有来自存储器54的软件时使得再现服务器为能力有限的计算装置客户端再现三维虚拟环境，将所再现的三维虚拟环境转换为流视频，并且输出所述流视频。在服务器24中可以包括一个或多个图形卡56以处理再现过程的特定方面。在一些实现方式中，事实上从3D到视频编码的整个3D再现和视频编码过程都能够在现代可编程的图形卡上实现。在不久的将来，GPU（图形处理单元）可以是用于运行经组合的再现和编码过程的理想平台。

 在所图示的实施例中，再现服务器包括经组合的三维再现器和视频编码器58。所述经组合的三维再现器和视频编码器代表能力有限的计算装置作为三维虚拟环境再现过程进行操作，以代表能力有限的计算装置再现所述虚拟环境的三维表示。该3D再现过程与视频编码器过程共享信息，以使得该3D再现过程可以被用来影响视频编码过程并且使得视频编码过程能够影响所述3D再现过程。与经组合的三维再现和视频编码过程58的操作相关的附加细节下面关于图4进行阐述。

 再现服务器24还包括交互软件60以接收来自能力有限的计算装置的用户的输入，以使得所述用户能够控制其在虚拟环境内的化身。任选地，再现服务器24还可以包括附加组件。例如，在图3中，再现服务器24还包括音频组件62，其使得服务器能够代表能力有限的计算装置来实现音频混合。因此，在该实施例中，再现服务器正作为通信服务器22进行操作以及代表其客户端实现再现。然而，本发明并不局限于该性质的实施例，因为可以通过单组服务器来实现多个功能或者不同功能可以由如图1所示的单独服务器组进行划分和实现。

 图4示出了根据本发明实施例的可以由再现服务器24实现的经组合的3D再现和视频编码过程。同样，经组合的3D再现和视频编码过程可以由再现服务器24或由计算机14实现以记录3D虚拟环境内的用户活动。

 如图4所示，当三维虚拟环境要被再现以进行显示并随后被编码为视频以通过网络进行传输时，经组合的3D再现和视频编码过程将逻辑上通过若干不同阶段（在图4中编号为100-160）进行。在实践中，根据特定实施例，不同阶段的功能可以被交换或者以不同顺序发生。此外，不同实现方式可以稍有不同地观看再现和编码过程，并且因此可以具有其它描述三维虚拟环境被再现并随后被编码以进行存储或传输至观看者的方式的方法。

 在图4中，3D再现和视频编码过程的第一阶段是创建三维虚拟环境的模型视野（100）。为完成此，3D再现过程最初创建虚拟环境的初始模型，并且在随后的迭代中遍历画面/几何数据以寻找对象的移动以及可能对三维模型做出的其它改变。3D再现过程还将查看视野相机的瞄准和移动以确定三维模型内的视点。知道相机的位置和方位允许3D再现过程执行对象可见度检查以确定哪些对象被三维模型的其它特征所遮挡。

 根据本发明的实施例，将存储相机移动或位置和瞄准方向、以及可见对象运动以由（下面讨论的）视频编码过程使用，以使得可以在视频编码阶段期间使用该信息而不是运动估计。特别地，由于3D再现过程知道哪些对象正在移动并且知道哪些运动正在被创建，所以可以使用该信息而不是运动估计，或者使用该信息作为对运动估计的指导，以简化视频编码过程的运动估计部分。因此，可从3D再现过程获得的信息可以被用来促进视频编码。

 此外，由于视频编码过程是连同三维再现过程进行的，所以来自视频编码过程的信息可以被用来选择虚拟环境客户端如何再现虚拟环境以使得建立所再现的虚拟环境以通过视频编码过程进行最优编码。例如，3D再现过程最初将选择一个细节等级以包括在三维虚拟环境的模型视野中。所述细节等级影响把多少细节添加到虚拟环境的特征。例如，与观看者非常接近的砖墙可以被纹理化以示出由灰泥线条间隔开的单独砖块。当从较大距离观看时，相同的砖墙可能被简单着色为纯粹的红色。

 同样，特定的遥远对象可以被认为过小而无法包括在虚拟环境的模型视野中。当人通过虚拟环境进行移动时，这些对象将随着化身变得足够接近以便它们被包括在模型视野内而突然进入（pop into）屏幕。模型视野中要包括的细节等级的选择在该过程中早期发生，以消除最后将过小而无法包括在最终再现的画面中的对象，以使得不需要再现过程消耗资源对那些对象进行建模。给定流视频的有限分辨率，这使得再现过程能够被调节以避免浪费资源对表示最后将过小而无法看到的项目的对象进行建模。

 根据本发明的实施例，由于3D再现过程能够学习视频编码过程将用来向能力有限的计算装置传输视频的所预期的目标视频大小和比特率，所以所述目标视频大小和比特率可以在创建初始模型视野时被用来设置细节等级。例如，如果视频编码过程知道将使用320×240像素分辨率的视频来把视频流传送到移动装置，则该所预期的视频分辨率等级可以被提供给3D再现过程以使得3D再现过程能够调低（turn down）细节等级，从而使得3D再现过程不是仅再现非常详细的模型视野以随后通过视频编码过程来剥离出所有细节。作为对比，如果视频编码过程知道将使用960×540像素分辨率的视频来把视频流传送至高能力PC，则再现过程可以选择更高得多的细节等级。

 比特率也影响可以向观看者提供的细节等级。特别地，在低比特率下，视频流的精细细节开始在观看者处变得模糊，这限制了能够包括在从视频编码过程所输出的视频流中的细节量。因此，给定将被用来向观看者传输视频的最终比特率，知道目标比特率能够帮助3D再现过程选择细节等级，所述细节等级将导致创建具有足够细节但没有过多细节的模型视野。除了选择要包括在3D模型中的对象之外，通过针对视频分辨率和比特率而调整纹理分辨率（选择较低分辨率MIP映射）至适当值，对细节等级进行调节。

 在创建了虚拟环境的3D模型视野之后，3D再现过程将进行至几何阶段（110），所述模型视野在几何阶段（110）期间从模型空间变换到视野空间。在该阶段期间，基于相机和视觉对象视野对三维虚拟环境的模型视野进行变换，以使得可以按照需要计算和修整视野投影。这导致虚拟环境的3D模型基于相机在特定时间点时的有利位置而转换为将在用户的显示器上示出的二维快照。

 再现过程可以每秒钟发生许多次以仿真3D虚拟环境的全运动移动。根据本发明的实施例，由编解码器用来向观看者流传送视频的视频帧率被送至再现过程，以使得所述再现过程可以以与视频编码器相同的帧率进行再现。例如，如果视频编码过程正以24帧每秒（fps）进行操作，则该帧编码速率可以被送至再现过程以使得再现过程以24fps进行再现。同样，如果帧编码过程正以60fps对视频进行编码，则再现过程应当以60fps进行再现。此外，通过以与编码速率相同的帧率进行再现，可能的是避免可能在再现速率和帧编码速率之间存在不匹配时发生的抖动和/或用于进行帧内插的额外处理。

 根据一个实施例，在创建虚拟环境的模型视野时所存储的相机视野信息和运动矢量也被变换到视野空间中。如下面更详细讨论的，将运动矢量从模型空间变换到视野空间使得所述运动矢量能够被视频编码过程用作用于运动检测的代理。例如，如果存在在三维空间中移动的对象，则该对象的运动将需要进行转换以示出所述运动如何从相机视野出现。换句话说，对象在三维虚拟环境空间中的移动在其将出现在用户的显示器上时必须被转换为二维空间。对运动矢量进行类似变换以使得它们对应于对象在屏幕上的运动，从而使得视频编码过程可以使用运动矢量而不是运动估计。

 一旦已建立了几何，3D再现过程就将创建三角形（120）来表示虚拟环境的表面。3D再现过程通常仅再现三角形，以使得三维虚拟环境上的所有表面都被镶嵌以创建三角形，并且剔除从相机视点不可见的那些三角形。在三角形创建阶段期间，3D再现过程将创建应当再现的三角形列表。在该阶段期间实现诸如斜率/增量计算和扫描线转换之类的正常操作。

 所述3D再现过程随后再现所述三角形（130）以创建在显示器42上示出的图像。三角形的再现通常涉及遮蔽（shade）三角形、添加纹理、雾化以及其它效果，诸如深度缓冲和抗锯齿（anti-aliasing）。所述三角形随后将被照常显示。

 三维虚拟环境再现过程在红绿蓝（RGB）颜色空间中进行再现，原因在于这是由计算机监视器用来显示数据的颜色空间。然而，由于所再现的三维虚拟环境将由视频编码过程被编码为流视频，而不是在RGB颜色空间中再现所述虚拟环境，所以再现服务器的3D再现过程代替在YUV颜色空间中再现所述虚拟环境。YUV颜色空间包括一个亮度分量（Y）和两个颜色分量（U和V）。视频编码过程通常在编码之前将RGB颜色视频转换到YUV颜色空间。通过在YUV颜色空间而不是RGB颜色空间中进行再现，可以消除该转换过程以提高视频编码过程的性能。

 此外，根据本发明的实施例，针对目标视频和比特率对纹理选择和过滤过程进行调节。如以上所提到的，在再现阶段（130）期间所执行的过程之一是对三角形施加纹理。所述纹理是三角形表面的实际外观。因此，例如，为了再现假定看上去为砖墙的一部分的三角形，将对该三角形施加砖墙纹理。所述纹理将被施加到表面并基于相机的有利位置进行倾斜，从而提供一致的三维视野。

 在纹理化过程期间，所述纹理可能根据三角形相对于相机有利位置的特定角度而模糊（blur）。例如，施加到在3D虚拟环境的视野内以非常倾斜的角度所绘制的三角形的砖块纹理可能由于所述三角形在画面内的方位而非常模糊。因此，可以对特定表面的纹理进行调整以使用不同的MIP，从而使得对所述三角形的细节等级进行调整以消除观看者无论怎样都不可能能够看到的复杂度。根据实施例，纹理分辨率（适当MIP的选择）和纹理过滤算法受到目标视频编码分辨率和比特率的影响。这与以上关于初始3D画面创建阶段（100）所讨论的细节等级调节相类似，但是基于每个三角形被施加以使得所再现的三角形能够用一旦被视频编码过程编码为流视频就将在视觉上明显的细节等级来单独创建。

 三角形的再现完成了所述再现过程。正常在这一点上，三维虚拟环境将在用户的显示器上向用户示出。然而，出于视频归档目的或者对于能力有限的计算装置而言，这个所再现的三维虚拟环境将被视频编码过程编码为流视频以进行传输。随着时间的过去已研发了许多不同的视频编码过程，虽然目前较高性能的视频编码过程通常通过寻找画面内的对象运动而不是简单地传送像素数据以完全重新绘制每帧处的画面来对视频进行编码。在以下讨论中，将描述MPEG视频编码过程。本发明并不局限于该特定实施例，因为也可以使用其它类型的视频编码过程。如图4所示，MPEG视频编码过程通常包括视频帧处理（140）、P（预测）与B（双向预测）帧编码（150）以及I（内编码）帧编码（160）。I帧被压缩但是并不依赖于所要解压缩的其它帧。

 正常在视频帧处理（140）期间，视频处理器将针对目标视频大小和比特率重新设置由3D再现过程所再现的三维虚拟环境的图像的大小。然而，由于目标视频大小和比特率被3D再现过程用来以正确的大小以及利用针对目标比特率所调节的细节等级再现所述三维虚拟环境，所以视频编码器可以跳过该过程。同样，视频编码器正常还将执行颜色空间转换以从RGB转换到YUV，以准备使所再现的虚拟环境被编码为流视频。然而，如以上所提到的，根据本发明的实施例，再现过程被配置为在YUV颜色空间中进行再现，以使得该转换过程可以被视频帧编码过程所省略。因此，通过将来自视频编码过程的信息提供给3D再现过程，可以对3D再现过程进行调节以降低视频编码过程的复杂度。

 视频编码过程还将基于运动矢量和所实施的编码类型而对用来编码视频的宏块大小进行调节。MPEG2对称为块的8×8像素阵列进行操作。2×2块阵列通常称为宏块。其它类型的编码过程可以使用不同的宏块大小，并且宏块大小也可以基于虚拟环境中发生的运动量进行调整。根据一个实施例，可以基于运动矢量信息对宏块大小进行调整，以使得从运动矢量所确定的帧之间所发生的运动量可以被用来影响在编码过程期间所使用的宏块大小。

 此外，在视频帧处理阶段期间，选择要用来对宏块进行编码的帧的类型。例如在MPEG2中，存在若干类型的帧。I帧在没有预测的情况下进行编码，P帧可以利用来自先前帧的预测进行编码，而B帧（双向）帧可以使用来自先前帧和随后帧的预测进行编码。

 在正常的MPEG2视频编码中，表示所要编码的帧的像素值的宏块的数据被馈送至减法器和运动估计器。所述运动估计器将这些新宏块中的每一个与先前所存储迭代中的宏块进行比较。其找出先前迭代中的与新宏块最接近匹配的宏块。所述运动估计器随后根据被编码为先前迭代中的匹配宏块大小面积的宏块计算表示水平和垂直运动的运动矢量。

 根据本发明的实施例，不是使用基于像素数据的运动估计，所存储的运动矢量被用来确定对象在帧内的运动。如以上所提到的，在3D画面创建阶段（100）期间存储相机和可见对象运动，并且随后在几何阶段（110）期间将其变换为视野空间。这些经变换的运动矢量被视频编码过程用来确定对象在视野内的运动。所述运动矢量可以代替运动估计进行使用，或者可以被用来在视频帧处理阶段期间提供运动估计过程中的指导以简化视频编码过程。例如，如果所变换的运动矢量指示棒球已在画面内向左侧行进了12个像素，则经变换的运动矢量可以在运动估计过程中被用来开始搜索其最初在先前帧中所在之处的向左侧12个像素的像素块。可替换地，经变换的运动矢量可以代替运动估计被用来简单地使与棒球相关联的像素块向左侧平移12个像素而并不需要视频编码器也进行像素比较来寻找该位置处的块。

 在MPEG2中，运动估计器还从基准图片存储器中读取该匹配宏块（称为预测宏块）并且将其发送至减法器，所述减法器在逐个像素的基础上从进入编码器的新宏块中减去它。这形成了表示预测宏块和所编码的实际宏块之间的差异的误差预测或残留信号。所述残留通过2维离散余弦变换（DCT）从空间域进行变换，所述2维DCT包括可分离的垂直和水平一维DCT。所述残留的DCT系数随后被量化以减少为表示每个系数所需的比特数。

 经量化的DCT系数被Huffman游程/等级编码，其进一步减少了每个系数的平均比特数。经编码的误差残留的DCT系数与运动矢量数据以及（包括I、P或B图片的指示在内的）其它辅助信息组合。

 对于P帧的情况，经量化的DCT系数还去往表示解码器（编码器内的解码器）操作的内部循环。所述残留被逆量化并且被逆DCT变换。从基准帧存储器读出的预测宏块以逐个像素为基础添加回到所述残留并且存储回到存储器中以用作用于预测后续帧的基准。目标是使编码器的基准帧存储器中的数据与解码器的基准帧存储器中的数据匹配。B帧不作为基准帧进行存储。

 I帧的编码使用相同的过程，然而不发生运动估计并且针对减法器的（-）输入被强制为0。在这种情况下，经量化的DCT系数表示变换的像素值而不是像P和B帧的情况那样表示残留值。像P帧的情况那样，经解码的I帧被存储为基准帧。

 虽然提供了特定编码过程（MPEG2）的描述，但是本发明并不局限于该特定实施例，因为可以根据实施例而利用其它编码步骤。例如，MPEG4和VC-1使用类似但略为更先进的编码过程。可以使用这些和其它类型的编码过程，并且本发明并不局限于使用该确切编码过程的实施例。如以上所提到的，根据本发明的实施例，可以捕捉与三维虚拟环境内的对象相关的运动信息，并且在视频编码过程期间将其用来更高效地进行视频编码过程的运动估计过程。在这点上所利用的特定编码过程将取决于特定的实现方式。这些运动矢量还可以被视频编码过程用来帮助确定要用来对视频进行编码的最优块大小以及所应当使用的帧类型。在其它方面中，由于3D再现过程知道视频编码过程所要使用的目标屏幕大小和比特率，所以3D再现过程可以进行调节以再现处于视频编码过程的正确大小、具有视频编码过程的正确细节等级、以正确帧率进行再现并且使用视频编码过程将用来对数据进行编码以进行传输的正确颜色空间进行再现的三维虚拟环境的视野。因此，两种过程都可以通过将它们组合到如图3的实施例中所示的单个经组合的3D再现器和视频编码器58中而得到优化。

 以上所描述的功能可以被实现为一个或多个程序指令集合，其存储在（一个或多个）网络部件内的计算机可读存储器中并且在（一个或多个）网络部件内的一个或多个处理器上执行。然而，对于技术人员将显而易见的是，这里所描述的所有逻辑可以使用分立组件、诸如应用专用集成电路（ASIC）的集成电路、结合诸如现场可编程门阵列（FPGA）或微处理器的可编程逻辑器件使用的可编程逻辑、状态机或者包括其任意组合的任意其它装置来实现。可编程逻辑可以临时或永久固化在诸如只读存储器芯片、计算机存储器、磁盘或其它存储介质的有形介质中。所有这样的实施例均意在落入本发明的范围内。

 应当理解的是，可以在本发明的精神和范围内做出对附图中所示出的且说明书中所描述的实施例的各种变化和修改。因此，以上描述中所包含的且附图中所示出的所有主题均意在以说明性而非限制性含义进行解释。本发明仅如所附权利要求及其等价形式中所限定的那样进行限制。

Claims (20)

1.一种创建计算机生成的三维虚拟环境的视频表示的方法，所述方法包括步骤：

通过3D再现过程，基于来自视频编码过程的信息再现三维虚拟环境的迭代，所述来自视频编码过程的信息包括要由视频编码过程创建的三维虚拟环境的所再现迭代的视频表示的所预期屏幕大小和比特率。

2.如权利要求1所述的方法，其中所述来自视频编码过程的信息包括视频编码过程所使用的帧率；并且其中再现的步骤由3D再现过程所迭代，所述帧率使得3D再现过程再现所述三维虚拟环境的迭代的频率与视频编码过程所使用的帧率匹配。

3.如权利要求1所述的方法，其中再现的步骤由3D再现过程在由视频编码过程用来对视频进行编码的颜色空间中实现，以使得所述视频编码过程在创建所述三维虚拟环境的所再现迭代的视频表示时无需执行颜色转换。

4.如权利要求3所述的方法，其中再现的步骤由3D再现过程在YUV颜色空间中实现，并且其中视频编码过程在YUV颜色空间中对视频进行编码。

5.如权利要求1所述的方法，其中所预期屏幕大小和比特率被再现过程用来选择由3D再现过程所要创建的所再现3D虚拟环境的细节等级。

6.如权利要求1所述的方法，其中再现的步骤包括步骤：在3D模型空间中创建3D虚拟环境的3D画面，将3D模型空间变换至视野空间；执行三角形建立；和再现三角形。

7.如权利要求6所述的方法，其中在3D模型空间中创建3D虚拟环境的3D画面的步骤包括：确定对象在虚拟环境内的移动，确定相机位置和方位在虚拟环境内的移动，并且存储与对象在虚拟环境内的移动以及相机在虚拟环境内的移动相关联的矢量。

8.如权利要求7所述的方法，其中从模型空间变换至视野空间的步骤包括将所述矢量从3D模型空间变换至视野空间，以使得所述矢量可以被视频编码过程用来执行运动估计。

9.如权利要求6所述的方法，其中再现三角形的步骤使用来自视频编码过程的信息对所述三角形执行纹理选择和过滤。

10.如权利要求1所述的方法，进一步包括通过视频编码过程对由再现过程所再现的三维虚拟环境的迭代进行编码以创建三维虚拟环境的所再现迭代的视频表示。

11.如权利要求10所述的方法，其中所述视频表示为流视频。

12.如权利要求10所述的方法，其中所述视频表示是待归档视频的视频。

13.如权利要求10所述的方法，其中所述视频编码过程从3D再现过程接收运动矢量信息，并且关于块运动检测使用所述运动矢量信息。

14.如权利要求13所述的方法，其中所述运动矢量信息已从3D模型空间变换至视野空间以与由视频编码过程所要编码的所再现虚拟环境的视野中的对象运动相对应。

15.如权利要求13所述的方法，其中所述视频编码过程使用来自再现过程的运动矢量信息来执行块大小选择。

16.如权利要求13所述的方法，其中所述视频编码过程使用来自再现过程的运动矢量信息来对块编码执行帧类型决策。

17.如权利要求10所述的方法，其中编码的步骤包括视频帧处理、P和B帧编码、以及I与P帧编码。

18.如权利要求17所述的方法，其中P帧编码的步骤包括搜索以将当前块与较早基准帧的块相匹配以确定当前块已相对于较早基准帧如何移动的步骤，并且其中所述视频编码过程针对搜索的步骤使用来自再现过程的运动矢量信息以使搜索的步骤在由至少一个运动矢量所指示的位置处开始。

19.如权利要求17所述的方法，其中P帧编码的步骤包括通过引用由再现过程所提供的至少一个运动矢量来执行当前块相对于较早基准块的运动估计的步骤。

20.如权利要求10所述的方法，其中所述视频编码过程被配置为省略步骤：重新设置三维虚拟环境的所再现迭代的大小，实现从三维虚拟环境的所再现迭代到视频编码过程所使用的颜色空间的颜色空间转换，以及在执行对三维虚拟环境的迭代进行编码的步骤时执行帧内插。

Images