CN103918012A

CN103918012A - 渲染系统、渲染服务器、其控制方法、程序及记录媒体

Info

Publication number: CN103918012A
Application number: CN201280054305.XA
Authority: CN
Inventors: 岩崎哲史
Original assignee: Square Enix Holdings Co Ltd
Current assignee: Square Enix Holdings Co Ltd
Priority date: 2011-11-07
Filing date: 2012-10-05
Publication date: 2014-07-09
Also published as: CA2853212A1; EP2777023A1; JP5977023B2; US9665334B2; KR101589396B1; US20140285499A1; CA2853212C; JP2013099494A; KR20140098772A; EP2777023A4; WO2013069409A1

Abstract

一个装置根据确定被渲染内容所需的信息通过执行一些处理以生成第一画面，所述一些处理包含对将要显示的画面进行渲染处理的第一处理。另一方面，所述一个装置除外的装置生成第二画面，其是根据该信息通过执行对所述将要显示的画面进行的所述渲染处理的一些处理，所述一些处理并不包含所述第一处理但是包含不同于所述第一处理的第二处理，并且发送所述第二画面到所述一个装置。随后，所述一个装置接收由所述一个装置除外的对应装置生成的所述第二画面，并且通过组合所述第一画面和第二画面生成将要显示的画面。

Description

渲染系统、渲染服务器、其控制方法、程序及记录媒体

技术领域

本发明涉及一种渲染系统、渲染服务器、其控制方法、程序以及记录媒体，且确切地说涉及一种用于通过在经由网络连接的多个装置来共享渲染处理而生成一个画面的技术。

背景技术

能够进行网络连接的个人计算机(PC)等客户端装置已变得越来越普遍。随着该装置的普遍使用，因特网的网络人口也不断增加。使用因特网的各种服务近来已被开发用于网络用户，并且还提供游戏等娱乐服务。

用于网络用户的服务中的一者是多用户在线网络游戏，例如，MMORPG(大型的多玩家在线角色扮演游戏)。在多用户在线网络游戏中，用户将其正在使用的客户端装置连接到提供游戏的服务器，由此与使用连接到服务器上的另一客户端装置的另一用户玩对战游戏或团队游戏。

在一般的多用户在线网络游戏中，每个客户端装置将游戏渲染所必需的数据发送到服务器/从服务器接收游戏渲染所必需的数据。客户端装置使用渲染所必需的接收数据执行渲染处理，并且将生成的游戏画面呈现给连接到客户端装置上的显示装置，由此向用户提供游戏画面。用户通过操作输入界面已输入的信息被发送到服务器，且用于在服务器中计算处理或被传输到连接到服务器上的另一客户端装置。

然而，使客户端装置能够执行渲染处理的一些网络游戏需要用户使用具有足够渲染性能的PC或专用游戏机。因此，网络游戏(一个内容)的用户数目取决于该内容所需的客户端装置的性能。当然，高性能装置非常昂贵且可以拥有该装置的用户数目是有限的。也就是说，增加需要高渲染性能的游戏(例如，提供漂亮图形的游戏)的用户数目是非常困难的。

然而近年来，还提供了用户可玩而不需要取决于处理能力(例如，客户端装置的渲染性能)的游戏。在第2009/138878号国际公开案所述的游戏中，服务器需要在客户端装置中所引起的操作信息，且将使用该信息通过执行渲染处理而获得的游戏画面提供给客户端装置。

在上述第2009/138878号国际公开案所描述的游戏中，服务器对将要提供给客户端装置的游戏画面进行渲染和传递。也就是说，客户端装置接收并且重放由通过服务器执行的渲染处理所生成的游戏画面，从而显示游戏画面。然而，迄今为止未披露通过多个装置共享渲染处理的实用方法。

发明内容

考虑上述常规问题而提出本发明。本发明提供了渲染系统、渲染服务器、其控制方法、程序以及记录媒体，其允许多个装置共享并且有效执行针对一个画面的渲染处理。

本发明在其第一方面提供了用于允许多个装置共享并且执行对于将要显示在显示构件上的画面的渲染处理的渲染系统，所述多个装置中的一个装置包括：发送构件，其用于将确定将要显示的画面的被渲染内容所需的信息发送到所述多个装置的所述一个装置除外的相应装置；第一渲染构件，其用于生成第一画面，方法是根据确定被渲染内容所需的信息通过执行包含将要显示的画面的渲染处理的第一处理的一些处理；画面接收构件，其用于接收第二画面，所述第二画面是由所述一个装置除外的相应装置生成的并且对应于被渲染内容；以及组合构件，其用于生成将要显示的画面，方法是组合由第一渲染构件生成的第一画面以及由画面接收构件接收到的第二画面，并且所述一个装置除外的每个装置包括：接收构件，其用于接收确定来自所述一个装置的被渲染内容所需的信息；第二渲染构件，其用于根据确定被渲染内容所需的信息通过执行将要显示的画面的渲染处理的一些处理生成第二画面，所述一些处理并不包含第一处理但是包含不同于第一处理的第二处理，所述信息是接收构件接收到的；以及画面发送构件，其用于将第二渲染构件生成的第二画面发送到所述一个装置。

本发明在其第二方面提供了一种渲染系统，所述渲染系统允许第一装置和第二装置共享并且执行将要显示在显示构件上的画面的渲染处理，所述第一装置包括：接收构件，其用于从第二装置接收确定将要显示的画面的被渲染内容所需的信息；第一渲染构件，其用于生成第一画面，方法是根据接收构件接收到的确定被渲染内容所需的信息通过执行包含将要显示的画面的渲染处理的第一处理的一些处理；画面接收构件，其用于接收第二画面，所述第二画面是由第二装置生成的并且对应于被渲染内容；以及组合构件，其用于生成将要显示的画面，方法是组合由第一渲染构件生成的第一画面和由画面接收构件接收到的第二画面，并且第二装置包括：发送构件，其用于发送确定被渲染内容所需的信息到第一装置；第二渲染构件，其用于生成第二画面，方法是根据确定被渲染内容所需的信息通过执行将要显示的画面的渲染处理的一些处理，所述一些处理并不包含第一处理但是包含不同于第一处理的第二处理；以及画面发送构件，其用于将第二渲染构件生成的第二画面发送到第一装置。

本发明在其第三方面提供了渲染服务器，所述渲染服务器处置将要在连接到客户端装置的显示构件上显示的画面的渲染处理的一些处理，所述服务器包括：渲染构件，其用于生成将要提供的画面，方法是根据确定将要显示的画面的被渲染内容所需的信息执行包含将要显示的画面的渲染处理的预定处理的一些处理；以及发送构件，其用于将由渲染构件生成的将要提供的画面发送到客户端装置。

从以下示例性实施例的描述中(参考附图)，本发明的进一步的特征将变得显而易见。

附图说明

图1是示出根据本发明的实施例的渲染系统的系统配置的图；

图2是示出根据本发明的实施例的PC100的功能布置的框图；

图3是示出根据本发明的实施例的渲染服务器200的功能布置的框图；

图4是根据本发明的第一实施例的示例性游戏处理的流程图；

图5是根据本发明的第一实施例的示例性客户端渲染处理的流程图；

图6是根据本发明的第一实施例的示例性服务器端渲染处理的流程图；

图7是根据本发明的第二实施例的示例性客户端渲染处理的流程图；

图8A和图8B是根据本发明的实施例的示例性第一画面和第二画面的图。

具体实施方式

[第一实施例]

下文中将参考附图来详细描述本发明的示例性实施例。应注意下文将要描述的一个实施例将说明将本发明应用于渲染服务器200的一个实例，所述渲染服务器作为渲染系统的一个实例向PC100提供了一个画面，针对所述画面执行与在PC100中执行的游戏程序相关的画面的渲染处理的一些预定处理。然而，本发明可以应用于任意的装置和系统，所述装置和系统可以通过共享多个装置进行的处理来执行与一个画面相关的渲染处理。

<渲染系统的配置>

图1是示出根据本发明的实施例的渲染系统的系统配置的图。

如图1所示，PC100和渲染服务器200经由因特网等网络300连接。在此实施例中，PC100和渲染服务器200共享并且执行与将要在PC100中执行的游戏程序相关的画面(游戏画面)的渲染处理。

具体而言，对于一个画面，PC100使用纹理映射(纹理化处理)和基础光照模型以生成第一画面，而无需施加整体光照至包含在所述画面中的渲染对象。在经由网络300接收确定来自PC100的画面的被渲染内容所需的信息之后，渲染服务器200通过向渲染对象施加整体光照而无需施加任何纹理化处理以生成第二画面。渲染服务器200经由网络300发送生成的第二画面到PC100，并且PC100通过组合接收到的第二画面和生成的第一画面生成将要显示的游戏画面。随后，PC100输出将要显示的画面到连接的显示装置。

如上文所述，在此实施例的渲染系统中，两个装置(PC100和渲染服务器200)共享一个画面的渲染处理，并且生成一个画面，对于所述画面与渲染处理相关的所有处理是通过独立地生成与共享处理相关联的画面以及组合生成的画面而最后执行的。

应注意整体光照是一种渲染算法，其物理上精确地再现取决于材料的行为等等，例如，间接反射和光的扩散。整体光照是适合于渲染真实图形图像的。与整体光照相关的处理是通过各种算法得到加速的。然而，整体光照通常需要较大计算量，并且还需要硬件性能以在如同游戏中需要的预定更新帧率时而在给定时间内完成那些计算。也就是说，例如，为了在执行与游戏等的内容相关的程序的计算机中应用整体光照，计算机需要非常高的渲染性能或计算性能，因此限制了内容用户。

此实施例将PC100说明为连接到渲染服务器200上的客户端装置，但本发明不限于此特定实施例。举例来说，连接到渲染服务器200上的客户端装置可以是具有足够的渲染性能以渲染第一画面的装置，例如，家用游戏机、便携式游戏机、移动电话、PDA或平板电脑。

<PC100的布置>

图2是示出根据本发明的实施例的PC100的功能布置的框图。

CPU101控制包含在PC100中的相应块的操作。具体而言，CPU101通过读出记录在(例如)ROM102或记录媒体106中的游戏处理和客户端渲染处理的操作程序、将读出程序提取到RAM103上，并且执行提取的程序来控制相应块的操作。

ROM102是，例如，可重写的非易失性存储器。ROM102存储信息，所述信息例如，除游戏处理等的操作程序外还包含在PC100中的相应块的操作所需的常数。

RAM103是易失性存储器。RAM103不仅用作操作程序的提取区域，而且还用作临时存储中间数据等所需的存储区域，所述中间数据是在包含在PC100中的相应块的操作期间的输出。

GPU104生成将要显示在显示单元108(稍后将进行描述)上的游戏画面。作为游戏画面的渲染区域的视频存储器(VRAM)105连接到GPU104上。此外，GPU104具有GPU存储器(未图示)。在从CPU101接收渲染指令之后，GPU104接收与该渲染指令相关的渲染对象并且将其存储在GPU存储器中。随后，GPU104根据渲染指令渲染在连接的VRAM105上的渲染对象。在此实施例中，GPU104使用纹理化处理和基础光照模型生成第一画面，如同包含在渲染处理中无需施加整体光照的处理。

记录媒体106是，例如，HDD或SSD等可移除地连接到PC100的记录装置。在此实施例中，假定除了游戏处理的操作程序等等，记录媒体106还记录与在游戏画面上渲染的渲染对象相关的模型数据(或顶点数据和线连接数据)、纹理数据、设置参数等等。

通信单元107是包含在PC100中的通信接口。通信单元107与经由网络300连接的另一装置(例如，渲染服务器200)交换数据。在发送数据之后，通信单元107将数据转换成在其本身与网络300或目标装置之间确定的数据传输格式，并且将数据发送到目标装置。此外，在接收数据之后，通信单元107将经由网络300接收到的数据转换成可以通过PC100读取的任意数据格式，并且将转换的数据存储在(例如)RAM103中。

应注意，此实施例的以下描述将在PC100和渲染服务器200经由网络300连接的假设下给出。举例来说，可以轻易地理解PC100和渲染服务器200可能是使用缆线直接连接的。或者，PC100和渲染服务器200可以经由另一装置连接。

显示单元108是，例如，LCD监视器等连接到PC100上的显示装置。显示单元108执行显示控制以在显示区域上显示输入游戏画面。应注意，显示单元108可以是内置于PC100(例如，膝上型PC)中的显示装置，或者可以是使用缆线外部连接到PC100上的显示装置。

操作输入单元109是，例如，鼠标、键盘以及包含在PC100中的游戏手柄等用户接口。当操作输入单元109检测到用户在用户接口上进行操作时，所述操作输入单元将与该操作对应的控制信号输出到CPU101。

<渲染服务器200的布置>

图3是示出根据本发明的实施例的渲染服务器200的功能布置的框图。

服务器CPU201控制包含在渲染服务器200中的相应块的操作。具体而言，服务器CPU201通过读出存储在(例如)服务器ROM202或服务器记录媒体206中的服务器端渲染处理的操作程序、将读出程序提取到服务器RAM203上，以及执行提取的程序来控制相应块的操作。

服务器ROM202是，例如，可重写的非易失性存储器。服务器ROM202存储信息，所述信息例如，除服务器端的渲染处理以及类似者的操作程序外还有包含在渲染服务器200中的相应块的操作所需的常数。

服务器RAM203是易失性存储器。服务器RAM203不仅用作操作程序的提取区域，而且还用作临时存储中间数据等所需的存储区域，所述中间数据是在包含在渲染服务器200中的相应块的操作期间的输出。

服务器GPU204生成画面(第二画面)，渲染处理的纹理化处理除外的关联于在PC100的显示单元108上将要显示的游戏画面的一些预定处理应用于所述第二画面。服务器VRAM205连接到服务器GPU204。在从服务器CPU201接收渲染指令之后，服务器GPU204接收与所述渲染指令相关的渲染对象并且将其存储在GPU存储器中。当服务器GPU204在连接的服务器VRAM205上执行渲染时，所述服务器GPU204将渲染对象提取到高速缓冲存储器上，并且将提取的渲染对象写在服务器VRAM205中。

在此实施例中，服务器GPU204处置用于施加整体光照的处理，如同用于游戏画面的渲染处理的一些预定处理。服务器GPU204根据接收到摄像头(视角)对应于游戏画面的的位置和方向的信息生成画面，所述信息是确定游戏画面的被渲染内容所需的。此时，服务器GPU204通过将整体光照施加给包含在游戏画面中的渲染对象以在服务器VRAM205上生成第二画面，而无需施加纹理化处理。

服务器记录媒体206是，例如，HDD等记录装置，所述装置可拆卸地连接到渲染服务器200上。在此实施例中，假定服务器记录媒体206记录用于在渲染处理中生成画面的模型数据、光源信息等等。应注意记录在服务器记录媒体206中的模型数据是与记录在PC100的记录媒体106中的那些相同的。

在此实施例中，渲染服务器200从PC100接收指示摄像头对应于游戏画面的位置和方向的信息作为确定被渲染内容所需的信息，如上文所述。也就是说，服务器GPU204必须基于摄像头的位置和方向的信息指定包含在游戏画面中的渲染对象。出于此目的，服务器记录媒体206记录处理程序，所述处理程序指定与PC100中的游戏处理的那些渲染对象相同的渲染对象作为包含在游戏画面中的渲染对象。此处理程序可以与游戏处理的处理程序相同，或者可以是基于摄像头的位置和方向的信息指定包含在游戏画面中的渲染对象和它们的位置/旋转信息的参数等等的程序，然而它不同于游戏处理的程序。

服务器通信单元207是包含在渲染服务器200中的通信接口。在此实施例中，服务器通信单元207与经由网络300连接的另一装置(例如，PC100)交换数据。应注意服务器通信单元207根据如同通信单元107中的通信规范执行数据格式的转换。

<游戏处理>

将参考图4中所示的流程图在下文中实际地描述在具有前述布置的此实施例的渲染系统的PC100中执行的基础游戏处理。对应于此流程图的处理可以在CPU101读出记录在(例如)记录媒体106中的对应的处理程序、提取读出程序到RAM103上，并且执行提取的程序时实施。应注意以下描述将在下述假设下给出：此游戏处理是在(例如)用户输入对应于PC100中的游戏处理的应用的执行指令时开始并且是重复地执行用于游戏的一个帧。

假定在此实施例中，为了简单起见，在PC100执行的游戏内容是例如所谓的FPS(第一人称射击)游戏，其中提供将要操作的角色的第一人称视角作为游戏画面。并且，假定包含在游戏画面中的角色等渲染对象的运动和动作并未生成或者可以根据独特地确定的一段时间等变量来定义。也就是说，在此实施例的PC100中执行的游戏内容可以仅通过指示摄像头对应于游戏画面的位置和方向的信息来规定包含在游戏画面中的渲染对象。也就是说，由PC100的游戏处理规定的游戏画面可以仅使用指示摄像头的位置和方向的信息规定渲染服务器200上的相同画面。

然而，本发明的实施例不限于提供FPS游戏等的第一人称视角的此类游戏画面，并且本发明适用于提供通过渲染处理获得的画面的其他内容。举例来说，当包含在游戏画面中的渲染对象的运动和动作是响应于来自用户的操作输入或随机事件在画面中生成时，界定帧中的渲染对象的运动和动作的参数仅需要作为除了摄像头的位置和方向的确定被渲染内容所需的信息发送到渲染服务器200。或者，来自用户的操作输入可以直接发送到渲染服务器200。

CPU101在步骤S401中确定用户是否进行用于改变规定游戏画面的摄像头的位置和方向的操作输入。具体而言，CPU101通过是否看到从操作输入单元109接收对应于用于改变摄像头的位置和方向的操作输入的控制信号来确定是否进行操作输入。如果CPU101判断作出用于游戏的操作输入，那么所述过程前进到步骤S402；否则的话所述过程前进到步骤S403。

在步骤S402中，CPU101更新指示摄像头的位置和方向的信息(渲染摄像头参数)，该信息是根据存储在(例如)RAM103中的用于改变摄像头的位置和方向的操作输入。

在步骤S403中，CPU101将存储在RAM103中的渲染摄像头参数作为确定被渲染内容所需的信息发送到渲染服务器200。具体而言，CPU101从RAM103读出的渲染摄像头参数，传送读出参数到通信单元107，并且控制通信单元107以将所述参数发送到渲染服务器200。

在步骤S404中，CPU101根据存储在RAM103中的渲染摄像头参数，执行用于渲染与游戏画面相关的第一画面的客户端渲染处理。

(客户端渲染处理)

下文中将参考图5中所示的流程图实际说明在此实施例的PC100中执行的客户端渲染处理。

在步骤S501中，CPU101规定包含在将要渲染的游戏画面中的渲染对象。具体而言，CPU101从RAM103中读出渲染摄像头参数，并且在渲染摄像头参数规定的世界内计算渲染范围的信息。随后，CPU101基于(例如)分布在所述世界中的渲染对象的布局位置的信息规定包含在渲染范围内的渲染对象。

在步骤S502中，CPU101根据由预定渲染顺序确定方法确定的渲染顺序选择将要渲染的渲染对象。CPU101随后将选定的渲染对象的渲染指令传送到GPU104。并且，CPU101读出渲染对象的模型数据(或顶点数据和线连接数据)和纹理数据，以及与来自记录媒体106的渲染对象相关联的位置的参数/旋转信息参数，并且将它们传送到GPU104。假定在此步骤中选择的渲染对象包含背景对象。GPU104存储与GPU存储器中的渲染对象相关联的传送信息。

在步骤S503中，GPU104根据与在CPU101的控制下的选定的渲染对象相关联的位置的参数/旋转信息来移动并且旋转存储在GPU存储器中的模型数据。具体而言，GPU104界定空间坐标，其对应于用于选定的渲染对象的相应顶点的位置/旋转信息的参数。

在步骤S504中，在CPU101的控制下，GPU104使用存储在GPU存储器中的纹理数据以将纹理映射(纹理化处理)施加到在步骤S503中移动并且旋转的模型数据的相应多边形，并且在VRAM105的帧缓冲上渲染所述对象。应注意反射等的照明计算不是针对此客户端渲染处理中的每个将要渲染的渲染对象执行的，并且相应顶点是渲染的，使得它们的亮度值是使用预定的固定值等定义的。

CPU101在步骤S505中确定通过GPU104将包含在渲染范围内的所有渲染对象渲染到VRAM105上是否完成。如果CPU101判断将所有渲染对象渲染到VRAM105上是完成的，那么此客户端渲染处理将结束；否则的话，所述过程返回到步骤S502。

因为客户端渲染处理是以此方式执行的，所以使用纹理化处理生成的第一画面，并且基础光照模型可以无需施加整体光照下获得。举例来说，当球体模型将要渲染时，获得第一画面，如图8A中所示。在图8A的实例中，球体模型是自照明的(以具有针对每个平面的均匀的亮度水平)，并且经历了纹理化处理。

CPU101在步骤S405中确定是否接收到第二画面，所述第二画面是通过施加整体光照而无需施加与游戏画面相关的纹理化处理下生成的。具体而言，CPU101确定通信单元107是否经由网络300从渲染服务器200接收第二画面。如果CPU101判断接收到第二画面，那么所述过程前进到步骤S406；否则的话，此步骤的过程将重复。

应注意此实施例的以下描述将在在下述假设下给出：第一画面和第二画面的生成是在一个帧内执行的。然而，本发明不限于此类具体实施例。举例来说，当第二帧的生成不是在一个帧内完成时，第二画面可以包含识别渲染帧所需的帧识别信息，从而区分通过在步骤S404中执行的客户端渲染处理获得的第一画面以及在此步骤中接收到的第二画面是否是针对相同帧的游戏画面渲染的。在这种情况下，CPU101在步骤S403中发送确定被渲染内容所需的信息并且包含帧识别信息。当渲染服务器200生成第二画面并且将它发送到PC100时，服务器CPU201将帧识别信息与该第二画面关联起来。具体而言，CPU101可以参考与通信单元107接收到的画面相关联的帧识别信息区分接收到的画面是否是针对相同帧的游戏画面渲染的。

在步骤S406中，CPU101通过组合接收到的第二画面和第一画面以在(例如)VRAM105上生成将在显示单元108上显示的最终游戏画面。具体而言，第一画面和第二画面是由(例如)R、G和B组分的图像形成的，并且与最终游戏画面相关联的相应颜色的图像是通过组合在相应颜色的图像的相同像素位置处的像素生成的。应注意每个像素的像素值采用正规化值，并且像素组合可以通过(例如)乘以像素值来执行。

在步骤S407中，CPU101将在步骤S406中生成的最终游戏画面传送到显示单元108，从而在显示屏幕上显示它。

<服务器端渲染处理>

下文将参考图6中所示的流程图实际描述在渲染服务器200中执行的用于渲染与游戏画面相关的第二画面的服务器端渲染处理。对应于此流程图的处理可以在服务器CPU201读出记录在(例如)服务器记录媒体206中的对应的处理程序、提取读出程序到服务器RAM203上，并且执行提取的程序时实施。应注意以下描述将在下述假设下给出：此服务器端渲染处理是当(例如)服务器CPU201检测服务器通信单元207接收渲染摄像头参数作为确定游戏画面的被渲染内容所需的信息时开始。并且，以下描述将在下述假设下给出：服务器CPU201在服务器RAM203中存储由服务器通信单元207接收到的渲染摄像头参数。

在步骤S601中，服务器CPU201规定包含在将要渲染的游戏画面中的渲染对象。具体而言，服务器CPU201从服务器RAM203中读出渲染摄像头参数，并且在渲染摄像头参数规定的世界内计算渲染范围的信息。随后，服务器CPU201基于分布在(如同在PC100中)所述世界中的渲染对象的布局位置的信息规定包含在渲染范围内的渲染对象。

在步骤S602中，服务器CPU201根据由预定渲染顺序确定方法确定的渲染顺序选择将要渲染的渲染对象。随后，服务器CPU201将与渲染对象相关的渲染指令传送到服务器GPU204。并且，服务器CPU201从服务器记录媒体206中读出与渲染对象相关联的模型数据和位置的参数/旋转信息，并且将它们传送到服务器GPU204。服务器GPU204存储与GPU存储器中的渲染对象相关的传送信息。

在步骤S603中，服务器GPU204根据与在服务器CPU201的控制下的选定的渲染对象相关的位置的参数/旋转信息，以移动和旋转存储在GPU存储器中的模型数据，因此定义空间坐标。

在步骤S604中，服务器CPU201确定是否完成包含在渲染范围内的所有渲染对象的空间坐标的定义。如果服务器CPU201判断完成了所有渲染对象的空间坐标的定义，那么所述过程前进到步骤S605；否则的话，所述过程返回到步骤S602。

在步骤S605中，服务器GPU204在服务器CPU201的控制下执行用于施加整体光照的处理。服务器CPU201从服务器记录媒体206中读出指示将应用于渲染范围或其围绕部分的光源的位置、方向和类型的信息(光源信息)，并且传送读出信息到服务器GPU204。在接收光源信息之后，服务器CPU204基于用于渲染定义有空间坐标的对象的光源信息执行与整体光照相关的计算处理(例如，光子映射、热辐射等)。随后，服务器GPU204渲染第二画面，对于第二画面的整体光照被施加在服务器VRAM205上。举例来说，当球体模型将要渲染时，获得第二画面，如图8B中所示。在图8B的实例中，将考虑与方向光相关联的反射映射的照明计算应用于球体模型，然而未应用纹理。应注意图8B示出了一个非常简单的实例，并且可以容易地理解整体光照的应用内容并不限于此实例。

在步骤S606中，服务器CPU201获取通过服务器GPU204渲染的第二画面，将该画面传送到服务器通信单元207，并且控制服务器通信单元207以将它发送到PC100。应注意：在其中游戏画面作为类似于在此实施例中的连续移动图像数据来提供的布置中，将从渲染服务器200发送到PC100的第二画面的格式不限于图像数据格式。具体而言，考虑到将要连续地发送的画面，服务器CPU201可以发送编码的移动图像数据到PC100，所述移动图像数据是通过参考与生成的第二画面相关联的前一帧和下一帧等执行包含帧间预测的编码处理获得的。

如上文所述，此实施例的渲染系统可以共享游戏画面的渲染处理以生成应用有纹理化处理的第一画面以及应用有整体光照的第二画面。也就是说，在渲染处理中需要高计算性能的整体光照被分配给渲染服务器，所述服务器可以设计成具有足够的计算资源，从而提供独立于客户端装置的渲染性能的高质量游戏画面。

应注意：已经在PC100作为客户端装置并且渲染服务器200是经由通信设备连接的条件下说明此实施例。举例来说，当通信断开时，可以跳过组合处理来提供第一画面。或者，取决于PC100和渲染服务器200是否是经由通信设备连接的，可以切换在PC100中将要渲染的第一画面的渲染处理。具体而言，当PC100无法与渲染服务器200通信时，游戏画面是通过根据PC100的渲染性能执行照明计算来渲染和提供的。另一方面，当PC100可与渲染服务器200通信时，PC100并不执行任何照明计算，并将第一画面组合到应用有整体光照的第二画面，因此提供具有高光源再现性的高质量游戏画面。

在这种情况下，举例来说，PC100可通知用户游戏画面的质量是使用图像增强的，所述图像是通过与网络上的渲染服务器200共享渲染处理获得的，方法是在显示单元108上显示此类消息。相反，PC100可通知用户与网络上的渲染服务器200的通信是停用的以跳过游戏画面的质量提高，并且通过仅由PC100执行渲染处理获得的游戏画面是通过在显示单元108上显示此类消息显示的。

是否提供应用整体光照的游戏画面可由用户进行切换。

[第二实施例]

前述实施例已经说明当PC100作为客户端装置管理游戏进展时PC100和渲染服务器200中的渲染处理。此实施例将说明当游戏处理、游戏处理的游戏进展由渲染服务器200管理时相应装置中的渲染处理的执行。

<游戏处理>

首选将描述由此实施例的渲染系统的渲染服务器200执行的基础游戏处理，所述基础游戏处理具有与前述的第一实施例中相同的布置。以下描述将在下述假设下给出：游戏处理的执行是通过服务器CPU201开始(例如，当渲染服务器200开始时)并且此处理是针对游戏的一个帧重复地执行的。

由于在此实施例的渲染服务器200中执行的游戏处理与在前述第一实施例的PC100中执行的游戏处理几乎相同，所以将不会给出所述处理的详细描述，并且将仅说明差异。

在第一实施例的游戏处理中，响应于用户进行的改变摄像头的位置和方向的操作输入(所述操作输入规定了游戏画面)，PC100中的CPU101改变并且更新指示摄像头的位置和方向的渲染摄像头参数。在此实施例中，渲染服务器200中的服务器CPU201改变和更新渲染摄像头参数。出于这个原因，由PC100检测的指示操作输入以改变摄像头的位置和方向的信息是经由通信单元107传送到渲染服务器200的，并且服务器CPU201基于指示操作输入的信息改变和更新渲染摄像头参数。

在确定渲染摄像头参数之后，服务器CPU201经由服务器通信单元207将渲染摄像头参数传送到PC100。此时，当CPU101检测通信单元107接收渲染摄像头参数时，执行客户端渲染处理(稍后描述)。并且，在确定渲染摄像头参数之后，服务器CPU201使用这些参数执行与第一实施例中相同的服务器端渲染处理，因此完成与一个帧相关的游戏处理。

<客户端渲染处理>

下文中将参考图7中所示的流程图实际描述在此实施例的PC100中执行的客户端渲染处理。应注意以下描述将在下述假设下给出：此客户端渲染处理是在CPU101检测通信单元107接收渲染摄像头参数时开始的，如上文所述。在此实施例的客户端渲染处理中，相同的步骤编号指代执行与前述第一实施例中的那些相同的处理，并且将不再重复其描述。将仅描述此实施例的特征处理。

在步骤S504中对渲染对象进行渲染之后，CPU101在步骤S701中确定通过GPU104在VRAM105上对包含在渲染范围中的所有渲染对象进行的渲染是否完成。如果CPU101判断在VRAM105上所有渲染对象进行的渲染是完成的，那么所述过程前进到步骤S702；否则的话，所述过程返回到步骤S502。

CPU101在步骤S702中确定是否接收到第二画面，所述第二画面是通过施加整体光照而无需施加与游戏画面相关的纹理化处理生成的。具体而言，CPU101确定通信单元107是否经由网络300从渲染服务器200接收第二画面。如果CPU101判断接收到第二画面，那么所述过程前进到步骤S703；否则的话，此步骤的过程将重复。

在步骤S703中，CPU101通过组合接收到的第二画面和第一画面在(例如)VRAM105上生成将在显示单元108上显示的最终游戏画面。具体而言，第一画面和第二画面是由(例如)R、G和B组分的图像形成的，并且与最终游戏画面相关联的相应颜色的图像是通过组合在相应颜色的图像的相同像素位置处的像素生成的。

在步骤S704中，CPU101将在步骤S703中生成的最终游戏画面传送到显示单元108，从而在显示屏幕上显示它。

以此方式，甚至当游戏进展管理是在如同在网络游戏中的服务器端上执行时，本发明可以应用于有效地分配渲染处理，并且所述客户端装置可为用户提供应用有整体光照的高质量游戏画面。

应注意当服务器如同在此实施例中管理游戏进展时，可以提供以下优势。举例来说，当服务器将游戏画面同时提供给多个客户端装置时，服务器上的渲染处理的计算负载在(例如)需要快速响应能力的游戏内容中变得繁重。也就是说，服务器可提供画面的客户端装置的数目取决于其渲染性能和所需的响应能力是有限的。相比之下，当控制每个客户端装置以执行可通过一般渲染性能执行的处理从而在服务器与客户端装置之间共享渲染处理时，画面可提供给更多客户端装置。并且，一般而言，无需施加纹理映射渲染的游戏画面具有较高的压缩效率，并且可经由因特网等网络用较小带宽发送。

在第一实施例和第二实施例中，已经将渲染处理的一些预定处理描述为与纹理化处理相比需要较繁重的计算负载以及较高计算性能的整体光照的应用处理。然而，本发明不限于此类具体实施例。本发明生成与当一个装置通过组合与一个画面相关的多个图像执行渲染处理时获得的画面相同的画面，所述画面的生成是通过多个装置执行作为针对这些装置之间的一个画面的共享渲染处理的结果。也就是说，本发明适用于希望的画面是通过简单处理通过组合从多个装置中获得的图像而获得的情况，作为通过多个装置相共享与一个画面相关的渲染处理的结果。举例来说，用于生成可额外叠加在第一画面上的图像的处理(第二处理：例如，照明计算(阴影处理)、产生效果的渲染对象的叠加等等)可通过不同于渲染第一画面的装置的装置来共享和执行，在所述第一画面上应用至少纹理化处理(第一处理)的渲染对象得到渲染。

应注意前述实施例已经说明使用基础光照模型的渲染处理是由客户端装置执行的情况。并且，本发明适用于使用着色器架构作为用于现有游戏控制台的流行的渲染方法的渲染处理。使用基础着色器架构的渲染处理通常包含顶点着色器、几何着色器以及像素着色器。在这些着色器中，可以将对已经经历纹理映射的渲染对象进行渲染的最低限度地需要的顶点着色器和几何着色器分配给客户端装置，并且可以将施加包含凹凸映射以及反射映射的效果的像素着色器分配给渲染服务器。

此实施例已经仅说明了渲染处理是由两个装置共享和执行的情况。然而，本发明不限于此类具体实施例。可以容易地理解本发明是适用于一个画面是通过将渲染处理共享给两个或两个以上装置生成的情况。应注意在这种情况下，渲染处理是共享的，因此可通过简单地组合图像生成作为相应装置的渲染处理的结果的一个最终画面。

本发明优选地应用于其中渲染处理通过每当生成一个画面时执行计算处理来执行的情况，如同在二维图像上渲染三维场景的渲染处理中，如在上述实施例中描述。然而，本发明不限于此类具体实施例。举例来说，如同用于静态图像，渲染服务器可分析静态图像并且可发送亮度校正滤波作为图像，并且客户端装置可复合静态图像和滤波。

如上文所述，本发明的渲染系统允许多个装置共享并且有效地执行与一个画面相关的渲染处理。具体而言，渲染系统允许多个装置共享并且执行在显示装置上将要显示的画面的渲染处理。多个装置中的一个装置发送确定将要显示的画面的被渲染内容所需的信息到该一个装置除外的所述多个装置中的相应装置。所述一个装置根据确定被渲染内容所需的信息通过执行包含将要显示的画面的渲染处理的第一处理的一些处理生成第一画面。另一方面，在从所述一个装置接收确定被渲染内容所需的信息之后，所述一个装置除外的每个装置根据接收到的信息通过执行将要显示的画面的渲染处理的一些处理生成第二画面，并且发送生成的画面到所述一个装置，所述一些处理并不包含第一处理但是包含不同于第一处理的第二处理。随后，所述一个装置接收分别由所述一个装置除外的装置生成的第二画面，并且通过组合第一画面和第二画面生成将要显示的画面。

以此方式，其他装置可以共享和执行与一个画面相关的渲染处理，并且共享的渲染处理的效果可以容易地由组合处理来应用。因此，举例来说，可以独立于客户端装置的渲染性能提供丰富的游戏画面。

其他实施例

虽然已经参考示例性实施例描述了本发明，但是应理解本发明并不局限于所揭示的示例性实施例。所附权利要求书的范围应被赋予最广义的解释，以便涵盖所有此类修改以及等效的结构和功能。

本申请案主张2011年11月7日递交的第61/556,544号美国专利临时申请案以及2011年12月16日递交的第2011-276107号日本专利申请案的权益，上述申请案以引用的方式全文并入本文中。

Claims

1.一种渲染系统，所述渲染系统允许多个装置共享并且执行对于将要显示在显示构件上的画面的渲染处理，

所述多个装置的一个装置包括：

发送构件，其用于将确定所述将要显示的画面的被渲染内容所需的信息发送到所述多个装置的所述一个装置除外的相应装置；

第一渲染构件，其用于根据确定所述被渲染内容所需的所述信息通过执行一些处理以生成第一画面，所述一些处理包含对所述将要显示的画面进行的所述渲染处理的第一处理；

画面接收构件，其用于接收第二画面，所述第二画面是由所述一个装置除外的所述相应装置生成的并且对应于所述被渲染内容；以及

组合构件，其用于通过组合由所述第一渲染构件生成的所述第一画面及由所述画面接收构件接收到的所述第二画面，以生成所述将要显示的画面，并且

所述一个装置除外的所述装置中的每一个，包括：

接收构件，其用于从所述一个装置接收确定所述被渲染内容所需的所述信息；

第二渲染构件，其用于根据确定所述被渲染内容所需的所述信息通过执行对所述将要显示的画面进行的所述渲染处理的一些处理以生成所述第二画面，所述一些处理并不包含所述第一处理但是包含不同于所述第一处理的第二处理，所述信息是所述接收构件接收到的；以及

画面发送构件，其用于将所述第二渲染构件生成的所述第二画面发送到所述一个装置。

2.一种渲染系统，其允许第一装置和第二装置共享并且执行对于将要在显示构件上显示的画面的渲染处理，

所述第一装置包括：

接收构件，其用于从所述第二装置接收确定所述将要显示的画面的被渲染内容所需的信息；

第一渲染构件，其用于根据确定所述被渲染内容所需的所述信息通过执行一些处理以生成第一画面，所述一些处理包含对所述将要显示的画面进行的所述渲染处理的第一处理，所述信息是所述接收构件接收到的；

画面接收构件，其用于接收第二画面，所述第二画面是由所述第二装置生成的并且对应于所述被渲染内容；以及

组合构件，其用于通过组合由所述第一渲染构件生成的所述第一画面以及由所述画面接收构件接收到的所述第二画面，以生成所述将要显示的画面，并且

所述第二装置包括：

发送构件，其用于将确定所述被渲染内容所需的信息发送到所述第一装置；

第二渲染构件，其用于根据确定所述被渲染内容所需的所述信息通过执行对所述将要显示的画面进行的所述渲染处理的一些处理以生成所述第二画面，所述一些处理并不包含所述第一处理但是包含不同于所述第一处理的第二处理；以及

画面发送构件，其用于将所述第二渲染构件生成的所述第二画面发送到所述第一装置。

3.根据权利要求1或2所述的系统，其中所述将要显示的画面的所述渲染处理是用于将三维场景渲染为二维图像的处理，并且所述第一画面和所述第二画面包含通过执行与同一所述三维场景相关联的不同处理获得的二维图像。

4.根据权利要求1到3中任一权利要求所述的系统，其中所述第二处理与所述第一处理相比是具有较繁重的计算负载的处理。

5.根据权利要求1到4中任一权利要求所述的系统，其中所述第一处理是用于将纹理施加到包含在所述将要显示的画面中的渲染对象的处理。

6.根据权利要求1到5中任一权利要求所述的系统，其中所述第二处理是包含用于包含在所述将要显示的画面中的渲染对象的照明计算的处理。

7.根据权利要求1到6中任一权利要求所述的系统，其中确定所述被渲染内容所需的所述信息是指示出界定所述将要显示的画面所需的摄像头的位置和方向的信息。

8.根据权利要求1到7中任一权利要求所述的系统，其中所述第一画面和所述第二画面是由R组分、G组分和B组分的图像形成的，并且

所述组合构件通过组合用于对应的颜色组分的图像的像素值，以生成所述将要显示的画面的R组分、G组分和B组分的所述图像。

9.根据权利要求1到8中任一权利要求所述的系统，其中当所述画面接收构件未能接收所述第二画面时，所述组合构件输出所述第一画面作为所述将要显示的画面。

10.一种渲染系统，其允许多个装置共享并且执行对于将要显示在显示构件上的画面的渲染处理，

在显示在所述显示单元上的用户介面上，所述渲染系统包含：

普通画面通知字段，其指示由所述多个装置的一个装置通过执行包含第一处理的一些处理生成的第一画面是显示作为所述将要显示的画面；以及

扩展画面通知字段，其指示通过组合所述第一画面和第二画面获得的画面是显示作为所述将要显示的画面，所述第二画面是由所述多个装置的所述一个装置除外的装置通过执行一些处理生成的，所述一些处理并不包含所述第一处理但是包含不同于所述第一处理的第二处理。

11.一种渲染服务器，其处置对在显示构件上将要显示的画面进行渲染处理的一些处理，所述显示构件连接到客户端装置，所述服务器包括：

渲染构件，其用于根据确定所述将要显示的画面的被渲染内容所需的所述信息通过执行一些处理以生成将要提供的画面，所述一些处理包含对所述将要显示的画面进行的所述渲染处理的预定处理；以及

发送构件，其用于将所述渲染构件生成的所述将要提供的画面发送到所述客户端装置。

12.根据权利要求11所述的服务器，其中所述渲染构件生成所述将要提供的画面而无需将纹理化处理施加到包含在所述将要显示的画面中的渲染对象。

13.根据权利要求11或12所述的服务器，其中确定所述被渲染内容所需的所述信息是指示出界定所述将要显示的画面所需的摄像头的位置和方向的信息。

14.一种渲染服务器的控制方法，所述渲染服务器处置对在显示构件上将要显示的画面进行渲染处理的一些处理，所述显示构件连接到客户端装置，所述方法包括：

控制所述渲染服务器的渲染构件的渲染步骤，根据确定所述将要显示的画面的被渲染内容所需的信息通过执行一些处理以生成将要提供的画面，所述一些处理包含对所述将要显示的画面进行的所述渲染处理的预定处理；以及

控制所述渲染服务器的发送构件的发送步骤，以将在所述渲染步骤中生成的所述将要提供的画面发送到所述客户端装置。

15.一种程序，其用于控制计算机以充当权利要求11到13中任一权利要求所述的渲染服务器的相应构件。

16.一种程序，其用于控制显示构件连接到其上的计算机以充当：

发送构件，其用于将确定在所述显示构件上将要显示的画面的被渲染内容所需的信息发送到渲染服务器；

渲染构件，其用于根据确定所述被渲染内容所需的所述信息通过执行一些处理以生成第一画面，所述一些处理不同于包含对所述将要显示的画面进行渲染处理的第一处理的一些处理；

画面接收构件，其用于接收第二画面，所述第二画面是由所述渲染服务器生成的并且对应于所述被渲染内容；

组合构件，其用于通过组合由所述渲染构件生成的所述第一画面及由所述画面接收构件接收到的所述第二画面，以生成所述将要显示的画面，以及

用于在所述显示构件上显示由所述组合构件生成的所述将要显示的画面的构件。

17.一种计算机可读的记录媒体，其记录权利要求16所述的程序。