CN112567756B - 图像生成装置，图像生成方法以及存储介质 - Google Patents

Abstract

提供了图像生成设备、图像生成方法和程序，利用其有可能生成清楚地表示二维对象的图像，该二维对象表示将要提供给在递送目的地的观看者并且表示游戏玩打状态的信息。图像获取单元(162)获取表示至少游戏玩打状态的游戏图像，该游戏玩打状态关于当从布置在虚拟三维空间中的视角看时布置在虚拟三维空间中的虚拟三维对象，该游戏图像表示在显示器上显示的内容。图像获取单元(162)获取要递送的二维图像，其中表示要递送的二维对象并且具有与要递送的图像的分辨率相同的分辨率。调整尺寸单元(164)通过调整游戏图像的尺寸以便具有要递送的二维图像的分辨率来生成调整尺寸后的游戏图像。图像生成单元(166)生成其中将调整尺寸后的游戏图像与要递送的二维图像彼此叠加的图像。

Description

图像生成装置，图像生成方法以及存储介质

技术领域

本发明涉及图像生成装置、图像生成方法和程序。

背景技术

近年来，描绘游戏的玩打状态(play status)的图像(通常是通过互联网)的递送有所增加，其中从虚拟三维空间中的视角查看放置在虚拟三维空间中的虚拟三维对象。

发明内容

[技术问题]

生成上面提到的图像要求例如以预定的帧速率执行诸如射线广播(raycasting)之类的高负荷过程。因此，图像的分辨率受到执行游戏程序的娱乐装置的处理能力的限制。例如，如果游戏玩家观看的显示设备能够显示高分辨率图像，那么期望要显示的图像的分辨率尽可能高。

一般而言，因此，设置上面提到的图像的分辨率要求考虑执行感兴趣的游戏程序的娱乐装置的处理能力以及游戏玩家所观看的显示设备的规格。这意味着图像的分辨率可能适合也可能不适合递送。但是，为了递送目的而单独生成图像要求更多的资源来生成图像并且是不现实的。

因此，出于递送的目的，可以优选地在递送之前调整用于玩家的图像的尺寸作为上面提到的图像。

在此，如果在递送上面提到的图像时该图像上覆盖有二维对象(诸如表示要提供给递送目的地处的观看观众的信息的字母、图片或符号)，那么收视率有望进一步提高。

但是，调整覆盖有二维对象的图像的尺寸可能使叠加在图像上的二维对象模糊。例如，减小覆盖有二维对象的图像的尺寸可能使二维对象难以辨认。另一方面，放大其上叠加了二维对象的图像可能使二维对象模糊。

鉴于以上情况而做出了本发明。因此，本发明的一个目的是提供用于生成指示游戏的玩打状态的图像的图像生成装置、图像生成方法和程序，其中明确地表达了表示将要提供给递送目的地处的观看观众的信息的二维对象。

[问题的解决方案]

为了解决上述问题，并且根据本发明，提供了一种图像生成装置，其包括：游戏图像获取部分，被配置为获取指示要在显示设备上显示的内容的游戏图像，游戏图像至少表示其中从虚拟三维空间中的视角观看放置在虚拟三维空间中的虚拟三维对象的游戏的玩打状态；递送目标二维图像获取部分，被配置为获取指示目标为递送的二维对象的递送目标二维图像，递送目标二维图像具有与要递送的图像的分辨率相同的分辨率；游戏图像尺寸调整部分，被配置为将游戏图像的尺寸调整为递送目标二维图像的分辨率，以生成调整尺寸后的游戏图像；以及递送图像生成部分，被配置为生成组合调整尺寸后的游戏图像与递送目标二维图像的图像。

本发明的上述实施例还包括：三维空间图像获取部分，被配置为获取指示游戏的玩打状态的三维空间图像；显示目标二维图像获取部分，被配置为获取指示目标为在显示设备上显示的二维对象的显示目标二维图像，显示目标二维图像具有与要在显示设备上显示的图像的分辨率相同的分辨率；三维空间图像尺寸调整部分，被配置为将三维空间图像的尺寸调整为显示目标二维图像的分辨率，以生成调整尺寸后的三维空间图像；以及游戏图像生成部分，被配置为通过组合调整尺寸后的三维空间图像与显示目标二维图像来生成游戏图像。

该实施例还可以包括：第一帧缓冲器，被配置为存储三维空间图像；第二帧缓冲器，被配置为存储显示目标二维图像；以及第三帧缓冲器，被配置为存储递送目标二维图像。

本发明的另一个实施例还包括：显示目标二维图像获取部分，被配置为获取指示目标为在显示设备上显示的二维对象的显示目标二维图像，显示目标二维图像具有与要在显示设备上显示的图像的分辨率相同的分辨率。游戏图像尺寸调整部分将游戏图像的尺寸调整为递送目标二维图像的分辨率，以生成第一调整尺寸后的游戏图像。游戏图像尺寸调整部分将游戏图像的尺寸调整为显示目标二维图像的分辨率，以生成第二调整尺寸后的游戏图像。递送图像生成部分生成组合第一调整尺寸后的游戏图像与递送目标二维图像的图像。在本实施例中还包括：显示图像生成部分，其生成组合第二调整尺寸后的游戏图像与显示目标二维图像的图像。

上述实施例还可以包括：第一帧缓冲器，被配置为存储游戏图像；第二帧缓冲器，被配置为存储显示目标二维图像；以及第三帧缓冲器，被配置为存储递送目标二维图像。

在上述实施例中，二维对象是字母、图画图形或符号。

而且根据本发明，提供了一种图像生成方法，该方法包括以下步骤：获取指示要在显示设备上显示的内容的游戏图像，游戏图像至少表示其中从虚拟三维空间中的视角观看放置在虚拟三维空间中的虚拟三维对象的游戏的玩打状态；获取指示目标为递送的二维对象的递送目标二维图像，递送目标二维图像具有与要递送的图像的分辨率相同的分辨率；将游戏图像的尺寸调整为递送目标二维图像的分辨率，以生成调整尺寸后的游戏图像；以及生成组合调整尺寸后的游戏图像与递送目标二维图像的图像。

而且根据本发明，提供了一种程序，该程序用于使计算机执行过程，包括：获取指示要在显示设备上显示的内容的游戏图像，游戏图像至少表示其中从虚拟三维空间中的视角观看放置在虚拟三维空间中的虚拟三维对象的游戏的玩打状态；获取指示目标为递送的二维对象的递送目标二维图像，递送目标二维图像具有与要递送的图像的分辨率相同的分辨率；将游戏图像的尺寸调整为递送目标二维图像的分辨率，以生成调整尺寸后的游戏图像；以及生成组合调整尺寸后的游戏图像与递送目标二维图像的图像。

附图说明

图1是描绘与本发明的一个实施例相关的典型计算机网络的视图。

图2是描绘与本发明的实施例相关的娱乐系统的典型配置的视图。

图3A是描绘与本发明的实施例相关的HMD(头戴式显示器)的典型配置的视图。

图3B是描绘与本发明的实施例相关的娱乐装置的典型配置的视图。

图4是描绘典型玩家图像的视图。

图5是描绘典型观看观众图像的视图。

图6是解释生成玩家图像和观看观众图像的示例的解释图。

图7是解释生成玩家图像和观看观众图像的另一个示例的解释图。

图8是解释生成玩家图像、观看观众图像和HMD图像的示例的解释图。

图9是解释生成玩家图像、观看观众图像和HMD图像的另一个示例的解释图。

图10是描绘与本发明的实施例相关的娱乐装置的典型功能的功能框图。

图11是描绘由与本发明的实施例相关的娱乐装置执行的过程的典型流程的流程图。

图12是描绘由与本发明的实施例相关的娱乐装置执行的另一个过程的典型流程的流程图。

图13是描绘由与本发明的实施例相关的娱乐装置执行的另一个过程的典型流程的流程图。

图14是描绘由与本发明的实施例相关的娱乐装置执行的另一个过程的典型流程的流程图。

具体实施方式

下面参考附图描述本发明的一个优选实施例。

图1是描绘与本发明的一个实施例相关的计算机网络11的示例的视图。图2是描绘与本发明的实施例相关的娱乐系统10的典型配置的视图。图3A是描绘与本发明的实施例相关的HMD 12的典型配置的视图。图3B是描绘与本发明的实施例相关的娱乐装置14的典型配置的视图。

如图1中所描绘的，在本实施例中，多个娱乐系统10(图1的示例中的娱乐系统10a和10b)连接到计算机网络11，诸如互联网。因此，娱乐系统10a和10b可以经由计算机网络11彼此通信。

如图2中所描绘的，与本实施例相关的每个娱乐系统10包括HMD 12、娱乐装置14、重复装置16、显示设备18、相机/麦克风单元20和控制器22。

例如，如图3A中所描绘的，与本实施例相关的HMD 12包括处理器30、存储部分32、通信部分34、输入/输出部分36、显示部分38、传感器部分40和音频输出部分42。

处理器30是程序控制的设备，诸如微处理器，其根据例如安装在HMD 12中的程序进行操作。

存储部分32是例如诸如ROM(只读存储器)或RAM(随机存取存储器)之类的存储元件。除其它之外，存储部分32尤其存储由处理器30执行的程序等。

例如，通信部分34是通信接口，诸如无线LAN(局域网)模块。

输入/输出部分36是输入/输出端口，诸如HDMI(高清晰度多媒体接口；注册商标)端口、USB(通用串行总线)端口，和/或AUX(辅助)端口。

显示部分38部署在HMD 12的前侧。例如，显示部分38是显示设备，诸如液晶显示器或有机EL(电致发光)显示器，其显示由娱乐装置14生成的视频。显示部分38容纳在HMD 12的外壳中。优选地，显示部分38可以例如接收由娱乐装置14输出并由重复装置16重复的视频信号，并输出由接收到的视频信号表示的视频。与本实施例相关的显示部分38被布置为例如通过呈现右眼图像和左眼图像来显示三维图像。可替代地，显示部分38可以仅显示二维图像而没有用于呈现三维图像的布置。

传感器部分40包括例如传感器，诸如加速度传感器和运动传感器。传感器部40以预定帧速率将指示诸如HMD 12的旋转量和移动量之类的测量的运动数据输出到处理器30。

通常由耳机或扬声器构成的音频输出部分42输出由娱乐装置14生成的音频数据表示的声音。音频输出部分42接收例如由娱乐装置14输出并由重复装置16重复的音频信号，并且输出由接收到的音频信号表示的声音。

例如，与本实施例相关的娱乐装置14是例如计算机，诸如游戏控制台、DVD(数字多功能光盘)播放器或蓝光(注册商标)播放器。与本实施例相关的娱乐装置14通过执行游戏程序或通过再现内容来生成视频和声音，例如，游戏程序和内容被内部存储或记录在光盘上。另外，与本实施例相关的娱乐装置14经由重复装置16将指示要生成的视频的视频信号和表示要生成的声音的音频信号输出到HMD 12和显示设备18。

例如，如图3B中所描绘的，与本实施例相关的娱乐装置14包括处理器50、存储部分52、通信部分54和输入/输出部分56。

例如，处理器50是程序控制的设备，诸如根据娱乐装置14中安装的程序进行操作的CPU(中央处理单元)。与本实施例相关的处理器50还包括GPU(图形处理单元)，其基于从CPU供应的图形命令和数据在帧缓冲器中渲染图像。

存储部分52是例如存储元件，诸如ROM或RAM，或硬盘驱动器。初其它之外，存储部分52存储由处理器50执行的程序。另外，与本实施例相关的存储部分52具有被分配为由GPU在其中渲染图像的帧缓冲器的区域。

通信部分54是例如通信接口，诸如无线LAN模块。

输入/输出部分56是输入/输出端口，诸如HDMI(注册商标)端口或USB端口。

与本实施例相关的重复装置16是计算机，其重复从娱乐装置14输出的视频和音频信号并且将重复的视频和音频信号输出到HMD 12和显示设备18。

与本实施例相关的显示设备18是例如显示部分，诸如液晶显示器，其显示由从娱乐装置14输出的视频信号表示的视频。

与本实施例相关的相机/麦克风单元20包括相机20a，其捕获被摄体的图像并将捕获的图像输出到娱乐装置14；以及麦克风20b，其获取环境声音，并将获取的声音转换成音频数据，并将该音频数据输出到娱乐装置14。另外，与本实施例相关的相机20构成立体相机。

HMD 12和重复装置16能够例如以有线或无线方式彼此交换数据。娱乐装置14和重复装置16例如通过HDMI电缆或通过USB电缆互连，并且能够彼此交换数据。重复装置16和显示设备18例如通过HDMI电缆互连。娱乐装置14和相机/麦克风单元20例如通过AUX电缆互连。

与本实施例相关的控制器22是操作输入装置，在其上对娱乐装置14执行操作输入。使用控制器22，用户可以通过按下箭头键或按钮或通过倾斜控制器22上的操作杆来执行各种操作输入。在本实施例中，控制器21将与操作输入对应的输入数据输出到娱乐装置14。而且，与本实施例相关的控制器22包括USB端口。当通过USB电缆与娱乐装置14连接时，控制器22可以以有线方式将输入数据输出到娱乐装置14。与本实施例相关的控制器22还包括能够将输入数据无线地输出到娱乐装置14的无线通信模块或类似布置。

在本实施例中，例如，通过由娱乐系统10a中包括的娱乐装置14a执行的游戏程序来生成表示游戏的玩打状态的视频。该视频显示在游戏玩家观看的显示设备18a上。在将视频与二维对象(例如，要递送的字母、图画图形或符号)重叠之前，将视频的尺寸调整为适合递送的分辨率。目标为递送的覆盖有二维对象的视频通过计算机网络11经由娱乐装置14a的通信部分54a递送给娱乐系统10b。因此，视频被显示在娱乐系统10b中包括的显示设备18b上。在下面的描述中，显示在显示设备18a上的视频将被称为玩家视频，并且显示在显示设备18b上的视频将被称为观看观众视频。

图4是描绘典型玩家图像60的视图，该图像是玩家视频中包括的帧图像。图5是描绘典型观看观众图像62的视图，该图像是包括在观看观众视频中的帧图像。如上所述，在本实施例中，图4中所描绘的玩家图像60和图5中所描绘的观看观众图像62具有不同的分辨率。

图4中的玩家图像60包括表示游戏角色的角色信息64a和角色信息64b。而且，玩家图像60包括指示游戏角色的状态的状态信息66a和状态信息66b，诸如他们的名字、等级和生命。例如，状态信息66a表示由角色信息64a指示的游戏角色的状态。例如，状态信息66b表示由角色信息64b指示的游戏角色的状态。

另一方面，除了角色信息64a、角色信息64b、状态信息66a和状态信息66b之外，图5中所描绘的观看观众图像62还包括命令历史信息68a和命令历史信息68b。例如，命令历史信息68a指示通过玩家操作由角色信息64a表示的游戏角色而输入的命令的历史。例如，命令历史信息68b指示通过玩家操作由角色信息64b表示的游戏角色输入的命令的历史。

如上所述，利用本实施例，玩家图像60的一些内容与观看观众图像62的内容相同，并且玩家图像60的一些内容与观看观众图像62的内容不同。

下面更详细地解释如何生成玩家图像60和观看观众图像62。

图6是解释利用本实施例生成玩家图像60和观看观众图像62的示例的解释图。如图6中所描绘的，在本实施例中，在娱乐装置14a的存储部分52a中分配了四个帧缓冲器70(70a、70b、70c和70d)。优选地，四个帧缓冲器70中的每一个可以用例如诸如双缓冲或三缓冲之类的技术来实现。

在帧缓冲器70a中，以预定的帧速率渲染指示系统相关信息的帧图像，该图像是通过执行诸如不同于游戏程序的操作系统之类的系统程序来生成的。在此，可以在帧缓冲器70a中渲染指示诸如字母、图画图形或符号之类的二维对象的帧图像。

在帧缓冲器70b中，例如，以预定的帧速率渲染指示游戏的玩打状态的帧图像。优选地，在此可以在帧缓冲器70b中渲染指示游戏的玩打状态的帧图像，例如，游戏是其中从虚拟三维空间中的视角观看表示虚拟三维空间中的游戏角色的虚拟三维对象的游戏。在图4和5的示例中，指示字符信息64a和字符信息64b的帧图像与在帧缓冲器70b中渲染的图像对应。

在帧缓冲器70c中，例如，以预定的帧速率渲染指示关于游戏的用户界面的信息的帧图像。优选地，在此，例如可以在帧缓冲器70c中渲染指示关于游戏的用户界面的信息的帧图像，诸如关于游戏的输入操作的解释和关于游戏角色的状态信息。在此，可以在帧缓冲器70c中渲染指示诸如字母、图画图形或符号之类的二维对象的帧图像。在图4和5的示例中，指示状态信息66a和状态信息66b的帧图像与在帧缓冲器70c中渲染的图像对应。

在帧缓冲器70d中，例如，渲染表示要提供给观看游戏的玩打状态的观众的信息的图像。该信息不提供给游戏玩家。在此，可以在帧缓冲器70d中渲染指示诸如字母、图画图形或符号之类的二维对象的帧图像。在图5的示例中，指示命令历史信息68a和命令历史信息68b的帧图像与在帧缓冲器70d中渲染的图像对应。

在图6的示例中，如上所述，在帧缓冲器70a中渲染通过系统程序的执行而生成的图像。另外，在帧缓冲器70b、70c和70d中渲染通过游戏程序的执行而生成的图像。

在此，在本实施例中，在帧缓冲器70a至70d中渲染的帧图像可以具有相同的分辨率或不同的分辨率。在随后的描述中，假设例如在帧缓冲器70a和70c中渲染的帧图像具有与最高分辨率的近似相同的分辨率、在帧缓冲器70d中渲染的帧图像具有次高的分辨率，并且在帧缓冲器70b中渲染的帧图像具有最低的分辨率。

例如，为了生成指示游戏的玩打状态的帧图像，其中从虚拟三维空间中的视角观看位于虚拟三维空间中的虚拟三维对象，需要以预定的帧速率执行高负载过程(诸如射线广播)。因此，该帧图像的分辨率受到执行游戏程序的娱乐装置14的处理能力的限制。因为游戏的玩打状态常常用图形表示，因此很有可能游戏玩打状态的略微模糊的表达是可接受的。考虑到这一点，在下面的描述中假设在帧缓冲器70b中渲染的帧图像具有最低的分辨率，如上所述。

优选地，可以将在帧缓冲器70b中渲染的帧图像的分辨率设置为随着游戏的玩打状态而变化。例如，在生成经受高渲染负载的图像时，那个图像的分辨率可以降低。

低分辨率可能使二维对象(诸如放置在帧图像中的字母、图画图形或符号)变得模糊。于是，用户可能难以理解那个图像的内容。考虑到这一点，设置在帧缓冲器70c或70d中渲染的帧图像的分辨率高于在帧缓冲器70b中渲染的帧图像的分辨率。

而且，在随后的描述中，假设所递送的视频的分辨率被设置为低于在显示设备18a上显示的视频的分辨率。因此，如上所述，将在帧缓冲器70d中渲染的帧图像的分辨率设置为低于在帧缓冲器70c中渲染的帧图像的分辨率。

在图6的示例中，图像78由合成器76生成，合成器76组合存储在帧缓冲器70b中的图像72与存储在帧缓冲器70c中的图像74。在此，例如，合成器76将图像72的尺寸调整为图像74的分辨率。在这种情况下，图像72被放大。因此，合成器76生成组合图像74与调整尺寸后的图像72的图像78。图像78指示图像72和图像74两者的内容。

在另一个示例中，图像84由合成器82生成，合成器82组合图像78与存储在帧缓冲器70d中的图像80。在此，例如，合成器82将图像78的尺寸调整为图像80的分辨率。在这种情况下，图像78的尺寸减小。因此，合成器82生成组合图像80与调整尺寸后的图像78的图像84。图像84指示图像78和图像80两者的内容。

在另一个示例中，图像90由合成器88生成，合成器88组合图像78与存储在帧缓冲器70a中的图像86。在此，例如，合成器88生成组合图像78与图像86的图像90。图像90指示图像78和图像86两者的内容。在这种情况下，例如，假设图像90的分辨率与在帧缓冲器70c中渲染的图像74的分辨率相同。

在另一个示例中，图像94由合成器92生成，合成器92组合图像84与存储在帧缓冲器70a中的图像86。在此，例如，合成器92将图像86的尺寸调整为图像84的分辨率。在这种情况下，图像86的尺寸减小。因此，合成器92生成组合图像84与调整尺寸后的图像86的图像94。图像94指示图像84和图像86两者的内容。在此，假设图像94的分辨率与在帧缓冲器70d中渲染的图像80的分辨率相同。

然后，图像90作为玩家图像60被显示在显示设备18a上。图像94作为观众观看图像62经由通信部分54a被传输到娱乐系统10b，图像94被显示在由目的地处的观众观看的显示设备18b上。

调整覆盖有二维对象的图像的尺寸可能使图像中的二维对象不清楚。例如，减小其上叠加有二维对象的图像会弄脏(smudge)图像中的二维对象。另外，放大覆盖有二维对象的图像可以使图像中的二维对象模糊。在图6的示例中，如上所述，当放置在图像94中时，帧缓冲器70d中渲染的图像80的内容既不放大也不缩小。因此，在图6的示例中，有可能生成指示游戏的玩打状态的图像，该图像清楚地表达了表示要在递送目的地处提供给观看观众的信息的二维对象。

在另一个示例中，命令历史信息68a和命令历史信息68b推测用作计划稍后玩游戏的观众的相当有用参考。因此，出现在观众观看的视频中的这种命令历史的显示对于观看观众来说是有用的。另一方面，命令历史对于实际输入命令的玩家不是很有意义。实际上，玩家可能会被玩家观看的玩家视频中指示的命令历史所困扰。

在图6的示例中，如上所述，命令历史信息68a和命令历史信息68b可以被控制为显示在观看观众图像62中而不出现在玩家图像60中。因此，在图6的示例中，在向观看观众提供命令历史信息68a和命令历史信息68b的同时，玩家可以玩游戏而不会被命令历史信息68a或68b分散注意力。

图7是解释利用本实施例生成玩家图像60和观看观众图像62的另一个示例的解释图。

在图7的示例中，在帧缓冲器70a至70d中渲染的帧图像与在图6的示例中在帧缓冲器70a至70d中渲染的帧图像相似，因此将不进一步讨论。

在图7的示例中，例如，图像102由合成器100生成，合成器100组合存储在帧缓冲器70b中的图像96与存储在帧缓冲器70c中的图像98。在此，例如，合成器100将图像96的尺寸调整为图像98的分辨率。在这种情况下，图像96被放大。因此，合成器100生成组合图像98与调整尺寸后的图像96的图像102。图像102指示图像96和图像98两者的内容。

在另一个示例中，图像108由合成器106生成，合成器106组合存储在帧缓冲器70b中的图像96与存储在帧缓冲器70d中的图像104。在此，例如，合成器106将图像96的尺寸调整为图像104的分辨率。在这种情况下，图像96被放大。因此，合成器106生成组合104与调整尺寸后的图像96的图像108。图像108指示图像96和图像104两者的内容。

在另一个示例中，图像114由合成器112生成，合成器112组合图像102与存储在帧缓冲器70a中的图像110。在此，例如，合成器112生成组合图像102与图像110的图像114。图像114指示图像102和图像110两者的内容。例如，在此假设图像114具有与在帧缓冲器70c中渲染的图像98相同的分辨率。

而且，图像118由合成器116生成，合成器116组合图像108与存储在帧缓冲器70a中的图像110。在此，例如，合成器116将图像110的尺寸调整为图像108的分辨率。在这种情况下，图像110的尺寸减小。因此，合成器116生成组合图像108与调整尺寸后的图像110的图像118。图像118指示图像108和图像110两者的内容。例如，在此假设图像118具有与在帧缓冲器70d中渲染的图像104相同的分辨率。

然后，图像114作为玩家图像60被显示在显示设备18a上。图像118作为观看观众图像62经由通信部分54a被传输到娱乐系统10b，所传输的图像被显示在由目的地处的观众观看的显示设备18b上。

在图7的示例中，如上所述，当放置在图像缓冲器118d中时，在帧缓冲器70d中渲染的图像104的内容既不放大也不缩小。因此，在图7的示例中生成的图像是以清楚地指示二维对象的方式表示游戏的玩打状态的图像，该二维对象表示要在递送目的地处提供给观众的信息。

而且，在图7的示例中，存储在帧缓冲器70b中的帧图像的内容出现在玩家图像60中，而不出现在观看观众图像62中。另外，存储在帧缓冲器70d中的帧图像的内容出现在观看观众图像62中，而不出现在玩家图像60中。

例如，不期望向观看观众透露与玩家的隐私相关的信息，诸如他们的名字。因此，优选地，防止与玩家的隐私相关的信息出现在要由观众观看的观看观众视频中。

在图7的示例中，如上面所讨论的，例如，与隐私相关的信息被控制为出现在玩家图像60中而不出现在观看观众图像62中。因此，在图7的示例中，控制不向观看观众透露的信息，以防止被观众观看。

而且，在图7的示例中，与图6的示例中一样，命令历史信息68a和命令历史信息68b可以被控制为出现在观看观众图像62中而不出现在玩家图像60中。因此，在图7的示例中，在向观看观众提供命令历史信息68a和命令历史信息68b的同时，玩家也可以玩游戏而不会被命令历史信息68a或68b分散注意力。

图8是解释利用本实施例生成玩家图像60、观看观众图像62和HMD图像的示例的解释图。在图8的示例中，除了玩家图像60和观看观众图像62之外，还生成HMD图像，作为包括在将被显示在作为娱乐系统10a的一部分的HMD 12a的显示部分38a上的视频中的帧图像。

在图8的示例中，指示游戏的玩打状态的帧图像以预定的帧速率在帧缓冲器70a中被渲染。在此，例如，有可能以预定的帧速率渲染作为指示游戏的玩打状态的三维图像的帧图像，其中从虚拟三维空间中的视角观看被放置在虚拟三维空间中的表示游戏角色的虚拟三维对象。

在帧缓冲器70b中，以预定的帧速率渲染指示系统相关信息的帧图像，该帧图像是通过执行诸如不同于游戏程序的操作系统之类的系统程序来生成的。在此，可以在帧缓冲器70b中渲染指示诸如字母、图画图形或符号之类的二维对象的帧图像。

在帧缓冲器70c中，以预定的帧速率渲染帧图像，例如，该图像与在帧缓冲器70a中渲染的帧图像不同并且指示游戏的玩打状态。在此，例如，有可能在帧缓冲器70c中渲染与上面提到的三维图像对应、并且指示其中从虚拟三维空间中的视角观看表示放置在虚拟三维空间中的游戏角色的虚拟三维对象的游戏的玩打状态的二维图像。在另一个示例中，帧缓冲器70c可以具有指示当从与渲染的帧缓冲器70a中渲染的帧图像不同的角度观看时、虚拟三维空间看起来像什么的图像。

在帧缓冲器70d中，以预定的帧速率渲染指示系统相关信息的帧图像，例如，该帧图像与在帧缓冲器70b中渲染的帧图像不同，该帧图像还通过执行系统程序来生成。在此，例如，可以在帧缓冲器70b中渲染指示除穿戴HMD 12a的人以外的任何人都不观看的信息的图像，并且可以在帧缓冲器70d中渲染指示除穿戴HMD 12a的人以外的人被允许观看的信息的图像。而且，可以在帧缓冲器70d中渲染指示不被穿戴HMD 12a的人观看的信息的图像。在此，可以在帧缓冲器70d中渲染指示诸如字母、图画图形或符号之类的二维对象的帧图像。

在图8的示例中，如上所述，在帧缓冲器70b和70d中渲染通过系统程序的执行而生成的图像。通过游戏程序的执行而生成的图像在帧缓冲器70a和70c中被渲染。

在随后的描述中，例如，假设在帧缓冲器70b和70d中渲染的帧图像具有与最高分辨率的近似相同的分辨率、在帧缓冲器70c中渲染的帧图像具有次高的分辨率，并且在帧缓冲器70a中渲染的帧图像具有最低的分辨率。

在图8的示例中，例如，图像126由合成器124生成，合成器124组合存储在帧缓冲器70a中的图像120与存储在帧缓冲器70b中的图像122。在此，例如，合成器124将图像120的尺寸调整为图像122的分辨率。在这种情况下，图像120被放大。因此，合成器124生成组合图像122与调整尺寸后的图像120的图像126。图像126指示图像120和图像122两者的内容。

在另一个示例中，图像134由合成器132生成，合成器132组合存储在帧缓冲器70c中的图像128与存储在帧缓冲器70d中的图像130。在此，例如，合成器132将图像128的尺寸调整为图像130的分辨率。在这种情况下，图像128被放大。因此，合成器132生成组合图像130与调整尺寸后的图像128的图像134。图像134指示图像128和图像130两者的内容。

然后图像126作为HMD图像被显示在HMD 12a的显示部分38a上。图像134作为玩家图像60被显示在显示设备18a上并经由通信部分54a作为观看观众图像62被传输到娱乐系统10b，所传输的图像被显示在由目的地处的观众观看的显示设备18b上。优选地，图像134可以在被传输到娱乐系统10b之前以适于递送的方式被调整尺寸。

图9是解释利用本实施例生成玩家图像60、观看观众图像62和HMD图像的另一个示例的解释图。

在图9的示例中，在帧缓冲器70a至70c中渲染的帧图像与在图8的示例中在帧缓冲器70a至70c中渲染的帧图像相似，因此将不进一步讨论。

在图9的示例中，指示系统相关信息的帧图像以预定的帧速率在帧缓冲器70d中被渲染，例如，该图像是通过系统程序的执行而生成的并且与在帧缓冲器中70b渲染的帧图像不同。在此，例如，可以在帧缓冲器70d中渲染指示要提供给观看游戏的玩打状态的观众的信息的图像。可替代地，可以在帧缓冲器70d中渲染指示不被观看显示设备18a或穿戴HMD12a的人观看的信息的图像。在此，可以在帧缓冲器70d中渲染指示诸如字母、图画图形或符号之类的二维对象的帧图像。

在图9的示例中，图像142由合成器140生成，合成器140组合存储在帧缓冲器70a中的图像136与存储在帧缓冲器70b中的图像138。在此，例如，合成器140将图像136的尺寸调整为图像138的分辨率。在这种情况下，图像136被放大。合成器140因此生成组合图像138与调整尺寸后的图像136的图像142。图像142指示图像136和图像138两者的内容。

在另一个示例中，图像150由合成器148生成，合成器148组合存储在帧缓冲器70c中的图像144与存储在帧缓冲器70d中的图像146。在此，例如，合成器148将图像144的尺寸调整为图像146的分辨率。在这种情况下，图像144被放大。合成器148因此生成组合图像146与调整尺寸后的图像144的图像150。图像150指示图像144和图像146两者的内容。例如，在此假设图像150具有与在帧缓冲器70d中渲染的图像146相同的分辨率。

然后将图像142作为HMD图像显示在HMD 12a的显示部分38a上。图像144作为玩家图像60被显示在显示设备18a上。图像150作为观众观看图像62经由通信部分54a被传输到娱乐系统10b，所传输的图像被显示在由目的地处的观众观看的显示设备18b上。

因此，在图9的示例中，有可能生成指示游戏的玩打状态的图像，该图像清楚地描绘了表示要在递送目的地处提供给观众的信息的二维对象。

应当注意的是，在本实施例中，观看观众图像62可以优选地在被传输到娱乐系统10b之前被编码。

下面进一步解释与本实施例相关的娱乐系统10a中包括的娱乐装置14a的功能以及娱乐装置14a执行的处理，解释集中在要递送到娱乐系统10b的图像的生成上。

图10是描绘与本实施例相关的娱乐装置14a的典型功能的功能框图。要注意的是，并非必须实现图10中表示的所有功能，并且可以在与本实施例相关的娱乐装置14a中实现除图10中的功能以外的一个或多个功能。

如图10中所描绘的，娱乐装置14a在功能上包括例如图像存储部分160、图像获取部分162、尺寸调整部分164、图像生成部分166、显示控制部分168和传输部分170。图像存储部分160主要使用存储部分52来实现。图像获取部分162、尺寸调整部分164和图像生成部分166主要使用处理器50来实现。显示控制部分168主要使用处理器50和输入/输出部分56来实现。传输部分170主要使用处理器50和通信部分54来实现。娱乐装置14a承担利用本实施例生成要递送的图像的图像生成装置的角色。

可以通过处理器50执行安装在用作计算机的娱乐装置14中的程序来实现上面提到的功能，该程序包括与这些功能对应的命令。程序可以存储在计算机可读信息存储介质(诸如光盘、磁盘、磁带、磁光盘或闪存)中，或者当供应给娱乐装置14时通常经由互联网被传输。

在本实施例中，例如，图像存储部分160存储图像。在上述示例中分别存储在帧缓冲器70a至70d中的多个图像与存储在图像存储部分160中的图像对应。在此，例如，将新的帧图像以预定的帧率分别存储到图像存储部分160中所包括的帧缓冲器70a至70d中。

而且，在本实施例中，例如，图像存储部分160存储由图像生成部分166生成的图像。

在本实施例中，例如，图像获取部分162获取存储在图像存储部分160中的图像。在此，例如，图像获取部分162获取存储在帧缓冲器70a至70d中的图像或由图像生成部分166生成的图像。

在此，例如，图像获取部分162可以获取指示要在显示设备18a上显示的内容的游戏图像，所获取的游戏图像表示至少其中从虚拟三维空间中的视角观看放置在虚拟三维空间中的虚拟三维对象的游戏的玩打状态。例如，在图6的示例中的图像78、在图7的示例中存储在帧缓冲器70b中的图像96以及在图9的示例中存储在帧缓冲器70c中的图像144与该游戏图像对应。

在另一个示例中，图像获取部分162可以获取具有与要递送的图像的分辨率相同的分辨率的递送目标二维图像，该二维图像指示目标为递送的二维对象。例如，在图6的示例中存储在帧缓冲器70d中的图像80、在图7的示例中存储在帧缓冲器70d中的图像104以及在图9的示例中存储在帧缓冲器70d中的图像146与该递送目标二维图像对应。

在另一个示例中，图像获取部分162可以获取指示游戏的玩打状态的三维空间图像。例如，在图6的示例中存储在帧缓冲器70b中的图像72与该三维空间图像对应。

在另一个示例中，图像获取部分162可以获取具有与要在显示设备18a上显示的图像的分辨率相同的分辨率的显示目标二维图像，该显示目标二维图像指示目标为要在显示设备18a上显示的二维对象。例如，在图6的示例中存储在帧缓冲器70c中的图像74和在图7的示例中存储在帧缓冲器70c中的图像98与该显示目标二维图像对应。

在本实施例中，例如，尺寸调整部分164通过将游戏图像的尺寸调整为递送目标二维图像的分辨率来生成调整尺寸后的游戏图像。例如，图6的示例中的合成器82的功能、图7的示例中的合成器106的功能以及图9的示例中的合成器148的功能与尺寸调整部分164的该功能对应。

尺寸调整部分164还可以通过将三维空间图像的尺寸调整为显示目标二维图像的分辨率来生成调整尺寸后的三维空间图像。例如，图6的示例中的合成器76的功能与尺寸调整部分164的该功能对应。

尺寸调整部分164还可以通过将游戏图像的尺寸调整为递送目标二维图像的分辨率来生成第一调整尺寸后的游戏图像。另外，尺寸调整部分164可以通过将游戏图像的尺寸调整为显示目标二维图像的分辨率来生成第二调整尺寸后的游戏图像。例如，图7的示例中的合成器100的功能和合成器106的功能与尺寸调整部分164的该功能对应。在这种情况下，合成器106生成第一调整尺寸后的游戏图像，并且合成器100生成第二调整尺寸后的游戏图像。

在本实施例中，例如，图像生成部分166通过组合存储在图像存储部分160中的多个图像来生成合成图像。例如，图像生成部分166在本实施例中将生成的合成图像存储到图像存储部分160中。

在此，图像生成部分166可以生成组合调整尺寸后的游戏图像与递送目标二维图像的图像。例如，图6的示例中的图像84、图7的示例中的图像108和图9的示例中的图像150与该合成图像对应。

图像生成部分166还可以通过组合调整尺寸后的三维空间图像与显示目标二维图像来生成游戏图像。例如，图6的示例中的图像78与以这种方式生成的游戏图像对应。

图像生成部分166还可以组合第一调整尺寸后的游戏图像与递送目标二维图像以生成指示要递送的内容的图像。例如，图7的示例中的图像108与该图像对应。另外，图像生成部分166可以生成组合第二调整尺寸后的图像与显示目标二维图像的图像。例如，图7的示例中的图像102与该图像对应。

在本实施例中，例如，显示控制部分168使显示设备18a显示由图像生成部分166生成的图像。

在本实施例中，例如，传输部分170将由图像生成部分166生成的图像传输到娱乐系统10b。

下面参考图11的流程图解释由与本实施例相关的娱乐装置14a以预定的帧速率重复执行的过程的典型流程。该过程示例中的处理与先前参考图6所解释的细节对应。

首先，图像获取部分162获取作为帧图像存储在帧缓冲器70b中的图像72和作为帧图像存储在帧缓冲器70c中的图像74(S101)。

然后，尺寸调整部分164将图像72的尺寸调整为图像74的分辨率(S102)。

然后，图像生成部分166生成组合图像74与调整尺寸后的图像72的图像78，并将图像78存储到图像存储部分160中(S103)。

然后，图像获取部分162获取存储在图像存储部分160中的图像78和作为帧图像存储在帧缓冲器70d中的图像80(S104)。

然后，尺寸调整部分164将图像78的尺寸调整为图像80的分辨率(S105)。

然后，图像生成部分166生成组合图像80与调整尺寸后的图像78的图像84，并将图像84存储到图像存储部分160中(S106)。

然后，图像获取部分162获取作为帧图像存储在帧缓冲器70a中的图像86和存储在图像存储部分160中的图像78(S107)。

然后，图像生成部分166生成组合图像78与图像86的图像90，并将图像90存储到图像存储部分160中(S108)。

然后，图像获取部分162获取作为帧图像存储在帧缓冲器70a中的图像86和存储在图像存储部分160中的图像84(S109)。

然后，尺寸调整部分164将图像86的尺寸调整为图像84的分辨率(S110)。

然后，图像生成部分166生成组合图像84与调整尺寸后的图像86的图像94，并将图像94存储到图像存储部分160中(S111)。

然后，显示控制部分168执行控制以在显示设备18a上显示存储在图像存储部分160中的图像90(S112)。

然后，传输部分170将存储在图像存储部分160中的图像94传输到娱乐系统10b(S113)。在此，例如，传输部分170可以在将图像94传输到娱乐系统10b之前对其进行编码。

然后控制返回到S101中的处理。在该过程示例中，因此以预定的帧速率重复地执行从S101到S113的处理。

接下来参考图12的流程图解释由与本实施例相关的娱乐装置14以预定的帧速率重复执行的另一个过程的典型流程。该过程示例中的处理与先前参考图7所解释的细节对应。

首先，图像获取部分162获取作为帧图像存储在帧缓冲器70b中的图像96和作为帧图像存储在帧缓冲器70c中的图像98(S201)。

然后，尺寸调整部分164将图像96的尺寸调整为图像98的分辨率(S202)。

然后，图像生成部分166生成组合图像98与调整尺寸后的图像96的图像102，并将图像102存储到图像存储部分160中(S203)。

然后，图像获取部分162获取作为帧图像存储在帧缓冲器70b中的图像96和作为帧图像存储在帧缓冲器70d中的图像104(S204)。

然后，尺寸调整部分164将图像96的尺寸调整为图像104的分辨率(S205)。

然后，图像生成部分166生成组合图像104与调整尺寸后的图像96的图像108，并将图像108存储到图像存储部分160中(S206)。

然后，图像获取部分162获取作为帧图像存储在帧缓冲器70a中的图像110和存储在图像存储部分160中的图像102(S207)。

然后，图像生成部分166生成组合图像102与图像110的图像114，并将图像114存储到图像存储部分160中(S208)。

然后，图像获取部分162获取作为帧图像存储在帧缓冲器70a中的图像110和存储在图像存储部分160中的图像108(S209)。

然后，尺寸调整部分164将图像110的尺寸调整为图像108的分辨率(S210)。

然后，图像生成部分166生成组合图像108与调整尺寸后的图像110的图像118，并将图像118存储到图像存储部分160中(S211)。

然后，显示控制部分168执行控制以在显示设备18a上显示存储在图像存储部分160中的图像114(S212)。

然后，传输部分170将存储在图像存储部分160中的图像118传输到娱乐系统10b(S213)。在此，例如，传输部分170可以在将图像118传输到娱乐系统10b之前对其进行编码。

控制然后返回到S201中的处理。在该过程示例中，因此以预定的帧速率重复地执行从S201到S213的处理。

接下来参考图13的流程图解释由与本实施例相关的娱乐装置14以预定的帧速率重复执行的另一个过程的典型流程。该过程示例中的处理与先前参考图8所解释的细节对应。

首先，图像获取部分162获取作为帧图像存储在帧缓冲器70a中的图像120和作为帧图像存储在帧缓冲器70b中的图像122(S301)。

然后，尺寸调整部分164将图像120的尺寸调整为图像122的分辨率(S302)。

然后，图像生成部分166生成组合图像122与调整尺寸后的图像120的图像126，并将图像126存储到图像存储部分160中(S303)。

然后，图像获取部分162获取作为帧图像存储在帧缓冲器70c中的图像128和作为帧图像存储在帧缓冲器70d中的图像130(S304)。

然后，尺寸调整部分164将图像128的尺寸调整为图像130的分辨率(S305)。

然后，图像生成部分166生成组合图像130与调整尺寸后的图像128的图像134，并将图像134存储到图像存储部分160中(S306)。

然后，显示控制部分168执行控制以在HMD 12a的显示部分38a上显示存储在图像存储部分160中的图像126(S307)。

然后，显示控制部分168执行控制以在显示设备18a上显示存储在图像存储部分160中的图像134(S308)。

然后，传输部分170将存储在图像存储部分160中的图像134传输到娱乐系统10b(S309)。在此，例如，传输部分170可以在将图像134传输到娱乐系统10b之前对其进行编码。

然后控制返回到S301中的处理。在该过程示例中，因此以预定的帧速率重复地执行从S301到S309的处理。

接下来参考图14的流程图解释由与本实施例相关的娱乐装置14以预定的帧速率重复执行的另一个过程的典型流程。该过程示例中的处理与先前参考图9所解释的细节对应。

首先，图像获取部分162获取作为帧图像存储在帧缓冲器70a中的图像136和作为帧图像存储在帧缓冲器70b中的图像138(S401)。

然后，尺寸调整部分164将图像136的尺寸调整为图像138的分辨率(S402)。

然后，图像生成部分166生成组合图像138与调整尺寸后的图像136的图像142，并将图像142存储到图像存储部分160中(S403)。

然后，图像获取部分162获取作为帧图像存储在帧缓冲器70c中的图像144和作为帧图像存储在帧缓冲器70d中的图像146(S404)。

然后，尺寸调整部分164将图像144的尺寸调整为图像146的分辨率(S405)。

然后，图像生成部分166生成组和图像146与调整尺寸后的图像144的图像150，并将图像150存储到图像存储部分160中(S406)。

然后，显示控制部分168执行控制以在HMD 12a的显示部分38a上显示存储在图像存储部分160中的图像142(S407)。

然后，显示控制部分168执行控制以在显示设备18a上显示作为帧图像存储在帧缓冲器70c中的图像144(S408)。

然后，传输部分170将存储在图像存储部分160中的图像150传输到娱乐系统10b(S409)。在此，例如，传输部分170可以在将图像150传输到娱乐系统10b之前对其进行编码。

然后控制返回到S401中的处理。在该过程示例中，因此以预定的帧速率重复地执行从S401到S409的处理。

要注意的是，在被实施时，本发明不限于上述实施例。

还要注意的是，在前面的描述中以及在附图中的特定字母串和数值仅仅是示例，并且不限制本发明。

Claims (8)

1.一种图像生成装置，包括：

游戏图像获取部分，被配置为获取指示要在显示设备上显示的内容的游戏图像，所述游戏图像至少表示其中从虚拟三维空间中的视角观看放置在所述虚拟三维空间中的虚拟三维对象的游戏的玩打状态；

递送目标二维图像获取部分，被配置为获取指示目标为递送的二维对象的递送目标二维图像，所述递送目标二维图像具有与要递送的图像的分辨率相同的分辨率；

游戏图像尺寸调整部分，被配置为将所述游戏图像的尺寸调整为所述递送目标二维图像的所述分辨率，以生成调整尺寸后的游戏图像；以及

递送图像生成部分，被配置为生成组合所述调整尺寸后的游戏图像与所述递送目标二维图像的图像。

2.根据权利要求1所述的图像生成装置，还包括：

三维空间图像获取部分，被配置为获取指示所述游戏的所述玩打状态的三维空间图像；

显示目标二维图像获取部分，被配置为获取指示目标为在所述显示设备上显示的二维对象的显示目标二维图像，所述显示目标二维图像具有与要在所述显示设备上显示的图像的分辨率相同的分辨率；

三维空间图像尺寸调整部分，被配置为将所述三维空间图像的尺寸调整为所述显示目标二维图像的所述分辨率，以生成调整尺寸后的三维空间图像；以及

游戏图像生成部分，被配置为通过组合所述调整尺寸后的三维空间图像与所述显示目标二维图像来生成所述游戏图像。

3.根据权利要求2所述的图像生成装置，还包括：

第一帧缓冲器，被配置为存储所述三维空间图像；

第二帧缓冲器，被配置为存储所述显示目标二维图像；以及

第三帧缓冲器，被配置为存储所述递送目标二维图像。

4.根据权利要求1所述的图像生成装置，还包括：

显示目标二维图像获取部分，被配置为获取指示目标为在所述显示设备上显示的二维对象的显示目标二维图像，所述显示目标二维图像具有与要在所述显示设备上显示的图像的分辨率相同的分辨率，

其中所述游戏图像尺寸调整部分将所述游戏图像的尺寸调整为所述递送目标二维图像的分辨率，以生成第一调整尺寸后的游戏图像；

所述游戏图像尺寸调整部分将所述游戏图像的尺寸调整为所述显示目标二维图像的分辨率，以生成第二调整尺寸后的游戏图像；

所述递送图像生成部分生成组合所述第一调整尺寸后的游戏图像与所述递送目标二维图像的图像，并且还包括：

显示图像生成部分，其生成组合所述第二调整尺寸后的游戏图像与所述显示目标二维图像的图像。

5.根据权利要求4所述的图像生成装置，还包括：

第一帧缓冲器，被配置为存储所述游戏图像；

第二帧缓冲器，被配置为存储所述显示目标二维图像；以及

第三帧缓冲器，被配置为存储所述递送目标二维图像。

6.根据权利要求1至5中的任一项所述的图像生成装置，其中所述二维对象是字母、图画图形或符号。

7.一种图像生成方法，包括以下步骤：

获取指示要在显示设备上显示的内容的游戏图像，所述游戏图像至少表示其中从虚拟三维空间中的视角观看放置在所述虚拟三维空间中的虚拟三维对象的游戏的玩打状态；

获取指示目标为递送的二维对象的递送目标二维图像，所述递送目标二维图像具有与要递送的图像的分辨率相同的分辨率；

将所述游戏图像的尺寸调整为所述递送目标二维图像的所述分辨率，以生成调整尺寸后的游戏图像；以及

生成组合所述调整尺寸后的游戏图像与所述递送目标二维图像的图像。

8.一种存储有计算机可执行程序的计算机可读存储介质，当所述计算机可执行程序被计算机执行时，使所述计算机执行以下过程，所述过程包括：

获取指示要在显示设备上显示的内容的游戏图像，所述游戏图像至少表示其中从虚拟三维空间中的视角观看放置在所述虚拟三维空间中的虚拟三维对象的游戏的玩打状态；

获取指示目标为递送的二维对象的递送目标二维图像，所述递送目标二维图像具有与要递送的图像的分辨率相同的分辨率；

将所述游戏图像的尺寸调整为所述递送目标二维图像的所述分辨率，以生成调整尺寸后的游戏图像；以及

生成组合所述调整尺寸后的游戏图像与所述递送目标二维图像的图像。

Images