CN112104857A - 图像生成系统、图像生成方法及信息存储介质 - Google Patents

Abstract

本发明提供图像生成系统、图像生成方法及信息存储介质等，能够以简单的系统高质量地合成由相机拍摄的被摄体的图像和虚拟空间图像。图像生成系统包括：获取部，获取由设置在真实空间中的相机拍摄背景及被摄体而得的第一图像和由相机拍摄背景而得的第二图像；图像生成部，生成从设置在与相机的位置对应的虚拟空间的位置的拍摄用的虚拟相机观察到的虚拟空间图像；以及图像合成部，通过求出第一图像与第二图像的差分图像来提取被摄体的图像，生成在虚拟空间图像中合成被摄体的图像而得的合成图像。

Description

图像生成系统、图像生成方法及信息存储介质

技术领域

本发明涉及图像生成系统、图像生成方法及信息存储介质等。

背景技术

目前，已知的图像生成系统可以生成在虚拟空间中从虚拟相机观察到的虚拟空间图像。现有技术中，例如专利文献1中公开的技术，通过在HMD(头部安装型显示装置，也即头戴式显示器)上显示从虚拟相机观察到的图像来实现虚拟现实(VR)。另外，例如专利文献2中公开的技术，通过蓝幕来合成实拍影像和虚拟空间图像。

专利文献1：日本特开平11-309269号公报

专利文献2：日本特开2011-35638号公报

在使用蓝幕或绿幕的色度键合成中，存在如下问题：必须在图像生成系统的设置场所设置用于蓝幕或绿幕的大型拍摄用设备器材。另外，如果虚拟空间图像和真实空间图像的图像合成的质量较低，则虚拟空间图像和真实空间图像无法和谐融合，由此无法获得期望的结果。

发明内容

本发明提供的图像生成系统、图像生成方法及信息存储介质等能够以简单的系统高质量地合成由相机拍摄的被摄体的图像和虚拟空间图像。

本公开的一方面所涉及的图像生成系统，其特征在于，包括：获取部，获取由设置在真实空间中的相机拍摄背景及被摄体而得的第一图像和由所述相机拍摄所述背景而得的第二图像；图像生成部，生成从设置在与所述相机的位置对应的虚拟空间的位置的拍摄用的虚拟相机观察到的虚拟空间图像；图像合成部，通过求出所述第一图像与所述第二图像的差分图像来提取所述被摄体的图像，生成在所述虚拟空间图像中合成所述被摄体的图像而得的合成图像。另外，本公开的一方面涉及使计算机作为上述各个部发挥功能的程序或存储有该程序的计算机可读取的信息存储介质。

根据本公开的一方面，获取拍摄背景及被摄体而得的第一图像和拍摄背景而得的第二图像，并且生成从拍摄用的虚拟相机观察到的虚拟空间图像，该拍摄用的虚拟相机设置在与拍摄这些第一图像及第二图像的相机的位置所对应的虚拟空间的位置。另外，通过求出第一图像与第二图像的差分图像来提取被摄体的图像，生成在虚拟空间图像中合成被摄体的图像而得的合成图像。如此，根据本发明，虚拟空间图像与被摄体图像的合成不需要大型拍摄用设备器材便能实现，本发明提供的图像生成系统等能够将由相机拍摄的被摄体的图像和虚拟空间图像以简单的系统进行高质量的合成。

另外，在本公开的一方面中，所述图像合成部也可以提取在所述真实空间中所述被摄体搭乘的框体的图像，生成在所述虚拟空间图像中合成所述被摄体的图像及所述框体的图像而得的所述合成图像。

如此，在真实空间中被摄体搭乘于框体的情况下，能够生成在虚拟空间图像中合成被摄体搭乘于框体的状态下的真实空间图像而得的图像。

另外，在本公开的一方面中，所述图像合成部也可以使用指定所述框体的图像的提取范围的框体掩模图像来提取所述框体的图像。

对于本来作为背景而不会被提取出来的框体的图像，通过使用这种框体掩模图像，能够将其与被摄体的图像同样地提取出来。

另外，在本公开的一方面中，所述图像合成部也可以基于来自安装在所述被摄体上的至少一个跟踪装置的跟踪信息来设定所述被摄体的图像的提取范围，并提取所述被摄体的图像。

如此，即使在被摄体的姿势发生变化，或者被摄体进行了各种动作的情况下，也能够实现在适当的提取范围内提取出被摄体的图像，例如能够防止未预定为被摄体的物体(本说明文中的“物体”的含义广泛，包括人和物等)被作为被摄体提取的情况。

另外，在本公开的一方面中，所述图像合成部也可以基于所述跟踪装置的位置和辅助点的位置来设定所述被摄体的图像的所述提取范围，其中，所述辅助点设定在从所述跟踪装置的位置偏移给定距离的位置。

如此，即使在仅根据跟踪装置的位置无法设定适当的提取范围的状况下，通过配合使用辅助点，便能够设定包含被摄体的适当的提取范围，能够实现被摄体的图像的适当的提取处理。

另外，在本公开的一方面中，作为显示给作为所述被摄体的玩家的玩家用的虚拟空间图像，所述图像生成部也可以生成在所述虚拟空间中与所述拍摄用的虚拟相机的位置对应的位置上显示所述拍摄用的虚拟相机的图像及拍摄者角色的图像中的至少一方的虚拟空间图像。

如此，能够使玩家意识到自身被拍摄用的虚拟相机进行了拍摄，从而能够引导玩家做出动作或摆出姿势等，达到演出效果。

另外，在本公开的一方面中，也可以包括：头部安装型显示装置，安装在作为所述被摄体的玩家上，显示在所述虚拟空间中从玩家用的虚拟相机观察到的玩家用的虚拟空间图像；观众用显示装置，作为观众用图像显示所述合成图像。

如此，观众能够观看到该玩家在虚拟空间中的行动的样子。

另外，在本公开的一方面中，所述获取部获取由所述相机拍摄所述背景及所述被摄体而得的深度图像，所述图像合成部也可以基于所述差分图像和所述深度图像来提取所述被摄体的图像。

如此，通过不仅使用差分图像，还使用深度图像来提取被摄体的图像，能够实现虚拟空间图像和被摄体的图像的更高质量的图像合成。

另外，在本公开的一方面中，所述图像合成部也可以基于所述差分图像生成差分掩模图像，基于所述深度图像生成识别深度值在给定的深度范围内的像素的深度掩模图像，基于所述差分掩模图像和所述深度掩模图像生成识别所述被摄体的被摄体掩模图像，基于所述被摄体掩模图像和所述第一图像提取所述被摄体的图像。

通过使用这种差分掩模图像和深度掩模图像，能够从显示背景及被摄体的第一图像中高质量地提取被摄体的图像。

另外，在本公开的一方面中，所述图像合成部也可以进行所述深度掩模图像的校正处理，并基于所述校正处理后的所述深度掩模图像和所述差分掩模图像生成所述被摄体掩模图像。

像这样对深度掩模图像进行校正处理，能够实现防止边缘部分的闪烁、去除细微的噪声等，能够生成高质量的合成图像。

另外，在本公开的一方面中，所述图像合成部也可以生成由所述相机拍摄所述背景及所述被摄体而得的第一深度图像和由所述相机拍摄所述背景的而得第二深度图像的差分深度掩模图像，并基于所述差分深度掩模图像生成所述校正处理后的所述深度掩模图像。

使用这种差分深度掩模图像，能够防止将背景的区域错误识别为被摄体的区域的情况。

另外，在本公开的一方面中，所述图像合成部也可以通过进行形态学滤波处理及时间序列滤波处理中的至少一方来生成所述校正处理后的所述深度掩模图像。

通过进行这种形态学滤波处理或时间序列滤波处理，能够去除细微尺寸的噪声，或者抑制细微的噪声的闪烁的发生。

另外，在本公开的一方面中，所述图像合成部也可以基于所述差分图像对在所述深度图像中无法获取所述深度值的像素的像素值进行设定处理，来生成所述校正处理后的所述深度掩模图像。

如此，能够防止由于无法获取深度值而导致提取对象的图像部分缺失的问题，由此能够生成适当的被摄体的提取图像。

另外，在本公开的一方面中，所述图像合成部也可以通过求出所述深度值在所述深度范围内的像素组的区域尺寸，并进行基于所述区域尺寸的滤波处理，来生成所述校正处理后的所述深度掩模图像。

如此，能够排除噪声等引起的小区域尺寸的像素组，能够提取与被摄体对应的像素组，从而能够生成高质量的合成图像。

另外，在本公开的一方面中，所述图像合成部也可以基于被判断为所述被摄体的区域的被摄体区域中的深度值来设定第二深度范围，并生成识别所述深度值在所述第二深度范围内的像素的图像来作为所述深度掩模图像。

如此，能够生成反映了被摄体的移动的深度掩模图像，能够生成高质量的合成图像。

另外，本公开的一方面所涉及的图像生成方法，进行：获取处理，获取由设置在真实空间中的相机拍摄背景及被摄体的而得第一图像和由所述相机拍摄所述背景而得的第二图像；图像生成处理，生成从设置在与所述相机的位置对应的虚拟空间的位置的拍摄用的虚拟相机观察到的虚拟空间图像；图像合成处理，通过求出所述第一图像与所述第二图像的差分图像来提取所述被摄体的图像，生成在所述虚拟空间图像中合成所述被摄体的图像而得的合成图像。

附图说明

图1是示出本实施方式的图像生成系统的构成例的框图。

图2的(A)、图2的(B)是跟踪处理的一例的说明图。

图3是示出框体的构成例的立体图。

图4的(A)、图4的(B)是显示给玩家的虚拟空间图像的例子。

图5的(A)、图5的(B)是虚拟空间图像和真实空间图像的合成图像的例子。

图6的(A)、图6的(B)是使用了框体掩模图像的框体的图像的合成的说明图。

图7是设定被摄体的图像的提取范围来提取被摄体的图像的处理的说明图。

图8的(A)、图8的(B)是使用辅助点设定提取范围来提取被摄体的图像的方法的说明图。

图9是说明本实施方式的详细处理例的流程图。

图10的(A)～图10的(C)是本实施方式的图像合成处理的说明图。

图11的(A)～图11的(C)是本实施方式的图像合成处理的说明图。

图12的(A)、图12的(B)是将虚拟空间图像和被摄体的图像的合成图像显示在观众用显示装置上的方法的说明图。

图13的(A)、图13的(B)是使用了深度图像的图像合成处理的说明图。

图14的(A)～图14的(D)是基于差分深度掩模图像的校正处理的说明图。

图15的(A)、图15的(B)是基于差分图像设定无法获取深度图像的像素的像素值的校正处理的说明图。

图16的(A)～图16的(C)是基于差分图像设定无法获取深度图像的像素的像素值的校正处理的说明图。

图17的(A)、图17的(B)是基于区域尺寸的滤波处理的校正处理的说明图。

图18的(A)、图18的(B)是基于被摄体区域中的深度值设定第二深度范围来生成深度掩模图像的处理的说明图。

图19的(A)～图19的(C)是使用框体掩模图像的方法的说明图。

图20的(A)～图20的(D)是使用框体掩模图像的方法的说明图。

图21的(A)～图21的(D)是不使用框体掩模图像的方法的说明图。

图22是设定提取范围的方法的说明图。

附图标记说明：

PL...玩家；VCM...拍摄用的虚拟相机；CHM...拍摄者角色；MV...车辆；MVE...敌方车辆；CHE...敌方角色；ST...方向盘；HL、HR...手；EF1、EF2......效果；CS...路线；MSC...框体掩模图像；TR1～TR5...跟踪装置；AR...提取范围；PAX...辅助点；IM1...第一图像；IM2...第二图像；MSDF...差分掩模图像；MSDP...深度掩模图像；MSSB...被摄体掩模图像；IMDP1...第一深度图像；IMDP2...第二深度图像；MSDPDF...差分深度掩模图像；MSC...框体掩模图像；BG...背景；SB...被摄体；RA...深度范围；RA2...第二深度范围；ZN、ZN2、ZF、ZF2...深度值；ZAV...深度值的平均值；30...框体；32...底部；33...盖部；40...移动部；50...方向盘；52...加速踏板；54...制动踏板；60...骑乘部；62...座椅；80...送风机；100...处理部；102...获取部；104...虚拟空间设定部；106...游戏处理部；107...移动体处理部；108...框体控制部；110...虚拟相机控制部；120...图像生成部；122...图像合成部；130...声音生成部；150...相机；152...彩色相机；154...深度相机；160...操作部；170...存储部；172...虚拟空间信息存储部；178...绘图缓冲区；180...信息存储介质；192...声音输出部；194......I/F部；195...便携式信息存储介质；196...通信部；200...HMD(头部安装型显示装置)；201～203...受光元件；206...跟踪装置；208...显示部；210...观众用显示装置；250、260...跟踪装置；251～254...受光元件；261～264...受光元件；280、284...基站；281、282、285、286...发光元件。

具体实施方式

下面，对本实施方式进行说明。另外，以下说明的本实施方式并非不当地限定权利要求的范围内的记载内容。另外，本实施方式中说明的结构并不一定全部是必须构成要素。

1.图像生成系统

图1是示出本实施方式的图像生成系统的构成例的框图。根据本实施例的图像生成系统，例如实现了模拟虚拟现实(VR)的模拟系统。本实施方式的图像生成系统能够应用于提供游戏内容的游戏系统、驾驶模拟器或体育竞赛模拟器等实时模拟系统，或者提供影像等内容的内容提供系统等各种系统。另外，本实施方式的图像生成系统并不限于图1的结构，可以实施省略其构成要素(各个部)的一部分，或者追加其他构成要素等各种变形。

框体30例如是玩家能够搭乘的骑乘框体。具体地，框体30例如是使玩家的游戏位置变化的可动框体。该框体30例如被称为街机框体等，是由图像生成系统实现的模拟系统的装置的外壳，不需要是箱状。框体30既可以是车游戏、机器人游戏或飞机游戏等中的驾驶舱框体(体感框体)，也可以是其他方式的框体。框体30是模拟系统的主体部分，设置有用于实现模拟系统的各种设备和构造物。在框体30中至少设定有游戏位置。关于框体30的构成例，通过后述的图3进行详细说明。

相机150是拍摄彩色图像或深度图像等图像的装置。例如相机150包括彩色相机152和深度相机154。彩色相机152是拍摄RGB等彩色图像的相机，能够通过CMOS传感器或CCD等图像传感器和透镜等光学系统实现。深度相机154是能够检测视野中的物体的深度方向的位置关系的相机，通过使用深度相机154，能够获取深度图像。例如，深度值是Z值时，深度图像是将该Z值的深度值设定为各像素的像素值的图像。例如，深度相机154能够通过构成立体相机的第一、第二深度传感器和发射红外线的IR投影仪来实现。第一、第二深度传感器例如能够通过红外线相机来实现。例如，通过在利用第一、第二深度传感器测量深度值的同时，IR投影仪投影IR图案，能够提高所测量的深度值的精度。具体地，将由第一深度传感器获取的左眼图像中的点与由第二深度传感器获取的右眼图像中的点建立关联，并根据这些点之间的偏移量来计算作为深度方向的值的深度值。另外，深度值的测量方法并不限于上述方法，可以实施各种变形。另外，彩色相机152和深度相机154既可以由一个相机框体实现，彩色相机152和深度相机154也可以分别由单独的相机框体实现。

操作部160用于由玩家(用户)输入各种操作信息(输入信息)。操作部160例如能够通过方向盘、加速踏板、制动踏板、操作杆、操作按钮、方向指示键、游戏控制器、枪型控制器、触摸面板或者声音输入装置等各种操作设备来实现。

存储部170存储各种信息。存储部170作为处理部100和通信部196等的工作区域发挥作用。图像生成处理用或游戏处理用的程序、执行程序所需的数据被保存在该存储部170中。存储部170的功能可以通过半导体存储器(DRAM、VRAM)、HDD(硬盘驱动器)、SSD、光盘装置等实现。存储部170包括虚拟空间信息存储部172和绘图缓冲区178。

信息存储介质180作为计算机可读取的介质，用于保存程序和数据等，其功能可以通过光盘(DVD、BD、CD)、HDD或半导体存储器(ROM)等实现。处理部100基于信息存储介质180中保存的程序(数据)进行本实施方式的各种处理。即，在信息存储介质180中存储了用于使计算机(具备输入装置、处理部、存储部、输出部的装置)作为本实施方式的各个部发挥功能的程序(用于使计算机执行各个部的处理的程序)。

HMD(头部安装型显示装置，也称为：头戴式显示器)200是安装在玩家的头部上、并在玩家的眼前显示图像的装置。优选HMD200为非透射型，但也可以为透射型。另外，HMD200也可以是所谓的眼镜型的HMD。HMD200例如可以包括用于实现头跟踪等跟踪处理的跟踪装置206。通过使用了跟踪装置206的跟踪处理，来确定HMD200的位置和方向。通过确定HMD200的位置和方向，可以确定玩家的视点位置和视线方向。作为跟踪方式，可以采用各种方式。在作为跟踪方式的一例的第一跟踪方式中，设置多个受光元件(光电二极管等)作为跟踪装置206。另外，通过利用这些多个受光元件接收来自设置在外部的发光元件(LED等)的光(激光等)，来确定HMD200(玩家的头部)在现实世界的三维空间中的位置和方向。在第二跟踪方式中，在HMD200中设置有多个发光元件(LED)作为跟踪装置206。另外，通过由设置在外部的拍摄部拍摄来自这些多个发光元件的光，来确定HMD200的位置和方向。在第三跟踪方式中，设置运动传感器作为跟踪装置206，并使用该运动传感器来确定HMD200的位置和方向。运动传感器例如能够通过加速度传感器或陀螺仪传感器等实现。例如，通过使用使用了三轴加速度传感器和三轴陀螺仪传感器的六轴运动传感器，可以确定HMD200在现实世界的三维空间中的位置和方向。另外，也可以通过第一跟踪方式和第二跟踪方式的组合，或者第一跟踪方式和第三跟踪方式的组合等，来确定HMD200的位置和方向。另外，也可以不通过确定HMD200的位置和方向来确定玩家的视点位置和视线方向，而采用直接确定玩家的视点位置和视线方向的跟踪处理。例如，也可以使用眼睛跟踪、面部跟踪或头跟踪等各种视点跟踪方法。另外，也可以使用环境识别相机进行玩家周围的真实空间的识别处理，基于识别处理的结果来确定玩家的位置和方向等。例如，也可以根据与识别出的真实空间的物体之间的相对位置关系来确定玩家的位置和方向等。

HMD200的显示部208例如可以通过有机EL显示器(OEL)或液晶显示器(LCD)等实现。例如，在HMD200的显示部208中设置有在玩家的左眼前方设定的第一显示器或第一显示区域、和在玩家的右眼前方设定的第二显示器或第二显示区域，从而能够进行立体显示。在进行立体显示的情况下，例如生成视差不同的左眼用图像和右眼用图像，在第一显示器上显示左眼用图像，在第二显示器上显示右眼用图像。或者，在一个显示器的第一显示区域显示左眼用图像，在第二显示区域显示右眼用图像。另外，在HMD200中设置有左眼用和右眼用的两个目镜(鱼眼镜头)，由此来显示在玩家的视野的整个周围扩展的虚拟空间。另外，对左眼用图像和右眼用图像进行校正处理，以校正在目镜等光学系统中产生的变形。

观众用显示装置210是用于显示观众用图像的装置，例如可以通过LCD、有机EL显示器或CRT等实现。例如，通过本实施方式生成的合成图像被显示在观众用显示装置210上，作为观客的观众可以观看玩家进行游戏的样子。观众用显示装置210例如设置在由图像生成系统实现的模拟系统的设施中。

声音输出部192输出通过本实施方式生成的声音，例如可以通过扬声器或耳机等实现。

I/F(接口)部194进行与便携式信息存储介质195的接口处理，其功能可以通过I/F处理用的ASIC等实现。便携式信息存储介质195用于由玩家保存各种信息，是即使在不供电的情况下也保持这些信息的存储的存储装置。便携式信息存储介质195可以通过IC卡(存储卡)、USB存储器或磁卡等实现。

通信部196经由有线或无线网络与外部(其他装置)之间进行通信，其功能可以通过通信用ASIC或通信用处理器等硬件或通信用固件实现。

另外，用于使计算机作为本实施方式的各个部发挥功能的程序(数据)也可以采用这种方式：从服务器(主机装置)所具有的信息存储介质经由网络及通信部196发布到信息存储介质180(或存储部170)。这种基于服务器(主机装置)的信息存储介质的使用方式也可以包含在本公开的范围内。

处理部100(处理器)基于来自操作部160的操作信息、HMD200中的跟踪信息(HMD的位置及方向中的至少一方的信息、视点位置及视线方向中的至少一方的信息)、程序等，进行图像的获取处理、虚拟空间设定处理、游戏处理(模拟处理)、虚拟相机控制处理、图像生成处理、图像合成处理或声音生成处理等。

处理部100的各个部进行的本实施方式的各处理(各功能)可以通过处理器(包括硬件的处理器)实现。例如，本实施方式的各处理可以通过基于程序等信息进行动作的处理器和存储程序等信息的存储器来实现。处理器例如可以通过单独的硬件来实现各个部的功能，或者也可以通过一体的硬件来实现各个部的功能。例如，处理器包括硬件，该硬件可以包括处理数字信号的电路及处理模拟信号的电路中的至少一方。例如，处理器也可以由安装在电路基板上的一个或多个电路装置(例如IC等)、一个或多个电路元件(例如电阻、电容器等)构成。处理器例如也可以是CPU(Central Processing Unit：中央处理单元)。但是，处理器并不限于CPU，可以使用GPU(Graphics Processing Unit：图形处理单元)或DSP(Digital Signal Processor：数字信号处理器)等各种处理器。另外，处理器也可以是基于ASIC的硬件电路。另外，处理器也可以包括处理模拟信号的放大器电路或滤波器电路等。存储器(存储部170)既可以是SRAM、DRAM等半导体存储器，也可以是寄存器。或者，既可以是硬盘装置(HDD)等磁存储装置，也可以是光盘装置等光学式存储装置。例如，存储器存储计算机可读取的命令，通过由处理器执行该命令，从而实现处理部100的各个部的处理(功能)。这里的命令既可以是构成程序的命令集，也可以是对处理器的硬件电路指示动作的命令。

处理部100包括获取部102、虚拟空间设定部104、游戏处理部106、虚拟相机控制部110、图像生成部120、图像合成部122、声音生成部130。游戏处理部106包括移动体处理部107和框体控制部108。如上所述，由这些各个部执行的本实施方式的各处理能够通过处理器(或处理器及存储器)来实现。另外，可以实施省略这些构成要素(各个部)的一部分，或者追加其他构成要素等各种变形。

获取部102进行各种信息的获取处理，是用于获取信息的接口。例如，获取部102获取由相机150拍摄的图像。例如，获取由相机150拍摄的彩色图像或深度图像。另外，获取部102获取包括玩家的位置信息(视点位置信息)、方向信息(视线方向信息)及姿势信息(运动信息)中的至少一种的玩家信息。

虚拟空间设定部104进行设置有对象的虚拟空间(对象空间)的设定处理。例如，进行将以下各种对象设置在虚拟空间中的处理：表示移动体(车辆、人、机器人、电车、飞机、船、怪兽或动物等)、地图(地形)、建筑物、观众席、路线(道路)、物品、树木、墙壁、水面等显示物的各种对象(由多边形、自由曲面或细分曲面等基本面构成的对象)。即，确定世界坐标系中的对象的位置和旋转角度(与朝向、方向同义)，并在该位置(X、Y、Z)以该旋转角度(绕X、Y、Z轴的旋转角度)设置对象。具体地，在存储部170的虚拟空间信息存储部172中，与对象编号对应地存储有虚拟空间中的对象(部件对象)的位置、旋转角度、移动速度或移动方向等信息即对象信息。即，对象信息作为虚拟空间信息存储在虚拟空间信息存储部172中。虚拟空间设定部104例如对每帧进行作为虚拟空间信息的对象信息的更新处理。

游戏处理部106进行玩家进行游戏所需的各种游戏处理。换言之，游戏处理部106(模拟处理部)执行玩家体验虚拟现实(VR)所需的各种模拟处理。游戏处理例如是在满足游戏开始条件的情况下开始游戏的处理、使已开始的游戏继续进行的处理、在满足游戏结束条件的情况下结束游戏的处理、或者运算游戏成绩的处理等。该游戏处理部106包括移动体处理部107和框体控制部108。

移动体处理部107进行在虚拟空间内移动的移动体相关的各种处理。例如，进行在虚拟空间(对象空间、游戏空间)中使移动体移动的处理、使移动体动作的处理。例如，移动体处理部107基于玩家通过操作部160输入的操作信息、获取的跟踪信息、程序(移动、动作算法)、各种数据(动作数据)等，进行使移动体(模型对象)在虚拟空间内移动，或者使移动体动作(运动、动画)的控制处理。具体地，进行对每帧(例如1/60秒)依次求出移动体的移动信息(位置、旋转角度、速度或加速度)或动作信息(部件对象的位置或旋转角度)的模拟处理。另外，帧是进行移动体的移动处理、动作处理(模拟处理)或图像生成处理的时间单位。移动体例如是与真实空间的玩家对应的玩家角色(虚拟玩家)或玩家角色搭乘的搭乘移动体。搭乘移动体例如是模拟虚拟空间中出现的车辆、船、艇、飞机、战车或机器人等交通工具的移动体。另外，玩家角色搭乘在与真实空间的框体30对应的虚拟空间的搭乘移动体上。移动体处理部107进行使这种搭乘移动体在虚拟空间内移动，或者使玩家角色在虚拟空间内移动的处理。

框体控制部108进行框体30的控制处理。例如，控制框体30的可动机构，进行使真实空间的框体30的姿势或位置发生变化的控制处理。例如，通过框体30的姿势或位置发生变化，搭乘于框体30上的玩家的游戏位置发生变化。

虚拟相机控制部110进行虚拟相机的控制。例如，基于通过操作部160输入的玩家的操作信息或跟踪信息等，控制虚拟相机。具体地，控制玩家用的虚拟相机。例如，通过在与在虚拟空间中移动的玩家角色的视点(第一人称视点)对应的位置设定玩家用的虚拟相机，来设定虚拟相机的视点位置和视线方向，从而对虚拟相机的位置(位置坐标)和姿势(绕旋转轴的旋转角度)进行控制。或者，通过在追随玩家角色或搭乘移动体等移动体的视点(第三人称视点)的位置设定玩家用的虚拟相机，来设定虚拟相机的视点位置或视线方向，从而对虚拟相机的位置和姿势进行控制。

例如，基于通过视点跟踪获取的玩家的视点信息等跟踪信息，虚拟相机控制部110对玩家用的虚拟相机进行控制，以追随玩家的视点变化。例如，在本实施方式中，获取玩家的视点位置和视线方向中的至少一个的视点信息的跟踪信息(视点跟踪信息)。例如，可以通过进行HMD200的跟踪处理来获取该跟踪信息。另外，虚拟相机控制部110基于所获取的跟踪信息(玩家的视点位置及视线方向中的至少一方的信息)，使玩家用的虚拟相机的视点位置和视线方向发生变化。例如，虚拟相机控制部110设定虚拟相机，使得虚拟空间中的虚拟相机的视点位置和视线方向(位置、姿势)根据真实空间中的玩家的视点位置和视线方向的变化而相应地变化。由此，能够控制虚拟相机以基于玩家的视点信息等跟踪信息，来追随玩家的视点变化。

另外，虚拟相机控制部110也对拍摄用的虚拟相机进行控制，拍摄用的虚拟相机用于拍摄用来与真实空间图像合成虚拟空间图像。例如，在与真实空间的相机150的位置对应的虚拟空间的位置设置拍摄用的虚拟相机。并且，将从拍摄用的虚拟相机观察到的虚拟空间图像和由相机150拍摄的真实空间图像合成。

图像生成部120进行虚拟空间图像的生成处理。虚拟空间图像是游戏图像或模拟图像。例如，图像生成部120基于处理部100进行的各种处理(游戏处理、模拟处理)的结果进行绘图处理，由此生成虚拟空间图像。例如，在HMD200上显示从玩家用的虚拟相机观察到的玩家用的虚拟空间图像。把从拍摄用的虚拟相机观察到的虚拟空间图像与真实空间图像合成。具体地，进行坐标变换(世界坐标变换、相机坐标变换)、剪辑处理、透视变换或光源处理等几何处理，并基于该处理结果，生成绘图数据(基本面的顶点的位置坐标、纹理坐标、颜色数据、法线向量或α值等)。另外，基于该绘图数据(基本面数据)，将透视变换后(几何处理后)的对象(一个或多个基本面)绘制在绘图缓冲区178(帧缓冲区、工作缓冲区等能够以像素单位存储图像信息的缓冲区)中。由此，生成在虚拟空间中从虚拟相机(给定的视点。左眼用、右眼用的第一、第二视点)观察到的图像。另外，由图像生成部120进行的绘图处理可以通过顶点着色器处理和像素着色器处理等实现。

图像合成部122进行虚拟空间图像和真实空间图像的合成处理，生成合成图像。例如，图像合成部122生成在虚拟空间图像中合成了真实空间的被摄体的图像的合成图像。由图像合成部122生成的合成图像作为观众用图像显示在观众用显示装置210上。

声音生成部130基于处理部100进行的各种处理结果进行声音处理。具体地，生成乐曲(音乐、BGM)、效果音或语音等游戏音，并将游戏音输出到声音输出部192。

另外，如图1所示，本实施方式的图像生成系统包括获取部102、图像生成部120和图像合成部122。

获取部102获取由相机150拍摄了背景及被摄体的第一图像。另外，获取由相机150拍摄了背景的第二图像。例如，获取部102获取作为由彩色相机152拍摄的彩色图像的第一图像和第二图像。第一图像中拍摄了背景及被摄体两者，而第二图像中拍摄了背景而未拍摄被摄体。被摄体是作为相机的拍摄对象的真实空间的物体，例如是玩家。但是，本实施方式的被摄体并不限于此，也可以是玩家以外的被摄体。

图像生成部120生成在虚拟空间中从虚拟相机观察到的虚拟空间图像。例如，在作为设置有多个对象的对象空间的虚拟空间中，生成从虚拟相机观察到的图像即虚拟空间图像。例如，图像生成部120生成在虚拟空间中从玩家用的虚拟相机观察到的玩家用的虚拟空间图像。将生成的玩家用的虚拟空间图像显示在HMD200上，可以使玩家体验虚拟现实(VR)世界。另外，也可以在与HMD200不同类型的显示装置上显示由图像生成部120生成的玩家用的虚拟空间图像。例如，也可以在具有覆盖玩家视野的圆顶形状的显示屏幕的显示装置上进行显示。

另外，图像生成部120生成从设置在与相机150的位置对应的虚拟空间中的位置上的拍摄用的虚拟相机观察到的虚拟空间图像。拍摄用的虚拟相机用于拍摄作为由相机150拍摄的真实空间图像的合成对象的虚拟空间图像。拍摄用的虚拟相机在虚拟空间中设置在与真实空间的相机150的位置对应的位置。作为一例，相机150在真实空间的被摄体的前方以与被摄体正对的方式设置。即，以被摄体进入拍摄范围的方式设置相机150。在这种情况下，拍摄用的虚拟相机在与被摄体对应的虚拟空间的对象的前方以与该对象正对的方式设置。在这种情况下，拍摄用的虚拟相机和该对象之间的相机距离被设定为与相机150和被摄体之间的相机距离对应的距离。以被摄体为玩家的情况为例，相机150在真实空间的玩家的前方以与玩家正对的方式设置。并且，拍摄用的虚拟相机在与玩家对应的玩家角色(玩家移动体)的前方以与玩家角色正对的方式设置。在这种情况下，拍摄用的虚拟相机与玩家角色之间的距离被设定为与相机150和玩家之间的距离对应的距离。

图像合成部122通过求出第一图像和第二图像的差分图像来提取被摄体的图像。即，进行从显示背景及被摄体的第一图像和显示背景的第二图像的差分图像中提取被摄体的图像的处理。另外，图像合成部122生成在虚拟空间图像中合成了被摄体的图像的合成图像。该合成图像例如显示在观众用显示装置210上。

另外，显示合成图像的显示装置并不限于观众用显示装置210。例如，也可以经由网络发布合成图像，并显示在电脑、手机或游戏装置等终端装置上。作为发布，例如可以考虑使用因特网或服务器等进行上传、下载、推送、直播等各种方式的发布。或者，也可以在HMD200的显示区域的一部分区域中显示在虚拟空间图像中合成了被摄体的图像的合成图像。

另外，图像合成部122提取在真实空间中被摄体搭乘的框体30的图像。另外，生成在虚拟空间图像中合成了被摄体的图像及框体30的图像的合成图像。该合成图像显示在观众用显示装置210等显示装置上。例如，作为被摄体的玩家通过搭乘于作为骑乘框体的框体30上，来享受虚拟现实游戏(VR游戏、模拟游戏)的游戏乐趣。例如，在虚拟空间图像中显示有与框体30对应的车辆、船或机器人等移动体。在框体30为可动框体的情况下，以框体30的姿势变化的方式控制框体30。由此，搭乘于框体30上的玩家的游戏位置发生各种变化。图像合成部122生成的与虚拟空间图像的合成图像中不仅包括了玩家等被摄体的图像，还包括这种框体30的图像。由此，在真实空间中玩家搭乘于框体30上的情况下，能够将显示玩家搭乘于框体30上的样子的真实空间图像合成在在虚拟空间图像中，从而生成合成图像。另外，该合成图像被显示在观众用显示装置210等显示装置上。

另外，图像合成部122使用指定框体30的图像的提取范围的框体掩模图像来提取框体30的图像。例如，从第一图像等彩色图像中提取框体30的图像。例如，通过操作者手动进行描画框体30的大致形状的操作来指定提取范围，从而生成范围指定用的框体掩模图像。另外，也可以实施如下变形方式：通过图像处理自动识别框体30的图像的提取范围(边缘)，来生成框体掩模图像。框体掩模图像是用于从其他背景识别框体30的提取范围的掩模图像，以将框体30和其他的背景区分开来。虽然框体30原本是被认作背景，但是通过利用该框体掩模图像指定提取范围，仍然可以将框体30的图像与被摄体同样地提取出来，并和虚拟空间图像合成。后面将对使用框体掩模图像的提取处理的详细内容进行说明。

另外，图像合成部122基于来自安装在被摄体上的至少一个跟踪装置的跟踪信息，设定被摄体的图像的提取范围，提取被摄体的图像。例如，作为可穿戴设备的跟踪装置安装在被摄体上，基于来自跟踪装置的跟踪信息，获取跟踪装置的位置信息等，并基于所获取的位置信息等，设定被摄体的图像的提取范围。例如，在被摄体上安装有多个跟踪装置的情况下，将包含这些多个跟踪装置的位置的范围设定为被摄体的图像的提取范围，将该提取范围作为提取处理的对象范围，来提取被摄体的图像。另外，跟踪装置也可以是内置于安装在被摄体上的HMD200中的跟踪装置206。

另外，图像合成部122基于跟踪装置的位置和在从跟踪装置的位置偏移给定距离的位置设定的辅助点的位置，来设定被摄体的图像的提取范围。例如，从跟踪信息中获取跟踪装置的设置方向的信息。另外，将从跟踪装置的位置沿跟踪装置的设置方向偏移(位移)给定距离的位置设定为辅助点的位置。另外，将包含跟踪装置的位置和辅助点的位置的范围设定为提取范围，提取被摄体的图像。

另外，作为显示给作为被摄体的玩家的玩家用的虚拟空间图像，图像生成部120生成在虚拟空间中与拍摄用的虚拟相机的位置对应的位置上显示虚拟相机的图像及拍摄者角色的图像中的至少一方的虚拟空间图像。例如，在与拍摄用的虚拟相机的位置及方向对应的位置及方向上设置作为表示拍摄用的虚拟相机的三维模型的虚拟相机对象。或者，将使用拍摄用的虚拟相机进行拍摄的拍摄者角色的图像设置在与虚拟相机的位置对应的位置。另外，拍摄者角色进行演出处理，如进行拍摄动作的运动，或者说出拍摄相关的台词等。

另外，本实施方式的图像生成系统(模拟系统)包括：HMD200，安装于作为被摄体的玩家上，显示在虚拟空间中从玩家用的虚拟相机观察的玩家用的虚拟空间图像；观众用显示装置210，显示作为观众用图像的合成图像。由此，由图像生成部120生成的玩家用的虚拟空间图像被显示在HMD200上，作为虚拟空间图像，玩家可以通过HMD200观看在虚拟空间中从玩家用的虚拟相机观察到的图像。另一方面，在虚拟空间图像中合成了被摄体的图像的合成图像作为观众用图像被显示在观众用显示装置210上，观众可以通过观看观众用图像来掌握玩家在虚拟空间中的情况和行动。

另外，获取部102获取由相机150拍摄了背景及被摄体的深度图像。例如，获取从相机150(深度相机154)观察时的背景及被摄体的深度信息作为深度图像。另外，图像合成部122基于差分图像和深度图像来提取被摄体的图像。即，使用显示被摄体及背景的第一图像和显示背景的第二图像的差分图像与深度图像来提取被摄体的图像。例如，根据差分图像和深度图像两者，判断与被摄体对应的像素，将该像素作为被摄体的像素，并提取被摄体的图像。

另外，图像合成部122基于差分图像生成差分掩模图像。例如，进行差分图像的二值化处理等生成差分掩模图像。在这种情况下，图像合成部122也可以基于差分图像和深度图像(深度掩模图像)生成差分掩模图像。例如，也可以对通过进行差分图像的二值化处理而得到的掩模图像和从深度图像得到的深度掩模图像取AND(逻辑与)等，来生成差分掩模图像。在这种情况下，作为取AND的对象的深度掩模图像既可以是后述的校正处理前的深度掩模图像，也可以是校正处理后的深度掩模图像。另外，图像合成部122基于深度图像生成用于识别深度值在给定的深度范围(深度有效范围)内的像素的深度掩模图像。例如，深度范围是深度值在近侧的第一深度值以上、在远侧的第二深度值以下的范围。图像合成部122生成深度范围内的像素为第一像素值(例如白色像素值)、该深度范围外的像素为第二像素值(例如黑色像素值)的深度掩模图像。另外，图像合成部122基于差分掩模图像和深度掩模图像，来生成用于识别被摄体的被摄体掩模图像。例如，生成被摄体的范围内的像素为第一像素值(例如白色的像素值)、被摄体的范围外的像素为第二像素值(例如黑色像素值)的被摄体掩模图像。另外，图像合成部122基于被摄体掩模图像和第一图像提取被摄体的图像。例如，在第一图像中，将通过被摄体掩模图像指定的范围判断为被摄体的图像，并提取被摄体的图像。

另外，图像合成部122进行深度掩模图像的校正处理，并基于校正处理后的深度掩模图像和差分掩模图像生成被摄体掩模图像。例如，针对用于识别深度值在给定的深度范围内的像素的深度掩模图像，图像合成部122对其进行用于去除噪声等的校正处理。另外，基于校正处理后的深度掩模图像和从第一图像和第二图像的差分图像得到的差分掩模图像，生成被摄体掩模图像。

例如，图像合成部122生成由相机150(深度相机154)拍摄了背景及被摄体的第一深度图像和由相机150(深度相机154)拍摄了背景的第二深度图像的差分深度掩模图像。即，生成作为第一深度图像和第二深度图像的差分图像的差分深度掩模图像。另外，图像合成部122基于差分深度掩模图像，生成校正处理后的深度掩模图像。即，作为深度掩模图像的校正处理，进行生成差分深度掩模图像的处理。

另外，图像合成部122通过进行形态学滤波处理及时间序列滤波处理中的至少一方，来生成校正处理后的深度掩模图像。即，作为深度掩模图像的校正处理，进行形态学滤波处理及时间序列滤波处理中的至少一方，从而去除噪声等。形态学滤波处理是腐蚀膨胀(Dilation/Erosion)的滤波处理。时间序列滤波处理是平滑化(Smoothing)处理，例如是规定数量的帧以上连续存在规定值以上的差分值时作为掩模有效的处理。

另外，针对在深度图像中无法获取深度值的像素，图像合成部122进行基于差分图像设定这些像素的像素值的处理，来生成校正处理后的深度掩模图像。例如，通过深度相机154的立体相机，将无法获取深度值的像素设定为空白像素。另外，基于作为彩色图像的第一图像和第二图像的差分图像来设定空白像素。例如，使用基于差分图像的差分掩模图像，进行填充深度掩模图像中的空白像素的像素值的处理。

另外，图像合成部122求出深度值在深度范围内的像素组(相邻的像素组)的区域尺寸。例如，通过进行深度值在给定的深度范围内的像素组的像素的计数处理，来求出区域尺寸。另外，将区域尺寸最大的区域或区域尺寸在规定尺寸以上的区域的像素组判断为与被摄体对应的像素组，生成深度掩模图像。

另外，图像合成部122基于被判断为被摄体的区域的被摄体区域中的深度值来设定第二深度范围。例如，设定比上述深度范围窄的第二深度范围。另外，将识别深度值在第二深度范围内的像素的图像生成作为深度掩模图像。即，将深度值在第二深度范围内的像素组判断为与被摄体对应的像素组，生成深度掩模图像。

另外，在本实施方式中，作为玩家进行的游戏的游戏处理，进行虚拟现实的模拟处理。虚拟现实的模拟处理是用于在虚拟空间中模拟真实空间中的事件的模拟处理，是用于使玩家虚拟体验该事件的处理。例如，进行用于使与真实空间的玩家对应的玩家角色或其搭乘移动体等移动体在虚拟空间中移动，或者使玩家体验伴随着移动所带来的环境或周围的变化的处理。

另外，图1的本实施方式的图像生成系统的处理可以通过商用游戏装置或家用游戏装置等处理装置、设置在设施中的电脑(PC)等处理装置、安装在玩家后背等上的处理装置(背包式电脑)或这些处理装置的分布式处理等来实现。在这种情况下，例如，实现图像合成部122的处理的处理装置、实现图像生成部120和游戏处理部106等其他处理的处理装置也可以通过其他硬件装置来实现。或者，也可以通过服务器系统和终端装置来实现本实施方式的图像生成系统的处理。例如，也可以通过服务器系统和终端装置的分布式处理等来实现。

2.跟踪处理

下面，对跟踪处理的例子进行说明。图2的(A)示出了HMD200的一例。在HMD200中设置有多个受光元件201、202、203(光电二极管)。受光元件201、202设置在HMD200的前面侧，受光元件203设置在HMD200的右侧面。另外，在HMD的左侧面、上面等上也设置有未图示的受光元件。另外，在玩家PL的规定部位(比如本实施方式的手)上安装有跟踪装置250、260。在安装于右手上的跟踪装置250中，与HMD200同样地，设置有多个受光元件251～254。在安装于左手上的跟踪装置260中，也设置有多个受光元件261～264(未图示)。通过使用设置有这种受光元件的跟踪装置250、260，与HMD200的情况同样，可以确定手等规定部位的位置和方向等部位信息。另外，安装有跟踪装置的玩家PL的规定部位并不限于手，例如可以假定脚、头部、胸部、腹部或腰等各种部位。

如图2的(B)所示，在框体30的周边设置有基站280、284。在基站280上设置有发光元件281、282，在基站284上设置有发光元件285、286。发光元件281、282、285、286例如通过射出红外线激光等激光的LED来实现。基站280、284使用这些发光元件281、282、285、286，例如放射状地射出激光。另外，通过设置在图2的(A)的HMD200上的受光元件201～203等接收来自基站280、284的激光，从而实现HMD200的跟踪处理，由此能够检测出玩家PL的头的位置和朝向的方向(视点位置、视线方向)。例如，可以检测出玩家PL的位置信息和姿势信息(方向信息)。

另外，设置在跟踪装置250、260中的受光元件251～254、261～264通过接收来自基站280、284的激光，能够检测出玩家PL的手(规定部位)的位置及方向中的至少一方。另外，跟踪装置250、260也可以通过体感控制器(比如：Leap Motion)的跟踪器来实现。

另外，在框体30的前方设置有具有彩色相机152和深度相机154的相机150。例如，相机150在玩家PL或框体30的前方以与玩家PL或框体30正对的方式设置。另外，在后述的图4的(A)、图4的(B)中说明的拍摄用的虚拟相机VCM设置在与相机150的位置对应的虚拟空间的位置。例如，虚拟相机VCM在与玩家PL对应的玩家角色或与框体30对应的车辆等移动体的前方以与玩家角色或移动体正对的方式设置。另外，玩家角色或移动体和虚拟相机VCM的相机距离也被设定为与玩家PL或框体30和相机150的相机距离对应的距离。

3.框体

图3示出了框体30的构成例。在图3的框体30中，在底部32上设置有盖部33，在其上设置有基座部34(台座部)。基座部34以与底部32相对的方式设置。在基座部34上设置有具有座椅62的骑乘部60。玩家PL就座于该骑乘部60的座椅62上。另外，在基座部34上设置有移动部40，在移动部40上设置有方向盘50、加速踏板52、制动踏板54(未图示)等操作部160和对玩家进行送风的送风机80。该移动部40在前后方向上移动自如。

另外，在框体30的前方设置有相机150。通过设置这样的相机150，能够拍摄框体30和搭乘于框体30上的玩家。

框体30根据游戏处理的结果(游戏状况)，使玩家的游戏位置发生变化。例如，在本实施方式中，作为玩家进行的游戏的游戏处理，进行虚拟现实的模拟处理。例如，进行用于使与真实空间的玩家对应的玩家角色搭乘的移动体(车辆、机器人等)在虚拟空间中移动，或者使玩家体验伴随着移动而带来的环境或周围的变化的处理。另外，框体30基于作为游戏处理的模拟处理的结果使游戏位置发生变化。例如，根据玩家角色搭乘的移动体(或玩家角色)在虚拟空间中的移动处理的结果等，使游戏位置发生变化。例如，在赛车游戏中，作为用于使玩家体验车辆(赛车)移动时的加速、减速或伴随着方向变化的加速度的模拟处理，进行使游戏位置发生变化的处理。或者，在来自敌方的攻击命中车辆的情况下，作为用于使玩家体验该冲击的模拟处理，进行使游戏位置发生变化的处理。这里，游戏位置是玩家在进行虚拟现实(VR)的模拟游戏时所处的游戏位置。例如，游戏位置是玩家的骑乘部60的骑乘位置。

具体地，在图3中，在底部32和基座部34之间，在其四角设置有未图示的第一～第四空气弹簧部(广义上为伸缩部)。这些第一～第四空气弹簧部通过使用空气压缩机或气泡进行空气的供给或排出，从而在图3的Y轴方向上伸缩。例如，通过所有的第一～第四空气弹簧部伸长或收缩，能够使基座部34在Y轴方向上向上侧或下侧移动。通过这些在上下方向上的基座部34的移动，例如能够再现路线的路面状态等。例如，通过以较少的行程且较快的速度使基座部34在上下方向上移动，能够表现路面的凹凸(不平整道路)等。

另外，通过四角的第一～第四空气弹簧部中的前侧及后侧的一方的空气弹簧部伸长，另一方的空气弹簧部收缩，能够使基座部34绕X轴上下颠簸。另外，通过四角的第一～第四空气弹簧部中的左侧及右侧的一方的空气弹簧部伸长，另一方的空气弹簧部收缩，能够使基座部34绕Z轴左右摇晃。通过进行这样的上下颠簸或左右摇晃，能够使玩家体验伴随着车辆等移动体的移动的加速感、减速感和转弯时的惯性力。由此，在提高玩家的虚拟现实感的同时，也能够抑制所谓的3D晕眩症。

4.本实施方式的方法

下面，对本实施方式的方法进行说明。另外，以下主要说明将本实施方式的方法应用于玩家角色搭乘在车辆上与其他车辆竞争的赛车游戏的情况。但是，应用本实施方式的方法的游戏并不限于这样的赛车游戏。例如，本实施方式的方法可以应用于赛车游戏以外的各种游戏(车以外的竞争游戏、机器人游戏、FPS(First Person shoot：第一人称射击)或格斗游戏等对战游戏、电车或飞机等交通工具的模拟游戏、RPG(角色扮演游戏)、动作游戏、虚拟体验游戏、体育游戏、恐怖体验游戏或音乐游戏等)，也可以应用于游戏以外。另外，以下主要以相机150的被摄体为玩家的情况为例进行说明。

4.1游戏的说明

图4的(A)、图4的(B)是在通过本实施方式实现的赛车游戏中显示给玩家的玩家用的虚拟空间图像的例子。在本实施方式中，图4的(A)、图4的(B)的玩家用的虚拟空间图像显示在玩家安装的HMD200上。在该赛车游戏中，与真实空间的玩家对应的虚拟空间的玩家角色成为驾驶员，并搭乘作为移动体的车辆(赛车)进行驾驶，与敌方车辆竞争。在路线上设定有物品区域，通过获得并使用该物品区域的物品，能够使赛车游戏取得优势。

在图4的(A)、图4的(B)的玩家用的虚拟空间图像(游戏图像)中，显示在虚拟空间的路线上行驶的玩家的车辆MV(移动体)和敌方车辆MVE(敌方移动体)。另外，还显示车辆MV的方向盘ST、操作方向盘ST的玩家角色的手HR、HL等部位。另外，当真实空间的玩家向左操纵图3的方向盘50时，如图4的(A)所示，在虚拟空间中也显示通过玩家角色的手HR、HL向左操纵车辆MV的方向盘ST的虚拟空间图像。另外，当真实空间的玩家PL向右操纵方向盘50时，如图4的(B)所示，在虚拟空间中也显示通过玩家角色的手HR、HL向右操纵方向盘ST的虚拟空间图像。即，显示虚拟空间的玩家角色的手HR、HL与真实空间的玩家的手的动作联动地进行动作的虚拟空间图像。如此，能够给玩家带来好像正在驾驶真正的车辆那样的虚拟现实感。另外，在图4的(A)、图4的(B)中，还显示了拍摄用的虚拟相机VCM的图像，拍摄用的虚拟相机VCM用来拍摄作为真实空间图像的合成对象的虚拟空间图像。

图5的(A)、5(B)是通过本实施方式生成的虚拟空间图像和真实空间图像的合成图像的例子。在图5的(A)、5(B)中，玩家PL和框体30的图像是由图2的(B)、图3的相机150拍摄了玩家PL和框体30而得到的真实空间图像。具体地，是根据背景差分法从相机150的拍摄图像中提取出玩家PL等而得到的真实空间图像。另一方面，敌方角色CHE、敌方车辆MVE、效果EF1、EF2、路线CS等的图像是由图4的(A)、图4的(B)的拍摄用的虚拟相机VCM拍摄的虚拟空间图像。将玩家PL和框体30的真实空间图像合成至从拍摄用的虚拟相机VCM观察到的虚拟空间图像中，从而生成图5的(A)、5(B)的合成图像。该合成图像如后述的图12的(B)所示，例如显示在观众用显示装置210上。由此，观众能够掌握玩家PL在虚拟空间中是怎样愉快地进行游戏的。

另外，在图5的(A)中，从拍摄用的虚拟相机VCM观察，由于敌方角色CHE和敌方车辆MVE位于玩家PL和框体30的里侧，因此对敌方角色CHE和敌方车辆MVE的图像进行了隐藏面消除。另一方面，在图5的(B)中，从拍摄用的虚拟相机VCM观察，由于玩家PL和框体30位于敌方角色CHE和敌方车辆MVE的里侧，因此对玩家PL和框体30的图像进行了隐藏面消除。如此，在本实施方式中，对于作为真实空间图像的玩家PL和框体30，也进行反映了虚拟空间中的位置关系的隐藏面消除。另外，在本实施方式中，例如基于虚拟空间中的照明信息，进行对玩家PL和框体30的照明处理(阴影处理)。例如，在虚拟空间的明亮度为昏暗状况的情况下，进行使玩家PL和框体30的图像也变暗的照明处理，而在明亮状况的情况下，以玩家PL和框体30的图像也变亮的照明处理。

在本实施方式中，获取由设置在真实空间中的相机150拍摄了背景及被摄体而得到的第一图像，和由相机150拍摄了背景而得到的第二图像。被摄体是玩家PL等。另外，生成从设置在与相机150的位置对应的虚拟空间的位置的拍摄用的虚拟相机VCM观察到的虚拟空间图像。另外，通过求出第一图像和第二图像的差分图像，提取玩家PL等被摄体的图像，如图5的(A)、图5的(B)所示，生成在虚拟空间图像中合成了被摄体的图像的合成图像。由此，能够生成看起来好像真实空间的被摄体出现在了虚拟空间中那样的合成图像。

而且，在本实施方式中，提取在真实空间中作为被摄体的玩家PL搭乘的框体30的图像。另外，如图5的(A)、图5的(B)所示，生成在虚拟空间图像中合成了作为被摄体的玩家PL的图像及框体30的图像而得到的合成图像。由此，能够生成不仅作为被摄体的玩家PL，玩家PL在真实空间中搭乘的框体30看起来好像也出现了在虚拟空间中那样的合成图像。

在这种情况下，在本实施方式中，使用如图6的(A)所示的框体掩模图像MSC，提取如图6的(B)所示的框体30的图像。框体掩模图像MSC是指定框体30的图像的提取范围的掩模图像，作为一例，通过操作者的手动操作生成。例如，通过操作者一边观察拍摄了框体30的图像，一边进行描画框体30的大致形状的操作来指定提取范围，从而生成框体掩模图像MSC。框体掩模图像MSC例如是框体30的图像的提取范围内的像素值为第一像素值(白色像素值)、提取范围外的像素值为第二像素值(黑色像素值)的掩模图像。对于本来作为背景而不会被提取出来的框体30的图像，通过使用这种框体掩模图像MSC，能够将其与被摄体的图像同样地提取出来。另外，在后述的图19的(A)～图21的(D)中会对使用了框体掩模图像MSC的提取处理的具体例进行详细说明。

另外，在本实施方式中，作为显示给作为被摄体的玩家的玩家用的虚拟空间图像，生成在虚拟空间中与拍摄用的虚拟相机的位置对应的位置上显示拍摄用的虚拟相机的图像及拍摄者角色的图像中的至少一方的虚拟空间图像。例如，在图4的(A)中，在玩家角色搭乘的车辆MV的前方显示拍摄用的虚拟相机VCM的图像。另外，在图4的(B)中，在车辆MV的前方显示拍摄者角色CHM的图像。拍摄者角色CHM将虚拟相机VCM朝向车辆MV的方向，说着“看这里”的台词。

如图2的(B)、图3中说明的那样，真实空间的相机150在玩家PL搭乘的框体30的前方设置。具体地，真实空间的相机150在框体30的前方，在间隔给定相机距离的位置，使相机方向朝向框体30设置。另外，在本实施方式中，拍摄用的虚拟相机VCM在与真实空间的相机150的位置对应的虚拟空间的位置设置。即，拍摄用的虚拟相机VCM在虚拟空间的车辆MV的前方，在间隔与上述给定相机距离所对应的距离的位置，将相机方向朝向车辆MV设置。

另外，在图4的(A)、图4的(B)中，在虚拟空间图像中显示了与真实空间的相机150对应的拍摄用的虚拟相机VCM的图像。通常，在这种虚拟空间图像中，不显示虚拟相机VCM的图像，但在图4的(A)中，特意显示了虚拟相机VCM的图像。另外，在图4的(B)中，在虚拟空间图像中显示了持有虚拟相机VCM的拍摄者角色CHM的图像。例如，显示一边在空中飞行一边将虚拟相机VCM朝向玩家角色一方进行拍摄的拍摄者角色CHM的图像。

如此，玩家将意识到自身被虚拟相机VCM拍摄了。另外，当玩家进行向拍摄自身的虚拟相机VCM挥手等动作时，在图5的(A)、图5的(B)的合成图像中，玩家PL进行挥手等动作的真实空间图像也被合成到虚拟空间图像中。另外，通过将这种合成图像显示在图12的(B)所示的观众用显示装置210上，在观众看来，玩家在虚拟空间中向他们挥手示意，所以能够实现玩家和观众的交流并一起兴奋的演出效果。

另外，本实施方式也可以应用于多玩家游戏。在这种情况下，设置第一～第n玩家搭乘的第一～第n框体(n为2以上的整数)。另外，在第一～第n框体的前方等位置，设置拍摄第一～第n框体和第一～第n玩家的第一～第n相机。另外，在生成第一～第n玩家中的第i玩家(i为1≤i≤n的整数)的观众用图像的情况下，将拍摄用的虚拟相机VCM移动到与第i玩家对应的第i玩家角色的前方等位置，对第i玩家角色或第i玩家角色搭乘的第i移动体进行拍摄。另外，通过合成由拍摄第i框体及第i玩家的第i相机拍摄的真实空间图像和从拍摄用的虚拟相机VCM观察到的虚拟空间图像，从而生成合成图像。另外，在观众用显示装置210上显示所生成的合成图像。如此，第i玩家通过在自身的前方显示拍摄用的虚拟相机VCM，能够意识到自身成为拍摄对象，对拍摄用的虚拟相机VCM和拍摄者角色CHM进行挥手等动作。由此，能够实现玩家与观众交流并一起兴奋的演出效果。

图7是本实施方式对穿越横跨在高楼之间的细桥这种高空体验的虚拟现实游戏的应用例。在本实施方式中，基于来自安装在被摄体上的至少一个跟踪装置的跟踪信息，设定被摄体的图像的提取范围，提取被摄体的图像。例如，在图7中，玩家PL在左手、右手、左脚、右脚上安装有图2的(A)中说明的跟踪装置TR1、TR2、TR3、TR4。通过使用这种跟踪装置TR1～TR4，能够跟踪玩家PL的手脚的运动，由此能够检测玩家PL的姿势和动作。另外，在本实施方式中，基于来自这些跟踪装置TR1～TR4的跟踪信息，设定作为被摄体的玩家PL的图像的提取范围AR，提取玩家PL的图像。更具体地，在图7中，由于HMD200也内置有跟踪装置TR5，因此基于来自安装在手脚上的跟踪装置TR1～TR4和设置在HMD200上的跟踪装置TR5的跟踪信息，设定提取范围AR。例如，作为来自跟踪装置TR1～TR5的跟踪信息，获取跟踪装置TR1～TR5的位置等信息，将包含该跟踪装置TR1～TR5的位置的范围设定为提取范围AR。另外，在该提取范围AR中，进行玩家PL的图像的提取处理。如此，即使在虚拟现实游戏中玩家的姿势发生变化，或者进行了各种动作的情况下，也能够基于适当的提取范围AR对玩家PL的图像进行提取处理。另外，还能够防止将未预定为被摄体的物体误作为被摄体提取的情况。

另外，在本实施方式中，基于跟踪装置的位置和在从跟踪装置的位置偏移(位移)给定距离的位置设定的辅助点的位置，来设定被摄体的图像的提取范围。例如，在图8的(A)、图8的(B)中，玩家PL乘坐在高楼的电梯中。在这种情况下，如图8的(A)所示，如果仅基于跟踪装置TR1～TR5的位置设定提取范围AR，则例如玩家PL的后背部分等将不会进入提取范围AR，无法实现适当的提取处理。

因此，在本实施方式中，如图8的(B)所示，例如在玩家PL身上安装有HMD200的跟踪装置TR5，在该跟踪装置TR5的位置之外的位置，设定用于设定提取范围AR的辅助点PAX。例如，也基于来自HMD200的跟踪装置TR5的跟踪信息来获取HMD200的方向信息。使用该方向信息，在从HMD200的位置向后方向偏移给定距离的位置设定辅助点PAX。另外，基于跟踪装置TR1～TR5的位置和辅助点PAX的位置，设定作为被摄体的玩家PL的提取范围AR。如此，如图8的(B)所示，能够设定包含整个玩家PL的提取范围AR，能够实现作为被摄体的玩家PL的图像的适当的提取处理。

4.2图像合成处理

下面，对合成虚拟空间图像和真实空间图像的本实施方式的图像合成处理的详细例子进行说明。图9是对本实施方式的详细处理例进行说明的流程图。

首先，获取由相机150拍摄了背景的第二图像(步骤S1)例如，在图2的(B)、图3中，在玩家未搭乘于框体30上的状态下，获取由相机150拍摄了包括框体30等的背景的第二图像。另外，判断游戏是否开始(步骤S2)，在游戏开始的情况下，判断是否为帧更新(步骤S3)。例如，在本实施方式中，每当帧更新时，就进行虚拟空间图像或合成图像的生成处理。

在帧更新的情况下，在虚拟相机中生成从虚拟相机观察到的虚拟空间图像(步骤S4)。例如，生成从拍摄用的虚拟相机观察到的虚拟空间图像和显示在玩家的HMD200上的玩家用的虚拟空间图像。另外，获取由相机150拍摄了背景及被摄体的第一图像(步骤S5)。即，通过相机150拍摄背景和作为被摄体的玩家，从而获得第一图像。

然后，通过求出第一图像和第二图像的差分图像来提取被摄体的图像(步骤S6)。即，如后所述，使用背景差分法提取作为被摄体的玩家的图像。另外，生成在虚拟空间图像中合成了被摄体的图像的合成图像(步骤S7)。即，如图5的(A)、图5的(B)所示，在显示有敌方角色CHE、敌方车辆MVE、路线CS等的虚拟空间图像中合成作为被摄体的玩家PL等的真实空间图像(实拍图像)，从而生成合成图像。另外，在观众用显示装置210上显示合成图像(步骤S8)。另外，在HMD200上显示从玩家用的虚拟相机观察到的玩家用的虚拟空间图像。另外，判断游戏是否结束(步骤S9)，在游戏未结束的情况下，返回到步骤S3，在游戏结束的情况下，结束处理。

在上述的本实施方式中，获取由设置在真实空间中的相机150拍摄了背景及被摄体的第一图像和由相机150拍摄了背景的第二图像。在图9中，在步骤S1中获取第二图像，在步骤S5中获取第一图像。另外，生成从设置在与相机150的位置对应的虚拟空间的位置的拍摄用的虚拟相机观察到的虚拟空间图像。即，生成从图4的(A)、图4的(B)所示的拍摄用的虚拟相机VCM观察到的虚拟空间图像。另外，如步骤S6、S7所示，通过求出第一图像和第二图像的差分图像，提取被摄体的图像，生成在虚拟空间图像中合成了被摄体的图像的合成图像。例如，图10的(A)是第一图像IM1的例子。第一图像IM1中显示了作为被摄体的玩家PL的图像和天花板、墙壁、柱等背景BG的图像。图10的(B)是第二图像IM2的例子。第二图像IM2中显示了背景BG的图像，但没有显示作为被摄体的玩家PL的图像。通过求出这种第一图像IM1和第二图像IM2的差分图像，能够根据背景差分法提取被摄体的图像。由此，如图5的(A)、图5的(B)所示，可以生成在作为游戏图像的虚拟空间图像中合成了作为真实空间图像的被摄体的图像的合成图像。

例如，在使用了HMD200等的虚拟现实游戏中，存在如下问题：游戏的趣味性没法传达给未实际体验过虚拟现实游戏的人，而且，因为观众无法看到VR游戏中玩家的游玩情况，所以，玩家和观众不能共享虚拟现实游戏体验。

在这种情况下，如果将虚拟现实游戏的虚拟空间图像和作为被摄体的玩家的真实空间图像进行合成，将玩家看起来好像进入了虚拟空间中进行游戏那样的影像显示给观众，则观众能够掌握在虚拟现实游戏中玩家正在进行怎样的游戏，因此能够共享虚拟现实游戏的体验。但是，如果通过使用了蓝幕或绿幕的色度键合成来进行这样的虚拟空间图像和真实空间图像的图像合成，则存在必须设置用于蓝幕或绿幕的大型拍摄用设备器材的问题。例如，在设置有游戏的框体30的游戏设施中，除了设置这种大型拍摄用设备器材不现实之外，而且如果强行设置，还限制了场所内装饰(比如占地方、蓝幕或绿幕影响外观)。另外，在色度键合成中，如果被摄体存在蓝色或绿色的部分，则该部分会被视为背景，也会发生颜色缺失的问题。另外，为了使玩家看起来好像进入了虚拟空间中进行游戏一样，需要虚拟空间图像与真实空间图像进行和谐融合。此时，如果虚拟空间图像和真实空间图像的图像合成的质量较低，例如真实空间图像中进入或存在玩家以外的人或物等多余的物体时，则虚拟空间图像和真实空间图像无法和谐融合，由此无法获得期望的结果。

因此，在本实施方式中，获取由真实空间的相机150拍摄了背景及被摄体的第一图像和拍摄了背景的第二图像。另外，在与真实空间的相机150的位置对应的虚拟空间的位置设置拍摄用的虚拟相机，生成从该拍摄用的虚拟相机观察到的虚拟空间图像。另外，通过求出第一图像和第二图像的差分图像，根据背景差分法提取被摄体的图像，生成在虚拟空间图像中合成了被摄体的图像的合成图像。如此，无需设置大型拍摄用设备器材，就能够对虚拟空间图像和被摄体的真实空间图像进行图像合成。因此，可以提供能够以简单的系统高质量地合成由相机150拍摄的被摄体的图像和虚拟空间图像的图像生成系统。

另外，在本实施方式中，获取由相机150拍摄了背景及被摄体的深度图像，并基于第一图像和第二图像的差分图像和深度图像来提取被摄体的图像。如此，通过不仅使用基于背景差分法的差分图像，还使用深度图像来提取被摄体的图像，能够实现虚拟空间图像和被摄体的图像的更高质量的图像合成。例如，如果仅根据背景差分法提取被摄体的图像，则在被摄体的图像中与背景相同或相近颜色的像素由于同色而会被作为背景去掉，所以会导致该部分的像素缺失的问题。另外，如果游戏区域的附近有存在一般通过者来往的状况的通道，而且通道在相机150的拍摄范围内的情况下，仅根据使用了彩色的差分图像的背景差分法，则无法实现适当的提取处理。关于这一点，如果除了使用基于背景差分法的差分图像之外，还使用深度图像进行图像合成，则可以解决上述问题。

更具体地，在本实施方式中，基于差分图像生成差分掩模图像，并基于深度图像生成识别深度值在给定的深度范围内的像素的深度掩模图像。另外，根据差分掩模图像和深度掩模图像，生成识别被摄体的被摄体掩模图像，基于被摄体掩模图像和第一图像，提取被摄体的图像。通过使用这种差分掩模图像，能够容易地识别背景的区域和被摄体的区域。另外，通过使用识别深度值在给定的深度范围内的像素的深度掩模图像，可以容易地识别位于深度范围内的被摄体。因此，通过使用这种差分掩模图像和深度掩模图像，可以从显示背景及被摄体的第一图像中高质量地提取出被摄体的图像。

图10的(C)是差分掩模图像MSDF的例子。该差分掩模图像MSDF可以通过进行图10的(A)的第一图像IM1和图10的(B)的第二图像IM2的差分图像的二值化处理来生成。例如，也可以基于差分图像和深度图像来生成差分掩模图像MSDF。例如，基于通过进行差分图像的二值化处理生成的掩模图像和根据深度图像生成的深度掩模图像MSDP(校正处理后或校正处理前的深度掩模图像)，生成差分掩模图像MSDF。在该差分掩模图像MSDF中，玩家PL(被摄体)的区域成为白色像素值的像素，背景BG的区域成为黑色像素值的像素。但是，如图10的(C)所示，与背景的颜色相同或相近的部分缺失了(该部分被作为背景而成为了黑色像素值)。另外，在像素值的范围为0～255的情况下，白色像素值为最大像素值“255”，黑色像素值为最小像素值“0”。

图11的(A)是深度掩模图像MSDP的例子。例如，如图13的(A)所示，该深度掩模图像MSDP是识别深度值在给定的深度范围RA内的像素的掩模图像。深度范围RA是深度值在近侧的深度值ZN以上、在远侧的深度值ZF以下的范围，位于深度范围RA内的被摄体SB在图11的(A)的深度掩模图像MSDP中成为白色像素。如此，使用识别深度值在深度范围RA内的像素的深度掩模图像MSDP，可以将深度范围RA内的物体设定为提取对象。而且，当在深度范围RA之外(比该范围大或小)存在或通过了不应当成为被摄体的物体时，也可以将该物体从深度掩模图像MSDP的提取对象中排除。

在本实施方式中，基于图10的(C)的差分掩模图像MSDF和图11的(A)的深度掩模图像MSDP，生成图11的(B)所示的被摄体掩模图像MSSB。被摄体掩模图像MSSB是用于识别被摄体的掩模图像。例如，被摄体掩模图像MSSB是在被摄体的区域成为白色像素、在被摄体以外的区域成为黑色像素的掩模图像。作为一例，通过对图10的(C)的差分掩模图像MSDF和图11的(A)的深度掩模图像MSDP取OR(逻辑或)，能够生成图11的(B)的被摄体掩模图像MSSB。具体地，通过对差分掩模图像MSDF和后述的形态学滤波处理等校正处理后的深度掩模图像MSDP取OR(逻辑或)，生成被摄体掩模图像MSSB。更具体地，通过对通过进行差分图像的二值化处理而生成的掩模图像和校正处理后或校正处理前的深度掩模图像MSDP取AND(逻辑与)，来生成差分掩模图像MSDF。另外，通过对所生成的差分掩模图像MSDF和校正处理后的深度掩模图像MSDP取OR(逻辑或)，来生成被摄体掩模图像MSSB。例如，在被摄体掩模图像MSSB中，将在差分掩模图像MSDF中成为白色的像素或在深度掩模图像MSDP中成为白色的像素设定为白色像素。另外，在被摄体掩模图像MSSB中，在差分掩模图像MSDF和深度掩模图像MSDP两者中都成为黑色的像素被设定为黑色像素。另外，基于图11的(B)的被摄体掩模图像MSSB和图10的(A)的第一图像IM1，如图11的(C)所示提取被摄体的图像。例如，通过从第一图像IM1中切取被摄体掩模图像MSSB为白色像素的像素组的区域，能够提取被摄体的图像。例如，如图10的(C)所示，在差分掩模图像MSDF中，被摄体的图像中与背景相同或相近颜色的像素由于同色而缺失(成为黑色)的问题。关于这一点，在差分掩模图像MSDF中由于同色而成为黑色从而缺失的像素在图11的(A)的深度掩模图像MSDP中则是白色像素。因此，通过基于差分掩模图像MSDF和深度掩模图像MSDP生成被摄体掩模图像MSSB，可以消除与背景相同颜色的像素由于颜色覆盖而缺失的问题，可以实现被摄体的适当的提取处理。

另外，在被摄体的前侧(比如在被摄体和相机之间)存在未预定为提取对象的操作者或通过者等非提取对象物体，并与被摄体重叠的情况下，在深度掩模图像MSDP中，该非提取对象物体的区域的像素变为黑色，所以无法适当地提取位于非提取对象物体的里侧的被摄体。如果在差分掩模图像MSDF中也设定深度的阈值，则非提取对象物体的区域中的像素会变为黑色。如此，系统也可以检测出因非提取对象物体的存在而无法正确地提取被摄体这种情况，从而不提取作为被摄体的玩家，取代该玩家而显示角色的图像，或者从该玩家的提取切换为一起进行游戏的其他玩家的提取。例如，在游戏开始前检测HMD的位置。另外，在游戏过程中，在由于HMD的前侧的非提取对象物体的存在而遮挡了HMD，HMD的区域的像素变为黑色的情况下，判定为发生了错误，由此，切换为显示游戏空间的角色的图像，或者切换为其他玩家的图像，或者在使用多台相机的情况下，将拍摄玩家的相机切换为设置在高处或后方等不同位置的其他相机。并且，例如在游戏时总是根据HMD等的位置信息来推测应该存在玩家的提取对象区域。在该区域内的像素数量在一定比例以下的情况下，则判定为在HMD的前侧存在非提取对象物体，进行上述切换。反之，在提取对象区域过大的情况下，也判定为错误检测出了地板、墙面等，从而中断提取或合成，并切换到游戏空间的角色显示，或者切换到其他相机。另外，与图8的(B)中说明的设定辅助点的方法同样，除了在HMD的位置之外，也可以在框体的下部等设定几个辅助点，并使用HMD的位置的像素和辅助点的位置的像素进行判断，从而进行上述切换处理。例如，除了图6的(A)、图6的(B)中说明的框体掩模图像之外，通过配合使用来自HMD等的跟踪装置的跟踪信息和辅助点的信息，可以实现更高精度的提取处理。

另外，在本实施方式中，在虚拟空间图像中合成如上提取的被摄体的图像。例如，图12的(A)是在作为游戏图像的虚拟空间图像中合成了作为被摄体的玩家PL的图像的合成图像的例子。由此，能够生成看起来好像在虚拟空间中出现了真实空间的玩家PL那样的合成图像。另外，如图12的(B)所示，通过将图12的(A)的合成图像显示在观众用显示装置210上，观众可以观看在虚拟空间中进行游戏的玩家PL的行动的样子。例如，在虚拟现实游戏的设施中，比如对于排队等待的观众，在等待期间显示图12的(A)所示的合成图像。由此，玩家PL和观众可以共享虚拟现实游戏的体验，可以提高虚拟现实游戏的趣味性。

另外，在本实施方式中，进行深度掩模图像的校正处理，基于校正处理后的深度掩模图像和差分掩模图像生成被摄体掩模图像。即，进行图11的(A)的深度掩模图像MSDP的校正处理，并基于校正处理后的深度掩模图像MSDP和图10的(C)的差分掩模图像MSDF，生成图11的(B)的被摄体掩模图像MSSB。例如，在差分掩模图像MSDF中存在提取对象部分缺失的问题，为了消除该缺失问题而使用深度掩模图像MSDP。另一方面，差分掩模图像MSDF的优点在于连边缘部分都能获得清晰的差分，但在深度掩模图像MSDP中，存在边缘部分因噪声而闪烁，或者重叠有细微的噪声等问题。关于这一点，如果对深度掩模图像MSDP进行校正处理，则能够实现防止边缘部分的闪烁、去除细微的噪声等，能够生成高质量的合成图像。

例如，在本实施方式中，生成由相机150拍摄了背景及被摄体的第一深度图像和由相机150拍摄了背景的第二深度图像的差分深度掩模图像，并基于差分深度掩模图像生成校正处理后的深度掩模图像。例如，图13的(B)的第一深度图像IMDP1是由相机150(深度相机154)拍摄了背景BG及被摄体SB的深度图像，第二深度图像IMDP2是由相机150拍摄了背景BG的深度图像。根据该第一深度图像IMDP1和第二深度图像IMDP2的差分图像生成差分深度掩模图像MSDPDF(背景差分深度掩模图像)。例如，通过进行差分图像的二值化处理等，可以生成差分深度掩模图像MSDPDF。例如，进行将深度值的差分值在规定值以上的像素设定为白色像素等处理。图14的(A)是差分深度掩模图像MSDPDF的例子。在没有取差分的通常的深度掩模图像中，如图14的(C)所示，存在天花板和地板的部分也变成白色像素的问题，但通过使用差分深度掩模图像MSDPDF，可以消除该问题，能够生成高质量的合成图像。

另外，在本实施方式中，通过进行形态学滤波处理及时间序列滤波处理中的至少一方，生成校正处理后的深度掩模图像。例如，图14的(B)是对图14的(A)的差分深度掩模图像MSDPDF进行形态学滤波处理或时间序列滤波处理的校正处理后的差分深度掩模图像MSDPDF。形态学滤波处理是进行腐蚀膨胀的滤波处理，通过进行这种形态学滤波处理，能够去除细小尺寸的噪声。在时间序列滤波处理中，例如，将连续规定帧数以上被判断为白色像素的像素(深度值的差分值在规定值以上的像素)判断为作为掩模有效的白色像素。通过进行这种时间序列滤波处理，能够抑制细微的噪声的发生。另外，在本实施方式中，使用进行了这种形态学滤波处理或时间序列滤波处理的差分深度掩模图像MSDPDF，生成如图14的(D)所示的校正处理后的深度掩模图像MSDP。例如，通过对图14的(B)的差分深度掩模图像MSDPDF和图14的(C)的通常的深度掩模图像取AND(逻辑与)，生成图14的(D)所示的深度掩模图像MSDP。另外，使用该深度掩模图像MSDP，生成图11的(B)中说明的被摄体掩模图像MSSB，如图11的(C)所示，提取被摄体的图像。

另外，在本实施方式中，对于在深度图像中无法获取深度值的像素，通过基于差分图像设定该像素的像素值，来生成校正处理后的深度掩模图像。即，在深度图像中无法获取深度值的像素为空白像素(blank pixel)，使用差分图像的像素值对空白像素的像素值进行填充校正处理。图15的(A)是在进行了这种填充空白像素的校正处理的情况下的被摄体的提取图像的例子，图15的(B)是在不进行填充空白像素的校正处理的情况下的被摄体的提取图像的例子。如图15的(B)所示，在不进行填充空白像素的校正处理的情况下，例如会发生在手的边缘附近等被摄体的图像缺失的问题。

为了防止这种问题发生，在本实施方式中，如图16的(A)所示，生成识别无法获取深度值的空白像素的空白掩模图像。即，在通过立体相机的深度值的获取中，存在在立体相机的一方的相机中可见但在另一方的相机中不可见的像素，由于在这种像素中无法获取适当的深度值，因此返回无法获取深度值的结果。例如，通过将返回了无法获取深度值这一结果的像素设定为白色像素，可以生成如图16的(A)所示的空白掩模图像。另外，图16的(B)是通过求出第一图像和第二图像的差分而生成的差分掩模图像。图16的(C)是对图16的(A)的空白掩模图像和图16的(B)的差分掩模图像取AND(逻辑与)的掩模图像。在图16的(A)的空白掩模图像中被判断为无法获取深度值的空白像素的像素、且在图16的(B)所示的差分掩模图像中被判断为被摄体的像素，在图16的(C)的掩模图像中被设定为白色像素。如此，对于无法获取深度值的像素的像素值，基于作为差分图像的差分掩模图像来进行设定处理(填充处理)。另外，以将图16的(C)中的白色像素设定为被摄体的像素的方式，生成被摄体掩模图像，提取被摄体的图像。如此，可以防止由于无法获取如图15的(B)所示的深度值而导致图像缺失的问题，可以生成如图15的(A)所示的适当的被摄体的提取图像。

另外，在本实施方式中，通过求出深度值在深度范围内的像素组的区域尺寸，并进行基于区域尺寸的滤波处理，来生成校正处理后的深度掩模图像。例如，求出深度值在图13的(A)的深度范围RA内的像素组的区域尺寸。例如，通过对深度值在深度范围RA内的像素组(相邻的像素组)的像素数量进行计数，可以求出出该像素组的区域尺寸。另外，将区域尺寸最大的像素组或区域尺寸在规定尺寸以上的像素组作为构成被摄体的像素组，来进行滤波处理。例如，图17的(A)是进行基于区域尺寸的滤波处理前的深度掩模图像的例子，图17的(B)是进行基于区域尺寸的滤波处理后的深度掩模图像的例子。在图17的(A)中，小区域尺寸的像素组作为白色像素残存，但在图17的(B)中，进行去除小区域尺寸的像素组的滤波处理。而且，在图17的(B)中，将深度值在深度范围RA内的像素组当中区域尺寸最大的像素组判断为被摄体的像素组，并设定为白色像素。如此，能够去除由于噪声等原因而产生的区域尺寸小的像素组，仅提取与被摄体对应的像素组，能够生成高质量的合成图像。

另外，在本实施方式中，基于被判断为被摄体的区域，即被摄体区域中的深度值来设定第二深度范围，并生成识别深度值在第二深度范围内的像素的图像来作为深度掩模图像。例如，在图18的(A)的深度掩模图像中，由于白色像素的区域被判断为被摄体区域，因此求出该被摄体区域的深度值的平均值ZAV。另外，基于该平均值ZAV，设定如图18的(B)所示的第二深度范围RA2。第二深度范围RA2是深度值在近侧的深度值ZN2以上、在远侧的深度值ZF2以下的范围。第二深度范围RA2是比图13的深度范围RA窄的范围，更严格地确定了被摄体SB的深度值的范围。

例如，在玩家在虚拟空间的世界中自由地行走移动的自由世界(开放世界)的游戏内容中，难以设定图13的(A)的深度范围RA。例如，当指定覆盖玩家可能移动的所有范围的距离范围(RA)时，存在错误地提取多余物体的风险。

关于这一点，在图18的(A)中，基于被判断为被摄体的区域，即被摄体区域中的深度值(ZAV)来设定第二深度范围RA2。因此，即使在玩家移动的情况下，也能够以追随该玩家的移动的方式设定第二深度范围RA2。例如，从深度范围阶段性地减小到第二深度范围RA2，通过这样的方式，可以防止错误提取多余物体。因此，能够对应作为被摄体的玩家的移动，从而生成精密的深度掩膜图像，从而能够生成高质量的合成图像。

另外，也可以采用使用跟踪信息来限定玩家区域的方式。比如基于HMD等的跟踪信息求出距相机的距离范围，并基于该距离设定深度的范围。

4.3各种处理例

下面，对本实施方式的各种处理例进行说明。例如，在本实施方式中，如图5的(A)、图5的(B)所示，提取在真实空间中玩家PL搭乘的框体30的图像，生成在虚拟空间图像中合成了玩家PL的图像及框体30的图像的图像。由此，能够在虚拟空间图像中合成玩家PL搭乘于框体30上的状态下的真实空间图像。在这种情况下，在本实施方式中，如图10的(A)、图10的(B)中说明的那样，根据求出第一图像IM1和第二图像IM2的差分图像的背景差分法来提取被摄体的图像。另外，由于框体30显示在第一图像IM1和第二图像IM2两者中，因此在通常的背景差分法中，框体30会被判断为背景，所以不会作为提取对象。另外，在框体30为可动框体的情况下，由于在游戏进行中框体30会移动，因此在合成图像中会发生框体30时而出现时而消失的情况。

因此，在本实施方式中，如图6的(A)、图6的(B)中说明的那样，使用指定框体30的图像的提取范围的框体掩模图像来提取框体30的图像。对使用该框体掩模图像的方法进行详细说明。

图19的(A)是通过操作者手动指定框体30的范围而设定的框体掩模图像的例子。该框体30的范围的指定可以是粗略描画框体30的大致形状(轮廓)的程度。图19的(B)是框体30的深度掩模图像的例子。通过对图19的(A)的范围指定用的框体掩模图像和图19的(B)的深度掩模图像取AND(逻辑与)，生成图19的(C)所示的显示框体区域的框体掩模图像。实际上，对图19的(B)的深度掩模图像进行如上所述的填孔或边缘平滑化等校正处理，并对校正处理后的深度掩模图像和图19的(A)的范围指定用的框体掩模图像取AND(逻辑与)。在图19的(A)中，仅指定了框体30的大致形状，但通过与图19的(B)的深度掩模图像取AND(逻辑与)，如图19的(C)所示，能够生成正确地反映了框体30的形状的框体掩模图像。并且，通过对图19的(C)的框体掩模图像和差分掩模图像(彩色背景差分)取OR(逻辑和)，来生成图20的(A)所示的图像，通过对图19的(C)的框体掩模图像和差分深度掩模图像(深度背景差分)取OR(逻辑和)，来生成图20的(B)所示的图像。并且，通过对图20的(A)的图像和图20的(B)的图像取OR(逻辑和)，来生成图20的(C)所示的被摄体掩模图像。由此，如图20的(D)所示，能够适当地提取框体30及玩家PL。例如，图21的(A)～图21的(D)是不使用框体掩模图像的方法的说明图。图21的(A)是差分掩模图像(彩色背景差分)，图21的(B)是差分深度掩模图像(深度背景差分)。在图21的(B)中，玩家PL乘坐框体30这一程度的差分在差分的阈值以下。图21的(C)是通过对图21的(A)的图像和图21的(B)的图像取OR(逻辑和)而生成的被摄体掩模图像，通过该被摄体掩模图像，如图21的(D)所示，只能提取玩家PL，不能提取框体30。

根据以上说明的使用框体掩模图像的方法，如图19的(A)所示，由于操作者只要粗略地指定框体30的大致形状即可，因此操作者的范围指定的作业变轻松。另外，与框体30静止不动相比，框体30发生移动时，有一部分像素的区域会变成背景(比如框体30移动后，原本框体30静止时挡住的背景会露出来)，通过如图19所述的方式，可以将上述因框体30移动而成为背景的区域的像素适当地判定为背景，由此可以实现可动框体，即框体30的适当的提取处理。

图22是设定图7～图8的(B)中说明的提取范围的方法的说明图。在图22中，安装了HMD200的玩家PL在设置于游戏设施的细板状的桥上移动。另外，在该游戏中，在相机150的视角内的游戏区域中，操作者OP在玩家PL的附近，辅助由于头部安装了HMD200而看不到外部情况的玩家PL。由于仅通过图像处理无法判定相机150中拍摄的是玩家PL还是操作者OP，因此会发生错误将非玩家PL的操作者OP进行提取的问题。

为了抑制这种问题的发生，如图7～图8的(B)中说明的那样，仅对认为存在玩家PL的区域设定提取范围并进行提取处理。即，通过使用来自HMD200等跟踪装置的跟踪信息，可以计算出玩家PL存在的范围。仅通过HMD200的跟踪信息，只能检测出玩家PL的头的位置，但通过使用来自安装在手、脚等上的多个跟踪装置的跟踪信息，能够在与作为被摄体的玩家PL的各种姿势及动作对应的适当的范围内设定提取范围。

另外，在本实施方式中，对使用一台相机150的情况进行了说明，但可以设置多台相机，使用这些多台相机进行被摄体的提取处理。例如，使用来自多台相机的多个彩色图像和多个深度图像进行被摄体的提取处理。

另外，在多玩家游戏的情况下，也可以依次切换显示针对进行游戏的多个玩家生成的多个合成图像(真实空间图像和虚拟空间图像的合成图像)，或者在显示装置上同时显示多个合成图像。

另外，深度值的测量方式并不限于本实施方式中说明的使用立体相机的方式，也可以采用测量光的往复时间的ToF(Time of Flight：飞行时间)的方式、发射预定的红外线等的图案并根据该图案的变形进行计算的结构光方法等各种方式。例如，如果是没有设置跟踪用的红外线的受光元件这种类型的HMD，则可以使用根据从发射红外线到返回为止的时间来计算距离，并测量深度值的ToF的方式。另外，在通过反射的光的强度来测量距离的情况下，也可以使用不具有红外线的受光部的HMD。

另外，在本实施方式中，在与真实空间的相机150的位置对应的虚拟空间的位置设置拍摄用的虚拟相机。因此，能够期待正确地测量相机150与被摄体(玩家、框体)之间的相机距离。因此，准备AR标识那样的例如箱状的标识物体，并设置在被摄体的附近。另外，通过由相机150拍摄该标识物体，通过与AR标识的情况相同的方法测量相机距离。由此，能够根据真实空间中的相机150与被摄体的距离关系，而相应地设置拍摄用的虚拟相机。

另外，本实施方式可以适用于各种游戏和活动。例如，在节奏游戏或舞蹈游戏等中，也可以将在虚拟空间的广场中演奏或跳舞的玩家的样子作为虚拟空间图像和真实空间图像进行合成，例如将合成的图像作为重放图像(影像)进行发布。例如，在虚拟空间中，设置成为观众的多个角色，以提升玩家的演奏或舞蹈热情。如此，玩家能够在游玩后通过观看合成图像，享受自己在虚拟空间中进行演奏或跳舞的样子。

另外，在面向儿童的骑乘游乐设施中，也可以将乘坐在骑乘框体上的孩子的样子作为合成图像(合成影像)生成，打印在照片上或或者通过网络等发布。根据本实施方式，不用在游乐设施中设置蓝幕或绿幕等拍摄用设备器材，就能够制作出所希望的世界或场景的图像和影像。

另外，也可以在握手会或纪念拍摄会中，提供与虚拟空间的角色一起拍摄的合成图像。例如，使漫画的角色或游戏的角色与玩家相遇。如此，能够提供与真实空间中不存在的角色实际接触的样子的合成图像。另外，也可以生成在虚拟的咖啡馆中与角色一起进餐的合成图像。

另外，在图5的(A)、图5的(B)中，显示了安装HMD200的状态下的玩家PL的图像，但也可以以头饰物图像来代替HMD200。例如，将玩家PL自身的图像与头饰物图像合成，或者进行角色扮演(cosplay)那样的全身饰物的合成。或者，也可以生成看起来好像玩家PL安装了武器、物品或者穿着演出服那样的合成图像。或者，也可以进行使框体30的图像看起来像更真实的图像的图像合成处理。

另外，在合作游戏的游戏中，也可以分为观察虚拟空间图像和真实空间图像的合成图像(合成影像)的第一玩家和进行游戏操作并移动身体的第二玩家，由第一玩家一边观察合成图像一边向第二玩家传达关于第二玩家的操作或动作的提示。

虽然如上所述对本实施方式进行了详细说明，但本领域技术人员应该能够容易地理解：在不脱离本发明的精神和范围的前提下，可以对本发明公开的内容和效果进行多种变形。因此，这种变形全部包含在本公开的范围内。另外，例如，在说明书或附图中的任何地方所所记载的所有用语(例如：玩家)都可以替换为较之更广义或同义的用语(比如：被摄体)。另外，图像生成系统的构成、框体的构成、相机的构成、图像的获取处理、虚拟空间图像的生成处理、被摄体或框体的图像的提取处理、虚拟空间图像和真实空间图像的图像合成处理等也并不限于本实施方式中说明的内容，与这些等同的方法、处理、构成也包含在本公开的范围内。另外，本实施方式能够应用于各种游戏。另外，本实施方式能够应用于商用游戏装置、家用游戏装置或多个玩家参加的大型游乐系统等的各种图像生成系统。

Claims (17)

1.一种图像生成系统，其特征在于，包括：

获取部，获取由设置在真实空间中的相机拍摄背景及被摄体而得的第一图像和由所述相机拍摄所述背景而得的第二图像；

图像生成部，生成从设置在与所述相机的位置对应的虚拟空间的位置的拍摄用的虚拟相机观察到的虚拟空间图像；以及

图像合成部，通过求出所述第一图像与所述第二图像的差分图像来提取所述被摄体的图像，生成在所述虚拟空间图像中合成所述被摄体的图像而得的合成图像。

2.根据权利要求1所述的图像生成系统，其特征在于，

所述图像合成部提取在所述真实空间中所述被摄体搭乘的框体的图像，生成在所述虚拟空间图像中合成所述被摄体的图像及所述框体的图像而得的所述合成图像。

3.根据权利要求2所述的图像生成系统，其特征在于，

所述图像合成部使用指定所述框体的图像的提取范围的框体掩模图像来提取所述框体的图像。

4.根据权利要求1所述的图像生成系统，其特征在于，

所述图像合成部基于来自安装在所述被摄体上的至少一个跟踪装置的跟踪信息来设定所述被摄体的图像的提取范围，并提取所述被摄体的图像。

5.根据权利要求4所述的图像生成系统，其特征在于，

所述图像合成部基于所述跟踪装置的位置和辅助点的位置，来设定所述被摄体的图像的所述提取范围，其中，所述辅助点设定在从所述跟踪装置的位置偏移给定距离的位置。

6.根据权利要求1至5中任一项所述的图像生成系统，其特征在于，

作为显示给作为所述被摄体的玩家的玩家用的虚拟空间图像，所述图像生成部生成在所述虚拟空间中与所述拍摄用的虚拟相机的位置对应的位置上显示所述拍摄用的虚拟相机的图像及拍摄者角色的图像中的至少一方的虚拟空间图像。

7.根据权利要求1至6中任一项所述的图像生成系统，其特征在于，包括：

头部安装型显示装置，安装在作为所述被摄体的玩家上，对在所述虚拟空间中从玩家用的虚拟相机观察到的玩家用的虚拟空间图像进行显示；以及

观众用显示装置，显示所述合成图像而作为观众用图像。

8.根据权利要求1至7中任一项所述的图像生成系统，其特征在于，

所述获取部获取由所述相机拍摄所述背景及所述被摄体而得的深度图像，

所述图像合成部基于所述差分图像和所述深度图像来提取所述被摄体的图像。

9.根据权利要求8所述的图像生成系统，其特征在于，

所述图像合成部基于所述差分图像生成差分掩模图像，基于所述深度图像生成识别深度值在给定深度范围内的像素的深度掩模图像，基于所述差分掩模图像和所述深度掩模图像生成识别所述被摄体的被摄体掩模图像，基于所述被摄体掩模图像和所述第一图像提取所述被摄体的图像。

10.根据权利要求9所述的图像生成系统，其特征在于，

所述图像合成部进行所述深度掩模图像的校正处理，并基于所述校正处理后的所述深度掩模图像和所述差分掩模图像生成所述被摄体掩模图像。

11.根据权利要求10所述的图像生成系统，其特征在于，

所述图像合成部生成由所述相机拍摄所述背景及所述被摄体而得的第一深度图像和由所述相机拍摄所述背景而得的第二深度图像的差分深度掩模图像，并基于所述差分深度掩模图像生成所述校正处理后的所述深度掩模图像。

12.根据权利要求10或11所述的图像生成系统，其特征在于，

所述图像合成部通过进行形态学滤波处理及时间序列滤波处理中的至少一方来生成所述校正处理后的所述深度掩模图像。

13.根据权利要求10至12中任一项所述的图像生成系统，其特征在于，

所述图像合成部基于所述差分图像对在所述深度图像中无法获取所述深度值的像素的像素值进行设定处理，来生成所述校正处理后的所述深度掩模图像。

14.根据权利要求10至13中任一项所述的图像生成系统，其特征在于，

所述图像合成部通过求出所述深度值在所述深度范围内的像素组的区域尺寸，并进行基于所述区域尺寸的滤波处理，来生成所述校正处理后的所述深度掩模图像。

15.根据权利要求9至14中任一项所述的图像生成系统，其特征在于，

所述图像合成部基于被判断为所述被摄体的区域的被摄体区域中的深度值来设定第二深度范围，并生成识别所述深度值在所述第二深度范围内的像素的图像来作为深度掩模图像。

16.一种图像生成方法，其特征在于，进行如下处理：

获取处理，获取由设置在真实空间中的相机拍摄背景及被摄体而得的第一图像和由所述相机拍摄所述背景而得的第二图像；

图像生成处理，生成从设置在与所述相机的位置对应的虚拟空间的位置的拍摄用的虚拟相机观察到的虚拟空间图像；以及

图像合成处理，通过求出所述第一图像与所述第二图像的差分图像来提取所述被摄体的图像，生成在所述虚拟空间图像中合成所述被摄体的图像而得的合成图像。

17.一种计算机可读取的信息处理介质，其特征在于，存储使计算机作为以下部分发挥作用的程序：

获取部，获取由设置在真实空间中的相机拍摄背景及被摄体而得的第一图像和由所述相机拍摄所述背景而得的第二图像；

图像生成部，生成从设置在与所述相机的位置对应的虚拟空间的位置的拍摄用的虚拟相机观察到的虚拟空间图像；以及

图像合成部，通过求出所述第一图像与所述第二图像的差分图像来提取所述被摄体的图像，生成在所述虚拟空间图像中合成所述被摄体的图像而得的合成图像。

Images