CN114981846A - 图像生成设备、图像生成方法和程序 - Google Patents

Abstract

本技术涉及使得能够在任意时间从天空中的自由视点观测地球上的任意地点的图像生成设备、图像生成方法和程序。图像生成设备设置有图像生成单元，该图像生成单元使用通过使用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和指定动态被摄体的动态被摄体指定信息，并且生成通过从天空中的指定虚拟视点对地球上的指定地点进行成像而获得的自由视点图像。本技术可以应用于根据由人造卫星捕获的卫星图像生成自由视点图像的图像生成设备。

Description

图像生成设备、图像生成方法和程序

技术领域

本技术涉及图像生成设备、图像生成方法和程序，并且尤其涉及能够在任意时间从天空中的自由视点观测地面上的任意地点的图像生成设备、图像生成方法和程序。

背景技术

由配备有成像设备的观测卫星来进行地球观测(例如，参见PTL 1)。特别是近年来，低轨道小型观测卫星的数量有所增加。

在虚拟现实(VR)的技术领域中，使用了这样的3D(三维)模型，该3D模型允许从任意自由视点再现并且显示作为被摄体的对象。被摄体的3D模型的三维数据被转换为例如从多个视点捕获的多个纹理图像和深度图像，被发送到再现设备，并且被显示在再现侧(例如，参考PTL 2)。

引用列表

专利文献

PTL 1：JP 2006-277007 A

PTL 2：WO 2017/082076

发明内容

技术问题

当观测地球时，可能期望在任意时间从天空中的自由视点观测地面上的任意地点，就像在VR中一样。然而，在地球静止卫星的情况下，由于它位于36000千米的高度，所以难以以高分辨率进行观测，而且由于卫星的位置固定，所以只可以观测到特定地点。此外，在低轨道或中轨道上运行的轨道卫星的情况下，它只可以从轨道上的视点观看，因此无法从自由视点观看。因此，目前不可能充分满足在任意时间从天空中的自由视点观测地面上的任意地点的愿望。

鉴于这样的情况，本技术使得可以在任意时间从天空中的自由视点观测地面上的任意地点。

问题的解决方案

本技术的一个方面的图像生成设备包括图像生成单元，所述图像生成单元使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

本技术的一个方面的图像生成方法包括由图像生成设备使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

本技术的一个方面的程序使计算机用作图像生成单元，所述图像生成单元使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

在本技术的一个方面中，使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

本技术的一个方面的图像生成设备可以通过使计算机执行程序来实现。由计算机执行的程序可以通过经由传输介质进行传输或记录在记录介质上来提供。

图像生成设备可以是独立设备或构成一个设备的内部块。

附图说明

图1是示出作为应用了本技术的实施例的卫星图像处理系统的配置示例的框图。

图2是示出自由视点图像生成设备的详细配置示例的框图。

图3是示出由自由视点图像生成设备执行的自由视点图像生成处理的流程图。

图4是示出应用了本技术的计算机的实施例的配置示例的框图。

具体实施方式

下文中，将参考附图描述用于实现本技术的实施例(下文中被称为实施例)。此外，在本说明书和附图中，具有基本相同功能配置的组件将由相同的附图标记来表示，因此将省略对其的重复描述。将按照以下顺序进行描述。

1.卫星图像处理系统的配置示例

2.体积捕获技术

3.自由视点图像生成设备的配置示例

4.自由视点图像生成处理

5.应用实例

6.计算机的配置示例

<1.卫星图像处理系统的配置示例>

图1是示出作为应用了本技术的实施例的卫星图像处理系统的配置示例的框图。

图1的卫星图像处理系统1是能够使用由多个人造卫星(下文中被简称为卫星)捕获的图像(下文中被简称为卫星图像)在任意时间从天空中的自由视点观测地面上的任意地点的系统。在本实施例中，卫星配备有成像设备，并且至少具有对地面进行成像的功能。

卫星运营公司具有管理多个卫星21的卫星管理设备11和与卫星21进行通信的多个通信设备13。卫星管理设备11和多个通信设备13中的一些可以是由除了卫星运营公司以外的公司拥有的设备。卫星管理设备11经由预定网络12连接到多个通信设备13。通信设备13布置在地面站(地面基站)15中。尽管图1示出了通信设备13的数量是三个(即通信设备13A到13C)的示例，但是通信设备13的数量是任意的。

卫星管理设备11管理由卫星运营公司拥有的多个卫星21。具体地，卫星管理设备11根据需要从一个或多个外部组织的信息提供服务器41获取相关信息，并且确定由其拥有的多个卫星21的运行计划。然后，卫星管理设备11响应于客户的期望，通过经由相应的通信设备13指示预定卫星21捕获图像来使预定卫星21捕获图像。此外，卫星管理设备11获取并且存储经由通信设备13从卫星21发送的卫星图像。根据需要对所获取的卫星图像进行预定的图像处理，并且将其提供(发送)给客户。此外，将所获取的卫星图像提供(发送)到图像提供公司的自由视点图像生成设备51。

安装在外部组织中的信息提供服务器41响应于来自卫星管理设备11的请求或定期地经由预定网络向卫星管理设备11提供预定的相关信息。例如，从信息提供服务器41提供的相关信息包括以下信息。例如，可以从作为外部组织的北美航空航天防御司令部(NORAD)获取以双行轨道根数(Two Line Elements，TLE)格式编写的卫星轨道信息作为相关信息。此外，例如，可以从作为外部组织的气象信息提供公司获取诸如地面上的预定地点的天气和云量之类的气象信息。

自由视点图像生成设备51执行使用经由预定网络从卫星管理设备11提供的由卫星21捕获的卫星图像来生成自由视点图像的图像处理，该自由视点图像是在任意时间从天空中的自由视点针对地面上的任意地点观测到的卫星图像。自由视点图像生成设备51响应于来自用户91(图2)的生成指示，根据需要向卫星管理设备11发送用于捕获卫星图像的请求。自由视点图像生成处理可以由卫星运营公司执行，并且在这种情况下，卫星运营公司和图像提供公司是同一公司。此外，卫星管理设备11和自由视点图像生成设备51可以被实现为一个设备。

在卫星管理设备11的控制下，通信设备13经由天线14与由卫星管理设备11指定的预定卫星21进行通信。例如，通信设备13在预定时间和位置向预定卫星21发送用于对地面上的预定区域进行成像的成像指示。此外，通信设备13接收从卫星21发送的卫星图像，并且经由网络12将其提供给卫星管理设备11。从地面站15的通信设备13到卫星21的传输也被称为上行链路，并且从卫星21到通信设备13的传输也被称为下行链路。通信设备13可以执行与卫星21的直接通信，并且还可以执行经由中继卫星22的通信。例如，作为中继卫星22，使用地球静止卫星。

网络12以及在信息提供服务器41或自由视点图像生成设备51与卫星管理设备11之间的网络是任何通信网络，其可以是有线通信网络、无线通信网络、或两者。此外，网络12以及在信息提供服务器41或自由视点图像生成设备51与卫星管理设备11之间的网络可以被配置为单个通信网络或多个通信网络。例如，这些网络可以被配置为任何通信标准的通信网络或通信信道，例如因特网、公共电话网络、广域无线移动通信网络(例如所谓的4G或5G网络)、执行符合广域网(WAN)、局域网(LAN)或蓝牙(注册商标)标准的通信的无线通信网络、诸如近场通信(NFC)之类的短距离无线通信的通信信道、红外通信的通信信道、以及符合诸如高清多媒体接口(HDMI)(注册商标)或通用串行总线(USB)之类的标准的有线通信的通信网络。

多个卫星21中的每个卫星可以作为一个卫星(单个卫星)进行操作，或者可以以由多个卫星组成的卫星组为单位进行操作。在图1的示例中，省略了作为单个卫星进行操作的卫星21的图示，以及卫星21A和21B构成第一卫星组31A，而卫星21C和21D构成第二卫星组31B。尽管为了简单起见，在图1的示例中示出了一个卫星组31由两个卫星21组成的示例，但是构成一个卫星组31的卫星21的数量不限于两个。

作为将多个卫星21作为一个单位(卫星组)进行操作的系统，存在星座(constellation)和编队飞行。星座是通过将大量卫星发射到单个或多个轨道平面中来主要在全球范围内均匀地展开服务的系统。构成星座的每个卫星具有预定功能，并且为了提高观测频率等目的来操作多个卫星。另一方面，编队飞行是这样的系统，其中在大约几千米的狭窄区域内部署多个卫星，同时保持相对位置关系。编队飞行可以提供单个卫星无法实现的服务，诸如高精度3D测量和移动体的速度检测。在本实施例中，通过星座和编队飞行中的任何一个来操作卫星组。

当通信设备13与构成卫星组31的每个卫星21进行通信时，存在与图1的第一卫星组31A的情况相同的分别与每个卫星21进行通信的方法，以及与第二卫星组31B的情况一样的如下方法，其中只有一个代表卫星组31的卫星21C(下文中也被称为代表卫星21C)与通信设备13进行通信，并且其他卫星21D根据与代表卫星21C的卫星间通信来与通信设备13间接通信。将使用哪种方式来与地面站15(的通信设备13)进行通信可以由卫星组31预先确定，或者可以根据通信的细节适当地选择。作为单个卫星进行操作的卫星21还可以与地面站15的通信设备13进行通信，或者可以经由中继卫星22与地面站15的通信设备13进行通信。当卫星21在安装在地面站15中的通信设备13的通信范围内移动时，卫星21可以以预定频率下行传输到通信设备13。当卫星21在安装在地面站15中的通信设备13的通信范围之外移动时，卫星21可以根据卫星间通信向位于安装在地面站15中的通信设备13的通信范围内的其他卫星21进行传输，并且可以经由其他卫星21下行传输到地面站15。因此，可以保证卫星图像的实时特性。

卫星图像处理系统1如上所述地配置。

卫星管理设备11或自由视点图像生成设备51可以对由各个卫星21捕获的卫星图像执行以下图像处理。

(1)元数据的生成

元数据可以基于从卫星21发送的信息和关于已执行成像的卫星21的信息来生成。例如，可以生成关于成像对象位置的纬度和经度的信息、关于卫星21在成像时的姿态控制和加速度的信息等作为元数据。元数据可以由卫星21基于成像时的条件等生成，并且在这种情况下，可以使用预先添加到由卫星21捕获的卫星图像的元数据。

(2)卫星图像校正处理

可以执行校正处理，例如关于灵敏度特性的辐射校正、对卫星21的轨道位置、姿态误差等的几何校正、用于校正由地形的高度差引起的几何失真的正射影像校正、以及用于投影到地图投影面上的地图投影。

(3)颜色合成处理

可以执行颜色合成处理，例如全色锐化处理(pan sharpening processing)、真彩色合成处理、伪彩色合成处理、自然色合成处理、SAR图像合成处理、以及用于对每个波段的卫星图像添加颜色的处理。

(4)其他图像合成

可以执行由卫星(卫星21)在过去捕获的卫星图像、由其他卫星21捕获的卫星图像和一些其他图像的合成、在不同波段中捕获的卫星图像的合成、地图信息的合成等。

(5)信息提取

可以通过诸如R(红色)和IR(红外)之类的不同波段来计算植被检测信息(例如归一化差异植被指数(NDVI))和水体检测信息(例如归一化差异水体指数(NDWI))。可以执行特定被摄体(例如车辆、移动体或鱼群)的高亮处理、提取关于特定波段的信息和相对于先前成像的变化点等。

具体地，当使用由执行星座或编队飞行的多个卫星21捕获的多个卫星图像时，卫星管理设备11或自由视点图像生成设备51可以更有效地执行下面将描述的图像处理。

(1)高分辨率或高质量处理

通过叠加多个卫星图像，可以生成具有提高的分辨率的卫星图像。此外，通过合成通过组合单色图像和彩色图像而获得的全色锐化图像、以及具有不同成像条件(例如不同动态范围和快门速度、不同波段(波长波段)和不同分辨率)的卫星图像，可以生成具有提高的分辨率的卫星图像。

(2)功能共享

可以使用诸如R(红色)和IR(红外)之类的不同波段来计算诸如归一化差异植被指数(NDVI)之类的指数。

(3)3D测量

可以根据视差图像获得三维信息。此外，通过使用三维信息，可以提高地面上的对象识别的精度。例如，可以确定对象是否为车辆(即使图像由于分辨率而没有立即表示对象是车辆，如果道路上的对象是三维对象而不是图案，也可以推断为车辆)。

(4)差分测量

可以使用以时间差从相同位置捕获的多个卫星图像来提取第一时间和第二时间之间的变化。此外，可以执行仅对变化的对象进行提取和着色的成像。此外，例如，可以使用多个卫星图像来计算船舶或车辆的移动速度，或者根据云等的移动来计算风速。

(5)其他图像合成

还可以执行过去卫星图像和由其他卫星21捕获的卫星图像的合成、在不同波段中捕获的卫星图像的合成、地图信息的合成等。

各个卫星21可以将通过对地面进行成像而获得的卫星图像作为原始数据发送到通信设备13，或者可以在执行上述图像处理之后发送卫星图像。

(图像格式)

图像处理后的经处理的图像和卫星图像存储在每个设备的存储单元中，并且使用例如以下图像格式发送到其他设备。

(1)CEOS

CEOS是由地球观测卫星委员会标准化的格式。CEOS包括针对每个波段来划分文件的“CEOS-BSQ”和对多个波段进行多路复用的“CEOS-BIL”。

(2)HDF

它是由伊利诺伊大学的国家超级计算应用中心(NCSA)开发的格式。多个波段被组合成单个文件，使得数据可以在各种计算机环境中容易地交换。

(3)地理TIFF

这是将用于遥感的信息添加到标记图像文件格式(TIFF)的格式。它是TIFF格式的，因此可以利用一般的图像查看器等打开。

(4)JPEG2000

这是由联合图像专家组标准化的图像格式。JPEG2000不仅提高了压缩比，而且还采用了用于改进感兴趣区域的图像的技术和版权保护技术(例如数字水印)。

<2.体积捕获技术>

已知用于通过根据从多个视点捕获的图像(包括运动图像)生成被摄体的3D模型并且根据任意观看位置生成3D模型的虚拟视点图像来提供自由视点图像的技术。这种技术也被称为体积捕获技术。

自由视点图像生成设备51将体积捕获技术应用于卫星图像，以生成自由视点图像，该自由视点图像是在任意时间从天空中的自由视点针对地面上的任意地点观测到的卫星图像。

因此，首先，将简要描述当人等是被摄体时的被摄体的3D模型的生成、以及基于所生成的3D模型的自由视点图像的显示。

在生成3D模型时，可以通过使用多个成像设备从预定成像空间的外部附近对该预定成像空间进行成像来获得多个捕获图像，其中，在该预定成像空间布置有被摄体。捕获图像例如由运动图像组成。

使用从不同方向上的多个成像设备获得的捕获图像来提取作为成像空间中的显示对象的前景中的被摄体，并且生成作为被摄体的3D模型的3D对象(3D建模)。例如，3D对象通过视觉外壳(Visual Hull)、多视图立体(Multi View Stereo)等生成，该视觉外壳将被摄体在每个视点处的轮廓投影到3D空间并且使轮廓的相交区域成为3D形状，该多视图立体使用视点之间的纹理信息的一致性。

然后，在成像空间中存在的一个或多个3D对象当中，将一个或多个3D对象的数据(下文中也被称为3D模型数据)发送到再现侧的设备并且再现。也就是说，再现侧的设备基于所获取的3D对象的数据来渲染3D对象，使得在观看者的观看设备上显示3D形状视频。观看设备例如由液晶显示器、头戴式显示器等组成。

可以采用各种格式作为3D模型数据的数据格式。

数据格式之一是这样的格式，其中对象的几何信息(形状信息)由对象的三维位置处的一组点(点云)来表示，并且与每个点对应地保持对象的颜色信息。在这种格式中，对于一个对象保持一条几何信息和颜色信息。该格式被描述为点云格式。

另一个数据格式是这样的格式，其中对象的几何信息如前述点云格式中那样由一组点(点云)来表示，或由被称为多边形网格的顶点和各顶点之间的连接来表示，并且在由每个成像设备捕获的捕获图像(二维纹理图像)中保持对象的颜色信息。在这种格式中，对于一个对象保持一条几何信息和由与成像设备的数量相同数量的捕获图像(二维纹理图像)组成的颜色信息。该格式被称为多纹理几何格式。

另一个数据格式是这样的格式，其中对象的几何信息由多边形网格来表示，并且与每个多边形网格对应地保持对象的颜色信息。作为附连到每个多边形网格的颜色信息的二维纹理图像由UV坐标系来表示。在这种格式中，对于一个对象保持一条几何信息和由一个二维纹理图像组成的颜色信息。在本实施例中，该格式被描述为UV纹理几何格式。UV纹理几何格式是由MPEG-4动画框架扩展(AFX)标准化的格式。

另一个数据格式是这样的格式，其中对象的几何信息由与由每个成像设备捕获的捕获图像相对应的距离信息来表示，并且在由每个成像设备捕获的捕获图像(二维纹理图像)中保持对象的颜色信息。作为与由每个成像设备捕获的捕获图像相对应的距离信息，采用深度图像，其中在深度方向上到被摄体的距离被存储为与捕获图像的每个像素相对应的深度值。在这种格式中，对于一个对象保持由与成像设备的数量相同数量的深度图像组成的几何信息以及由与成像设备的数量相同数量的捕获图像(二维纹理图像)组成的颜色信息。该格式被描述为多纹理深度格式。多纹理深度格式的优点是，在传输3D模型数据时，可以按原样使用AVC(高级视频编码)方法、HEVC(高效视频编码)方法等作为编码方法，因此可以实现高效压缩。

可以采用上述3D模型数据的各种数据格式当中的任意数据格式。再现侧可以指定数据格式，或者分发侧可以确定数据格式。此外，可以针对每个应用预先确定数据格式。

再现侧可以在成像空间中存在的一个或多个3D对象当中仅请求作为观看对象的3D对象，并且在观看设备上显示该3D对象。例如，再现侧假设观看者的观看范围成为成像范围的虚拟相机，在成像空间中存在的大量3D对象中仅请求由虚拟相机捕获的三维对象，并且在观看设备上显示该3D对象。可以将虚拟相机的视点(虚拟视点)设定为任意位置，使得观看者可以从现实世界中的任意视点观看被摄体。适当地将表示预定空间的背景图像与3D对象组合。背景图像可以是具有固定虚拟视点的静止图像，或者可以是根据虚拟视点而改变的图像，如作为前景图像的被摄体那样。

<3.自由视点图像生成设备的配置示例>

图2是示出自由视点图像生成设备51的详细配置示例的框图。

自由视点图像生成设备51包括自由视点图像生成单元61、自由视点图像累积单元62、编码单元63、通信单元64和用户接口(IF)单元65。用户IF单元65包括显示单元81和操作单元82。

自由视点图像生成设备51可以经由用户IF单元65接收用户91的操作，根据用户91的指示执行处理，并且即使当用户91经由终端设备92指示自由视点图像生成设备51执行预定处理时，也根据该指示来执行处理。用户91通过直接或经由终端设备92将指示输入到操作单元82来指示生成自由视点图像，该自由视点图像是在预定时间(指定时间)从天空中的预定虚拟视点观看地面上的预定地点(指定地点)的卫星图像。

自由视点图像生成设备51响应于来自用户的生成自由视点图像的指示，通过合成从预定虚拟视点观看的基础图像和实时图像，生成在指定时间从由用户指定的预定虚拟视点观看地面上的指定地点的卫星图像。

从预定虚拟视点观看的基础图像是与体积捕获技术的背景图像相对应的卫星图像，并且是在一定持续时间内没有变化(不管在一定持续时间内的变化)的静止被摄体的卫星图像。基础图像是与实时图像相比具有相对较少变化的图像。

另一方面，从预定虚拟视点观看的实时图像是与体积捕获技术的前景图像(被摄体)相对应的卫星图像，并且是实时变化的动态被摄体(实时被摄体)的卫星图像。

实时变化的动态被摄体(实时被摄体)是除了包括在基础图像中的静止被摄体以外的在一定持续时间内变化的被摄体，并且包括例如从瞬间变化的被摄体到在数小时至大约一天内变化的被摄体。

例如，动态被摄体包括：诸如飞机、轮船、车辆和人之类的移动体，诸如云、极光和火山爆发之类的气象现象，太阳在海洋、湖泊、河流和地面上的反射现象，包括日出和日落的天空颜色以及阴影的光线信息，等等。

假设除了动态被摄体以外的在大约一天或更长时间的持续时间内变化的被摄体被包括在静止被摄体中。例如，诸如秋天树叶之类的山脉颜色的变化、紧接在种植稻田之后的状态、在收获季节期间的稻穗的状态等可以被视为季节变化，因此森林和稻田被包括在静止被摄体中。

自由视点图像生成单元61包括基础图像生成单元71、实时图像生成单元72、外部信息获取单元73和图像合成单元74。

自由视点图像生成设备51的自由视点图像生成单元61经由预定网络连接到卫星图像累积服务器101和外部信息提供服务器102。作为自由视点图像生成设备51与卫星图像累积服务器101或外部信息提供服务器102之间的网络，可以采用类似于上述网络12的任何通信网络。经由通信单元64执行到预定网络的连接。

自由视点图像生成单元61基于来自控制单元66的生成指示，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像，并且将自由视点图像提供给自由视点图像累积单元62。

基础图像生成单元71获取在卫星图像累积服务器101中累积(存储)并且从不同视点捕获的多个卫星图像，并且使用所获取的多个卫星图像生成地面上的静止被摄体的3D模型。然后，基础图像生成单元71生成当从由用户91指定的预定虚拟视点观看地面上的静止被摄体的3D模型时的第一虚拟视点图像，并且将第一虚拟视点图像作为基础图像提供给图像合成单元74。

基础图像生成单元71可以用来在预先移除从卫星图像累积服务器101获取的多个卫星图像中包括的动态被摄体之后生成地面上的静止被摄体的3D模型。换言之，基础图像生成单元71生成通过从自卫星图像累积服务器101获取的卫星图像中移除要包括在由实时图像生成单元72生成的实时图像中的被摄体而获得的卫星图像，并且可以用来生成地面上的静止被摄体的3D模型。例如，可以通过比较同一地点的捕获卫星图像、将不匹配的被摄体检测为动态被摄体并且移除该被摄体来移除卫星图像中包括的动态被摄体。此外，例如，可以使用由多个人造卫星(例如编队飞行)捕获的卫星图像来检测和移除作为动态被摄体的微小变化。

通过配备有成像设备的人造卫星从天空对地面进行成像而获得的多个卫星图像被累积在卫星图像累积服务器101中。人造卫星可以是拥有卫星管理设备11的卫星运营公司的卫星21，或者可以是其他公司的人造卫星。卫星图像累积服务器101可以是由拥有卫星管理设备11的卫星运营公司运营的服务器、由拥有自由视点图像生成设备51的图像提供公司运营的服务器、或者由其他公司运营的服务器。此外，卫星图像累积服务器101可以作为卫星图像累积单元包括在自由视点图像生成设备51的一部分中，并且累积从卫星管理设备11提供的卫星图像。

卫星图像累积服务器101中累积的卫星图像是通过使用一个或多个人造卫星从天空中的多个视点对地面进行成像而获得的图像。在利用一个人造卫星进行成像的情况下，通过以时分方式对地面进行成像来生成对应于多个视点的多个卫星图像。当使用多个人造卫星时，每个人造卫星可以通过以时分方式对地面进行成像来生成对应于大量视点的大量卫星图像。

卫星图像累积服务器101中累积的卫星图像可以是通过将由人造卫星捕获的两个卫星图像组合成一个而获得的卫星图像。例如，可以通过对具有部分重叠的成像区域的两个卫星图像执行拼接处理来获得一个卫星图像。被执行拼接处理的两个卫星图像可以是具有不同分辨率的图像。

代替卫星图像累积服务器101中累积的卫星图像，可以使用由航空器捕获的航空图像。

期望卫星图像累积服务器101中累积的卫星图像的分辨率高，因为后续处理的精度改变。例如，期望地面分辨率为1m或更小，并且当期望识别地面结构体(例如车辆)时，期望分辨率为50cm或更小。

除了作为纹理信息的卫星图像之外，还可以在卫星图像累积服务器101中累积深度图像，该深度图像是关于到静止被摄体的深度的信息。深度图像可以根据例如基于多个卫星图像的视差信息来生成，所述多个卫星图像是通过利用单个或多个卫星从不同视点捕获同一地点而获得的。由多个卫星进行的成像包括通过编队飞行进行的成像。此外，可以根据由合成孔径雷达卫星(SAR卫星)获得的高度测量结果来生成深度图像。替选地，可以通过根据2D卫星图像进行估计来生成深度图像，例如，通过基于卫星图像中反映的阴影的大小来估计高度信息，等等。

卫星图像累积服务器101中累积的卫星图像可以针对不同条件中的每个条件进行累积，例如不同的时间(例如早晨、中午、下午、晚上和晚上)、不同类型的天气(例如放晴(fine)、晴朗、多云和雨)以及季节(例如春季、夏季、秋季和冬季)。在这种情况下，基础图像生成单元71可以针对每个累积条件生成地面上的静止被摄体的3D模型。当预定条件下的卫星图像尚未累积在卫星图像累积服务器101中时，基础图像生成单元71可以基于在其他条件下捕获的同一地点的卫星图像来执行估计，以生成尚未累积的卫星图像，并且将其用于生成静止被摄体的3D模型的处理。例如，当尚未累积秋季卫星图像时，可根据同一地点的夏季或冬季卫星图像来估计并且生成秋季卫星图像。

卫星图像累积服务器101可以累积通过由其他设备执行的3D建模而生成的地面上的静止被摄体的3D模型的数据，而不是从天空中的大量视点捕获的卫星图像。在这种情况下，基础图像生成单元71获取卫星图像累积服务器101中累积的地面上的静止被摄体的3D模型的数据，并且基于所获取的地面上的静止被摄体的3D模型的数据来生成第一虚拟视点图像。换句话说，当在卫星图像累积服务器101中累积地面上的静止被摄体的3D模型数据时，省略3D建模处理。

卫星图像累积服务器101中累积的地面上的静止被摄体的3D模型的数据格式可以是上述3D模型数据的任何数据格式。当基础图像生成单元71生成地面上的静止被摄体的3D模型时的数据格式可以是任何格式。

由于基础图像是不影响由用户91指定的自由视点图像的指定时间的静止被摄体的卫星图像，因此卫星图像累积服务器101中累积的卫星图像可以是在由用户91指定的自由视点图像的指定时间之前大约一周到一个月捕获的卫星图像。替选地，卫星图像累积服务器101中累积的卫星图像可以是在由用户91指定的自由视点图像的指定时间之后(将来)捕获的卫星图像。

可以从实时图像生成单元72提供通过捕获同一地点而获得的并且具有新的成像时间的卫星图像或具有高分辨率的卫星图像，而不是从卫星图像累积服务器101获取的卫星图像。当从实时图像生成单元72提供较新的卫星图像或具有更高分辨率的卫星图像时，基础图像生成单元71可以使用该卫星图像来更新地面上的静止被摄体的3D模型，并且生成基础图像。

实时图像生成单元72从卫星管理设备11获取与由用户91指定的指定地点和指定时间相对应并且从不同视点捕获的多个卫星图像，该指定地点和指定时间是将要生成自由视点图像的地点和时间。与指定时间相对应的不同视点的多个卫星图像被称为实时卫星图像，以将其与用于生成基础图像的卫星图像区分开来。

实时图像生成单元72将自由视点图像的指定地点和指定时间提供给卫星管理设备11，并且获取通过从不同视点在指定时间捕获指定地点而获得的多个卫星图像(实时卫星图像)。卫星管理设备11在从实时图像生成单元72提供的指定时间附近从通信设备13向经过指定地点的卫星21发送成像指示，并且使卫星21捕获图像。在指定时间的附近可能是包括几分钟到几十分钟的误差的时间。卫星管理设备11或实时图像生成单元72可以将捕获的卫星图像改变为已估计了与时间误差相应的变化的图像。例如，如果在预定时间在预定地点飞行的飞机被成像为动态被摄体，并且该时间相对于指定时间具有误差，则可以将该图像改变为已经按照该时间误差移动了飞机的位置的卫星图像。

来自不同视点的多个卫星图像可以由一个卫星21以时分方式捕获，或者可以由具有不同轨道的多个卫星21从其视点捕获。替选地，具有相同轨道的多个卫星21或在编队飞行中运行的多个卫星21可以以大约几分钟到几十分钟的时间差来捕获卫星图像。关于时间差为几分钟到几十分钟的卫星图像，基于与指定时间最接近的时间的卫星图像，可以将其他卫星图像改变为已经估计了与时间误差相应的变化的图像。

实时图像生成单元72从所获取的多个实时卫星图像中的每个中提取地面上的动态被摄体。例如，可以通过与同一视点的基础图像的差异来实现地面上的动态被摄体的提取。此外，由于云、飞机、船舶、车辆等具有特征形状和颜色，因此可以根据基于这些特征的图像识别处理来提取动态被摄体。替选地，可以使用与由基础图像生成单元71执行的移除动态被摄体的处理相同的处理来提取动态被摄体。

实时图像生成单元72根据仅包括所提取的地面上的动态被摄体的每个实时卫星图像来生成动态被摄体的3D模型。然后，实时图像生成单元72生成当从由用户91指定的预定虚拟视点观看动态被摄体的3D模型时的第二虚拟视点图像作为动态被摄体的实时图像，并且将第二虚拟视点图像提供给图像合成单元74。

实时图像生成单元72可以基于根据通过从不同视点捕获指定地点而获得的多个卫星图像所计算的视差图像来生成3D信息，而不是生成动态被摄体的3D模型。替选地，实时图像生成单元72可以根据在不计算深度信息的情况下仅使用2D卫星图像进行的估计来生成3D信息，而不是生成动态被摄体的3D模型。例如，可以从2D卫星图像中提取飞机作为动态被摄体，并且可以根据作为已知信息的飞机的飞行高度来生成动态被摄体的3D信息。

实时图像生成单元72生成动态被摄体的3D模型时的数据格式可以是上述3D模型数据的任何数据格式。如果未形成3D模型，则在内部存储器中仅存储2D卫星图像。

当已经从卫星管理设备11获取了实时卫星图像时，实时图像生成单元72可以将所获取的实时卫星图像提供给基础图像生成单元71，作为用于更新同一地点的卫星图像的更新卫星图像。

如果在从实时图像生成单元72提供的指定时间附近存在经过指定地点的卫星21，则可以使该卫星21执行成像，但是实际上，在指定时间附近可能不存在经过指定地点的卫星21。在这样的情况下，实时图像生成单元72使用由外部信息获取单元73从外部信息提供服务器102获取的外部信息来生成动态被摄体的实时图像，并且将该实时图像提供给图像合成单元74。

当动态被摄体是诸如飞机、船舶、车辆或人之类的移动体时，基于关于自由视点图像的指定地点和指定时间的信息，从外部信息提供服务器102获取在指定时间的移动体的位置信息。例如，关于船舶、飞机等，可以通过从外部信息提供服务器102获得自动识别系统(AIS)信息来获取在指定时间的移动体的位置信息。关于车辆或人，可以通过从外部信息提供服务器102获得安装在车辆或人上的设备的位置信息以及由安装在地面上的监控相机检测到的位置信息来获取在指定时间的移动体的位置信息。可以从由提供移动体的位置信息的运营公司运营的外部信息提供服务器102获取各种移动体的位置信息。

实时图像生成单元72通过从外部公司获取移动体的已知3D模型或纹理信息或者在其自己公司中生成移动体的已知3D模型或纹理信息、预先在内部存储移动体的已知3D模型或纹理信息、以及基于通过外部信息获取单元73获取的移动体的位置信息将移动体的2D图像布置在预定位置处来生成动态被摄体的实时图像，并且将该实时图像提供给图像合成单元74。

当动态被摄体是诸如云分布之类的气象现象时，可以通过从由提供气象信息的气象服务公司运营的外部信息提供服务器102获取指示云分布的信息和所估计的高度信息以及将云的2D图像布置在所估计的高度处来生成云分布的实时图像。此外，例如，当动态被摄体是太阳的反射现象时，可以通过从由气象服务公司运营的外部信息提供服务器102获取诸如太阳位置之类的信息、对光线信息等进行估计以及将所估计的信息布置在预定位置处来生成诸如太阳的阴影和反射之类的光线信息的实时图像。

尽管为了便于描述，图2仅示出了一个外部信息提供服务器102，但是外部信息获取单元73可以通过根据要获取的外部信息的类型访问不同外部信息提供公司或不同地方的外部信息提供服务器102来获取期望的外部信息。

尽管上面已经描述了在可以捕获与由用户91指定的地点和时间相对应的卫星图像的情况下以及在不能捕获该卫星图像的情况下由实时图像生成单元72生成动态被摄体的实时图像的方法，但是实际上可能存在这些情况之间的中间情况。也就是说，存在这样的情况，其中，不能捕获相对于由用户91指定的时间具有几十分钟的误差范围的指定地点的卫星图像，但是可以获取1小时前、3小时前、6小时前以及在数小时的误差范围内的指定地点的卫星图像。

在这种情况下，实时图像生成单元72从卫星管理设备11获取从不同视点在相对于由用户91指定的时间的预定时间的误差范围内的时间捕获的多个卫星图像。与相对于指定时间的预定时间的误差范围内的时间相对应的不同视点的多个卫星图像被称为准实时卫星图像，以将其与用于生成基础图像的卫星图像和实时卫星图像区分开来。虽然相对于指定时间的数小时的误差范围是在星座的操作中假设的误差范围，但在假设观测卫星具有一个返回日的情况下，相对于准实时卫星图像的指定时间的误差范围被设定为最多一天。

实时图像生成单元72从所获取的多个准实时卫星图像中的每个中提取地面上的动态被摄体，并且生成动态被摄体的3D模型。动态被摄体的提取和动态被摄体的3D模型的生成与上述实时卫星图像的情况相同。

接下来，实时图像生成单元72根据所生成的动态被摄体的3D模型、使用经由外部信息获取单元73从外部信息提供服务器102获取的关于动态被摄体的外部信息来估计在指定时间的动态被摄体的3D模型。例如，实时图像生成单元72获取飞机或船舶的位置信息作为外部信息，并且将移动体的3D模型移动到基于外部信息的位置。此外，例如，实时图像生成单元72获取云分布信息作为外部信息，并且将云的3D模型移动到基于外部信息的位置。然后，实时图像生成单元72生成当从由用户91指定的预定虚拟视点观看基于外部信息估计的在指定时间的动态被摄体的3D模型时的第二虚拟视点图像作为动态被摄体的实时图像，并且将该实时图像提供给图像合成单元74。

替选地，实时图像生成单元72生成当从由用户91指定的预定虚拟视点观看根据所获取的多个准实时卫星图像而生成的动态被摄体的3D模型时的动态被摄体的准实时图像。然后，实时图像生成单元72使用所生成的动态被摄体的准实时图像和经由外部信息获取单元73从外部信息提供服务器102获取的关于动态被摄体的外部信息来估计并且生成动态被摄体的实时图像。例如，作为两小时前的飞机或船舶的纹理图像的准实时图像被改变到基于外部信息的指定时间的位置，并且被用作在指定时间的移动体的实时图像。作为两小时前的云的纹理图像的准实时图像根据关于基于外部信息的指定时间的云的信息进行改变，因此生成在指定时间的云的实时图像。

也就是说，当获取准实时卫星图像时，根据获取实时卫星图像以生成动态被摄体的实时图像的方法和仅使用外部信息生成动态被摄体的实时图像的方法这两者的协作(相互补充)来生成动态被摄体的实时图像。

即使当可以获取与由用户91指定的时间相对应的实时卫星图像时，也可以使用准实时卫星图像。通过一起使用实时卫星图像和准实时卫星图像，可以获得以下效果。作为一个效果，即使在指定时间捕获的实时卫星图像上的信息量较少的图像也可以容许。例如，通过使用实时卫星图像和准实时卫星图像两者，在指定时间捕获的实时卫星图像的分辨率可能较低，并且可以针对低分辨率扩展成像范围。可以使用不同类型的卫星21作为用于捕获实时卫星图像的卫星21和用于捕获准实时卫星图像的卫星21，因此存在用于准备多种类型的卫星21的空间。基于实时卫星图像和准实时卫星图像之间的差异信息，还可以补充它们之间的信息，例如它们之间的在时间段中的云的变化。

此外，实时图像生成单元72可以使用可以由基础图像生成单元71生成的基础图像来估计作为动态被摄体的光线信息，并且生成光线信息的实时卫星图像。例如，基础图像生成单元71可以生成在每个条件(例如不同时间(例如早晨、中午和晚上)中的每个、放晴天气和晴朗天气中的每个、或者每个季节(例如春季、夏季、秋季或冬季))下的静止被摄体的3D模型，以生成每个条件的基础图像。实时图像生成单元72可以检测根据在每个条件下的静止被摄体的3D模型生成的每个条件的基础图像中的光线信息的变化，并且根据估计来生成基于由用户91指定的时间、季节和天气的实时卫星图像。可以使用准实时卫星图像或不完整实时卫星图像来估计实时卫星图像。不完整实时卫星图像例如是全色图像(单色图像)或低分辨率图像。如光线信息一样，表示移动体的阴影和颜色的纹理信息也可以使用基础图像来估计。

图像合成单元74合成从基础图像生成单元71提供的基础图像和从实时图像生成单元72提供的实时卫星图像，以生成在由用户91指定的时间观看地面上的指定地点的自由视点图像，并且将自由视点图像提供给自由视点图像累积单元62。在图像合成单元74中，与体积捕获技术的前景图像(被摄体)对应的实时图像叠加在与体积捕获技术的背景图像对应的基础图像上。

自由视点图像累积单元62累积从图像合成单元74提供的自由视点图像。自由视点图像累积单元62可以累积由自由视点图像生成单元61生成的各种虚拟视点、指定时间和指定地点的自由视点图像，响应于来自控制单元66的指示选择指定的自由视点图像，并且将所选的自由视点图像提供给编码单元63或显示单元81。

编码单元63使用诸如高级视频编码(AVC)方法或高效视频编码(HEVC)方法之类的预定编码方法对从自由视点图像累积单元62提供的自由视点图像进行编码。编码后的自由视点图像编码数据被提供给通信单元64。

通信单元64经由预定网络与终端设备29进行通信。当终端设备92提供用于生成预定虚拟视点、指定时间和指定地点的自由视点图像的生成指示时，通信单元64将生成指示提供给控制单元66。通信单元64响应于生成指示，将从编码单元63提供的自由视点图像编码数据发送到终端设备92。此外，通信单元64在控制单元66的控制下向卫星管理设备11发送卫星图像捕获请求。通信单元64还在控制单元66的控制下与卫星图像累积服务器101和外部信息提供服务器102进行通信。

显示单元81被配置为例如液晶显示器(LCD)或有机电致发光(EL)显示器。显示单元81显示从自由视点图像累积单元62提供的自由视点图像。

操作单元82被配置为例如键盘、鼠标、触摸面板等，接收用户91的操作，并且将用于生成由用户91指定的虚拟视点、指定时间和指定地点的自由视点图像的生成指示提供给控制单元66。

控制单元66控制整个自由视点图像生成设备51的操作。例如，控制单元66向自由视点图像生成单元61提供用于基于来自通信单元64或用户IF单元65的生成指示来生成在预定时间从由用户91指定的天空中的预定虚拟视点观看地面上的预定地点的自由视点图像的指示。此外，当需要捕获由生成自由视点图像所需的卫星图像时，控制单元66使通信单元64向卫星管理设备11发送卫星图像捕获请求。此外，控制单元66将在自由视点图像累积单元62中累积的自由视点图像提供给编码单元63或显示单元81。

终端设备92被配置为例如智能电话、平板计算机终端、移动电话、个人计算机等，并且接收用户91的操作。当用户91经由终端设备92指示自由视点图像生成设备51生成自由视点图像时，终端设备92将生成指示发送到自由视点图像生成设备51。此外，终端设备92接收响应于生成指示从自由视点图像生成设备51发送的自由视点图像编码数据，执行与编码方法相对应的解码处理，并且在显示设备(未示出)上显示自由视点图像。用户可以使用由用户拥有的终端设备92从任何地方(远程)确认自由视点图像。

<4.自由视点图像生成处理>

接下来，将参考图3的流程图描述由自由视点图像生成设备51执行的自由视点图像生成处理。例如，当用户91通过终端设备92执行指示用于生成在预定指定时间从天空中的预定虚拟视点观看地面上的预定指定地点的自由视点图像的操作时，该处理开始。

首先，在步骤S1中，控制单元66基于来自终端设备92的生成指示，经由通信单元64向卫星管理设备11发送用于捕获与预定虚拟视点、指定时间和指定地点相对应的卫星图像的请求。此外，控制单元66向自由视点图像生成单元61提供用于生成在预定时间从由用户91指定的天空中的预定虚拟视点观看地面上的预定地点的自由视点图像的指示。

在步骤S2中，基础图像生成单元71获取从不同视点捕获并且在卫星图像累积服务器101中累积的多个卫星图像，并且移除多个卫星图像中的每个卫星图像中包括的动态被摄体。

在步骤S3中，基础图像生成单元71使用动态被摄体已被移除的多个卫星图像来生成地面上的静止被摄体的3D模型。然后，在步骤S4中，基础图像生成单元71生成当从由用户91指定的预定虚拟视点观看所生成的静止被摄物的3D模型时的第一虚拟视点图像作为基础图像，并且将第一虚拟视点图像提供给图像合成单元74。

在步骤S5中，实时图像生成单元72响应于步骤S1中的用于捕获的请求确定是否可以从卫星管理设备11获取多个实时卫星图像，这些实时卫星图像是与由用户91指定的指定地点和指定时间相对应并且已经从不同视点捕获的卫星图像。

如果在步骤S5中确定可以获取从不同视点捕获的多个实时卫星图像，则处理进行到步骤S6，并且实时图像生成单元72从所获取的多个实时卫星图像中的每个实时卫星图像中提取动态被摄体。

在步骤S7中，实时图像生成单元72根据仅包括所提取的地面上的动态被摄体的每个实时卫星图像来生成动态被摄体的3D模型。然后，在步骤S8中，实时图像生成单元72生成当从由用户91指定的预定虚拟视点观看动态被摄体的3D模型时的第二虚拟视点图像作为动态被摄体的实时图像，并且将第二虚拟视点图像提供给图像合成单元74。

另一方面，如果在步骤S5中确定不能获取从不同视点捕获的多个实时卫星图像，则处理进行到步骤S9，在步骤S9中，实时图像生成单元72确定是否可以从卫星管理设备11获取多个准实时卫星图像，这些准实时卫星图像是在相对于由用户91指定的指定时间的预定时间的误差范围内的时间捕获并且从不同视点捕获的卫星图像。

如果在步骤S9中确定可以从卫星管理设备11获取从不同视点捕获的多个准实时卫星图像，则处理进行到步骤S10，并且实时图像生成单元72从所获取的多个准实时卫星图像中的每个中提取动态被摄体，并且根据仅包括所提取的地面上的动态被摄体的每个准实时卫星图像来生成动态被摄体的3D模型。

在步骤S11中，实时图像生成单元72经由外部信息获取单元73从外部信息提供服务器102获取关于动态被摄体的外部信息。

在步骤S12，实时图像生成单元72使用所获取的关于动态被摄体的外部信息、根据所生成的动态被摄体的3D模型来估计在指定时间的动态被摄体的3D模型。

在步骤S13中，实时图像生成单元72生成当从由用户91指定的预定虚拟视点观看所估计的在指定时间的动态被摄体的3D模型时的第二虚拟视点图像作为动态被摄体的实时图像，并且将第二虚拟视点图像提供给图像合成单元74。

另一方面，如果在步骤S9中确定不能从卫星管理设备11获取从不同视点捕获的多个准实时卫星图像，则处理进行到步骤S14，并且实时图像生成单元72经由外部信息获取单元73从外部信息提供服务器102获取关于动态被摄体的外部信息。

在步骤S15中，实时图像生成单元72使用所获取的外部信息来生成动态被摄体的实时图像，并且将其提供给图像合成单元74。

在步骤S16中，图像合成单元74合成从基础图像生成单元71提供的基础图像和从实时图像生成单元72提供的实时卫星图像，以生成在由用户91指定的时间观看地面上的指定地点的自由视点图像，并且将自由视点图像提供给自由视点图像累积单元62。

在步骤S17中，自由视点图像累积单元62累积从图像合成单元74提供的自由视点图像，并且根据控制单元66的控制将从图像合成单元74提供的自由视点图像提供给编码单元63。

在步骤S18中，编码单元63使用预定的编码方法对从自由视点图像累积单元62提供的自由视点图像进行编码，并且通信单元64将编码后的自由视点图像编码数据发送到终端设备92。基于自由视点图像编码数据的自由视点图像被显示在终端设备92上。

当从操作单元82提供生成指示时，步骤S17和S18的处理被改变为如下处理：将从图像合成单元74提供的自由视点图像提供给显示单元81，并且将自由视点图像显示在显示单元18上。

以此方式，自由视点图像生成处理结束。

在上述自由视点图像生成处理中，用于生成静止被摄体的3D模型的步骤S2和S3的处理不影响由用户91指定的预定时间和地点的实时状况，因此可以在与图3的自由视点图像生成处理不同的定时预先执行。

在上述自由视点图像生成处理中，当可以从卫星管理设备11获取与由用户91指定的指定地点和指定时间相对应的多个实时卫星图像时，自由视点图像生成单元61使用所获取的多个实时卫星图像来生成动态被摄体的3D模型。用于获得与指定地点和指定时间相对应的多个实时卫星图像的条件被限制为卫星21经过指定地点上方的一定时间段，并且如果卫星21是低轨道卫星，则最期望的条件是相对于指定时间在指定时间附近大约10分钟，但是，如果包括可以根据时间误差从所捕获的卫星图像估计的范围，则它是在指定时间前后大约1小时(包括30分钟)。

另一方面，在相对于指定地点和指定时间超过大约1小时的时间范围的数小时的误差范围的时间段内不能获取多个实时卫星图像，并且基于多个准实时卫星图像生成动态被摄体的实时图像。在这种情况下，存在估计临时动态被摄体的3D模型并且生成动态被摄体的实时图像的第一估计方法、以及生成临时动态被摄体的准实时图像并且估计动态被摄体的实时图像的第二估计方法。更具体地，在第一估计方法中，自由视点图像生成单元61根据在与指定时间相距数小时的误差范围内的多个准实时卫星图像来生成动态被摄体的3D模型，并且使用外部信息来估计在指定时间的动态被摄体的3D模型，以生成动态被摄体的实时图像。在第二估计方法中，自由视点图像生成单元61根据与指定时间相距数小时的误差范围内的多个准实时卫星图像来生成临时动态被摄体的3D模型，使用临时动态被摄体的3D模型来生成从由用户91指定的虚拟视点来看的动态被摄体的准实时图像，以及使用外部信息、根据动态被摄体的准实时图像来估计并且生成动态被摄体的实时图像。

此外，在即使准实时卫星图像也不能获取的时间段中，使用从外部信息提供服务器102获取的实时外部信息和关于动态被摄体的已知信息来生成动态被摄体的实时图像。例如，基于实时获取的飞机的位置信息(AIS信息)和根据飞机的已知3D模型生成的纹理信息，生成动态被摄体的实时图像。为了生成动态被摄体的3D模型，需要多个实时卫星图像或准实时卫星图像，但是当使用2D卫星图像作为实时外部信息时，可以需要一个卫星图像。

通过适当地组合可以获取的实时卫星图像、准实时卫星图像或外部信息，可以识别动态被摄体或者可以生成实时图像，而不需要如图3的自由视点图像生成处理中那样将情况划分为以下三种情况：可以获取实时卫星图像的情况(步骤S6至S8)，可以获取准实时卫星图像的情况(步骤S10至S13)，以及不能获取实时卫星图像和准实时卫星图像中的任何一个的情况(步骤S14和S15)。如上所述，例如，还可以通过组合地使用实时卫星图像和准实时卫星图像来获得具有低分辨率和宽成像范围的实时卫星图像等效果。

与指定地点和指定时间相对应的实时卫星图像、准实时卫星图像、从外部信息提供服务器102获取的实时外部信息、以及用于生成动态被摄体的实时图像的关于动态被摄体的已知信息可以是识别动态被摄体的动态被摄体识别信息。

自由视点图像生成单元61使用利用由卫星21捕获的卫星图像和识别动态被摄体的动态被摄体识别信息而生成的静止被摄体的3D模型来生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。因此，可以在任意时间从天空中的自由视点(虚拟视点)观测地面上的任意地点。

预期将根据运行卫星数量的增加和用于卫星间通信的通信技术的发展来解决能够在由用户91指定的指定地点和指定时间执行成像的卫星21的数量较少的状况。

此外，当用户91在一定程度上提前预约并且指定预定地点和时间，并且期望从预定虚拟视点观看的卫星图像时，自由视点图像生成设备51可以请求卫星管理设备11操作卫星21，以使得卫星21在指定时间经过指定地点上方，以及控制卫星管理设备11，以使其预先执行将要执行成像的卫星21的预部署和对于该卫星21的轨道转换指示。因此，自由视点图像生成设备51可以获取预定地点和时间的卫星图像，并且用户91可以观测自由视点图像。自由视点图像生成设备51可以从卫星管理设备11等获取关于卫星21的轨道信息，并且向用户91呈现可以生成自由视点图像的地点和时间，以及用户91可以从中选择地点和时间并且观测自由视点图像。

由自由视点图像生成设备51执行的处理的一部分可以由卫星21来执行。

例如，卫星21具有由实时图像生成单元72执行的实时图像生成功能，生成在用户91的指定地点和指定时间从预定虚拟视点观看的实时图像，并且对实时图像进行下行传输。当通过根据与同一视点的基础图像的差异提取地面上的动态被摄体来获得实时图像时，需要在卫星21中累积基础图像。自由视点图像生成设备51经由卫星管理设备11获取由卫星21生成的实时图像，并且将其与自身生成的基础图像进行组合以生成自由视点图像。在这种情况下，可以减少生成要从卫星21发送到地面站15的实时图像所需的数据量。通过将动态被摄体的3D模型从卫星21下行传输到地面站15，可以由地面上的自由视点图像生成设备51来执行实时图像的生成。在这种情况下，还可以减少生成实时图像所需的下行链路数据量。

<5.应用示例>

上述卫星图像处理系统1可以应用于以下应用。

·地标的自由视点的检查

通过生成用户的旅行目的地或乘坐飞机经过地标(例如富士山)的状况的自由视点图像，可以欣赏从太空来看的视点。

·诸如灾区之类的广阔地区的检查

通过生成灾区或冲突地区的自由视点图像，可以确认灾区或冲突地区的状况。

·具有三维效果的卫星图像

通过将用于观测目标区域或对象的状况并且检测状况的变化的卫星遥感的卫星图像呈现为自由视点图像，即使从宏观视点也可以观看具有三维效果的自然图像。

·高级气象观测

通过使用自由视点图像从自由视点对气象现象进行三维检查，可以对诸如云之类的气象现象进行更高级的分析。此外，可以将分析结果用于高级天气预报等。

·确定农作物和树木的生长状态

可以使用自由视点图像将农作物和树木的生长状态呈现为3D视觉数据。由于是自由视点，可以进行更加多样化的分析。

·城市规划

可以使用自由视点图像来三维地观测城市的状况。特别地，可以观测实时变化。在这种情况下，可以通过突出显示相对于基础图像的已变化部分来可视化城市中的变化点。可以从多个视点确定特定时间附近的实时信息(车辆的移动状况、导线等)。

·确定建设现场的状况

可以使用自由视点图像来三维地确定偏远地区的设施的状况。设施包括诸如房屋和大楼之类的建筑物、大坝、石油化工厂、工厂、港口等。此外，可以使用自由视点图像来三维地确定土地维护状况，例如水准测量。在这种情况下，可以通过突出显示相对于基础图像的已变化部分来可视化城市中的变化点。可以从多个视点确定特定时间附近的实时信息(车辆的移动状况、导线等)。

此外，还可以设想将可以由卫星图像处理系统1生成的自由视点图像与由其他成像设备捕获的图像相关联的应用。例如，可以设想能够将图像从由自由视点图像生成设备51生成的自由视点图像切换到从近距离的天空中捕获的图像的系统。当用户检查作为目标地点的宏图像的自由视点图像并且对自由视点图像的一部分执行缩放操作时，用户可以通过将自由视点图像与从近距离的天空中捕获的图像相关联以便将自由视点图像切换到由城市中的监控相机或无人机捕获的图像来同时检查自由视点图像的一部分的详细图像。

<6.计算机的配置示例>

由自由视点图像生成设备51执行的一系列处理可以通过硬件或软件来执行。当这一系列处理通过软件来执行时，构成该软件的程序被安装在计算机中。这里，计算机包括嵌入在专用硬件中的微型计算机、或者例如能够通过安装各种程序来执行各种功能的通用个人计算机。

图4是示出执行由自由视点图像生成设备51执行的一系列处理的计算机的硬件配置示例的框图。

在计算机中，中央处理单元(CPU)301、只读存储器(ROM)302和随机存取存储器(RAM)303通过总线304彼此连接。

输入/输出接口305进一步连接到总线304。输入单元306、输出单元307、存储单元308、通信单元309和驱动器310连接到输入/输出接口305。

输入单元306例如是键盘、鼠标、麦克风、触摸面板或输入端子。输出单元307例如是显示器、扬声器或输出端子。存储单元308例如是硬盘、RAM盘或非易失性存储器。通信单元309是网络接口等。驱动器310驱动可移动记录介质311，例如磁盘、光盘、磁光盘或半导体存储器。

在具有上述配置的计算机中，CPU 301例如通过经由输入/输出接口305和总线304将存储在存储单元308中的程序加载到RAM303上并且执行该程序来执行上述一系列处理。在RAM 303中，还适当地存储CPU 301执行各种处理所需的数据等。

由计算机(CPU 301)执行的程序可以记录在例如用作供应的封装介质的可移动记录介质311上。该程序可以经由有线或无线传输介质来提供，诸如局域网、因特网或数字卫星广播。

在计算机中，通过将可移动记录介质311安装在驱动器310上，可以经由输入/输出接口305将程序安装在存储单元308中。可以由通信单元309经由有线或无线传输介质来接收该程序以安装在存储单元308中。此外，该程序可以预先安装在ROM 302或存储单元308中。

注意，在本说明书中，即使这些步骤没有按照流程图中描述的顺序以时间序列执行，以及当这些步骤以时间序列执行时，流程图中描述的步骤也可以并行执行，或者在需要的定时执行(例如，当被唤起时)。

在本说明书中，系统指的是多个组成元件(设备、模块(组件)等)的集合，并且所有组成元件可以包括或不包括在同一壳体中。因此，容纳在单独壳体中并且经由网络连接的多个设备和其中多个模块容纳在一个壳体中的一个设备都可以是系统。

本技术的实施例不限于上述实施例，并且可以在不偏离本技术要点的情况下进行各种改变。

例如，可以采用上述多个实施例的全部或部分的组合。

例如，本技术可以具有云计算的配置，其中一个功能经由网络由多个设备共享并且共同处理。

此外，上述流程图中描述的每个步骤可以由一个设备执行或由多个设备共享。

此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由一个设备执行，或者可以由多个设备共享和执行。

本说明书中描述的效果仅为示例并且不受限制，并且可以存在除了本说明书中描述的效果以外的效果。

本技术可以采用以下配置。

(1)

一种图像生成设备，包括图像生成单元，所述图像生成单元使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

(2)

根据(1)所述的图像生成设备，其中，其中，所述图像生成单元通过使用从天空中的预定虚拟视点观看的基础图像作为背景图像生成静止被摄体的3D模型、使用动态被摄体识别信息生成从天空中的预定虚拟视点观看的实时图像作为前景图像、并且合成基础图像和实时图像来生成自由视点图像。

(3)

根据(2)所述的图像生成设备，其中，所述图像生成单元使用动态被摄体的3D模型作为动态被摄体识别信息。

(4)

根据(3)所述的图像生成设备，其中，所述图像生成单元生成从天空中的预定虚拟视点观看动态被摄体的3D模型的实时图像作为前景图像。

(5)

根据(3)或(4)所述的图像生成设备，其中，所述图像生成单元使用由人造卫星在由用户指定的时间附近捕获的实时卫星图像来生成动态被摄体的3D模型。

(6)

根据(5)所述的图像生成设备，其中，所述图像生成单元从实时卫星图像中提取动态被摄体，并且根据所提取的图像来生成动态被摄体的3D模型。

(7)

根据(3)所述的图像生成设备，其中，所述图像生成单元使用由人造卫星在与由用户指定的时间相差数小时的时间捕获的准实时卫星图像来生成临时动态被摄体的3D模型，并且使用外部信息、根据临时动态被摄体的3D模型来估计在由用户指定的时间的动态被摄体的3D模型以生成实时图像。

(8)

根据(3)所述的图像生成设备，其中，所述图像生成单元使用由人造卫星在与由用户指定的时间相差数小时的时间捕获的准实时卫星图像来生成临时动态被摄体的3D模型，生成当从天空中的预定虚拟视点观看临时动态被摄体的3D模型时获得的动态被摄体的准实时图像，并且使用外部信息、根据动态被摄体的准实时图像来生成实时图像。

(9)

根据(7)或(8)所述的图像生成设备，其中，所述图像生成单元从准实时卫星图像中提取动态被摄体，并且根据所提取的图像来生成临时动态被摄体的3D模型。

(10)

根据(2)所述的图像生成设备，其中，所述图像生成单元使用实时外部信息和关于动态被摄体的已知信息作为动态被摄体识别信息。

(11)

根据(1)至(10)中任一项所述的图像生成设备，其中，所述图像生成单元使用由人造卫星捕获的卫星图像中包括的动态被摄体已被移除的图像来生成静止被摄体的3D模型。

(12)

一种图像生成方法，包括由图像生成设备使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

(13)

一种使计算机用作图像生成单元的程序，所述图像生成单元使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

参考标记列表

1 卫星图像处理系统

11 卫星管理设备

21 卫星

51 自由视点图像生成设备

61 自由视点图像生成单元

62 自由视点图像累积单元

63 编码单元

65 用户IF单元

66 控制单元

71 基础图像生成单元

72 实时图像生成单元

73 外部信息获取单元

74 图像合成单元

101 卫星图像累积服务器

102 外部信息提供服务器

301 CPU

302 ROM

303 RAM

306 输入单元

307 输出单元

308 存储单元

309 通信单元

310 驱动器

Claims (13)

1.一种图像生成设备，包括图像生成单元，所述图像生成单元使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

2.根据权利要求1所述的图像生成设备，其中，所述图像生成单元通过使用从天空中的预定虚拟视点观看的基础图像作为背景图像生成静止被摄体的3D模型、使用动态被摄体识别信息生成从天空中的预定虚拟视点观看的实时图像作为前景图像、并且合成基础图像和实时图像来生成自由视点图像。

3.根据权利要求2所述的图像生成设备，其中，所述图像生成单元使用动态被摄体的3D模型作为动态被摄体识别信息。

4.根据权利要求3所述的图像生成设备，其中，所述图像生成单元生成从天空中的预定虚拟视点观看动态被摄体的3D模型的实时图像作为前景图像。

5.根据权利要求3所述的图像生成设备，其中，所述图像生成单元使用由人造卫星在由用户指定的时间附近捕获的实时卫星图像来生成动态被摄体的3D模型。

6.根据权利要求5所述的图像生成设备，其中，所述图像生成单元从实时卫星图像中提取动态被摄体，并且根据所提取的图像来生成动态被摄体的3D模型。

7.根据权利要求3所述的图像生成设备，其中，所述图像生成单元使用由人造卫星在与由用户指定的时间相差数小时的时间捕获的准实时卫星图像来生成临时动态被摄体的3D模型，并且使用外部信息、根据临时动态被摄体的3D模型来估计在由用户指定的时间的动态被摄体的3D模型以生成实时图像。

8.根据权利要求3所述的图像生成设备，其中，所述图像生成单元使用由人造卫星在与由用户指定的时间相差数小时的时间捕获的准实时卫星图像来生成临时动态被摄体的3D模型，生成当从天空中的预定虚拟视点观看临时动态被摄体的3D模型时获得的动态被摄体的准实时图像，并且使用外部信息、根据动态被摄体的准实时图像来生成实时图像。

9.根据权利要求7所述的图像生成设备，其中，所述图像生成单元从准实时卫星图像中提取动态被摄体，并且根据所提取的图像来生成临时动态被摄体的3D模型。

10.根据权利要求2所述的图像生成设备，其中，所述图像生成单元使用实时外部信息和关于动态被摄体的已知信息作为动态被摄体识别信息。

11.根据权利要求1所述的图像生成设备，其中，所述图像生成单元使用由人造卫星捕获的卫星图像中包括的动态被摄体已被移除的图像来生成静止被摄体的3D模型。

12.一种图像生成方法，包括由图像生成设备使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

13.一种使计算机用作图像生成单元的程序，所述图像生成单元使用利用由人造卫星捕获的卫星图像生成的静止被摄体的3D模型和识别动态被摄体的动态被摄体识别信息，生成从天空中的预定虚拟视点观看地面上的预定地点的自由视点图像。

Images