CN101505376A - 虚拟图像生成装置、虚拟图像生成方法 - Google Patents

Abstract

本发明涉及虚拟图像生成装置、虚拟图像生成方法。向虚拟图像生成装置(200)发送附加有摄影位置信息的多个摄影图像并记录到图像记录部(203)。图像选择部(201)从记录到图像记录部(203)的图像中选择用于生成虚拟图像的图像。地图图像取得部(201、204)取得与地图图像对应的图像，该地图图像包含附加在所选择的图像中的摄影位置信息。虚拟风景图像制作部(206)根据与地图图像对应的图像，生成表示与所选择的图像或附加在所选择的图像中的摄影位置信息相关联的风景的虚拟图像。由此，因为生成在摄影当时没有拍摄的风景图像，所以能够对摄影当时的情景追加体验。

Description

虚拟图像生成装置、虚拟图像生成方法

技术领域

本发明涉及根据所拍摄的附带摄影位置信息的图像在地图图像上再现摄影者的行动的虚拟图像生成装置、虚拟图像生成方法。

背景技术

近年，提供了如Google(注册商标)地图那样以三维(3D)图像来显示地图的各种服务。另外，还提供了使计算机图形(CG)图像与实际图像重叠显示的各种系统。例如，在日本特开2000-50156号公报中公开了，在3D地图空间上确定由照相机拍摄的图像的摄影位置。并且，根据该3D地图和摄影时的照相机位置、照相机角度等，确定在摄影图像上应当能看到的构造物的名称，使与该构造物的名称有关的图像和照相机所拍摄的图像重叠。

另外，例如，在日本特开2005-128298号公报中公开了：通过合成实际图像和CG图像，从而在高尔夫球转播等中，能够在影像中视觉显示所拍摄的风景的起伏。

在面向个人的照相机摄影中，有时用户利用相册等来观看自身拍摄的照片，以对该摄影当时的情景追加体验。在此，一般情况下认为，容易保留与用户自身拍摄的照片相关的记忆，而难以保留与没有拍摄的照片相关的记忆。因此，认为难以对与当时没有拍摄的风景等相关的体验进行追加。

发明内容

本发明的目的是提供能够对摄影当时的情景追加体验的虚拟图像生成装置、虚拟图像生成方法，其中该摄影还包含在摄影当时没有拍摄的风景等。

为了实现上述目的，本发明的一个方式是生成与所拍摄的图像相关联的虚拟图像的虚拟图像生成装置，其特征是，该虚拟图像生成装置具有：图像记录部，其记录附加有摄影位置信息的多个图像；图像选择部，其从上述记录的图像中选择用于生成虚拟图像的图像；地图图像取得部，其取得与地图图像对应的图像，该地图图像包含附加在上述选择的图像中的摄影位置信息；虚拟风景图像制作部，其根据与上述地图图像对应的图像生成虚拟图像，该虚拟图像表示与上述选择的图像或附加在上述选择的图像中的摄影位置信息相关联的风景；以及显示输出部，其为了显示上述生成的表示风景的虚拟图像而进行输出。

另外，为了实现上述目的，本发明的其他方式是用于生成与所拍摄的图像相关联的虚拟图像的虚拟图像生成方法，其特征是，该虚拟图像生成方法具有：从附加有摄影位置信息的多个图像中选择用于生成虚拟图像的图像的步骤；取得与地图图像对应的图像的步骤，其中该地图图像包含附加在上述选择的图像中的摄影位置信息；根据与上述地图图像对应的图像生成虚拟图像的步骤，其中该虚拟图像表示与上述选择的图像或附加在上述选择的图像中的摄影位置信息相关联的风景；以及为了显示上述生成的虚拟风景图像而进行输出的步骤。

附图说明

图1是表示包括本发明第1实施方式的虚拟图像生成装置的虚拟移动显示系统的结构的图。

图2是表示图1所示的虚拟移动显示系统的概括动作的图。

图3是表示图1所示的虚拟移动显示系统中的照相机的动作的流程图。

图4是表示图1所示的虚拟移动显示系统中的虚拟风景生成服务器的动作的流程图。

图5是表示存在多个移动路径时的例子的图。

图6是表示移动路径搜索处理的流程图。

图7是表示移动单元是汽车时的化身的例子的图。

图8是表示包括本发明第2实施方式的虚拟风景显示装置的虚拟风景显示系统的结构的图。

图9是表示图8所示的虚拟风景显示系统的概括动作的图。

图10是表示图8所示的虚拟风景显示系统中的虚拟风景生成服务器的动作的流程图。

图11是表示摄影者图像的设定处理的流程图。

图12A、12B、12C是表示摄影者图像的设定处理时的显示部的显示例的流程图。

图13是表示回忆再现时的处理的流程图。

图14A、14B、14C、14D是用于说明回忆再现时的图像合成处理的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

[第1实施方式]

首先，对本发明的第1实施方式进行说明。图1是表示包括本发明第1实施方式的虚拟图像生成装置的虚拟移动显示系统的结构的图。图1所示的虚拟移动显示系统构成为，经由通信线路300通信自由地连接照相机100和虚拟风景生成服务器。这里，通信线路300是因特网线路等通用的通信线路。

照相机100具有：控制部101、输入部102、撮像部103、位置检测部104、时钟部105、记录部106、显示部107和通信部108。

控制部101对照相机100的全部动作进行控制。该控制部101根据用户对输入部102的操作状态来控制各种处理。输入部102具有供用户进行照相机100的操作的各种操作部件：用于接通/断开照相机100的电源的电源开关；用于施加照相机100的摄影执行指示的释放按钮；用于施加图像的通常再现指示的再现按钮；用于施加图像的回忆再现(详细内容后述)指示的回忆再现按钮；以及用于进行照相机100中的各种选择操作的十字键等。

撮像部103在控制部101的控制下拍摄被摄体，取得图像。位置检测部104例如由GPS等构成，其检测摄影时的照相机100的位置(纬度/经度)。时钟部105用于检测摄影日期时间。

这里，位置检测部104以及时钟部105未必内置于照相机100中。例如，通过使用户携带内置GPS的手表或专用的导航装置，可在照相机100中取得由手表或导航装置检测出的位置信息以及时间信息。

记录部106例如是构成为相对于照相机100自由拆装的存储卡。记录部106将通过摄像部103取得的图像与位置检测部104所检测出的摄影位置以及时钟部105所检测出的摄影日期时间相关联地进行记录。显示部107在控制部101下，显示记录到记录部106中的图像等各种图像。

通信部108在控制部101的控制下，进行与虚拟风景生成服务器通信所涉及的各种处理。

虚拟风景生成服务器200具有：控制部201、输入部202、图像记录部203、不同年份(年代)地图数据库(DB)204、路径搜索部205、虚拟风景制作部206和通信部207。虚拟风景生成服务器是能记录各种地方的地图图像那样的具有庞大数据库的计算机。该虚拟风景生成服务器200优选与因特网连接，以便还能够利用因特网上的各种站点的信息。另外，可以使照相机100具有虚拟风景生成服务器200的功能。而且，虚拟风景生成服务器200还可以是能够输入在记录部106中记录的图像等信息的装置、例如家庭用游戏机等。

控制部201对虚拟风景生成服务器200中的各种处理进行控制。在操作了输入部202时，该控制部201还按照该操作内容进行处理。输入部202构成为包括用于进行虚拟风景生成服务器200的操作的各种操作部件。

图像记录部203用于记录经由通信线路300从照相机100发送的图像。图像记录部203由具有与照相机100的记录部106相比为大容量的记录容量的硬盘等构成。这里，本实施方式中的图像记录部203具有作为位置年份记录部203a的记录区域。位置年份记录部203a是用于将记录在图像记录部203中的各图像的摄影位置和摄影日期时间(摄影年份)相关联地记录的记录区域。

不同年份地图DB 204是记录有每个摄影年份的2D以及3D地图图像的数据库。这里，不同年份地图DB 204可以设置在与图像记录部203不同的记录介质中，也可以设置在图像记录部203中。这里，地图图像是指与地图对应的场所的风景图像。

通信部207在控制部201的控制下，进行与照相机100通信所涉及的各种处理。

路径搜索部205根据用户所选择的两张(或两张以上)图像，确定被认为用户在这两张图像的摄影期间进行了移动的移动路径。虚拟风景制作部206制作由路径搜索部205确定的移动路径的地图图像(2D地图图像或3D地图图像)。此外，在所制作的地图图像中合成作为用户分身的特征图像即化身(Avatar)。

摄影者图像DB 208是记录有用户(摄影者)图像的数据库。记录在该摄影者图像DB 208中的摄影者图像是摄影者自身登录的实拍图像、或在虚拟风景生成服务器中预先登录的作为摄影者分身的特征图像即化身。用户可通过输入部202或照相机100的输入部102，选择将在后述回忆再现之际制作的虚拟风景图像中合成的自身图像设为实拍图像还是设为化身(avatar)。

以下，对图1所示的虚拟移动显示系统的概略动作进行说明。图2是表示虚拟移动显示系统的概括动作的图。

在本实施方式中，当进行摄影时，以摄影位置和摄影日期时间相关联的状态将图像记录到记录部106。

接着，通过用户对输入部102的操作，将照相机100的动作模式设定为回忆图像再现模式。当选择在照相机100的记录部106中记录的图像中的至少两张图像时，将所选择的图像发送到虚拟风景生成服务器。图2的例子表示选择了在11点30分在纬度为A、经度为B的位置上拍摄的图像401、以及在12点20分在纬度为C、经度为D的位置上拍摄的图像402的例子。

当接收两张图像401、402时，从不同年份地图DB 204中取得包含图像401的摄影位置和图像402的摄影位置的2D地图图像403。另外，在图像401的摄影位置和图像402的摄影位置的距离远时，放大地图图像的缩尺，使得包含两图像。然后，在路径搜索部205中，根据移动时间(摄影日期时间之差)和移动距离(摄影位置之差)来确定用户如何在图像401的摄影位置和图像402的摄影位置之间移动。

当进行移动路径的确定时，在虚拟风景制作部206中，基于3D地图图像来制作所确定的移动路径内的多个风景图像(虚拟风景图像)404～406。而且，根据需要在所制作的虚拟风景图像404～406中合成化身407。

通过按上述那样制作虚拟风景图像，即便实际上仅在图像401的摄影位置和图像402的摄影位置这两点上进行摄影，也能够欣赏这两点摄影位置之间的位置上的图像。例如，通过观看图2所示的一系列图像，能够再现从在图像404(图像401)的位置上拍摄建筑物起直至在图像406(图像402)的位置上拍摄山为止的情景。看了这样的一系列图像，用户能够想起摄影当时是哪样的风景，如走过了坡道、台阶、绕了远道等摄影当时的各种情况。

这里，可以显示2D地图图像403来取代图像404～图像406。另外，还可以并排显示2D地图图像403和图像404～图像406。

以下，对图1的虚拟移动显示系统的具体动作进行说明。

图3是表示图1所示的虚拟移动显示系统中的照相机100的动作的流程图。通过用户对输入部102的电源开关的操作来接通照相机100的电源，开始图3的处理。

电源接通后，控制部101使撮像部103动作，并进行使显示部107依次显示通过撮像部103取得的图像的浏览画面显示(步骤S1)。在浏览画面显示后，控制部101判定是否通过用户对输入部102的释放按钮的操作进行了图像摄影指示(步骤S2)。

在步骤S2的判定中，当进行了图像摄影指示时，控制部101执行被摄体的摄影(步骤S3)。在该摄影中，控制部101使撮像部103动作，取得被摄体的图像，并对该取得的被摄体图像实施各种图像处理。然后，控制部101在执行摄影时取得在时钟部105检测出的摄影日期时间信息(步骤S4)，并且在执行摄影时取得在位置检测部104检测出的摄影位置信息(步骤S5)。接着，控制部101使通过摄影所取得的图像与摄影日期时间信息以及摄影位置信息相关联地记录到记录部106(步骤S6)。

另外，在步骤S2的判定中，当没有进行图像摄影指示时，控制部101判定是否通过用户对输入部102的再现按钮的操作进行了通常的图像再现指示(步骤S7)。在步骤S7的判定中，当进行了通常的图像再现指示时，控制部101进行与通常的图像再现相关的处理(步骤S8)。在该再现中，控制部101使显示部107显示在记录部106记录的图像的缩略图图像。并且，使显示部107显示与用户所选择的缩略图图像对应的图像。也可以是，利用照相机100能够再现在虚拟风景生成服务器的图像记录部203中记录的图像。在该情况下，从照相机100对虚拟风景生成服务器进行图像的再现请求。接受该请求，在显示部107显示记录到虚拟风景生成服务器中的图像的缩略图图像。当用户选择了某个缩略图图像时，从虚拟风景生成服务器向照相机100发送与该缩略图图像对应的图像。然后，在显示部107显示该发送的图像。

另外，在步骤S7的判定中，当没有进行通常的图像再现指示时，控制部101判定是否通过用户对输入部102的回忆再现按钮的操作进行了回忆再现指示(步骤S9)。在步骤S9的判定中，当没有进行回忆再现指示时，控制部101判定是否通过用户对输入部102的操作进行了图像发送指示(步骤S10)。在步骤S10的判定中，当没有进行图像发送指示时，处理返回步骤S1。然后，控制部101再次进行浏览画面显示。另一方面，在步骤S10的判定中，当进行了图像发送指示时，控制部101进行与图像发送相关的处理(步骤S11)。在图像发送中，控制部101使显示部107显示在记录部106中记录的图像的缩略图图像，将与用户所选择的缩略图图像对应的图像发送到虚拟风景生成服务器。

另外，在步骤S9的判定中，当进行了回忆再现指示时，控制部101执行回忆再现所涉及的处理。首先，控制部101使显示部107显示在记录部106记录的图像的缩略图图像(步骤S12)。接着，控制部101通过用户对输入部102的输入来选择缩略图图像中的至少两张图像(步骤S13)。这里选择的图像的张数可由用户适当设定。另外，这里选择的图像分别是摄影日期时间接近(摄影年份相同)、且摄影位置不同的图像。

在以后的说明中，继续对选择两张图像的情况进行说明。在步骤S13中选择了两张图像之后，控制部101输入回忆再现模式中除图像选择以外的设定(步骤S14)。该设定是在后述的回忆再现模式中使显示在显示部107上的地图图像进行显示时的视点方向的设定(将地图图像设为2D显示或3D显示)、或者在地图图像中合成化身等的设定。

然后，控制部101判定是否通过用户对输入部102的操作进行了确认指示(步骤S15)。在步骤S15的判定中，当没有进行确认指示时，处理返回步骤S13。并且，控制部101等待对两张图像的选择以及其他设定输入的变更。另一方面，在步骤S15的判定中，当进行了确认指示时，控制部101将用户所选择的两张图像发送到虚拟风景生成服务器。并且，对虚拟风景生成服务器发送回忆再现请求。此时，在步骤S14中设定的各种设定信息也发送到虚拟风景生成服务器(步骤S16)。之后，在后述的虚拟风景生成服务器的处理中，生成回忆再现用的图像文件。

然后，控制部101判定是否接收到了在虚拟风景生成服务器中所生成的回忆再现用的图像文件(步骤S17)。在步骤S17中，在从虚拟风景生成服务器接收到图像文件之前待机。在步骤S17的判定中，当从虚拟风景生成服务器接收了图像文件时，控制部101向用户通知其旨意。而且，控制部101判定是否通过用户进行了回忆图像文件的再现指示(步骤S18)。在步骤S18的判定中，当进行了回忆图像文件的再现指示时，控制部101按照用户对输入部102的操作，使显示部107显示从虚拟风景生成服务器发送的图像文件中的各个图像(步骤S19)。这里的显示可以是以幻灯片这样的形式再现图像文件中的各个图像。另外，可根据规定的再现速度来自动再现各个图像。当如此构成时，能够进行有效地欣赏图像的场所、时间等的变化的显示。

另外，在步骤S18的判定中，当没有进行回忆图像文件的再现指示时，控制部101跳过步骤S19的处理。

在步骤S18或步骤S19之后，控制部101判定是否通过用户对输入部102的操作进行了图像文件的记录指示(步骤S20)。在步骤S20的判定中，当进行了图像文件的记录指示时，控制部101将图像文件记录到记录部106中(步骤S21)。另外，在步骤S20的判定中，当没有进行回忆图像文件的记录指示时，控制部101跳过步骤S21的处理。

图4是表示图1所示的虚拟移动显示系统中的虚拟风景生成服务器的动作的流程图。控制部201判定是否在没有进行回忆再现请求的状态下接收了来自照相机100的图像(步骤S31)。在步骤S31的判定中，当接收了图像时，控制部201将所接收的图像记录到图像记录部203中(步骤S32)。然后，控制部201判定来自照相机100的图像的接收是否已结束(步骤S33)。在步骤S33的判定中，当图像的接收没有结束时，处理返回步骤S31，控制部201等待来自照相机100的下一图像的接收。

另外，在步骤S31的判定中，当没有接收图像时，控制部201判定来自照相机100的两张图像是否都进行了回忆再现请求(步骤S34)。在步骤S34的判定中，当没有进行回忆再现请求时，控制部201判定是否从照相机100进行了通常图像的再现请求(步骤S35)。在步骤S35的判定中，当进行了通常图像的再现请求时，控制部201将用户所选择的图像传送给照相机100。从而，在照相机100的显示部107进行图像再现(步骤S36)。

另外，在步骤S34的判定中，当进行了回忆再现请求时，控制部201取得从照相机100发送来的两图像(步骤S37)。接着，控制部201将两图像的摄影日期时间和摄影位置发送到路径搜索部205。路径搜索部205根据两张图像的摄影日期时间之差和两张图像的摄影位置之差，计算两图像在摄影位置间移动时的移动速度V(步骤S38)。另外，控制部201根据分别附加到所取得的两图像上的摄影日期时间和摄影位置的信息，从不同年份地图DB 204中选择与两图像的摄影日期时间为相同年份、且包含两图像的摄影位置在内的2D地图图像(步骤S39)。并且，控制部201将所选择的2D地图图像发送给路径搜索部205。这里，在因两图像的摄影位置间的距离远而没有容纳在一张地图图像内的情况下，放大地图的缩尺。相反，在两图像的摄影位置间的距离近时，可缩小地图的缩尺。路径搜索部205根据移动速度V和2D地图图像，确定两图像的摄影位置间的移动路径以及摄影时的用户行进方向(步骤S40)。

这里，对步骤S40的基于移动速度V的移动路径的确定处理进行说明。

在步骤S39中，当计算出移动速度V时，使用两图像的摄影日期时间差以及两图像的摄影位置差。这里，两图像的摄影位置差表示图5所示的两图像的摄影位置a-b间的直线距离。实际上，用户的移动路径未必是直线，也可以认为是如图5的路径R1、R2那样包含曲线的情况。另外，即使是相同的距离(相同路径)的移动，移动时间也因用户的移动装置而不同。例如，在摄影位置a-b间利用徒步进行移动和利用汽车进行移动中，利用汽车进行移动的移动时间短。

在本实施方式中，根据在步骤S38中计算出的移动速度V和在步骤S39中选择出的2D地图图像，确定摄影时的移动路径以及移动装置。另外，行进方向相对于所确定的移动路径是从摄影日期时间在先的摄影位置朝向摄影日期时间在后的摄影位置的方向。

图6是表示移动路径搜索处理的流程图。路径搜索部205在由控制部201选择出的2D地图图像中，将连接两图像的摄影位置的路径(道路等)作为移动路径的候选(步骤S61)。接着，路径搜索部205选择路径候选中的某个，并计算出所选择的路径的距离L(步骤S62)。首次计算出例如最短距离的路径的距离L。

接着，路径搜索部205判定移动速度V和摄影日期时间差Δt之积是否与距离L相等(步骤S63)。

例如，如图5的例子所示，当在2D地图图像上存在距离不同的两条路径时，在摄影时用户在路径R1上进行了移动的情况下，移动速度V和摄影日期时间差Δt之积为L1。另外，在用户在路径R2上进行了移动的情况下，移动速度V和摄影日期时间差Δt之积为L2。通过这样的考虑方法能够确定摄影时的移动路径。

在步骤S63的判定中，当移动速度V和摄影日期时间差Δt之积等于距离L时，认为当前所选择的路径是摄影时的移动路径。在该情况下，路径搜索部205判定移动速度V是否小于5km/h(步骤S64)。这里，5km/h表示徒步的移动速度。在步骤S64的判定中，当移动速度V小于5km/h时，路径搜索部205判定为摄影时的移动装置是徒步(步骤S65)。并且，将回忆再现时合成的化身作为图2的参照符号407所示的徒步用的化身，并且使回忆再现时的再现速度符合徒步(步骤S66)。

另外，在步骤S64的判定中，当移动速度V是5km/h以上时，路径搜索部205判定移动速度V是否小于100km/h(步骤S67)。在步骤S67的判定中，当移动速度V小于100km/h时，路径搜索部205判定出摄影时的移动装置为汽车(步骤S68)。并且，将回忆再现时所合成的化身作为图7的参照符号408所示的汽车用(例如，显示如汽车前窗那样的框)的对象，使回忆再现时的再现速度符合移动速度V。

这里，在本实施方式中移动装置不仅限于徒步和汽车。例如，在移动路径为海上的情况下，还能够以船等为化身。

在步骤S63的判定中，当移动速度V和摄影日期时间差Δt之积不等于L时或在步骤S67的判定中移动速度V是100km/h以上时，路径搜索部205判定是否有下一路径候选(步骤S69)。在步骤S69的判定中，当没有下一路径候选时，处理转移到步骤S68。并且，路径搜索部205判定为摄影时的移动装置是汽车。

另外，在步骤S69的判定中，当有下一路径候选时，路径搜索部205选择下一路径候选(步骤S70)。然后，返回步骤S62，进行与下一路径候选相对应的处理。

通过如上的路径搜索处理，即使是在地图上有多个移动路径候选的情况下，也能够正确搜索摄影时的移动路径。另外，还能够将与摄影时的移动装置对应的化身合成在图像中。

以下，进一步对图4的流程图进行说明。在移动路径搜索处理结束后，控制部201从3D地图图像中选择与移动路径上的确定位置对应的图像(可以是多个)(步骤S41)。即，当在所搜索到的移动路径上移动时，从3D地图图像中选择在各个确定位置上应该能看到的图像来作为虚拟风景图像。此时，估计与所选择的确定位置对应的图像的虚拟摄影日期时间(根据移动速度V进行估计)，并使其相关联。

这里，可从卫星照片或航空照片等中合成并取得与确定位置对应的图像。另外，如果其他用户在路径中的确定位置上进行拍摄，也可以利用该图像。

然后，控制部201判定是否从照相机100请求在回忆再现时合成化身(步骤S42)。在步骤S42的判定中，当没有请求合成化身时，控制部201在所接收的两图像之间配置与路径上的确定位置对应的图像(步骤S43)。当存在多个与确定位置对应的图像时，该配置顺序按照移动路径的行进方向。然后，控制部201从图像组中生成一个图像文件，该图像组由用户发送的两图像以及与各确定位置对应的图像构成(步骤S44)。另外，当将回忆图像设定为2D地图显示时，在步骤S39中选择出的2D地图图像也包含在图像文件中。在图像文件生成后，控制部201将所生成的图像文件发送到照相机100(步骤S45)。

另外，在步骤S42的判定中，当请求合成化身时，控制部201从所接收的两图像中选择摄影日期时间在先的图像(以下，称为在先图像)(步骤S46)。接着，控制部201根据拍摄于在先图像中的地形，确定在先图像摄影时的摄影方向(视点方向)(步骤S47)。并且，控制部201将摄影方向的信息发送到虚拟风景制作部206。虚拟风景制作部206在回忆再现时，根据3D地图图像来制作应该与在先图像的摄影位置对应地显示的图像，并将该图像作为虚拟风景图像(步骤S48)。该虚拟风景图像是在在先图像的摄影位置上，用户朝向在步骤S40中搜索到的移动路径的行进方向时应该能看到的图像。另外，当在先图像的摄影方向与行进方向一致时，制作的虚拟风景图像与在先图像相同。

然后，虚拟风景制作部206在所制作的虚拟风景图像的前景部中合成化身(步骤S49)。通过在所制作的虚拟风景图像中合成化身，能够再现更真实的任一图像。接着，虚拟风景制作部206根据3D地图图像，制作与步骤S40中所确定的沿着行进方向的确定位置对应的虚拟风景图像(步骤S50)。而且，虚拟风景制作部206在所制作的虚拟风景图像中合成化身(步骤S51)。然后，根据移动路径切换3D地图图像的行进方向，选择下一位置(步骤S52)。

在切换了3D地图图像的行进方向后，虚拟风景制作部206判定所选择的位置是否为与接收到的图像中的摄影日在后的图像(以下，称为在后图像)对应的位置(步骤S53)。在步骤S53的判定中，当所选择的位置不是与在后图像对应的位置时，处理返回步骤S50。然后，虚拟风景制作部206制作与所选择的位置对应的虚拟风景图像。另一方面，在步骤S53的判定中，当所选择的位置是与在后图像对应的位置时，虚拟风景制作部206制作与在后图像的位置对应的虚拟风景图像(步骤S54)。然后，虚拟风景制作部206在所制作的虚拟风景图像中合成化身(步骤S55)。然后，处理转移到步骤S44，由合成了化身后的各虚拟风景图像生成一个图像文件。将所生成的图像文件发送到照相机100。通过在照相机100中再现该图像文件，可进行图2所示的回忆再现。

[第2实施方式]

接着，对本发明第2实施方式进行说明。图8是表示包括第2实施方式的虚拟图像生成装置的虚拟移动显示系统的结构的图。在第2实施方式中，虚拟风景制作部206的结构与第1实施方式不同。第2实施方式中的虚拟风景制作部206具有方向检测部2061和图像合成部2062。方向检测部2061具有：相同方向检测部2061a和相反方向检测部2061b。相同方向检测部2061a根据所输入的图像的摄影位置信息和在所输入的图像中拍摄的风景，来检测摄影方向。相反方向检测部2061b检测与相同方向检测部2061a所检测出的摄影方向相反的方向(180度旋转方向)。图像合成部2062从不同年份地图DB 204中取得存在于相反方向检测部2061b所检测出的方向上的风景的图像，将该图像作为虚拟风景图像，并根据需要，在所取得的风景图像中合成所输入的图像的摄影者图像。即，由图像合成部2062取得的虚拟风景图像相当于这样的风景图像：该风景图像被认为是在拍摄所输入的图像当时被摄体看到的方向、即摄影者存在的方向上拍摄的。

以下，对图8所示的虚拟风景显示系统的概括动作进行说明。图9是表示虚拟风景显示系统的概括动作的图。

在本实施方式中，当进行拍摄时，在摄影位置和摄影日期时间相关联的状态下将图像记录到记录部106。

然后，通过用户对输入部102的操作，将照相机100的动作模式设定为回忆图像再现模式。之后，当选择在照相机100的记录部106中所记录的图像时，将所选择的图像发送给虚拟风景生成服务器。图2的例子表示选择了在12点20分在经度为A、纬度为B的位置上拍摄的图像501的实例。

当在虚拟风景生成服务器中接收到图像501时，从不同年份地图DB204中取得包括图像501的摄影位置的2D地图图像502以及3D地图图像。然后，在虚拟风景制作部206的相同方向检测部2061a，根据在图像501中拍摄的风景来确定图像501的摄影方向。在图像501的摄影方向确定后，通过相反方向检测部2061b来确定与摄影方向相反的方向(摄影方向的180度旋转方向)。该方向是在拍摄图像501的当时被认为被摄体看到的方向。关于图像的摄影方向的确定，只要能进行例如拍摄的图像和地图图像之间的图像匹配(pattern matching)即可。另外，如果进行进一步考虑了气候或时间信息的匹配，则能更高精度地确定方向。

当通过相反方向检测部2061b确定出与摄影方向相反的方向时，利用图像合成部2062，基于不同年份地图DB204的3D地图图像，制作被认为看到被摄体的图像，将该图像作为虚拟风景图像。而且，根据需要，在制作的虚拟风景图像403中合成摄影者图像504。

通过按照上述来制作虚拟风景图像，虽然实际上仅拍摄了图像501，但能够欣赏在其摄影位置能看到的其他图像。

以下，对图8的虚拟风景显示系统的具体动作进行说明。另外，照相机100的动作与第1实施方式中所说明的动作相同。因此，在第2实施方式中省略说明。

这里，在第2实施方式中，在图3所示的照相机侧控制的步骤S13中选择的图像的张数可以是1张。另外，在步骤S14中，控制部101等待摄影者输入对图像的设定。该设定是在后述的回忆再现模式中是否在虚拟风景图像中合成摄影者图像、或者在合成时合成哪个图像等的设定。而且，在步骤S15的显示之际，控制部101根据从服务器200发送的图像文件，进行回忆再现处理，该回忆再现处理是将摄影时被认为看到被摄体的风景图像显示到显示部107。下面，对该回忆再现处理进行叙述。

图10是表示图8所示的虚拟风景显示系统中的虚拟风景生成服务器的动作的流程图。另外，图10中的步骤S81～S83与第1实施方式中所说明的图4的步骤S31～S33相同。因此，在第2实施方式中省略说明。

在步骤S81的判定中，当没有接收图像时，控制部201判定是否从照相机100发送图像并进行了回忆再现请求(步骤S84)。在步骤S84的判定中，当没有进行回忆再现请求时，控制部201判定是否从照相机100进行了通常图像的再现请求(步骤S85)。在步骤S85的判定中，当进行了通常图像的再现请求时，控制部201将用户所选择的图像传送给照相机100。由此，在照相机100的显示部107进行图像再现(步骤S86)。

另外，在步骤S84的判定中，当进行了回忆再现请求时，控制部201取得从照相机100发送来的图像(步骤S87)。接着，控制部201根据从照相机100发送来的摄影者图像的设定信息，取得摄影者图像(步骤S88)。当从照相机100发送来表示摄影者的图像时，控制部201取得该图像，将其作为摄影者图像。另外，当请求合成在虚拟风景生成服务器的摄影者图像DB 208中记录的图像时，控制部201取得该图像，将其作为摄影者图像。

然后，控制部201根据附加在取得的图像中的摄影日期时间和摄影位置的信息，从不同年份地图DB 204中选择与从照相机100发送来的图像的摄影日期时间为相同年份、且包含该图像的摄影位置在内的2D地图图像以及3D地图图像(步骤S89)。并且，控制部201将所选择的2D地图图像以及3D地图图像发送到虚拟风景制作部206。之后，虚拟风景制作部206的相同方向检测部2061a根据在从照相机100发送来的图像中拍摄的风景，检测出从照相机100发送来的图像的摄影方向(步骤S90)。相同方向检测部2061a从3D地图图像中选择摄影者站在摄影位置时应该能看见的图像(以摄影位置为中心沿着360度旋转方向存在的风景图像)。并且，相同方向检测部2061a进行各选择的图像和从照相机100发送来的图像之间的匹配处理，并检测经过匹配处理而判定为一致度最高的风景图像存在的方向，将该方向作为摄影方向。例如，当判定为与存在于图9的位置502a的风景图像之间一致度高时，摄影方向成为箭头C所示的方向。在检测出摄影方向后，虚拟风景制作部206的相反方向检测部2061b检测摄影方向的相反方向(相对于摄影方向旋转180度的方向。在图9的例子中是箭头D的方向)(步骤S91)。

在相反方向的检测结束后，控制部201根据摄影者图像的设定信息，判定是否设定为合成摄影者图像(步骤S92)。在步骤S92的判定中，当设定为合成摄影者图像时，控制部201选择与摄影位置周围360度的位置对应的风景图像，将该风景图像作为虚拟风景图像。并且，在所选择的虚拟风景图像中，选择与在步骤S91中检测出的相反方向所对应的位置(在图9的例子中是位置502b)对应的虚拟风景图像。然后，控制部201将选择的虚拟风景图像发送到图像合成部2062。图像合成部2062在发送来的虚拟风景图像中合成在步骤S88中取得的摄影者图像。在合成这样的图像后，控制部201将包含进行了合成的虚拟风景图像在内的摄影位置周边的虚拟风景图像制成一个图像文件(步骤S93)。另一方面，在步骤S92的判定中，当没有设定为合成摄影者图像时，控制部201选择与摄影位置周围360度的位置对应的风景图像，将该风景图像作为虚拟风景图像。并且，将所选择的各虚拟风景图像和在步骤S88中取得的摄影者图像制成一个图像文件(步骤S94)。另外，在这里制作的回忆图像文件中还预先包含在步骤S91中检测出的相反方向的信息。这样，以不合成虚拟风景图像和摄影者图像的状态预先记录到图像文件中。由此，在照相机100中也能够进行合成。

图11是表示摄影者图像的设定处理的流程图。例如，在图3的步骤S14期间进行该摄影者图像的设定处理。用户(摄影者)能够从在虚拟风景生成服务器的摄影者图像DB 208中记录的图像中选择希望的摄影者图像。另外，还能够从与虚拟风景生成服务器网络连接的PC上进行摄影者图像的设定。

在设定摄影者图像时，控制部101从虚拟风景生成服务器接收化身的候选图像，并如图12A的参照符号107a所示那样显示所接收的候选图像的缩略图图像。并且，等待用户对化身候选的选择(步骤S101)。此时，控制部101判定用户是否已选择了化身的候选(步骤S102)，在进行选择之前反复执行步骤S101～S102的处理。在步骤S101中，可选择化身的性别及风格等化身外形。用户操作输入部102的十字键102a和OK按钮(确认按钮)102b，使光标107b移动，可通过选择在显示部107上显示的某个缩略图图像，来选择希望外形的化身。

在步骤S102的判定中，当选择了化身候选时，控制部101从虚拟风景生成服务器接收与所选择的外形对应的化身的候选图像。并且，如图12B的参照符号107c所示那样显示所接收的候选图像的缩略图图像。然后，等待用户对化身候选的选择(步骤S103)。此时，控制部101判定用户是否选择了化身候选(步骤S104)，在进行选择之前反复执行步骤S103～S104的处理。在步骤S103中能选择化身的姿态。用户操作输入部102的十字键102a和OK按钮102b，使光标107b移动，选择在显示部107显示的某个缩略图图像。由此，能够选择与在步骤S101中选择的外形对应的希望姿态的化身。

在步骤S104的判定中，当选择了化身候选时，控制部101根据所选择的姿态来制作化身的候选图像。并且，将所制作的化身的候选图像作为对用户确认用的图像显示在显示部107(步骤S105)。然后，控制部101判定用户是否进行了OK(确认)操作(步骤S106)。OK操作是用户对OK按钮102b的操作。在步骤S106的判定中，当没有进行OK操作时，处理返回步骤S103，控制部101再次等待化身候选的选择。

另外，在步骤S106的判定中，当用户进行了OK操作时，控制部101与虚拟风景生成服务器通信，判定在虚拟风景生成服务器的摄影者图像DB 208中是否记录有表示作为摄影者的用户的实拍图像(摄影者自身登录的图像)(步骤S107)。在步骤S107的判定中，当没有记录实拍图像时，控制部101结束图11的处理。另一方面，在步骤S107的判定中，当记录了实拍图像时，控制部101从虚拟风景生成服务器接收实拍图像。并且，如图12C的参照符号107d所示那样显示所接收的实拍图像的缩略图图像。然后，等待用户对实拍图像的选择(步骤S108)。此时，控制部101判定用户是否选择了成为化身候选的实拍图像(步骤S109)，在进行选择之前反复执行步骤S108～S109的处理。

在步骤S109的判定中，当选择了成为化身候选的实拍图像时，控制部101将所选择的实拍图像中的面部图像与在步骤S105中制作的化身候选的面部合成(步骤S110)。之后，控制部101结束图11的处理。

按上述合成后的化身图像在请求回忆再现时向虚拟风景生成服务器发送。该化身图像在制作回忆图像文件时根据需要与虚拟风景图像合成。由此，即使用户(摄影者)没有拍摄自身的图像，也能够制作表示自身的图像。通过将这样的图像与虚拟风景图像合成，用户即使没有对拍摄有自身的图像进行摄影，也能够欣赏包含在摄影当时看到被摄体的风景在内但是在当时没有摄影的风景的图像。由此，用户能够想起摄影当时的情景。

图13是表示照相机100的回忆再现时的处理的流程图。这里，在本实施方式中，在回忆再现时也能够合成虚拟风景图像和摄影者图像。

在接收回忆图像文件并由用户指示了回忆再现后，控制部101判定在回忆图像文件中是否包含摄影者图像(在虚拟风景生成服务器中是否进行了摄影者图像的合成)(步骤S121)。在步骤S1211的判定中，当在回忆图像文件中包含摄影者图像时，控制部101判定是否通过用户操作指示了将摄影者图像与虚拟风景图像合成(步骤S122)。在步骤S122的判定中，当指示了合成摄影者图像时，控制部101将图14A所示的摄影者图像合成到与图14B所示的摄影方向的相反方向对应的虚拟风景图像中(步骤S123)。

在步骤S121、S122或S123之后，控制部101通过将虚拟风景图像显示在显示部107上，来执行回忆再现(步骤S124)。在回忆再现时，控制部101判定用户是否进行了OK操作(步骤S125)。在步骤S125的判定中，当进行了OK操作时，控制部101结束图13的处理。之后，按照用户操作，将包含按图14D所示那样制作的虚拟风景图像601a的回忆图像文件记录到记录部106中。

另一方面，在步骤S125的判定中，当没有进行OK操作时，控制部101判定用户是否进行了十字键102a的左右键操作(步骤S126)。在步骤S126的判定中，当进行了十字键102a的操作时，控制部101根据十字键102a的操作方向来选择图像文件中的其他虚拟风景图像。并且，通过在选择的虚拟风景图像中再次合成摄影者图像，来变更摄影者图像的合成位置(步骤S127)。用户通过操作十字键102a的左右键，能够沿着图14C的箭头E方向(以摄影位置为中心的360度旋转方向)选择虚拟风景图像。例如，当在图14C的状态下按下右键时，选择虚拟风景图像601的右侧相邻的虚拟风景图像。并且，在所选择的虚拟风景图像的中心位置上合成摄影者图像602。另外，当在图14C的状态下按下左键时，选择虚拟风景图像601的左侧相邻的虚拟风景图像。然后，在所选择的虚拟风景图像的中心位置上合成摄影者图像602。

在步骤S126或S127之后，控制部101判定用户是否进行了变焦操作(步骤S128)。在步骤S128的判定中，当进行了变焦操作时，控制部101按照变焦按钮的操作方向对摄影者图像进行放大或缩小。并且，将放大或缩小后的摄影者图像再次与虚拟风景图像合成，由此来变更摄影者图像的显示范围(步骤S129)。用户通过操作变焦按钮，能够在图14C的箭头F方向上进行摄影图像的放大或缩小。例如，当按下变焦按钮的广角(wide)侧时，则放大摄影者图像。另外，当按下变焦按钮的长焦(tele)侧时，则缩小摄影者图像。

如以上说明的那样，根据本实施方式，通过根据3D地图图像制作在摄影时用户没有拍摄的风景等的图像，还能够对摄影和摄影之间的行动追加体验。

根据以上实施方式说明了本发明，但是本发明不限于上述实施方式，显然在本发明主旨的范围内可进行各种变形及应用。例如，在上述实施方式中示出了在生成回忆再现用的图像文件时将由3D地图图像生成的一系列图像以非压缩方式制成一个图像文件的例子，但是也可以在采用在动态图像压缩中所使用的帧间压缩对一系列图像进行压缩，之后制作一个图像文件。这样可减少文件的容量，所以能够缩短通信时间，还能够节约文件记录所需的容量。

例如，在上述实施方式中，对由照相机100和虚拟风景生成服务器构成的系统进行了说明，但是也可以取代照相机100而采用PC或移动电话等。即，只要是至少具有图像显示功能的设备，就能够用来取代照相机100。

另外，虚拟风景图像除了3D地图图像之外，还可以利用卫星照片或航空照片等来制作。

另外，关于在先图像和在后图像，未必是通过通信从照相机100输入到虚拟图像生成服务器，也可以从照相机100以外的设备进行输入。

此外，在上述实施方式中，还对由照相机100和虚拟风景生成服务器构成的系统进行了说明，但是也可以采用PC(个人计算机)、移动电话等来取代照相机100。只要是至少具有图像显示功能的设备，就能够用来取代照相机100。

Claims (7)

1.一种虚拟图像生成装置，其生成与所拍摄的图像相关联的虚拟图像，其特征在于，该虚拟图像生成装置具有：

图像记录部，其记录附加有摄影位置信息的多个图像；

图像选择部，其从上述记录的图像中选择用于生成虚拟图像的图像；

地图图像取得部，其取得与地图图像对应的图像，该地图图像包含附加在上述选择的图像中的摄影位置信息；

虚拟风景图像制作部，其根据与上述地图图像对应的图像生成虚拟图像，该虚拟图像表示与上述选择的图像或附加在上述选择的图像中的摄影位置信息相关联的风景；以及

显示输出部，其为了显示上述生成的表示风景的虚拟图像而进行输出。

2.根据权利请求1所述的虚拟图像生成装置，其特征在于，

上述图像选择部具有选择指示部，该选择指示部从上述记录的图像中选择摄影位置信息不同的至少两张图像，

上述虚拟风景图像制作部根据附加在上述选择的至少两张图像中的摄影位置信息来确定各图像的摄影位置之间的移动路径，并基于与上述地图图像对应的图像，制作表示随着在该确定的移动路径内移动而应该能看到的风景的虚拟图像。

3.根据权利请求2所述的虚拟图像生成装置，其特征在于，

该虚拟图像生成装置还具有视点输入部，该视点输入部输入在上述移动路径内的视点，

上述虚拟风景图像制作部制作与上述输入的视点相对应的表示上述风景的虚拟图像。

4.根据权利请求1所述的虚拟图像生成装置，其特征在于，

上述虚拟风景图像制作部根据上述选择的图像以及附加在上述选择的图像中的摄影位置信息，基于与上述地图图像对应的图像，制作表示在与看到上述选择的图像中的被摄体的方向相反的方向上存在的风景的虚拟图像。

5.根据权利请求4所述的虚拟图像生成装置，其特征在于，

该虚拟图像生成装置还具有摄影者图像记录部，该摄影者图像记录部记录与附加有上述摄影位置信息的多个图像的各自的摄影者相关的图像，

上述虚拟风景制作部包括：

方向检测部，其检测在上述地图图像上的方向；以及

图像合成部，其按照上述检测出的方向，制作表示与看到上述选择的图像中的被摄体的方向的相反方向对应的风景的虚拟图像，在与上述选择的图像的摄影者相关的图像中合成该制作的表示风景的虚拟图像。

6.根据权利请求5所述的虚拟图像生成装置，其特征在于，

上述方向检测部包括：

相同方向检测部，其根据附加在上述选择的图像中的摄影位置信息和在上述选择的图像中拍摄的风景的图像，检测上述选择的图像的摄影方向；以及

相反方向检测部，其检测与上述相同方向检测部所检测出的摄影方向相反的方向，将该方向作为与看到上述选择的图像中的被摄体的方向相反的方向。

7.一种虚拟图像生成方法，用于生成与所拍摄的图像相关联的虚拟图像，其特征在于，该虚拟图像生成方法具有：

从附加有摄影位置信息的多个图像中选择用于生成虚拟图像的图像的步骤；

取得与地图图像对应的图像的步骤，其中该地图图像包含附加在上述选择的图像中的摄影位置信息；

根据与上述地图图像对应的图像生成虚拟图像的步骤，其中该虚拟图像表示与上述选择的图像或附加在上述选择的图像中的摄影位置信息相关联的风景；以及

为了显示上述生成的虚拟风景图像而进行输出的步骤。

Images