CN103028252B - 观览车 - Google Patents

Abstract

本发明提供一种观览车，其具有多个座舱。该观览车包括：设置在各座舱并且拍摄该座舱外的实际风景的摄像部；设置在各座舱内的显示部；以及将虚拟图像重合到由摄像部拍摄的实际图像的预定位置从而生成合成图像，并且使显示部显示该合成图像的控制部。

Description

观览车

技术领域

本发明涉及观览车。

背景技术

一直以来，已知有设置在娱乐场所等处的观览车(例如，参照专利文献1)。该观览车具有旋转轮、和沿旋转轮的圆周方向每隔预定间隔设置的多个座舱(gondola)。在乘客乘坐在座舱中的状态下，旋转轮慢慢旋转。座舱内的乘客，伴随慢慢地移动能够欣赏观测角度逐渐变化的风景。此外，能够享受顶点附近周围的眺望。

但是，该现有的观览车，只不过是眺望座舱外当前能够看到的风景。因此，有人可能会感到无聊。尤其对于熟悉该地方的人或曾经乘坐过的人等来说，现有的观览车缺少乐趣。

可是，近年来，正在盛行研究呈现将现实空间和虚拟空间实时融合的混合现实感[Mixed Reality；也包括增强现实感(Augmented Reality)、增强虚拟感(Augmented Virtuality)]的装置(例如，参照专利文献2、3)。该呈现混合现实感的装置，例如，首先通过摄像机(包含照相机)等的摄像部拍摄现实空间。然后，呈现混合现实感的装置将虚拟图像重合到由摄像部所拍摄的图像(实际图像)上从而生成合成图像。然后，呈现混合现实感的装置将该合成图像输出到外部。如此，呈现混合现实感的装置能够使看到该合成图像的用户感到融合了实际图像和虚拟图像的混合现实感。专利文献2、3的装置在头戴式显示器(HMD；head mount display)上安装有摄像部。而且，对由该摄像部拍摄的实际图像实时重叠虚拟图像，生成合成图像。然后，将该合成图像放映在头戴式显示器上。因此，戴上头戴式显示器行走时，虚拟图像重叠显示在与用户的视点(观察点)相应的影像上。因此，头戴式显示器能够给予用户宛如在现实空间存在该虚拟图像似的感觉。

但是，若仅仅在地面行走或行驶的用户仅是使用这种呈现混合现实感的装置，则用户仅能在可以从地面瞭望的周围景色的范围内体验混合现实感。

【专利文献1】JP特开2007-167215号公报

【专利文献2】JP特开2008-293209号公报

【专利文献3】JP特开2008-275391号公报

发明内容

本发明就是鉴于上述情况而作出的，其目的在于提供一种观览车，不仅从来自地面的视点，而且能够使混合现实感的呈现范围成为更广的范围，并且对座舱内的乘客给予仅眺望风景不能获得的乐趣。

为了解决上述课题，本发明的观览车采用以下的构成。

本发明的观览车包括多个座舱63、摄像部1、显示部2和控制部3。摄像部1设置在各座舱63上。摄像部1构成为拍摄座舱63外的实际风景。显示部2设置在各座舱63内。控制部3构成为在由摄像部1拍摄的实际图像的预定位置重叠虚拟图像，据此，生成合成图像。控制部使该合成图像显示在显示部2上。

通过如此构成，能够给予座舱63的乘客利用了从观览车的座舱63看到的广大范围的视野的混合现实感(也包括增强现实感、增强虚拟感)。而且，座舱63始终不仅在水平方向上移动，也在高度方向上移动。因此，可以给予仅从来自地面的视点不能获得的混合现实感。

在本发明的观览车中，优选控制部3具有存储部34、虚拟图像变形单元36、图像合成单元33和图像显示单元35。存储部34存储有虚拟图像。虚拟图像变形单元36根据座舱63的位置使该存储部34中存储的虚拟图像的大小/角度变化。图像合成单元33构成为将由虚拟图像变形单元36变化后的图像重合到由摄像部1拍摄的实际图像的预定位置，从而生成合成图像。图像显示单元35使显示部显示由图像合成单元33生成的图像。

通过这种构成，能够根据座舱63的移动来使虚拟图像变形。据此能够使合成图像更接近现实的图像。

此外本发明的观览车优选具备位置检测部和摄像方向检测部。位置检测部构成为检测摄像部1的位置。构成为在位置检测部检测到摄像部1的位置时，产生检测信息。摄像方向检测部构成为检测摄像部1的摄像方向。构成为在摄像方向检测部检测到摄像部1的摄像方向时，摄像方向检测部产生检测信息。所述虚拟图像变形单元36根据位置检测部所产生的检测信息和摄像方向检测部所产生的检测信息，使所述虚拟图像变化。

根据这种构成，能够比较高精度地进行实际图像和虚拟图像的位置匹配。

此外在本发明的观览车中，优选所述控制部3还具备标记识别单元30和位置/姿势导出单元32。标记识别单元30将所述实际图像中包含的特定物体识别为标记。位置/姿势导出单元32构成为导出由标记识别单元30识别到的标记的位置/姿势。所述存储部34预先存储有与所述标记建立了对应的所述虚拟图像。所述虚拟图像变形单元36根据由位置/姿势导出单元32导出的标记的位置/姿势信息，使所述虚拟图像变化。控制部3在由所述标记识别单元30识别出标记后，从存储部34取得与该标记对应的虚拟图像。而且，标记识别单元30从存储部34取得的虚拟图像通过虚拟图像变形单元36而变化。该变化后的图像通过图像合成单元33重合到与实际图像的标记对应的部分，据此，生成合成图像。而且，通过图像显示单元33使显示部2显示该合成图像。

根据这种构成，能够提高实际图像和虚拟图像的位置匹配精度。

此外优选所述虚拟图像是模拟了与当前不同的时代的风景的计算机图形图像。

据此，例如，能够将该土地上的过去的历史上的建筑物或未来的予想图等重叠在实际图像上来生成合成图像，能够对座舱63的乘客给予乐趣。

此外本发明的观览车优选在存储部34中存储有多个不同年代的虚拟图像。而且，所述各座舱63还具备能够设定成任意年代的风景的设定部52。所述控制部3从存储部34取得与由该设定部52设定的年代对应的虚拟图像并且重合到所述实际图像上从而生成合成图像。通过图像显示单元35使显示部2显示该合成图像。

据此，能够通过显示部2显示座舱63的乘客期望的年代中的风景，能够对乘客进一步给予乐趣。

此外，优选所述虚拟图像是模拟了与当前不同的风景的计算机图形图像。

在该情况下，例如，能够将与当前不同的风景重叠到实际图像上来生成合成图像，能够对座舱63的乘客给予乐趣。

此外，在本发明的观览车中，优选存储部存储有多个风景的虚拟图像。在该情况下，座舱还具备能够设定成任意的风景的设定部。控制部从存储部取得与由设定部设定的风景对应的虚拟图像，并且重合到实际图像上从而生成合成图像。控制部通过图像显示单元使显示部显示合成图像。

在该情况下，能够在显示部显示座舱的乘客期望的风景。因此，能够对乘客进一步给予乐趣。

此外在本发明的观览车中，优选所述摄像部1是摄像机(包含照相机)。摄像机设置在座舱63的外部。摄像机构成为能够改变摄像方向。优选所述座舱63还具备使所述摄像机的摄像方向改变的操作部5。

据此，能够重叠显示座舱63的乘客期望的视点上的实际图像和虚拟图像。据此，能够给予乘客利用了更广大范围的视野的混合现实感。

此外本发明的观览车优选所述显示部2被包括在头戴型显示装置中。

此外，优选标记识别单元具有位置检测部。位置检测部构成为检测所述摄像部的位置并输出摄像部位置信息。标记识别单元根据摄像部位置信息，导出表示标记的位置以及姿势中至少一种的标记的位置/姿势信息。

此外，观览车具备驱动装置。驱动装置构成为使各座舱移动。优选位置检测部具有计时器。计时器构成为测量从所述摄像部移动到预定位置的时刻开始的经过时间，并输出表示所述经过时间的经过时间信息。位置检测部构成为根据测量时间信息以及座舱的移动速度，输出表示所述摄像部的位置的摄像部位置信息。

此外，优选位置检测部还具备发射器和接收器。发射器构成为发出信号。接收器构成为接收所述信号。计时器构成为测量从所述摄像部位于预定位置并且接收到所述信号的时刻开始的经过时间。

另外，优选驱动装置构成为使各座舱以一定(恒定)的移动速度移动。

而且，驱动装置构成为使各座舱沿预定轨道移动。计时器构成为测量从所述摄像部移动到所述预定轨道上的预定位置的时刻开始的经过时间，并且输出表示所述经过时间的经过时间信息。

此外，优选标记识别单元具有摄像方向检测部。摄像方向检测部构成为检测所述摄像部的摄像方向，并且输出摄像方向信息。标记识别单元根据摄像方向信息，导出表示标记的位置以及姿势中至少一种的标记的位置/姿势信息。

此外，优选控制部还具有亮度检测单元和补正单元。亮度检测单元构成为检测所述摄像部拍摄的座舱外的风景的亮度。亮度检测单元检测出的亮度被定义为第一亮度。补正单元调整所述存储部中所存储的图像的亮度，使得所述存储部中所存储的图像的亮度接近第一亮度。图像合成单元将调整了亮度的虚拟图像与由摄像部拍摄的实际图像合成从而生成合成图像。

(发明效果)

根据本发明的观览车，能够使混合现实感的呈现范围不仅是来自地面的视点，还能够是更广大的范围，并且能够给予座舱的乘客在仅仅眺望风景时不能获得的乐趣。

附图说明

图1是表示本发明的一实施方式的控制的框图。

图2是示出了本发明的一实施方式的观览车的整体的主视图。

图3是示出了本发明的一实施方式的观览车的座舱内的立体图。

图4是示出了其他实施方式的座舱内的立体图。

符号说明

1     摄像部

2     显示部

3     控制部

30    标记识别单元

31    标记存储部

32    位置/姿势导出单元

33    图像合成单元

34    存储部

35    图像显示单元

36    虚拟图像变形单元

5     操作部

51    操作杆

52    设定部

60    支撑腿体

61    旋转轴

62    旋转轮

63    座舱

64    上下台

65    出入口

66    门

67    座席

68    透过窗

G     设置面

具体实施方式

以下，基于附图来说明本发明的实施方式。

如图2所示，实施方式1的观览车具有一对支撑腿体60。从观览车的设置面G在前后隔开间隔来立设一对支撑腿体60。在一对支撑腿体60的上端间水平架设旋转轴61。在该旋转轴61上枢支旋转轮62，据此，旋转轮62可以自由旋转。旋转轮62通过设置在支撑腿体60上的驱动装置(未图示)而被驱动旋转。旋转轮62是形成为大致圆形的骨架体。在旋转轮62的外周端部沿圆周方向以预定间隔悬挂多个座舱63。吊持在旋转轮62的外周端部的各座舱63被安装为相对于旋转轮62可以自由转动。因此，各座舱63无论移动到旋转轮62的周围的哪个位置，总可以保持竖直姿势。各座舱63的旋转轨迹呈大致圆周轨迹状。在座舱63的旋转轨迹的下端部位设置用于乘客上下座舱63的上下台(platform)64。

另外，旋转轮62通过驱动装置而被驱动旋转，所以座舱在圆周轨迹上移动。即，圆周轨迹被定义为座舱移动的预定轨道。

各座舱63的外形为在正视下大致圆形。各座舱63在内部具有用于乘客搭乘的空间。各座舱63在侧面设置有乘客可以出入的出入口65。各座舱63具备门66，该门66构成为可以开闭出入口65。座舱63在外部的下部安装有对座舱63外的风景(实际风景)进行摄像的摄像部1。本实施方式的摄像部1例如由CCD(Charge Coupled Device，电荷耦合器件)摄像机构成。此外，摄像部1被安装在摄像方向驱动装置(未图示)上。摄像部1构成为通过摄像方向驱动装置而能够在摄像方向从水平方向稍微朝向下方的状态下在全方位(水平方向360°)改变。换言之，摄像部1构成为通过摄像方向驱动装置而可以在水平方向上360度旋转。该摄像部1通过后述的控制部3与设置在座舱63内的操作部5连接。通过对操作部5进行操作，能够改变摄像部1的摄像方向。如图3所示，该操作部5设置在座舱63的与出入口65相反一侧的内侧面。而且，操作部5与显示部2相邻配置。操作部5具有可以自由倾倒的操作杆51。使该操作杆51倾倒时，摄像部1的摄像方向改变。显示部2由监视器构成。显示部2配置为稍微朝向上方倾斜。据此，该显示面被配设为朝向乘客的脸所处的部分。该显示部2连接于控制部3。显示部2由控制部3控制。显示部2设置在对置配置的一对座席67的大致中间部。在座舱63上位于座席67的上方安装有透过窗68，乘客可以通过该透过窗68来眺望外部的风景(实际风景)。

另外，作为操作部5，不局限于上述那样地固定地安装在座舱63的内侧面上的部件。作为其他示例，例如，可以通过配设在显示部2的侧方的电气布线来安装操作部。在该情况下，该操作部可以自由移动。此外，作为其他示例，可以在座舱63的内侧面新设置接收部(未图示)。在该情况下，还设置具有发送部的操作部。而且，通过无线来操作操作部。

控制部3构成为使得通过对由摄像部1而拍摄的实际图像内的某特定物体重合虚拟图像从而生成合成图像。而且，控制部3构成为使显示部2显示该合成图像。控制部3在由摄像部1而摄像的图像(实际图像)上重叠虚拟图像来生成新的图像。而且，控制部3构成为使显示部2显示该图像，成为应用了所谓的混合现实感(也包括增强现实感、增强虚拟感)技术的系统。本实施方式的控制部3构成为将风景的某特定物体识别为标记。然后，控制部3使虚拟图像重叠在与该标记对应的部分。即，控制部3利用了标记识别型的混合现实感技术。如图1所示，控制部3由计算机构成。计算机以微处理器为主构成要件。计算机具有标记识别单元30、标记存储部31、位置/姿势导出单元32、虚拟图像变形单元36、存储部34、图像合成单元33和图像显示单元35。本实施方式的控制部3的计算机容纳在各座舱63的座席67的内部。

标记识别单元30将由摄像部1所摄像的实际风景中包含的特定物体识别为标记。标记是使虚拟图像重叠在摄影实际风景而得到的图像上时作为相对位置姿势的基准的记号。根据实际风景中包含的特定物体(例如城址、观望台等)的三维形状的特征来识别标记。该特定物体的三维形状的特征的信息预先记录在标记存储部31中。该标记存储部31由存储器构成。标记存储部31存储有多个不同的标记的形状信息。标记识别单元30通过对照该标记存储部31中存储的形状信息、和由摄像部1所摄像的图像中包含的特定物体的形状信息，识别符合于标记存储部31中存储的多个标记中的哪个标记。该标记识别单元执行的处理可以通过DP(Dynamicprogramming，动态规划)匹配等图像比较算法来实现。在该处理中，通过提高摄像部1的分辨率能够更详细地进行与记录标记的比较。因此，若提高摄像部1的分辨率，则可以增多记录标记的数量。作为本实施方式的标记，例示实际图像内中包含的城、城址、观望台、塔、公寓、游戏设施、车站、高速公路等。此外，标记的识别，可以将实际图像内包含的多个物体作为各个标记来按照多个地方进行识别。此外，作为本实施方式的标记，可以将实际图像内包含的多个物体作为一组标记来识别。与由该标记识别单元30所识别的标记相关的信息发送到位置/姿势导出单元32和虚拟图像变形单元36。

位置/姿势导出单元32求出由标记识别单元30所识别的标记的三维的位置、姿势。例如，位置/姿势导出单元32根据(a)从标记识别单元30接收到的关于标记的三维形状的信息、和(b)实际图像内的与该标记对应的物体的三维位置/形状，计算该标记对摄像部1的位置/姿势。即，位置/姿势导出单元32导出从摄像部1观察到的相对标记的距离/角度。换言之，位置/姿势导出单元32导出从摄像部1到标记的距离。此外，位置/姿势导出单元32导出从摄像部1向标记的方向与水平方向之间的角度。作为用于确定与标记对应的物体的三维位置/形状的信息，例如，列举该标记的至少3点的特征点的标记内的坐标值。另外，计算标记的三维位置/姿势的方法可以使用公知的方法。对于该方法，例如可例示出“加藤博一、汐崎德男、桔启八郎：基于网格图像在线生成的模板的匹配而进行的用于增强现实感的位置匹配方法、日本虚拟现实学会论文杂志、Vol.7，No.2，pp.119-128(2002)”(日文：“加藤博一、汐崎徳男、橘啓八郎：テクスチャ一画像からォンラィン生成されたテンプレ一トのマッチングに基づく拡張現実感のための位置合ゎせ手法、日本バ一チャルリァリティ学会論文誌、Vol.7，No.2，pp.119-128(2002)”)中公开的方法。

此外，可以使用位置检测部和摄像方向检测部来导出标记的位置/姿势。位置检测部构成为检测座舱的位置(即摄像部1的位置)。据此，位置检测部产生表示座舱的位置的检测信息(摄像部位置信息)。此外，摄像方向检测部检测摄像部1的摄像方向。据此，摄像方向检测部产生表示摄像部1的摄像方向的检测信息。根据位置检测部的检测信息和摄像方向检测部的检测信息，导出标记相对摄像部1的位置/姿势。标记的位置/姿势定义为标记的位置/姿势信息。位置检测部例如由触发发射器、触发接收器和计时器构成。触发发射器设置在上下台64上。触发接收器设置在各座舱上。计时器构成为测量从由触发接收器接收了从触发发射器发出的信号的时刻开始的时间。计时器所测量的经过时间被定义为经过时间信息。根据由计时器所测量的经过时间信息、和以稳定速度旋转的旋转轮62的旋转速度信息，设置在各座舱63上的控制部3运算各座舱63的位置。作为摄像方向检测部，可以考虑安装在摄像部1上的地磁传感器、陀螺仪传感器等传感器。另外，观览车的旋转轮62连续地旋转，据此，各座舱63以一定的速度移动。因此，实际图像中包含的标记的位置/姿势始终变化。

另外，作为位置检测部，当然可以利用所谓的全球定位系统(GPS；Global Positioning System)。

由该位置/姿势导出单元32所导出的位置/姿势信息被发送到虚拟图像变形单元36。

此外，不需要组合采用位置检测部和摄像方向检测部。即，可以与摄像方向检测部相独立地采用位置检测部。

此外，在上述说明中，触发发射器设置在上下台上。触发接收器设置在各座舱上。但是，触发发射器不需要一定设置在上下台上。同样，触发接收器不需要一定设置在各座舱上。即，触发发射器以及触发接收器可以设置在任意场所。

例如，触发发射器还可以配置在旋转轮的中心。此外，触发接收器还可以按照与各座舱相邻的方式设置在旋转轮上。此外，触发接收器可以设置在旋转轮的至少一处。

此外，观览车的驱动装置构成为使旋转轮以一定的速度移动。但是，驱动装置使旋转轮以一定的速度移动，不是必须的。即，驱动装置可以适当地改变旋转轮的旋转速度。在该情况下，观览车可以具有旋转速度检测单元。在该情况下，根据计时器输出的经过时间信息、和旋转速度检测单元检测出的旋转速度，位置检测部检测出座舱的位置。

此外，在上述说明中，根据位置检测部的检测信息(摄像部位置信息)以及摄像方向检测部的检测信息(摄像方向信息)，导出标记相对摄像部的位置以及姿势。但是，可以根据位置检测部的检测信息(摄像部位置信息)，使虚拟图像重叠在实际图像上。在该情况下，存储部存储与摄像部位置信息建立了关联的虚拟图像。此外，也可以根据位置检测部的检测信息(摄像方向信息)，使虚拟图像重叠在实际图像上。在该情况下，存储部存储与摄像方向信息建立了关联的虚拟图像。

此外，计时器可以构成为测量从摄像部移动到预定位置的时刻开始的经过时间。即，可以测量从座舱移动到上下台时开始的经过时间，此外，还可以测量从座舱移动到旋转轮的最上部时开始的经过时间。

虚拟图像变形单元36接收到从标记识别单元30发送的关于标记的信息时，从存储部34取得与该标记对应的虚拟图像。该存储部34由存储器构成。存储部34构成为将特定标记和特定虚拟图像建立对应而预先存储。作为该虚拟图像，可以列举模拟了过去的风景(例如城市或都市)的计算机图形图像(以下称为CG图像)、模拟了预想未来的风景的CG图像等，模拟了与当前不同时代的风景的各种图像。尤其作为过去的风景，在将名胜古迹作为标记进行识别时，作为虚拟图像，可以使以前曾经建在该场所的城市或都市等的CG图像重叠在实际图像上，或者使战国时代的战斗的样子作为CG图像重叠在实际图像上。此外关于战国时代的战斗的样子等，若用运动图像表现该战斗的样子，则可以进一步给予临场感、乐趣，从而比较优选。当然，可以进一步追溯，例如将石器时代的住宅等作为CG图像。

虚拟图像变形单元36根据座舱63的位置使存储部34中所存储的虚拟图像的大小/角度发生变化。具体而言，虚拟图像变形单元36根据由位置/姿势导出单元32所导出的标记的位置/姿势信息，使虚拟图像变化。虚拟图像变形单元36接收从标记识别单元30发送的关于标记的信息后，如上所述，从存储部34取得与该标记对应的虚拟图像。而且，虚拟图像变形单元36根据由位置/姿势导出单元32算出的信息，确定虚拟图像的大小/角度。而且，虚拟图像变形单元36根据虚拟图像的大小/角度特定信息，使虚拟图像变形。作为该变形，优选假定在地面设置有三维的虚拟图像表示的物体(例如城市等)，并且使虚拟图像发生变化，使其与从处于空中的座舱63的摄像部1看到的该地面的物体的形状一致。

此外虚拟图像变形单元36在如上所述地使虚拟图像的大小/角度发生变形的基础上，还可以具有根据实际风景的明亮度来补正该虚拟图像的明亮度的补正单元。也就是，通过由补正单元操作虚拟图像的亮度，从而能够更自然地进行虚拟图像向实际图像的重合。

即，控制部可以具有亮度检测单元和补正单元。亮度检测单元构成为检测摄像部拍摄的座舱外的风景的亮度。亮度检测单元检测到的亮度被定义为第一亮度。补正单元调整存储部中所存储的图像的亮度，使得存储部中所存储的图像的亮度接近第一亮度。更具体而言，补正单元调整存储部中所存储的图像的亮度，使得存储部中所存储的图像的亮度与第一亮度相同。图像合成单元将调整了亮度的虚拟图像与由摄像部所拍摄的实际图像合在一起从而生成合成图像。

另外，补正单元还可以调整存储部中所存储的图像整体的亮度，使得存储部中所存储的图像的一部分亮度与第一亮度相同。

此外，补正单元还可以调整存储部中所存储的图像整体的亮度，使得存储部中所存储的图像整体的平均亮度与第一亮度相同。

此外，补正单元还可以调整存储部中所存储的图像整体的亮度，使得存储部中所存储的图像的一部分的平均亮度与第一亮度相同。

如此由虚拟图像变形单元36进行了变形的虚拟图像的信息被送到图像合成单元33。

图像合成单元33取得由虚拟图像变形单元36进行了变形的虚拟图像的信息时，使变形后的虚拟图像重合在实际图像的与该标记对应的部分。如此，图像合成单元33生成新的图像(合成图像)。这里所生成的合成图像的信息被送到图像显示单元35。

图像显示单元35构成为使显示部2显示由图像合成单元33生成的图像。图像显示单元35接收到来自图像合成单元33的合成图像的信息时，使配设在座舱63内的显示部2显示该合成图像。

这种控制部3中的一系列的控制，伴随观览车的座舱63的移动而连续地进行。例如在座舱63上升时标记的相对姿势也逐渐变化。但是，虚拟图像变形单元36根据座舱的位置使虚拟图像变化。因此，虚拟图像伴随座舱63的上升而逐渐变小。此外，虚拟图像变化为从上方眺望的姿势。据此，即使重叠在实际图像上的图像是虚拟图像，由显示部2显示的图像也能够无限地接近实际的图像。

此外，由显示部2显示的图像是对实际图像重叠了虚拟图像的图像。因此，与天气、明亮度这样的周围环境同步。据此，例如，与配合观览车的运动而仅是放映预先收录的录像图像的情况相比，能够进一步增加临场感。

也就是说，本实施方式的观览车能够给予座舱63的乘客利用了从观览车的座舱63看到的广大范围的视野的混合现实感。而且，座舱63始终不仅在水平方向上移动，也在高度方向上移动。因此，能够给予仅从来自地面的视点不能获得的混合现实感。

而且，本实施方式的观览车在操作部5设置了可以自由改变摄像部1的摄像方向的操作杆51。因此，能够对乘客期望的朝向的风景给予混合现实感。据此，乘客能够进一步感到乐趣。

另外，虚拟图像也可以不是不同年代的风景。即，虚拟图像是与当前的风景不同的风景即可。

此外，在存储部中可以存储多个风景的虚拟图像。在该情况下，设定部构成为可以设定为存储部中包含的多个风景的虚拟图像内的任意风景。

这里，本实施方式的观览车还可以在操作部5除了设置操作杆51之外、还设置可以设定虚拟图像的内容的设定部52。该设定部52具有可以进行各种设定的设定按钮，例如：使模拟各时代而制作的虚拟图像中被设定的时代的虚拟图像显示的年代设定按钮；使幻想的世界上实际不存在的各种角色(例如，怪兽等)显示的角色设定按钮等。该设定部52连接于控制部3，例如，操作年代设定按钮时，可以选择绳文时代、弥生时代等过去的风景、或表示未来的风景等而使显示部2显示。在存储部34中预先存储有与各时代对应的多个虚拟图像。例如通过年代设定按钮设定平安时代时，设定部52向图像合成单元33发送选择了平安时代的信号。于是，控制部3从存储部34取得与该平安时代对应并且与由标记识别单元30识别的标记对应的虚拟图像(例如模拟了平安京的CG图像)。而且，虚拟图像变形单元36根据位置/姿势导出单元32的信息(即根据座舱63的位置)，使该虚拟图像的大小/姿势(角度)变形，通过图像合成单元33使该变形后的虚拟图像重叠在实际图像上从而生成图像。这里所生成的图像被送到图像显示单元35，并显示在显示部2上。

如此通过设定部52，可以将显示部2上显示的图像设定在乘客期望的时代，所以能够进行仅从观览车眺望景色不能获得的关于该土地的历史的学习，并且能够唤起对历史的兴趣。而且，因为可以从上方眺望历史上的建筑物等，所以乘客能够感到以往没有的乐趣。

此外，对于本实施方式的观览车，每当内容变更时，只要修正/变更存储部34中存储的虚拟图像即可，所以若定期地进行内容变更，则还可以获得回头客(repeater)。

此外，作为虚拟图像，若应用表示与标记对应的特定物体(名胜古迹、有名的场所等)的名称那样的图像、或记载了该特定物体的观光信息、说明文字的图像等，则还可以将显示部2的显示作为观览车的影像向导来利用。此外，虚拟图像还可以作为在建筑物之前显示企业名、或在浮向空中的广告气球记载企业名、商品名、品牌名的、所谓的数字标牌(电子广告)来利用。

而且，虚拟图像，可以利用将表示海中、水中的样子或地里的样子的图像作为CG图像而作成的图像，或者作为使用于实际风景为晚上时的虚拟图像，可以利用将极光、闪电、宇宙、星座等图像作为CG图像而作成的图像。

如以上所述，实施方式1的观览车具备多个座舱、摄像部、显示部和控制部。摄像部设置在各座舱上。摄像部构成为拍摄该座舱外的风景。显示部设置在各座舱内。控制部构成为使虚拟图像重合在由摄像部所拍摄的实际图像的预定位置从而生成合成图像。控制部构成为使显示部显示该合成图像。

通过这样地构成，可以给予座舱63的乘客利用了从观览车的座舱63看到的广大范围的视野的混合现实感。而且，座舱63始终不仅在水平方向上移动，也在高度方向上移动，所以可以给予仅从来自地面的视点不能获得的混合现实感。

此外，控制部具有存储部、虚拟图像变形单元、图像合成单元和图像显示单元。存储部存储有虚拟图像。虚拟图像变形单元构成为根据摄像部的位置来使存储部中存储的虚拟图像的形状变化。更详细而言，虚拟图像变形单元构成为根据座舱(摄像部)的位置使存储部中存储的虚拟图像的大小以及角度变化。图像合成单元通过将由虚拟图像变形单元进行了变化的图像重合到由摄像部拍摄到的实际图像的预定位置上从而生成合成图像。图像显示单元使显示部显示由图像合成单元生成的图像。

在该情况下，能够根据座舱63的移动而使虚拟图像变形。据此能够使合成图像更接近现实的图像。

此外，观览车具备位置检测部和摄像方向检测部。位置检测部构成为检测摄像部的位置。摄像方向检测部构成为检测摄像部的摄像方向。虚拟图像变形单元构成为根据位置检测部的检测信息和摄像方向检测部的检测信息来使所述虚拟图像变化。

在该情况下，能够比较高精度地进行实际图像和虚拟图像的位置匹配。

此外，控制部还具备标记识别单元和位置/姿势导出单元。标记识别单元构成为将实际图像中包含的特定物体识别为标记。位置/姿势导出单元构成为导出由标记识别单元所识别的标记的位置以及姿势。存储部预先存储有与所述标记建立了对应的所述虚拟图像。虚拟图像变形单元根据由位置/姿势导出单元导出的标记的位置/姿势信息，使所述虚拟图像变化。由标记识别单元识别标记后，控制部从存储部取得与该标记对应的虚拟图像。

控制部使从存储部取得的虚拟图像通过虚拟图像变形单元而发生变化。换言之，虚拟图像变形单元使控制部从存储部取得的虚拟图像发生变化。

然后，控制部使发生了变化的图像通过图像合成单元而重合到与实际图像的标记对应的部分从而生成合成图像。图像显示单元使显示部显示合成图像。

在该情况下，能够提高实际图像和虚拟图像的位置匹配精度。

此外，摄像部1设置在座舱63的外部，是能够改变摄像方向的摄像机。座舱63还具备使摄像机的摄像方向发生变更的操作部5。

据此，可以使座舱63的乘客期望的视点上的实际图像与虚拟图像重叠显示。因此，能够给予乘客利用了更广大范围的视野的混合现实感。

此外，标记识别单元还可以具有位置检测部。在该情况下，位置检测部构成为检测所述摄像部的位置，并输出摄像部位置信息。标记识别单元根据摄像部位置信息，导出标记的位置/姿势信息，该标记的位置/姿势信息表示标记的位置以及姿势的至少一种。

在该情况下，能够使合成图像更接近现实的图像。

此外，观览车具备驱动装置。驱动装置构成为使各座舱移动。而且，位置检测部还可以具有计时器。在该情况下，计时器构成为测量从所述摄像部移动到预定位置的时刻开始的经过时间。计时器构成为输出表示所述经过时间的经过时间信息。位置检测部根据经过时间信息以及座舱的移动速度，来输出表示所述摄像部的位置的摄像部位置信息。

在该情况下，可以根据座舱63的移动来使虚拟图像更合适地变形。据此能够使合成图像更接近现实的图像。

此外，位置检测部还可以具备发射器和接收器。发射器构成为发出信号。接收器构成为接收所述信号。计时器构成为测量从所述摄像部位于预定位置并且接收到所述信号的时刻开始的经过时间。

在该情况下，也能够使合成图像更接近现实的图像。

另外，驱动装置构成为使各座舱以一定(恒定)的移动速度移动。

此外，驱动装置构成为使各座舱沿预定轨道移动。计时器构成为测量从所述摄像部移到所述预定轨道上的预定位置的时刻开始的经过时间。计时器构成为输出表示经过时间的经过时间信息。

此外，标记识别单元还可以具有摄像方向检测部。摄像方向检测部构成为检测所述摄像部的摄像方向并输出摄像方向信息。标记识别单元根据摄像方向信息，导出表示标记的位置以及姿势的至少一种的标记的位置/姿势信息。

此外，控制部还可以具有亮度检测单元和补正单元。亮度检测单元构成为检测所述摄像部拍摄的座舱外的风景的亮度。亮度检测单元检测出的亮度被定义为第一亮度。补正单元调整所述存储部中所存储的图像的亮度，使得所述存储部中所存储的图像的亮度接近第一亮度。图像合成单元将调整了亮度的虚拟图像与由摄像部拍摄的实际图像合成来生成合成图像。

在该情况下，能够使合成图像更接近现实的图像。

另外，可以与其他构成独立地采用位置检测部。即，观览车也可以具有位置检测部。在该情况下，位置检测部构成为检测所述摄像部的位置并输出摄像部位置信息。控制部具有存储部、图像合成单元和图像显示单元。存储部存储有虚拟图像，所述虚拟图像与摄像部位置信息建立了关联。图像合成单元构成为根据摄像部位置信息从存储部读出与摄像部位置信息相关联的虚拟图像。所述图像合成单元构成为将从存储部读出的虚拟图像与由摄像部拍摄的实际图像重合来生成合成图像。图像显示单元构成为使显示部显示合成图像。

在该情况下，能够使合成图像更接近现实的图像。

此外，控制部可以具有虚拟图像变形单元。在该情况下，虚拟图像变形单元根据所述摄像部位置信息，使存储部中存储的图像变形。图像合成单元构成为将通过所述虚拟图像变形单元发生了变形的虚拟图像与由所述摄像部拍摄的实际图像重合来生成合成图像。

在该情况下，也能够使合成图像更接近现实的图像。

下面，基于图4来说明实施方式2。本实施方式与上述实施方式1大部分相同，所以在相同的部分标注相同的符号从而省略说明，主要对不同的部分进行说明。

本实施方式的观览车与上述实施方式的不同点在于，显示部2处于头戴型显示装置7上。该头戴型显示装置7由头戴式显示器70(HeadMounted Display；HMD)构成。头戴式显示器70是可以戴在头部的显示器。乘客戴上头戴式显示器70后，作为显示部2的显示器覆盖乘客的眼睛的前方。

本实施方式的观览车设置有用于使该头戴式显示器70与操作部5连接的连接器部71。该连接器部71连接于控制部3。头戴式显示器70连接到该连接器部71后，接收从控制部3的图像显示单元35发送的图像信号，并在覆盖眼睛前方的显示部2上显示合成图像。

据此，若显示过去的风景或未来的风景，则能够眺望宛如搭乘在时间机器(time machine)中那样的超越了时空的景观等。

此外，还可以使头戴式显示器70的显示部2上所显示的内容，为应用了乘客能够感知进深、立体感那样的3D方式的图像。即，可以在控制部3设置3D图像形成单元，该3D图像形成单元生成由右眼看到的内容与左眼看到的内容不同的图像，进而生成用于使乘客感知到显示部2的显示内容是立体的内容的图像。据此能够提供进一步丰富了临场感的观览车。

此外，本实施方式的构成可以与实施方式1的构成相组合。因此，在将本实施方式的构成与实施方式1的构成组合的情况下，可以获得与在实施方式1中所得到的效果相同的效果。

以上，基于利用了标记识别型的混合现实感技术的观览车说明了本发明的观览车，但是本发明的观览车还可以采用利用任意的图像的特征点来代替标记的、所谓的无标记跟踪(markerless tracking)(例如JP特开2007-207251中所例示的)技术。在该情况下，实施方式1中的标记识别单元30不是一定需要的构成。

此外，本发明的虚拟图像变形单元只要是根据座舱的位置来使图像变形即可，所以也可以对应于观览车的座舱的稳定的移动，来确定虚拟图像的大小/角度。为此，实施方式1的位置/姿势导出单元32在本发明中不是一定需要的构成。

此外，在实施方式2的使用头戴式显示器70的方式中，还可以构成为：在设置在各座舱63内的头戴式显示器70上设置摄像部1，使该摄像部1的摄像方向与视线一致，并在该摄像部1设置位置检测部和摄像方向检测部。通过采用这种方式，能够呈现与乘客实际朝向的方向相对应的混合现实感。另外，在该情况下，设置在头戴式显示器70上的摄像部1，包含在本发明中所说的“设置在各座舱上”的范畴，这是不言而喻的。此外作为头戴式显示器70，还可以采用无线设备。

另外，实施方式1的观览车将控制部3设置在各座舱63上，但是本发明的观览车也可以是：将控制部设置在与座舱分离的地方(例如建筑物的房间等)，并远程控制各座舱的显示部。此外，实施方式1的观览车，设定部52的年代设定按钮与绳文时代、弥生时代等各时代相对应，但是本发明的观览车的设定部还可以选择西历、历史上的事件。

Claims (20)

1.一种观览车，具有多个座舱，所述观览车包括：

摄像部，其设置在各座舱上，拍摄该座舱外的风景；

显示部，其设置在各座舱内；

控制部，其通过使虚拟图像重合在由摄像部所拍摄的实际图像的预定位置，从而生成合成图像，并使显示部显示该合成图像；

位置检测部，其检测所述摄像部的位置，并输出表示所述摄像部的位置的摄像部位置信息；

驱动装置，其构成为使各座舱移动，

所述位置检测部具有计时器，

所述计时器构成为测量从所述摄像部移动到预定位置的时刻开始的经过时间，并输出表示所述经过时间的经过时间信息，

所述位置检测部构成为根据所述经过时间信息以及座舱的移动速度，来输出所述摄像部位置信息。

2.根据权利要求1所述的观览车，其中，

所述控制部具有：

存储部，其存储了虚拟图像；

虚拟图像变形单元，其根据摄像部的位置，使该存储部中存储的虚拟图像的形状变化；

图像合成单元，其通过使由虚拟图像变形单元发生了变化的图像重合在由摄像部所拍摄的实际图像的预定位置，从而生成合成图像；和

图像显示单元，其使显示部显示由图像合成单元生成的合成图像。

3.根据权利要求2所述的观览车，其中，还包括：摄像方向检测部，其检测摄像部的摄像方向，

所述虚拟图像变形单元根据所述位置检测部的检测信息和所述摄像方向检测部的检测信息，使所述虚拟图像变化。

4.根据权利要求2所述的观览车，其中，

所述控制部还包括：

标记识别单元，其将所述实际图像中包含的特定物体识别为标记；和

位置/姿势导出单元，其导出由标记识别单元所识别的标记的位置以及姿势中的至少一种，

所述存储部预先存储与所述标记建立了对应的所述虚拟图像，

所述虚拟图像变形单元根据由位置/姿势导出单元所导出的标记的位置/姿势信息，使所述虚拟图像变化，

控制部，在由所述标记识别单元识别出标记时，从存储部取得与该标记对应的虚拟图像，并且使所取得的虚拟图像通过虚拟图像变形单元而发生变化，使发生了变化的图像通过图像合成单元而重合到与实际图像的标记对应的部分从而生成合成图像，并通过图像显示单元使显示部显示该合成图像。

5.根据权利要求1所述的观览车，其中，

所述虚拟图像是模拟了与当前不同的风景的计算机图形图像。

6.根据权利要求5所述的观览车，其中，

所述控制部具有存储部，在所述存储部中存储有多个风景的虚拟图像，

所述各座舱还包括能设定成任意的风景的设定部，

所述控制部通过从所述存储部取得与由该设定部所设定的风景对应的虚拟图像并重合到所述实际图像上，来生成合成图像，并通过图像显示单元使显示部显示该合成图像。

7.根据权利要求1所述的观览车，其中，

所述摄像部是设置在座舱的外部并且能够改变摄像方向的摄像机，

所述座舱还包括使所述摄像机的摄像方向改变的操作部。

8.根据权利要求1所述的观览车，其中，

所述显示部被包括在头戴型显示装置中。

9.根据权利要求4所述的观览车，其中，

所述标记识别单元根据摄像部位置信息，导出标记的位置/姿势信息，该标记的位置/姿势信息表示标记的位置以及姿势中的至少一种。

10.根据权利要求9所述的观览车，其中，

所述位置检测部还包括发射器和接收器，

所述发射器构成为发出信号，

所述接收器构成为接收所述信号，

所述计时器构成为测量从所述摄像部位于预定位置并且接收到所述信号的时刻开始的经过时间。

11.根据权利要求9所述的观览车，其中，

所述驱动装置构成为使各座舱以一定的移动速度移动。

12.根据权利要求9所述的观览车，其中，

所述驱动装置构成为使各座舱沿预定轨道移动，

所述计时器构成为测量从所述摄像部移动到所述预定轨道上的预定位置的时刻开始的经过时间，并且输出表示所述经过时间的经过时间信息。

13.根据权利要求4所述的观览车，其中，

所述标记识别单元具有摄像方向检测部，

所述摄像方向检测部构成为检测所述摄像部的摄像方向，并输出摄像方向信息，

所述标记识别单元根据摄像方向信息，导出标记的位置/姿势信息，该标记的位置/姿势信息表示标记的位置以及姿势中的至少一种。

14.根据权利要求2所述的观览车，其中，

所述控制部还具有亮度检测单元和补正单元，

所述亮度检测单元构成为检测所述摄像部所拍摄的座舱外的风景的亮度，将亮度检测单元检测出的亮度定义为第一亮度，

所述补正单元调整所述存储部中所存储的图像的亮度，使得所述存储部中所存储的图像的亮度接近第一亮度，

所述图像合成单元将调整了亮度的虚拟图像与由摄像部拍摄的实际图像合成从而生成合成图像。

15.根据权利要求1所述的观览车，其中，

所述控制部具有存储部、图像合成单元和图像显示单元，

所述存储部存储有虚拟图像，并且所述虚拟图像与摄像部位置信息建立了关联，

所述图像合成单元构成为根据摄像部位置信息，从存储部读出与摄像部位置信息建立了关联的虚拟图像，

所述图像合成单元构成为将从存储部读出的虚拟图像与由摄像部拍摄的实际图像重合从而生成合成图像，

所述图像显示单元构成为使显示部显示合成图像。

16.根据权利要求15所述的观览车，其中，

所述控制部还具有虚拟图像变形单元，

所述虚拟图像变形单元根据所述摄像部位置信息，使存储部中存储的图像变形，

所述图像合成单元构成为将通过所述虚拟图像变形单元发生了变形的虚拟图像与由所述摄像部所拍摄的实际图像重合来生成合成图像。

17.根据权利要求15所述的观览车，其中，

所述位置检测部还包括发射器和接收器，

所述发射器构成为发出信号，

所述接收器构成为接收所述信号，

所述计时器构成为测量从所述摄像部位于预定位置并且接收到所述信号的时刻开始的经过时间。

18.根据权利要求15所述的观览车，其中，

所述驱动装置构成为使各座舱以一定的移动速度移动。

19.根据权利要求15所述的观览车，其中，

所述驱动装置构成为使各座舱沿预定轨道移动，

所述计时器构成为测量从所述摄像部移动到所述预定轨道上的预定位置的时刻开始的经过时间，并输出表示所述经过时间的经过时间信息。

20.根据权利要求15所述的观览车，其中，

所述观览车还包括摄像方向检测部，

所述摄像方向检测部构成为检测摄像部的摄像方向，并且输出摄像方向信息，

所述存储部具有与摄像部位置信息以及摄像方向信息建立了关联的虚拟图像，

所述图像合成单元构成为根据所述摄像部位置信息以及摄像方向信息从存储部读出与摄像部位置信息以及摄像方向信息建立了关联的虚拟图像。