CN103080983A - 车辆系统 - Google Patents

Abstract

本发明提供一种车辆系统，其中，即使实际上未设置建筑物等，也能够使乘客观看到设置了建筑物等的风景作为从车辆环视的风景，而且能够容易地更换该乘客所能够看到的风景。本发明的车辆系统具备：拍摄装置，其从车辆拍摄风景由此生成实际图像；显示装置，其配置于车辆内；以及控制装置，其在上述实际图像的规定的位置上重叠与该位置对应的虚拟图像，由此生成合成图像，并使各显示装置显示该合成图像。

Description

车辆系统

技术领域

本发明涉及车辆系统，详细而言涉及车辆用的图像处理系统。

背景技术

以往，为了在古迹、遗迹、主题乐园等广阔的用地内移动而使用车辆。作为该车辆，例如可例举能够一次性运载多位乘客的公车、客用汽车、能够单独移动的自行车等。乘客在古迹、主题公园等中移动时，能够一边环视周围的景色一边移动，感受该地的风土、或者景观，享受与日常的生活环境不同的情景。

但是，例如即使借助车辆在古迹中巡回，也终归是历史上的建筑物的遗址，因为还存在只不过仅仅是用地的地方，所以因人而异有感到无聊的情况。另一方面，可以考虑到，如果想借助复制品对此处进行复元，那么不仅会花费费用还会导致破坏该土地的环境、古迹的情况，另外在临时进行修建的情况下，不容易变更，并且，还需要反复修补并进行保存。

然而，近年来，盛行研究提供实时融合现实空间和虚拟空间的混合现实感（Mixed Reality；还包括增强现实感（Augmented Reality）、增强虚境感（Augmented Virtuality））的装置（例如参照日本特开2008－293209号公报（以下称为专利文献1）、日本特开2008－275391号公报（以下称为专利文献2））。提供该混合现实感的装置例如是如下的装置，即，利用照相机等拍摄装置拍摄现实空间，并且在由该拍摄装置拍摄到的图像（实际图像）上重叠虚拟图像由此生成合成图像，并输出该合成图像，对观看该合成图像的使用者能够给予使实际图像与虚拟图像融合而产生的混合现实感。专利文献1的装置、专利文献2的装置构成为，在头部佩戴显示器（HMD：head mount display）中安装有拍摄装置，在该拍摄装置所拍摄到的实际图像上实时地重叠虚拟图像由此生成合成图像，从而该头部佩戴显示器显示出该合成图像。因此，在使用者保持佩戴头部佩戴显示器不变地环视周围时，在存在于该视线的前方的风景的实际图像上重叠虚拟图像地进行显示，从而使用者能够体会到宛如在现实空间中存在该虚拟图像那样的感受。

然而，以往，即使使用了提供该混合现实感的装置，使用者也仅能够在能从当前位置环视周围的景色的范围内体验混合现实感。

发明内容

本发明是鉴于上述情况而产生的，其目的在于提供一种车辆系统，即使实际上不设置建筑物等，该车辆系统也能够使乘客观看到设置有建筑物等的风景作为从车辆环视的风景，而且能够容易地更换该乘客所能够看到的风景。

本发明的车辆系统的特征在于，具备：拍摄装置，其从车辆拍摄风景而由此生成实际图像；显示装置，其配置于车辆内；以及控制装置，其在实际图像的规定的位置上重叠与该位置对应的虚拟图像，由此生成合成图像，并使各显示装置显示该合成图像。

根据这样的结构，能够使乘客观看到在实际图像上重叠了虚拟图像而成的合成图像，因此即使未在现实的风景中设置建筑物等，也能够使乘客观看到设置了建筑物等的风景作为从车辆环视的风景。另外，仅通过变更虚拟图像的内容，就能够容易变更使乘客能够观看到的图像。

另外，本发明的车辆系统优选为，控制装置是搭载于车辆的装置。

另外，本发明的车辆系统优选为，上述控制装置具备：存储部，其存储上述虚拟图像；图像合成单元，其在上述实际图像的规定的位置上重叠与该位置对应的上述虚拟图像，由此生成合成图像；以及显示单元，其使上述显示装置显示上述合成图像。

另外，本发明的车辆系统优选为，还具备GPS接收机，其用于接收来自GPS卫星的GPS信号，并被设置于上述车辆，上述存储部存储有多个与绝对坐标系内的特定的位置相关联的上述虚拟图像，上述图像合成单元具有：坐标分配单元，其使绝对坐标系的位置信息对应于上述实际图像内的特定的位置；和对位单元，其以绝对坐标系的位置信息为基准使上述实际图像与上述虚拟图像重叠。

另外，本发明的车辆系统优选为，还具备方向检测单元，其检测乘客所朝向的方向，上述显示装置是多个头部佩戴型显示装置，上述拍摄装置是全方位照相机，上述显示单元具有：显示图像决定单元，其提取上述合成图像中的由上述方向检测单元检测到的与乘客所朝向的方向对应的区域，由此决定使各头部佩戴型显示装置显示的显示图像；和图像显示单元，其使头部佩戴型显示装置显示上述显示图像。

另外，本发明的车辆系统优选为，上述方向检测单元被设置于上述头部佩戴型显示装置。

另外，本发明的车辆系统优选为，上述虚拟图像是模拟了与现在不同的时代的风景的计算机图形图像。

附图说明

图1是本发明的实施方式1的车辆系统的立体图。

图2是说明该实施方式的乘客的视野的图，图2（a）是表示现实的风景的图，图2（b）是表示在实际图像上重叠了虚拟图像而成的合成图像的图。

图3是该实施方式的框图。

图4是表示该实施方式的动作的流程图。

图5是实施方式2的框图。

图6是实施方式3的框图。

具体实施方式

以下，结合附图对本发明的实施方式进行说明。

实施方式1的车辆系统是一种使乘客9乘坐巡回于一定的区域内的车辆1，并对该乘客9给予混合现实感（还包括增强现实感、增强虚境感）的车辆用图像处理系统。尤其是在本实施方式的车辆系统中，使车辆1巡回于有古迹、遗迹的区域内，并在拍摄现实的风景而成的实际图像20上重叠由模拟历史上的建筑物、风景的CG图像构成的虚拟图像21，并使车辆1的乘客9看到该合成图像。本实施方式的车辆系统连续进行上述处理，由此能够对乘客9给予宛如身临那个时代那样的感觉。

本实施方式的车辆1是在路上以低速（约10~20km/h）自动行驶的汽车（公车），并以发动机、马达等为驱动源。如图1所示，在车辆1的内部的前部设有驾驶席，在驾驶席的后方设有能够供多位乘客9乘车的多个座位12。车辆1构成为，侧面以及后面的上半部敞开且前面的上半部由透明的玻璃16构成，乘客9在就坐于座位12的状态下，能够环视水平方向的大致整周。车辆1具备：拍摄装置13，其设置于顶棚的上表面并且拍摄周围的风景；显示装置3，其配置于车辆1内部；控制装置5，其搭载于车辆1并且控制显示装置3的显示；以及GPS接收机4，其用于接收来自GPS（全球定位系统：Global Positioning System）卫星的GPS信号由此测定车辆1的位置。

本实施方式的显示装置3由配置于车辆1内的多个头部佩戴型显示装置31构成。该头部佩戴型显示装置31是所谓头部佩戴显示器（HMD：Head Mounted Display），构成为在乘客9佩戴显示器时，显示器遮挡乘客9的视线方向。该头部佩戴型显示装置31具备检测乘客9所朝向的方向的方向检测单元32。该方向检测单元32例如优选使用3轴的地磁传感器、陀螺仪传感器等传感器。由该方向检测单元32检测到的检测信号（附带了乘客9所朝向的方向的信息的检测信号）被发送至后述的控制装置5的显示单元54。

拍摄装置13由全方位照相机14构成，例如在铅垂方向120°（相对于水平方向从－60°到＋60°的范围）的范围以环绕水平方向整周的方式拍摄风景。该拍摄装置13载置并固定于基台15，该基台15磁性附着于车辆1顶棚的上表面。该拍摄装置13拍摄以该拍摄装置13为中心的一定范围的区域内的风景，由此生成实际图像20。根据GPS接收机4的定位信息，对由该拍摄装置13拍摄到的实际图像20赋予区域内的位置坐标（绝对坐标，所谓世界坐标）信息。由该拍摄装置13拍摄到的车辆1周围的风景的信息被发送至控制装置5。

控制装置5是应用了在由拍摄装置13所拍摄到的实际图像20内的规定的位置上重叠与该位置对应的特定的虚拟图像21，由此生成合成图像，并使显示装置3显示所生成的合成图像的所谓混合现实感（还包括增强现实感、增强虚境感）技术的装置。如图3所示，本实施方式的控制装置5具备：存储部51，其存储虚拟图像21；图像变形单元52，其根据车辆1与虚拟图像21的相对位置使该虚拟图像21变形以使虚拟图像21与实际图像20相适合；图像合成单元53，其使通过图像变形单元52而变形了的虚拟图像21重叠于实际图像20上；以及显示单元54，其使显示装置3显示由该图像合成单元53生成的合成图像。控制装置5由以微处理器为主要构成元件的计算机构成。本实施方式的控制装置5被收纳于车辆1内。换言之，控制装置5搭载于车辆1。由此，控制装置5构成为能够与车辆1一起移动。

存储部51由虚拟图像存储器构成，并使虚拟图像21和应与该虚拟图像21重叠的位置的位置坐标（绝对坐标）信息建立关联地进行预先存储。对位单元以储存于该虚拟图像存储器的位置坐标（绝对坐标）信息、和对实际图像20赋予了的位置坐标（绝对坐标）信息为基准重叠虚拟图像21和实际图像20。如图2所示，本实施方式的虚拟图像21是模拟历史上的风景（例如都市、城堡）而形成的计算机图形图像（以下称为CG图像）。此外，对虚拟图像21赋予的位置坐标信息优选为多个位置的坐标。

图像变形单元52根据车辆1的位置使存储于存储部51的虚拟图像21的大小、姿态变化。图像变形单元52具备虚拟图像变形单元55，该虚拟图像变形单元55计算虚拟图像21相对于车辆1的相对位置以及相对角度，并根据该计算出的值使虚拟图像21变形。虚拟图像变形单元55根据设置在车辆1上的GPS接收机4所获得的车辆1的位置坐标（绝对坐标）、对虚拟图像21赋予的位置坐标（绝对坐标），计算虚拟图像21相对于车辆1的相对距离和相对角度。而且，虚拟图像变形单元55在计算出上述距离以及相对角度的值后，根据计算出的距离决定虚拟图像21的大小，并且根据计算出的相对角度决定虚拟图像21的姿态，从而使虚拟图像变形。换言之，本实施方式的虚拟图像变形单元55根据计算出的距离以及相对角度的值，仿射变换二维的虚拟图像21以便与实际图像20相适合。

此外，基于使存储于存储部51的二维图像变形而生成作为目标的图像的图像基础法对本实施方式的图像变形单元52进行了说明，但作为图像变形单元52，还可以使用模型基础法，即根据保持于存储部51的三维虚拟物体来取得任意视点的虚拟图像由此生成作为目标的图像。

另外，图像变形单元52还具有修正单元56，在使虚拟图像21的大小、姿态变形的基础上，该修正单元56根据当前的时刻、风景的亮度对该虚拟图像21添加阴影并修正亮度。换句话说，通过该修正单元56，能够更协调地进行在实际图像20上的虚拟图像21的重叠。此外，涉及该阴影、亮度的修正单元56使用“角田哲也、大石岳史、池内克史，“使用了描影平面的混合现实感的高速阴影表现手法”，映像信息媒体学会杂志62（5），2008年5月1日，p.788－795”中记载的方法。

这样，通过虚拟图像变形单元55而变形了的虚拟图像21被发送至图像合成单元53。

图像合成单元53使由通过图像变形单元52而变形了的虚拟图像21重叠在实际图像20上。图像合成单元53在取得由拍摄装置13拍摄到的实际图像20后，使用该实际图像20来在主存储器内描绘现实空间图像。然后，在从图像变形单元52取得虚拟图像21的信息后，根据实际图像20的绝对坐标和对虚拟图像21赋予的位置坐标，将虚拟图像21重叠描绘在先前描绘出的现实空间图像上，从而生成新的图像（合成图像）。这里生成的合成图像的信息被发送至显示单元54。

显示单元54使显示装置3显示由图像合成单元53生成的图像。显示单元54具备：显示图像决定单元57，其根据方向检测单元32的信息，根据在主存储器内描绘出的合成图像决定显示区域；以及图像显示单元58，其使各头部佩戴型显示装置31显示由该显示图像决定单元57决定的显示区域的图像。

显示图像决定单元57根据设置于头部佩戴型显示装置31的方向检测单元32检测到的乘客9所朝向的方向计算乘客9的视野区域，并将该计算出的视野区域作为显示区域从合成图像中剪下并提取出来，从而决定对头部佩戴型显示装置31输出的图像。显示图像决定单元57按头部佩戴型显示装置31进行处理，并计算分别不同的视野区域，并且决定与该视野区域对应的图像。由该显示图像决定单元57决定的信息被发送至图像显示单元58。

图像显示单元58使各头部佩戴型显示装置31显示由显示图像决定单元57决定的合成图像。图像显示单元58在接收到来自显示图像决定单元57的图像信息后，使配置于车辆1内的各头部佩戴型显示装置31显示该合成图像。

对这样构成的车辆系统的动作进行说明。图4中示出了表示该车辆系统的动作的一个例子的流程图。

若使车辆1行驶、并使控制装置5的处理开始（S1），则控制装置5使拍摄装置13动作以便拍摄车辆1周围的图像（S2）。拍摄装置13拍摄车辆1周围的风景的图像，几乎与此同时，利用GPS接收机4测定车辆1的位置，由此控制装置5取得车辆1的位置信息（S3）。接下来，控制装置5根据车辆1的位置信息，利用图像变形单元52使虚拟图像21的大小、姿态变形（S4）。图像合成单元53在主存储器内根据实际图像20描绘现实空间图像（S5），并在此基础上，根据对虚拟图像21赋予的位置坐标信息在现实空间图像上重叠描绘虚拟图像21（S6）。接下来，控制装置5利用方向检测单元32取得各显示装置3的姿态信息（S7），并根据该方向检测单元32计算乘客9的视野区域，从而决定与该视野区域对应的显示区域（S8）。然后，控制装置5使各头部佩戴型显示装置31显示由显示图像决定单元57决定的图像（S9）。接下来，控制装置5判断有无处理结束的信号（S10），在未接收到处理结束的信号的情况下，返回步骤S1的处理，并反复步骤S1~S10的处理。在接收到处理结束的信号的情况下，使拍摄装置13结束图像的拍摄，从而控制装置5的处理也结束（S11）。

这样的结构的车辆系统中，根据行驶的车辆1的移动和乘客9的视野的移动使显示装置3显示的图像连续变化，并能够宛如存在于现实的风景内那样地表现虚拟图像21，因此与以往那样从所处位置仅移动视野而无法获得混合现实感的情况相比，能够进一步对乘客9给予现实的感觉。并且，相对于混合了车辆1的移动和乘客9的自由的视野的变化的视点的移动而使虚拟图像21变化，因此能够进一步给予身临其境的感觉。

而且，本实施方式的车辆系统构成为，拍摄装置13由全方位照相机14构成，在生成车辆1周围的合成图像的基础上决定显示区域，因此即使在使用了多个头部佩戴型显示装置31的情况下，也不必按头部佩戴型显示装置31配备CCD照相机，能够实现大幅度地降低成本。车辆1的行驶速度是缓慢的速度且几乎恒定，与此相对，乘客9的视野的移动速度不恒定，但在进行了对处理带来负担的重叠处理的基础上，根据该合成图像决定使各头部佩戴型显示装置31显示的显示区域，因此能够尽量减少带来负担的处理。换句话说，对于按头部佩戴型显示装置31安装CCD照相机的情况而言，需要按该显示装置3高速地进行重叠处理，因此负担较重，但在本实施方式的车辆系统中，能够避免该重负担。

另外，由显示装置3所显示的图像是虚拟图像21与拍摄现实的风景所得的实际图像20重叠而形成的图像，因此保持原样不变地反映天气、亮度等周围的环境。由此，例如，与配合车辆1的运动而简单地放映预先收录的录像图像的情况相比，能够进一步增强身临其境的感觉。

另外，本实施方式的车辆系统中，高速进行上述那样的处理的控制装置5相当大，但因为该控制装置5搭载于车辆1，所以能够使控制装置5与车辆1一起移动，并能够一边移动一边进行更高速的处理。

另外，本实施方式的车辆系统中，在内容的变更时，仅修正、变更存储于存储部51的虚拟图像21即可，因此通过定期进行内容的变更，也能够期待获得循环（repeater）。

作为该虚拟图像21的内容，例如可举有以下例子。

不限定于本实施方式的虚拟图像21这样的历史上的风景，可例举模拟预想未来的风景的CG图像、模拟战国时代的战斗的场面的CG图像。在该情况下，还能够将战斗的场面表现为动画，由此能够进一步赋予身临其境的感觉和乐趣。另外，还可以将石器时代的住所等表现为CG图像。

另外，相对于古墓、塔等，可例举记载着名称、观光信息、说明文字的虚拟图像21。由此，能够将显示装置3的显示用作为视频指南。另外，作为虚拟图像21还能够利用在建筑物前显示企业名、或在浮向空中的广告气球上记载特定的企业名、商品名、品牌名的所谓数字标牌（电子广告）。

此外，对于虚拟图像21而言，可以利用CG图像制作以透过的方式表现地下或建筑物的内部的图像，也可以利用CG图像制作极光、闪电、宇宙、星座之类的图像作为在夜间使用的图像。

另外，控制装置5也可以应用3D方式用以使乘客9对于显示装置3所显示的内容能够感受到深入、立体感。即，也可以在控制装置5中设置3D图像形成单元，该3D图像形成单元中，利用由右眼能够观察到的内容和由左眼能够观察到的内容生成不同的图像，并生成用于使乘客9感受到显示装置3的显示内容为立体的内容的图像。由此能够进一步提供富含身临其境的感觉的内容。

接下来，基于图5对实施方式2进行说明。此外，本实施方式的大部分与实施方式1相同，因此对相同的部分标注相同的符号并省略说明，主要对不同的部分进行说明。

本实施方式的车辆1系统与实施方式1相同，是搭载于车辆1进行使用的车辆用图像处理系统。本实施方式的车辆系统具备拍摄装置13、显示装置3以及控制装置5。

拍摄装置13从车辆1拍摄该车辆1外的风景，由此生成实际图像20。拍摄装置13安装于车辆1。详细而言，拍摄装置13设置于车辆1的顶棚上。拍摄装置13由全方位照相机14构成。在拍摄装置13与车辆1外的风景之间设定有投影面，对该投影面投影车辆1外的风景。投影面设定于从拍摄装置13离开了一定距离的位置。

对于拍摄装置13而言，可以遍及全方位形成投影面，也可以仅在规定的区域形成投影面。

实际图像20是在投影面上投影车辆1外的风景的图像。换言之，实际图像20由二维平面构成，该二维平面上投影有由车辆1外的风景构成的三维物体。

从GPS接收机4对拍摄装置13输入GPS信号。拍摄装置13将实际图像20的图像数据以及GPS信号输出至控制装置5的图像合成单元53。

控制装置5具备车辆位置识别单元61、图像变形单元52、存储部51、图像合成单元53、以及显示单元54。控制装置5搭载于车辆1。

对车辆位置识别单元61输入从GPS接收机4输出的GPS信号。车辆位置识别单元61根据GPS信号识别绝对坐标系（所谓世界坐标系）内的当前的车辆1的位置。车辆位置识别单元61将车辆1位置的识别信息输出至图像变形单元52。

存储部51由虚拟图像存储器510构成。存储部51存储有多个与世界坐标系内的规定的位置相关联的虚拟图像21的数据。换言之，存储部51存储有多个与绝对坐标系内的特定的位置相关联的虚拟图像21。存储部51接收来自虚拟图像取得单元63的信号，并将一组虚拟图像21的各数据输出至虚拟图像取得单元63。

这里，一组虚拟图像21由多个虚拟图像21构成。该一组虚拟图像21是由车辆1的位置决定的多个虚拟图像21。

图像变形单元52具备虚拟图像取得单元63、修正单元56、以及虚拟图像变形单元55。修正单元56与实施方式1中的修正单元56相同，因此省略说明。

虚拟图像取得单元63在被输入来自车辆位置识别单元61的信号后，将输出与世界坐标系内的车辆1的位置对应的多个虚拟图像21的组的主旨的信号输出至存储部51。存储部51接收该信号并对虚拟图像取得单元63输出一组虚拟图像21的组。虚拟图像取得单元63在被输入多个虚拟图像21的图像数据时，将该数据输出至修正单元56。

修正单元56在接收到来自虚拟图像取得单元63的数据时，与实施方式1相同地进行修正。修正单元56将修正后的数据输出至虚拟图像变形单元55。

虚拟图像变形单元55根据分别与各虚拟图像21相关联的特定的位置和车辆1的位置，计算上述虚拟图像21相对于车辆1的距离以及相对角度。虚拟图像变形单元55根据该计算出的信息变换虚拟图像21。

换言之，虚拟图像变形单元55根据车辆1在世界坐标系内的位置信息、与各虚拟图像21相关联的世界坐标系内的位置信息，计算车辆1与虚拟图像21在世界坐标系内的距离和相对角度。虚拟图像变形单元55在计算出车辆1与虚拟图像21在世界坐标系内的距离和相对角度后，根据该值使虚拟图像21变形。虚拟图像变形单元55根据计算车辆1与虚拟图像21之间的距离和相对角度而得的值，对本地坐标系内的虚拟图像21进行仿射变换、射影变换等，由此变换虚拟图像21。

此外，相对角度是相对于基准的角度。换言之，相对角度是相对于在世界坐标系中以车辆1为原点的情况下的轴的角度。

存储部51以及虚拟图像变形单元55可以如下地构成。存储部51存储多个三维虚拟物体。虚拟图像变形单元55根据车辆1与虚拟图像21之间的距离和相对角度，使本地坐标系内的三维虚拟物体旋转，由此生成虚拟图像21。换言之，虚拟图像变形单元55根据车辆1与虚拟图像21之间的距离和相对角度，将被存储于存储部51的虚拟图像21变换为用于重叠在实际图像20上的图像。

虚拟图像变形单元55在使虚拟图像21变形后，将该图像数据输出至图像合成单元53。

图像合成单元53具备坐标分配单元59和对位单元60。

坐标分配单元59根据从拍摄装置13输入的实际图像20的图像数据和GPS信号，使实际图像20内的坐标系（所谓屏幕坐标系）与世界坐标系相关联。坐标分配单元59将屏幕坐标系坐标变换为世界坐标系。换言之，坐标分配单元59使世界坐标系的位置信息与实际图像20内的特定的位置建立关联。坐标分配单元59将使世界坐标系的位置信息与实际图像20内的特定的位置建立关联的信号输出至对位单元60。

对位单元60以世界坐标系的位置信息为基准，使实际图像20与虚拟图像21（包括通过虚拟图像变形单元55变换后的图像）重叠。换言之，对位单元60以绝对坐标系的位置信息为基准使实际图像20与虚拟图像21重叠。由此，对位单元60生成合成图像。对位单元60将合成图像的图像数据输出至显示单元54。

显示单元54具备显示图像决定单元57和图像显示单元58。

显示图像决定单元57接收从头部佩戴型显示装置31的方向检测单元32输出的信号。另外，显示图像决定单元57接收从对位单元60输出的信号。显示图像决定单元57根据来自方向检测单元32的信号计算乘客的视野区域。显示图像决定单元57提取相当于该视野区域的合成图像的位置，由此决定对头部佩戴型显示装置31输出的图像（显示图像）。

显示图像决定单元57按头部佩戴型显示装置31进行处理，分别计算不同的视野区域，并提取与该视野区域对应的图像，由此决定显示图像。该显示图像决定单元57将显示图像的数据输出至图像显示单元58。

图像显示单元58根据由显示图像决定单元57输出的合成图像的数据，使各头部佩戴型显示装置31进行显示。图像显示单元58在从显示图像决定单元57被输入数据时，输出用于使显示装置3显示合成图像的数据。

接下来，对实施方式3进行说明。此外，本实施方式的大部分与实施方式1相同，因此对相同的部分省略说明，主要对不同的部分进行说明。

本实施方式的车辆1系统与实施方式1相同，是搭载于车辆1进行使用的车辆用图像处理系统。本实施方式的车辆系统具备拍摄装置13、显示装置3以及控制装置5。本实施方式的车辆系统中，拍摄装置13和显示装置3的结构与实施方式1相同。

控制装置5是应用了标记识别型的混合现实感（还包括增强现实感、增强虚境感）技术的装置。控制装置5具备标记识别单元62、图像变形单元52、存储部51、图像合成单元53以及显示单元54。控制装置5通过在实际图像20的规定的位置上重叠与该位置对应的虚拟图像21来生成合成图像，并使显示装置3显示该合成图像。控制装置5搭载于车辆1。

标记具备形成为俯视时为正方形的框形的第一识别部、和形成于第一识别部的内部的第二识别部。第一识别部在整周上以一定宽度形成，并由黑框形成。第二识别部按虚拟图像21由不同的标记构成。第二识别部形成于作为第一识别部的黑框内。

标记识别单元62识别由拍摄装置13生成的实际图像20内的标记的存在。标记识别单元62检测标记的第一识别部，由此识别标记的存在。标记识别单元62检测第二识别部，并使其与存储于存储部51的标记存储器511的标记进行比较，从而识别第二识别部。标记识别单元62根据第一识别部和第二识别部的投影于投影面的形状，识别标记的大小和角度。

标记识别单元62将实际图像20的屏幕坐标系内的标记的位置信息输出至图像合成单元53。另外，标记识别单元62将与存储部51进行了比较的第二识别部的信息、以及标记的大小和角度输出至图像变形单元52。

图像变形单元52具备虚拟图像取得单元63、修正单元56以及虚拟图像变形单元55。

虚拟图像取得单元63根据由标记识别单元62输入的信息，从虚拟图像存储器510取得虚拟图像21。

存储部51具备虚拟图像存储器510和标记存储器511。虚拟图像存储器510存储多个与第二识别部的标记相关联的虚拟图像21的数据。虚拟图像存储器510接收来自虚拟图像取得单元63的信号，并将虚拟图像21的各数据输出至虚拟图像取得单元63。标记存储器511存储有多个与配置于世界坐标系内的第二识别部的标记对应的标记。

虚拟图像变形单元55接收由标记识别单元62输入的标记的大小和角度，并根据该标记的大小和角度，将虚拟图像21变换为应重叠在实际图像20上的形状。虚拟图像变形单元55将该变换后的图像数据输出至图像合成单元53。

图像合成单元53在由标记识别单元62识别到的标记的位置上重叠变换后的虚拟图像21，由此生成合成图像。换言之，在实际图像20的规定的位置上重叠与该位置对应的虚拟图像21，由此生成合成图像。图像合成单元53向显示单元54输出合成图像的数据。

显示单元54使显示装置3显示合成图像。显示单元54与实施方式2相同地具备显示图像决定单元57和图像显示单元58。显示单元54与实施方式2的结构相同，因此省略说明。

此外，标记也可以是存在于车辆1的外侧的特定的三维物体。对于三维物体，可例举呈特定的形状的石头、石碑、植物、建造物等。在该情况下，标记识别单元62识别标记上的多个特征点，由此识别特定的标记。对于标记上的特征点可例举标记的角部、直线部等。

此外，实施方式1~3的车辆1由能够搭乘多位乘客的汽车构成，但本发明的车辆例如可以是将多台车辆连结而成的列车、供单独的乘客骑乘的自行车那样的轻型车辆，而不是仅限定于汽车。

另外，本实施方式的车辆系统利用有线进行控制装置5、显示装置3以及拍摄装置13之间的信息的输出和输入，但本发明的显示装置也可以利用无线通信。换句话说，控制装置5也可以设于车辆1之外。在该情况下，在控制装置5、拍摄装置13以及显示装置3中设置无线通信用的信号收发部。

附图标记说明

1…车辆；11…驾驶席；12…座位；13…拍摄装置；14…全方位照相机；15…基台；16…玻璃；20…实际图像；21…虚拟图像；3…显示装置；31…头部佩戴型显示装置；32…方向检测单元；4…GPS装置；5…控制装置；51…存储部；52…图像变形单元；53…图像合成单元；54…显示单元；55…位置、姿态计算单元；56…修正单元；57…显示图像决定单元；58…图像显示单元；9…乘客。

Claims (8)

1.一种车辆系统，其是在车辆中使用的车辆系统，该车辆系统的特征在于，具备：

拍摄装置，其从所述车辆拍摄风景而由此生成实际图像；

显示装置，其配置于所述车辆内；以及

控制装置，其在所述实际图像的规定的位置上重叠与该位置对应的虚拟图像，由此生成合成图像，并使显示装置显示该合成图像。

2.根据权利要求1所述的车辆系统，其特征在于，

所述控制装置是搭载于所述车辆的装置。

3.根据权利要求1或2所述的车辆系统，其特征在于，

所述控制装置具备：

存储部，其存储所述虚拟图像；

图像合成单元，其在所述实际图像的规定的位置上重叠与该位置对应的所述虚拟图像，由此生成合成图像；以及

显示单元，其使所述显示装置显示所述合成图像。

4.根据权利要求3所述的车辆系统，其特征在于，

还具备GPS接收机，其用于接收来自GPS卫星的GPS信号，并被设置于所述车辆，

所述存储部存储有多个与绝对坐标系内的特定的位置相关联的所述虚拟图像，

所述图像合成单元具有：

坐标分配单元，其使绝对坐标系的位置信息对应于所述实际图像内的特定的位置；以及

对位单元，其以绝对坐标系的位置信息为基准使所述实际图像与所述虚拟图像重叠。

5.根据权利要求4所述的车辆系统，其特征在于，

所述控制装置具备：

车辆位置识别单元，其根据所述GPS接收机识别所述车辆当前在绝对坐标系内的位置；以及

虚拟图像变形单元，其根据分别与所述各虚拟图像相关联的特定的位置和所述车辆的位置，计算所述虚拟图像相对于所述车辆的距离以及相对角度，并根据该距离以及相对角度变换所述虚拟图像，

通过所述对位单元而与所述实际图像重叠的所述虚拟图像，是由所述虚拟图像变形单元生成的图像。

6.根据权利要求5所述的车辆系统，其特征在于，

还具备方向检测单元，其检测乘客所朝向的方向，

所述显示装置是多个头部佩戴型显示装置，

所述拍摄装置是全方位照相机，

所述显示单元具有：显示图像决定单元，其提取所述合成图像中的由所述方向检测单元检测到的与乘客所朝向的方向对应的区域，由此决定使各头部佩戴型显示装置显示的显示图像；以及图像显示单元，其使头部佩戴型显示装置显示所述显示图像。

7.根据权利要求6所述的车辆系统，其特征在于，

所述方向检测单元被设置于所述头部佩戴型显示装置。

8.根据权利要求1~7中任一项所述的车辆系统，其特征在于，

所述虚拟图像是模拟了与现在不同的时代的风景的计算机图形图像。

Images