CN112927538A - 显示系统 - Google Patents

显示系统 Download PDF

Info

Publication number
CN112927538A
CN112927538A CN202011414206.0A CN202011414206A CN112927538A CN 112927538 A CN112927538 A CN 112927538A CN 202011414206 A CN202011414206 A CN 202011414206A CN 112927538 A CN112927538 A CN 112927538A
Authority
CN
China
Prior art keywords
vehicle
image data
occupant
event
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011414206.0A
Other languages
English (en)
Inventor
佐藤贤治
山本启
西本崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112927538A publication Critical patent/CN112927538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明提供一种显示系统。在信息发布系统(30)中，通过收集服务器(40)或者制作服务器(50)，来取得关于过去或者未来的事态的图像数据等的事态信息，并保存在保存服务器(80)中。该图像数据等的事态信息以与事态的位置相关联的方式而被取得，并被保存。在车辆(100)中搭载有图像显示系统(110)，并且乘员佩戴有作为显示装置的可穿戴设备。在乘员的视野的范围内包含有事态的位置的情况下，基于该图像数据等的事态信息而将事态的图像显示在可穿戴设备上。

Description

显示系统
相关申请的交叉引用
本申请要求于2019年12月6日提交的日本专利申请2019-221292的优先权，该日本专利申请的包括说明书、权利要求书、说明书附图和说明书摘要在内的全部内容通过引用的方式而合并于此。
技术领域
本公开涉及一种车辆的乘员所使用的显示系统。
背景技术
已知一种将各种信息显示在车辆的驾驶员等的视野中的技术。
例如，在日本特开2004-219664号公报中记载有如下的技术，即，在被佩戴在车辆驾驶员的头部上的头戴显示器装置所具有的透射型显示部上，以与道路、建筑物等建立关联的方式而显示至目的地为止的导航信息、设施引导信息等的信息。此外还记载有如下技术，即，在检测出车辆前方的人、障碍物等的情况下，将进行警告显示。
发明内容
发明所要解决的课题
在日本特开2004-219664号公报中所记载的技术为，将当前的信息与实际的风景建立关联而进行显示的技术，驾驶员等只不过是能够获得当前的信息。
本公开的目的在于，关于所行驶的车辆的周围的事态而向车辆的乘员提供一直以来未被提供的新的信息。
用于解决课题的方法
本公开所涉及的显示系统具备：信息取得装置，其取得关于被包含在车辆的乘员的视野中的过去或者未来的事态的事态信息；显示装置，其基于所述事态信息而在所述乘员的视野内显示所述事态。
在本公开的一个方式中，所述信息取得装置取得由过去行驶过的车辆所拍摄到的车外的图像数据，以作为所述事态信息，所述显示装置使所述图像数据符合于所述乘员所乘坐的所述车辆的行驶位置，而显示基于该图像数据的事态。
在本公开的一个方式中，所述信息取得装置取得过去的交通事故的信息，以作为所述事态信息，所述显示装置将所述交通事故的位置进行明示，而显示该所述交通事故的事态。
在本公开的一个方式中，所述信息取得装置取得关于被推断为过去发生过的事态而假想性地制作出的图像数据，以作为所述事态信息，所述显示装置将所述图像数据与所述乘员所乘坐的所述车辆的行驶位置建立关联，而显示基于该图像数据的事态。
在本公开的一个方式中，所述信息取得装置取得关于被推断为未来会发生的事态而假想性地制作出的图像数据，以作为所述事态信息，所述显示装置将所述图像数据与所述乘员所乘坐的所述车辆的行驶位置建立关联，而显示基于该图像数据的事态。
在本公开的一个方式中，所述乘员为驾驶员，所述显示装置以与实际的道路外的风景重叠的方式、或者替换实际的道路外的风景的方式，来显示对应的风景。
在本公开的一个方式中，所述乘员为驾驶员以外的人员，所述显示装置以与包括实际的道路在内的风景重叠的方式、或者替换包括实际的道路在内的风景的方式，来显示对应的风景。
在本公开的一个方式中、所述信息取得装置在所述乘员所乘坐的所述车辆的周围的天气为雨天或者雪天的情况下，取得在过去的晴天或者阴天时被拍摄到的所述图像数据，所述显示装置以与实际的中线重叠的方式、或者替换实际的中线的方式，来显示基于所述图像数据的中线。
发明的效果
根据本公开，车辆的乘员能够掌握关于所行驶的车辆的周围的过去或者未来的事态的事态信息。
附图说明
图1为实施方式所涉及的信息系统的概要性的结构图。
图2为图像发布系统的概要性的结构图。
图3为图像显示系统的概要性的结构图。
图4为作为驾驶员的用户佩戴了可穿戴设备的图。
图5为表示图像未被显示的视野的图。
图6为表示显示了传达交通事故的概要情况的图标的视野的图。
图7为表示通过图标操作而显示了交通事故的详细内容的视野的图。
图8为表示雨天时图像未被显示的视野的图。
图9为表示雨天时显示了晴天时的图像的视野的图。
图10为表示显示了过去的风景的视野的图。
图11为表示显示了未来的假想性的风景的视野的图。
图12为表示显示了过去的假想性的风景的视野的图。
具体实施方式
在下文中，在参照附图的同时对实施方式进行说明。虽然在说明中，为了容易理解而示出了具体的方式，但是这些方式是对实施方式进行例示的方式，除此之外还能够采用各种实施方式。
图1为表示实施方式所涉及的信息系统10的概要性的结构的图。信息系统10包括，对图像数据等的事态信息进行收集的车辆20、信息发布系统30、以及执行基于事态信息来显示事态的处理的车辆100。在此，事态信息是指，能够实现关于事态的显示的数据，并且被设置为，包括由文字代码(也包括数字符号等)而表示的文字数据、和不由文字代码而表示的二维或者三维的图像数据。文字代码以及图像数据均能够将事态作为图像来进行显示。此外，事态是指，以人能够观察的形式而出现的事物或事件。对于事态的示例，在下文中进行叙述。另外，在信息系统10中，还可以处理与文字数据以及图像数据相关联的人的语音、响动、音乐等的声音数据。声音数据通过扬声器而作为声音被输出。
虽然存在多台对图像数据等的事态信息进行收集的车辆20，但是在图1中，作为代表而仅示出了一台。在信息系统10中，通过预先和车辆20的持有者订立合同等，从而能够利用由车辆20所拍摄到的图像数据。另外，对图像数据等进行收集的车辆20也可以兼作为实施图像显示的车辆100。
在车辆20中设置有车载摄像机22、GNSS24以及时钟26。车载摄像机22为，被搭载于车辆20上并对车外或者车内的风景进行拍摄的装置。车载摄像机22例如被设置在车厢内的车顶前端附近处，其通过经由前挡风玻璃而对车辆前方侧的车外进行拍摄，从而取得摄像机图像数据(在下文中，在强调是由车载摄像机22所拍摄到的图像数据的情况下，有时会称为摄像机图像数据)。摄像机图像数据为，赋予二维或者三维的视觉信息的数据。虽然摄像机图像数据通常情况下为动态图像数据，但是也可以为以适当的时间间隔被拍摄到的静止图像数据。在信息系统10中，车载摄像机22的摄像机图像数据被发送至信息发布系统30，并且被发送至将来会实施图像的显示的车辆100中。因此，作为车载摄像机22而设置了能够获得在车辆100的显示中所需的分辨率的摄像机图像数据的设备。为了确保分辨率或者视野，车载摄像机22也可以被设置有多台。
车载摄像机22例如也可以为，兼作为对车辆20的行驶状况进行记录的行车记录仪的设备。此外，例如，在车辆20具备自动驾驶模式的情况下，车载摄像机22还可以为，兼作为对车辆周围的交通状况进行掌握的传感器的设备。另外，作为车载摄像机22，虽然通常情况下使用了利用可视光的可视光摄像机，但是也可以采用红外线摄像机、紫外线摄像机等的各种波段的摄像机。此外，车载摄像机22也可以为，对车辆20的侧方、后方等的、前方以外的区域进行拍摄的设备。
GNSS24为GlobalNavigationSatelliteSystem(全球卫星定位系统)的简称，其为利用来自人造卫星的电波来对行驶的车辆20的位置进行检测的传感器。由GNSS24检测出的位置检测结果作为对摄像机图像数据的拍摄位置进行确定的拍摄位置数据而被使用。在按照时间序列而追踪拍摄位置数据的情况下，也会知晓车辆20的行驶路线。
时钟26为显示年月日时的时刻的装置。时钟26的输出作为对摄像机图像数据被拍摄的时刻进行确定的拍摄时刻数据而被利用。
拍摄位置数据以及拍摄时刻数据与摄像机图像数据被建立关联，并被发送至信息发布系统30。发送例如可以通过Wi-Fi(注册商标)等的无线通信而被实施。另外，在车辆20中，有时还具备日照量传感器、雨量传感器等取得与天气相关的数据的传感器。这些传感器的输出能够作为表示摄像机图像数据被拍摄的时间点上的天气的拍摄天气数据而使用。拍摄天气数据也可以与摄像机图像数据被建立关联并被发送至信息发布系统30。
信息发布系统30为，对从车辆20被发送的图像数据等进行接收并保存，且对保存至车辆100中的图像数据等进行发布的系统。信息发布系统30具备收集服务器40、制作服务器50、发布服务器60以及保存服务器80。关于信息发布系统30，参照图2而详细地进行说明。
图2为表示信息发布系统30的概要性的结构的框图。信息发布系统30能够利用一台或者多台的计算机硬件而构成。计算机硬件例如既可以被集中地设置在信息发布公司中，也可以被连接到网络上且被分散配置于相互远离的地点。
计算机硬件为搭载有存储器、处理器等的装置，并且通过被安装的OS(操作系统)、应用程序等的软件而被控制，从而进行动作。通过应用程序，从而在信息发布系统30中构筑了收集服务器40、制作服务器50、发布服务器60以及保存服务器80。
收集服务器40为，通过网络等而对当前所存在的图像数据等进行收集的装置。收集服务器40从车辆20取得摄像机图像数据以及相对应的拍摄位置数据、拍摄时刻数据、拍摄天气数据等。收集服务器40将所取得的摄像机图像数据等在按照车辆20进行了拍摄的路线、拍摄年月日时间、拍摄天气等而进行了分类的基础上，保存到保存服务器80中。
在车辆20所拍摄到的摄像机图像数据中，例如在像车辆20的紧前方存在大型的车辆的这种情况下，还会产生风景不太能拍摄到的状况。因此，在收集服务器40中，根据需要而能够以将交通量较少的多个摄像机图像数据拼合在一起等的方式而形成。此外，在收集服务器40中，在风景之中明确地映出了人脸、车辆号码等的情况下，实施将这些内容模糊成不清楚的处理。
在收集服务器40中，每当进行摄像机图像数据等的收集时，能够针对收集对象设定条件。具体而言，例如可以列举如下示例，即，从行驶在行驶车辆较少的区域中的车辆中进行收集、从行驶在确定的路线上的车辆20中进行收集、或者、从安全气囊动作等被认为关系到交通事故的车辆20中进行收集等。
在收集服务器40中，还进一步与警察、保险公司等的外部机关合作而对有关交通事故的事态信息进行收集。交通事故的事态信息例如能够作为记录了发生日期时间、位置、事故状况、损失状况等的文字数据而被获得。此外，交通事故的事态信息还可以从外部机关作为照片、动画等的图像数据而被获得。当在道路上设置有监视摄像机时、当在事故车辆或者在其周围的车辆上搭载有车载摄像机时、或者当周围的行人等正在进行摄像机拍摄时等，外部机关有可能会取得图像数据。而且，在收集服务器40中，有时从车辆20的摄像机图像中能够取得包括交通事故的事态信息在内的图像数据。
制作服务器50为，制作有关过去或者未来的事态的图像数据的装置。在制作服务器50中，对被推测为假设车辆100于过去或者未来进行了行驶的情况下所能够看到的假想性的图像数据进行制作。图像的制作本身例如能够向外部的企业进行外包。在这种情况下，在制作服务器50中，将被交付的图像导入并保存到保存服务器80中。此外，对图像数据进行说明的文字数据等也被制作出并被保存到保存服务器80中。另外，在制作服务器50中，还能够基于关于上述的交通事故的文字数据，来制作将交通事故的情况以易懂的方式而进行再现的假想性的动态图像数据或者静止图像数据。
发布服务器60为，将图像数据等的事态信息向车辆100进行发布的装置。在发布服务器60中，包括接收装置62、信息选择装置64以及发送装置74。接收装置62从车辆100接收图像数据等的发布请求。接收装置62在接收发布请求时，还接收所发布的事态信息的种类、车辆100的位置等的信息等。
信息选择装置64实施向车辆100进行发布的事态信息的选择等。在信息选择装置64中，包括信息种类判断部66、行驶位置判断部68、天气判断部70以及驾驶员判断部72。
信息种类判断部66基于接收装置62的接收内容，来进行被要求发布的事态信息的种类的选择。对于成为选择对象的事态信息的种类的示例，在下文中进行叙述。
行驶位置判断部68基于从车辆100取得的行驶位置数据，而对成为发布的对象的事态信息的地理性的范围进行判断。在行驶位置判断部68中，除了考虑车辆100的当前位置以外，还考虑行驶方向、行驶速度等，从而预测不久的将来(例如从数秒至数十秒后)所行驶的位置，并决定进行发布的事态信息的范围。
天气判断部70基于从车辆100取得的行驶位置数据，来判断车辆附近的天气。在进行判断时，例如能够灵活运用气象当局等所提供的气象信息。此外，在天气判断部70中，还可以基于从车辆100取得的天气数据来判断车辆100的天气。
驾驶员判断部72对车辆100中的发布的请求者是否为驾驶员进行判断。当请求者仅为驾驶员时，做出可以从进行发布的图像数据中省略道路的风景(路面、行驶车辆、行人、交通信号灯、标识等)的判断。由此，能够减少进行发布的信息量。
发送装置74从保存服务器80中取得成为发布对象的事态信息，并向车辆100进行发送。
保存服务器80为，对成为发布对象的针对过去或者未来的事态的事态信息进行保存的装置。在被保存在保存服务器80中的事态信息中，包含有交通事故数据82、过去风景数据84、过去假想数据88、未来假想数据90。
交通事故数据82为关于过去的事态的事态信息的一个示例，并且包含有通过收集服务器40而被收集到的交通事故的事态信息。在被保存的交通事故数据82中，包含有作为文字数据的交通事故文字数据、和作为图像数据的交通事故图像数据。在交通事故文字数据中，包含有交通事故的发生日期时间、位置、事故状况以及损失状况等的信息。此外，在交通事故图像数据中，包含有引起了交通事故的车辆的摄像机图像数据、由存在于交通事故的周围的车辆所拍摄到的摄像机图像数据、或者通过行人或道路的固定监视摄像机等而被拍摄到的图像数据等。作为交通事故数据82的图像数据，还可以使用通过制作服务器50而被制作出的动态图像数据或者静止图像数据。
过去风景数据84为关于过去的事态的事态信息的一个示例，并且包含有由收集服务器40所收集到的与过去的实际的风景相关的事态信息。具体而言，包含有过去通过车辆20的车载摄像机22而被拍摄到的摄像机图像数据。此外，在过去风景数据84中，还可以包含有摄像机图像数据的取得日期时间、拍摄时的天气等对摄像机图像数据进行说明的文字数据。
在过去风景数据84中包含有晴天时图像数据86。这是晴天时被拍摄到的摄像机图像数据。如下文所述，晴天时图像数据86为了弥补雨天、雪天等的视场不佳的情况而被使用。因此，虽然也能够使用晴天以外的阴天等并不是雨雪天气的图像数据，但是在实施方式中，考虑到图像的清晰度而使用了晴天时图像数据86。
过去假想数据88为关于过去的事态的事态信息的一个示例，并且包含有通过制作服务器50而被制作出的过去的假想性的事态信息。在过去假想数据88中，包含有作为图像数据的过去假想图像数据、和记录了其说明的过去假想文字数据。过去假想数据88为，假设在过去的适当的时刻车辆100已经行驶过的情况下，以有可能能够在车辆的周围看到的风景为对象而被制作出的事态信息。例如，制作出如下的图像数据，即，在车辆100沿着当前的道路而行驶的情况下能够看到的远方的景色(山岳、海岸、河川等)之中，将当时的森林等的自然物、城堡或者房屋等的建筑物、穿着当时的服装的人等进行显示的图像数据。或者，对于过去发生过历史性的事态的区域，还可以列举出，对在通过车辆100来行驶的同时眺望该事态的图像数据进行制作的示例。作为历史性的事态，可以例示出政治活动、宗教活动、文化活动、庆祝和祭祀典礼、战争、著名人士的往来、灾害(火山喷发、地震、火灾等)、天体现象(彗星的到来、白夜、月食等)等。此外，还可以实施冰河时期等的过去的气候的再现、化石被发掘的动植物的再现等。或者，也可以为对该地域中已被知晓的传说、故事等进行再现的数据。
未来假想数据90为关于未来的事态的事态信息的一个示例，并且包含有通过制作服务器50而被制作出的未来的假想性的事态信息。在未来假想数据90中，包含有作为图像数据的未来假想图像数据、和记录了其说明的未来假想文字数据。未来假想数据90以假设在未来通过车辆100而进行了行驶的情况下有可能能够看到的风景为对象而被制作。例如，可以列举出制作如下的图像数据的方式，所述图像数据为，在车辆100行驶在当前的道路上的情况下所能够看到的远方的背景中，存在关于未来而被推断出的自然物、建筑物、穿着未来的服装的人等这样的图像数据。此外，也可以制作模拟了关于未来而被推断出的事态的图像数据。作为关于未来而被推断出的建筑物等的示例，可以列举基于由政府、自治团体等设定的城市规划的建筑物、道路、铁路、机场等。此外，由研究机关或企业提议的交通工具、衣服等也被推断为在未来将会实现的事物。而且，基于自治团体等公布的灾害时的灾害预测图的灾害也可以说是被推断为在未来将会发生的事态。
接下来，关于图1的车辆100参照图3来进行说明。车辆100为，搭载了如图3所示的图像显示系统110的车辆。如图3所示，图像显示系统110包含有车载系统120、和可穿戴设备150。
车载系统120典型而言为被固定地设置在车辆100中的装置。在车载系统120中，包含有操作输入部122、发送部128、图像处理装置130、GNSS140、速度计142、接收部144、以及临时存储装置146。
操作输入部122为，用于作为车辆100的驾驶员等用户实施图像显示系统110的设定的用户接口。操作输入部122例如利用被设置在车辆100的仪表板上的触摸面板而被构筑。在操作输入部122上设置有显示信息设定部124。显示信息设定部124为，针对显示在可穿戴设备150上的事态信息而实施各种设定的构件。
用户通过对显示信息设定部124进行操作，从而能够实施对交通事故数据82、过去风景数据84、过去假想数据88或者未来假想数据90进行显示的设定。用户既可以从这些数据中仅将一个选择为显示的对象，也可以将多个选择为显示的对象。在选择多个的情况下，还可以附加显示的优先等级。作为附加优先等级的示例而可以列举出如下设定，即，在选择了交通事故数据82和过去风景数据84的情况下，在通常会显示过去风景数据84，但在存在交通事故数据82的场所会优先显示或者重复显示交通事故数据82。此外，例如在选择过去风景数据84的情况下，当存在多个过去风景数据时，还可以设定被拍摄的年份、季节等。或者，也可以实施如下设定，即，对于交通事故数据82、过去假想数据88或未来假想数据90，首先仅显示表示概要的文字数据或者标记了符号等的图标，并且在用户对图标进行操作而请求了详细显示之后，显示图像数据。
发送部128向信息发布系统30发送事态信息的发布请求。在发布请求之时，按照由显示信息设定部124所进行的设定，还对需要的数据的种类等进行明示。此外，还随时发送GNSS140所示的车辆的行驶位置数据等。或者，也可以将被设定在车辆100的导航装置系统中的行驶路线作为行驶位置数据而一并进行发送。
图像处理装置130为，对从信息发布系统30接收到的事态信息实施用于显示在可穿戴设备150上的图像处理的装置。图像处理装置130能够通过由OS(操作系统)、应用程序等的软件来控制具备存储器、处理器等的计算机硬件，从而进行构筑。图像处理装置44中，利用应用程序而构筑有设备/瞳孔位置运算部132、图像布局运算部134、图像切换部136、图像合成部138。
设备/瞳孔位置运算部132基于来自可穿戴设备150的设备位置传感器160和瞳孔位置传感器162的输入，来对车内的可穿戴设备150的相对位置、和驾驶员180的瞳孔的相对位置进行运算。
图像布局运算部134为了实施从操作输入部122被指示的图像显示，而对将哪个图像配置在哪个位置、即应当将进行合成的图像的布局如何设置进行运算。在图像布局运算部134中，在决定布局时，在利用预先存储的车辆的各部件的相对位置数据的同时，利用设备/瞳孔位置运算部132所运算出的可穿戴设备150的相对位置数据、和瞳孔的相对位置数据。由此，能够运算出连接佩戴了可穿戴设备150的用户的瞳孔和车辆的特定的部件的直线会接触到有机EL显示器166的哪个位置。然后，对于只需在有机EL显示器166的哪个位置显示哪个图像即可进行运算。
图像切换部136在显示信息设定部124中，在多个种类的图像数据被选择为显示对象的情况下，按照优先等级等来实施图像的切换处理。此外，还实施能够将显示对象从文字数据切换为图像数据或者从图像数据切换为文字数据的处理、或者使文字数据和图像数据的双方显示的处理等。
图像合成部138为信息取得装置的一个示例，并且实施从临时存储装置146中取得图像切换部136所设定的图像数据或者文字数据，并合成为图像布局运算部134所运算出的布局的处理。在图像合成部138中，通过从GNSS140取得行驶位置数据，并且从速度计142取得行驶速度数据，从而实施与车辆100的行驶位置相对应的图像的合成。被合成的图像被发送至可穿戴设备150的图像控制部164，并且被显示在有机EL显示器166上。发送既可以以有线通信的方式而实施，也可以以无线通信的方式而实施。在采用无线通信的情况下，还可以考虑利用例如Bluetooth(注册商标)、Wi-Fi(注册商标)、红外线通信等近距离无线通信。
GNSS140对车辆100的行驶位置进行检测，并输出行驶位置数据。行驶位置数据通过发送部128而被发送至信息发布系统30。
速度计142对车辆100的行驶速度进行检测，并输出行驶速度数据。行驶速度为表示车辆的行驶位置的时间变化的数据，并且能够和GNSS140所输出的行驶位置数据一起为了确定车辆100的行驶位置而被使用。因此，如上文所述那样，行驶位置数据以及行驶速度数据被发送至图像合成部138。
接收部144接收从信息发布系统30被发布的图像数据以及文字数据。所接收到的数据被储存于临时存储装置146中。
在临时存储装置146中，保存有通过接收部144而接收到的图像数据以及文字数据。由在车辆100的行驶方向上伴随有不确定性，因此在车载系统120中，采用依次显示根据行驶位置而接收到的数据的流播方式。临时存储装置146被设定为，通过基于行驶位置判断部68对车辆100的不久的将来的行驶位置进行了预测的结果而预先将图像数据以及文字数据临时地进行保存，从而能够进行无中断的图像显示。但是，例如，在车辆100的导航装置系统中设定了行驶路线的这种情况下，被认为沿着该行驶路线进行行驶的可能性较高。因此，还可以采用预先下载沿着行驶路线的图像数据以及文字数据的方式。此外，也可以将关于车辆频繁地进行行驶的区域的图像数据以及文字数据全部下载到临时存储装置146中。
可穿戴设备150为，乘车在车辆上的包括驾驶员在内的乘员以眼鏡或者护目镜这样的方式而佩戴的设备。在可穿戴设备150中，包含有设备位置传感器160、瞳孔位置传感器162、图像控制部164、有机EL显示器166以及操作部168。
在此，参照图4而对可穿戴设备150详细地进行说明。图4为表示驾驶员180佩戴了可穿戴设备150的状态的图。可穿戴设备150为被形成为眼镜形状的设备，有时也被称为智能眼镜等。可穿戴设备150具备：眼镜腿152，其为用于挂在耳朵上的直线状的框架；眼镜框154，其为与眼镜腿152连接并且被形成为在包围眼睛的周围的同时被挂在鼻子上的形状的框架。
在眼镜框154的内侧，设置有作为显示装置的一个示例的有机EL(ElectroLuminescence：电致发光)显示器166。虽然有机EL显示器166以覆盖驾驶员180的眼睛的前方的方式而配置，但是由于在未形成图像的情况下显示出较高的透明性(高透光性)，因此驾驶员180能够目视到前方。有机EL显示器166基于图像控制部164的控制，从而能够在一部分或者全部的区域中形成图像。
在驾驶员180的左眼侧，在眼镜框154和眼镜腿152的连接部附近处设置有设备位置传感器160。设备位置传感器160为，对可穿戴设备150的车辆100内的位置进行检测的传感器。设备位置传感器160例如能够利用拍摄前方的摄像机而进行构筑。即，通过将摄像机所拍摄到的图像、和车内的布局的数据进行比较，从而可知晓摄像机的位置以及倾斜度。因此，只要将摄像机相对于眼镜框154而固定地进行设置，就能够检测出可穿戴设备150的位置以及倾斜度。
在眼镜框154的上部的中央附近处设置有瞳孔位置传感器162。瞳孔位置传感器162为，对驾驶员180的右眼和左眼的瞳孔相对于眼镜框154处于哪个位置进行检测的传感器。和设备位置传感器160一样，瞳孔位置传感器162也能够利用摄像机等而形成。
在眼镜腿152的内部装入有图像控制部164。图像控制部164为，基于从车载系统120接收到的数据而在有机EL显示器166上进行图像显示的控制装置。在可穿戴设备150中，通过经由图像控制部164并利用有机EL显示器166而进行事态的图像显示，从而能够向乘员提供不同于通常情况的视觉的环境。
操作部168为，用于对被显示在有机EL显示器166上的对象进行操作的构件。在有机EL显示器166上能够显示按钮等的操作对象图像。操作部168为用于对该按钮进行操作的部件。例如，操作部168既可以为通过佩戴了可穿戴设备150的驾驶员等的声音来进行操作的构件，也可以为通过操作者的视线来进行操作的构件。也可以通过在可穿戴设备150的眼镜腿152、眼镜框154等上设置机械式按钮，从而实现操作部168。通过设置操作部168，从而能够在有机EL显示器166上首先显示表示概要性信息的文字数据或者符号等，并且在操作之后，实施显示图像数据等的显示的切换。另外，也可以设为，不将操作部168设置在可穿戴设备150上，而是例如通过被设置在车辆100的仪表板上的触摸面板的操作输入部122来实施同样的操作。
在图像显示系统110中，以较短的时间间隔来实施实时处理。即，车载系统120从可穿戴设备150的设备位置传感器160、瞳孔位置传感器162以较短的时间间隔而取得检测数据。设备/瞳孔位置运算部132根据所取得的检测数据，来迅速地运算出可穿戴设备150的位置、和瞳孔的位置。由此，关于车辆100中的驾驶员180的视野的范围，还能够取得与前挡风玻璃206等的关系。另外，驾驶员180的视野的范围能够基于人的标准的数据来进行设定。此外，例如，在如图4所示的示例中，也可以将被眼镜框154围绕的有机EL显示器166的范围设定为视野的范围。只需与GNSS140所输出的行驶位置数据进行配合，就能够取得驾驶员180的视野的范围与事态的位置之间的关系。因此，设备位置传感器160、瞳孔位置传感器162、以及GNSS140可以说是范围取得单元的一个示例。接下来，图像布局运算部134对用于显示由操作输入部122操作的图像的布局进行运算。图像合成部138按照布局而对来自临时存储装置146的图像进行合成，并发送至可穿戴设备150。
在可穿戴设备150中，在图像控制部164中对所接收到的合成图像数据进行处理，并显示在有机EL显示器166上。由于至图像显示为止的处理被高速地实施，因此即使在驾驶员180摇头的这种情况下，也能够高速地进行追随。因此，佩戴了可穿戴设备150的驾驶员180能够在不太感觉到不适感的条件下，对于被实施了与实际情况不同的显示的车外进行目视确认。
另外，在以上的说明中，作为可穿戴设备150而列举了利用图像控制部164和有机EL显示器166的装置。但是，可穿戴设备150也可以为利用其他原理的设备。作为一个示例，可以列举出利用在视网膜上照射图像的投影仪的方式。此外，在可穿戴设备150中也可以使用如下类型的设备，即，不使来自外部的可视光透过，代替于此而显示由摄像机所拍摄到的图像。
接下来，参照图5至图12，对由可穿戴设备150实施的图像显示的示例进行说明。图5至图11为，示意性地表示佩戴了可穿戴设备150的驾驶员180的视野的图。此外，图12为，示意性地表示在驾驶员以外的乘员佩戴了可穿戴设备150的情况下的视野的图。图中的坐标系统中的F轴表示车辆前方向，U轴表示上方向，R轴表示乘员的右手方向。假设了如下情况，即，驾驶员180坐在被设置在车辆的左侧的驾驶员座上，并且正在行驶在右侧通行的道路上。
图5为表示可穿戴设备150未显示图像的状态的图。此时，驾驶员180的视野成为与裸眼的情况相同的状态。
在视野的上部处，可看到车顶200。在车顶200的左右侧处，可看到左A柱202(有时也被称为左前柱)和右A柱204。在被车顶200、左A柱202以及右A柱204环绕的位置处，设有透明的前挡风玻璃206(有时也被称为前窗玻璃)。在前挡风玻璃206的上部附近处，可看到被安装在车顶200上的车内后视镜208，并且映照出行驶在后方的车辆。
在驾驶员180的左侧，可看到左前侧窗玻璃210(有时也被称为左前侧玻璃)、和位于其前方的左三角窗212。在左前侧窗玻璃210的下方，可看到被设置在左前车门的内侧的左前车门装饰物214。此外，在左前侧窗玻璃210上，可看到左外反射镜216，并且映照出本车辆的侧面的一部分和行驶在后方的车辆。
在驾驶员180的右侧，可看到右前侧窗玻璃220、和位于其前方的右三角窗222。在右前侧窗玻璃220的下方，可看到被设置在右前车门的内侧的右前车门装饰物224。此外，在右前侧窗玻璃220上，可看到右外反射镜226，并且映照出本车辆的侧面的一部分和行驶在后方的车辆。
在前挡风玻璃206的下方处设置有仪表板230。在仪表板230的中央下部处连接有中央扶手箱232。在仪表板230以及中央扶手箱232上配置有触摸面板234和操作按钮类部件236。驾驶员180所佩戴的可穿戴设备150的操作输入部122例如被设置在该触摸面板234或者操作按钮类部件236上。
在驾驶员180的前方处，在与仪表板230相比靠近前处设置有转向盘238。在转向盘238上添加了驾驶员180的双手。此外，在转向盘238的内侧，可看到被配置在仪表板230上的车速表等仪表类部件240。
从前挡风玻璃206可看到车外的风景。车辆正在行驶在向前方延伸的车道300的右车道上。在车道300的中央处描绘有中线302。在车道300的左侧设置有左人行道304，其通过路缘石306而与车道300被分隔开。在车道300的右侧设置有右人行道308，其通过路缘石310而与车道300被分隔开。
在车道300的左车道上，行驶有对面行驶的车辆320。在右人行道308上设置有道路标识322。而且，在右人行道308上有行人324正在步行。
车道300的前方成为未被图示的平缓的下坡。因此，在地面与天空之间形成有地平线330。
图6以及图7为，在可穿戴设备150上按时间序列而示出了基于交通事故数据82而进行了显示的示例的图。
图6为表示图5的紧后的状态的图，并且在车道300的右车道的前方处，显示了带有“！”符号的图标400。该图标400表示以前发生过交通事故的场所，并且是为了促使驾驶员180注意而被显示的标记。在车辆100的车载系统120中的图像处理装置130的图像切换部136中，基于车载系统120中的GNSS140的行驶位置数据以及速度计142的行驶速度数据来对行驶位置进行掌握，并且进行与被保存在临时存储装置146中的交通事故数据82的比较。作为比较的结果，检测出车辆100已接近于交通事故数据82所示的位置的情况，从而显示图标400。由于在掌握交通事故时，准确地确定发生位置较为重要，因此图标400以高精度地显示事故的发生位置的方式而被显示。
图标400的大部分被显示在与地平线330相比靠上方处，以便驾驶员180能够确保驾驶所需的视野。然而，图标400为，仅概要性地传递交通事故的发生位置而并不传递其详细信息的标识。因此，图标400作为可操作的按钮而被显示。
图7为，表示在图6的状态下，驾驶员180通过可穿戴设备150的操作部168而对图标400进行了操作的情况的图。在仪表板230的靠副驾驶座的位置处，显示有文字数据的显示窗口402、和图像数据的显示窗口404。该显示位置为，不妨碍驾驶员180朝向车外的视野并且也不妨碍朝向转向盘238以及仪表类部件240的视野的位置。
在文字数据的显示窗口402上，概要性地记载了表示一个月前发生了与对面行驶的超车车辆的碰撞事故的含义的信息。此外，在图像数据的显示窗口404上显示有碰撞之前的动态图像数据。该动态图像数据为，由遭遇了碰撞事故的车辆的车载摄像机所拍摄到的摄像机图像数据。摄像机图像数据明确地示出了如下的情形，即，从行驶在左侧车道上的对面而行的车辆的后方欲实施超车的车辆向右车道探出而进行行驶的情形。
驾驶员180通过观察显示窗口402、404，从而能够瞬时性地掌握交通事故的概要。而且，在图标400的位置处，预见到行驶在右车道上的对面而行的车辆有可能从朝向地平线330的一侧行驶过来的情况。由此，由于驾驶员180会充分地注视着前方而进行驾驶，因此能够防止同样的交通事故。
另外，在图6所示的示例中，作为图标400而使用了由框和被显示在其中的“！”符号所组成的图标。但是，也可以设置成，通过显示“正面碰撞”等的文字数据、或者意味着正面碰撞的简单的图形或者符号，来代替“！”符号，从而向驾驶员180传递稍微详细的事态信息。
此外，在图7所示的示例中，示出了文字数据的显示窗口402、和图像数据的显示窗口404的双方。但是，也可以设置成，仅示出显示窗口402、404中的任意一方。在显示窗口404上，也可以不显示动态图像，而是显示静止图像。而且，在显示窗口404上，也可以不显示实际的交通事故的图像，而是显示示意性地制作出的图像。
作为其他方式，可以列举出如下方式，即，在已接近于交通事故的发生位置的情况下，省略如图6所示的仅显示图标400的显示状态的方式。即，可以考虑通过直接进行如图7所示的包括显示窗口402、404在内的显示，从而向驾驶员传递交通事故的详细信息。
接下来，参照图8以及图9，对雨天时的事态信息的灵活运用进行说明。图8为与图5相对应的图，并且为表示可穿戴设备150未显示图像的状态的图。此外，图9为表示可穿戴设备150显示了图像的状态的图。
在图8中，与图5不同，设想了天气是雨天的情况。因此，从前挡风玻璃206等看到的车外的风景会因为雨而变得稍微不清楚。例如，与图5相比，对面而行的车辆320、道路标识322、行人324的目视确认性会变得少许困难。此外，车道300的中线302、路缘石306、310等也不清楚。而且，在图8的示例中，在车道300的右车道上存在有障碍物340。
图9示出了如下状态，即，在如图8所示的状况下于可穿戴设备150上进行了根据晴天时图像数据86而实施的图像显示的状态。晴天时的图像基本上被显示在道路外的风景的部位处。因此，在与地平线330相比靠上的天空中，显示了晴天时的清晰的图像。此外，在与左人行道304相比靠左侧以及与右人行道308相比靠右侧的地表上，也显示了晴天时的图像。被显示的图像为动态图像，并且根据车辆100的行驶位置，动态图像也会被切换。因此，驾驶员180能够清晰地掌握当前正行驶在哪个区域。
相对于此，对于道路的风景，基本上并不显示晴天时的图像。具体而言，对于包括车道300、左人行道304、右人行道308在内的道路、以及车辆320、道路标识322、行人324的部分，并不显示图像，而是使实际的风景映入驾驶员180的眼中。因此，对于处于车道300上的障碍物340，驾驶员180也能够目视确认到。此外，虽然未被图示，但例如在道路上设置有交通信号灯的情况下、在右车道上存在其他车辆的情况下、在道路分岔的(存在交叉路口)的情况下等，在该部位处不显示映像。这是因为，在确保驾驶的安全的基础上，对于需要实际的事态信息的部分，基于不显示图像的方针来进行图像显示。
但是，在图9中，对于中线302以及路缘石310而显示了晴天时的图像。这是为了在右车道中将能够行驶的车道明确化，从而使驾驶的安全性提高。尤其是，由于所图示的右车道仅与作为对面车道的左车道和中线302相接，因此使中线302明确化的处理在防止与对面而行的车辆之间的碰撞方面是有用的。此外，所图示的右车道与右人行道308相接，从而使作为车道300与右人行道308之间的边界的路缘石310明确化的处理在防止与行人之间的接触方面是有用的。
在代替路缘石310、或者与路缘石310一起而在右人行道308与车道300之间描绘白线等从而限定了行驶车道的情况下，只需对该白线等进行图像显示以代替路缘石310即可。此外，例如，在车道300为单侧两车道的情况下，认为首先将当前正在行驶的车道的边界明确化，接下来考虑行车道变更的可能性等而将另一侧的车道的边界明确化。另一方面，由于车道300与左人行道304之间的路缘石306与行驶没有直接的关系，因此不实施根据图像而进行的明确化。
在如图9所示的示例中，关于中线302以及路缘石310，显示了过去被拍摄到的摄像机图像数据的对应部位的图像、即从摄像机图像数据中被切出的中线302以及路缘石310的图像。在进行显示时，通过实施图像识别，从而确认当前的中线302和过去的中线302大致一致的情况、以及当前的路缘石310和过去的路缘石310大致一致的情况，进而显示过去的图像。由此，在中线302被重新描绘从而处于与过去的图像不同的状态的情况下，能够设为不对过去的中线302进行显示。或者，例如，在路面被雪覆盖从而无法目视确认到中线302的情况下，也可以考虑在不确认当前的中线302和过去的中线302的一致的条件下显示过去的中线302。
在于中线302上存在障碍物340的这种情况下，也考虑到由于完全地替换图像从而会隐藏障碍物340的情况。因此，也可以设为，在基于晴天时的图像来显示中线302时，将晴天时的图像设为半透明，并重叠显示在当前的中线302上。此外，由于中线302以及路缘石310为比较单纯的形状，因此也可以显示假想性地制作出的线，以代替晴天时的图像。
在右人行道308或者左人行道304较窄或者并不存在的这种场所中，还考虑到从存在于道路外的建筑物、公园、停车场等中行人或者车辆突然窜出至车道300上的情况。因此，可以考虑将未显示过去的图像的范围扩大至与道路相比而稍宽。即，能够将虽然处于道路外但接近于道路并有可能给交通安全带来影响的范围(设为，称作道路附近的风景)设为，不显示过去的图像的范围。例如，也可以考虑如下方式，即，对于从道路的端部起的适当的设定范围(例如，3m以内、5m以内、或者10m以内)，和道路一样不显示过去的图像的方式。此外，也可以考虑如下方式，即，在该设定范围内存在房屋或店铺等的建筑物、树木等的物体的情况下，对于该物体的下部(例如从路面起的高度为2m以下、或者3m以下)不显示过去的图像。由此，例如，一方面能够掌握当前进出店铺的人，另一方面能够通过晴天时的图像而明确地识别出店铺的招牌。
另外，在图9所示的示例中设为，对于道路标识322的部分不显示图像，而是可看到实际的道路标识322。但是，与中线302等同样地，也可以设为，在能够通过图像识别来确认道路标识322表示什么含义的情况下，显示被预先制作出的道路标识322的图像。由此，驾驶员180将能够确认明确的道路标识322。
接下来，参照图10而对显示过去风景数据84的示例进行说明。图10表示从如图5所示的状态进行切换而显示出在该区域中在五年前被拍摄到的摄像机图像数据的状态。在该区域中，即使在五年前在车道300的周围也并未建有建筑物等。但是，在前方处，展开有稍高的山丘410，而且还存在树木412。在图10中，道路外的风景以被替换为其五年前的摄像机图像数据的方式而被显示。显示通过追随于车辆100的移动的动态图像来实施。在显示过去的摄像机图像数据的情况下，当与当前的位置偏差较多时，将会给驾驶员180带来不适感。因此，以较高的精度来实施调节以符合于实际的位置。
在图10中，在车道300、左人行道304、右人行道308、车辆320、道路标识322以及行人324的部分(即，道路的风景)处，并未显示过去的图像。这和在图9中所叙述的说明一样，是由于考虑到了交通安全性的缘故。此外，在图10的情况下也可以设为，对于道路附近的风景也不显示过去的图像。
接下来，参照图11而对显示未来假想数据90的示例进行说明。图11为表示从图5所示的状态进行切换，并显示了该区域中的五年后的预测风景的状态的图。在该区域中，目前机场的建设正在推进中。而且，通过削掉五年前存在的山丘410，从而正在进行建筑用地的完善。因此，成为三年后机场开业的计划。
在图11中，基于对机场开业后进行预测而被制作出的动态图像数据，而以道路外的风景被替换为假想性的图像的方式而进行了显示。具体而言，显示有机场的控制塔420等的建筑物、和已从机场起飞的飞机422。相对于此，在道路的风景、进而在道路附近的风景中，并未显示根据未来假想数据90而获得的图像，从而优先确保了交通安全性。未来假想数据90能够使驾驶员180欣赏未来的风景，此外还能够掌握未来的开发计划等。
未来假想数据90在对于具体的建筑物这样的情况下，通过被显示在实际被建筑的位置处，从而提升了临场感。但是，由于包括建筑物在内的、未来被设想的事物或者事件通常情况下其存在位置并未被明确地设定，因此并不一定需要进行严谨的显示。因此认为，在车辆100进行前进的情况下、进行加速的情况下、进行转弯的情况下等，只需以虽然并不严谨但是对应于该动作而使图像发生变化的方式来进行显示，就会给驾驶员180带来充分的临场感。
在以上的说明中，以在驾驶员180所佩戴的可穿戴设备150上进行图像显示的方式为例而进行了列举。同样地，在驾驶员180以外的乘员所佩戴的可穿戴设备150上也能够进行各种显示。
图12示出了如下状态，即，车辆100为在自动驾驶模式下进行驾驶的车辆、并且坐在驾驶员座上的乘员190实际上并不承担驾驶的责任和义务的状态。乘员190并不对转向盘238进行操作。
在图12中示出了如下状态，即，乘员190替换了可穿戴设备150的显示，而从图5所示的风景变为显示了过去的假想性的映像的状态。在实施方式中设想了如下的状况，即，该区域作为在四百多年以前两位著名的武将所率领的军事势力发生过冲突的古战场而较为有名。因此，作为过去假想数据88而制作出再现了交战的情形的动态图像数据。
在图12中，在前挡风玻璃206、左前侧窗玻璃210、左三角窗212、右前侧窗玻璃220以及右三角窗222的整个面上显示了该动态图像。具体而言，在远方显示了五年前也存在的山丘410、以及大量的树木430。而且，在右侧，以属于一方武将的军队的武士432等背负旗帜并手持火绳枪的方式而构图。在武士432等的前方，设置有阻止骑马行进的栅栏434。此外，在左侧，属于另一方武将的军队的武士所乘坐的马436担任先锋并开始了突击。
被显示的图像并不是单纯的剧本，而是被设定为根据车辆100的移动而使视点移动。在如图12所示的示例中被设定为，随着车辆100的行驶，将会陆续看到存在于前方的武士。但是，实际的车辆速度、和图像中的武士的移动速度并不一定需要完全地对应，只需与车辆100的移动建立了对应关系即可。而且，随着车辆100进行行驶，图像会转移至两军使用长枪以及刀来进行战斗的肉搏战。以在中途还能够看到身穿著名的盔甲的武将的姿态的方式而制作了图像数据。如此，通过可穿戴设备150，乘员190能够将过去的事件作为映像来进行欣赏。也可以设置成，输出配合于动态图像的声音，从而赋予临场感。
在图12所示的示例中，图像仅被显示在前挡风玻璃206、左前侧窗玻璃210、左三角窗212、右前侧窗玻璃220以及右三角窗222的范围内。这是为了使乘员190感受到乘坐在车辆100上的感受的同时欣赏图像。此外，乘员190除了能够对图像未被显示的触摸面板234、操作按钮类部件236等进行操作之外，还能够通过确认转向盘238、仪表类部件240的存在而获得心理上的安心感。但是，从优先显示图像的观点出发，例如，也可以将图像显示在左A柱202、右A柱204等上，而且还可以将图像显示在车顶200、仪表板230等上。
此外，在图12所示的示例中，包括车道300在内的道路的风景全部被替换为根据过去假想数据88而获得的图像。这是因为，在自动驾驶模式下，乘员190不具有进行驾驶的责任和义务，并且并不需要将注意力转向车外。如此，对于驾驶员180以外的人员，能够以将图像重叠在道路的风景、或者道路附近的风景上的方式而进行显示。并不限于图12所示的过去假想数据88的显示，对于如图5至图11所示的示例，同样能够在不考虑交通安全性的条件下显示图像。另外，对于乘坐于后部座椅上的乘员、或者公交车的乘客等，由于与前部座椅相比能够看到车外的视野较窄，因此也可以设置成，将图像重叠在窗口玻璃以外的部位上而进行显示。
本实施方式除此之外还能够采用各种方式。例如，本实施方式所涉及的显示系统可以具备：信息取得装置，其将关于被包含在车辆的乘员的视野中的过去或者未来的事态的事态信息，以与所述事态的位置建立关联的方式而取得；范围取得单元，其取得所述车辆的乘员的视野的范围；显示装置，其在所述视野的范围内包含有所述事态信息的位置的情况下，在所述乘员的视野的范围内显示所述事态。

Claims (11)

1.一种显示系统，其特征在于，具备：
信息取得装置，其取得关于被包含在车辆的乘员的视野中的过去或者未来的事态的事态信息；
显示装置，其基于所述事态信息而在所述乘员的视野内显示所述事态，
所述信息取得装置取得由过去行驶过的车辆所拍摄到的车外的图像数据，以作为所述事态信息，
所述显示装置使所述图像数据符合于所述乘员所乘坐的所述车辆的行驶位置，而显示基于该图像数据的事态。
2.一种显示系统，其特征在于，具备：
信息取得装置，其取得关于被包含在车辆的乘员的视野中的过去或者未来的事态的事态信息；
显示装置，其基于所述事态信息而在所述乘员的视野内显示所述事态，
所述信息取得装置取得过去的交通事故的信息，以作为所述事态信息，
所述显示装置将所述交通事故的位置进行明示，而显示该所述交通事故的事态。
3.一种显示系统，其特征在于，具备：
信息取得装置，其取得关于被包含在车辆的乘员的视野中的过去或者未来的事态的事态信息；
显示装置，其基于所述事态信息而在所述乘员的视野内显示所述事态，
所述信息取得装置取得关于被推断为过去发生过的事态而假想性地制作出的图像数据，以作为所述事态信息，
所述显示装置将所述图像数据与所述乘员所乘坐的所述车辆的行驶位置建立关联，而显示基于该图像数据的事态。
4.一种显示系统，其特征在于，具备：
信息取得装置，其取得关于被包含在车辆的乘员的视野中的过去或者未来的事态的事态信息；
显示装置，其基于所述事态信息而在所述乘员的视野内显示所述事态，
所述信息取得装置取得关于被推断为未来会发生的事态而假想性地制作出的图像数据，以作为所述事态信息，
所述显示装置将所述图像数据与所述乘员所乘坐的所述车辆的行驶位置建立关联，而显示基于该图像数据的事态。
5.如权利要求1所述的显示系统，其特征在于，
所述乘员为驾驶员，
所述显示装置以与实际的道路外的风景重叠的方式、或者替换实际的道路外的风景的方式，来显示对应的风景。
6.如权利要求3所述的显示系统，其特征在于，
所述乘员为驾驶员，
所述显示装置以与实际的道路外的风景重叠的方式、或者替换实际的道路外的风景的方式，来显示对应的风景。
7.如权利要求4所述的显示系统，其特征在于，
所述乘员为驾驶员，
所述显示装置以与实际的道路外的风景重叠的方式、或者替换实际的道路外的风景的方式，来显示对应的风景。
8.如权利要求1所述的显示系统，其特征在于，
所述乘员为驾驶员以外的人员，
所述显示装置以与包括实际的道路在内的风景重叠的方式、或者替换包括实际的道路在内的风景的方式，来显示对应的风景。
9.如权利要求3所述的显示系统，其特征在于，
所述乘员为驾驶员以外的人员，
所述显示装置以与包括实际的道路在内的风景重叠的方式、或者替换包括实际的道路在内的风景的方式，来显示对应的风景。
10.如权利要求4所述的显示系统，其特征在于，
所述乘员为驾驶员以外的人员，
所述显示装置以与包括实际的道路在内的风景重叠的方式、或者替换包括实际的道路在内的风景的方式，来显示对应的风景。
11.如权利要求1所述的显示系统，其特征在于，
所述信息取得装置在所述乘员所乘坐的所述车辆的周围的天气为雨天或者雪天的情况下，取得在过去的晴天或者阴天时被拍摄到的所述图像数据，
所述显示装置以与实际的中线重叠的方式、或者替换实际的中线的方式，来显示基于所述图像数据的中线。
CN202011414206.0A 2019-12-06 2020-12-04 显示系统 Pending CN112927538A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019221292A JP7384014B2 (ja) 2019-12-06 2019-12-06 表示システム
JP2019-221292 2019-12-06

Publications (1)

Publication Number Publication Date
CN112927538A true CN112927538A (zh) 2021-06-08

Family

ID=75962705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011414206.0A Pending CN112927538A (zh) 2019-12-06 2020-12-04 显示系统

Country Status (4)

Country Link
US (1) US11590902B2 (zh)
JP (1) JP7384014B2 (zh)
CN (1) CN112927538A (zh)
DE (1) DE102020128224A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114931297A (zh) * 2022-05-25 2022-08-23 广西添亿友科技有限公司 一种新能源房车的颠簸约束方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188941A1 (ja) * 2019-03-15 2020-09-24 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP2008157880A (ja) * 2006-12-26 2008-07-10 Victor Co Of Japan Ltd 車載カメラ装置を用いた運転支援装置
CN101300459A (zh) * 2005-11-01 2008-11-05 松下电器产业株式会社 信息显示装置
CN102103800A (zh) * 2009-12-17 2011-06-22 富士通天株式会社 导航装置、车载显示系统及地图显示方法
CN103080983A (zh) * 2010-09-06 2013-05-01 国立大学法人东京大学 车辆系统
CN206532530U (zh) * 2016-09-06 2017-09-29 邵亿昌 一种车窗虚拟现实显示系统
CN109658700A (zh) * 2019-03-05 2019-04-19 上汽大众汽车有限公司 交叉路口防撞预警装置及预警方法
CN111831371A (zh) * 2020-06-05 2020-10-27 北京百度网讯科技有限公司 车窗及其显示控制方法和系统、服务器、设备、存储介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0669574B2 (ja) * 1987-09-05 1994-09-07 日新製鋼株式会社 ステンレス鋼の圧延方法
US6266614B1 (en) * 1997-12-24 2001-07-24 Wendell Alumbaugh Travel guide
US20020019696A1 (en) * 2000-05-23 2002-02-14 Jonathan Kruse Vehicle commentary method and system
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
US20100198506A1 (en) * 2009-02-03 2010-08-05 Robert Steven Neilhouse Street and landmark name(s) and/or turning indicators superimposed on user's field of vision with dynamic moving capabilities
JP2011152865A (ja) * 2010-01-27 2011-08-11 Kyocera Corp 車載撮像装置
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US20110301813A1 (en) * 2010-06-07 2011-12-08 Denso International America, Inc. Customizable virtual lane mark display
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
JP5735658B2 (ja) * 2011-12-15 2015-06-17 パイオニア株式会社 表示装置及び表示方法
JP5955662B2 (ja) * 2012-06-25 2016-07-20 アルパイン株式会社 拡張現実システム
US9124795B2 (en) * 2012-10-26 2015-09-01 Nokia Technologies Oy Method and apparatus for obtaining an image associated with a location of a mobile terminal
US9317173B2 (en) * 2012-11-02 2016-04-19 Sony Corporation Method and system for providing content based on location data
US9918199B2 (en) * 2013-03-01 2018-03-13 Harley E. ROUDA, JR. Subject matter based tour guide
US9715764B2 (en) * 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9536353B2 (en) * 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
KR102063895B1 (ko) * 2015-04-20 2020-01-08 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법
KR20170015112A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 그의 동작 방법
US20190041231A1 (en) 2016-03-23 2019-02-07 Nec Corporation Eyeglasses-type wearable information terminal, control method thereof, and control program
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
US10451435B2 (en) * 2016-06-03 2019-10-22 Panasonic Automotive Systems Company of America, Division of Panasonic of North American Method of using GPS map information to highlight road markings on a head up display that otherwise may be non-visible due to inclement weather
DE102017200733A1 (de) * 2017-01-18 2018-07-19 Audi Ag Unterhaltungssystem für ein Kraftfahrzeug und Verfahren zum Betreiben eines Unterhaltungssystems
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
DE102017215163B4 (de) * 2017-08-30 2019-04-11 Volkswagen Aktiengesellschaft System aus einem Kraftfahrzeug und einer Augmented-Reality-Brille und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille im Innenraum eines Fahrzeugs
DE102017218214A1 (de) * 2017-10-12 2019-04-18 Audi Ag Verfahren und System zum Betreiben wenigstens einer Virtual-Reality-Brille in einem Kraftfahrzeug
JP2019139368A (ja) * 2018-02-07 2019-08-22 パイオニア株式会社 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
CN208537853U (zh) * 2018-04-04 2019-02-22 深圳市欣雅艺珠宝首饰有限公司 一种车用增强现实眼镜
US20190317328A1 (en) * 2018-04-17 2019-10-17 Faraday&Future Inc. System and method for providing augmented-reality assistance for vehicular navigation
JP6523522B2 (ja) 2018-04-25 2019-06-05 京セラ株式会社 電子機器、電子機器制御方法及び電子機器制御プログラム
DE102018211261A1 (de) * 2018-07-09 2020-01-09 Audi Ag Verfahren zum Betreiben einer von einem Fahrzeuginsassen eines Kraftfahrzeugs am Kopf getragenen Anzeigeeinrichtung und Anzeigesystem für ein Kraftfahrzeug
JP7082538B2 (ja) * 2018-07-10 2022-06-08 本田技研工業株式会社 画像処理装置及びプログラム
DE102018215265A1 (de) * 2018-09-07 2020-03-12 Audi Ag Verfahren und Steuereinrichtung zum Betreiben einer am Kopf tragbaren Anzeigeeinrichtung in einem Kraftfahrzeug
US10820141B2 (en) * 2018-11-16 2020-10-27 Here Global B.V. Method and apparatus for presenting privacy-respectful and personalized location-based comments based on passenger context and vehicle proximity to the location
KR20200063789A (ko) * 2018-11-28 2020-06-05 재단법인 구미전자정보기술원 Ar 글라스 및 이를 이용한 증강현실 서비스 제공 방법
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム
US11623653B2 (en) * 2020-01-23 2023-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented reality assisted traffic infrastructure visualization
DE102020203428A1 (de) * 2020-03-17 2021-09-23 Volkswagen Aktiengesellschaft Anzeigevorrichtung und Verfahren zum Betreiben einer Anzeigevorrichtung

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219664A (ja) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
CN101300459A (zh) * 2005-11-01 2008-11-05 松下电器产业株式会社 信息显示装置
JP2008157880A (ja) * 2006-12-26 2008-07-10 Victor Co Of Japan Ltd 車載カメラ装置を用いた運転支援装置
CN102103800A (zh) * 2009-12-17 2011-06-22 富士通天株式会社 导航装置、车载显示系统及地图显示方法
CN103080983A (zh) * 2010-09-06 2013-05-01 国立大学法人东京大学 车辆系统
CN206532530U (zh) * 2016-09-06 2017-09-29 邵亿昌 一种车窗虚拟现实显示系统
CN109658700A (zh) * 2019-03-05 2019-04-19 上汽大众汽车有限公司 交叉路口防撞预警装置及预警方法
CN111831371A (zh) * 2020-06-05 2020-10-27 北京百度网讯科技有限公司 车窗及其显示控制方法和系统、服务器、设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114931297A (zh) * 2022-05-25 2022-08-23 广西添亿友科技有限公司 一种新能源房车的颠簸约束方法及系统
CN114931297B (zh) * 2022-05-25 2023-12-29 广西添亿友科技有限公司 一种新能源房车的颠簸约束方法及系统

Also Published As

Publication number Publication date
JP2021092839A (ja) 2021-06-17
JP7384014B2 (ja) 2023-11-21
US20210170957A1 (en) 2021-06-10
US11590902B2 (en) 2023-02-28
DE102020128224A1 (de) 2021-06-10

Similar Documents

Publication Publication Date Title
CN109427199B (zh) 用于辅助驾驶的增强现实的方法及装置
EP3705846A1 (en) Object location indicator system and method
US6977630B1 (en) Mobility assist device
CN103028243B (zh) 用于乘客的娱乐和教育的前后座增强实境车辆游戏系统
CN111164967B (zh) 图像处理设备和图像处理方法
US9240029B2 (en) Street level video simulation display system and method
JPWO2019044536A1 (ja) 情報処理装置、情報処理方法、プログラム、および移動体
EP2167920A2 (en) Aircraft landing assistance
CN218198110U (zh) 移动装置
WO2020183893A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
CN107406072B (zh) 车辆辅助系统
CN112927538A (zh) 显示系统
JP7437630B2 (ja) 表示装置、表示方法、及び車両
US20230017486A1 (en) Display device, display method, and vehicle
EP1586861B1 (de) Verfahren und Vorrichtung zur Darstellung von Fahrerinformationen unter Berücksichtigung anderer beweglicher Objekte
CN101339038A (zh) 实景导航装置
US11390215B2 (en) Assistance system for a vehicle
CN114667474A (zh) 用于车辆的智能玻璃
Busch et al. Generation and communication of dynamic maps using light projection
JP2023025037A (ja) 困難な運転状態下でのランドマークによる強化されたナビゲーション指示
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
WO2023145852A1 (ja) 表示制御装置、表示システム、及び表示制御方法
WO2022085059A1 (ja) 報知装置、報知方法、報知プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210608

RJ01 Rejection of invention patent application after publication