CN113165510B - 显示控制装置、方法和计算机程序 - Google Patents

显示控制装置、方法和计算机程序 Download PDF

Info

Publication number
CN113165510B
CN113165510B CN201980076258.0A CN201980076258A CN113165510B CN 113165510 B CN113165510 B CN 113165510B CN 201980076258 A CN201980076258 A CN 201980076258A CN 113165510 B CN113165510 B CN 113165510B
Authority
CN
China
Prior art keywords
information
image
information image
driver
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980076258.0A
Other languages
English (en)
Other versions
CN113165510A (zh
Inventor
秦诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Publication of CN113165510A publication Critical patent/CN113165510A/zh
Application granted granted Critical
Publication of CN113165510B publication Critical patent/CN113165510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/23—
    • B60K35/28—
    • B60K35/29—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B60K2360/149—
    • B60K2360/177—
    • B60K2360/191—
    • B60K2360/21—
    • B60K2360/347—
    • B60K2360/48—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits

Abstract

提高观看驾驶员的视野前方的实际场景、以及与该实际场景重叠而显示的图像的容易性。一种显示控制装置，该显示控制装置控制图像显示部，在从车辆的驾驶员观看时与前景重叠的区域中，该图像显示部显示图像，显示控制装置显示第1信息图像(210)和第2信息图像(220)，在检测出本车辆的驾驶员的视线方向，判定为第1信息图像(210)已被辨认时，降低辨认性；判定为第2信息图像(220)已被辨认时，使其辨认性不低于第1信息图像(210)。

Description

显示控制装置、方法和计算机程序
技术领域
本公开涉及一种在车辆中使用且使图像重叠于车辆的前景上而辨认的显示控制装置、方法以及计算机程序。
背景技术
专利文献1公开了一种车辆用图像显示系统，其通过降低与车辆驾驶员的视线一致的图像的显眼程度，相对地提高驾驶者未察觉到的图像的可察觉性。
现有技术文献
专利文献
专利文献1：JP特开2017－39373号公报
发明内容
发明要解决的课题
然而，在专利文献1的车辆用图像显示系统中，虽然通过使感知到的图像的显眼程度降低，能够对其它不降低显眼程度的图像，使视觉上的注意力相对更容易地进行关注，但是还设想到应该对被感知到的图像也进行注意的情形、驾驶员希望注意的潜在的愿望，期望进一步提高便利性的显示控制装置。
用于解决课题的技术方案
以下提供在本说明书中公开的指定的实施方式的概述。应当理解，这些方面仅是为了向读者提供这些指定的实施方式的概述而提出，而不是限制本公开的范围。实际上，本公开可包括在下面没有记载的各种方面。
本公开的概要涉及改善驾驶员的视野前方的实际场景和与该实际场景重叠而显示的图像的可视性的技术。更具体地说，本发明还涉及一种在抑制对与实际场景重叠而显示的图像的视觉刺激的同时，使信息易于传递给驾驶员的技术。
因此，在本说明书中记载的显示控制装置显示第1信息图像和第2信息图像，对于第1信息图像，在视线朝向时，降低辨认性，对于第2信息图像，在视线朝向时，第2信息图像的辨认性与第1信息图像的辨认性降低的程度相比并不降低。在一些实施方式中，也可以对应于信息图像所表示的信息的潜在风险的大小，确定视线朝向时的信息图像的辨认性的变化程度。
附图说明
图1为表示一些实施方式的车辆显示系统的适用例子的图；
图2为一些实施方式的车辆显示系统的方框图；
图3为一些实施方式的降低图像的辨认性的处理的流程图；
图4为一些实施方式的提高图像的辨认性的处理的流程图；
图5A为表示一些实施方式的车辆显示系统所显示的图像的例子的图；
图5B为表示一些实施方式的车辆显示系统所显示的图像的例子的图；
图6为表示一些实施方式的降低图像的辨认性的处理的流程图；
图7A为表示一些实施方式的车辆显示系统所显示的图像的例子的图；
图7B为表示一些实施方式的车辆显示系统所显示的图像的例子的图。
具体实施方式
在下面，通过图1和图2，提供例举性平视显示装置的构造的描述。通过图3、图4、图6，说明列举性的显示控制的处理流程。通过图5A、图5B、图7A和图7B，提供显示例子。另外，本发明不受以下的实施方式(也包含附图的内容)的限定。当然，可以对下述实施方式进行变更(也包括构成要素的删除)。另外，在以下的说明中，为了容易理解本发明，适当省略公知技术事项的说明。
参照图1。车辆显示系统10中的图像显示部11是设置在本车辆1的仪表板5中的平视显示装置(HUD装置：Head-Up Display)。HUD装置朝向挡风玻璃2(是被投影部件的一个例子)射出显示光11a，在假想的显示区域100内显示图像200，从而与经由挡风玻2而辨认的现实空间即前景300重叠地辨认图像200。
另外，图像显示部11也可以是头戴式显示器(以下，称为“HMD”)装置。驾驶员4通过将HMD装置安装于头部上，就座于本车辆1的座位，从而将所显示的图像200重叠于经由本车辆1的挡风玻2的前景300而辨认。车辆用显示系统10显示规定的图像200的显示区域100固定在以本车辆1的坐标系为基准的指定位置，当驾驶员4朝向该方向时，能够辨认在固定于该指定位置的显示区域100内显示的图像200。
图像显示部11基于显示控制装置13的控制，在作为经由本车辆1的挡风玻璃2而辨认的现实空间(实际场景)的前景300中存在的障碍物(行人、自行车、摩托车、其它车辆等)、路面、道路标识、以及地上物(建筑物、桥等)等的实际对象310的附近(图像和实际对象的位置关系的一个例子)、与实际对象310重叠的位置(图像和实际对象的位置关系的一个例子)、或者在以实际对象310为基准而设置的位置(图像和实际对象之间的位置关系的一个例子)处显示图像200，由此，也能够形成视觉上的增强现实(AR：Augmented Reality)。图像显示部11显示对应于要提供的信息的类型而不同的第1信息图像210(AR图像)和第2信息图像220(AR图像)(稍后将详细描述)。
图2为一些实施方式的车辆显示系统10的方框图。车辆显示系统10由图像显示部11和控制图像显示部11的显示控制装置13构成。显示控制器13包括一个或多个I/O接口14、一个或多个处理器16、一个或多个存储器18和一个或多个图像处理电路20。图2中描述的各种功能块也可以通过硬件、软件或两者的组合而构成。图2仅是实施方式的一个实施方式，并且所示出的组成元件可以组合成较少的组件，或者可以存在附加的组成元件。例如，图像处理电路20(例如，图形处理单元)可以包括在一个或多个处理器16中。
如图所示的那样，处理器16和图像处理电路20可动作地耦合到存储部18中。更具体地，处理器16和图像处理电路20可以通过执行存储在存储部18中的程序，执行车辆显示系统10的操作，例如，形成和/或发送图像数据等。处理器16和/或图像处理电路20可以包括至少一个通用微处理器(例如，中央处理单元(CPU))、至少一个专用集成电路(ASIC)、至少一个现场可编程门阵列(FPGA)或其任何组合。存储部18包括硬盘这样的任何类型的磁介质、CD和DVD这样的任何类型的光学介质、易失性存储器这样的任何类型的半导体存储器和非易失性存储器。易失性存储器包括DRAM和SRAM，非易失性存储器也可以包括ROM和NVROM。
如图所示的那样，处理器16与I/O接口14可动作地连接。例如，I/O接口14可包括无线通信接口，该无线通信接口将车辆显示系统10连接到蓝牙(注册商标)网络等的个人区域网络(PAN)、802.11x Wi-Fi(注册商标)网络等的局域网(LAN)、4G或LTE(注册商标)蜂窝网络等的广域网(WAN)。另外，I/O接口14还可以包括有线通信接口，诸如例如USB端口、串行端口、并行端口、OBDII和/或任何其它合适的有线通信端口等。
如图所示的那样，处理器16与I/O接口14可相互动作地连结，从而能够与连接于车辆用显示系统10(I/O接口14)的各种其它电子设备等进行信息的收发。I/O接口14上例如可动作地连结有设于本车辆1上的车辆ECU 401、道路信息数据库403、本车位置检测部405、车外传感器407、视线方向检测部409、眼睛位置检测部411、便携信息终端413、及车外通信连接设备420等。图像显示部11可动作地连接到处理器16和图像处理电路20。因此，由图像显示单元11所显示的图像可以基于从处理器16或/和图像处理电路20而接收的图像数据。处理器16和图像处理电路20基于从I/O接口14而获得的信息，控制图像显示部11所显示的图像。I/O接口14可以包括处理(转换、计算和分析)从连接到车辆显示系统10的其它电子设备等而接收的信息的功能。
本车辆1包括检测本车辆1的状态(例如，行驶距离、车速、油门踏板开度、发动机节气门开度、喷射燃料喷射量、发动机转速、马达转速、转向操纵角、档位、驾驶模式、各种警告状态)等的车辆ECU 401。车辆ECU 401控制本车辆1的各部分，例如，能够将表示本车辆1的当前车速的车速信息向处理器16发送。此外，车辆ECU 401除了向处理器16发送由传感器而检测出的数据之外，或者代替之而向处理器16发送由传感器而检测出的数据的判定结果、或者/以及解析结果。例如，也可以将表示本车辆1是低速行驶还是停止的信息发送给处理器16。此外，车辆ECU 401也可将指示由车辆显示系统10所显示的图像200的指示信号发送到I/O接口14，在该场合，还可将判定图像200的坐标、图像200的通报必要性和/或通报必要性的必要性相关信息添加到指示信号，并且可将其发送。
本车辆1也可以包括由导航系统等构成的道路信息数据库403。道路信息数据库403可以基于从后述的自身车辆位置检测部405而获得的本车辆1的位置，读出作为实际对象相关信息的一个例子的本车辆1行驶的道路信息(车道、白线、停车线、人行横道、道路的宽度、车道数、交叉路口、弯道、分岔路、交通规则等)、地物信息(建筑物、桥梁、河川等)的有无、位置(包括距本车辆1的距离)、方向、形状、类型、详细信息等，并发送给处理器16。此外，道路信息数据库403可以计算从出发地，到目的地的适当路线，并且可以将计算出的路线作为导航信息而发送到处理器16。
本车辆1也可以包括由GNSS(全球导航卫星系统)等构成的本车位置检测部405。道路信息数据库403、后述的便携信息终端413、或/和车外通信连接设备420能够通过从本车位置检测部405连续地、断续地、或按每个规定的事件而获取本车辆1的位置信息，选择/生成本车辆1的周边的信息，并发送至处理器16。
本车辆1也可以包括一个或更多个车外传感器407，该车外传感器407用于检测存在于本车辆1的周边(在本实施方式中，特别是前景300)的实际对象。车外传感器407所检测的实际对象例如，可以包括行人、自行车、摩托车、其它车辆(先行车辆等)、路面、车道线、路侧物品、和/或地上物(建筑物等)等。作为车外传感器，例如有毫米波雷达、超声波雷达、激光雷达等的雷达传感器、由照相机和图像处理装置构成的照相机传感器，也可以由雷达传感器、照相机传感器两者的组合构成，还可以仅由其中任一方构成。对于这些雷达传感器和摄像机传感器的物体检测，适用以往周知的方法。也可通过这些传感器的物体检测，检测三维空间内有无实际对象、在存在实际对象的情况下检测该实际对象的位置(距本车辆1的相对距离、将本车辆1的行进方向作为前后方向时的左右方向的位置、上下方向的位置等)、大小(横向(左右方向)、高度方向(上下方向)等大小)、移动方向(横向(左右方向)、进深方向(前后方向))、移动速度(横向(左右方向)、进深方向(前后方向))或/和类型等。一个或更多个车外传感器407可以在每个传感器的每个检测周期，检测本车辆1的前方的实际对象，并且可以将作为实际对象相关信息的一个例子的实际对象相关信息(实际对象的存在或不存在、以及在存在实际对象的情况下每个实际对象的位置、尺寸和/或类型等的信息)发送到处理器16。另外，这些实际对象相关信息可经由其它装置(例如，车辆ECU 401)发送到处理器16。此外，为了即使在夜间等的周边较暗时也能够检测实际对象，在使用照相机作为传感器的情况下，优选红外线照相机或近红外线照相机。另外，在使用照相机作为传感器的情况下，优选能够通过视差而获得距离等的立体照相机。
本车辆1也可以包括检测驾驶员4的注视方向(以下，也称为“视线方向”)的由拍摄驾驶员4的面部的红外线照相机等构成的视线方向检测部409。处理器16获得红外线照相机拍摄到的图像(能够推定视线方向的信息的一个例子)，通过解析该拍摄图像，能够指定驾驶员4的视线方向。处理器16可以从I/O接口14而获取由视线方向检测部409(或其它分析部)从红外照相机而拍摄的图像中识别的驾驶员4的视线方向。另外，获得能够推测本车辆1的驾驶员4的视线方向或驾驶员4的视线方向的信息的方法并不限定于此，也可以使用EOG(Electro-oculogram，电-焦点光度)法、角膜反射法、巩膜反射法、普尔金耶像检测法、搜索线圈法、红外线眼底相机法等的其它已知的视线方向检测(推测)技术而获得。
本车辆1也可以包括由检测驾驶员4的眼睛位置的红外线照相机等构成的眼睛位置检测部411。处理器16获取红外照相机所拍摄的图像(能够推算眼睛位置的信息的例子)，并且分析拍摄的图像而以指定驾驶员4的眼睛位置。另外，处理器16也可以从I/O接口14而获得根据红外线照相机的拍摄图像而指定定的驾驶员4的眼睛的位置的信息。另外，获得能够推定本车辆1的驾驶员4的眼睛位置或驾驶员4的眼睛位置的信息的方法不限于此，也可以使用已知的眼睛位置检测(推定)技术来获得。处理器16可以基于驾驶员4的眼睛的位置而至少调节图像200的位置，由此，使得检测到眼睛位置的观看者(驾驶员4)观看叠加在前景300的期望位置上的图像200。
便携信息终端413是智能手机、笔记本电脑、智能手表、或者驾驶员4(或者本车辆1的其它乘员)能够携带的其它信息设备。I/O接口14通过与便携信息终端413配对，能够与便携信息终端413进行通信，获得记录于便携信息终端413(或者通过便携信息终端的服务器)的数据。便携信息终端413也可例如，具有与上述的道路信息数据库403以及本车位置检测部405同样的功能，获得上述道路信息(实际对象相关信息的一个例子)，并发送到处理器16。另外，便携信息终端413也可以获得与本车辆1附近的商业设施相关的商业信息(实际对象相关信息的一个例子)，并发送到处理器16。另外，便携信息终端413也可以将便携信息终端413的持有者(例如，驾驶者4)的日程信息、便携信息终端413中的来电信息、邮件的接收信息等发送至处理器16，处理器16以及图像处理电路20也可以生成或者/以及发送与它们相关的图像数据。
车外通信连接设备420为与本车辆1进行信息交换的通信设备，例如，是通过车车间通信(V2V：Vehicle To Vehicle)与本车辆1连接的其它车辆、通过行人车间通信(V2P：Vehicle To Pedestrian)连接的行人(行人携带的便携信息终端)、通过路车间通信(V2I：Vehicle To roadside Infrastructure)连接的网络通信设备，广义上包括通过与本车辆1的通信(V2X：Vehicle To Everything)而连接的所有方式。车外通信连接设备420例如，也可以获取行人、自行车、摩托车、其它车辆(先行车辆等)、路面、车道线、路侧物、和/或地上物(建筑物等)的位置，并发送至处理器16。另外，车外通信连接设备420可以具有与上述的本车位置检测部405同样的功能，获得本车辆1的位置信息，并发送到处理器16，也可以还具有上述的道路信息数据库403的功能，获得上述道路信息(实际对象相关信息的一个例子)，并发送到处理器16。从外部通信连接装置420而获取的信息不限于上述信息。
存储在存储部18中的软件组件包括实际对象相关信息检测模块502、通报必要度检测模块504、图像类型确定模块506、图像位置确定模块508、图像大小确定模块510、眼睛位置检测模块512、辨认检测模块514、行动判断模块516和图形模块518。
实际对象相关信息检测模块502检测存在于本车辆1的前景300中的实际对象的位置和尺寸，该实际对象是用于确定图像200的坐标和尺寸的基础，这将在下面描述。实际对象相关信息检测模块502也可例如，从道路信息数据库403、车外传感器407、或者车外通信连接设备420获取存在于本车辆1的前景300中的实际对象310(例如，图5A所示的路面311、先行车辆312、行人313、以及建筑物314等)的位置(是本车辆1的驾驶员4从驾驶席而辨认本车辆1的行进方向(前方)时的高度方向(上下方向)、横向(左右方向)的位置，也可以对它们追加进深方向(前方)的位置)、以及实际对象310的尺寸(高度方向、横向的尺寸)。
此外，当由外部传感器407而检测实际对象的位置或尺寸时，实际对象相关信息检测模块502也可以判定环境是否是检测精度降低的环境(诸如下雨、雾或雪的坏天气)。例如，可以计算实际对象的位置检测精度，并且可以将是否是检测精度的劣化程度、检测精度劣化的位置或者检测精度劣化的环境(坏天气)的判断结果发送到处理器16。另外，也可以通过从便携信息终端413、车外通信连接设备420等而获得本车辆1行驶的位置的天气信息而判定恶劣天气。
还有，实际对象相关信息检测模块502可以检测与存在于本车辆1的前景300中的实际对象有关的信息(实际对象相关信息)，该信息是用于确定图像200的内容(在下面，也适当地称为“图像的类型”)的基础，这将在下面描述。实际对象相关信息可以是(但不限于)表示实际对象的类型信息(诸如，实际对象是行人或其它车辆)、表示实际对象的移动方向信息、表示到实际对象的距离和到达时间的距离时间信息、或指示实际对象的具体细节信息(诸如，停车场(实际对象)的费用)。例如，实际对象相关信息检测模块502可从道路信息数据库403或移动信息终端413而获取类型信息、距离时间信息和/或各自细节信息，从外部传感器407而获取类型信息、移动方向信息和/或距离时间信息，并且从外部通信连接装置420而检测类型信息、移动方向信息、距离时间信息和/或各自细节信息。
通报必要度求度检测模块504检测将由实际对象相关信息检测模块502检测到的实际对象的位置信息与由实际对象相关信息检测模块502检测到的实际对象相关信息一起通报给驾驶员4的必要度(通报必要度)。通报必要度检测模块504也可以从与I/O接口14连接的各种其它电子设备而检测通报必要度。另外，在图2中与I/O接口14连接的电子设备也可以向车辆ECU 401发送信息，通报需要度检测模块504检测(获得)车辆ECU 401基于接收到的信息而确定的通报必要度。“通报必要度”可以由例如，从可能的自身严重程度而导出的危险度、从到发生反应行动为止所需要的反应时间的长短导出的紧急度、从本车辆1(或驾驶者4或本车辆1的其它乘客)的状况而导出的有效度、或它们的组合等来决定“通报必要度的指标不限于此”。
通报必要度检测模块504还可以检测作为推算图像200的通报必要度的基础的必要性相关信息，并且根据该信息而推算通报必要度。作为用于推算图像200的通报必要度基础的必要度相关信息可以基于例如，实际对象或交通规则(道路信息的一个例子)的位置或类型来推算，或者可以基于从连接到I/O接口14的各种其它电子装置输入的其它信息来推算，或者可以考虑其它信息来推算。另外，车辆用显示系统10也可以不具有推定上述通报必要度的功能，推定上述通报必要度的功能的一部分或者全部也可以与车辆用显示系统10的显示控制装置13分开设置。
图像类型确定模块506可以基于例如，由实际对象相关信息检测模块502而检测到的实际对象的类型和位置、由实际对象相关信息检测模块502而检测到的实际对象相关信息的类型和数量、和/或由通报必要性检测模块504而检测到(已推算)的通报必要度的程度，来确定要显示在实际对象上的图像200的类型。图像类型确定模块506可以基于由后述的辨认检测模块514而获得的确定结果，增加或减少要显示的图像200的类型。具体来说，在实际对象310处于驾驶员4难以辨认的状态的情况下，可以增加驾驶员4在实际对象附近辨认的图像200的类型的数量。
图像位置确定模块508基于由实际对象相关信息检测模块502而检测到的实际对象的位置来确定图像200的坐标(至少包括当驾驶员4从本车辆1的驾驶员座位而观看显示区域100的方向时的左右方向(X轴方向)和上下方向(Y轴方向))。当显示与指定的实际对象相相关的图像200时，图像位置确定模块508确定图像200的坐标，以与指定的实际对象具有预定的位置关系。例如，确定图像200在左右方向和上下方向上的位置，以将图像200的中心辨认为与实际对象的中心重叠。此外，图像位置确定模块508以图像200所没有直接关联的实际对象为基准，以具有预定的位置关系的方式，决定图像200的坐标。例如，如图5A所示的那样，也可以以本车辆1行驶的车道(路面310)的左侧的车道线311Aa(实际对象的一个例子)或右侧的车道线311b(实际对象的一个例子)为基准，确定(或校正)与不直接相关于车道线的前车312(指定的实际对象的一个例子)相相关的后述的第一FCW图像221的坐标。又，“规定位置关系”可根据实际对象或本车辆1的状况、实际对象的类型、显示图像的类型等进行调整。
图像尺寸确定模块510可基于与由实际对象相关信息检测模块502而检测到的图像200相关地显示的实际对象的类型和位置、由实际对象相关信息检测模块502而检测到的实际对象相关信息的类型和数量、和/或由通报必要度检测模块504而检测到的(已推算的)通报必要度的大小，来确定图像200的尺寸。此外，图像大小确定模块510可以根据图像200的类型的数量来改变图像大小。例如，如果图像200的类型多，则也可以减小图像尺寸。
眼睛位置检测模块512检测本车辆1的驾驶员4的眼睛的位置。眼睛位置检测模块512包括用于执行与确定驾驶员4的眼睛的高度在以多个阶段提供的高度区域中的何处、检测驾驶员4的眼睛的高度(在Y轴方向上的位置)和进深方向位置(在Z轴方向上的位置)、和/或检测驾驶员4的眼睛的位置(在X、Y、Z轴方向上的位置)相关的各种操作的各种软件的组成元件。眼睛位置检测模块512可从眼睛位置检测部411而获得驾驶员4的眼睛的位置，或从眼睛位置检测部411而接收可推算包括驾驶员4的眼睛的高度的眼睛的位置的信息，并推算包括驾驶员4的眼睛的高度的眼睛的位置。能够推定眼睛位置的信息例如，可以是本车辆1的驾驶席的位置、驾驶员4的面部的位置、座高的高度、驾驶员4在未图示的操作部的输入值等。
辨认检测模块514检测本车辆1的驾驶员4是否辨认到了规定图像200。辨认检测模块514含有各种软件的组成要素，以实行驾驶员4是否辨认到了规定图像200的判断、驾驶员4是否辨认到了规定图像200的周围(附近)的判断所相关的各种操作。辨认检测模块514也可以将从视线方向检测部409而获得的驾驶员4的后述的注视位置GZ与从图形模块518而获得的图像200的位置进行比较，判定驾驶员4是否辨认到了图像200，将是否辨认的判定结果和指定辨认的图像200的信息发送给处理器16。
此外，为了判定驾驶员4是否视觉识别到规定的图像200的周边(附近)，视觉识别检测模块514也可以将从图像200的外缘向外侧预先设定的规定宽度的区域设定为图像200的周边，当后述的注视位置GZ进入该图像200的周边时，判定本车辆1的驾驶员4辨认到规定的图像200。另外，辨认判定不限定于这些手段。
还有，辨认检测模块514也可以检测驾驶员4正在辨认图像200以外的什么。例如，辨认检测模块514可以通过将由实际对象相关信息检测模块502而检测到的存在于本车辆1的前景300中的实际对象310的位置与从视线方向检测单元409获取的驾驶员4的后述的注视位置GZ进行比较，指定正注视的实际对象310，并且将用于指定已辨认的实际对象310的信息发送到处理器16。
行动判断模块516检测不适合后述的第1信息图像210所表示的信息的驾驶员4的行动。在存储部18中，将一些第1信息图像210分别与不适当的驾驶员4的行动相相关地存储。行动判断模块516尤其判断是否检测到与辨认性降低的第1信息图像210相相关的不合适的驾驶员4的行动。例如，在第1信息图像210包含路线引导信息的情况下，也可以在驾驶员4注视与路线引导所示的方向不同的分岔路时，判定检测出了不适当的驾驶员4的行动。此外，也可在第1信息图像210包含交通规则信息的场合，在进行了想违反该交通规则的行动的情况下，可以判定检测出了不适当的驾驶员4的行动。行动判定模块516为了判定行动而收集的信息是从车辆ECU 401而输入的本车辆1的状态(例如，行驶距离、车速、油门踏板开度、发动机节气门开度、燃料喷射量、发动机转速、电动机转速、转向操纵角、档位、驾驶模式、各种警告状态)、从视线方向检测部409输入的视线方向等，但不限于此。
图形模块518包括各种已知软件的组成元件，其用于改变所显示的图像200的视觉效果(例如，亮度、透明度、色度、对比度或其它视觉特性)、大小、显示位置、显示距离(从驾驶员4到图像200的距离)。图形模块518以下述的方式显示图像200，该方式为：通过图像200以图像类型确定模块506所设置的类型、图像位置确定模块508所设置的坐标(至少包括当驾驶员4从本车辆1的驾驶员座位而观看显示区域100的方向时的左右方向(X轴方向)和上下方向(Y轴方向))、以及图像尺寸确定模块510所设置的图像尺寸，由驾驶员4而辨认。
图形模块518至少显示第1信息图像210和第2信息图像220，第1信息图像210和第2信息图像220是以与本车辆1的前景300的实际对象310具有预定位置关系的方式设置的增强现实图像(AR图像)。当通过辨认检测模块514而判定辨认了第1信息图像210时，使辨认性降低(也包括非显示)。另一方面，当通过辨认检测模块514而判定辨认了第2信息图像220时，使第2信息图像220的辨认性不比第1信息图像210的辨认性降低(还包括比第1信息图像210的辨认性降低的程度小(少)地降低辨认性，或者不改变辨认性，或者提高辨认性)。
“降低辨认性”可以包括降低亮度、增加透明度、降低色度、降低对比度、减小尺寸、减少图像类型、其组合、或其与其它要素的组合。相反，“提高辨认性”可以包括增加亮度、降低透明度、增加色度、增加对比度、增加尺寸、增加图像类型、其组合、或其与其它要素的组合。
第1信息图像210是从可能发生的自身严重程度导出的危险度比较低的信息，例如，可以将表示路线的箭头图像(导航信息的一个例子)、目的地的文本图像(导航信息的一个例子)、表示到下一个转弯地点的距离的图像(导航信息的一个例子)、是与指示存在于前景300的店铺、设施等的POI(Point of Interest，兴趣点)图像(地上物信息的一个例子)、道路标志(引导标志、警戒标志、限制标志、指示标志、辅助标志)相关的图像、将跟随先行车辆行驶时设定的车间距离重叠于路面上而显示的ACC(Adaptive Cruise Control，自适应巡航控制)图像等。
第2信息图像220是根据可能发生的自身的严重程度而导出的危险度比较高的信息，例如，是在存在于本车辆1的前景300的障碍物的附近而辨认的前方碰撞预测警报(FCW：Forward Collision Warning)的图像。
图3为一些实施方式的降低图像的辨认性的过程的流程图。首先，获得本车辆1的驾驶员4的视线方向(后述的注视位置GZ)(步骤S11)，获得所显示的图像200的位置(步骤S12)。
接下来，处理器16将在步骤S11中获取的视线方向与在步骤S12中获取的图像200的位置进行比较，指定驾驶员4辨认的对象(步骤S13)。具体来说，处理器16判定是否辨认第1信息图像210，是否辨认第2信息图像220，或者是否没有辨认第1信息图像210或第2信息图像220。如果辨认第1信息图像210，则指定辨认第1信息图像210的哪个图像。
当在步骤S13中判定驾驶员4已经辨认第1信息图像210时，处理器16降低已辨认的第1信息图像210的辨认性。此时，处理器16也可以使第1信息图像210为非显示。此外，当在步骤S13中判定驾驶员4已辨认第2信息图像220时，处理器16不降低第2信息图像220的辨认性，或者将第2信息图像220的辨认性降低到比第1信息图像210的辨认性降低的程度更小的程度。
图4为一些实施方式的提高第2信息图像的辨认性的处理的流程图。在通过步骤S14的处理，至少一个第1信息图像210的辨认性降低的场合，开始处理。
首先，处理器16获得驾驶员员4的行动(步骤S21)，判定是否检测到相对通过步骤S14的处理而辨认性降低的第1信息图像210所表示的信息而不当的驾驶员4的行动(步骤S22)，在判定进行了不适合的驾驶员4的行动的情况下，使辨认性降低的第2信息图像220的辨认性上升(步骤S23)。
可以通过实施通用处理器或专用芯片等的一个或多个功能模块，信息处理装置实施而上述处理过程的动作。这些模块、这些模块的组合、或/和与可以替代它们的功能的1般硬件的组合全部包含在本发明的保护范围内。
车辆显示系统10的功能块可任意选择地由硬件、软件或硬件和软件的组合以实现所描述的各种实施方式的原理。本领域技术人员将理解，图2中描述的功能块可以可任意选择地组合、或者将一个功能块分离为两个以上的副功能块也可，以实现所描述的实施方式的原理。因此，本说明书中的描述可任意选择地支持本文中所描述的功能块的可能的组合或分割。
图5A、图5B为表示判定辨认第1信息图像210的场合的车辆用显示系统10所显示的图像200的变化的图。在图5A中，第1信息图像210包括：与路面311重叠地辨认，并表示引导线路的导航图像211；POI图像212，该POI图像212包括表示指示建筑物314(实际对象310)的停车场的“P”标记的插图。第2信息图像220包括：第一FCW图像221，其在本车辆1的前方行驶的先行车辆312的后方的路面311上辨认为线状(线状)；第二FCW图像222，其在本车辆1的行驶车线的对面行车线侧的人行道上步行的行人313的周围的路面311上辨认为圆弧状。此外，作为不是以与本车辆1的前景300的实际对象310成为预定的位置关系的方式设置的增强现实图像(AR图像)的第3信息图像，显示道路信息图像231和速度图像232，该道路信息图像231是包含表示限制速度的“80”的标记的插图，在该速度图像232中，将该速度图像232标记为表示本车辆1的速度的“35km/h”。显示区域100包含第1显示区域110和第2显示区域120，该第2显示区域120在从本车辆1的驾驶席观察前方时配置在第1显示区域110的上下方向下侧(Y轴负方向)，作为AR图像的第1信息图像210和第2信息图像220显示在第1显示区域110中，第3信息图像231、232显示在第2显示区域120中。
如图5A所示的那样，在注视位置GZ位于作为第1信息图像210的导航图像211的情况下，处理器16执行图3的步骤S14的命令，如图5B所示的那样，将已辨认的导航图像211(第1信息图像210)设为非显示(辨认性降低的一个例子)。在该场合，代替导航图像211(其是具有与实际对象310的位置相关的显示位置的增强现实图像(AR图像))，在第2显示区域120中显示第1导航图像213(相关图像的例子)和第2导航图像214(相关图像的例子)，第1导航图像213和第2导航图像214是具有与实际对象310的位置无关的显示位置的非AR图像。第1导航图像213是表示下一个分支路的大致方向的简化图像。此外，第2导航图像214是表示到下一个分支路的距离的标记为“200m前方”的文本。
另外，在图5B所示的作为第1信息图像210的导航图像211的辨认性降低的状况下，当注视位置GZ位于最近的交叉路口的分岔路时，能够推测驾驶员4要在最近的交叉路口转弯。若设导航图像211提示的分支路不是最近的交叉路口的分岔路，则能够推测为在最近的交叉路口转弯的驾驶员4的行动(注视最近的交叉路口的分岔路的行动)是不当的行动。因此，当检测到不当的行动时，处理器16增加导航图像211的辨认性，该导航图像211是辨认性降低的第1信息图像210。即，从图5B所示的状态变化为图5A所示的状态。由此，能够使驾驶者4认识到不应该在最近的交叉路口转弯。
图6为一些实施方式的降低图像的辨认性的处理的流程图。图6的流程图与图3的流程图相对应，图6的步骤S31、32、33分别与图3的步骤S11、S12、S13相对应。在这里，对与图3的变化点即步骤S34进行说明。
当在步骤S13中确定驾驶员4已辨认第1信息图像210时，处理器16降低已辨认的第1信息图像210的辨认性。此外，当在步骤S33中判定驾驶员4已经辨认到第2信息图像220时，处理器16可将已辨认的第2信息图像220从静止图像改变为视频，或者可将已辨认的第2信息图像220和另一附近的第2信息图像220从静止图像改变为视频。
在一些实施方式中，处理器16可以连续地改变已辨认的第2信息图像220的数量和附近的其它第2信息图像220的数量。具体来说，当注视位置GZ位于作为第2信息图像220的第一FCW图像221的附近时，处理器16可以在图7A所示的图像数量少的状态和图7B所示的图像数量多的状态下，连续地/或断续地改变已辨认的第一FCW图像221和附近的其它第二FCW图像222。对于动画，没有特别定义，但也可以包括连续的/或断续的、图像的形状反复变化、图像的数量反复变化、图像的位置反复变化、反复闪烁、反复尺寸变化等。
如以上说明的那样，本实施方式的显示控制装置是控制图像显示部11(12)的显示控制装置13，该图像显示部11(12)在从本车辆1的驾驶员4来看与前景300重叠的区域显示图像200，该显示控制装置13具有一个或多个I/O接口14；一个或多个处理器16；存储器18；一个或多个计算机程序，其存储在存储器18中并且以由一个或多个处理器16执行的方式设置，其中，一个或多个处理器16执行下述的命令，即，从一个或多个I/O接口14而获得驾驶员4的视线方向，根据视线方向，显示第1信息图像210和第2信息图像220，对于第1信息图像210，当判定已被辨认时，降低辨认性，对于第2信息图像220，当判定已被辨认时，第2信息图像220的辨认性不低于第1信息图像210的辨认性。由此，根据图像的类型，辨认后的辨认性的变化不同，如果是第1信息图像，则由于辨认性降低，从而能够容易看到驾驶者4的视野前方的实际场景，如果是第2信息图像，则由于视觉识别性不太降低，因此即使在辨认后，也能够容易看到图像。
还有，在一些实施方式中，也可以对应于第2信息图像220所表示的信息的潜在风险的大小，确定视线朝向时的第2信息图像220的辨认性的变化程度。第2信息图像220表示的信息的潜在风险越高，处理器16可以越减小视线朝向时的辨认性的降低程度。即，如果潜在风险低，则使视线朝向时的第2信息图像220的辨认性大大降低(增大降低程度)。此外，处理器16可以对应于通过第2信息图像220的类型而预先确定的潜在风险，改变辨认性的降低程度，也可以对应于根据显示第2信息图像220的状况(从I/O接口14而得到的信息)而算出的潜在风险改变。
此外，在一些实施方式中，在视线朝向第2信息图像220后，或视线朝向第2信息图像220而降低了辨认性后，第2信息图像220所表示的信息的潜在风险不高的情况下，也可以降低第2信息图像220的辨认性。处理器16在视线朝向第2信息图像220后，或视线朝向第2信息图像220而降低了辨认性后，在规定期间监视第2信息图像220所表示的信息的潜在风险，在潜在风险不高于确定的阈值、相对确定的阈值而不大幅上升或降低的情况下，判断原样地维持辨认性的必要度低，可以降低第2信息图像220的辨认性。
此外，在一些实施方式中，还可在视线指向第2信息图像220时，第2信息图像220可以是进行动画显示。处理器16通常以静止图像而显示第2信息图像220，在视线朝向时，将一部分或全部的第2信息图像220变为动画。对于第1信息图像210，如果被辨认，则辨认性降低，但对于第2信息图像220，如果被辨认，则成为动画，因此能够识别是与第1信息图像210所表示的信息不同的信息，关注第2信息图像220。另外，第2信息图像220在一定期间进行动画显示后，也可以再次变化为静止图像。此外，处理器16可以降低在与第2信息图像220的动画显示相同的时刻辨认的第2信息图像220的辨认性，或者可以在第2信息图像220的动画显示之后降低辨认性。
再有，在一些实施方式中，当显示多个第2信息图像220时，如果视线朝向规定的第2信息图像220，则对规定的第2信息图像220和其它第2信息图像220可以进行动画显示。例如，在图5A中，在驾驶员4辨认与行人313相对应地显示的第二FCW图像222的场合，也可以将第二FCW图像222和与其它的先行车辆312相对应地显示的第一FCW图像221作为动画。像这样，通过使其它信息图像也同样进行动画显示，不仅是已辨认的图像，同样的图像也能够引起视觉上的注意。
另外，在一些实施方式中，还可在显示多个第2信息图像220时，如果视线指向预定的第2信息图像220，则规定的第2信息图像220和在规定的第2信息图像220附近的另一第2信息图像220可进行动画显示。
还有，在一些实施方式中，当显示多个第2信息图像220时，如果视线指向预定的第2信息图像220，则也可对规定的第2信息图像220和其它第2信息图像220可以以相同的周期进行动画显示。由此，能够容易地辨认与朝向视野的图像同样的图像在哪个附近而显示。
此外，在一些实施方式中，获得关于相对第1信息图像210所示的信息而不当的行动的信息，在降低第1信息图像210的辨认性之后，能够判定驾驶员4有不适合第1信息图像210所表示的信息的行动的情况下，可以提高第1信息图像210的辨认性。
此外，在一些实施方式中，在降低第1信息图像210的辨认性之后，与第1信息图像210相关的相关图像213、214可以显示在第2显示区域102中，第2显示区域102不同于显示第1信息图像210或第2信息图像220的第1显示区域101。即，可以容易地看到与第1信息图像210重叠的前景300的区域，并且可以在其它第2显示区域102中确认由第1信息图像210所指示的信息。此外，处理器16也可以使一个第1信息图像210的辨认性降低，重新显示两个或两个以上的相关图像。因此，可以通过相关图像而辨认更多的信息，并且可以抑制由于作为AR图像的第1信息图像210的辨认性的降低而导致的信息的辨认性的降低。
标号的说明：
标号1表示本车辆；
标号2表示挡风玻璃；
标号4表示驾驶员；
标号5表示仪表板；
标号10表示车辆用显示系统；
标号11表示图像显示部；
标号11a表示显示光；
标号13表示显示控制装置；
标号14表示I/O接口；
标号16表示处理器；
标号18表示存储部；
标号20表示图像处理电路；
标号22表示存储器；
标号100表示显示区域；
标号110表示第1显示区域；
标号120表示第2显示区域；
标号200表示图像；
标号210表示第1信息图像；
标号211表示导航图像；
标号212表示POI图像；
标号213表示第1导航图像；
标号214表示第2导航图像；
标号220表示第2信息图像；
标号221表示第一FCW图像；
标号222表示第二FCW图像；
标号231表示道路信息图像(第3信息图像)；
标号232表示速度图像(第3信息图像)；
标号300表示前景；
标号310表示实际对象；
标号311表示路面；
标号311a表示划分线；
标号311b表示划分线；
标号312表示先行车辆；
标号313表示行人；
标号314表示建筑物；
标号320表示车道；
标号401表示车辆ECU；
标号403表示道路信息数据库；
标号405表示本车位置检测部；
标号407表示车外传感器；
标号409表示视线方向检测部；
标号411表示眼睛位置检测部；
标号413表示便携信息终端；
标号420表示车外通信连接设备；
标号502表示实际对象相关信息检测模块；
标号504表示通报必要度检测模块；
标号506表示图像类型确定模块；
标号508表示图像位置确定模块；
标号510表示图像大小确定模块；
标号512表示眼睛位置检测模块；
标号514表示辨认检测模块；
标号516表示行动判定模块；
标号518表示图形模块；
符号GZ表示注视位置。

Claims (16)

1.一种显示控制装置，该显示控制装置(13)控制图像显示部(11、12)，在从车辆(1)的驾驶员观看时与前景(300)重叠的区域中，该图像显示部(11、12)显示图像(200)，
该显示控制装置(13)包括：
一个或多个I/O接口(14)；
一个或多个处理器(16)；
存储器(18)；
一个或多个计算机程序，该计算机程序存储在上述存储器(18)中，并且以由上述一个或多个处理器(16)执行的方式构成；
上述一个或多个处理器(16)执行下述的命令，在该命令中，从上述一个或多个I/O接口(14)获得上述驾驶员的视线方向；
根据上述视线方向，显示第1信息图像(210)和第2信息图像(220)，对于该第1信息图像(210)，当判定已被辨认时，降低辨认性，对于该第2信息图像(220)，当判定已被辨认时，不使其辨认性低于上述第1信息图像(210)，
上述一个或多个的处理器(16)执行下述的命令，在该命令中，获得推测信息，该推测信息能推测上述驾驶员作出对于上述第1信息图像(210)所表示的信息不当的行动；
在于降低了上述第1信息图像(210)的辨认性之后，能判定上述驾驶员作出对于所述第1信息图像(210)所表示的信息不当的行动的场合，提高与上述推测信息相对应的上述第1信息图像(210)的辨认性。
2.根据权利要求1所述的显示控制装置，其中，上述一个或多个的处理器(16)执行下述的命令：在该命令中，对应于上述第2信息图像(220)所表示的信息的潜在风险的大小，确定上述视线所朝向时的上述第2信息图像(220)的上述辨认性的变化程度。
3.根据权利要求1所述的显示控制装置，其中，上述一个或多个的处理器(16)执行下述的命令，在该命令中，在视线朝向上述第2信息图像(220)后、或视线朝向上述第2信息图像(220)而降低了辨认性后，上述第2信息图像(220)所表示的信息的潜在风险不高的场合，降低上述第2信息图像(220)的辨认性。
4.根据权利要求1所述的显示控制装置，其中，上述一个或多个处理器(16)执行下述的命令，在该命令中，在视线朝向上述第2信息图像(220)时，对第2信息图像(220)进行动画显示。
5.根据权利要求1所述的显示控制装置，其中，上述一个或多个的处理器(16)执行下述的命令，在该命令中，在显示多个上述第2信息图像(220)时，如果上述视线朝向规定的第2信息图像(221)，则对上述规定的第2信息图像(221)以及其它的第2信息图像(222～)进行动画显示。
6.根据权利要求1所述的显示控制装置，其中，上述一个或多个的处理器(16)执行下述的命令，在该命令中，在显示多个上述第2信息图像(220)时，如果上述视线朝向规定的第2信息图像(221)，则对上述规定的第2信息图像(221)以及上述规定的第2信息图像(221)附近的其它的第2信息图像(222～)进行动画显示。
7.根据权利要求1所述的显示控制装置，其中，上述一个或多个的处理器(16)执行下述的命令，在该命令中，在显示多个上述第2信息图像(220)时，如果上述视线朝向规定的第2信息图像(221)，则以相同的周期对上述规定的第2信息图像(221)和其它的第2信息图像(222～)进行动画显示。
8.根据权利要求1所述的显示控制装置，其中，上述一个或多个处理器(16)执行下述的命令，在该命令中，在降低上述第1信息图像(210)的辨认性之后，使与上述第1信息图像(210)相关的相关图像(213、214)显示在与显示上述第1信息图像(210)或上述第2信息图像(220)的第1显示区域(101)不同的第2显示区域(102)中。
9.根据权利要求1所述的显示控制装置，其中，上述第2信息图像(220)是在其附近显示的图像，以强调存在于上述前景(300)中的障碍物、行人和其它车辆中的至少一个。
10.一种控制图像显示器(11，12)的方法，该图像显示器(11，12)在从车辆(1)的驾驶员角度看与前景(300)重叠的区域中显示图像(200)；
该方法包括：
获取驾驶员的视线方向；
显示第1信息图像(210)和第2信息图像(220)，对于第1信息图像(210)，当判定已被辨认时，降低辨认性，对于第2信息图像(220)，当判定已被辨认时，其辨认性不低于上述第1信息图像(210)，
该方法包括获取推算信息，上述推算信息能够推算：相对上述第1信息图像(210)所表示的信息，上述驾驶员采取不当的行动；
在上述第1信息图像(210)的辨认性降低之后，如果上述驾驶员能够确定：相对上述第1信息图像(210)所表示的信息，上述驾驶员采取不当的行动，则提高与上述推算信息相对应的上述第1信息图像(210)的辨认性。
11.根据权利要求10所述的方法，其中，该方法包括在视线朝向第2信息图像(220)时，对第2信息图像(220)进行动画显示。
12.根据权利要求10所述的方法，其中，该方法包括在显示多个上述第2信息图像(220)时，如果上述视线朝向规定的第2信息图像(221)，则对上述规定的第2信息图像(221)及其它的第2信息图像(222～)进行动画显示。
13.根据权利要求10所述的方法，其中，在显示多个上述第2信息图像(220)时，如果上述视线朝向规定的第2信息图像(221)，则对上述规定的第2信息图像(221)及上述规定的第2信息图像(221)附近的其它的第2信息图像(222～)进行动画显示。
14.根据权利要求10所述的方法，其中，该方法包括在显示多个上述第2信息图像(220)时，如果上述视线朝向规定的第2信息图像(221)，则以相同的周期对上述规定的第2信息图像(221)及其它的第2信息图像(222～)进行动画显示。
15.根据权利要求10所述的方法，其中，该方法包括在降低上述第1信息图像(210)的辨认性之后，在与显示上述第1信息图像(210)或上述第2信息图像(220)的第1显示区域(101)不同的第2显示区域(102)中显示：与上述第1信息图像(210)相关的相关图像(213，214)。
16.一种存储介质，该存储介质存储计算机程序，该计算机程序包括用于执行权利要求10～15中任一项所述的方法的命令。
CN201980076258.0A 2018-11-23 2019-11-20 显示控制装置、方法和计算机程序 Active CN113165510B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018219802 2018-11-23
JP2018-219802 2018-11-23
PCT/JP2019/045494 WO2020105685A1 (ja) 2018-11-23 2019-11-20 表示制御装置、方法、及びコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
CN113165510A CN113165510A (zh) 2021-07-23
CN113165510B true CN113165510B (zh) 2024-01-30

Family

ID=70773132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980076258.0A Active CN113165510B (zh) 2018-11-23 2019-11-20 显示控制装置、方法和计算机程序

Country Status (4)

Country Link
JP (1) JP7255608B2 (zh)
CN (1) CN113165510B (zh)
DE (1) DE112019005849T5 (zh)
WO (1) WO2020105685A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434620A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 显示方法、装置、设备、存储介质以及计算机程序产品
EP4265463A1 (en) * 2022-04-19 2023-10-25 Volkswagen Ag Vehicle, head-up display, augmented reality device, apparatuses, methods and computer programs for controlling an augmented reality device and for controlling a visualization device
CN116572837A (zh) * 2023-04-27 2023-08-11 江苏泽景汽车电子股份有限公司 一种信息显示控制方法及装置、电子设备、存储介质

Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002002425A (ja) * 2000-06-15 2002-01-09 Mazda Motor Corp 車両用表示装置
JP2002019491A (ja) * 2000-07-11 2002-01-23 Mazda Motor Corp 車両の表示装置
JP2002048565A (ja) * 2000-08-03 2002-02-15 Mazda Motor Corp 車両用表示装置
JP2002293162A (ja) * 2001-03-30 2002-10-09 Yazaki Corp 車両用表示装置
JP2005207779A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2008109310A (ja) * 2006-10-24 2008-05-08 Denso Corp 車両用表示装置
JP2008282168A (ja) * 2007-05-09 2008-11-20 Toyota Motor Corp 意識状態検出装置
JP2010211404A (ja) * 2009-03-09 2010-09-24 Denso Corp 車載表示装置
JP2013203103A (ja) * 2012-03-27 2013-10-07 Denso It Laboratory Inc 車両用表示装置、その制御方法及びプログラム
JP2014026177A (ja) * 2012-07-27 2014-02-06 Jvc Kenwood Corp 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
CN103650021A (zh) * 2011-07-06 2014-03-19 日本精机株式会社 平视显示装置
WO2014097404A1 (ja) * 2012-12-18 2014-06-26 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
JP2014203318A (ja) * 2013-04-08 2014-10-27 三菱電機株式会社 表示情報生成装置および表示情報生成方法
JP2014229997A (ja) * 2013-05-20 2014-12-08 日本精機株式会社 車両用表示装置
JP2015120395A (ja) * 2013-12-23 2015-07-02 日本精機株式会社 車両情報投影システム
JP2015134521A (ja) * 2014-01-16 2015-07-27 三菱電機株式会社 車両情報表示制御装置
JP2015219782A (ja) * 2014-05-19 2015-12-07 株式会社リコー 画像表示装置、画像表示方法及び画像表示制御プログラム
JP2016020876A (ja) * 2014-07-16 2016-02-04 日産自動車株式会社 車両用表示装置
JP2016031603A (ja) * 2014-07-28 2016-03-07 日本精機株式会社 車両用表示システム
JP2016055801A (ja) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 車載表示装置
JP2016107947A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2016109645A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2016193723A (ja) * 2016-06-24 2016-11-17 パイオニア株式会社 表示装置、プログラム、及び記憶媒体
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
CN107199948A (zh) * 2016-03-18 2017-09-26 株式会社斯巴鲁 车辆用显示控制装置
CN107408338A (zh) * 2015-03-26 2017-11-28 三菱电机株式会社 驾驶员辅助系统
CN107463122A (zh) * 2016-05-02 2017-12-12 本田技研工业株式会社 车辆控制系统、车辆控制方法以及车辆控制程序产品
JP2017226272A (ja) * 2016-06-21 2017-12-28 日本精機株式会社 車両用情報提供装置
JP2018072686A (ja) * 2016-11-01 2018-05-10 矢崎総業株式会社 車両用表示装置
JP2018120135A (ja) * 2017-01-26 2018-08-02 日本精機株式会社 ヘッドアップディスプレイ
CN108369341A (zh) * 2015-12-01 2018-08-03 日本精机株式会社 平视显示器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330812B2 (en) * 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
JP2007045169A (ja) * 2005-08-05 2007-02-22 Aisin Aw Co Ltd 車両用情報処理装置
JP2009292409A (ja) * 2008-06-09 2009-12-17 Yazaki Corp ヘッドアップディスプレイ装置
JP2015041969A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
JP6348791B2 (ja) * 2014-07-16 2018-06-27 クラリオン株式会社 表示制御装置および表示制御方法
JP2017097687A (ja) * 2015-11-26 2017-06-01 矢崎総業株式会社 車両用情報提示装置
JP2017138350A (ja) * 2016-02-01 2017-08-10 アルプス電気株式会社 画像表示装置
JP2018022958A (ja) * 2016-08-01 2018-02-08 株式会社デンソー 車両用表示制御装置及び車両用モニタシステム

Patent Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002002425A (ja) * 2000-06-15 2002-01-09 Mazda Motor Corp 車両用表示装置
JP2002019491A (ja) * 2000-07-11 2002-01-23 Mazda Motor Corp 車両の表示装置
JP2002048565A (ja) * 2000-08-03 2002-02-15 Mazda Motor Corp 車両用表示装置
JP2002293162A (ja) * 2001-03-30 2002-10-09 Yazaki Corp 車両用表示装置
JP2005207779A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2008109310A (ja) * 2006-10-24 2008-05-08 Denso Corp 車両用表示装置
JP2008282168A (ja) * 2007-05-09 2008-11-20 Toyota Motor Corp 意識状態検出装置
JP2010211404A (ja) * 2009-03-09 2010-09-24 Denso Corp 車載表示装置
CN103650021A (zh) * 2011-07-06 2014-03-19 日本精机株式会社 平视显示装置
JP2013203103A (ja) * 2012-03-27 2013-10-07 Denso It Laboratory Inc 車両用表示装置、その制御方法及びプログラム
JP2014026177A (ja) * 2012-07-27 2014-02-06 Jvc Kenwood Corp 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
WO2014097404A1 (ja) * 2012-12-18 2014-06-26 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
JP2014203318A (ja) * 2013-04-08 2014-10-27 三菱電機株式会社 表示情報生成装置および表示情報生成方法
JP2014229997A (ja) * 2013-05-20 2014-12-08 日本精機株式会社 車両用表示装置
JP2015120395A (ja) * 2013-12-23 2015-07-02 日本精機株式会社 車両情報投影システム
JP2015134521A (ja) * 2014-01-16 2015-07-27 三菱電機株式会社 車両情報表示制御装置
JP2015219782A (ja) * 2014-05-19 2015-12-07 株式会社リコー 画像表示装置、画像表示方法及び画像表示制御プログラム
JP2016020876A (ja) * 2014-07-16 2016-02-04 日産自動車株式会社 車両用表示装置
JP2016031603A (ja) * 2014-07-28 2016-03-07 日本精機株式会社 車両用表示システム
JP2016055801A (ja) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 車載表示装置
JP2016107947A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2016109645A (ja) * 2014-12-10 2016-06-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN107408338A (zh) * 2015-03-26 2017-11-28 三菱电机株式会社 驾驶员辅助系统
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム
CN108369341A (zh) * 2015-12-01 2018-08-03 日本精机株式会社 平视显示器
CN107199948A (zh) * 2016-03-18 2017-09-26 株式会社斯巴鲁 车辆用显示控制装置
CN107463122A (zh) * 2016-05-02 2017-12-12 本田技研工业株式会社 车辆控制系统、车辆控制方法以及车辆控制程序产品
JP2017226272A (ja) * 2016-06-21 2017-12-28 日本精機株式会社 車両用情報提供装置
JP2016193723A (ja) * 2016-06-24 2016-11-17 パイオニア株式会社 表示装置、プログラム、及び記憶媒体
JP2018072686A (ja) * 2016-11-01 2018-05-10 矢崎総業株式会社 車両用表示装置
JP2018120135A (ja) * 2017-01-26 2018-08-02 日本精機株式会社 ヘッドアップディスプレイ

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
可视化技术在智能融合导航中的应用研究;刘东艳, 申功勋;中国惯性技术学报(02);14-17 *
基于AR-HUD的汽车驾驶辅助系统设计研究;李卓;周晓;郑杨硕;;武汉理工大学学报(交通科学与工程版)(06);34-38 *
汽车界面设计的智能化人机交互系统;许晓云;任静;;设计(19);146-147 *

Also Published As

Publication number Publication date
JPWO2020105685A1 (ja) 2021-11-04
DE112019005849T5 (de) 2021-09-02
CN113165510A (zh) 2021-07-23
WO2020105685A1 (ja) 2020-05-28
JP7255608B2 (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
US11535155B2 (en) Superimposed-image display device and computer program
US9507345B2 (en) Vehicle control system and method
WO2018066711A1 (ja) 走行支援装置及びコンピュータプログラム
CN113165510B (zh) 显示控制装置、方法和计算机程序
JPWO2009072366A1 (ja) 車両情報表示装置
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
JP7006235B2 (ja) 表示制御装置、表示制御方法および車両
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
US11493357B2 (en) Superimposed image display device, superimposed image drawing method, and computer program
JP2020032866A (ja) 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム
JP7459883B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
JP2022041244A (ja) 車載表示装置、方法およびプログラム
JP2020086884A (ja) 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム
WO2020158601A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020121607A (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020121704A (ja) 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム
JP7434894B2 (ja) 車両用表示装置
JP2020154468A (ja) 運転支援装置、方法、及びコンピュータ・プログラム
WO2023145852A1 (ja) 表示制御装置、表示システム、及び表示制御方法
WO2021200913A1 (ja) 表示制御装置、画像表示装置、及び方法
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法
WO2021015090A1 (ja) 制御装置
JP2020086882A (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020106911A (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020117105A (ja) 表示制御装置、方法、及びコンピュータ・プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant