CN113401071A - 显示控制装置、显示控制方法以及计算机可读取存储介质 - Google Patents

显示控制装置、显示控制方法以及计算机可读取存储介质 Download PDF

Info

Publication number
CN113401071A
CN113401071A CN202110195053.3A CN202110195053A CN113401071A CN 113401071 A CN113401071 A CN 113401071A CN 202110195053 A CN202110195053 A CN 202110195053A CN 113401071 A CN113401071 A CN 113401071A
Authority
CN
China
Prior art keywords
driver
display control
image
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110195053.3A
Other languages
English (en)
Other versions
CN113401071B (zh
Inventor
东山匡史
川上慎司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN113401071A publication Critical patent/CN113401071A/zh
Application granted granted Critical
Publication of CN113401071B publication Critical patent/CN113401071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/23—
    • B60K35/28—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • B60K2360/149—
    • B60K2360/177—
    • B60K2360/182—
    • B60K2360/566—
    • B60K2360/741—
    • B60K35/29—
    • B60K35/65—
    • B60K35/80—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)

Abstract

本发明提供一种通过适当的提示方法向驾驶员提示驾驶员所关心的信息的显示控制装置。本发明的显示控制装置对车辆的驾驶员的视线进行分析，并对根据该分析的结果而得到的驾驶员的视野区域上的驾驶员的视点进行检测，并基于检测结果，以使图像与视野区域重叠的方式显示图像。在满足条件的情况下，将与图像所表示的信息相关联的关联信息同图像的显示一起、或取代图像的显示发送至外部的终端。

Description

显示控制装置、显示控制方法以及计算机可读取存储介质
技术领域
本发明涉及能够在驾驶员的视野区域重叠显示图像的显示控制装置、显示控制方法以及计算机可读取存储介质。
背景技术
在专利文献1中，记载了如下内容：根据基于眼球追踪仪的乘员的关心方向和基于GPS的位置信息，确定乘员所关心的POI，将与确定出的POI相关的名字、住址、说明、营业时间、联系方式的详细情况等信息提示给乘员。在专利文献2中，记载了仅将根据第一规则从车载的HUD上的信息中提取出的信息向同乘者的便携终端发送这样的内容。
现有技术文献
专利文献
专利文献1：日本特开2017-223666号公报
专利文献2：日本特开2014-216714号公报
发明内容
发明所要解决的问题
在专利文献1中，如果是驾驶中，则乘员可能无法充分确认所提示的详细信息。另外，在专利文献2中，没有提及向驾驶员的便携终端进行发送的内容。
本发明的目的在于提供一种通过适当的提示方法对驾驶员提示驾驶员所关心的信息的显示控制装置、显示控制方法以及计算机可读取存储介质。
用于解决问题的手段
本发明所涉及的显示控制装置具备：检测单元，其对车辆的驾驶员的视线进行分析，并对根据该分析的结果而得到的所述驾驶员的视野区域上的所述驾驶员的视点进行检测；显示控制单元，其基于所述检测单元的检测结果，以使图像与所述视野区域重叠的方式显示所述图像；以及发送控制单元，其在满足条件的情况下，将与所述图像所表示的信息相关联的关联信息同由所述显示控制单元进行的所述图像的显示一起、或取代由所述显示控制单元进行的所述图像的显示发送至外部的终端。
本发明的显示控制方法是在显示控制装置中执行的显示控制方法，其特征在于，对车辆的驾驶员的视线进行分析，并对根据该分析的结果而得到的所述驾驶员的视野区域上的所述驾驶员的视点进行检测，基于检测结果，以使图像与所述视野区域重叠的方式显示所述图像，在满足条件的情况下，将与所述图像所表示的信息相关联的关联信息同所述图像的显示一起、或取代所述图像的显示发送至外部的终端。
存储本发明所涉及的程序的计算机可读取的存储介质存储有使计算机发挥如下功能的程序：对车辆的驾驶员的视线进行分析，并对根据该分析的结果而得到的所述驾驶员的视野区域上的所述驾驶员的视点进行检测，基于检测结果，以使图像与所述视野区域重叠的方式显示所述图像，在满足条件的情况下，将与所述图像所表示的信息相关联的关联信息同所述图像的显示一起、或取代所述图像的显示发送至外部的终端。
发明效果
根据本发明，能够通过适当的提示方法对驾驶员提示驾驶员所关心的信息。
附图说明
图1是车辆用控制装置(行驶控制装置)的框图。
图2是表示控制单元的功能块的图。
图3是表示驾驶员所见的视野区域的图。
图4是表示便携终端所显示的信息的图。
图5是表示显示控制处理的流程图。
图6是表示显示控制处理的流程图。
图7是表示显示控制处理的流程图。
图8是表示显示控制处理的流程图。
图9是表示显示控制处理的流程图。
附图标记说明
1：车辆；2：控制单元；20、21、22、23、24、25、26、27、28、29：ECU；
200：控制部；218：HUD控制部；219：HUD。
具体实施方式
以下，参照附图对实施方式进行详细说明。此外，以下的实施方式并非对权利要求书所涉及的发明进行限定，另外，在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外，对相同或者同样的构成标注相同的附图标记，并省略重复的说明。
[第一实施方式]
图1是本发明的一个实施方式所涉及的车辆用控制装置(行驶控制装置)的框图，对车辆1进行控制。在图1中，以俯视图和侧视图表示车辆1的概略。作为一个例子，车辆1是轿车型的四轮的乘用车。此外，在本实施方式中，作为车辆1的构成例对构成为能够实现自动驾驶、驾驶辅助的功能的车辆进行说明，但只要搭载有后述的平视显示器(HUD)的构成就不限定于以下的说明的构成。
图1的控制装置包括控制单元2。控制单元2包括利用车内网络而连接为能够通信的多个ECU20～ECU29。各ECU包括以CPU为代表的处理器、半导体存储器等存储设备、与外部设备的接口等。在存储设备中存储有处理器执行的程序、处理器在处理中使用的数据等。各ECU也可以具备多个处理器、存储设备以及接口等。另外，图1的控制装置的构成能够通过形成对程序所涉及的本发明进行实施的计算机而得以实现。
以下，对各ECU20～ECU29所负责的功能等进行说明。此外，关于ECU的数量、负责的功能，能够适当地设计，可以比本实施方式更细化或整合。
ECU20执行与车辆1的自动驾驶相关的控制。在自动驾驶中，自动控制车辆1的转向、加速减速中的至少任一者。在后述的控制例中，自动控制转向和加速减速的双方。
ECU21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)对前轮进行转向的机构。另外，电动动力转向装置3包括发挥用于辅助转向操作、或使前轮自动转向的驱动力的马达、检测转向角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下，ECU21与来自ECU20的指示对应地自动控制电动动力转向装置3，控制车辆1的行进方向。
ECU22以及ECU23进行检测车辆的周围状况的检测单元41～43的控制以及检测结果的信息处理。检测单元41是拍摄车辆1的前方的摄像机(以下，有时表述为摄像机41。)，在本实施方式的情况下，在车辆1的车顶前部安装于前窗的车室内侧。通过摄像机41拍摄到的图像的解析，能够提取目标物的轮廓、道路上的车道的划分线(白线等)。
检测单元42是Light Detection and Ranging(LIDAR)，对车辆1的周围的目标物进行检测，或对与目标物之间的距离进行测距。在本实施方式的情况下，设置有五个检测单元42，在车辆1的前部的各角部各设置一个，在后部中央各设置一个，在后部各侧方各设置一个。检测单元43是毫米波雷达(以下，有时表述为雷达43)，对车辆1的周围的目标物进行检测，或对与目标物之间的距离进行测距。在本实施方式的情况下，雷达43设置有五个，在车辆1的前部中央各设置有一个，在前部各角部各设置有一个，在后部各角部各设置有一个。
ECU22进行一方的摄像机41、各检测单元42的控制以及检测结果的信息处理。ECU23进行另一方的摄像机41、各雷达43的控制以及检测结果的信息处理。通过具备两组检测车辆的周围状况的装置，能够提高检测结果的可靠性，另外，通过具备摄像机、雷达等种类不同的检测单元，能够多方面地进行车辆的周边环境的解析。
ECU24进行陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或者通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等来判定车辆1的行进路线。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息、气象信息的服务器进行无线通信，获取这些信息。ECU24能够访问在存储设备中构建的地图信息的数据库24a，ECU24进行从当前位置地到目的地的路线搜索等。此外，可以在数据库24a中构建上述的交通信息、气象信息等数据库。
ECU25具备车与车间通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信，进行车辆间的信息交换。
ECU26对动力装置6进行控制。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构，例如包括发动机和变速器。ECU26例如与由设置于油门踏板7A的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)对应地控制发动机的输出，或者基于车速传感器7c检测到的车速等信息来切换变速器的变速档。在车辆1的驾驶状态为自动驾驶的情况下，ECU26与来自ECU20的指示对应地自动控制动力装置6，控制车辆1的加速减速。
ECU27控制包括方向指示器8(转向灯)的照明器件(前照灯、尾灯等)。在图1的例子的情况下，方向指示器8设置于车辆1的前部、车门后视镜以及后部。
ECU28进行输入输出装置9的控制。输入输出装置9进行对驾驶员的信息的输出和来自驾驶员的信息的输入的接受。声音输出装置91通过声音向驾驶员通知信息。显示装置92通过图像的显示向驾驶员通知信息。显示装置92例如配置在驾驶席正面，构成仪表板等。另外，在此，例示了通过声音和显示，但也可以通过振动、光来通知信息。另外，也可以将声音、显示、振动或者光中的多个组合来报告信息。进一步地，还可以根据应通知的信息的等级(例如紧急度)，使组合不同，或者使通知方式不同。另外，显示装置92包括导航装置。
输入装置93是配置在驾驶员能够操作的位置，且对车辆1进行指示的开关组，但也可以包括声音输入装置。
ECU29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力而使车辆1减速或停止。ECU29例如与由设置在制动踏板7B上的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)对应地控制制动装置10的工作。在车辆1的驾驶状态为自动驾驶的情况下，ECU29与来自ECU20的指示对应地自动控制制动装置10，控制车辆1的减速以及停止。制动装置10、驻车制动器也能够为了维持车辆1的停止状态而工作。另外，在动力装置6的变速器具备驻车锁定机构的情况下，也能够为了维持车辆1的停止状态而进行工作。
对ECU20所执行的与车辆1的自动驾驶相关的控制进行说明。ECU20在由驾驶员指示了目的地和自动驾驶时，按照由ECU24搜索到的引导路线，朝向目的地对车辆1的行驶进行自动控制。在自动控制时，ECU20从ECU22以及ECU23获取与车辆1的周围状况相关的信息(外部信息)，并基于获取到的信息来指示ECU21、ECU26以及ECU29来控制车辆1的转向、加速减速。
图2是表示控制单元2的功能块的图。控制部200与图1的控制单元2对应，包括外部识别部201、自身位置识别部202、车内识别部203、行动计划部204、驱动控制部205、设备控制部206。各功能块通过图1所示的一个ECU或多个ECU来实现。
外部识别部201基于来自外部识别用摄像机207以及外部识别用传感器208的信号，识别车辆1的外部信息。在此，外部识别用摄像机207例如是图1的摄像机41，外部识别用传感器208例如是图1的检测单元42、43。外部识别部201基于来自外部识别用摄像机207以及外部识别用传感器208的信号，例如识别交叉路口、铁路道口、隧道等场景、路肩等自由空间、其他车辆的行为(速度、行进方向)。自身位置识别部202基于来自GPS传感器211的信号识别车辆1的当前位置。在此，GPS传感器211例如对应于图1的GPS传感器24b。
车内识别部203基于来自车内识别用摄像机209以及车内识别用传感器210的信号，识别车辆1的搭乘者，另外，识别搭乘者的状态。车内识别用摄像机209例如是设置在车辆1的车内的显示装置92上的近红外摄像机，例如检测搭乘者的视线的方向。另外，车内识别用传感器210例如是检测搭乘者的生物体信号的传感器。车内识别部203基于这些信号，识别搭乘者的瞌睡状态、驾驶以外的作业中的状态等。
行动计划部204基于外部识别部201、自身位置识别部202的识别结果来计划最佳路线、避免风险路线等车辆1的行动。行动计划部204例如进行基于交叉路口、铁路道口等的开始点或终点的进入判定、基于其他车辆的行为预测的行动计划。驱动控制部205基于行动计划部204的行动计划来控制驱动力输出装置212、转向装置213、制动装置214。在此，驱动力输出装置212例如与图1的动力装置6对应，转向装置213与图1的电动动力转向装置3对应，制动装置214与制动装置10对应。
设备控制部206控制与控制部200连接的设备。例如，设备控制部206控制扬声器215，输出用于警告或导航的消息等规定的声音消息。另外，例如，设备控制部206控制显示装置216，显示规定的界面画面。显示装置216例如对应于显示装置92。另外，例如，设备控制部206控制导航装置217，获取导航装置217中的设定信息。
控制部200可以适当地包含图2所示以外的功能块，例如，也可以包括基于经由通信装置24c而获取的地图信息来计算到目的地为止的最佳路线的最佳路线计算部。另外，控制部200也可以从图2所示的摄像机、传感器以外获取信息，例如，可以经由通信装置25a获取其他车辆的信息。另外，控制部200不仅接收来自GPS传感器211的检测信号，还接收来自设置于车辆1的各种传感器的检测信号。例如，控制部200经由构成于车门部的ECU接收设置于车辆1的车门部的车门的开闭传感器、门锁的机构传感器的检测信号。由此，控制部200能够检测车门的锁定解除、车门的开闭动作。
平视显示器(HUD)控制部218对安装于车辆1的前窗附近的车室内侧的平视显示器(HUD)219进行控制。HUD控制部218和控制部200能够相互通信，HUD控制部218例如经由控制部200获取外部识别用摄像机207的摄像数据。HUD219在HUD控制部218的控制下，朝向前窗投射图像。例如，HUD控制部218从控制部200接收外部识别用摄像机207的摄像数据，基于该摄像数据，生成使HUD219投射的图像数据。该图像数据例如是透过前窗而与驾驶员看到的风景重叠(overlap)那样的图像数据。通过HUD219向前窗的投影，能够使驾驶员具有例如在前方的道路的风景上重叠有用于导航的图标图像(目的地信息等)那样的感觉。HUD控制部218能够经由通信接口(I/F)220而与外部的装置相互通信。外部的装置例如是由驾驶员持有的智能手机等便携终端221。通信I/F220可以构成为能够与多个网络连接，例如可以构成为能够与因特网连接。
以下，对本实施方式的动作进行说明。图3是用于说明本实施方式的动作的图。图3表示驾驶员透过前窗能够视觉确认的视野区域。在图3的视野区域300中，信息301以及信息302显示与驾驶员在前窗上以一定时间停滞了视点的部位对应的信息。例如，信息301表示驾驶员以一定时间停滞了视点的右侧的大厦的一层部分为“A餐厅”。另外，信息302表示驾驶员以一定时间停滞了视点的前方的大厦为“B大厦”。一般来说，驾驶员对于所关心的兴趣点(POI(Point Of Interest))，有将视点停滞一定时间的倾向。即，通过HUD219，在前窗上HUD显示与驾驶员所关心的兴趣点(POI(Point Of Interest)对应的信息。
对于驾驶员而言，虽然希望显示关于所关心的兴趣点的信息，但也可能因驾驶状况不同而存在不得不从那里移开视点的状况。因此，在本实施方式中，基于HUD219在前窗上进行HUD显示、和向驾驶员的便携终端221进行发送这两种方法，而适当地进行关于所关心的兴趣点的信息的提示。
在本实施方式中，在检测到驾驶员停滞了视点达规定时间以上的情况下，进行HUD显示，并且向驾驶员所持有的便携终端221发送信息。通过这样的构成，能够在驾驶中对驾驶员显示所关心的兴趣点的信息，并且在驾驶后，驾驶员也能够确认该信息。
图5是表示本实施方式中的显示控制的处理的流程图。图5的处理例如通过由HUD控制部218从ROM等存储区域读出程序并执行程序来实现。另外，图5的处理在车辆1开始行驶时开始。
在S101中，HUD控制部218分析驾驶员的视线。例如，可以由控制部200的车内识别部203通过车内识别用摄像机209、车内识别用传感器210分析驾驶员的视线，HUD控制部218获取其分析结果。
在S102中，HUD控制部218检测前窗上的驾驶员的视点。即，HUD控制部218基于S101中的分析结果，确定视野区域300中的视点的坐标。例如，HUD控制部218基于与视野区域300对应的外部识别用摄像机207的摄像数据，确定成为HUD显示的对象的、视野区域300中的视点的坐标。另外，例如，HUD控制部218可以基于视点相对于显示于视野区域300的AR内容的重叠来检测视点。此时，视点的重叠的判定可以基于AR内容的中心部附近来进行，也可以基于包含AR内容的周围在内的规定的区域来进行。另外，该规定的区域也可以根据所显示的其他AR内容的数量、内容来决定。
在S103中，HUD控制部218进行后述的显示控制。在S103之后，重复从S101起的处理。
图6是表示S103的显示控制的处理的流程图。在S201中，HUD控制部218基于在S102中确定出的视点的坐标，检测视点的静止。例如，HUD控制部218若检测出被视为视点静止的规定的单位时间、视点未从规定空间移动，则通过计时器功能开始视点的静止时间的测量。
在S202中，HUD控制部218判定是否经过了规定时间。在此，在判定为未经过规定时间的情况下，判断为该视点的位置不是驾驶员所关心的兴趣点，结束图6的处理。另一方面，在判定为经过了规定时间的情况下，判断为该视点的位置是驾驶员所关心的兴趣点，进入S203。
在S203中，HUD控制部218通过HUD219生成用于在前窗上显示的信息(HUD显示信息)。例如，HUD控制部218基于从控制部200获取的车辆1的当前位置以及地图信息、与摄像数据上的视点的位置对应的对象信息，提取与所关心的兴趣点对应的信息。HUD显示信息例如是图3的信息301、信息302所示那样的名称。
HUD显示信息的内容并不限定于名称，也可以附加其他信息。例如，不限于仅从地图信息得到的名称的信息，也可以附加从因特网获取的关联信息。例如，HUD控制部218也可以基于名称从因特网获取关联信息。此时，例如，在如信息301那样餐饮店的情况下，可以获取其营业时间、SNS信息、日餐、西餐等类型、评价等信息，并与名称一起显示。另外，HUD控制部218也可以基于从因特网获取的信息而重新生成关联信息。例如，可以根据从因特网获取的营业时间、当前的日期时间信息，生成正开店或正关店的信息作为关联信息。另外，可以基于外部识别部201的外部识别结果而生成关联信息。例如，可以基于在与信息301对应的餐饮店之前形成了排队等图像的识别结果，生成拥挤信息等作为关联信息。
另外，可以能够变更关联信息的量。例如，可以基于驾驶员的喜好的信息而推测为越关心，则越增加关联信息。例如可以将驾驶员的便携终端221与车辆1(控制部200)配对，在外部的服务器中预先进行分析这样的驾驶员的喜好。例如，服务器根据便携终端221的因特网的检索历史信息等，分析并获取驾驶员的饮食的喜好。另外，可以通过用户设定来设定上述HUD显示信息的各构成。
在S204中，HUD控制部218基于在S201中检测到静止的视点的坐标，显示在S203中生成的HUD显示信息。例如，HUD控制部218利用从在S201中检测到静止的视点的坐标的引出线，以在视野区域300内不与行驶道路重叠的方式进行HUD显示。
在S205中，HUD控制部218生成用于使驾驶员持有的便携终端221显示的信息(终端显示信息)。终端显示信息既可以是与在S203中生成的HUD显示信息相同的信息，也可以不同。例如，终端显示信息可以是在S203中生成的HUD显示信息的关联信息。图4是表示在S205中生成的终端显示信息的一个例子的图。如图4所示，将与信息301的信息“A餐厅”对应的信息401和信息301的关联信息402生成为终端显示信息。
另外，终端显示信息可以包含与HUD显示信息的内容关联性较低的以下那样的信息。例如，可以包含注视了HUD显示信息的部位的时间的信息。另外，可以包含注视时的车辆1的位置信息、导航信息。例如，作为导航信息，可以包含车辆1的出发地和目的地、路线信息。另外，可以包含天气信息、时刻信息。这样，通过使终端显示信息包含上述那样的信息，驾驶员根据在驾驶后显示于便携终端221的信息，而能够容易地想起是在哪个地点所观察到的信息。
另外，终端显示信息可以作为HUD显示信息被简化后的信息而被生成。例如，可以通过分析在S204中显示HUD显示信息后的驾驶员的脸部图像、声音，在推定为驾驶员不关心的情况下，仅将HUD显示信息简化后的信息、例如将终端显示信息生成为仅名称。驾驶员的脸部图像、声音的分析结果可以通过获取车内识别部203的识别结果。另外，可以根据在S204中显示HUD显示信息后的驾驶员的脸部图像、声音的分析结果，而不生成终端显示信息。
在S206中，HUD控制部218将在S205中生成的终端显示信息发送到驾驶员所持有的便携终端221。终端显示信息例如可以通过电子邮件来发送。在此，可以在终端显示信息的发送的同时，对驾驶员通知发送了信息这一情况。该声音通知既可以从扬声器215执行，也可以从便携终端221执行。在S206之后，结束图6的处理。
这样，根据本实施方式，在检测到驾驶员停滞了视点达规定时间以上的部位的情况下，进行HUD显示，并且向驾驶员所持有的便携终端221发送信息。通过这样的构成，能够对驾驶员在驾驶中显示所关心的兴趣点的信息，并且在驾驶后，驾驶员也能够确认该信息。
在本实施方式中，对便携终端221作为驾驶员持有的便携终端进行了说明，但也可以是驾驶员以外的搭乘者、例如副驾驶席、后部座位的人所持有的便携终端。另外，便携终端221也可以不存在于车辆1的内部。即，通过与车辆1(控制部200)执行配对，可以将位于车辆1的外部的例如位于驾驶员的自己家的PC等用作本实施方式中的便携终端221。另外，可以将搭载于车辆1的设备用作便携终端221，例如，可以将搭载于车辆1的显示器音频设备、仪表用显示器用作便携终端221。
另外，在本实施方式中，说明了对驾驶员的视线进行分析并将终端显示信息向驾驶员的便携终端221发送的构成，但并不限于驾驶员，也可以是对驾驶员以外的搭乘者、例如副驾驶席、后部座位的人的视线进行分析，并分别向对应(配对后的)便携终端进行发送的构成。此时，也可以不是便携终端，而是上述那样的各种设备。
另外，在本实施方式中，说明了在S201中检测出视点的静止后，在S202中判定是否经过了规定时间，但也可以变更该规定时间。例如，如果当前的时刻信息为11：00～14：00，则推定是要吃午餐，因此将规定时间设定为比其他的时间段短。通过这样的构成，在驾驶员为了寻找餐饮店而使视点跨多个部位移动的过程中，容易进行带着关注点而停止了视点情况下的HUD显示。另外，例如，可以基于驾驶员的喜好来变更规定时间。例如，当在S201中检测到视点的静止时，如上所述，提取与所关心的兴趣点对应的信息。然后，在推定为该信息是与驾驶员的喜好一致的信息的情况下，例如在分析为在广告牌中有“ABC高尔夫”且驾驶员有喜欢高尔夫的倾向的情况下，将规定时间设定得更短。
另外，可以根据车辆1的控制状态来设定可否执行本实施方式的动作。例如，可以在是基于不注视的自动驾驶模式的情况下，执行本实施方式的动作。
[第二实施方式]
以下，针对与第一实施方式不同的点，来对第二实施方式进行说明。在本实施方式中，在检测到驾驶员停滞了达规定时间以上的视点的情况下，进行HUD显示。另一方面，如果停滞视点的时间小于规定时间，则向驾驶员持有的便携终端221发送信息。根据这样的构成，例如在驾驶员短时间地移开了视点的情况下，驾驶员能够在驾驶后确认该信息。
图7是表示S103的显示控制的其他处理的流程图。S301是与S201相同的处理，因此省略其说明。在S301之后，在S302中，HUD控制部218判定是否经过了第一规定时间。在此，在判定为未经过第一规定时间的情况下，判断为该视点的位置不是驾驶员所关心的兴趣点，结束图7的处理。另一方面，在判定为经过了第一规定时间的情况下，判断为该视点的位置是驾驶员所关心的兴趣点，进入S303。
在S303中，HUD控制部218判定是否经过了第二规定时间。另外，第二规定时间被设定为比第一规定时间长。在判定为经过了第二规定时间的情况下，在S304中，HUD控制部218生成HUD显示信息，在S305中，基于在S301中检测出静止的视点的坐标来显示所生成的HUD显示信息。然后，结束图7的处理。
在S303中判定为未经过第二规定时间的情况下，在S306中，HUD控制部218生成终端显示信息。终端显示信息既可以是与在S304中生成的HUD显示信息相同的信息，也可以不同。例如，终端显示信息可以是在S304中生成的HUD显示信息的关联信息。在S307中，HUD控制部218将在S306中生成的终端显示信息发送到驾驶员所持有的便携终端221。终端显示信息例如可以通过电子邮件来发送。在此，可以在终端显示信息的发送的同时，对驾驶员通知发送了信息这一情况。该声音通知既可以从扬声器215执行，也可以从便携终端221执行。在S307之后，结束图7的处理。
这样，根据本实施方式，在检测到驾驶员停滞了视点达规定时间以上的部位的情况下，进行HUD显示。另一方面，如果在该部位停滞视点的时间小于规定时间，则不进行HUD显示，而向驾驶员所持有的便携终端221发送信息。另外，如作为第一规定时间所说明的那样，对未停滞一定时间的视点的部位，判断为驾驶员不关心，不生成HUD显示信息和终端显示信息中的任一者。根据这样的构成，例如在尽管能够判断为驾驶员关心的但在较短的时间移开了视点的情况下，驾驶员能够在驾驶后确认该信息。
[第三实施方式]
以下，针对与第一实施方式以及第二实施方式不同的点，来对第三实施方式进行说明。在本实施方式中，即使在停滞视点的时间小于规定时间的情况下，在存在特定的理由的情况下，也向驾驶员所持有的便携终端221发送信息，在不存在特定的理由的情况下，不进行向便携终端221的信息的发送。通过这样的构成，在处于避免驾驶中的风险等不得以而移开视点的状况的情况下，向便携终端221发送信息。通过这样的构成，驾驶员能够在驾驶后确认该信息。
图8是表示S103的显示控制的其他处理的流程图。S401是与S201相同的处理，因此省略其说明。在S401之后，在S402中，HUD控制部218判定是否经过了第一规定时间。在此，在判定为未经过第一规定时间的情况下，判断为该视点的位置不是驾驶员所关心的兴趣点，结束图8的处理。另一方面，在判定为经过了第一规定时间的情况下，判断为该视点的位置是驾驶员所关心的兴趣点，进入S403。
在S403中，HUD控制部218判定是否经过了第二规定时间。另外，第二规定时间被设定为比第一规定时间长。在判定为经过了第二规定时间的情况下，在S404中，HUD控制部218生成HUD显示信息，在S405中，基于在S401中检测出静止的视点的坐标来显示所生成的HUD显示信息。然后，结束图8的处理。
在S403中判定为未经过第二规定时间的情况下，在S406中，HUD控制部218判定在经过第二规定时间之前是否产生了特定的事件。例如，作为特定的事件，而判定车辆1的行为是否有急剧的变化(急加速、急减速等)、转向量的变化、放开手(hands off)的警报报告。在判定为发生了这样的事件的情况下，判断为驾驶员将视点从关心的兴趣点移开了，进入S407。另一方面，在判定为未发生特定的事件的情况下，判断为与该视点的位置对应的信息不是驾驶者将在驾驶后在便携终端221上确认那种程度的信息，结束图8的处理。
此外，在S406中，可以进行是否发生了特定的事件的判定以外的处理。例如，可以基于车辆1的行为、外部识别部201的识别结果、地图信息等，推测驾驶员移开了视点的理由。例如，在识别出其他车辆、移动物的接近、安全隐患地点的情况下，可以判断为是由于避免行驶中的风险，而进入S407。另外，可以在车内识别部203的识别结果例如是检测到驾驶员自身的状态(仪表类的操作、规定的手势等)的情况下，进入S407。
在S407中，HUD控制部218生成终端显示信息。终端显示信息既可以是与在S404中生成的HUD显示信息相同的信息，也可以不同。例如，终端显示信息可以是在S404中生成的HUD显示信息的关联信息。在S408中，HUD控制部218将在S407中生成的终端显示信息发送到驾驶员所持有的便携终端221。终端显示信息例如可以通过电子邮件来发送。在此，可以在终端显示信息的发送的同时，对驾驶员通知发送了信息这一情况。该声音通知既可以从扬声器215执行，也可以从便携终端221执行。在S408之后，结束图8的处理。
这样，根据本实施方式，即使在一个地方停滞视点的时间小于规定时间的情况下，在存在特定的理由(例如特定的事件的发生)的情况下，也向驾驶员持有的便携终端221发送信息。另一方面，在不存在特定的理由的情况下，不进行向便携终端221的信息的发送。根据这样的构成，在是避免驾驶中的风险等而不得不移开视点的状况的情况下，通过向便携终端221发送信息，驾驶员能够在驾驶后确认该信息。
[第四实施方式]
以下，针对与第一实施方式～第三实施方式不同的点，来对第四实施方式进行说明。在本实施方式中，在进行HUD显示而显示消失起的规定时间以内的期间，在检测到驾驶员无法确认该信息的内容的情况下，向驾驶员所持有的便携终端221发送信息。根据这样的构成，能够在判断为驾驶员无法充分确认HUD显示的信息的情况下，向便携终端221发送该信息，驾驶员在驾驶后能够确认该信息。
图9是表示S103的显示控制的其他处理的流程图。S501是与S201相同的处理，因此省略其说明。在S501之后，在S502中，HUD控制部218判定是否经过了规定时间。在此，在判定为未经过规定时间的情况下，判断为该视点的位置不是驾驶员所关心的兴趣点，结束图9的处理。另一方面，在判定为经过了规定时间的情况下，判断为该视点的位置是驾驶员所关心的兴趣点，进入S503。
在S503中，HUD控制部218生成HUD显示信息，在S504中，基于在S501中检测到静止的视点的坐标来显示所生成的HUD显示信息。然后，HUD控制部218在显示HUD显示信息时，通过计时器功能开始测量。
在S505中，HUD控制部218判定在S504中显示的HUD显示信息是否被驾驶员确认过。例如，HUD控制部218在S504中判定为从显示HUD显示信息起经过规定时间之前由于某种理由而显示消失的情况下，判定为未被驾驶员确认。另外，在S504中显示的HUD控制部218也可以基于车内识别部203的识别结果进行判定。例如，可以基于驾驶员的图像、声音的分析结果来判定是否由驾驶员确认过。驾驶员的图像例如是驾驶员的手势。此时，可以预先决定表示无法确认的手势(横向挥动手掌等)，根据驾驶员是否进行了该手势来进行判定。另外，可以基于驾驶员对HUD显示信息停滞了视点的时间是否为规定时间以上来进行判定。在S505中判定为驾驶员确认过的情况下，结束图9的处理。另一方面，在判定为驾驶员未确认的情况下，进入S506。
在S506中，HUD控制部218生成终端显示信息。终端显示信息既可以是与在S503中生成的HUD显示信息相同的信息，也可以不同。例如，终端显示信息可以是在S503中生成的HUD显示信息的关联信息。在S507中，HUD控制部218将在S506中生成的终端显示信息发送到驾驶员所持有的便携终端221。终端显示信息例如可以通过电子邮件来发送。在此，可以在终端显示信息的发送的同时，对驾驶员通知发送了信息这一情况。该声音通知既可以从扬声器215执行，也可以从便携终端221执行。在S507之后，结束图9的处理。
这样，根据本实施方式，在从进行HUD显示而显示消失起的规定时间以内的期间内，在检测到驾驶员无法确认该信息的内容的情况下，向驾驶员所持有的便携终端221发送信息。根据这样的构成，在判断为驾驶员无法充分确认HUD显示的信息的情况下，能够向便携终端221发送信息，驾驶员在驾驶后能够确认该信息。
上述的各实施方式也可以作为动作模式而由驾驶员选择。此时，在图6、图7、图8、图9之间对应的规定时间可以固定，也可以在各动作模式下固有地设定。
＜实施方式的总结＞
上述实施方式的显示控制装置具备：检测单元(209、210、203、S102)，其对车辆的驾驶员的视线进行分析，并对根据该分析的结果而得到的所述驾驶员的视野区域上的所述驾驶员的视点进行检测；显示控制单元(218)，其基于所述检测单元的检测结果，以使图像与所述视野区域重叠的方式显示所述图像；以及发送控制单元(图6、图7、图8、图9)，其在满足条件的情况下，将与所述图像所表示的信息相关联的关联信息同由所述显示控制单元进行的所述图像的显示一起、或取代由所述显示控制单元进行的所述图像的显示发送至外部的终端。
通过这样的构成，能够通过适当的提示方法对驾驶员提示驾驶员所关心的信息。
另外，作为所述条件，在所述检测单元检测出所述视点的静止达到第一规定时间的情况下，所述发送控制单元将所述关联信息同由所述显示控制单元进行的所述图像的显示一起发送至所述外部的终端。
通过这样的构成，例如，驾驶员能够对所关心的信息进行HUD显示，并且发送至驾驶员的便携终端。
另外，作为所述条件，在所述检测单元未检测出所述视点的静止达到第二规定时间的情况下，所述发送控制单元取代由所述显示控制单元进行的所述图像的显示而将所述关联信息发送至所述外部的终端。另外，在所述检测单元检测出所述视点的静止达到所述第二规定时间的情况下，所述显示控制单元显示所述图像，所述发送控制单元不将所述关联信息发送至所述外部的终端。所述条件进一步是所述检测单元检测出所述视点的静止达到比所述第二规定时间短的第三规定时间的情况。
通过这样的构成，例如，在驾驶员未充分观察到所关心的信息的情况下，能够发送至驾驶员的便携终端以能够在驾驶后确认。
另外，所述显示控制装置还具备判定单元(S406)，所述判定单元在所述检测单元未检测出所述视点的静止达到所述第二规定时间的情况下，判定是否发生了特定的事件，在由所述判定单元判定为发生了所述特定的事件的情况下，所述发送控制单元取代由所述显示控制单元进行的所述图像的显示而将所述关联信息发送至所述外部的终端。
根据这样的构成，例如，在驾驶员由于避免风险等而无法充分观察到所关心的信息的情况下，能够发送至驾驶员的便携终端以能够在驾驶后确认。
另外，在由所述判定单元判定为未发生所述特定的事件的情况下，所述发送控制单元不将所述关联信息发送至所述外部的终端。
通过这样的构成，例如在判断为驾驶员不关心的情况下，能够不进行向驾驶员的便携终端的发送。
另外，显示控制装置还具备判断单元(S505)，所述判断单元在由所述显示控制单元显示了所述图像之后，判断所述驾驶员是否确认了所述图像，作为所述条件，在由所述判断单元判断为所述驾驶员未确认所述图像的情况下，所述发送控制单元将所述关联信息发送至所述外部的终端。另外，在由所述判断单元判断为所述驾驶员确认了所述图像的情况下，所述发送控制单元不将所述关联信息发送至所述外部的终端。另外，所述判断单元基于所述检测单元是否检测出所述视点的静止达到第四规定时间，判断所述驾驶员是否确认了所述图像。
根据这样的构成，在判断为驾驶员未确认所关心的信息的情况下，能够发送至驾驶员的便携终端以能够在驾驶后确认。
另外，所述外部的终端是所述驾驶员所持有的便携终端。通过这样的构成，例如能够将信息发送至驾驶员的便携终端。
本发明并不限定于上述的实施方式，能够在发明的主旨的范围内进行各种变形、变更。

Claims (13)

1.一种显示控制装置，其特征在于，
所述显示控制装置具备：
检测单元，其对车辆的驾驶员的视线进行分析，并对根据该分析的结果而得到的所述驾驶员的视野区域上的所述驾驶员的视点进行检测；
显示控制单元，其基于所述检测单元的检测结果，以使图像与所述视野区域重叠的方式显示所述图像；以及
发送控制单元，其在满足条件的情况下，将与所述图像所表示的信息相关联的关联信息同由所述显示控制单元进行的所述图像的显示一起、或取代由所述显示控制单元进行的所述图像的显示发送至外部的终端。
2.根据权利要求1所述的显示控制装置，其特征在于，作为所述条件，在所述检测单元检测出所述视点的静止达到第一规定时间的情况下，所述发送控制单元将所述关联信息同由所述显示控制单元进行的所述图像的显示一起发送至所述外部的终端。
3.根据权利要求1所述的显示控制装置，其特征在于，作为所述条件，在所述检测单元未检测出所述视点的静止达到第二规定时间的情况下，所述发送控制单元取代由所述显示控制单元进行的所述图像的显示而将所述关联信息发送至所述外部的终端。
4.根据权利要求3所述的显示控制装置，其特征在于，在所述检测单元检测出所述视点的静止达到所述第二规定时间的情况下，所述显示控制单元显示所述图像，所述发送控制单元不将所述关联信息发送至所述外部的终端。
5.根据权利要求3或4所述的显示控制装置，其特征在于，所述条件进一步是所述检测单元检测出所述视点的静止达到比所述第二规定时间短的第三规定时间的情况。
6.根据权利要求3或4所述的显示控制装置，其特征在于，
所述显示控制装置还具备判定单元，所述判定单元在所述检测单元未检测出所述视点的静止达到所述第二规定时间的情况下，判定是否发生了特定的事件，
在由所述判定单元判定为发生了所述特定的事件的情况下，所述发送控制单元取代由所述显示控制单元进行的所述图像的显示而将所述关联信息发送至所述外部的终端。
7.根据权利要求6所述的显示控制装置，其特征在于，在由所述判定单元判定为未发生所述特定的事件的情况下，所述发送控制单元不将所述关联信息发送至所述外部的终端。
8.根据权利要求1所述的显示控制装置，其特征在于，
所述显示控制装置还具备判断单元，所述判断单元在由所述显示控制单元显示了所述图像之后，判断所述驾驶员是否确认了所述图像，
作为所述条件，在由所述判断单元判断为所述驾驶员未确认所述图像的情况下，所述发送控制单元将所述关联信息发送至所述外部的终端。
9.根据权利要求8所述的显示控制装置，其特征在于，在由所述判断单元判断为所述驾驶员确认了所述图像的情况下，所述发送控制单元不将所述关联信息发送至所述外部的终端。
10.根据权利要求8或9所述的显示控制装置，其特征在于，所述判断单元基于所述检测单元是否检测出所述视点的静止达到第四规定时间，判断所述驾驶员是否确认了所述图像。
11.根据权利要求1至4中任一项所述的显示控制装置，其特征在于，所述外部的终端是所述驾驶员所持有的便携终端。
12.一种显示控制方法，是在显示控制装置中执行的显示控制方法，其特征在于，
所述显示控制方法具有如下步骤：
对车辆的驾驶员的视线进行分析，并对根据该分析的结果而得到的所述驾驶员的视野区域上的所述驾驶员的视点进行检测，
基于检测结果，以使图像与所述视野区域重叠的方式显示所述图像，
在满足条件的情况下，将与所述图像所表示的信息相关联的关联信息同所述图像的显示一起、或取代所述图像的显示发送至外部的终端。
13.一种计算机可读存储介质，其特征在于，
其存储有使计算机发挥如下功能的程序：
对车辆的驾驶员的视线进行分析，并对根据该分析的结果而得到的所述驾驶员的视野区域上的所述驾驶员的视点进行检测，
基于检测结果，以使图像与所述视野区域重叠的方式显示所述图像，
在满足条件的情况下，将与所述图像所表示的信息相关联的关联信息同所述图像的显示一起、或取代所述图像的显示发送至外部的终端。
CN202110195053.3A 2020-03-17 2021-02-19 显示控制装置、显示控制方法以及计算机可读取存储介质 Active CN113401071B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020046808A JP2021148506A (ja) 2020-03-17 2020-03-17 表示制御装置、表示制御方法およびプログラム
JP2020-046808 2020-03-17

Publications (2)

Publication Number Publication Date
CN113401071A true CN113401071A (zh) 2021-09-17
CN113401071B CN113401071B (zh) 2024-04-26

Family

ID=77675855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110195053.3A Active CN113401071B (zh) 2020-03-17 2021-02-19 显示控制装置、显示控制方法以及计算机可读取存储介质

Country Status (3)

Country Link
US (1) US11458841B2 (zh)
JP (1) JP2021148506A (zh)
CN (1) CN113401071B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050107952A1 (en) * 2003-09-26 2005-05-19 Mazda Motor Corporation On-vehicle information provision apparatus
JP2014216714A (ja) * 2013-04-23 2014-11-17 本田技研工業株式会社 車両内での情報共有のための情報提供装置、携帯端末、及びプログラム
US20150031352A1 (en) * 2013-07-24 2015-01-29 Lg Electronics Inc. Terminal and method for controlling the same
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
CN109478368A (zh) * 2016-07-12 2019-03-15 本田技研工业株式会社 驾驶辅助装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135037A (ja) 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
JP4923647B2 (ja) 2006-03-17 2012-04-25 株式会社デンソー 運転支援画像表示装置及びプログラム
US8269663B2 (en) * 2007-03-30 2012-09-18 Pioneer Corporation Remote control system and method of controlling the remote control system
JP2010128794A (ja) 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 車両周辺認知支援装置
DE102011010624B4 (de) 2011-02-08 2014-10-16 Mekra Lang Gmbh & Co. Kg Anzeigevorrichtung für Sichtfelder eines Nutzfahrzeugs
US9513702B2 (en) 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
WO2016166791A1 (ja) 2015-04-13 2016-10-20 三菱電機株式会社 運転支援装置
DE102015006612B4 (de) 2015-05-21 2020-01-23 Audi Ag Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
EP3342343B1 (en) 2015-08-24 2019-11-27 Fujifilm Corporation Radiograph interpretation assistance device and method
US20180088323A1 (en) 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
JP2019095213A (ja) 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
JP7338625B2 (ja) 2018-07-05 2023-09-05 日本精機株式会社 ヘッドアップディスプレイ装置
JP7121583B2 (ja) 2018-08-07 2022-08-18 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050107952A1 (en) * 2003-09-26 2005-05-19 Mazda Motor Corporation On-vehicle information provision apparatus
JP2014216714A (ja) * 2013-04-23 2014-11-17 本田技研工業株式会社 車両内での情報共有のための情報提供装置、携帯端末、及びプログラム
US20150031352A1 (en) * 2013-07-24 2015-01-29 Lg Electronics Inc. Terminal and method for controlling the same
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
CN109478368A (zh) * 2016-07-12 2019-03-15 本田技研工业株式会社 驾驶辅助装置

Also Published As

Publication number Publication date
US20210291653A1 (en) 2021-09-23
US11458841B2 (en) 2022-10-04
JP2021148506A (ja) 2021-09-27
CN113401071B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
RU2719101C2 (ru) Способ и транспортное средство для оказания содействия водителям при смене полос движения на проезжей части дороги
JP6729220B2 (ja) 車両用運転支援装置
US20190333380A1 (en) Information processing apparatus, information processing method, and program
US20200307616A1 (en) Methods and systems for driver assistance
US9315191B2 (en) Driving assistance device
CN110050301A (zh) 车辆控制装置
JP2019053574A (ja) 車両制御装置、車両制御方法、およびプログラム
US11731624B2 (en) Vehicle controller, vehicle, and vehicle control method
CN111731295B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
CN109720343B (zh) 车辆控制设备
JP6604577B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
JPWO2018056103A1 (ja) 車両制御装置、車両制御方法、および移動体
EP3882883A1 (en) Information processing device, information processing method, and program
EP3627110B1 (en) Method for planning trajectory of vehicle
EP3900994A1 (en) Vehicle control device, vehicle control method, program, and vehicle
JP2010237827A (ja) 車両操作診断装置、車両操作診断方法及びコンピュータプログラム
CN111830859A (zh) 车辆远程指示系统
CN111707283A (zh) 一种基于增强现实技术的导航方法、装置、系统及设备
JP2020157830A (ja) 走行制御装置、走行制御方法、およびプログラム
JP7201576B2 (ja) 自動運転車用情報提示装置
US20190278266A1 (en) Vehicle controlling apparatus and vehicle
US20210291736A1 (en) Display control apparatus, display control method, and computer-readable storage medium storing program
CN111762175A (zh) 控制装置、控制方法以及存储介质
JP2021014239A (ja) 車両制御装置
US20210171060A1 (en) Autonomous driving vehicle information presentation apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant