CN102473355A - 清醒状态维持装置及清醒状态维持方法 - Google Patents

清醒状态维持装置及清醒状态维持方法 Download PDF

Info

Publication number
CN102473355A
CN102473355A CN2011800027244A CN201180002724A CN102473355A CN 102473355 A CN102473355 A CN 102473355A CN 2011800027244 A CN2011800027244 A CN 2011800027244A CN 201180002724 A CN201180002724 A CN 201180002724A CN 102473355 A CN102473355 A CN 102473355A
Authority
CN
China
Prior art keywords
visual stimulus
control module
vehicle
information
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800027244A
Other languages
English (en)
Inventor
仲井渉
久保谷宽行
宇野嘉修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102473355A publication Critical patent/CN102473355A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了维持驾驶员的清醒状态的清醒状态维持装置和清醒状态维持方法。清醒状态维持装置(100)中，视觉刺激控制单元(107)计算与初始设定时间和车辆的检测速度的乘积对应的初始显示位置，在显示单元中，将有关唤起清醒状态的视觉刺激虚拟物体的视觉刺激图像显示在初始显示位置，并且使用视觉上随着从该显示的定时开始的时间推移，视觉刺激虚拟物体以检测速度逐渐逼近车辆的视觉效果，更新视觉刺激图像，从该显示的定时起经过初始设定时间时，声音信号控制单元(105)输出声音信号，振动控制单元(106)输出振动。由此，驾驶员能够从视觉、听觉和触觉的各方面感觉到本车辆压过以逐渐逼近的方式显示的视觉刺激虚拟物体上，所以能够维持驾驶员的清醒状态。

Description

清醒状态维持装置及清醒状态维持方法
技术领域
本发明涉及维持驾驶员的清醒状态的清醒状态维持装置和清醒状态维持方法。
背景技术
在高速公路等单调的道路上开车时，驾驶员容易感觉到睡意。也就是说，容易引起驾驶员的清醒度下降。
作为防止这样的驾驶员的清醒度下降的技术，已知防瞌睡用铺路方法(例如参照专利文献1)。根据专利文献1中记载的防瞌睡用铺路方法，通过在路面设置凹凸，车辆在该凹凸上行驶时发生振动和声音。
另外，还有具备防瞌睡功能的车载用音响播放装置(即，清醒状态维持装置)(例如参照专利文献2)。专利文献2中记载的车载用音响播放装置通过使用车厢内的扬声器或振动装置发生随机的低音振动，模拟地再现车辆在道路上设置的凹凸上行驶时产生的振动和声音。由此，即使车辆没有行驶在道路上设置的凹凸之上，也能够使驾驶员模拟地感觉到道路上的凹凸。
[专利文献1]日本专利公开平2-008401号公报
[专利文献2]日本专利公开昭59-216393号公报
发明内容
本发明要解决的问题
然而，上述的以往的清醒状态维持装置所发出的随机的低音振动与车辆的行驶状态和行驶环境无关，必然缺乏现场感。因此，使驾驶员保持紧张感的效果也不充分，通过以往的技术，难以拖长清醒维持效果的持续期间。
本发明的目的在于提供清醒状态维持装置和清醒状态维持方法，其与车辆的行驶状态配合地显示用于刺激驾驶员的视觉的图像，并且产生用于刺激听觉的声音或者用于刺激触觉的振动，从而维持驾驶员的清醒状态。
解决问题的方案
本发明的一个形态的清醒状态维持装置是，装载于车辆，用于维持所述车辆的驾驶员的清醒状态的清醒状态维持装置，该装置包括：速度信息取得单元，取得有关所述车辆的速度的信息；计算单元，基于所述速度计算初始设定时间，所述初始设定时间与所述速度成反比；显示控制单元，计算与所述初始设定时间和所述速度的乘积对应的初始显示位置，在显示单元的所述初始显示位置上，显示有关唤起清醒状态的视觉刺激虚拟物体的视觉刺激图像，并且使用随着从所述显示的定时起的时间推移呈现所述视觉刺激虚拟物体以所述速度逐渐逼近所述车辆的视觉效果，更新所述视觉刺激图像；发声控制单元，从所述显示的定时起经过所述初始设定时间时，输出声音信号；以及振动控制单元，在从所述显示的定时起经过所述初始设定时间时，输出振动。
本发明的一个形态的清醒状态维持方法是，用于维持车辆的驾驶员的清醒状态的清醒状态维持方法，该方法包括：取得步骤，取得有关所述车辆的速度的信息；计算步骤，基于所述速度计算初始设定时间，所述初始设定时间与所述速度成反比；显示控制步骤，计算与所述初始设定时间和所述速度的乘积对应的初始显示位置，在显示单元的所述初始显示位置上，显示有关唤起清醒状态的视觉刺激虚拟物体的视觉刺激图像，并且使用随着从所述显示的定时起的时间推移呈现所述视觉刺激虚拟物体以所述速度逐渐逼近所述车辆的视觉效果，更新所述视觉刺激图像；发声控制步骤，从所述显示的定时起经过所述初始设定时间时，输出声音信号；以及振动控制步骤，在从所述显示的定时起经过所述初始设定时间时，输出振动。
发明效果
根据本发明，能够提供清醒状态维持装置和清醒状态维持方法，其与车辆的行驶状态配合地显示用于刺激驾驶员的视觉的图像，并且产生用于刺激听觉的声音或者用于刺激触觉的振动，从而维持驾驶员的清醒状态。
附图说明
图1是表示本发明实施方式1的清醒状态维持装置的结构的方框图。
图2是用于说明视觉刺激控制单元的处理的图。
图3A～图3D是用于说明基于视觉刺激控制单元的显示方法的图。
图4是用于说明声音信号控制单元的动作的流程图。
图5是用于说明振动控制单元的动作的流程图。
图6是用于说明视觉刺激控制单元的动作的流程图。
图7是表示本发明实施方式2的清醒状态维持装置的结构的方框图。
图8是用于说明声音信号控制单元的动作的流程图。
图9是用于说明振动控制单元的动作的流程图。
图10是用于说明视觉刺激控制单元的动作的流程图。
图11是表示本发明实施方式3的清醒状态维持装置的结构的方框图。
图12是用于说明视觉刺激控制单元的动作的流程图。
图13A、图13B是表示车辆、相机、视觉刺激虚拟物体和白线的位置关系的图。
图14是表示本发明实施方式4的清醒状态维持装置的结构的方框图。
图15是用于说明视觉刺激控制单元的动作的流程图。
图16是表示车辆、相机、视觉刺激虚拟物体和白线的位置关系的图。
图17是表示车辆、相机、视觉刺激虚拟物体和白线的位置关系的图。
图18是表示前窗、前景和视觉刺激图像的位置关系的图。
图19是表示本发明实施方式5的清醒状态维持装置的结构的方框图。
图20是用于说明区间通过判定单元的动作的流程图。
图21是表示本发明实施方式6的清醒状态维持装置的结构的方框图。
图22是用于说明区间通过判定单元的动作的流程图。
标号说明
100、700、1100、1400、1900、2100清醒状态维持装置
101驾驶员状态判定单元
102、1902触发单元
103速度信息取得单元
104定时控制单元
105、701声音信号控制单元
106、702振动控制单元
107、704、1101、1401视觉刺激控制单元
108、703感觉刺激控制单元
1901、2101区间通过判定单元
具体实施方式
[实施方式1]
[清醒状态维持装置100的结构]
图1是表示本发明实施方式1的清醒状态维持装置100的结构的方框图。在图1中，清醒维持装置100包括：驾驶员状态判定单元101、触发单元102、速度信息取得单元103、定时控制单元104、感觉刺激控制单元108和视觉刺激控制单元107。感觉刺激控制单元108包括声音信号控制单元105和振动控制单元106。
另外，在实施方式1中，说明本车辆的速度为恒定的情况。
驾驶员状态判定单元101判定装载有清醒状态维持装置100的车辆的驾驶员的清醒状态，并计算驾驶员的清醒度。作为其判定基准，使用驾驶员的生物信息、车辆的摇晃、或者驾驶员的脸部图像等。驾驶员状态判定单元101以规定的周期重复进行驾驶员的清醒状态的判定处理。
在将驾驶员的生物信息用于清醒状态的判定时，驾驶员状态判定单元101例如具备生物测量传感器，根据由该生物测量传感器取得的测量值和规定的阈值的大小关系，判定驾驶员的清醒状态。另外，该生物测量传感器例如由脑波传感器、脉波传感器、心跳传感器、呼吸传感器、血压传感器的其中一个或者多个的组合而构成。
另外，在将车辆的摇晃用于清醒状态的判定时，驾驶员状态判定单元101基于从车辆取得的信息计算车辆的横向方向的移动量，根据该移动量的方差值和规定的阈值的大小关系，判定驾驶员的清醒状态。从车辆取得的信息例如为方向盘的舵角或者车辆横向方向的加速度等。
还有，在将驾驶员的脸部图像用于清醒状态的判定时，驾驶员状态判定单元101例如基于由设置在车厢内的相机拍摄的驾驶员的脸部图像，判定驾驶员的清醒状态。
触发单元102基于驾驶员状态判定单元101的判定结果，将触发信号输出到声音信号控制单元105、振动控制单元106和视觉刺激控制单元107。具体而言，触发单元102在驾驶员状态判定单元101的判定结果中，判定为驾驶员的清醒度下降到规定的清醒度以下时，输出触发信号。另外，触发单元102空开与从速度信息取得单元103取得的车辆速度对应的时间间隔，输出触发信号。另外，在本说明书中，假设为清醒度越低即表示睡意越强而进行以下的说明。
具体而言，触发单元102基于驾驶员状态判定单元101的判定结果，以规定的周期确认驾驶员的清醒度，在确认驾驶员的清醒度下降到规定的清醒度以下时，将最初的触发信号(第一触发信号)输出到声音信号控制单元105、振动控制单元106和视觉刺激控制单元107。然后，触发单元102基于从速度信息取得单元103收到的速度信息V，计算将下一个触发信号(即第二触发信号)输出的定时(也就是连续输出的两个触发信号的输出定时之间的时间间隔t)。然后，在从第一触发信号的输出定时起经过时间间隔t时，触发单元102确认在驾驶者状态判定单元101中计算的驾驶员的清醒度。
在确认的驾驶员的清醒度依然下降得规定的清醒度以下时，触发单元102输出第二触发信号。另一方面，在驾驶员状态判定单元101中计算的驾驶员的清醒度上升到规定的清醒度以上时，触发单元102停止输出第二触发信号。在输出第二触发信号时，触发单元102再次基于从速度信息取得单元103收到的速度信息V，计算将下一个触发信号(即第三触发信号)输出的定时(也就是说，连续输出的两个触发信号的输出定时之间的时间间隔t)。
在本实施方式中，车辆的速度不变，因此速度信息V始终相同。然后，在从第二触发信号的输出定时起经过时间间隔t时，触发单元102基于驾驶员状态判定单元101的判定结果，确认驾驶员的清醒度。在确认的驾驶员的清醒度下降到规定的清醒度以下时，触发单元102输出第三触发信号。另一方面，驾驶员的清醒度上升到规定的清醒度以上时，触发单元102停止输出第三触发信号。之后，触发单元102按时间间隔t重复输出触发信号直到基于驾驶员状态判定单元101的判定结果的驾驶员的清醒度上升到规定的清醒度以上为止。在驾驶员状态判定单元101中计算的驾驶员的清醒度上升到规定的清醒度以上而不输出触发信号时，触发单元102再次以规定的周期确认在驾驶员状态判定单元101中计算的驾驶员的清醒度。
通过由触发单元102进行以上的处理，只在基于驾驶员状态判定单元101的判定结果的驾驶员的清醒度下降的期间，触发信号反复输出到声音控制单元105、振动控制单元106和视觉刺激控制单元107。
这里，上述的时间间隔t与通过实际的路面上设置的凹凸的时间间隔相等，可以将其设为与速度信息V对应的固定值，也可以设为随机值。触发单元102在将时间间隔t设为与速度信息V对应的规定值时，使从速度信息取得单元103收到的速度信息V与时间间隔t成反比关系。
在本实施方式中，车辆的速度信息V是恒定，因此在同一车辆中，时间间隔t是恒定。另外，在将时间间隔t设为与速度信息V对应的恒定值时，使速度信息V和时间间隔t成反比关系，由此速度信息V的值越大的(车辆速度越快的)车辆中，输出触发信息的频度越高。
另一方面，在将时间间隔t设为随机值时，触发单元102使用基于从速度信息取得单元103收到的速度信息V和概率分布决定的值。该概率分布可以是：以与从速度信息取得单元103收到的速度信息V成反比的值为中心轴的二值之间的均匀分布，也可以是：以与从速度信息取得单元103收到的速度信息V成反比的值为中心轴的正态分布中的二值之间的分布。
这里假设了时间间隔t与通过实际的路面上设置的凹凸的时间间隔相等，但是时间间隔t可以长于或短于通过实际的路面上设置的凹凸的一般的时间间隔。
速度信息取得单元103取得有关本车辆的速度的信息。作为有关本车辆的速度的信息的取得方法，有如下的方法。具体而言，例如，速度信息取得单元103从变速器取得本车辆的变速器具备的液力变矩器的涡轮转速或者变速器的车轴的转速等作为速度信息。另外，速度信息取得单元103也可以基于从车辆获得的车速脉冲信号取得速度信息。还有，速度信息取得单元103也可以经由CAN接口等车载网络取得速度信息。CAN是控制器局域网络(ControllerAreaNetwork)的缩写，是用于车载设备间的数据转发的网络之一。
这样取得的速度信息被输出到触发单元102、定时控制单元104、声音信号控制单元105、振动控制单元106和视觉刺激控制单元107。
定时控制单元104从速度信息取得单元103收到速度信息后，基于该速度信息，对将用于刺激驾驶员的视觉的图像(以下称为“视觉刺激图像”)显示在显示装置的显示定时及显示位置、用于刺激驾驶员的听觉的声音(以下称为“听觉刺激声音”)的发声定时、以及用于刺激驾驶员的触觉的振动(以下称为“触觉刺激振动”)的发生定时进行控制。由定时控制单元104生成的时间信息T输出到声音信号控制单元105、振动控制单元106和视觉刺激控制单元107，由此进行上述控制。
具体而言，定时控制单元104将与从速度信息取得单元103收到的速度信息V成反比的值决定为时间信息T。虽然其细节在后面描述，但几乎在输出触发信号的同时，视觉刺激图像被显示在显示装置上，经过时间信息T后，输出犹如本车辆通过视觉刺激图像所表现的、刺激视觉的虚拟物体(以下称为“视觉刺激虚拟物体”)上的听觉刺激声音和触觉刺激振动。
基于时间信息T，决定由视觉刺激控制单元107生成的视觉刺激图像的显示位置。另外，基于时间信息T，决定由声音信号控制单元105输出的听觉刺激声音的输出定时、以及由振动控制单元106输出的触觉刺激振动的输出定时。
声音信号控制单元105从触发单元102取得触发信号后，从速度信息取得单元103取得速度信息V，从定时控制单元104取得时间信息T。然后，声音信号控制单元105生成听觉刺激声音，并在从触发单元102取得触发信号的定时起经过时间信息T时，将该听觉刺激声音输出到扬声器。
车辆的驾驶员将声音信号控制单元105生成的听觉刺激声音认识为车辆通过视觉刺激虚拟物体上时的声音。因此，也可以使用与速度信息V对应的预先决定的声音作为听觉刺激声音。
另外，作为声音信号控制单元105生成的听觉刺激声音，可以从声音数据库中选择任意的声音，也可以从与速度信息V对应的声音数据库中选择声音，还可以基于速度信息V对基本音进行加工来生成它。这里所谓的基本音是指，基于速度信息V被加工的某一特定速度下的听觉刺激声音。
这里，上述的声音数据库中存储有具有各种各样的音高和长度的声音数据。声音数据库例如存储在车厢内设置的存储媒体(例如DVD或硬盘)等中。
另外，作为基本音的加工方法，例如，使声音的提示时间(即发声时间)和从速度信息取得单元103取得的速度信息V成反比，并使声音的音高和从速度信息取得单元103取得的速度信息V成正比。作为基本音，使用收录的、在车辆实际上通过设置在实际路面的凹凸上时发生的声音。另外，基本音可以是从声音数据库取得的声音，也可以是行驶声音等从车外直接取得的声音。
另外，这里以在每一次取得从触发单元102输出的触发信号时，声音信号控制单元105输出一次听觉刺激声音为前提，但并不限于此。例如，也可以在输出第一个听觉刺激声音后，经过一定时间后再次输出听觉刺激声音。由此能够进一步结合实际情况地再现在实际路面上设置的凹凸上行驶时发生的声音。
另外，作为从第一次输出听觉刺激声音起直到再次输出听觉刺激声音为止的恒定时间，也可以使用车辆的轴距除以速度信息V所得的值。由此能够使车辆的驾驶员感觉到前轮和后轮通过了视觉刺激虚拟物体上。
振动控制单元106从触发单元102取得触发信号后，从速度信息取得单元103取得速度信息V，从定时控制单元104取得时间信息T。然后，振动控制单元106生成与速度信息V对应的触觉刺激振动，并对振动装置进行控制以使其在从取得触发信号的定时起经过时间信息T时输出触觉刺激振动。这里所谓的振动装置是指，使对象振动的装置。
作为振动控制单元106生成的触觉刺激振动，使用与速度信息V对应的、预先决定的振动。另外，作为振动控制单元106生成的触觉刺激振动，可以从振动数据库中选择任意的振动，也可以从与速度信息V对应的振动数据库中选择振动，还可以基于速度信息V对基本振动进行加工来生成它。这里所谓的基本振动是指，基于速度信息V被加工的某一特定速度下的触觉刺激振动。
这里，上述的振动数据库中存储有具有各种各样的强度和长度的振动数据。振动数据库例如存储在车厢内设置的存储媒体(例如DVD或硬盘)中。
另外，作为基本振动的加工方法，可以使振动的提示时间(即振动时间)和从速度信息取得单元103取得的速度信息V成反比，也可以使振动的强度和从速度信息取得单元103取得的速度信息V成正比，还可以组合它们。
另外，这里以在每一次取得从触发单元102输出的触发信号时，振动控制单元106输出一次触觉刺激振动为前提，但并不限于此。例如，也可以在输出第一个振动后，经过一定时间后再次输出振动。由此，能够进一步结合实际情况地再现车辆在实际路面上设置的凹凸上行驶时发生的振动。另外，作为从第一次输出振动起直到再次输出振动为止的恒定时间，可以使用车辆的轴距除以速度信息V所得的值。由此能够使车辆的驾驶员感觉到前轮和后轮通过了视觉刺激虚拟物体上。
这里，输出触觉刺激振动的振动装置的设置位置有如下的位置。例如，可以设置在方向盘上，可以设置在驾驶座位上，也可以设置在加速踏板、刹车踏板、离合器踏板上，另外也可以组合它们。
视觉刺激控制单元107从触发单元102取得触发信号后，分别从速度信息取得单元103取得速度信息V，从定时控制单元104取得时间信息T。然后，视觉刺激控制单元107在显示装置上显示视觉刺激图像，并且基于速度信息V和时间信息T，更新视觉刺激图像。
具体而言，视觉刺激控制单元107首先决定视觉刺激虚拟物体的形状、大小、颜色等特性。视觉刺激虚拟物体优选具有近似于实际路面上设置的凹凸的形状、大小、颜色等特性。也就是说，视觉刺激虚拟物体的形状优选是略呈凸形状的直方体，但是也可以呈平面，也可以呈显著的凸形状。另外，视觉刺激虚拟物体的剖面可以是三角形，也可以是半圆形。
另外，视觉刺激虚拟物体的长度优选是等于车道的宽度的长度，但也可以左右分割。还有，视觉刺激虚拟物体的颜色优选是相对于路面的明暗对比较大的颜色，但只要是不与其它显示颜色混淆的颜色，可以是任何颜色。基于表示这样决定的形状、大小、颜色等特性的视觉刺激虚拟物体信息，视觉刺激控制单元107生成视觉刺激图像。另外，视觉刺激虚拟物体的形状、大小、颜色等特性可以预先设定。
另外，视觉刺激控制单元107基于速度信息V和时间信息T，计算实际空间中的本车辆和视觉刺激虚拟物体之间的虚拟的间距D(以下称为“虚拟间距”)作为显示位置信息。如图2所示，该虚拟间距D是，假设为在实际空间上配置视觉刺激虚拟物体201时的、本车辆202和视觉刺激虚拟物体201之间的间距。如上所述，时间信息T是与速度信息V成反比的值。因此，对驾驶员来说，无论车辆的速度如何，都开始显示始终从相距一定距离的位置的视觉刺激图像。
另外，视觉刺激控制单元107决定在显示视觉刺激虚拟物体时的显示方法。作为该显示方法，例如有下述几个方法，即，在汽车导航系统的显示器等显示装置上，如图3A所示，以实际空间的驾驶员的视线，显示路面上的视觉刺激虚拟物体201的视觉刺激图像301的方法；如图3B所示，显示从正侧面观察本车辆和视觉刺激虚拟物体201的情况的视觉刺激图像302的方法；如图3C和图3D所示，显示从正上方观察本车辆和视觉刺激虚拟物体201的情况的视觉刺激图像303、304的方法等。基于记载了这样决定的显示方法的显示方法信息，视觉刺激控制单元107生成视觉刺激图像。另外，显示方法也可以预先设定。
接着，视觉刺激控制单元107随着时间的推移，每隔规定时间更新虚拟间距D。随着时间的推移(本车辆的前进)，本车辆接近视觉刺激虚拟物体，因此虚拟间距D变短。
这样，视觉刺激控制单元107在与显示位置信息对应的虚拟空间上的位置上，配置通过视觉刺激虚拟物体信息表现的视觉刺激虚拟物体，并生成视觉刺激图像以便基于显示方法信息显示视觉刺激虚拟物体，将生成的视觉刺激图像显示在显示装置上。
[清醒状态维持装置100的动作]
说明具有以上的结构的清醒状态维持装置100的动作。这里，主要说明声音信号控制单元105、振动控制单元106和视觉刺激控制单元107的处理。
图4是用于说明声音信号控制单元105的动作的流程图。
在步骤S401，声音信号控制单元105判断是否从触发单元102取得触发信号，收到触发信号后，在步骤S402取得来自定时控制单元104的时间信息T。从声音信号控制单元105收到触发信号开始经过时间信息T的定时为从声音信号控制单元105将听觉刺激声音数据输出到扬声器并发声的定时。
在步骤S403，声音信号控制单元105从目前保持的时间信息T减去规定时间ΔT(即，经过时间)，从而计算更新的时间信息T。也就是说，声音信号控制单元105对初始设定时间进行倒计时。
在步骤S404，声音信号控制单元105判定更新后的时间信息T是否小于零，在不小于零时(“否”)，再次进行步骤S403的处理。重复进行该步骤S403和步骤404的处理直到判定为更新后的时间信息T小于零(即，到达发生定时)为止。
在判定为更新后的时间信息T小于零(步骤S404：“是”)时，声音信号控制单元105在步骤S405从速度信息取得单元103取得速度信息V，在步骤S406生成听觉刺激声音，在步骤S407输出听觉刺激声音。
图5是用于说明振动控制单元106的动作的流程图。
在步骤S501，振动控制单元106判断是否从触发单元102取得触发信号，收到触发信号时，在步骤S502从定时控制单元104取得时间信息T。从振动控制单元106收到触发信号开始，经过时间信息T的定时为从振动控制单元106将触觉刺激振动数据输出到振动装置并施加振动的定时。
在步骤S503，振动控制单元106从目前保持的时间信息T减去规定时间ΔT(即，经过时间)，从而计算更新过的时间信息T。也就是说，振动控制单元106对初始设定时间进行倒计时。
在步骤S504，振动控制单元106判定更新后的时间信息T是否小于零，在不小于零时(“否”)，再次进行步骤S503的处理。重复进行该步骤S503和步骤504的处理直到判定为更新后的时间信息T小于零(即，到达振动定时)为止。
在判定为更新后的时间信息T小于零时(步骤S504：“是”)，振动控制单元106在步骤S505从速度信息取得单元103取得速度信息V，在步骤S506生成触觉刺激振动，在步骤S507输出触觉刺激振动。
图6是用于说明视觉刺激控制单元107的动作的流程图。
在步骤S601，视觉刺激控制单元107判断是否从触发单元102取得了触发信号，收到触发信号时，在步骤S602生成视觉刺激图像。
在步骤S603和步骤S604，视觉刺激控制单元107取得来自速度信息取得单元103的速度信息V和来自定时控制单元104的时间信息T。
在步骤S605，视觉刺激控制单元107基于速度信息V和时间信息T，计算虚拟间距D。
在步骤S606，视觉刺激控制单元107进行控制以在对应于虚拟间距D的显示位置上显示视觉刺激图像。
以上说明的步骤S601至步骤S606的处理作为一连串的处理，在短时间内执行。因此，几乎在收到触发信号的定时的同时，就开始显示视觉刺激图像。相对于此，如上所述，听觉刺激声音的发声定时和触觉刺激振动的发生定时为，从收到触发信号起经过了时间信息T所示的时间的时间点。
在步骤S607，视觉刺激控制单元107从目前保持的时间信息T减去规定时间ΔT(即，经过时间)，从而计算更新的时间信息T。也就是说，视觉刺激控制单元107对初始设定时间进行倒计时。
在步骤S608，视觉刺激控制单元107判定更新后的时间信息T是否小于零，在不小于零时(“否”)，再次进行步骤S605至S608的处理。重复进行步骤S605至S608的处理直到判定为更新后的时间信息T小于零为止。因为虚拟间距D是与时间信息T成比例的值，所以重复该处理循环时，每次从时间信息T的值中减ΔT，虚拟间距D的值也阶段性地减少。由此，在显示装置上以使驾驶员感觉到视觉刺激图像逐渐逼近本车辆的方式进行显示。
在判定为更新后的时间信息T小于零时(步骤S608：“是”)，视觉刺激控制单元107进行控制以结束视觉刺激图像的显示(步骤S609)。这里，在判定为更新后的时间信息T小于零时，同时发出听觉刺激声音，施加触觉刺激振动，所以驾驶员从视觉、听觉和触觉的各方面能够感觉到本车辆通过了以逐渐逼近的方式显示的视觉刺激虚拟物体上。由此，通过与车辆的行驶状态配合地产生刺激驾驶员的视觉的图像、刺激听觉的声音和刺激触觉的振动，能够维持驾驶员的清醒状态。
如上所述，根据本实施方式，在清醒状态维持装置100中，视觉刺激控制单元107进行控制以显示有关唤起清醒状态的视觉刺激虚拟物体的视觉刺激图像。然后，视觉刺激控制单元107使用随着从视觉刺激图像的最初的显示定时起的时间推移，呈现视觉刺激虚拟物体随着本车辆的行进而逐渐逼近本车辆的视觉效果，更新视觉刺激图像。之后，从视觉刺激图像的最初的显示定时起经过时间信息T时，声音信号控制单元105发出听觉刺激声音，振动控制单元106输出触觉刺激振动。
通过这样处理，驾驶员能够从视觉、听觉和触觉的各方面感觉到犹如本车辆压过以逐渐逼近的方式显示的视觉刺激虚拟物体上。由此能够维持驾驶员的清醒状态。
另外，在上述说明中，说明了感觉刺激控制单元108包括声音控制单元105和振动控制单元106的情况，但也可以仅包括其中一方。此时，从触发单元102输出的触发信号、从速度信息取得单元103输出的车辆速度和从定时控制单元104输出的时间信息各一个被输出到感觉刺激控制单元108。感觉刺激控制单元108仅包括声音信号控制单元105时，触发信号、车辆速度和时间信息分别输出到声音信号控制单元105。感觉刺激控制单元108仅包括振动控制单元106时，触发信号、车辆速度和时间信息分别输出到振动控制单元106。由此，通过较少的部件数也可以获得维持驾驶员的清醒状态的足够的效果。
[实施方式2]
在实施方式2中，说明本车辆的速度变化的情况。
图7是表示本发明实施方式2的清醒状态维持装置700的结构的方框图。在图7中，清醒状态维持装置700包括：驾驶员状态判定单元101、触发单元102、速度信息取得单元103、定时控制单元104、感觉刺激控制单元703和视觉刺激控制单元704。感觉刺激控制单元703包括声音信号控制单元701和振动控制单元702。另外，在本实施方式中，对与实施方式1相同的结构元素赋予相同的标号并省略其说明。
声音控制单元701基本上具有与声音信号控制单元105相同的功能。在上次取得的速度信息V的值(V0)和本次取得的速度信息V的值不同时(即，本车辆的速度有变化时)，声音信号控制单元701基于上次取得的速度信息V的值与本次取得的速度信息V的值之比，更新目前的时间信息T。也就是说，每当本车辆的速度信息发生变化时，至发出听觉刺激声音为止的时间被更新。
振动控制单元702基本上具有与振动控制单元106相同的功能。在上次取得的速度信息V的值(V0)和本次取得的速度信息V的值不同时(即，本车辆的速度有变化时)，振动控制单元702基于上次取得的速度信息V的值与本次取得的速度信息V的值之比，更新目前的时间信息T。也就是说，每当本车辆的速度信息发生变化时，至施加触觉刺激振动为止的时间被更新。
视觉刺激控制单元704基本上具有与视觉刺激控制单元107相同的功能。在上次取得的速度信息V的值(V0)和本次取得的速度信息V的值不同时(即，本车辆的速度有变化时)，视觉刺激控制单元704基于上次取得的速度信息V的值与本次取得的速度信息V的值之比，更新目前的时间信息T。
下面说明具有以上的结构的清醒状态维持装置700的动作。这里，主要说明声音信号控制单元701、振动控制单元702和视觉刺激控制单元704的处理。
图8是用于说明声音信号控制单元701的动作的流程图。从步骤S401至步骤S407为止与图4所示的声音信号控制单元105的动作相同，因此省略其说明。
在步骤S404判定为更新后的时间信息T不小于零时，声音控制单元701在步骤S801从速度信息取得单元103取得速度信息V，在步骤S802判定本次取得的速度信息V的值是否与上次取得的速度信息V的值(V0)不同。
在本次取得的速度信息V的值与上次取得的速度信息V的值(V0)不同时，在步骤S803，声音信号控制单元701通过对目前保持的时间信息T乘以上次取得的速度信息V的值(V0)与本次取得的速度信息V的值之比，从而进行时间信息T的更新处理。也就是说，根据本车辆的速度信息的变化前后之比，将至发出听觉刺激声音为止的时间进行更新。
另一方面，在本次取得的速度信息V的值与上次取得的速度信息V的值(V0)相同时，声音信号控制单元701不进行时间信息T的更新处理。
图9是用于说明振动控制单元702的动作的流程图。从步骤S501至步骤S507为止与图5所示的振动信号控制单元106的动作相同，因此省略其说明。
在步骤S504判定为更新后的时间信息T不小于零时，振动控制单元702在步骤S901从速度信息取得单元103取得速度信息V，在步骤S902判定本次取得的速度信息V的值是否与上次取得的速度信息V的值(V0)不同。
在本次取得的速度信息V的值与上次取得的速度信息V的值(V0)不同时，振动控制单元702在步骤S903通过对目前保持的时间信息T乘以上次取得的速度信息V的值(V0)与本次取得的速度信息V的值之比，从而进行时间信息T的更新处理。也就是说，根据本车辆的速度信息的变化前后之比，至施加触觉刺激振动为止的时间被更新。
另一方面，在本次取得的速度信息V的值与上次取得的速度信息V的值(V0)相同时，振动控制单元702不进行时间信息T的更新处理。
图10是用于说明视觉刺激控制单元704的动作的流程图。从步骤S601至步骤S609为止与图6所示的视觉刺激控制单元107的动作相同，因此省略其说明。
在步骤S608判定为不小于零时，视觉刺激控制单元704在步骤S1001取得速度信息V，在步骤S1002判定本次取得的速度信息V的值是否与上次取得的速度信息V的值(V0)不同。
在本次取得的速度信息V的值与上次取得的速度信息V的值(V0)不同时，在步骤S1003，视觉刺激控制单元704通过对目前保持的时间信息T乘以上次取得的速度信息V的值(V0)与本次取得的速度信息V的值之比，从而进行时间信息T的更新处理。
这样，根据本实施方式，在清醒状态维持装置700中，声音信号控制单元701、振动控制单元702和视觉刺激控制单元704在车辆的速度变化时，基于变化前后的速度更新剩余时间。
通过这样处理，能够与输出触发信号以后的车辆的加速或减速对应地提高视觉刺激图像的显示位置以及声音信号和振动的输出定时的精度，由此能够增加清醒维持效果。
另外，在上述说明中，说明了感觉刺激控制单元703包括声音控制单元701和振动控制单元702的情况，但也可以仅包括其中一方。此时，从触发单元102输出的触发信号、从速度信息取得单元103输出的车辆速度和从定时控制单元104输出的时间信息各一个被输出到感觉刺激控制单元703。感觉刺激控制单元703仅包括声音信号控制单元701时，触发信号、车辆速度和时间信息分别输出到声音信号控制单元701。感觉刺激控制单元703仅包括振动控制单元702时，触发信号、车辆速度和时间信息分别输出到振动信号控制单元702。由此，通过较少的部件数也可以获得维持驾驶员的清醒状态的足够的效果。
[实施方式3]
在实施方式3中，将视觉刺激图像重叠显示在通过摄像单元实际拍摄的图像上。
图11是表示本发明实施方式3的清醒状态维持装置1100的结构的方框图。在图11中，清醒状态维持装置1100包括：驾驶员状态判定单元101、触发单元102、速度信息取得单元103、定时控制单元104、感觉刺激控制单元703和视觉刺激控制单元1101。另外，在本实施方式中，对与实施方式1或实施方式2相同的结构元素赋予相同的标号并省略其说明。
视觉刺激控制单元1101基本上具有与视觉刺激控制单元704相同的功能。视觉刺激控制单元1101从由本车辆装载的相机拍摄的车辆前方的图像(以下称为“前方图像”)，检测道路形状，基于检测的道路形状生成视觉刺激图像。然后，视觉刺激控制单元1101生成将该前方图像和视觉刺激图像重叠的重叠图像。将该重叠图像输出到显示单元并进行显示。
下面说明具有以上的结构的清醒状态维持装置1100的动作。
在本实施方式中，说明使用路面上的白线检测道路形状的情况。
图12是用于说明视觉刺激控制单元1101的动作的流程图。图13是表示车辆、相机、视觉刺激虚拟物体和白线之间的位置关系的图。图13A表示实际空间中的位置关系，图13B表示从上方观察图13A的位置关系。
在步骤S1201，视觉刺激控制单元1101取得由相机1301拍摄的车辆前方的图像。
视觉刺激控制单元1101在步骤S1202从前方图像检测白线1303的图像，在步骤S1203将其投影到虚拟空间上。
在步骤S1204，视觉刺激控制单元1101进行控制以在对应于虚拟间距D的显示位置上显示视觉刺激图像。此时，在与从白线的位置求得的道路形状配合的位置上，显示视觉刺激图像。具体而言，例如可以举出，按照道路形状的虚拟间距D的位置上显示视觉刺激图像，或者显示与道路宽度配合的大小的视觉刺激图像。
在步骤S1205，视觉刺激控制单元1101进行控制以使视觉刺激虚拟物体1302的图像与前方图像重叠并显示。
另外，这里将视觉刺激图像直接显示在车辆的前方图像上，但也可以显示如图13B所示的虚拟空间。
另外，这里说明了将视觉刺激控制单元1101适用于实施方式2中说明的清醒状态维持装置的结构的情况，但不限于此，也可以适用于实施方式1中说明的清醒状态维持装置的结构。
如上所述，根据本实施方式，在清醒状态维持装置1100中，视觉刺激控制单元1101从车辆的前方图像检测道路形状，基于检测出的道路形状生成视觉刺激图像，使该前方图像与视觉刺激图像重叠并显示。
另外，作为道路形状的检测方法，可以使用相机检测护栏等路边物，也可以利用本车辆的位置、姿态信息和地图信息来检测。
由此，能够实现更富有现实感的显示，能够增加清醒维持效果。
另外，在上述说明中，说明了感觉刺激控制单元703包括声音控制单元701和振动控制单元702的情况，但也可以仅包括其中一方。此时，从触发单元102输出的触发信号、从速度信息取得单元103输出的车辆速度和从定时控制单元104输出的时间信息各一个被输出到感觉刺激控制单元703。感觉刺激控制单元703仅包括声音信号控制单元701时，触发信号、车辆速度和时间信息分别输出到声音信号控制单元701。感觉刺激控制单元703仅包括振动控制单元702时，触发信号、车辆速度和时间信息分别输出到振动控制单元702。由此，通过较少的部件数也可以获得维持驾驶员的清醒状态的足够的效果。
[实施方式4]
在实施方式4，检测驾驶员的眼球位置，以根据该眼球位置在前窗上适合地显示视觉刺激虚拟物体的方式生成视觉刺激图像，并将生成的视觉刺激图像显示在前窗上。
图14是表示本发明实施方式4的清醒状态维持装置1400的结构的方框图。在图14中，清醒状态维持装置1400包括：驾驶员状态判定单元101、触发单元102、速度信息取得单元103、定时控制单元104、感觉刺激控制单元703和视觉刺激控制单元1401。另外，在本实施方式中，对与从实施方式1至实施方式3相同的结构元素赋予相同的标号并省略其说明。
在本实施方式中，说明使用相机检测眼球位置的情况。
视觉刺激控制单元1401基本上具有与视觉刺激控制单元1101相同的功能。视觉刺激控制单元1401基于由本车辆的车厢内装载的相机拍摄的驾驶员的脸部图像，检测驾驶员的眼球位置。
然后，视觉刺激控制单元1401生成视觉刺激图像，其用于将从检测出的眼球位置所见的虚拟空间上配置的视觉刺激虚拟物体投影到前窗上并显示投影的图像。视觉刺激控制单元1401使用投影机等将生成的视觉刺激图像显示在前窗上。
具体而言，视觉刺激控制单元1401在虚拟空间上，以驾驶员的眼球位置作为设置位置，配置虚拟相机。另外，视觉刺激控制单元1401在虚拟空间上，在距离本车辆虚拟间距D的位置上配置视觉刺激虚拟物体1302。还有，视觉刺激控制单元1401在虚拟空间上，在实际空间的前窗的位置上配置虚拟空间上的前窗(以下称为“虚拟前窗”)。
然后，视觉刺激控制单元1401计算在虚拟空间上连接虚拟相机和视觉刺激虚拟物体1302的直线与虚拟前窗的交点。将计算出的交点群称为视觉刺激物体投影图像。然后，视觉刺激控制单元1401生成用于将视觉刺激物体投影图像用投影机显示在前窗上的视觉刺激图像1801，用投影机将其显示在前窗上。
下面说明具有以上的结构的清醒状态维持装置1400的动作。
图15是用于说明视觉刺激控制单元1401的动作的流程图。图16和图17是表示车辆、相机和视觉刺激虚拟物体之间的位置关系的图。图16表示实际空间中的位置关系，图17表示虚拟空间中的位置关系。图18是表示从驾驶员的视点观察的、显示在前窗上的视觉刺激图像1801的图。
视觉刺激控制单元1401在步骤S1501从驾驶员相机1601取得脸部图像，在步骤S1502基于脸部图像检测眼球位置。
这里，驾驶员相机1601可以由一个相机构成，也可以由多个相机构成。通过由多个相机构成，能够对应较宽的范围的脸部的动作。另外，驾驶员相机1601可以采用红外线相机。由此能够对应较暗的环境。另外，前方相机1301由具有一定距离以上的间距的至少两个相机构成。由此能够在空间上掌握拍摄的图像。
在步骤S1503，视觉刺激控制单元1401将检测出的眼球位置决定为虚拟相机1701的设置位置，在虚拟空间中将虚拟相机1701配置在该设置位置上。
在步骤S1504，视觉刺激控制单元1401将视觉刺激虚拟物体1302配置在与实际空间的本车辆和视觉刺激虚拟物体1302之间的虚拟间距D对应的、虚拟空间上的位置。
在步骤S1505，视觉刺激控制单元1401将视觉刺激图像1801显示在显示单元，该视觉刺激图像1801是，以虚拟相机1701的位置为焦点，将配置在虚拟空间上的视觉刺激虚拟物体1302的像投影到显示单元(即前窗1602)上的图像。
如上所述，根据本实施方式，在清醒状态维持装置1400中，视觉刺激控制单元1401从驾驶员的脸部图像检测眼球的位置和视线方向，显示基于该眼球位置和视线方向将视觉刺激虚拟物体1302的像投影到显示单元的投影图像，作为视觉刺激图像1801。
通过这样处理，能够始终在车辆前方的风景的适当的位置上显示视觉刺激图像1801，能够增加清醒维持效果。
另外，作为眼球位置的检测方法，可以使用跟踪器对在头部配置的传感器进行跟踪而进行检测，也可以使用在头部配置的磁性传感器进行检测，还可以使用超音波传感器进行检测，只要是能够检测眼球位置的方法，其它方法都可以。
另外，在本实施方式中，使用前窗作为显示位置，但也可以是汽车导航系统的显示器，还可以是仪表板，只要是能够显示图像的位置，其它位置都可以。
[实施方式5]
在实施方式5中，除了与实施方式1同样地基于驾驶员的清醒度决定触发信号的输出定时以外，还根据本车辆是否正在通过特定的区间，决定触发信号的输出定时。
图19是表示本发明实施方式5的清醒状态维持装置1900的结构的方框图。在图19中，清醒状态维持装置1900包括：驾驶员状态判定单元101、速度信息取得单元103、定时控制单元104、感觉刺激控制单元108、视觉刺激控制单元107、区间通过判定单元1901和触发单元1902。另外，在本实施方式中，对与从实施方式1至实施方式4相同的结构元素赋予相同的标号并省略其说明。
区间通过判定单元1901预先取得表示应输出触发信号的区间(以下称为“触发输出区间”)的信息(以下称为“输出区间信息”)，由此判定本车辆是否处于触发输出区间内。
具体而言，区间通过判定单元1901经由网络等取得输出区间信息，例如使用汽车导航系统的位置信息等，判断本车辆是否处于输出区间信息所示的区间内。
作为触发输出区间，例如使用根据交通事故的统计，频繁发生打瞌睡引起的事故的区间。另外，触发输出区间也可以是基于先前的驾驶员状态判定单元101中的判定结果，驾驶员的清醒度较低的区间，还可以是基于其他驾驶员的驾驶员状态判定单元101中的判定结果，驾驶员的清醒度较低的频度较高的区间。
作为输出区间信息的取得方法，例如可以采用经由移动电话的运营商网络或者路旁设置的信标台(Beacon)取得的方法。另外，也可以预先由区间通过判定单元1901存储输出区间信息。另外，还可以采用：利用存储媒体或网络，下载更新的信息的方式。
触发单元1902基本上具有与触发单元102相同的功能。触发单元1902基于区间通过判定单元1901的判定结果，将触发信号输出到声音信号控制单元105、振动控制单元106和视觉刺激控制单元107。也就是说，在区间通过判定单元1901中判定为本车辆处于触发输出区间内的情况下，触发单元1902输出触发信号。触发单元1902的其它动作与实施方式1中的触发单元102相同。
下面说明具有以上的结构的清醒状态维持装置1900的动作。
图20是用于说明区间通过判定单元1901的动作的流程图。
区间通过判定单元1901在步骤S2001取得位置信息P后，在步骤S2002判定取得的位置信息P是否为触发输出期间内，是区间内时(“是”)，在步骤S2003将表示“区间内”的判定结果输出到触发单元1902，不是区间内时(“否”)，在步骤S2004将表示“区间外”的判定结果输出到触发单元1902。
如上所述，根据本实施方式，在清醒状态维持装置1900中，区间通过判定单元1901判定本车辆是否处于应输出触发信号的区间内，在处于区间内时，触发单元1902将触发信号输出到声音信号控制单元105、振动控制单元106和视觉刺激控制单元107。
通过这样处理，能够在容易引起清醒度下降的区间提示刺激，能够增加清醒维持效果。
[实施方式6]
在实施方式6中，除了与实施方式1同样地基于驾驶员的清醒度决定触发信号的输出定时以外，还根据本车辆是否正在通过特定的区间，决定触发信号的输出定时。
图21是表示本发明实施方式6的清醒状态维持装置2100的结构的方框图。在图21中，清醒状态维持装置2100包括：驾驶员状态判定单元101、速度信息取得单元103、定时控制单元104、感觉刺激控制单元108、视觉刺激控制单元107、区间通过判定单元2101和触发单元1902。另外，在本实施方式中，对与从实施方式1至实施方式5相同的结构元素赋予相同的标号并省略其说明。
区间通过判定单元2101判定是否取得了表示本车辆进入触发输出区间的事实的信息(以下称为“输出区间进入信息”)。
具体而言，区间通过判定单元2101总是监视是否取得了输出区间进入信息，并取得输出区间进入信息后，立即将进入触发输出期间的事实传达到触发单元1902。
作为触发输出区间，例如使用根据交通事故的统计，频繁发生打瞌睡引起的事故的区间。另外，触发输出区间也可以是基于先前的驾驶员状态判定单元101中的判定结果，驾驶员的清醒度较低的区间，还可以是基于其他驾驶员的驾驶员状态判定单元101中的判定结果，驾驶员的清醒度较低的频度较高的区间。
作为输出区间进入信息的取得方法，例如可以采用经由移动电话的运营商网络或者路旁设置的信标台(Beacon)取得的方法。
下面说明具有以上的结构的清醒状态维持装置2100的动作。
图22是用于说明区间通过判定单元2101的动作的流程图。
区间通过判定单元2101在步骤S2201判定是否取得了输出期间进入信息，在取得时(“是”)，在步骤S2202将表示“区间内”的判定结果输出到触发单元1902，在未取得时(“否”)，在步骤S2203将表示“区间外”的判定结果输出到触发单元1902。
如上所述，根据本实施方式，在清醒状态维持装置2100中，区间通过判定单元2101判定本车辆是否进入应输出触发信号的区间内，在进入区间内时，触发单元2102将触发信号输出到声音信号控制单元105、振动控制单元106和视觉刺激控制单元107。
通过这样处理，能够在容易引起清醒度下降的区间提示刺激，能够增加清醒维持效果。
另外，区间通过判定单元2101可以不使用输出区间进入信息进行判定，而通过有无取得表示处于触发输出区间内的事实的信息(输出区间内信息)进行判定。区间通过判定单元2101在取得输出区间内信息时，将处于触发输出区间内的事实传达给触发单元1902，在经过规定的超时时间之前不能获得下一个输出区间信息时，将处于触发输出区间内的事实传达到触发单元1902即可。
另外，在上述实施方式中，以由硬件构成本发明的情况为例进行了说明，但本发明在硬件的协作下，也可以由软件实现。
另外，用于上述实施方式的说明中的各功能块通常被作为集成电路的LSI来实现。这些功能块既可以被单独地集成为单芯片，也可以包含一部分或全部地被集成为单芯片。虽然此处称为LSI，但根据集成程度，可以被称为IC、系统LSI、超大LSI(SuperLSI)、或特大LSI(UltraLSI)。
另外，实现集成电路化的方法不仅限于LSI，也可使用专用电路或通用处理器来实现。也可以使用可在LSI制造后编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)，或者可重构LSI内部的电路单元的连接和设定的可重构处理器。
再者，随着半导体的技术进步或随之派生的其它技术的出现，如果出现能够替代LSI的集成电路化的新技术，当然可利用该新技术进行功能块的集成化。还存在着适用生物技术等的可能性。
2010年5月7日提交的日本专利申请第2010-107419号所包含的说明书、说明书附图和说明书摘要的公开内容，全都引用于本申请。
工业实用性
本发明的清醒状态维持装置和清醒状态维持方法，作为与车辆的行驶状态配合地显示用于刺激驾驶员的视觉的图像，并且产生用于刺激听觉的声音和用于刺激触觉的振动，从而维持驾驶员的清醒状态的装置和方法是很有用的。
权利要求书(按照条约第19条的修改)
1.(修改后)清醒状态维持装置，其维持车辆的驾驶员的清醒状态，包括：
速度信息取得单元，取得有关所述车辆的速度的信息；
定时控制单元，基于所述速度计算时间信息；
触发单元，空开规定的时间间隔，输出触发信号；
视觉刺激控制单元，在取得所述触发信号时，计算与所述时间信息和所述速度的乘积对应的虚拟间距，在虚拟空间上将视觉刺激虚拟物体配置在距离所述车辆该虚拟间距的位置上，生成并显示用于以规定的显示方式显示所述视觉刺激虚拟物体的视觉刺激图像，并且从所述显示的定时起对所述时间信息进行倒计时，显示在对应于所述时间信息和所述速度的乘积的位置上配置了所述视觉刺激虚拟物体的所述视觉刺激图像；以及
感觉刺激控制单元，从所述显示的定时起对所述时间信息进行倒计时，在所述时间信息小于零的时候，输出声音信号或者振动。
2.(修改后)如权利要求1所述的清醒状态维持装置，
在所述速度变化时，所述视觉刺激控制单元和所述感觉刺激控制单元基于变化前后的速度，更新所述倒计时的时间信息。
3.(修改后)如权利要求1所述的清醒状态维持装置，
所述视觉刺激控制单元根据所述车辆的前方的道路形状生成视觉刺激图像，重叠显示该视觉刺激图像和所述车辆的前方图像。
4.(修改后)如权利要求1所述的清醒状态维持装置，
所述显示控制单元检测所述驾驶员的眼球位置，基于所述眼球位置显示所述视觉刺激虚拟物体作为所述视觉刺激图像。
5.(修改后)如权利要求1所述的清醒状态维持装置，还包括：
区间通过判定单元，判定本车辆是否正在通过特定的区间，
在所述区间通过判定单元判定为正在通过特定的区间时，所述触发单元输出所述触发信号。
6.(修改后)清醒状态维持方法，用于维持车辆的驾驶员的清醒状态，包括以下步骤：
由速度信息取得单元取得有关所述车辆的速度的信息；
由定时控制单元基于所述速度计算时间信息；
由触发单元空开规定的时间间隔，输出触发信号；
由视觉刺激控制单元在取得所述触发信号时，计算与所述时间信息和所述速度的乘积对应的虚拟间距，在虚拟空间上将视觉刺激虚拟物体配置在距离所述车辆该虚拟间距的位置上，生成并显示用于以规定的显示方式显示所述视觉刺激虚拟物体的视觉刺激图像，并且从所述显示的定时起对所述时间信息进行倒计时，显示在对应于所述时间信息和所述速度的乘积的位置上配置了所述视觉刺激虚拟物体的所述视觉刺激图像；以及
由感觉刺激控制单元从所述显示的定时起对所述时间信息进行倒计时，在所述时间信息小于零的时候，输出声音信号或者振动。
7.(删除)

Claims (7)

1.清醒状态维持装置，其装载于车辆，用于维持所述车辆的驾驶员的清醒状态，该装置包括：
速度信息取得单元，取得有关所述车辆的速度的信息；
定时控制单元，基于所述速度计算时间信息；
触发单元，空开规定的时间间隔，输出触发信号；
视觉刺激控制单元，取得所述触发信号后，计算与所述时间信息和所述速度的乘积对应的虚拟间距，在虚拟空间上将视觉刺激虚拟物体配置在距离所述车辆该虚拟间距的位置上，生成并显示用于以规定的显示方式显示所述视觉刺激虚拟物体的视觉刺激图像，并且使用随着从所述显示的定时起的时间推移呈现所述视觉刺激虚拟物体以所述速度逐渐逼近所述车辆的视觉效果，更新所述视觉刺激图像；以及
感觉刺激控制单元，在使驾驶员感觉到所述车辆压过利用所述视觉效果看上去逐渐逼近的所述视觉刺激虚拟物体的定时，输出声音信号或者振动。
2.如权利要求1所述的清醒状态维持装置，
所述视觉刺激控制单元从所述显示的定时起对所述时间信息进行倒计时，显示在对应于所述时间信息和所述速度的乘积的位置上配置了所述视觉刺激虚拟物体的视觉刺激图像，
所述感觉刺激控制单元从所述显示的定时起对所述时间信息进行倒计时，在所述时间信息小于零的时候，输出所述声音信号或者所述振动。
3.如权利要求2所述的清醒状态维持装置，
在所述速度变化时，所述视觉刺激控制单元和所述感觉刺激控制单元基于变化前后的速度，更新所述倒计时的时间信息。
4.如权利要求1所述的清醒状态维持装置，
所述视觉刺激控制单元根据所述车辆的前方的道路形状生成视觉刺激图像，重叠显示该视觉刺激图像和所述车辆的前方图像。
5.如权利要求1所述的清醒状态维持装置，
所述显示控制单元检测所述驾驶员的眼球位置，基于所述眼球位置显示所述视觉刺激虚拟物体作为所述视觉刺激图像。
6.如权利要求1所述的清醒状态维持装置，还包括：
区间通过判定单元，判定本车辆是否正在通过特定的区间，
在所述区间通过判定单元判定为正在通过特定的区间时，所述触发单元输出所述触发信号。
7.清醒状态维持方法，用于维持车辆的驾驶员的清醒状态，包括以下步骤：
由速度信息取得单元取得有关所述车辆的速度的信息；
由定时控制单元基于所述速度计算时间信息；
由触发单元空开规定的时间间隔输出触发信号；
由视觉刺激控制单元取得所述触发信号后，计算与所述时间信息和所述速度的乘积对应的虚拟间距，在虚拟空间上将视觉刺激虚拟物体配置在距离所述车辆该虚拟间距的位置上，生成并显示用于以规定的显示方式显示所述视觉刺激虚拟物体的视觉刺激图像，并且使用随着从所述显示的定时起的时间推移呈现所述视觉刺激虚拟物体以所述速度逐渐逼近所述车辆的视觉效果，更新所述视觉刺激图像；以及
由感觉刺激控制单元，在使驾驶员感觉到所述车辆压过利用所述视觉效果看上去逐渐逼近的所述视觉刺激虚拟物体的定时，输出声音信号或者振动。
CN2011800027244A 2010-05-07 2011-04-25 清醒状态维持装置及清醒状态维持方法 Pending CN102473355A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010107419 2010-05-07
JP2010-107419 2010-05-07
PCT/JP2011/002429 WO2011138855A1 (ja) 2010-05-07 2011-04-25 覚醒状態維持装置および覚醒状態維持方法

Publications (1)

Publication Number Publication Date
CN102473355A true CN102473355A (zh) 2012-05-23

Family

ID=44903711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800027244A Pending CN102473355A (zh) 2010-05-07 2011-04-25 清醒状态维持装置及清醒状态维持方法

Country Status (4)

Country Link
US (1) US20130044000A1 (zh)
JP (1) JPWO2011138855A1 (zh)
CN (1) CN102473355A (zh)
WO (1) WO2011138855A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107985199A (zh) * 2017-12-29 2018-05-04 吉林大学 一种客车驾驶员工作状态检测与疲劳警示系统及方法
CN113474787A (zh) * 2019-01-22 2021-10-01 阿达姆认知科技有限公司 驾驶员的认知状态的检测

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460601B2 (en) 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US9491420B2 (en) 2009-09-20 2016-11-08 Tibet MIMAR Vehicle security with accident notification and embedded driver analytics
US9545224B2 (en) * 2010-11-08 2017-01-17 Optalert Australia Pty Ltd Fitness for work test
JP5858396B2 (ja) * 2011-05-16 2016-02-10 学校法人 中央大学 覚醒状態維持装置および覚醒状態維持方法
WO2013023032A1 (en) * 2011-08-11 2013-02-14 Ford Global Technologies, Llc System and method for establishing acoustic metrics to detect driver impairment
CN103622682B (zh) * 2013-11-14 2016-06-29 成都博约创信科技有限责任公司 一种检测驾驶员健康状况的系统及方法
GB2525656B (en) * 2014-05-01 2018-01-31 Jaguar Land Rover Ltd Control apparatus and related methods for addressing driver distraction
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
KR102587564B1 (ko) * 2015-10-16 2023-10-12 한국전자통신연구원 운전자의 피로도 측정 시스템 및 그 방법
JP6576225B2 (ja) * 2015-11-27 2019-09-18 クラリオン株式会社 車両用報知装置および車両用報知方法
JP2017199269A (ja) * 2016-04-28 2017-11-02 株式会社デンソー 車載機器制御装置
JP6083056B1 (ja) 2016-06-28 2017-02-22 ザーズ株式会社 安全運転支援システム
JP2018151752A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 覚醒支援装置、方法およびプログラム
JP7077284B2 (ja) * 2019-09-18 2022-05-30 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2022151067A (ja) * 2021-03-26 2022-10-07 株式会社デンソー 覚醒装置
JP7550737B2 (ja) 2021-09-29 2024-09-13 本田技研工業株式会社 車両用情報提供装置、車両用情報提供方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59216393A (ja) 1983-05-24 1984-12-06 Pioneer Electronic Corp 居眠り防止付き車載用音響再生装置
JPH028401A (ja) 1988-06-27 1990-01-11 Suehiro Sangyo Kk 音響道路
JPH05334600A (ja) * 1992-05-28 1993-12-17 Toshio Terado 自動車の路外接近警報方法
JP2002329300A (ja) * 2001-04-27 2002-11-15 Honda Motor Co Ltd 車両の走行安全装置
JP4899340B2 (ja) * 2004-08-02 2012-03-21 日産自動車株式会社 運転感覚調整装置及び運転感覚調整方法
JP2006190193A (ja) * 2005-01-07 2006-07-20 Toyota Motor Corp 車両用警報装置
JP2006244343A (ja) * 2005-03-07 2006-09-14 Nissan Motor Co Ltd ドライバ活性化誘導装置及びドライバ活性化誘導方法
JP2009042824A (ja) * 2007-08-06 2009-02-26 Toyota Motor Corp 飲酒運転防止装置
JP5113722B2 (ja) 2008-10-31 2013-01-09 アズビル株式会社 流量計測装置
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107985199A (zh) * 2017-12-29 2018-05-04 吉林大学 一种客车驾驶员工作状态检测与疲劳警示系统及方法
CN107985199B (zh) * 2017-12-29 2023-04-07 吉林大学 一种客车驾驶员工作状态检测与疲劳警示系统及方法
CN113474787A (zh) * 2019-01-22 2021-10-01 阿达姆认知科技有限公司 驾驶员的认知状态的检测

Also Published As

Publication number Publication date
WO2011138855A1 (ja) 2011-11-10
JPWO2011138855A1 (ja) 2013-07-22
US20130044000A1 (en) 2013-02-21

Similar Documents

Publication Publication Date Title
CN102473355A (zh) 清醒状态维持装置及清醒状态维持方法
US10614726B2 (en) Behaviorally-based crash avoidance system
Pérez et al. Argos: An advanced in-vehicle data recorder on a massively sensorized vehicle for car driver behavior experimentation
CN107463122A (zh) 车辆控制系统、车辆控制方法以及车辆控制程序产品
JP2023174666A (ja) 振動発生装置
Rosey et al. Driving simulator configuration impacts drivers’ behavior and control performance: An example with studies of a rural intersection
Bringoux et al. Influence of speed-related auditory feedback on braking in a 3D-driving simulator
CN104460975A (zh) 车辆操作装置
US11254316B2 (en) Driver distraction detection
Lidestam et al. Speed perception affected by field of view: Energy-based versus rhythm-based processing
Horswill et al. Auditory feedback influences perceived driving speeds
Mourant et al. Optic flow and geometric field of view in a driving simulator display
JP7172739B2 (ja) 指導システムおよび指導方法
US20110060557A1 (en) Method and system for testing a vehicle design
Maas et al. Simulator setup according to use case scenarios-A human-oriented method for virtual development
Pretto et al. Changes in optic flow and scene contrast affect the driving speed
JP2003263099A (ja) 運転シミュレータを使用した運転教習システム
JP4493575B2 (ja) 移動体シミュレータ装置およびその制御方法並びに制御プログラム
Grace et al. The Carnegie Mellon TruckSim: A tool to improve driving safety
Matowicki et al. Pragmatic overview of surrounding traffic implementation into driving simulator
Tachiiri et al. Appropriate operation inducement by biasing perception of velocity using tactile stimulation
JP2009128395A (ja) ドライビングシミュレーション装置
WO2021024008A1 (en) A lighting system for a vehicle passenger compartment
Gąsiorek et al. The influence of attention distraction on the drivers’ behaviour
Wang et al. Investigating the effects of human-machine interface on cooperative driving at non-signalized intersection using an integrated co-simulation platform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120523