JP2018156172A - 車両の表示システム及び車両の表示システムの制御方法 - Google Patents

車両の表示システム及び車両の表示システムの制御方法 Download PDF

Info

Publication number
JP2018156172A
JP2018156172A JP2017050342A JP2017050342A JP2018156172A JP 2018156172 A JP2018156172 A JP 2018156172A JP 2017050342 A JP2017050342 A JP 2017050342A JP 2017050342 A JP2017050342 A JP 2017050342A JP 2018156172 A JP2018156172 A JP 2018156172A
Authority
JP
Japan
Prior art keywords
vehicle
driver
display
outside
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017050342A
Other languages
English (en)
Other versions
JP6454368B2 (ja
Inventor
武史 鳥居
Takeshi Torii
武史 鳥居
能英瑠 佐藤
Noeru Sato
能英瑠 佐藤
瑠一 澄川
Ryuichi Sumikawa
瑠一 澄川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017050342A priority Critical patent/JP6454368B2/ja
Priority to CN201810139510.5A priority patent/CN108639055B/zh
Priority to US15/898,254 priority patent/US10336188B2/en
Publication of JP2018156172A publication Critical patent/JP2018156172A/ja
Application granted granted Critical
Publication of JP6454368B2 publication Critical patent/JP6454368B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/28—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/544—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle occupants, e.g. for indicating disabled occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B60K2360/186—
    • B60K2360/1868—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2661—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions
    • B60Q1/268—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions on windscreens or windows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】ドライバが正常な状態であるか否かに応じて、ドライバ向けの表示と車外向けの表示を最適に制御する。【解決手段】車両の窓部に表示を行うＨＵＤ装置５００と、ドライバが正常な状態であるか否かを判定するドライバ状態判定部４０６と、ドライバが正常な状態であるか否かに応じてＨＵＤ装置５００による表示を制御し、ドライバが正常であればドライバ向けの表示を行い、ドライバが正常でなければ車外向けの表示を行うように制御するＨＵＤ制御部４１４と、を備える車両の表示システムが提供される。【選択図】図１

Description

本発明は、車両の表示システム及び車両の表示システムの制御方法に関する。
従来、例えば下記の特許文献１には、走行データを分析し、ドライバの運転行為が安全運転、疲労運転、注意力散漫運転、酒酔い運転のいずれであるかを示す安全運転信号を生成し、安全運転信号をドライバに対して表示し、ドライバにそのときの自身の運転行為の状態を判断させることが記載されている。
また、近時では、顔の画像情報に基づいて人の状態を認識する技術が一般的となっている。例えば、下記の非特許文献１には、顔認識により運転中のドライバの状態を監視する技術が記載されている。
特開２０１３−１１４６６８号公報
丸山 勇人、松岡 敦子、"ドライバーモニタシステムの紹介"、２０１２年１１月、ＯＫＩテクニカルレビュー 第２２０号 Ｖｏｌ．７９ Ｎｏ．２
しかしながら、上記特許文献１に記載された技術では、安全運転、疲労運転、注意力散漫運転、酒酔い運転のいずれかであるかを示す安全運転信号をドライバに対して表示したとしても、ドライバが正常な状態でなければ、ドライバ自身が自身の運転行為を判断することは困難である。例えば、ドライバの覚醒度が低下している場合、ドライバが表示を認識できないことも想定される。このような場合、ドライバ自身が運転行為を判断することは困難である。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ドライバが正常な状態であるか否かに応じて、ドライバ向けの表示と車外向けの表示を最適に制御することが可能な、新規かつ改良された車両の表示システム及び車両の表示システムの制御方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、車両の窓部に表示を行う表示装置と、ドライバが正常な状態であるか否かを判定するドライバ状態判定部と、ドライバが正常な状態であるか否かに応じて前記表示装置による表示を制御し、前記ドライバが正常であれば前記ドライバ向けの表示を行い、前記ドライバが正常でなければ車外向けの表示を行うように制御する表示制御部と、を備える、車両の表示システムが提供される。
車外の環境情報を取得する環境情報取得部を備え、
前記表示制御部は、前記環境情報に基づいて車外に前記表示装置による表示を視認する対象が存在する場合に、前記ドライバ向け又は車外向けの前記表示を行うように制御するものであっても良い。
また、前記ドライバが車外の前記対象を認識したか否かを判定するドライバ認識判定部を備え、前記表示制御部は、前記ドライバが正常であり、且つ前記ドライバが車外の前記対象を認識した場合は、車外向けの表示を行うように制御するものであっても良い。
また、前記表示制御部は、前記ドライバが車外の前記対象を認識していない場合は、前記窓部上で前記対象に対応する位置に所定の表示を行うように制御するものであっても良い。
また、前記表示制御部は、前記所定の表示として、前記窓部上で前記対象を囲む枠を表示するように制御するものであっても良い。
また、車外の前記対象までの距離を判定する距離判定部を備え、前記表示制御部は、前記距離が所定値以下の場合は、前記所定の表示に加え、車外向けの表示を行うように制御するものであっても良い。
また、車外の状況を検出する車外センサを備え、前記環境情報取得部は、前記車外センサが検出した情報に基づいて、前記環境情報を取得するものであっても良い。
また、前記車外センサは、ステレオカメラから構成されるものであっても良い。
また、車両内に前記ドライバ以外の同乗者が存在するか否かを判定する同乗者判定部を備え、前記表示制御部は、前記ドライバが正常でない場合に、車両内に同乗者が存在する場合は、車外向けの表示に加えて、同乗者に向けた表示を行うものであっても良い。
また、ドライバの状態を撮像するカメラと、前記カメラから前記ドライバの画像情報を取得するドライバ情報取得部と、を備え、前記ドライバ状態判定部は、前記画像情報に基づいて前記ドライバが正常な状態であるか否かを判定するものであっても良い。
また、前記ドライバ状態判定部は、前記画像情報に基づいて前記ドライバの覚醒状態が正常な状態であるか否かを判定するものであっても良い。
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、ドライバが正常な状態であるか否かを判定するステップと、前記ドライバが正常な状態であるか否かに応じて前記表示装置による表示を制御し、前記ドライバが正常であればドライバ向けの表示を行い、前記ドライバが正常でなければ車外向けの表示を行うように制御するステップと、を備える、車両の表示システムの制御方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置と、ドライバの状態を判定するドライバ状態判定部と、車両外に存在する人物の状態を判定する判定部と、前記ドライバの状態と車両外に存在する前記人物の状態に応じて車内向けの表示と車外向けの表示を切り換えるように前記表示装置による表示を制御する表示制御部と、を備える、車両の表示システムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、ドライバの状態を判定するステップと、車両外に存在する人物の状態を判定するステップと、前記ドライバの状態と車両外に存在する前記人物の状態に応じて車内向けの表示と車外向けの表示を切り換えるように前記表示装置による表示を制御するステップと、を備える、車両の表示システムの制御方法が提供される。
本発明によれば、ドライバが正常な状態であるか否かに応じて、ドライバ向けの表示と車外向けの表示を最適に制御することが可能となる。
本発明の一実施形態に係る車両システムの構成を示す模式図である。 自発光中間膜を用いたＨＵＤ装置を示す模式図である。 ドライバセンサがドライバを撮影している状態を示す模式図である。 ドライバの顔領域に基づいて、顔が向いている角度等を算出する様子を示す模式図である。 ドライバの口が開いているか否かを判定する開口検知を示す模式図である。 ドライバ目が閉じているか否かを判定する様子を示す模式図である。 車内のドライバ向けに表示を行った例を示す模式図である。 助手席の同乗者に向けて表示を行った例を示す模式図である。 車外に向けた表示の例を示す模式図である。 図９の表示を対象から見やすい位置に移動させた例を示す模式図である。 ドライバが車両外の人物に気付いたか否かを判定する手法を示す模式図である。 フロントガラス上において、車両外の人物と重畳する位置に枠を重畳表示した例を示す模式図である。 フロントガラス上において、車両外の人物と重畳する位置に枠４２を重畳表示する手法を示す模式図である。 図１２の表示に加えて、図１０に示した車外向けの表示を行った例を示す模式図である。 本実施形態に係る車両システムで行われる処理を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図１は、本発明の一実施形態に係る車両システム１０００の構成を示す模式図である。車両システム１０００は、基本的には自動車などの車両に構成されるシステムである。図１に示すように、車両システム１０００は、車外センサ１００、ドライバセンサ２００、着座センサ３００、制御装置４００、ＨＵＤ装置５００、スピーカ６００、シート振動部７００を有して構成されている。
車外センサ１００は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ１００がステレオカメラから構成される場合、ステレオカメラは、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有する左右１対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置４００へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。
ＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）装置５００は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリアガラスなどのガラス上に実像を表示する。ＨＵＤは虚像を表示する装置が一般的に知られているが、本実施形態では、実像を映し出す表示装置を用いる。ＨＵＤ装置５００は、実像を表示しているため、視野角がほぼ３６０°あり、車内外から表示を視認することが可能である。
ＨＵＤ装置５００として、より具体的には、図２に示すような自発光中間膜５１０を用いる装置を用いることができる。この場合、車両のフロントガラス、リアガラス等において、表裏の２枚のガラス５２０で挟むように自発光中間膜５１０を配置する。自発光中間膜５１０には発光材料が含まれており、車内に設置するプロジェクター５３０からレーザ光を照射すると、照射された部分が発光し、文字や画像が表示される。表示物は全角度からの視認性を有し、運転席以外の席や、車両外部からも視認することができる。なお、ＨＵＤ装置５００は、自発光タイプのデバイスを車両のガラスに配置することで構成することもできる。この場合、例えば有機ＥＬ素子を用いた透明スクリーン、または透過型液晶装置等を用いることもできる。また、表示デバイスとして、ＨＵＤ装置５００以外のデバイスを用いても良く、例えばインパネに設置した大型液晶装置やＬＥＤ表示装置などを用いても良い。なお、以下では、表示装置として車両の窓部（ガラス）に表示を行うＨＵＤ装置５００を例に挙げて説明するが、本発明に係る表示装置はこれに限定されるものではなく、車両の内部又は外部に設けられた表示装置の全ての態様を含む。例えば、本実施形態に係る表示装置は、車両外部の窓部以外（ボディーなど）に設けられていても良く、車両内部の窓部以外（インパネ、座席など）に設けられていても良い。また、車両の内部に設けられた表示装置と車両の外部に設けられた表示装置は一体であっても良いし、別体であっても良い。
ドライバセンサ２００は、カメラ、視線センサ、モーションセンサ等から構成され、ドライバ（運転者）の頭や腕の動き、視線方向などを測定する。ドライバセンサ２００がカメラから構成される場合、カメラが撮像した画像を画像処理することで、頭や腕の動き、視線方向などを取得する。ドライバセンサ２００が視線センサから構成される場合、角膜反射法などの方法により視線検出を行う。着座センサ３００は、車両内の各座席に設けられ、座席に人が座ったか否かを判定する。スピーカ６００は、ＨＵＤ装置５００によって車両の内外へ警告を表示する際に、車両の内外へ警告音を発生させる。シート振動部７００は、車両の座席に設けられ、ＨＵＤ装置５００によって車両内へ警告を表示する際に、座席を振動することでドライバ、同乗者へ警告を行う。
制御装置４００は、車外センサ１００、ドライバセンサ２００等が検出した情報に基づいて、ＨＵＤ装置５００による表示を制御する。このため、制御装置４００は、環境情報取得部４０２、ドライバ情報取得部４０４、ドライバ状態判定部４０６、環境状態判定部４０７、着座状態判定部（同乗者判定部）４０８、距離判定部４１０、ドライバ認識判定部４１２、ＨＵＤ制御部（表示制御部）４１４を有している。なお、制御装置４００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。
環境情報取得部４０２は、車外センサ１００を構成するステレオカメラの左右１組のカメラによって撮像した左右１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部４０２は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部４０２は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置４００は、人物、他車両、一時停止の標識、停止線、ＥＴＣゲートなどを認識することもできる。
また、環境情報取得部４０２は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。
このように、環境情報取得部４０２は、車外センサ１００から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報を分析して車両外の環境情報を取得する。
図３は、ドライバセンサ２００がカメラから構成される場合に、ドライバセンサ２００がドライバを撮影している状態を示す模式図である。図３に示すように、ドライバセンサ２００は、一例としてステアリングコラムの上部に設置される。
ドライバセンサ２００がカメラから構成される場合、ドライバセンサ２００によって撮影された画像は、制御装置４００に入力される。ドライバ情報取得部４０４は、入力画像からエッジ検出、顔検出等の画像処理技術を用いてドライバの顔領域を取得し、顔領域に基づいて顔向きを取得する。ドライバ状態判定部４０６は、顔向きに基づいてドライバが脇見をしているか否かを判定する。また、ドライバ情報取得部４０４は、目、鼻、口など顔の各部位の特徴点の位置情報を検知し、ドライバ状態判定部４０６は、位置情報に基づいて眠気、居眠りなど前方不注意の可能性などドライバの状態を判定する。
図４は、検出されたドライバの顔領域１０に基づいて、顔が向いている角度等を算出する様子を示す模式図である。画像情報から得られるドライバの顔領域１０に基づいて、ドライバの顔向きが予め定めた領域を外れているか否かをモニタリングすることで、脇見の可能性を判定することができる。なお、ドライバの顔領域１０は、目、鼻、口など顔の各部位の特徴点の位置情報から設定できる。また、顔向きは、一例として、正面から見た時の目の間隔を基準とし、この基準と画像情報から得られる目の間隔とを比較することで推定することができる。画像情報から得られる目の間隔が基準値よりも小さい程、顔向きが正面から横向きにずれていると判断できる。
図４の右下には、検知結果２０を示している。検知結果２０には、縦軸に「顔の上下方向の角度」、横軸に「顔の左右方向の角度」を表示しており、×印３０は検知された顔向きを示している。検知結果２０において斜線を付した中央部の矩形は、ドライバが正面を向いていると判断する正面領域２２を示し、検知された顔向き（×印３０）が正面領域２２から左右の脇見領域２４に変化した場合、脇見の可能性があると判定する。正面領域２２と脇見領域２４を区別するしきい値は左右±２０°程度とすることができるが、適宜変更可能である。脇見をしているか否かの判定は、例えば基準時間に対して顔向きが脇見領域２４になった時間の比率が所定のしきい値を超えたか否かによって判定することができる。また、例えば顔向き角度が予め設定した範囲を一定時間連続して超えた場合、もしくは連続して顔の検出ができない場合は、脇見と判定することも可能である。
図５は、ドライバの口が開いているか否かを判定する開口検知を示す模式図である。図５に示すように、口の上下の特徴点間の距離Ｄ１から口の開閉状態を判定し、特徴点間の距離Ｄ１が所定値を超える場合（図５に示す開口状態）では、ドライバの口が開いている可能性があり、あくびの可能性があると判定することができる。また、例えば開口状態のまま一定時間が経過する状況が複数回検知される場合は、居眠りの危険性が増大していると判断できる。
図６は、ドライバ目が閉じているか否かを判定する様子を示す模式図である。図６に示すように、目の上下の特徴点間の距離Ｄ２から目が閉じていることを検知し、特徴点間の距離Ｄ２が所定値以下の場合（図６に示す目閉じ状態）では、居眠りの可能性があると判定することができる。居眠りをしているか否かの判定は、例えば基準時間に対して目が閉じている時間の比率（閉眼率）が所定のしきい値を超えたか否かによって判定することができる。また、目閉じ検知が複数回検知されると居眠りの危険性が増大していると判断できる。また、画像処理により瞬きを検出し、瞬きの回数に基づいて居眠りをしているか否かの判定を行っても良い。図５、図６に示す判定は、ドライバ状態判定部４０６によって行われる。
制御装置４００の環境状態判定部４０７は、環境情報取得部４０２が取得した環境情報に基づいて、車両外の環境情報を判定する。特に、環境状態判定部４０７は、車両外の対象として人物の状態を判定することができる。
着座状態判定部４０８は、着座センサ３００から得られる情報に基づいて、車両内の各座席に人が座っているか否か判定する。距離判定部４１０は、環境情報取得部４０２が取得した距離情報に基づいて、車両外の対象と車両との距離が所定距離以下であるか否かを判定する。ドライバ認識判定部４１２は、環境情報取得部４０２が取得した車両外の対象（人物）の位置と、ドライバ情報取得部４０４が取得したドライバの顔向き（又は視線）の方向に基づいて、ドライバが対象に気付いたか否かを判定する。ＨＵＤ制御部（表示制御部）４１４は、ＨＵＤ装置５００による表示を制御する。ＨＵＤ制御部（表示制御部）４１４は、ドライバ状態判定部４０６、環境状態判定部４０７、着座状態判定部４０８、距離判定部４１０、ドライバ認識判定部４１２の判定結果に基づいて、ＨＵＤ装置５００による表示を制御することができる。
本実施形態では、車外センサ１００により、車両周辺に人物や車両などが存在することが検出された場合、ＨＵＤ装置５００を用いてドライバに対して警告表示を行う。例えば、車両の走行中に進行方向前方に人物や車両などが存在する場合、ＨＵＤ装置５００による警告表示を行うことで、ドライバに対して警告を行うことができる。警告表示は車両外からも認識することができるため、警告表示を車両外部の人物、車両等に対して行うこともできる。この際、本実施形態では、ドライバ情報取得部４０４がドライバセンサ２００からドライバの情報を取得し、ドライバ状態判定部４０６によるドライバが正常であるか否かの判定結果に応じてＨＵＤ装置５００による表示を制御する。
ドライバが正常であるか否かの判定では、脇見をしているか否かの判定結果、眠気、居眠りなど前方不注意の可能性の判定結果に基づいて、ドライバの覚醒状態を判定する。そして、ドライバの覚醒状態に応じてＨＵＤ装置５００による表示を最適に制御する。なお、覚醒度の判定は、眠気のレベルや病気起因の体調異常を基に行っても良い。
図７は、車内のドライバ向けに表示を行った例を示す模式図である。ドライバセンサ２００によりドライバの状態を判定し、ドライバが正常な状態であれば、ドライバに向けた表示を行う。この場合、図７に示すように、車両のフロントガラス８０２のドライバの正面に警告表示として「前方注意」が表示される。
図８は、助手席の同乗者に向けて表示を行った例を示す模式図である。ドライバが正常な状態でなければ、同乗者、及び外部に向けて表示が行われる。図８に示すように、同乗者に向けて表示を行う場合、例えばフロントガラス８０２の助手席側に警告表示が行われる。これにより、ドライバが正常な状態でない場合に、助手席の同乗者が適切な対応を行うことも可能となる。
また、図９は、車外に向けた表示の例を示す模式図である。ドライバが正常でなければ、図９に示すように、図７の表示の表裏を反転させて、フロントガラス８０２に車外への警告表示が行われる。これにより、車両外の対象である人物４０に対して警告を促すことができる。なお、図９では図７と同一の表示を車外向けに反転させているが、車外向けに図７とは異なる表示（例えば「車両接近中！」）をしても良い。図１０は、図９の表示を対象から見やすい位置に移動させた例を示す模式図である。
また、図７に示すドライバ向けの表示を行った後、ドライバが車両外の人物４０に気付いた場合は、ドライバに更なる警告を行う必要はないため、図９のように外部への警告表示に切り替える。
図１１は、ドライバが車両外の人物４０に気付いたか否かを判定する手法を示す模式図であって、車両の上方からフロントガラス８０２を見た状態を示している。図１１において、フロントガラス８０２は、任意の高さの水平面に沿った断面を示している。図１１に示すように、車外センサ１００により車両外の人物４０が検出されると、ドライバの目の位置Ｅと人物４０を結ぶ直線Ｌ１が定まる。一方、ドライバ情報取得部４０４によりドライバの顔向き、又は視線方向を取得することで、顔向きまたは視線方向を示す直線Ｌ２が定まる。直線Ｌ１の方向と直線Ｌ２の方向が一致した場合、または直線Ｌ１の方向を中心とする所定角度の範囲に直線Ｌ２が含まれる場合、ドライバが車両外の人物４０に気付いたと判断できる。なお、ドライバの目の位置Ｅは、平均的な値をデフォルトとして用いても良いし、ドライバセンサ２００をステレオカメラから構成することで、三角測量の原理により取得しても良い。
また、図１２は、フロントガラス８０２上において、車両外の人物４０と重畳する位置に枠４２を重畳表示した例を示す模式図である。図７に示すドライバ向けの表示を行ってから一定時間以上、ドライバが人物４０に気付かない場合は、図１２に示す表示を行う。車両外の人物４０と枠４２を重畳表示することでドライバが人物４０を確実に視認することが可能となる。
図１３は、フロントガラス８０２上において、車両外の人物４０と重畳する位置に枠４２を重畳表示する手法を示す模式図である。図１１と同様、図１３は、車両の上方からフロントガラス８０２を見た状態を示している。図１３において、フロントガラス８０２は、任意の高さの水平面に沿った断面を示している。車外センサ１００により車両外の人物４０が検出されると、ドライバの目の位置Ｅと人物４０の輪郭を結ぶ直線Ｌ３，Ｌ４が定まる。これにより、フロントガラス８０２と直線Ｌ３，Ｌ４との交点が求まり、この交点の位置を図１２に示した枠４２の長辺４２ａとすることができる。枠４２の短辺４２ｂについても同様の手法で求めることができる。
また、図１４は、図１２の表示に加えて、図１０に示した車外向けの表示を行った例を示す模式図である。車両から人物４０までの距離が所定のしきい値（Ｌ［ｍ］）以下の場合は、図１２の重畳表示に加えて、車外向けの表示を同時に行い、車両外の人物４０に対して警告を促す。
次に、図１５のフローチャートに基づいて、本実施形態に係る車両システム１０００で行われる処理について説明する。図１５に示す処理は、制御装置４００の各構成要素によって行われ、所定の制御周期毎に繰り返し行われる。先ず、ステップＳ１０では、ドライバ情報取得部４０４がドライバの情報を取得し、ドライバ状態判定部４０６が、ドライバが正常な状態であるか否かを判定する。そして、ドライバが正常な状態であれば、ステップＳ１２へ進み、図７に示したように、ドライバ向けの表示を行う。
ステップＳ１２の後はステップＳ１４へ進み、図１１に示した手法を用いて、ドライバ認識判定部４１２が、ドライバが車両外の人物４０を認識したか否かを判定する。そして、ドライバが人物４０を認識した場合は、ステップＳ１６へ進み、図９に示したように、車外向けに表示が切り換わるように表示を変化させる。
また、ステップＳ１０でドライバが正常な状態でない場合は、ステップＳ１８へ進む。ステップＳ１８では、着座状態判定部４０８が、着座センサ３００から得られる情報に基づいて、ドライバ以外の同乗者がいるか否かを判定し、ドライバ以外の同乗者がいる場合はステップＳ２０へ進む。ステップＳ２０では、同乗者及び車外向けに表示を行う。この場合、図８及び図９に示す表示が行われる。図８及び図９に示す表示は、同時に表示しても良いし、一定時間間隔で切り換えて表示しても良い。
また、ステップＳ１８でドライバ以外の同乗者がいない場合はステップＳ２２へ進む。ステップＳ２２では、図９に示す車外向けの表示が行われる。
また、ステップＳ１４でドライバが人物４０を認識していない場合は、ステップＳ２４へ進み、ドライバが人物４０に気付き易いように枠４２の重畳表示を行う。これにより、図１２に示す表示が行われる。
ステップＳ２４の後はステップＳ２６へ進む。ステップＳ２６では、距離判定部４１０が、対象までの距離がＬ［ｍ］以下であるか否かを判定し、対象までの距離がＬ［ｍ］以下の場合はステップＳ２８へ進む。ステップＳ２８では、図１４に示したように、図１２の表示に加え、車外向けの表示も同時に行う。
ステップＳ１６，Ｓ２２，Ｓ２８の後はステップＳ３０へ進む。また、ステップＳ２６で対象までの距離がＬ［ｍ］以下でない場合もステップＳ３０へ進む。ステップＳ３０では、対象との距離が所定値以上離れたか否かを判定し、対象との距離が所定値以上離れて警告を発する必要がなくなった場合はステップＳ３２へ進む。ステップＳ３２では、フロントガラス８０２への表示を終了し、処理を終了する（ＥＮＤ）。一方、ステップＳ３０で対象との距離が所定値以上離れていない場合は、表示を終了することなく本制御周期における処理を終了する（ＥＮＤ）。
上述した説明では、ドライバと同乗者の状態に応じてＨＵＤ装置５００による表示を制御するようにしたが、ドライバの状態と車両外の対象の状態の双方に応じてＨＵＤ装置５００による表示を制御するようにしても良い。この場合、ドライバセンサ２００から得られる情報に基づいて、上述した手法と同様にドライバの状態を判定する。また、車外センサ２００から得られる情報に基づいて、環境状態判定部４０７が車外の対象（人物）の状態を判定する。車外の人物が正常であるか否かの判定は、ドライバの状態判定と同様にして行うことができる。
そして、ドライバと車両外の対象の状態が正常であるか否かに応じて、ドライバ向けの表示を行うか、車外の対象向けの表示を行うかを制御する。例えば、ドライバの状態が正常でなく、車外の対象の状態が正常であれば、車外の対象に向けて表示を行うようにＨＵＤ制御部４１４がＨＵＤ装置５００による表示を制御する。また、ドライバの状態が正常であり、車外の対象の状態が正常でなければ、ドライバに向けて表示を行うようにＨＵＤ制御部４１４がＨＵＤ装置５００による表示を制御する。
また、ドライバ認識判定部４１２によりドライバが対象に気付いているか否かを判定し、ドライバが対象に気付いていない場合は、車内に向けた表示を行い、ドライバに対象が近くにいることを警告するようにする。この場合に、図１２に示した枠４２による重畳表示を行うようにしても良い。ドライバが車外の対象に気付いた場合は、車外の対象に向けた表示に切り換える。
また、ドライバ認識判定部４１２による判定と同様の手法を用いて、車両外の対象が車両に気付いているか否かを判定し、対象が車両に気付いていない場合は、車外に向けた表示を行い、車両が近づいていることを対象に警告するようにする。対象が車両に気付いた後は、ドライバ向けに表示を切り換えることもできる。
以上説明したように本実施形態によれば、ドライバの状態に応じてＨＵＤ装置５００による車内向け表示と車外向け表示を最適に制御し、ドライバが正常であれば車内のドライバに向けて表示を行い、ドライバが正常でなければ車外に向けて表示を行うようにした。これにより、ドライバが脇見をしていたり居眠りをしているなど正常な状態でない場合は、車外への表示に切り換えることで、車外に警告を発することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
４００ 制御装置
４０２ 環境情報取得部
４０４ ドライバ情報取得部
４０６ ドライバ状態判定部
４０７ 環境状態判定部
４０８ 着座状態判定部
４１０ 距離判定部
４１２ ドライバ認識判定部
４１４ ＨＵＤ制御部

Claims (14)

  1. 車両の窓部に表示を行う表示装置と、
    ドライバが正常な状態であるか否かを判定するドライバ状態判定部と、
    ドライバが正常な状態であるか否かに応じて前記表示装置による表示を制御し、前記ドライバが正常であれば前記ドライバ向けの表示を行い、前記ドライバが正常でなければ車外向けの表示を行うように制御する表示制御部と、
    を備えることを特徴とする、車両の表示システム。
  2. 車外の環境情報を取得する環境情報取得部を備え、
    前記表示制御部は、前記環境情報に基づいて車外に前記表示装置による表示を視認する対象が存在する場合に、前記ドライバ向け又は車外向けの前記表示を行うように制御することを特徴とする、請求項１に記載の車両の表示システム。
  3. 前記ドライバが車外の前記対象を認識したか否かを判定するドライバ認識判定部を備え、
    前記表示制御部は、前記ドライバが正常であり、且つ前記ドライバが車外の前記対象を認識した場合は、車外向けの表示を行うように制御することを特徴とする、請求項２に記載の車両の表示システム。
  4. 前記表示制御部は、前記ドライバが車外の前記対象を認識していない場合は、前記窓部上で前記対象に対応する位置に所定の表示を行うように制御することを特徴とする、請求項３に記載の車両の表示システム。
  5. 前記表示制御部は、前記所定の表示として、前記窓部上で前記対象を囲む枠を表示するように制御することを特徴とする、請求項４に記載の車両の表示システム。
  6. 車外の前記対象までの距離を判定する距離判定部を備え、
    前記表示制御部は、前記距離が所定値以下の場合は、前記所定の表示に加え、車外向けの表示を行うように制御することを特徴とする、請求項４又は５に記載の車両の表示システム。
  7. 車外の状況を検出する車外センサを備え、
    前記環境情報取得部は、前記車外センサが検出した情報に基づいて、前記環境情報を取得することを特徴とする、請求項２〜６のいずれかに記載の車両の表示システム。
  8. 前記車外センサは、ステレオカメラから構成されることを特徴とする、請求項７に記載の車両の表示システム。
  9. 車両内に前記ドライバ以外の同乗者が存在するか否かを判定する同乗者判定部を備え、
    前記表示制御部は、前記ドライバが正常でない場合に、車両内に同乗者が存在する場合は、車外向けの表示に加えて、同乗者に向けた表示を行うことを特徴とする、請求項１〜８のいずれかに記載の車両の表示システム。
  10. ドライバの状態を撮像するカメラと、
    前記カメラから前記ドライバの画像情報を取得するドライバ情報取得部と、を備え、
    前記ドライバ状態判定部は、前記画像情報に基づいて前記ドライバが正常な状態であるか否かを判定することを特徴とする、請求項１〜９のいずれかに記載の車両の表示システム。
  11. 前記ドライバ状態判定部は、前記画像情報に基づいて前記ドライバの覚醒状態が正常な状態であるか否かを判定することを特徴とする、請求項１０に記載の車両の表示システム。
  12. 車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、
    ドライバが正常な状態であるか否かを判定するステップと、
    前記ドライバが正常な状態であるか否かに応じて前記表示装置による表示を制御し、前記ドライバが正常であればドライバ向けの表示を行い、前記ドライバが正常でなければ車外向けの表示を行うように制御するステップと、
    を備えることを特徴とする、車両の表示システムの制御方法。
  13. 車両の窓部に表示を行う表示装置と、
    ドライバの状態を判定するドライバ状態判定部と、
    車両外に存在する人物の状態を判定する判定部と、
    前記ドライバの状態と車両外に存在する前記人物の状態に応じて車内向けの表示と車外向けの表示を切り換えるように前記表示装置による表示を制御する表示制御部と、
    を備えることを特徴とする、車両の表示システム。
  14. 車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、
    ドライバの状態を判定するステップと、
    車両外に存在する人物の状態を判定するステップと、
    前記ドライバの状態と車両外に存在する前記人物の状態に応じて車内向けの表示と車外向けの表示を切り換えるように前記表示装置による表示を制御するステップと、
    を備えることを特徴とする、車両の表示システムの制御方法。
JP2017050342A 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法 Active JP6454368B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017050342A JP6454368B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法
CN201810139510.5A CN108639055B (zh) 2017-03-15 2018-02-11 车辆的显示系统及车辆的显示系统的控制方法
US15/898,254 US10336188B2 (en) 2017-03-15 2018-02-16 Vehicle display system and method of controlling vehicle display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017050342A JP6454368B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Publications (2)

Publication Number Publication Date
JP2018156172A true JP2018156172A (ja) 2018-10-04
JP6454368B2 JP6454368B2 (ja) 2019-01-16

Family

ID=63520871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017050342A Active JP6454368B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Country Status (3)

Country Link
US (1) US10336188B2 (ja)
JP (1) JP6454368B2 (ja)
CN (1) CN108639055B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114999225A (zh) * 2022-05-13 2022-09-02 海信集团控股股份有限公司 道路对象的信息显示方法及车辆

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7005112B2 (ja) * 2018-03-05 2022-01-21 矢崎総業株式会社 表示システム、及び、車載システム
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
IL265495B (en) * 2019-03-19 2022-09-01 Rober Ohrenstein Method for travel authorization
JP7228472B2 (ja) * 2019-06-07 2023-02-24 本田技研工業株式会社 認識装置、認識方法、およびプログラム
US10821886B1 (en) * 2019-08-13 2020-11-03 International Business Machines Corporation Sensor-based acknowledgments between road traffic participants
CN110861580B (zh) * 2019-11-19 2022-07-22 博泰车联网科技(上海)股份有限公司 驾驶方法及相关产品
JP2021091305A (ja) * 2019-12-10 2021-06-17 本田技研工業株式会社 自動運転車用情報提示装置
WO2021132250A1 (en) * 2019-12-26 2021-07-01 Ricoh Company, Ltd. In-vehicle display device and program
US11760370B2 (en) * 2019-12-31 2023-09-19 Gm Cruise Holdings Llc Augmented reality notification system
US11449068B2 (en) * 2020-05-11 2022-09-20 Deere & Company Mobile work machine state detection and visualization system
US20220005356A1 (en) * 2020-07-06 2022-01-06 Hyundai Mobis Co., Ltd. Apparatus for displaying display information according to driving environment and method thereof
CN114056344A (zh) * 2020-08-03 2022-02-18 奥迪股份公司 车内信息显示系统及相应车辆、方法、计算机设备和介质
CN114596687A (zh) * 2020-12-01 2022-06-07 咸瑞科技股份有限公司 车内驾驶监测系统
JP2022155703A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 脇見判定装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249477A (ja) * 2006-03-15 2007-09-27 Denso Corp 車載用情報伝達装置
JP2008143381A (ja) * 2006-12-11 2008-06-26 Toyota Motor Corp 車両用警告システム、車両用警告システムの警告方法
JP2010113601A (ja) * 2008-11-07 2010-05-20 Toyota Motor Corp 車両用警告装置
JP2010217956A (ja) * 2009-03-13 2010-09-30 Omron Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2012171474A (ja) * 2011-02-21 2012-09-10 Denso It Laboratory Inc 車載情報表示システム、車両内情報表示方法及びコンピュータプログラム
JP2015143093A (ja) * 2015-02-12 2015-08-06 株式会社デンソー 対歩行者報知装置
JP2015162005A (ja) * 2014-02-26 2015-09-07 富士重工業株式会社 自動運転システム
JP2016038866A (ja) * 2014-08-11 2016-03-22 トヨタ自動車株式会社 認知補助装置
JP2016053821A (ja) * 2014-09-03 2016-04-14 三菱電機株式会社 車載システム
US9511730B1 (en) * 2015-12-30 2016-12-06 Thunder Power Hong Kong Ltd. Collision warning system

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386247A (en) * 1993-06-02 1995-01-31 Thomson Consumer Electronics, Inc. Video display having progressively dimmed video images and constant brightness auxiliary images
AUPN003894A0 (en) * 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
JP4740689B2 (ja) * 2005-08-19 2011-08-03 エイディシーテクノロジー株式会社 車載用画像表示装置及び車載用装置
US8075169B2 (en) * 2006-11-07 2011-12-13 Rosco Inc. External safety illumination for a bus
EP2216764A4 (en) * 2007-12-05 2012-07-25 Bosch Corp VEHICLE INFORMATION DISPLAY DEVICE
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
US8704653B2 (en) 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
US8912978B2 (en) 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US8330673B2 (en) 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
US8817090B2 (en) 2009-04-02 2014-08-26 GM Global Technology Operations LLC Luminance uniformity compensation of vector projection display
US8547298B2 (en) 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8629903B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8384531B2 (en) 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
US8564502B2 (en) 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US20100253595A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Virtual controls and displays by laser projection
US8427395B2 (en) 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
US8358224B2 (en) 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
US8482486B2 (en) 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
US8384532B2 (en) 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8629784B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8317329B2 (en) 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8072686B2 (en) 2009-04-02 2011-12-06 GM Global Technology Operations LLC UV laser beamlett on full-windshield head-up display
US8269652B2 (en) 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8395529B2 (en) 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
US8830141B2 (en) 2009-04-02 2014-09-09 GM Global Technology Operations LLC Full-windshield head-up display enhancement: anti-reflective glass hard coat
US8350724B2 (en) 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
US7924146B2 (en) * 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
US8031085B1 (en) * 2010-04-15 2011-10-04 Deere & Company Context-based sound generation
CA2735458A1 (fr) * 2011-03-22 2012-09-22 Denis Hugron Systeme interactif pour la prevention des accidents automobiles causes par le non respect des regles de la circulation, procede de fabrication et utilisation du systeme avec des vehicules
US20130030645A1 (en) * 2011-07-28 2013-01-31 Panasonic Corporation Auto-control of vehicle infotainment system based on extracted characteristics of car occupants
TWI447039B (zh) 2011-11-25 2014-08-01 駕駛行為分析警示系統與方法
US8571743B1 (en) * 2012-04-09 2013-10-29 Google Inc. Control of vehicles based on auditory signals
US8761991B1 (en) * 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US9405006B2 (en) * 2012-09-03 2016-08-02 Toyota Jidosha Kabushiki Kaisha Collision determination device and collision determination method
JP5696712B2 (ja) * 2012-11-05 2015-04-08 株式会社デンソー 情報表示システム
JP6346614B2 (ja) * 2013-09-13 2018-06-20 マクセル株式会社 情報表示システム
WO2015051461A1 (en) 2013-10-09 2015-04-16 Magna Closures Inc. Control of display for vehicle window
US9349293B2 (en) * 2014-02-07 2016-05-24 Here Global B.V Method and apparatus for providing vehicle synchronization to facilitate a crossing
US9475422B2 (en) * 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
KR102272774B1 (ko) * 2015-03-18 2021-07-05 현대자동차주식회사 차량, 및 차량의 제어방법
US20170210285A1 (en) * 2016-01-26 2017-07-27 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Flexible led display for adas application
US9953538B1 (en) * 2017-01-17 2018-04-24 Lyft, Inc. Autonomous vehicle notification system
US9769616B1 (en) * 2017-04-04 2017-09-19 Lyft, Inc. Geohash-related location predictions

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249477A (ja) * 2006-03-15 2007-09-27 Denso Corp 車載用情報伝達装置
JP2008143381A (ja) * 2006-12-11 2008-06-26 Toyota Motor Corp 車両用警告システム、車両用警告システムの警告方法
JP2010113601A (ja) * 2008-11-07 2010-05-20 Toyota Motor Corp 車両用警告装置
JP2010217956A (ja) * 2009-03-13 2010-09-30 Omron Corp 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2012171474A (ja) * 2011-02-21 2012-09-10 Denso It Laboratory Inc 車載情報表示システム、車両内情報表示方法及びコンピュータプログラム
JP2015162005A (ja) * 2014-02-26 2015-09-07 富士重工業株式会社 自動運転システム
JP2016038866A (ja) * 2014-08-11 2016-03-22 トヨタ自動車株式会社 認知補助装置
JP2016053821A (ja) * 2014-09-03 2016-04-14 三菱電機株式会社 車載システム
JP2015143093A (ja) * 2015-02-12 2015-08-06 株式会社デンソー 対歩行者報知装置
US9511730B1 (en) * 2015-12-30 2016-12-06 Thunder Power Hong Kong Ltd. Collision warning system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114999225A (zh) * 2022-05-13 2022-09-02 海信集团控股股份有限公司 道路对象的信息显示方法及车辆
CN114999225B (zh) * 2022-05-13 2024-03-08 海信集团控股股份有限公司 道路对象的信息显示方法及车辆

Also Published As

Publication number Publication date
US10336188B2 (en) 2019-07-02
CN108639055A (zh) 2018-10-12
JP6454368B2 (ja) 2019-01-16
CN108639055B (zh) 2019-11-15
US20180264940A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US10311735B2 (en) Vehicle display system and method of controlling vehicle display system
JP6470334B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6655036B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6554131B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6445607B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6666892B2 (ja) 運転支援装置及び運転支援方法
JP2017151637A (ja) 表示装置
CN109305105A (zh) 一种a柱盲区监测装置、车辆及方法
US20150124097A1 (en) Optical reproduction and detection system in a vehicle
TWI522257B (zh) 車用安全系統及其運作方法
JP6811743B2 (ja) 安全運転支援装置
JP7276082B2 (ja) 運転者状態推定装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181214

R150 Certificate of patent or registration of utility model

Ref document number: 6454368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250