JP2023035244A - 車両用警告システム - Google Patents

車両用警告システム Download PDF

Info

Publication number
JP2023035244A
JP2023035244A JP2021141918A JP2021141918A JP2023035244A JP 2023035244 A JP2023035244 A JP 2023035244A JP 2021141918 A JP2021141918 A JP 2021141918A JP 2021141918 A JP2021141918 A JP 2021141918A JP 2023035244 A JP2023035244 A JP 2023035244A
Authority
JP
Japan
Prior art keywords
driver
display
warning
vehicle
contact lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021141918A
Other languages
English (en)
Inventor
正輝 加藤
Masateru Kato
恭裕 三浦
Yasuhiro Miura
智洋 稲田
Tomohiro Inada
均至 村木
Kinji Muraki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021141918A priority Critical patent/JP2023035244A/ja
Priority to US17/888,481 priority patent/US11897496B2/en
Publication of JP2023035244A publication Critical patent/JP2023035244A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/04—Contact lenses for the eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/06—Remotely controlled electronic signs other than labels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Eyeglasses (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】運転者が居眠り又はよそ見をしているときに、これらを警告するための警告表示を運転者に視覚的に認識させることが可能車両用警告システムを提供する。【解決手段】車両１２の運転者Ｄの状態に基づいて、運転者が居眠り又はよそ見をしているか否かを判定する判定部と、運転者の眼球Ｅに装着されるスマートコンタクトレンズ４０と、運転者が居眠り又はよそ見をしていると判定部が判定したときに、スマートコンタクトレンズに警告表示を行わせる表示制御部と、を備える。【選択図】図１

Description

本発明は、車両用警告システムに関する。
下記特許文献１には、運転者が居眠りをしていると判定したときに、ヘッドアップディスプレイが警告表示を行う車両用警告システムが開示されている。
特開平０７－０６９０９２号公報
上記特許文献１の発明では、ヘッドアップディスプレイが警告表示を行ったときに、居眠りをしている運転者が当該警告表示を視覚的に認識しないおそれがある。
本発明は上記事実を考慮し、運転者が居眠り又はよそ見をしているときに、これらを警告するための警告表示を運転者に視覚的に認識させることが可能な車両用警告システムを得ることを目的とする。
請求項１に記載の車両用警告システムは、車両の運転者の状態に基づいて、前記運転者が居眠り又はよそ見をしているか否かを判定する判定部と、前記運転者の眼球に装着されるスマートコンタクトレンズと、前記運転者が居眠り又はよそ見をしていると前記判定部が判定したときに、前記スマートコンタクトレンズに警告表示を行わせる表示制御部と、を備える。
請求項１に記載の車両用警告システムでは、運転者が居眠り又はよそ見をしていると判定部が判定したときに、表示制御部がスマートコンタクトレンズに警告表示を行わせる。運転者が瞼を閉じていたりよそ見をしたりしている場合であっても、スマートコンタクトレンズが警告表示を行うと、運転者はこの警告表示を視覚的に認識する。即ち、運転者がこれらの警告表示に気付かないおそれは小さい。
請求項２に記載の発明に係る車両用警告システムは、請求項１記載の発明において、前記運転者の顔を撮影可能なカメラを備え、前記判定部が、前記カメラの撮影データに基づいて、前記運転者の瞼が一定時間以上閉じていると判定したときに、前記運転者が居眠りをしていると判定する。
請求項２に記載の発明では、カメラの撮影データに基づいて、運転者の瞼が一定時間以上閉じていると判定したときに、運転者が居眠りをしていると判定部が判定する。そのため、判定部による居眠り判定の精度が高くなる。従って、居眠りをしていない運転者が装着しているスマートコンタクトレンズが警告表示を行うおそれが小さくなるので、運転者が煩わしさを感じ難くなる。
請求項３に記載の発明に係る車両用警告システムは、請求項２記載の発明において、前記判定部が、前記運転者の覚醒度を判定し、前記判定部が判定した前記運転者の覚醒度に応じて、前記表示制御部が前記スマートコンタクトレンズに表示させる警告表示の内容を変更する。
請求項３に記載の発明では、例えば、覚醒度が低い場合に、覚醒度が高い場合と比べて、運転者により強い刺激を与えることが可能な警告表示をスマートコンタクトレンズに表示させることが可能である。即ち、覚醒度に応じた適切な警告をスマートコンタクトレンズが表示できる。
請求項４に記載の発明に係る車両用警告システムは、請求項１～３の何れか１項の発明において、前記運転者の顔を撮影可能なカメラを備え、前記判定部が、前記カメラの撮影データに基づいて、前記運転者が一定時間以上所定方向とは異なる方向を見ていると判定したときに、前記運転者がよそ見をしていると判定する。
請求項４に記載の発明では、カメラの撮影データに基づいて、運転者が一定時間以上所定方向とは異なる方向を見ていると判定したときに、運転者がよそ見をしていると判定部が判定する。そのため、判定部によるよそ見判定の精度が高くなる。従って、よそ見をしていない運転者が装着しているスマートコンタクトレンズが警告表示を行うおそれが小さくなるので、運転者が煩わしさを感じ難くなる。
請求項５に記載の発明に係る車両用警告システムは、請求項４記載の発明において、前記判定部が、前記運転者によるよそ見の程度を表すよそ見レベルを判定し、前記判定部が判定した前記よそ見レベルに応じて、前記表示制御部が前記スマートコンタクトレンズに表示させる警告表示の内容を変更する。
請求項５に記載の発明では、よそ見レベルが高い場合に、よそ見レベルが低い場合と比べて、運転者により強い刺激を与えることが可能な警告をスマートコンタクトレンズに表示させることが可能である。即ち、よそ見の程度に応じた適切な警告をスマートコンタクトレンズが表示できる。
請求項６に記載の発明に係る車両用警告システムは、請求項１～５の何れか１項に記載の発明において、前記車両が走行可能状態にあり且つ前記運転者が居眠り又はよそ見をしていると前記判定部が判定したとき、前記表示制御部が前記スマートコンタクトレンズに警告表示を行わせる。
請求項６に記載の発明では、車両が走行不能状態にあるとき（イグニッションスイッチやスタートボタンがＯＦＦ状態にあるとき）にスマートコンタクトレンズが警告表示を行わないので、運転者が煩わしさを感じ難い。
請求項７に記載の発明に係る車両用警告システムは、請求項１～６の何れか１項の発明において、前記運転者が運転操作を行う必要がない第１所定レベルの運転支援制御を前記車両が実行していないときのみ、前記表示制御部が前記スマートコンタクトレンズに警告表示を行わせる。
請求項７に記載の発明では、運転者が運転操作を行う必要がない第１所定レベルの運転支援制御を車両が実行していないときのみ、スマートコンタクトレンズが警告表示を行なう。従って、運転者が運転操作を行う必要がない状態にあるときにスマートコンタクトレンズが警告表示を行わないので、運転者が煩わしさを感じ難い。
請求項８に記載の発明に係る車両用警告システムは、請求項１～６の何れか１項の発明において、第２所定レベルの運転支援制御を実行中の前記車両が前記運転支援制御を中断するとき、前記表示制御部が前記スマートコンタクトレンズに、前記運転支援制御が中断されることを知らせるための警告表示を行わせる。
請求項８に記載の発明では、第２所定レベルの運転支援制御を実行中の車両が運転支援制御を中断するとき、スマートコンタクトレンズがこのことを知らせるための警告表示を行なう。そのため、仮に運転者が目を瞑っている場合であっても、運転者はこの警告表示を認識でき、運転者は手動運転を実行する状態へ速やかに移行できる。
以上説明したように、本発明に係る車両用警告システムは運転者が居眠り又はよそ見をしているときに、これらを警告するための警告表示を運転者に視覚的に認識させることが可能である、という優れた効果を有する。
実施形態に係る車両用警告システムを備える車両の内部を示す図である。 図１に示される車両のハードウェア構成を示す図である。 車両の表示制御ＥＣＵの機能ブロック図である。 車両用警告システムの構成要素であるスマートコンタクトレンズを示す模式図である。 スマートコンタクトレンズの制御ユニットの機能ブロック図である。 車両の表示制御ＥＣＵが実行する処理を表すフローチャートである。 スマートコンタクトレンズの制御ユニットが実行する処理を表すフローチャートである。
以下、本発明に係る車両用警告システム１０（以下、単にシステム１０と称する）の実施形態について、図面を参照しながら説明する。
本実施形態のシステム１０の一部の構成要素が搭載された車両１２は、図１に示されるように、フロントウィンドシールド１４及びインストルメントパネル１６を備える。インストルメントパネル１６にはディスプレイ１８及び運転支援スイッチ２４が設けられている。フロントウィンドシールド１４の車内側面の上部には視線カメラ（カメラ）２０及び外部カメラ２２が設けられている。視線カメラ２０の後面にレンズ２１が設けられている。視線カメラ２０は自身より車両後方に位置する被写体を撮影可能である。例えば、視線カメラ２０は運転席に着座している運転者Ｄの顔Ｆを撮影可能である。本実施形態の視線カメラ２０は赤外線照明装置及び赤外線カメラを含む。赤外線照明装置が運転者Ｄの顔Ｆ及びその周辺に赤外線を照射し、赤外線カメラが運転者Ｄの顔Ｆ及びその周辺の被写体像を撮像する。外部カメラ２２の前面にレンズ（図示省略）が設けられている。外部カメラ２２は自身より車両前方に位置する被写体を撮影可能である。運転支援スイッチ２４は、車両１２に後述する運転支援制御を実行させるためのスイッチである。
図２に示されるように、車両１２はハードウェア構成として、視線カメラ２０、外部カメラ２２及び運転支援スイッチ２４とは別に、表示制御ＥＣＵ２６、ヘッドアップディスプレイ（以下、ＨＵＤ）２８、カーナビゲーションＥＣＵ３２、ＧＰＳ装置３４及びＡＤＡＳ－ＥＣＵ３６を有する。
表示制御ＥＣＵ２６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２６Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２６Ｃ、ストレージ２６Ｄ、無線通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２６Ｅ、車内通信Ｉ／Ｆ２６Ｆ及び入出力Ｉ／Ｆ２６Ｇを含んで構成されている。ＣＰＵ２６Ａ、ＲＯＭ２６Ｂ、ＲＡＭ２６Ｃ、ストレージ２６Ｄ、無線通信Ｉ／Ｆ２６Ｅ、車内通信Ｉ／Ｆ２６Ｆ及び入出力Ｉ／Ｆ２６Ｇは、内部バス２６Ｚを介して相互に通信可能に接続されている。
ＣＰＵ２６Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。ＣＰＵ２６Ａは、ＲＯＭ２６Ｂ又はストレージ２６Ｄからプログラムを読み出し、ＲＡＭ２６Ｃを作業領域としてプログラムを実行する。ＣＰＵ２６Ａは、ＲＯＭ２６Ｂ又はストレージ２６Ｄに記録されているプログラムに従って、各構成の制御及び各種の演算処理を行う。
ＲＯＭ２６Ｂは、各種プログラム及び各種データを格納する。ＲＡＭ２６Ｃは、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２６Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、各種プログラム及び各種データを格納する。
ＲＡＭ２６Ｃは、作業領域として一時的にプログラム又はデータを記憶する。
無線通信Ｉ／Ｆ２６Ｅは、様々な機器と無線通信するためのインターフェースである。例えば無線通信Ｉ／Ｆ２６Ｅは後述するスマートコンタクトレンズ４０と無線通信可能である。無線通信Ｉ／Ｆ２６Ｅは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。
車内通信Ｉ／Ｆ２６Ｆは、カーナビゲーションＥＣＵ３２及びＡＤＡＳ－ＥＣＵ３６と、外部バス２６Ｈを介して接続するためのインタフェースである。当該インタフェースは、例えばＣＡＮプロトコルによる通信規格が用いられている。
入出力Ｉ／Ｆ２６Ｇは、視線カメラ２０及びＨＵＤ２８と通信するためのインタフェースである。
図３には、表示制御ＥＣＵ２６の機能構成の一例がブロック図で示されている。表示制御ＥＣＵ２６は、機能構成として、居眠り判定部（判定部）２６１、よそ見判定部（判定部）２６２、表示制御部２６３及び通信制御部２６４を有する。居眠り判定部２６１、よそ見判定部２６２、表示制御部２６３及び通信制御部２６４は、ＣＰＵ２６ＡがＲＯＭ２６Ｂに記憶されたプログラムを読み出し、実行することにより実現される。
居眠り判定部２６１は、視線カメラ２０が撮影した撮影データに含まれる運転者Ｄの顔Ｆ等の状態に基づいて運転者Ｄの覚醒度を判定する。例えば居眠り判定部２６１は、運転者Ｄの眼球Ｅの周辺の画像から、運転者Ｄの瞼が開いている度合及び瞼の開閉の周期を計測する。さらに居眠り判定部２６１は、運転者Ｄの瞼が開いている度合と瞼の開閉の周期とに基づいて、運転者Ｄの覚醒度を推定する。即ち、居眠り判定部２６１は、運転者Ｄが覚醒状態と睡眠状態のいずれにあるかを判定する。本実施形態の居眠り判定部２６１は、運転者Ｄの瞼が第１閾値以上の長さの時間に渡って継続して閉じられているときのみ、運転者Ｄが睡眠状態にあると判定する。なお、第１閾値はＲＯＭ２６Ｂ又はストレージ２６Ｄに記録されている。第１閾値は、例えば５秒である。
さらに居眠り判定部２６１は、運転者Ｄが睡眠状態にあると判定したときに、睡眠レベルを判定する。本実施形態の睡眠レベルは、レベル１～３である。睡眠レベルは、レベル１、２、３の順に大きくなる。即ち、レベル１、２、３の中では、レベル３の睡眠レベルが最も大きい。換言すると、レベル１、２、３の中では、レベル３のときの睡眠深度が最も大きい。
よそ見判定部２６２は、視線カメラ２０から撮影データを受信すると、この被写体像データを画像処理する。そしてよそ見判定部２６２は、例えば特開２００２－８３４００号公報及び特開平７－６１２５７号公報等に開示された方法を用いて、運転者Ｄの視線ＥＤ（図１の一点鎖線参照）を演算（検出）する。なお、図１に示すように運転者Ｄが前方を見ているときは、視線ＥＤは運転者Ｄから前方側に延びてフロントウィンドシールド１４を前方側に通り抜ける。一方、例えば、運転者Ｄが車両の側方（左方側又は右方側）を見ているときは、視線ＥＤは運転者Ｄから側方へ延びる。
さらによそ見判定部２６２は、視線ＥＤに基づいて、運転者Ｄがよそ見をしているか否かを判定する。例えば、視線ＥＤが基準方向（所定方向）に沿っている場合は、よそ見判定部２６２は運転者Ｄが正しい方向を見ていると判定する。ここで基準方向とは、運転者Ｄの眼球Ｅから前方（水平方向）に延びる方向、並びに、前方から所定範囲内で左右方向及び上下方向の少なくとも一方にずれた方向に延びる方向、を含む方向である。一方、例えば、視線ＥＤが基準方向からずれた方向に沿っている場合は、よそ見判定部２６２は運転者Ｄがよそ見運転をしていると判定する。例えば、運転者Ｄの視線ＥＤが車両１２の左側に向かって延びているとき、よそ見判定部２６２は運転者Ｄがよそ見運転をしていると判定する。さらに本実施形態のよそ見判定部２６２は、運転者Ｄの視線ＥＤが基準方向からずれた方向に沿っている状態の継続時間が第２閾値以上の場合に、運転者Ｄがよそ見をしていると判定する。なお、第２閾値はＲＯＭ２６Ｂ又はストレージ２６Ｄに記録されている。第２閾値は、例えば５秒である。
さらによそ見判定部２６２は、運転者Ｄがよそ見運転をしていると判定したときに、よそ見レベルを演算する。即ち、よそ見判定部２６２は、視線ＥＤと基準方向とのずれ量に基づいてよそ見レベルを演算する。このずれ量が大きい程、よそ見レベルは大きくなる。本実施形態のよそ見レベルは、レベル１～３である。よそ見レベルは、レベル１、２、３の順に大きくなる。即ち、レベル１、２、３の中では、レベル３のよそ見レベルが最も大きい。
表示制御部２６３は、ディスプレイ１８及びＨＵＤ２８を制御する。
通信制御部２６４は、無線通信Ｉ／Ｆ２６Ｅ及び車内通信Ｉ／Ｆ２６Ｆを制御する。
ＨＵＤ２８は、投影装置３０を有する。投影装置３０から投影された画像がミラー（図示省略）によって前方に反射されることにより、フロントウィンドシールド１４より所定距離だけ前方の位置に形成された表示領域ＨＡ（図１参照）に様々な画像が表示される。
カーナビゲーションＥＣＵ３２は、カーナビゲーションシステムを制御する。カーナビゲーションＥＣＵ３２には、ＧＰＳ装置３４が接続されている。ＧＰＳ装置３４は、ＧＰＳ衛星からの信号を受信するＧＰＳアンテナ（図示省略）を有する。
ＡＤＡＳ－ＥＣＵ３６には外部カメラ２２が接続されている。ＡＤＡＳ－ＥＣＵ３６にはさらに、車両１２の周辺環境の検出に用いられるセンサ群として、探査波を送信し反射波を受信するミリ波レーダ、及び車両１２の前方をスキャンするライダ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等が接続されている。また、ＡＤＡＳ－ＥＣＵ３６は、ブレーキ装置、ステアリング装置及び内燃機関（駆動源）を駆動させるための様々なアクチュエータに接続されている。ＡＤＡＳ－ＥＣＵ３６は電動モータ（駆動源）に接続されていてもよい。
ＡＤＡＳ－ＥＣＵ３６が上記アクチュエータ群（及び電動モータ）を制御することにより、車両１２は運転支援制御を実行可能である。本明細書及び特許請求の範囲における「運転支援制御」には、SAE(Society of Automotive Engineers)(アメリカ自動車技術会)が定めるレベル１～５の運転レベルの運転支援制御が含まれる。例えば、レベル１の運転支援制御にはＡＣＣ（アダプティブ・クルーズ・コントロール）が含まれ、レベル２の運転支援制御にはレーンチェンジアシストが含まれる。レベル３の運転支援制御は、一定条件下において全ての運転操作を、ＡＤＡＳ－ＥＣＵ３６を含む車両１２のシステムが行い、緊急時には運転者Ｄに運転操作を要求する制御である。レベル５の運転支援制御は所謂完全自動運転制御である。運転支援スイッチ２４は乗員によって操作されることにより、ＯＮ状態とＯＦＦ状態との間を移行する。運転支援スイッチ２４の初期状態はＯＦＦ状態である。運転支援スイッチ２４がＯＮ状態になると、車両１２は運転支援制御を実行可能になる。さらにＯＮ状態にある運転支援スイッチ２４を操作することにより、乗員は車両１２にレベル１～５の中の任意の運転支援制御を車両１２に実行させることが可能である。
さらにＡＤＡＳ－ＥＣＵ３６は、実行中の運転支援制御を中断すべきと判断したときに、実行中の運転支援制御を中断する。例えばカーナビゲーションシステムによって設定された走行ルートに沿って車両１２を走行させる運転支援制御が行われているときに、車両１２が走行中の車線から隣接する車線へレーンチェンジアシストによって移動する場合を想定する。この場合に、例えば隣接する車線で渋滞が発生しているとき、ＡＤＡＳ－ＥＣＵ３６はレーンチェンジアシストによる車線変更を実行できないと判断して、レーンチェンジアシストを中断する。この場合、運転者Ｄは手動操作により車両１２を隣接車線へ移動させる。本明細書では、一定の条件が成立したときにＡＤＡＳ－ＥＣＵ３６が実行中の運転支援制御を中断することをハンドオーバー処理と称する。なお、ＡＤＡＳ－ＥＣＵ３６によるハンドオーバー処理は、レベル２以外のレベルの運転支援制御中にも発生する。例えば、レベル３の運転支援制御中にＡＤＡＳ－ＥＣＵ３６がハンドオーバー処理を実行することがある。
ＡＤＡＳ－ＥＣＵ３６は、運転支援スイッチ２４によって選択された運転支援制御のレベルに関する情報、及び、ハンドオーバー処理に関する情報を表示制御ＥＣＵ２６へ送信する。
図１に示されるように、スマートコンタクトレンズ４０は運転者Ｄの眼球Ｅに着脱可能に装着されるウェアラブルデバイスである。図４に示されるように、スマートコンタクトレンズ４０は、制御ユニット４２、表示ユニット４４、電源ユニット４６及び通信ユニット４８を備える。スマートコンタクトレンズ４０は運転者Ｄの両方の眼球Ｅに装着されることが好ましいが、運転者Ｄの一方の眼球Ｅにのみ装着されてもよい。
制御ユニット４２は、表示ユニット４４、電源ユニット４６及び通信ユニット４８を制御する。制御ユニット４２は、ＣＰＵ、ＲＯＭ及びＲＡＭを有するマイクロコンピュータとして構成されている。
制御ユニット４２のＲＯＭには画像データが記録されている。この画像データには様々なデータが含まれる。例えば、画像データには、警告画像データが含まれる。さらに警告画像データには、例えば、以下に示す警告画像データ１～７が含まれる。警告画像データ１～７はそれぞれ以下の文字を含む画像データである。

警告画像データ１～３：居眠り注意
警告画像データ４～６：よそ見注意
警告画像データ７：手動運転を実行してください
警告画像データ１～３には同じ文字が含まれるが、運転者Ｄが視覚的に認識したときに運転者Ｄが受ける刺激は警告画像データ１、２、３の順に大きくなる。即ち、警告画像データ１、２、３の中では、警告画像データ３が運転者Ｄに与える視覚的な刺激が最も大きい。例えば、警告画像データ２は、警告画像データ１とは異なる色の画像データである。例えば、警告画像データ３は、点滅しながら表示される画像データである。
警告画像データ４～６には同じ文字が含まれるが、運転者Ｄが視覚的に認識したときに運転者Ｄが受ける刺激は警告画像データ４、５、６の順に大きくなる。即ち、警告画像データ４、５、６の中では、警告画像データ６が運転者Ｄに与える視覚的な刺激が最も大きい。例えば、警告画像データ５は、警告画像データ４とは異なる色の画像データである。例えば、警告画像データ６は、点滅しながら表示される画像データである。
図５には、スマートコンタクトレンズ４０の制御ユニット４２の機能構成の一例がブロック図で示されている。制御ユニット４２は、機能構成として、少なくとも表示制御部４１１を有する。表示制御部４１１は、制御ユニット４２のＣＰＵがＲＯＭに記憶されたプログラムを読み出し、実行することにより実現される。
表示制御部４１１は表示ユニット４４を制御する。即ち、後述するように、表示制御部４１１は表示ユニット４４を制御することにより、表示ユニット４４に様々な画像データに基づく画像を表示させる。
表示ユニット４４は、ＲＯＭに記録された上記画像データが表す画像を表示する。本実施形態の表示ユニット４４は、透過型のディスプレイであって、複数の発光素子と、乗員の眼球表面で反射した光を受光する視線検出用の複数の受光素子とを少なくとも含んでいる。表示ユニット４４が表示した画像は、スマートコンタクトレンズ４０を装着した運転者Ｄが視覚的に認識可能である。さらに運転者Ｄは瞼を閉じた状態においても、表示ユニット４４が表示した画像を視覚的に認識可能である。
電源ユニット４６は、制御ユニット４２、表示ユニット４４及び通信ユニット４８を駆動させる駆動源である。
通信ユニット４８は、外部の機器と無線通信可能である。例えば、通信ユニット４８は、表示制御ＥＣＵ２６の無線通信Ｉ／Ｆ２６Ｅと無線通信可能である。通信ユニット４８には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格が適用される。
以上説明した視線カメラ２０、表示制御ＥＣＵ２６及びスマートコンタクトレンズ４０が本実施形態のシステム１０の構成要素である。
（作用並びに効果）
次に、本実施形態の作用並びに効果について説明する。
続いて、車両１２の表示制御ＥＣＵ２６及びスマートコンタクトレンズ４０の制御ユニット４２が実行する処理について、図６及び図７のフローチャートを用いて説明する。なお、運転者Ｄは少なくとも一方の眼球Ｅにスマートコンタクトレンズ４０を装着しているものとする。
表示制御ＥＣＵ２６は所定時間が経過する毎に図６に示されたフローチャートの処理を繰り返し実行する。
ステップＳ１０において、表示制御ＥＣＵ２６の表示制御部２６３は、車両１２に設けられたイグニッションスイッチ（又はスタートボタン）（いずれも図示省略）がＯＮ状態にあるか否かを判定する。換言すると、表示制御部２６３は車両１２が走行可能状態にあるか否かを判定する。イグニッションスイッチ（又はスタートボタン）は表示制御ＥＣＵ２６に接続されており、表示制御部２６３はイグニッションスイッチ（又はスタートボタン）がＯＮ状態にあるか否かを検出可能である。ステップＳ１０においてＹｅｓと判定したとき、表示制御ＥＣＵ２６はステップＳ１１へ進む。
ステップＳ１１において、表示制御部２６３は、ＡＤＡＳ－ＥＣＵ３６から受信した情報に基づいて、車両１２がレベル５（第１所定レベル）の運転支援制御（完全自動運転制御）を実行中か否かを判定する。ステップＳ１１においてＮｏと判定したとき、表示制御ＥＣＵ２６はステップＳ１２へ進む。
ステップＳ１２において、表示制御ＥＣＵ２６の居眠り判定部２６１は、視線カメラ２０から受信した撮影データに基づいて、運転者Ｄが睡眠状態にあるか否かを判定する。
ステップＳ１２においてＹｅｓと判定したとき、表示制御ＥＣＵ２６はステップＳ１３へ進み、居眠り判定部２６１が居眠りフラグの値を「１」に設定する。なお、居眠りフラグの初期値は「０」である。
ステップＳ１３の処理を終えた表示制御ＥＣＵ２６はステップＳ１４へ進み、居眠り判定部２６１が運転者Ｄの睡眠レベルを取得する。
一方、ステップＳ１２においてＮｏと判定したとき、表示制御ＥＣＵ２６はステップＳ１５へ進み、居眠り判定部２６１が居眠りフラグの値を「０」に設定する。
ステップＳ１５の処理を終えた表示制御ＥＣＵ２６はステップＳ１６へ進み、よそ見判定部２６２が、視線カメラ２０から受信した撮影データに基づいて、運転者Ｄがよそ見をしているか否かを判定する。
ステップＳ１６においてＹｅｓと判定したとき、表示制御ＥＣＵ２６はステップＳ１７へ進み、よそ見判定部２６２がよそ見フラグの値を「１」に設定する。なお、よそ見フラグの初期値は「０」である。
ステップＳ１７の処理を終えた表示制御ＥＣＵ２６はステップＳ１８へ進み、よそ見判定部２６２が運転者Ｄのよそ見レベルを取得する。
一方、ステップＳ１６においてＮｏと判定したとき、表示制御ＥＣＵ２６はステップＳ１９へ進み、よそ見判定部２６２がよそ見フラグの値を「０」に設定する。
ステップＳ１４、Ｓ１８又はＳ１９の処理を終えたとき、表示制御ＥＣＵ２６はステップＳ２０へ進み、表示制御部２６３が、ＡＤＡＳ－ＥＣＵ３６から受信した情報に基づいて、車両１２がレベル３（第２所定レベル）の運転支援制御を実行中か否かを判定する。
ステップＳ２０においてＹｅｓと判定したとき、表示制御ＥＣＵ２６はステップＳ２１へ進み、表示制御部２６３が、ＡＤＡＳ－ＥＣＵ３６から受信した情報に基づいて、ＡＤＡＳ－ＥＣＵ３６がハンドオーバー処理を実行したか否かを判定する。
ステップＳ２１においてＹｅｓと判定したとき、表示制御ＥＣＵ２６はステップＳ２２へ進み、表示制御部２６３がハンドオーバーフラグの値を「１」に設定する。なお、ハンドオーバーフラグの初期値は「０」である。一方、ステップＳ２１においてＮｏと判定したとき、表示制御ＥＣＵ２６はステップＳ２３へ進み、表示制御部２６３がハンドオーバーフラグの値を「０」に設定する。
ステップＳ２２又はＳ２３の処理を終えたとき、表示制御ＥＣＵ２６はステップＳ２４へ進み、通信制御部２６４が無線通信Ｉ／Ｆ２６Ｅを制御する。これにより、居眠りフラグ、よそ見フラグ及びハンドオーバーフラグに関する情報であるフラグ情報、並びに、睡眠レベル及びよそ見レベルに関する情報であるレベル情報が、無線通信Ｉ／Ｆ２６Ｅによってスマートコンタクトレンズ４０へ無線送信される。
ステップＳ１０でＮｏと判定したとき、ステップＳ１１でＹｅｓと判定したとき、又はステップＳ２４の処理を終えたとき、表示制御ＥＣＵ２６は図６のフローチャートの処理を一旦終了する。
スマートコンタクトレンズ４０の制御ユニット４２は所定時間が経過する毎に図７に示されたフローチャートの処理を繰り返し実行する。
ステップＳ３０において、制御ユニット４２は、スマートコンタクトレンズ４０の通信ユニット４８が、無線通信Ｉ／Ｆ２６Ｅからフラグ情報及びレベル情報を受信したか否かを判定する。
ステップＳ３０においてＹｅｓと判定したとき、制御ユニット４２はステップＳ３１へ進み、受信した居眠りフラグの値が「１」か否かを判定する。
ステップＳ３１においてＹｅｓと判定したとき、制御ユニット４２はステップＳ３２へ進み、表示制御部４１１が表示ユニット４４を制御して、表示ユニット４４に警告画像データに基づく画像を表示させる。このとき表示制御部４１１は、睡眠レベルの大きさに基づいて警告画像データを選択する。即ち、睡眠レベルが睡眠レベル１のときは、表示制御部４１１は警告画像データ１を選択する。睡眠レベルが睡眠レベル２のときは、表示制御部４１１は警告画像データ２を選択する。睡眠レベルが睡眠レベル３のときは、表示制御部４１１は警告画像データ３を選択する。
ステップＳ３１においてＮｏと判定したとき、制御ユニット４２はステップＳ３３へ進み、受信したよそ見フラグの値が「１」か否かを判定する。
ステップＳ３３においてＹｅｓと判定したとき、制御ユニット４２はステップＳ３４へ進み、表示制御部４１１が表示ユニット４４を制御して、表示ユニット４４に警告画像データに基づく画像を表示させる。このとき表示制御部４１１は、よそ見レベルの大きさに基づいて警告画像データを選択する。即ち、よそ見レベルがよそ見レベル１のときは、表示制御部４１１は警告画像データ４を選択する。よそ見レベルがよそ見レベル２のときは、表示制御部４１１は警告画像データ５を選択する。よそ見レベルがよそ見レベル３のときは、表示制御部４１１は警告画像データ６を選択する。
ステップＳ３２若しくはステップＳ３４の処理を終えたとき、又はステップＳ３３でＮｏと判定したとき、制御ユニット４２はステップＳ３５へ進み、受信したハンドオーバーフラグの値が「１」か否かを判定する。
ステップＳ３５においてＹｅｓと判定したとき、制御ユニット４２はステップＳ３６へ進み、表示制御部４１１が表示ユニット４４を制御して、表示ユニット４４に警告画像データ７に基づく画像を表示させる。
ステップＳ３０、Ｓ３５でＮｏと判定したとき、又はステップＳ３６の処理を終えたとき、制御ユニット４２は図７のフローチャートの処理を一旦終了する。
以上説明したように、運転者Ｄが居眠り又はよそ見をしていると表示制御ＥＣＵ２６が判定したときに、表示制御部４１１がスマートコンタクトレンズ４０の表示ユニット４４に警告画像データ１～６のいずれかに基づく警告表示を行わせる。
ここで、ディスプレイ１８が警告表示を行い且つＨＵＤ２８が表示領域ＨＡに警告表示を表す画像を形成する場合を想定する。この場合も、運転者Ｄが瞼を開き且つよそ見をしていない場合は、運転者Ｄはディスプレイ１８又は表示領域ＨＡを視認することにより、これらの警告表示を認識できる。その一方で、運転者Ｄが瞼を閉じるか又はよそ見をしている場合は、運転者Ｄはこれらの警告表示を視覚的に認識できない。
これに対して本実施形態では、運転者Ｄが瞼を閉じていたりよそ見をしたりしている場合であっても、スマートコンタクトレンズ４０の表示ユニット４４が警告表示を実行すると、運転者Ｄはこの警告表示を視覚的に認識する。従って、本実施形態のシステム１０によれば、瞼を閉じていたりよそ見をしたりしている運転者Ｄが、これらの警告表示に気付かないおそれは小さい。
また、ＡＤＡＳ－ＥＣＵ３６がハンドオーバー処理を実行したときに、スマートコンタクトレンズ４０の表示ユニット４４が運転者Ｄに手動運転操作を促すための警告画像データ７に基づいて警告表示を実行する。運転者Ｄが瞼を閉じていたりよそ見をしたりしている場合であっても、運転者Ｄはこの警告表示を視覚的に認識する。そのため、仮に運転者Ｄが居眠り又はよそ見をしている場合であっても、運転者Ｄはこの警告表示を認識でき、運転者Ｄは手動運転を実行する状態へ速やかに移行できる。
さらに本実施形態では、運転者Ｄの瞼が第１閾値以上の長さの時間に渡って継続して閉じられているときに、運転者Ｄが睡眠状態にあると表示制御ＥＣＵ２６（居眠り判定部２６１）が判定する。また、運転者Ｄの視線ＥＤが基準方向からずれた方向に沿っている状態の継続時間が第２閾値以上の場合に、運転者Ｄがよそ見をしていると表示制御ＥＣＵ２６（よそ見判定部２６２）が判定する。そのため、表示制御ＥＣＵ２６（居眠り判定部２６１、よそ見判定部２６２）による居眠り判定の精度及びよそ見判定の精度は高い。従って、実際は運転者Ｄが居眠り又はよそ見をしていないときに、スマートコンタクトレンズ４０が警告表示を実行するおそれは小さい。そのため、運転者Ｄが煩わしさを感じ難い。
さらに本実施形態では、運転者Ｄの睡眠レベルが高くなる程（覚醒度が低くなる程）、運転者Ｄに対して強い視覚的な刺激を与えることが可能な警告画像データ１～３が表示ユニット４４によって表示される。同様に、運転者Ｄのよそ見レベルが高くなる程、運転者Ｄに対して強い視覚的な刺激を与えることが可能な警告画像データ４～６が表示ユニット４４によって表示される。このように本実施形態のシステム１０は、運転者Ｄの覚醒度（睡眠レベル）及びよそ見レベルに応じた適切な警告表示をスマートコンタクトレンズ４０に実行させることが可能である。
さらに本実施形態では、車両１２が走行不能状態にあるとき（イグニッションスイッチやスタートボタンがＯＦＦ状態にあるとき）に、スマートコンタクトレンズ４０が警告表示を行わない。即ち、運転者Ｄの瞼が閉じられていたり、運転者Ｄの視線ＥＤが基準方向と異なる方向を向いていたりする場合であっても、車両１２が走行していないときは、スマートコンタクトレンズ４０が警告表示を行わない。そのため、運転者Ｄが煩わしさを感じ難い。
さらに本実施形態では、車両１２が完全自動運転制御を実行しているときは、スマートコンタクトレンズ４０が警告表示を行わない。換言すると、運転者Ｄが運転操作を行う必要がないときは、スマートコンタクトレンズ４０が警告表示を行わない。このように、運転者Ｄが運転操作を行う必要がない状態にあるときにスマートコンタクトレンズ４０が警告表示を行わないので、運転者Ｄが煩わしさを感じ難い。
以上、実施形態に係るシステム１０について説明したが、システム１０は本発明の要旨を逸脱しない範囲内において、適宜設計変更可能である。
例えば、上記実施形態では、居眠り判定部２６１及びよそ見判定部２６２の機能を表示制御ＥＣＵ２６が備えるが、居眠り判定部２６１及びよそ見判定部２６２の機能を制御ユニット４２が備えてもよい。この場合は、例えば視線カメラ２０が取得した撮影データをスマートコンタクトレンズ４０が無線通信により取得し、スマートコンタクトレンズ４０が備える居眠り判定部２６１及びよそ見判定部２６２が、この撮影データに基づいて、居眠り判定とよそ見判定を実行する。なお、制御ユニット４２が居眠り判定部２６１及びよそ見判定部２６２の機能の一方のみを有してもよい。
また図４に示されたように、スマートコンタクトレンズ４０がカメラユニット（カメラ）５０を備えてもよい。カメラユニット５０は、前方に位置する被写体を撮影可能である。従って、カメラユニット５０が取得した撮影データをよそ見判定部２６２が解析することにより、よそ見判定部２６２はこの撮影データに基づいて、運転者Ｄがよそ見をしているか否かを判定でき、且つ、よそ見レベルを演算できる。表示制御ＥＣＵ２６がよそ見判定部２６２の機能を有する場合は、スマートコンタクトレンズ４０から受信した撮影データに基づいて、表示制御ＥＣＵ２６のよそ見判定部２６２がよそ見判定を実行できる。また、スマートコンタクトレンズ４０がよそ見判定部２６２の機能を有する場合は、カメラユニット５０が取得した撮影データに基づいて、スマートコンタクトレンズ４０のよそ見判定部２６２がよそ見判定を実行できる。
また、スマートコンタクトレンズ４０の上記受光素子によって検出された運転者Ｄの視線に基づいて、よそ見判定部２６２が、よそ見判定及びよそ見レベルの演算を実行してもよい。
運転者Ｄの身体に装着され且つ無線通信機能を有するウェアラブル機器（図示省略）が取得した、運転者Ｄの生体情報（例えば、心拍数又は血圧）に基づいて、居眠り判定部２６１が運転者Ｄの覚醒度を判定してもよい。この場合は、例えば、表示制御ＥＣＵ２６の居眠り判定部２６１が、ウェアラブル機器から受信した生体情報に基づいて、運転者Ｄの覚醒度を判定する。また、スマートコンタクトレンズ４０が居眠り判定部２６１の機能を有する場合は、スマートコンタクトレンズ４０の居眠り判定部２６１が、ウェアラブル機器から受信した生体情報に基づいて、運転者Ｄの覚醒度を判定する。
車両１２が走行可能状態にあるか否かに拘わらず、運転者Ｄが居眠りをしていると居眠り判定部２６１が判定したときに、スマートコンタクトレンズ４０が警告表示を行ってもよい。同様に、車両１２が走行可能状態にあるか否かに拘わらず、運転者Ｄがよそ見をしているとよそ見判定部２６２が判定したときに、スマートコンタクトレンズ４０が警告表示を行ってもよい。
完全自動運転制御が実行されているか否かに拘わらず、運転者Ｄが居眠りをしていると居眠り判定部２６１が判定したときに、スマートコンタクトレンズ４０が警告表示を行ってもよい。同様に、完全自動運転制御が実行されているか否かに拘わらず、運転者Ｄがよそ見をしているとよそ見判定部２６２が判定したときに、スマートコンタクトレンズ４０が警告表示を行ってもよい。
警告画像データ１～７に含まれる文字は上記とは別であってもよい。例えば、警告画像データ１～３が「目を開けてください」という文字を含む画像データであってもよい。また、データ４～６が「前方を見てください」という文字を含む画像データであってもよい。また、データ７が「運転支援制御が終了します」という文字を含む画像データであってもよい。
居眠り判定部２６１は、運転者Ｄが睡眠状態にあると判定したときに、睡眠レベルを判定しなくてもよい。この場合に表示ユニット４４が表示する画像は、一つの警告画像データに基づく画像である。同様に、よそ見判定部２６２は、運転者Ｄがよそ見運転をしていると判定したときに、よそ見レベルを演算しなくてもよい。この場合に表示ユニット４４が表示する画像は、一つの警告画像データに基づく画像である。
スマートコンタクトレンズ４０は警告画像データ７に基づく警告表示を実行不能であってもよい。
システム１０が居眠り判定部２６１及びよそ見判定部２６２の一方のみを備えてもよい。
特許請求の範囲の「第１所定レベル」に対応する運転支援制御のレベルは、レベル５とは異なるレベルであってもよい。
特許請求の範囲の「第２所定レベル」に対応する運転支援制御のレベルは、レベル３とは異なるレベルであってもよい。
車両１２がＧＰＳ装置３４の代わりに、ＧＰＳ以外の全地球航法衛星システム（例えばガリレオ）の衛星からの情報を受信可能な受信装置を備えてもよい。
１０ 車両用警告システム（システム）
１２ 車両
２０ 視線カメラ（カメラ）
２６１ 居眠り判定部（判定部）
２６２ よそ見判定部（判定部）
４０ スマートコンタクトレンズ
５０ カメラユニット（カメラ）
４１１ 表示制御部
Ｄ 運転者
Ｅ 眼球
ＥＤ 視線

Claims (8)

  1. 車両の運転者の状態に基づいて、前記運転者が居眠り又はよそ見をしているか否かを判定する判定部と、
    前記運転者の眼球に装着されるスマートコンタクトレンズと、
    前記運転者が居眠り又はよそ見をしていると前記判定部が判定したときに、前記スマートコンタクトレンズに警告表示を行わせる表示制御部と、
    を備える車両用警告システム。
  2. 前記運転者の顔を撮影可能なカメラを備え、
    前記判定部が、前記カメラの撮影データに基づいて、前記運転者の瞼が一定時間以上閉じていると判定したときに、前記運転者が居眠りをしていると判定する請求項１に記載の車両用警告システム。
  3. 前記判定部が、前記運転者の覚醒度を判定し、
    前記判定部が判定した前記運転者の覚醒度に応じて、前記表示制御部が前記スマートコンタクトレンズに表示させる警告表示の内容を変更する請求項２に記載の車両用警告システム。
  4. 前記運転者の顔を撮影可能なカメラを備え、
    前記判定部が、前記カメラの撮影データに基づいて、前記運転者が一定時間以上所定方向とは異なる方向を見ていると判定したときに、前記運転者がよそ見をしていると判定する請求項１～３の何れか１項に記載の車両用警告システム。
  5. 前記判定部が、前記運転者によるよそ見の程度を表すよそ見レベルを判定し、
    前記判定部が判定した前記よそ見レベルに応じて、前記表示制御部が前記スマートコンタクトレンズに表示させる警告表示の内容を変更する請求項４に記載の車両用警告システム。
  6. 前記車両が走行可能状態にあり且つ前記運転者が居眠り又はよそ見をしていると前記判定部が判定したとき、前記表示制御部が前記スマートコンタクトレンズに警告表示を行わせる請求項１～５の何れか１項に記載の車両用警告システム。
  7. 前記運転者が運転操作を行う必要がない第１所定レベルの運転支援制御を前記車両が実行していないときのみ、前記表示制御部が前記スマートコンタクトレンズに警告表示を行わせる請求項１～６の何れか１項に記載の車両用警告システム。
  8. 第２所定レベルの運転支援制御を実行中の前記車両が前記運転支援制御を中断するとき、前記表示制御部が前記スマートコンタクトレンズに、前記運転支援制御が中断されることを知らせるための警告表示を行わせる請求項１～７の何れか１項に記載の車両用警告システム。
JP2021141918A 2021-08-31 2021-08-31 車両用警告システム Pending JP2023035244A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021141918A JP2023035244A (ja) 2021-08-31 2021-08-31 車両用警告システム
US17/888,481 US11897496B2 (en) 2021-08-31 2022-08-16 Vehicle warning system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021141918A JP2023035244A (ja) 2021-08-31 2021-08-31 車両用警告システム

Publications (1)

Publication Number Publication Date
JP2023035244A true JP2023035244A (ja) 2023-03-13

Family

ID=85288970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021141918A Pending JP2023035244A (ja) 2021-08-31 2021-08-31 車両用警告システム

Country Status (2)

Country Link
US (1) US11897496B2 (ja)
JP (1) JP2023035244A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JPH0769092A (ja) 1993-09-03 1995-03-14 Mitsubishi Automob Eng Co Ltd 居眠り運転警報装置
JP4342708B2 (ja) 2000-09-06 2009-10-14 本田技研工業株式会社 ドライバの視線領域の適合性を判定する車載情報処理装置
JP2021087621A (ja) 2019-12-04 2021-06-10 株式会社デンソー 覚醒装置

Also Published As

Publication number Publication date
US11897496B2 (en) 2024-02-13
US20230061424A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
CN110914884B (zh) 车辆控制器和车辆控制方法
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP6369487B2 (ja) 表示装置
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6342856B2 (ja) 車両制御装置
US20230054024A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
CN112041910A (zh) 信息处理装置、移动设备、方法和程序
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP2018180594A (ja) 走行支援装置
JP6662080B2 (ja) ドライバ状態判定装置
CN113276821B (zh) 驾驶员状态推断装置
US20220169284A1 (en) Vehicle control device
JP2017039373A (ja) 車両用映像表示システム
JP2018013811A (ja) ドライバ状態判定装置、及びドライバ状態判定プログラム
JP6811743B2 (ja) 安全運転支援装置
CN113276822B (zh) 驾驶员状态推断装置
JP7342636B2 (ja) 車両制御装置および運転者状態判定方法
JP7342637B2 (ja) 車両制御装置および運転者状態判定方法
JP2020086907A (ja) 漫然運転判定装置
CN115667044A (zh) 用于确定反应能力的方法
JP2023035244A (ja) 車両用警告システム
US20240051585A1 (en) Information processing apparatus, information processing method, and information processing program
WO2018168050A1 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP7157671B2 (ja) 車両制御装置及び車両
JP2018013812A (ja) ドライバ状態誘導装置、及びドライバ状態誘導プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240820