JP2021131596A - 警告制御装置 - Google Patents

警告制御装置 Download PDF

Info

Publication number
JP2021131596A
JP2021131596A JP2020025117A JP2020025117A JP2021131596A JP 2021131596 A JP2021131596 A JP 2021131596A JP 2020025117 A JP2020025117 A JP 2020025117A JP 2020025117 A JP2020025117 A JP 2020025117A JP 2021131596 A JP2021131596 A JP 2021131596A
Authority
JP
Japan
Prior art keywords
driver
unit
inattentiveness
warning
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020025117A
Other languages
English (en)
Other versions
JP7327199B2 (ja
Inventor
隆太 津田
Ryuta Tsuda
隆太 津田
耕平 高徳
Kohei Takatoku
耕平 高徳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2020025117A priority Critical patent/JP7327199B2/ja
Priority to US17/799,584 priority patent/US20230078015A1/en
Priority to CN202180015412.0A priority patent/CN115136220A/zh
Priority to PCT/JP2021/005407 priority patent/WO2021166820A1/ja
Publication of JP2021131596A publication Critical patent/JP2021131596A/ja
Application granted granted Critical
Publication of JP7327199B2 publication Critical patent/JP7327199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/195—Blocking or enabling display functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】運転者が表示部を注視することを抑制する。【解決手段】運転者の顔を含む撮像画像に基づいて、運転者の視線方向を特定する特定部４２１と、特定部４２１が特定した視線方向に基づいて、運転者が車両の前方とは異なる方向を一定時間以上視認する脇見を検出する脇見検出部４２２と、運転者の脇見を脇見検出部４２２が検出していない場合に、車両の内部に配置された操作子に対する操作を受け付け、運転者の脇見を脇見検出部４２２が検出した場合に、操作子に対する操作を制限する操作受付部４２３と、運転者の脇見を脇見検出部４２２が検出していない場合に、操作受付部４２３が受け付けた操作に基づく画像を表示し、運転者の脇見を脇見検出部４２２が検出した場合に、前方を注視していないことを警告する警告画像を表示する表示制御部４２４と、を備える。【選択図】図３

Description

本発明は、警告画像を表示する警告制御装置に関する。
運転者の脇見を検出して警報を表示する技術が知られている（例えば、特許文献１）。
特開平０７−３２５９８８号公報
ところで、運転者が運転中にディスプレイ等の表示部を視認して各種の操作を行い、車両の前方を見ていないことがある。特許文献１に記載された発明では、運転者が運転中に表示部を視認している場合に、表示部に警告を表示する。しかしながら、警告が表示部に表示されても、運転者が表示部を視認して引き続き操作を行うことがあった。
本発明はこの点に鑑みてなされたものであり、運転者が運転中に表示部を視認して各種の操作を行っている場合に、警告を表示しても運転者が操作を継続することを抑制することができる警告制御装置を提供することを目的とする。
本発明の第１の態様の警告制御装置は、運転者の顔を含む撮像画像に基づいて、前記運転者の視線方向を特定する特定部と、前記特定部が特定した前記視線方向に基づいて、前記運転者が車両の前方とは異なる方向を一定時間以上視認する脇見を検出する脇見検出部と、前記運転者の脇見を前記脇見検出部が検出していない場合に、前記車両の内部に配置された操作子に対する操作を受け付け、前記運転者の脇見を前記脇見検出部が検出した場合に、前記操作子に対する操作を制限する操作受付部と、前記運転者の脇見を前記脇見検出部が検出していない場合に、前記操作受付部が受け付けた前記操作に基づく画像を表示し、前記運転者の脇見を前記脇見検出部が検出した場合に、前方を注視していないことを警告する警告画像を表示する表示制御部と、を備える。
前記表示制御部は、前記運転者の脇見を前記脇見検出部が検出した場合に、前記操作に基づく画像の代わりに、前記警告画像を表示してもよい。前記表示制御部は、前記運転者の脇見を前記脇見検出部が検出した場合に、前記特定部が特定した前記運転者の視線方向に基づいて、複数の前記警告画像のうち、いずれかを選択して表示してもよい。
前記表示制御部は、前記特定部が特定した前記視線方向が前記操作に基づく画像を表示するための表示部の方向である場合に、前記運転者が前記表示部を視認していることを警告する前記警告画像を選択して表示してもよい。前記脇見検出部は、前記車両の速度が所定値以上であることを条件として、前記運転者の脇見を検出してもよい。
前記運転者の運転状況の履歴を記憶する記憶部をさらに備え、前記脇見検出部は、前記運転者の脇見を検出したことを前記運転状況の履歴として前記記憶部に記憶させてもよい。前記表示制御部は、前記警告画像を表示している状態において前記操作子に対する操作が行われた場合に、前記操作が制限されていることを示す通知画像を表示してもよい。
本発明によれば、運転者が運転中に表示部を視認して各種の操作を行っている場合に、警告を表示しても運転者が操作を継続することを抑制するという効果を奏する。
実施形態の警告制御装置の概要を示す図である。 警告制御装置による表示制御の一例を示す図である。 車両の構成を示す図である。 通知画像の一例を示す図である。 警告制御装置による警告の表示の処理手順を示すフローチャートである。
［警告制御装置の概要］
図１は、本実施形態の警告制御装置の概要を示す図である。表示部１は、警告制御装置が搭載された車両のインストゥルメンタルパネルにメータの一部として配置される。表示部１は、例えば、運転者の操作に基づく画像を表示する。図１に示される表示部１には、アダプティブクルーズコントロールにおいて設定車速及び車間距離を設定するための設定画像が表示されている。この設定画像の左側に示した車両のマークの下方に並べられた台形のマークの数は、車間距離を段階的に示している。本実施形態では、車間距離を４段階で設定可能であり、マークの数が段階に対応している。図１の例では、台形のマークの数は３個であり、車間距離が４段階のうち、短い方から３番目に設定されていることを表している。設定画像の右側には、設定車速を示す。図１の例では、設定車速は時速１００ｋｍである。
車両の内部に配置された撮像部は、運転者の顔を含む撮像画像を生成する。警告制御装置は、撮像部が生成した撮像画像を解析することにより、運転者の視線方向を特定する。警告制御装置は、特定した視線方向に基づいて、運転者の脇見を検出する。脇見は、車両の前方とは異なる方向を一定時間以上視認することをいう。警告制御装置は、運転者の脇見を検出していない場合に、車両の内部に配置された切替ボタン等の操作子に対する操作を受け付ける。
図２は、警告制御装置による表示制御の一例を示す図である。警告制御装置は、図１に示す設定画像を表示している状態において運転者の脇見を検出した場合に、前方を注視していないことを警告する警告画像を表示部１に表示する。図２の例では、警告制御装置は、「前方注意」というメッセージを表示部１に表示する。警告画像は、図１に示す設定画像を覆うように表示され、警告画像に覆われていない設定画像の一部が引き続き表示されている。
また、警告制御装置は、運転者の脇見を検出した場合に、操作子に対する操作を制限する。警告制御装置は、運転者の脇見を検出している場合に、運転者が運転中に設定画面を視認して操作子を操作したとき、運転者の操作子の操作を制限する。このようにして、警告制御装置は、警告画像を表示した場合に、運転者が操作子を引き続き操作することを抑制することができる。
［車両の構成］
図３は、車両１００の構成を示す図である。車両１００は、表示部１、撮像部２、操作子３及び警告制御装置４を備える。警告制御装置４は、例えばＥＣＵ（Electronic Control Unit）により実現される。警告制御装置４は、記憶部４１及び制御部４２を備える。
撮像部２は、車両１００の内部に設置される。撮像部２は、運転者の顔を含む所定範囲を撮像することにより、運転者の顔を含む撮像画像を生成する。所定範囲は、例えば、運転者の上半身である。操作子３は、車両１００の内部に配置されている。操作子３は、例えば、車両１００のステアリングホイールに配置された一対の切替ボタンである。また、操作子３は、スライド操作を行うためのレバーであってもよく、表示部１上に表示されたタッチセンサ式の操作ボタンであってもよい。
記憶部４１は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等により構成される。記憶部４１は、制御部４２を機能させるための各種プログラムや各種データを記憶する。制御部４２は記憶部４１に記憶されたプログラムを実行することにより、特定部４２１、脇見検出部４２２、操作受付部４２３及び表示制御部４２４を備える。
特定部４２１は、撮像部２が生成した撮像画像を取得する。特定部４２１は、取得した撮像画像に基づいて、運転者の視線方向を特定する。一例としては、特定部４２１は、取得した撮像画像を解析することにより、運転者の瞳孔の位置及び角膜反射が生じている位置を特定する。特定部４２１は、角膜反射が生じている位置を基準として瞳孔の相対的な位置を特定することにより、運転者の視線方向を特定する。
［脇見の検出］
脇見検出部４２２は、特定部４２１が特定した視線方向に基づいて、運転者が車両の前方とは異なる方向を一定時間以上視認している状態である脇見を検出する。前方とは異なる方向とは、例えば、表示部１の方向、車両１００に搭載されたカーナビゲーションシステムのディスプレイの方向、車両１００に搭載された各種のミラーの方向、車両１００の右側、左側、あるいは、車両１００の後方である。一定時間は、例えば、運転者が車両１００の速度を速度メータにより確認する等の車両１００の運転に必要な各種の操作において運転者が車両の前方以外を視認する時間よりも長い時間である。脇見検出部４２２は、運転者が前方とは異なる複数の方向を視認している合計時間が一定時間以上である場合には、脇見を検出するものとする。
車両１００の高速道路の走行は特に危険なので脇見を抑制する重要性は大きい。このため、脇見検出部４２２は、車両１００の速度が所定値以上であることを条件として、運転者の脇見を検出する。所定値は、例えば、高速道路の法定最低速度より大きな値である。このようにして、脇見検出部４２２は、車両１００が高速道路を走行している間に限定して運転者の脇見を検出することにより、車両１００の高速道路の走行における安全性を確保することができる。
脇見検出部４２２は、運転者の脇見を検出したことを運転状況の履歴として記憶部４１に記憶させる。例えば、脇見検出部４２２は、特定部４２１が特定した視線方向と、運転者が前方以外を視認していた時間と、脇見を検出した時刻とを関連付けて運転状況の履歴として記憶部４１に記憶させる。脇見検出部４２２は、無線通信回線を介して、車両１００の運行を管理するための管理サーバ（不図示）と通信し、記憶部４１が記憶している運転状況の履歴を管理サーバへ送信してもよい。管理サーバの管理者は、例えば、運転者の運転の安全指導において運転状況の履歴を有効活用することができる。
操作受付部４２３は、運転者の脇見を脇見検出部４２２が検出していない場合に、操作子３に対する運転者の操作を受け付ける。操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出した場合に、操作子３に対する操作を制限する。例えば、脇見検出部４２２が運転者の脇見を検出する直前に、アダプティブクルーズコントロールの車間距離及び設定車速を設定する際に表示される設定画像が表示されていたものとする。操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出した後、車間距離及び設定車速を設定する運転者の操作を受け付けない。
操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出した後、所定期間にわたって操作子３に対する運転者の操作を制限する。所定期間は、操作が制限されていることを運転者に認識させるための時間である。なお、操作受付部４２３は、所定期間が経過した後の猶予期間の間、脇見検出部４２２が運転者の脇見を検出していても、運転者の操作を受け付ける。この猶予期間は、例えば、運転者が予め設定した時間である。操作受付部４２３は、猶予期間の経過後、脇見検出部４２２が運転者の脇見を検出した場合に、操作子３に対する操作を再度制限する。
表示制御部４２４は、表示部１の表示制御を行う。表示制御部４２４は、運転者の脇見を脇見検出部４２２が検出していない場合に、操作受付部４２３が受け付けた操作に基づく画像を表示する。例えば、表示制御部４２４は、アダプティブクルーズコントロールの設定車速及び車間距離を設定する際に表示される設定画像や、エンジンオイルの油圧を表示する画像等を表示する。
表示制御部４２４は、画像を表示している状態において操作受付部４２３が操作子３の操作を受け付けた場合には、操作受付部４２３が受け付けた操作に基づく画像を表示する。例えば、表示制御部４２４は、図１に示す設定画像を表示している状態において設定車速を増減させる操作を操作受付部４２３が受け付けた場合には、変更後の設定車速を表示部１に表示する。
表示制御部４２４は、運転者の脇見を脇見検出部４２２が検出した場合に、前方を注視していないことを警告する警告画像を表示する。この場合に、表示制御部４２４は、図２に示すように、操作に基づく画像の代わりに、警告画像を表示する。表示制御部４２４は、所定期間が経過するまで警告画像を表示する。表示制御部４２４は、所定期間が経過した後の猶予期間の間、脇見検出部４２２が運転者の脇見を検出していても、警告画像を表示せず、警告画像を表示する前に表示部１に表示されていた設定画像を再度表示する。表示制御部４２４は、猶予期間の経過後、脇見検出部４２２が運転者の脇見を検出した場合に、警告画像を再度表示する。
表示制御部４２４は、警告画像を表示している状態では、操作子３が操作されても、警告画像を表示する前に表示部１に表示されていた設定画像を表示せず、そのまま警告画像を表示する。また、表示制御部４２４は、警告画像を表示している状態において操作子３に対する操作が行われた場合に、操作が制限されていることを示す通知画像を表示してもよい。
図４は、通知画像の一例を示す図である。例えば、表示制御部４２４は、図２に示す警告画像を表示している状態において操作子３に対する操作が行われた場合に、通知画像を表示する。図４の例では、表示制御部４２４は、「操作子の操作はできません」というメッセージを含む通知画像を表示する。このようにして、表示制御部４２４は、操作子３に対する操作が制限されていることを運転者に通知し、運転者に操作子３の操作を中止させることができる。
［警告画像の選択］
また、表示制御部４２４は、複数の警告画像のうち、いずれかを選択してもよい。表示制御部４２４は、運転者の脇見を脇見検出部４２２が検出した場合に、特定部４２１が特定した運転者の視線方向を取得する。表示制御部４２４は、取得した視線方向に基づいて、いずれかの警告画像を選択する。例えば、表示制御部４２４は、視線方向が表示部１の方向である場合に、運転者が表示部１を視認していることを警告する警告画像を選択する。
一方、表示制御部４２４は、視線方向がカーナビゲーションシステムのディスプレイの方向である場合に、運転者がカーナビゲーションシステムのディスプレイを視認していることを警告する警告画像を選択する。表示制御部４２４は、選択した警告画像を表示部１に表示する。このようにして、表示制御部４２４は、運転者の運転状況に対応する警告画像を表示することができる。
また、表示制御部４２４は、操作子３が操作されているか否かに基づいて、警告画像を選択してもよい。例えば、表示制御部４２４は、視線方向が表示部１の方向であり、且つ、操作子３が操作されていることを条件として、運転者が表示部１を視認していることを警告する警告画像を選択してもよい。このようにして、表示制御部４２４は、運転者が表示部１を視認しながら操作子３を操作していることを精度よく識別することができる。
［警告画像の表示の処理手順］
図５は、警告制御装置４による警告の表示の処理手順を示すフローチャートである。この処理手順は、例えば、車両１００の走行中に操作受付部４２３が操作子３の操作を受け付けたときに開始する。まず、表示制御部４２４は、操作受付部４２３が受け付けた操作に基づく画像を表示する（Ｓ１０１）。
撮像部２は、運転者の顔を含む撮像画像を生成する。特定部４２１は、撮像部２が生成した撮像画像を取得する（Ｓ１０２）。特定部４２１は、取得した撮像画像に基づいて、運転者の視線方向を特定する（Ｓ１０３）。操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出したか否かを判定する（Ｓ１０４）。操作受付部４２３は、脇見検出部４２２が運転者の脇見を検出した場合に（Ｓ１０４のＹＥＳ）、操作子３の操作を制限する（Ｓ１０５）。表示制御部４２４は、前方を注視していないことを警告する警告画像を表示し（Ｓ１０６）、Ｓ１０２の処理に戻る。
表示制御部４２４は、Ｓ１０４の判定において運転者の脇見を脇見検出部４２２が検出していない場合に（Ｓ１０４のＮＯ）、操作受付部４２３が操作子３に対する操作をさらに受け付けたか否かを判定する（Ｓ１０７）。表示制御部４２４は、操作受付部４２３が操作子３に対する操作をさらに受け付けた場合に（Ｓ１０７のＹＥＳ）、操作に基づく画像を表示し（Ｓ１０８）、Ｓ１０２の処理に戻る。表示制御部４２４は、Ｓ１０７の判定において操作受付部４２３が操作子３に対する操作を受け付けていない場合に（Ｓ１０７のＮＯ）、Ｓ１０２の処理に戻る。
［本発明による効果］
本実施形態によれば、表示制御部４２４は、運転者が運転中に表示部１を視認して操作子３を操作している場合に、警告画像を表示部１に表示する。このとき、操作受付部４２３は、操作子３に対する操作を制限する。このようにして、操作受付部４２３は、表示制御部４２４が警告画像を表示した場合に、運転者が操作子３を引き続き操作することを抑制することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
１ 表示部
２ 撮像部
３ 操作子
４ 警告制御装置
４１ 記憶部
４２ 制御部
１００ 車両
４２１ 特定部
４２２ 脇見検出部
４２３ 操作受付部
４２４ 表示制御部

Claims (7)

  1. 運転者の顔を含む撮像画像に基づいて、前記運転者の視線方向を特定する特定部と、
    前記特定部が特定した前記視線方向に基づいて、前記運転者が車両の前方とは異なる方向を一定時間以上視認する脇見を検出する脇見検出部と、
    前記運転者の脇見を前記脇見検出部が検出していない場合に、前記車両の内部に配置された操作子に対する操作を受け付け、前記運転者の脇見を前記脇見検出部が検出した場合に、前記操作子に対する操作を制限する操作受付部と、
    前記運転者の脇見を前記脇見検出部が検出していない場合に、前記操作受付部が受け付けた前記操作に基づく画像を表示し、前記運転者の脇見を前記脇見検出部が検出した場合に、前方を注視していないことを警告する警告画像を表示する表示制御部と、を備える、
    警告制御装置。
  2. 前記表示制御部は、前記運転者の脇見を前記脇見検出部が検出した場合に、前記操作に基づく画像の代わりに、前記警告画像を表示する、
    請求項１に記載の警告制御装置。
  3. 前記表示制御部は、前記運転者の脇見を前記脇見検出部が検出した場合に、前記特定部が特定した前記運転者の視線方向に基づいて、複数の前記警告画像のうち、いずれかを選択して表示する、
    請求項１又は２に記載の警告制御装置。
  4. 前記表示制御部は、前記特定部が特定した前記視線方向が前記操作に基づく画像を表示するための表示部の方向である場合に、前記運転者が前記表示部を視認していることを警告する前記警告画像を選択して表示する、
    請求項３に記載の警告制御装置。
  5. 前記脇見検出部は、前記車両の速度が所定値以上であることを条件として、前記運転者の脇見を検出する、
    請求項１から４のいずれか一項に記載の警告制御装置。
  6. 前記運転者の運転状況の履歴を記憶する記憶部をさらに備え、
    前記脇見検出部は、前記運転者の脇見を検出したことを前記運転状況の履歴として前記記憶部に記憶させる、
    請求項１から５のいずれか一項に記載の警告制御装置。
  7. 前記表示制御部は、前記警告画像を表示している状態において前記操作子に対する操作が行われた場合に、前記操作が制限されていることを示す通知画像を表示する、
    請求項１から６のいずれか一項に記載の警告制御装置。
JP2020025117A 2020-02-18 2020-02-18 警告制御装置 Active JP7327199B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020025117A JP7327199B2 (ja) 2020-02-18 2020-02-18 警告制御装置
US17/799,584 US20230078015A1 (en) 2020-02-18 2021-02-15 Warning control device and warning control system
CN202180015412.0A CN115136220A (zh) 2020-02-18 2021-02-15 警告控制装置及警告控制系统
PCT/JP2021/005407 WO2021166820A1 (ja) 2020-02-18 2021-02-15 警告制御装置、及び警告制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020025117A JP7327199B2 (ja) 2020-02-18 2020-02-18 警告制御装置

Publications (2)

Publication Number Publication Date
JP2021131596A true JP2021131596A (ja) 2021-09-09
JP7327199B2 JP7327199B2 (ja) 2023-08-16

Family

ID=77391207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020025117A Active JP7327199B2 (ja) 2020-02-18 2020-02-18 警告制御装置

Country Status (4)

Country Link
US (1) US20230078015A1 (ja)
JP (1) JP7327199B2 (ja)
CN (1) CN115136220A (ja)
WO (1) WO2021166820A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322699A (ja) * 1999-05-12 2000-11-24 Toshiba Corp 車載機器の制御装置及びその制御方法
JP2007069756A (ja) * 2005-09-07 2007-03-22 Toyota Motor Corp 車両用入力操作規制装置
JP2007304712A (ja) * 2006-05-09 2007-11-22 Denso Corp 運転支援装置
JP2014211787A (ja) * 2013-04-19 2014-11-13 本田技研工業株式会社 情報提供装置
JP2017211818A (ja) * 2016-05-25 2017-11-30 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
JP2019064460A (ja) * 2017-09-29 2019-04-25 ダイハツ工業株式会社 自動運転中の運転制御装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5576134B2 (ja) * 2010-02-04 2014-08-20 本田技研工業株式会社 脇見警報装置
US20140315531A1 (en) * 2013-04-17 2014-10-23 Donald Joong System & method for enabling or restricting features based on an attention challenge
US10377303B2 (en) * 2014-09-04 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Management of driver and vehicle modes for semi-autonomous driving systems
US20180135998A1 (en) * 2016-11-16 2018-05-17 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method for improved user experience during driver distraction lockout modes
JP6961999B2 (ja) * 2017-05-18 2021-11-05 いすゞ自動車株式会社 車両用情報処理装置
JP6885222B2 (ja) * 2017-06-30 2021-06-09 いすゞ自動車株式会社 車両用情報処理装置
US11178272B2 (en) * 2017-08-14 2021-11-16 Cellcontrol, Inc. Systems, methods, and devices for enforcing do not disturb functionality on mobile devices
JP2020024532A (ja) * 2018-08-07 2020-02-13 オムロン株式会社 脇見運転検出装置
KR20200107023A (ko) * 2019-03-05 2020-09-16 현대자동차주식회사 차량 안전주행 지원 장치 및 방법
IT201900012813A1 (it) * 2019-07-24 2021-01-24 Ambarella Int Lp Switchable display during parking maneuvers

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322699A (ja) * 1999-05-12 2000-11-24 Toshiba Corp 車載機器の制御装置及びその制御方法
JP2007069756A (ja) * 2005-09-07 2007-03-22 Toyota Motor Corp 車両用入力操作規制装置
JP2007304712A (ja) * 2006-05-09 2007-11-22 Denso Corp 運転支援装置
JP2014211787A (ja) * 2013-04-19 2014-11-13 本田技研工業株式会社 情報提供装置
JP2017211818A (ja) * 2016-05-25 2017-11-30 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
JP2019064460A (ja) * 2017-09-29 2019-04-25 ダイハツ工業株式会社 自動運転中の運転制御装置

Also Published As

Publication number Publication date
US20230078015A1 (en) 2023-03-16
CN115136220A (zh) 2022-09-30
JP7327199B2 (ja) 2023-08-16
WO2021166820A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
US9925832B2 (en) Alerting device
US10569649B2 (en) In-vehicle control apparatus
US7382240B2 (en) Warning device in a vehicle
US8390440B2 (en) Method for displaying a visual warning signal
JP2012164012A (ja) 視線検出装置および視線検出方法
JP5576134B2 (ja) 脇見警報装置
US20180257565A1 (en) Drive assist apparatus
JP2010067165A (ja) 車両用緊急車両接近検出システム
JP6593011B2 (ja) 安全運転促進装置及び安全運転促進方法
JP2016055801A (ja) 車載表示装置
KR20210113070A (ko) 주의 기반 알림
KR20150061943A (ko) 운전자 상태 감지 장치 및 그 방법
KR20150086911A (ko) 음주운전 판단방법, 그를 이용한 음주운전 방지장치 및 그의 제어방법
JP5954169B2 (ja) 制御装置
JP2014013496A (ja) 運転支援装置及びプログラム
JP2009176112A (ja) 乗員の視線検出装置
US11881054B2 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
WO2021166820A1 (ja) 警告制御装置、及び警告制御システム
JP6977589B2 (ja) 車両用警報装置
JP2016207174A (ja) 車両の安全運転促進方法及び車両の安全運転促進装置
JP2018108784A (ja) 脇見判定装置及び方法
JP2019086983A (ja) 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム
JP2011218889A (ja) 車両用速度表示装置
JP2020079879A (ja) 表示制御装置
JP2018092318A (ja) 安全確認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R150 Certificate of patent or registration of utility model

Ref document number: 7327199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150