JP2017077817A - 状態判定装置 - Google Patents

状態判定装置 Download PDF

Info

Publication number
JP2017077817A
JP2017077817A JP2015207167A JP2015207167A JP2017077817A JP 2017077817 A JP2017077817 A JP 2017077817A JP 2015207167 A JP2015207167 A JP 2015207167A JP 2015207167 A JP2015207167 A JP 2015207167A JP 2017077817 A JP2017077817 A JP 2017077817A
Authority
JP
Japan
Prior art keywords
driver
state
head
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015207167A
Other languages
English (en)
Other versions
JP6575293B2 (ja
Inventor
眞由美 岩男
Mayumi Iwao
眞由美 岩男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2015207167A priority Critical patent/JP6575293B2/ja
Priority to PCT/JP2016/080459 priority patent/WO2017069046A1/ja
Publication of JP2017077817A publication Critical patent/JP2017077817A/ja
Application granted granted Critical
Publication of JP6575293B2 publication Critical patent/JP6575293B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

【課題】運転者の状態の判定精度を向上させることができる状態判定装置を提供する。【解決手段】状態判定装置10は、車両1の運転席に着座している運転者を撮影して画像を生成する撮像装置21から画像を取得する画像取得部11と、画像における運転者の頭部31を特定する特定部12と、画像における頭部31が所定の基準範囲に入っていない場合に、運転者の状態を異常状態と判定する判定部13と、を有する。【選択図】図1

Description

本発明は、運転者の状態が異常であるか否かを判定する状態判定装置に関する。
従来、車両の運転者の状態を判定する方法として、撮像装置を用いて運転者の顔を撮影して画像を生成し、画像における運転者の顔の特徴に基づいて運転者の状態を判定する方法が知られている。例えば、特許文献1には、眼の充血などの、運転者の顔に現れる特徴に基づいて、運転者の健康状態を判定する方法が開示されている。
特許第4932938号公報
運転者を撮影する時に運転者の顔を照らす光の明るさが変化すると、画像における運転者の顔の特徴の見え方が変化することがある。このため、特許文献1に記載された方法によっては、運転者の状態に関連する顔の特徴を検出できず、運転者の状態を判定することができないことがあると考えられる。
そこで、本発明はこれらの点に鑑みてなされたものであり、運転者の状態の判定精度を向上させることができる状態判定装置を提供することを目的とする。
本発明の態様においては、車両の運転席に着座している運転者を撮影して画像を生成する撮像装置から前記画像を取得する画像取得部と、前記画像における前記運転者の頭部を特定する特定部と、前記画像における前記頭部が所定の基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定する判定部と、を有する、状態判定装置を提供する。
上記の状態判定装置は、所定の判定期間において、前記判定部が前記運転者の状態を異常状態と判定した期間の積算値が所定の閾値以上である場合に、警報装置に警報を出力させる警報制御部、をさらに有していてもよい。
上記の状態判定装置は、前記運転者の状態が異常であるか否かを前記判定部が判定する前の所定の期間内に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて、前記基準範囲を生成する基準生成部、をさらに有していてもよい。
前記判定部は、前記車両の走行時に前記画像取得部が取得した前記画像における前記頭部31が、前記基準生成部が前記運転者の状態が異常であるか否かを前記判定部が判定する前の前記車両の走行時に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて生成した前記基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定してもよい。
前記判定部は、前記車両の停止時に前記画像取得部が取得した前記画像における前記頭部31が、前記基準生成部が前記運転者の状態が異常であるか否かを前記判定部が判定する前の前記車両の停止時に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて生成した前記基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定してもよい。
前記特定部は、前記画像における前記頭部の面積を特定し、前記判定部は、前記画像における前記頭部の面積が所定の基準面積以下である場合に、前記運転者の状態を異常状態と判定してもよい。
本発明によれば、運転者の状態の判定精度を向上させることができる。
第1の実施形態に係る車両の構成を示すブロック図である。 第1の実施形態に係る状態判定装置の基準生成部が基準範囲を生成する方法を示す図である。 第1の実施形態に係る状態測定装置の動作を示すフローチャートである。 第2の実施形態に係る状態判定装置の基準生成部が基準範囲を生成する方法を示す図である。 撮像装置の撮影範囲に占める運転者の頭部の範囲の比率と、運転者の姿勢との関係を示す図である。
<第1の実施形態>
図1は、本実施形態に係る車両1の構成を示すブロック図である。車両1は、撮像装置21、状態判定装置10、警報装置22、送信装置23、車両制御装置24、及び入力装置25を備えている。
撮像装置21は、例えば、車両1のダッシュボードに設けられたCCDカメラを含んでいる。撮像装置21は、走行中の車両1の運転席に着座している運転者を前方から撮影して画像を生成する。撮像装置21は、画像を状態判定装置10に対して出力する。
状態判定装置10は、撮像装置21から入力された画像における運転者の頭部に関する情報に基づいて、運転者の状態を判定する。具体的には、状態判定装置10は、車両1の走行時の画像における運転者の頭部が所定の基準範囲に入っていない場合に、運転者の状態を異常状態と判定する。
警報装置22は、状態判定装置10からの制御に基づいて、運転者が異常状態であることを示す警報を出力する。例えば、警報装置22は、警報を音声で出力するスピーカーを含んでいる。警報装置22は、警報を文字又は画像で表示するディスプレイを含んでいてもよい。
送信装置23は、状態判定装置10からの制御に基づいて、運転者の状態に関する情報を車両1の外部へ送信する。例えば、送信装置23は、テレマティクスサービスにおける無線通信方式を利用して、情報を送信する。車両1が、バス、トラックなどの商用車である場合、送信装置23は、例えば、車両1を管理する管理会社へ情報を送信する。
車両制御装置24は、例えば電子制御ユニット(ECU)を含んでいる。車両制御装置24は、運転者からの操作と、車両1の速度などの車両状態に関する車両情報と、に基づいて、車両1のエンジン、ブレーキ等を制御する。車両制御装置24は、車両状態に関する車両情報を状態判定装置10に対して出力する。
入力装置25は、例えば、警報装置22からの警報出力を停止するために運転者が操作するスイッチを含んでいる。入力装置25は、スイッチを介した運転者からの操作に関する情報を、状態判定装置10に対して出力する。
[状態判定装置10の構成]
以下、状態判定装置10の構成について詳細に説明する。状態判定装置10は、例えばCPU、ROM及びRAM等のメモリを含んでおり、ROMに記憶されたプログラムを実行することにより、画像取得部11、特定部12、判定部13、基準生成部14、警報制御部15、及び送信制御部16として機能する。
画像取得部11は、撮像装置21が撮像した画像を撮像装置21から取得する。画像取得部11は、例えば、車両1の走行時に撮像装置21が撮像した画像を撮像装置21から取得する。
特定部12は、画像取得部11が取得した画像における運転者の頭部を特定する。特定部12は、特定した頭部に関する情報を、判定部13に入力する。特定した頭部に関する情報は、例えば、画像における頭部の輪郭の座標を示す情報である。特定部12は、画像における運転者の頭部を特定できない場合、頭部を特定不能であることを示すロスト情報を生成して判定部13に入力する。頭部を特定できない原因としては、運転者の顔を照らす光の明るさが不適切であること、運転者の頭部が撮像装置21の撮影範囲から逸脱していることなどが考えられる。特定部12は、特定した頭部に関する情報を、判定部13に入力する。
判定部13は、特定部12から入力された頭部に関する情報が示す頭部の範囲と、基準生成部14が運転者ごとに個別に生成した所定の基準範囲とを比較して、運転者の状態を判定する。例えば、判定部13は、画像における頭部が基準範囲に入っている場合、運転者の状態を正常状態と判定し、画像における頭部が基準範囲に入っていない場合に、運転者の状態を異常状態と判定する。また、判定部13は、ロスト情報が特定部12から入力されている場合、画像における頭部が基準範囲に入っていないとみなして、運転者の状態を異常状態と判定する。
判定部13は、車両1が所定の制御状態にあることにより、頭部が基準範囲内に入っていないことが重大な問題を引き起こさないと考えられる場合には、画像に基づいて運転者の状態を判定する処理を中断してもよい。具体的には、判定部13は、車両1の速度に関する情報、及び車両1の操舵状況に関する情報等の制御情報を車両制御装置24から取得し、当該制御情報に基づいて、運転者の状態の判定を中断してもよい。例えば、判定部13は、制御情報に基づいて、車両1が停止している間、又は車両1が低速で走行している間は、判定を中断する。また、運転者が操舵動作を行っている間は、撮像装置21が撮影する画像において、運転者の頭部がハンドルのスポークによって遮蔽されることによって、画像における頭部を特定できないことが生じうるので、判定部13は、判定を中断してもよい。
基準生成部14は、上述の基準範囲を運転者ごとに生成する。以下、基準生成部14について、図2を参照して説明する。図2は、基準生成部14が第1基準範囲R1を生成する方法の一例を示す図である。
基準生成部14は、図2(a)に示すように、車両1の走行時の所定のキャリブレーション期間内に画像取得部11が取得した複数の画像における運転者の頭部31の位置を、メモリに記憶させる。続いて、基準生成部14は、図2(b)に示すように、キャリブレーション期間が終了した後に、メモリに記憶させた複数の頭部31を包含する第1基準範囲R1を生成する。キャリブレーション期間は、判定部13が、運転者の状態が異常であるか否かの判定を開始する前の所定の期間である。例えば、キャリブレーション期間は、車両1が走行を開始してから所定の時間(例えば3分間)が経過するまでの期間である。
警報制御部15は、判定部13が運転者の状態を異常状態と判定した期間の積算値に基づいて、警報装置22に警報を出力させるか否かを制御する。例えば、警報制御部15は、まず、所定の判定期間T1の間に判定部13が運転者の状態を異常状態と判定した期間を積算した積算値S1を算出する。続いて、警報制御部15は、判定期間T1における積算値S1が、所定の閾値E1以上である場合、警報装置22に警報を出力させる。判定期間T1は、現時点から過去のT1の長さの期間(例えば、60秒)である。閾値E1は、例えば55秒である。
警報制御部15は、所定の警報停止条件が満たされるまで、警報装置22に警報を出力させる。また、警報制御部15は、警報停止条件が満たされた場合、警報装置22に警報を出力させることを停止する。
警報停止条件は、例えば、運転者が操舵動作、ブレーキ動作などの所定の動作を行うことである。警報制御部15は、運転者が所定の動作を行ったか否かを、車両1を制御する車両制御装置24から入力された情報に基づいて判定する。
また、警報停止条件は、警報を停止するための入力装置25のスイッチが運転者によって操作されたことであってもよい。
また、警報装置22が警報を出力している間も判定部13が運転者の状態の判定を行う場合、警報制御部15は、警報装置22が警報を出力している間の判定期間T1における積算値S1が閾値E1未満になった場合に、警報を停止してもよい。
送信制御部16は、警報制御部15が警報装置22に連続的に警報を出力させている警報継続期間S2を算出する。そして、送信制御部16は、警報継続期間S2が、所定の閾値E2以上になった場合、送信装置23を介して、運転者が異常状態にあるという情報を車両1の外部に送信する。
[状態判定装置10の動作]
次に、状態判定装置10の動作について、図3を参照して説明する。図3は、状態判定装置10の動作を示すフローチャートである。
画像取得部11は、車両1の走行時に撮像装置21が運転者を前方から撮影して生成した画像を定期的に取得する(S11)。続いて、特定部12は、画像における運転者の頭部31を特定する(S12)。続いて、判定部13は、画像における頭部31全体が、所定の第1基準範囲R1に入っていないかどうかを判定する(S13)。頭部31全体が第1基準範囲R1に入っていない場合(S13においてYES)、判定部13は、運転者の状態を異常状態と判定する(S14)。
警報制御部15は、所定の判定期間T1において判定部13が運転者の状態を異常状態と判定した期間の積算値S1を算出する(S15)。続いて、警報制御部15は、積算値S1が所定の閾値E1以上になるか否かを判定する(S16)。積算値S1が閾値E1以上になる場合(S16においてYES)、警報制御部15は、警報装置22に警報を出力させる(S17)。
警報制御部15が警報装置22に警報を出力させている間、警報制御部15は、所定のサンプリング周期ごとに、所定の警報停止条件が満たされたか否かを確認する(S18)。警報停止条件が満たされておらず(S18においてNO)、このため、警報制御部15が警報装置22に警報を連続的に出力させている場合、送信制御部16は、警報継続期間S2が所定の閾値E2以上になるか否かを判定する(S19)。警報継続期間S2が閾値E2以上になる場合、(S19においてYES)、送信制御部16は、送信装置23に、車両1の管理会社へ、運転者が異常状態にあることを示す情報を送信させる(S20)。
警報制御部15は、S18において所定の警報停止条件が満たされた場合、送信装置23に警報を出力させることを停止する(S21)。
[本実施形態による状態判定装置10の効果]
本実施形態によれば、状態判定装置10の判定部13は、撮像装置21が撮像した画像における運転者の頭部31が所定の第1基準範囲R1に入っていないかどうかに基づいて、運転者の状態を判定する。このようにすることにより、運転者の顔の特徴を検出することが困難な場合であっても、運転者の状態を判定することができる。
また、本実施形態によれば、状態判定装置10の警報制御部15は、所定の判定期間T1において判定部13が運転者の状態を異常状態と判定した期間の積算値S1が所定の閾値E1以上である場合に、警報装置22に警報を出力させる。このようにすることにより、頭部31が一時的に第1基準範囲R1から出ただけで警報が出力されることを防止できる。
また、本実施形態によれば、状態判定装置10の基準生成部14は、運転者の状態が異常であるか否かを判定部13が判定する前の所定のキャリブレーション期間内に画像取得部11が取得した画像における運転者の頭部31が位置する範囲に基づいて、第1基準範囲R1を生成する。このようにすることにより、運転者の体形の個人差などに依らず、運転者の状態を精度良く判定することができる。
また、本実施形態によれば、状態判定装置10の判定部13は、車両1の走行時のキャリブレーション期間内に基準生成部14が生成した第1基準範囲R1に基づいて、車両1の走行時の運転者の状態を判定する。このようにすることにより、車両1の走行時に運転者の状態を精度良く判定することができる。
また、本実施形態によれば、状態判定装置10の特定部12は、運転者の頭部31が撮像装置21の撮影範囲から逸脱していることなどに起因して画像における運転者の頭部31を特定できない場合に、頭部31を特定不能であることを示すロスト情報を生成する。また、判定部13は、ロスト情報が特定部12から入力されている場合、運転者の状態を異常状態と判定する。このようにすることにより、ロスト情報を利用して運転者の状態を判定することができる。
<第2の実施形態>
第1の実施形態に係る状態判定装置10は、車両1の走行時に撮像装置21が撮像した画像における運転者の頭部31に関する情報に基づいて、車両1の走行時における運転者の状態を判定した。これに対して、第2の実施形態に係る状態判定装置10は、車両1の走行時及び停止時に撮像装置21が撮像した画像における運転者の頭部31に関する情報に基づいて、車両1の走行時及び停止時における運転者の状態を判定する。以下の説明では、第1の実施形態の場合と同一の構成要素については、説明を省略する。
車両1の停止時、運転者は、オーディオ機器の操作など、車両1の運転操作以外の様々な操作を行う。このため、車両1の走行時に比べて、撮像装置21が撮像した画像において、運転者の頭部31が様々な位置に存在しうる。従って、仮に状態判定装置10の判定部13が、車両1の停止時の画像における運転者の頭部31と、車両1の走行時のキャリブレーション期間内に基準生成部14が生成した第1基準範囲R1とを比較して、車両1の停止時における運転者の状態を判定すると、判定部13は、問題の無い動作をしている運転者の状態を異常状態と判定することがある。この点を考慮し、本実施形態による判定部13は、車両1の停止時には、車両1の停止時の所定のキャリブレーション期間内に基準生成部14が生成した第2基準範囲を用いて、運転者の状態を判定する。
図4は、本実施形態に係る状態判定装置10の基準生成部14が、判定部13が車両1の停止時に用いる第2基準範囲R2を生成する方法の一例を示す図である。基準生成部14は、図4(a)に示すように、車両1の停止時の所定のキャリブレーション期間内に画像取得部11が取得した複数の画像における運転者の頭部31の位置を、メモリに記憶させる。続いて、基準生成部14は、図4(b)に示すように、キャリブレーション期間が終了した後に、メモリに記憶させた複数の頭部31を包含する第2基準範囲R2を生成する。キャリブレーション期間は、判定部13が、運転者の状態が異常であるか否かの判定を開始する前の所定の期間である。例えば、キャリブレーション期間は、車両1が走行を開始した後に、信号待ちなどの理由で車両1が停止している期間であって、車両1が停止している期間の積算値が所定の時間(例えば3分間)になるまでの期間である。
本実施形態において、状態判定装置10は、車両1の走行時に画像取得部11が取得した画像における運転者の頭部31が、車両1の走行時の所定のキャリブレーション期間内に基準生成部14が生成した第1基準範囲R1に入っていない場合に、運転者の状態を異常状態と判定する。また、状態判定装置10は、車両1の停止時に画像取得部11が取得した画像における運転者の頭部31が、車両1の停止時の所定のキャリブレーション期間内に基準生成部14が生成した第2基準範囲R2に入っていない場合に、運転者の状態を異常状態と判定する。また、判定部13は、車両1の走行時及び停止時のいずれにおいても、ロスト情報が特定部12から入力されている場合、画像における頭部31が基準範囲に入っていないとみなして、運転者の状態を異常状態と判定する。
[本実施形態による状態判定装置10の効果]
本実施形態によれば、判定部13は、車両1の走行時には、車両1の走行時に基準生成部14が生成した第1基準範囲R1に基づいて運転者の状態を判定し、車両1の停止時には、車両1の停止時に基準生成部14が生成した第2基準範囲R2に基づいて運転者の状態を判定する。このようにすることにより、車両1の走行時及び停止時のいずれにおいても、運転者の状態を精度良く判定することができる。
<第3の実施形態>
第1の実施形態に係る状態判定装置10は、車両1の走行時に撮像装置21が撮像した画像における運転者の頭部31が所定の第1基準範囲R1に入っていないかどうかに基づいて、運転者の状態を判定した。これに対して、第3の実施形態に係る状態判定装置10は、車両1の走行時に撮像装置21が撮像した画像における運転者の頭部31の面積が所定の基準範囲に入っているかどうかに基づいて、運転者の状態を判定する。以下の説明では、第1の実施形態の場合と同一の構成要素については、説明を省略する。
図5は、撮像装置21の撮影範囲L1に占める運転者の頭部31の範囲L2の比率と、運転者の姿勢との関係を示す図である。図5(a)は、運転者が、上半身が運転席30に沿って延びる正常姿勢をとる場合を示す図である。図5(b)は、運転者が、正常姿勢に比べて後方に傾いた後傾姿勢をとる場合を示す図である。図5(c)は、運転者が、正常姿勢に比べて前方に傾いた前傾姿勢をとる場合を示す図である。
運転者が後傾姿勢をとる場合、正常姿勢の場合に比べて頭部31が撮像装置21から遠ざかり、撮影範囲L1に占める運転者の頭部31の範囲L2の比率が低くなる。この結果、撮像装置21が撮像した画像における頭部31の面積が小さくなる。一方、運転者が前傾姿勢をとる場合、正常姿勢の場合に比べて頭部31が撮像装置21に近づき、撮影範囲L1に占める運転者の頭部31の範囲L2の比率が高くなる。この結果、撮像装置21が撮像した画像における頭部31の面積が大きくなる。
上記の性質を利用して運転者の状態を判定するために、本実施形態に係る特定部12は、画像取得部11が取得した画像における運転者の頭部31の面積を特定する。特定部12は、特定した頭部31の面積に関する情報を、判定部13に入力する。また、特定部12は、画像における運転者の頭部31の面積を特定できない場合、頭部31の面積を特定不能状態であることを示すロスト情報を生成して判定部13に入力する。
また、基準生成部14は、運転者が正常な状態における頭部31の面積が含まれる基準範囲を示す情報(以下、基準範囲情報という)を生成する。基準生成部14は、例えば以下の手順により基準範囲情報を生成する。まず、基準生成部14は、車両1の走行時の所定のキャリブレーション期間内に画像取得部11が取得した複数の画像における運転者の頭部31の面積を、メモリに記憶させる。続いて、基準生成部14は、キャリブレーション期間が終了した後に、メモリに記憶させた複数の頭部31の面積の平均値よりも所定の比率だけ小さい第1基準面積及び所定の比率だけ大きい第2基準面積を、基準範囲情報として算出する。
また、判定部13は、画像における頭部31の面積が基準範囲に入っているかどうかに基づいて、運転者の姿勢を推測する。具体的には、判定部13は、頭部31の面積が第1基準面積よりも大きく且つ第2基準面積よりも小さい場合は、運転者が正常姿勢であると推測する。判定部13は、頭部31の面積が第1基準面積以下である場合は、運転者が後傾姿勢であると推測する。判定部13は、頭部31の面積が第2基準面積以上である場合は、運転者が前傾姿勢であると推測する。
また、判定部13は、推測した運転者の姿勢に基づいて、運転者の状態を判定する。運転者は、例えば健康が悪化した状態の時に、後傾姿勢をとる。また、運転者は、例えば緊張状態にある時に、前傾姿勢をとる。状態判定装置10は、運転者の姿勢と運転者の状態との間のこのような関係を利用して、運転者の状態を判定する。具体的には、判定部13は、運転者の姿勢が後傾姿勢又は前傾姿勢であると推測される場合、運転者の状態を異常状態と判定する。
[本実施形態による状態判定装置10の効果]
本実施形態によれば、状態判定装置10は、撮像装置21が撮像した画像における運転者の頭部31の面積が所定の基準範囲に入っているかどうかに基づいて、運転者の状態を判定する。このようにすることにより、運転者の顔の特徴を検出することが困難な場合であっても、運転者の状態を判定することができる。
[変形例]
状態判定装置10は、第1の実施形態における、画像における運転者の頭部31が所定の第1基準範囲R1に入っていないかどうかに基づいて運転者の状態を判定する方法、及び、第3の実施形態における、画像における運転者の頭部31の面積が所定の基準範囲に入っているかどうかに基づいて運転者の状態を判定する方法を組み合わせて用いて、運転者の状態を判定してもよい。
例えば、状態判定装置10の判定部13は、画像取得部11が取得した画像における頭部31が第1基準範囲R1に入っていないかどうかを判定する。また、判定部13は、画像取得部11が取得した画像における頭部31の面積が第1基準面積以下であるかどうかを判定する。続いて、判定部13は、画像における頭部31が第1基準範囲R1に入っていない場合、又は、画像における頭部31の面積が第1基準面積以下である場合、運転者の状態を異常状態と判定する。このようにすることにより、状態判定装置10は、異常状態にある運転者をより確実に検出することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
1 車両
10 状態判定装置
11 画像取得部
12 特定部
13 判定部
14 基準生成部
15 警報制御部
16 送信制御部
21 撮像装置
22 警報装置
23 送信装置
24 車両制御装置
25 入力装置
30 運転席
31 頭部
R1 第1基準範囲
R2 第2基準範囲

Claims (6)

  1. 車両の運転席に着座している運転者を撮影して画像を生成する撮像装置から前記画像を取得する画像取得部と、
    前記画像における前記運転者の頭部を特定する特定部と、
    前記画像における前記頭部が所定の基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定する判定部と、
    を有する、状態判定装置。
  2. 所定の判定期間において、前記判定部が前記運転者の状態を異常状態と判定した期間の積算値が所定の閾値以上である場合に、警報装置に警報を出力させる警報制御部をさらに有する、請求項1に記載の状態判定装置。
  3. 前記運転者の状態が異常であるか否かを前記判定部が判定する前の所定の期間内に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて、前記基準範囲を生成する基準生成部をさらに有する、請求項1又は2に記載の状態判定装置。
  4. 前記判定部は、前記車両の走行時に前記画像取得部が取得した前記画像における前記頭部が、前記基準生成部が前記運転者の状態が異常であるか否かを前記判定部が判定する前の前記車両の走行時に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて生成した前記基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定する、請求項3に記載の状態判定装置。
  5. 前記判定部は、前記車両の停止時に前記画像取得部が取得した前記画像における前記頭部が、前記基準生成部が前記運転者の状態が異常であるか否かを前記判定部が判定する前の前記車両の停止時に前記画像取得部が取得した前記画像における前記運転者の前記頭部が位置する範囲に基づいて生成した前記基準範囲に入っていない場合に、前記運転者の状態を異常状態と判定する、請求項3又は4に記載の状態判定装置。
  6. 前記特定部は、前記画像における前記頭部の面積を特定し、
    前記判定部は、前記画像における前記頭部の面積が所定の基準面積以下である場合に、前記運転者の状態を異常状態と判定する、請求項1から5のいずれか1項に記載の状態判定装置。
JP2015207167A 2015-10-21 2015-10-21 状態判定装置 Active JP6575293B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015207167A JP6575293B2 (ja) 2015-10-21 2015-10-21 状態判定装置
PCT/JP2016/080459 WO2017069046A1 (ja) 2015-10-21 2016-10-14 状態判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015207167A JP6575293B2 (ja) 2015-10-21 2015-10-21 状態判定装置

Publications (2)

Publication Number Publication Date
JP2017077817A true JP2017077817A (ja) 2017-04-27
JP6575293B2 JP6575293B2 (ja) 2019-09-18

Family

ID=58557292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015207167A Active JP6575293B2 (ja) 2015-10-21 2015-10-21 状態判定装置

Country Status (2)

Country Link
JP (1) JP6575293B2 (ja)
WO (1) WO2017069046A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020184137A (ja) * 2019-05-07 2020-11-12 マツダ株式会社 ドライバ姿勢検出装置
WO2022270205A1 (ja) * 2021-06-25 2022-12-29 株式会社デンソー ドライバの顔認証装置及び顔認証プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757172A (ja) * 1993-08-16 1995-03-03 Mitsubishi Electric Corp 運転者異常事態発生警報装置
JP2004056785A (ja) * 2003-06-16 2004-02-19 Hitachi Ltd 車載用画像処理装置
JP2008287561A (ja) * 2007-05-18 2008-11-27 Fujikura Ltd 居眠り防止装置
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
JP2010204847A (ja) * 2009-03-02 2010-09-16 Toyota Motor Corp 運転者状態検出装置及びこれを用いた衝突早期検出装置
US20150042478A1 (en) * 2013-08-06 2015-02-12 Nuvoton Technology Corporation Alert method and alert system thereof
JP2016027452A (ja) * 2014-06-23 2016-02-18 株式会社デンソー ドライバの運転不能状態検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757172A (ja) * 1993-08-16 1995-03-03 Mitsubishi Electric Corp 運転者異常事態発生警報装置
JP2004056785A (ja) * 2003-06-16 2004-02-19 Hitachi Ltd 車載用画像処理装置
JP2008287561A (ja) * 2007-05-18 2008-11-27 Fujikura Ltd 居眠り防止装置
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
JP2010204847A (ja) * 2009-03-02 2010-09-16 Toyota Motor Corp 運転者状態検出装置及びこれを用いた衝突早期検出装置
US20150042478A1 (en) * 2013-08-06 2015-02-12 Nuvoton Technology Corporation Alert method and alert system thereof
JP2016027452A (ja) * 2014-06-23 2016-02-18 株式会社デンソー ドライバの運転不能状態検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020184137A (ja) * 2019-05-07 2020-11-12 マツダ株式会社 ドライバ姿勢検出装置
JP7320187B2 (ja) 2019-05-07 2023-08-03 マツダ株式会社 ドライバ姿勢検出装置
WO2022270205A1 (ja) * 2021-06-25 2022-12-29 株式会社デンソー ドライバの顔認証装置及び顔認証プログラム

Also Published As

Publication number Publication date
WO2017069046A1 (ja) 2017-04-27
JP6575293B2 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
EP3128498B1 (en) Vehicular information presentation apparatus
US9731727B2 (en) Method and device for detecting the alertness of a vehicle driver
JP5549721B2 (ja) ドライバモニタ装置
JP6488922B2 (ja) 運転者異常検出装置
US20160262682A1 (en) Driver monitoring apparatus
EP2670147A2 (en) Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle
CN104554136B (zh) 基于车载导航与摄像头的安全提示系统及方法
US9913607B2 (en) Collision avoidance system and collision avoidance method
JP6256433B2 (ja) 運転者状態検出装置
JP2005199814A (ja) 車載アプリケーション選択システム及び車載アプリケーション選択装置
CN103477380B (zh) 驾驶员状态判定装置
JP6575293B2 (ja) 状態判定装置
KR101461911B1 (ko) 안전벨트 체결 상태 가이드 장치 및 방법
US11325609B2 (en) Vehicle driving assist system
JP2017191367A (ja) 安全運転支援装置及び安全運転支援プログラム
US11772563B2 (en) In-vehicle multi-monitoring device for vehicle
US10974719B2 (en) Mobile object control system, mobile object control method, and program
US20220272302A1 (en) In-vehicle monitoring device for vehicle
US20190156133A1 (en) Vehicle driving support apparatus and vehicle driving support program
WO2013114871A1 (ja) 運転支援装置及び運転支援方法
WO2020179656A1 (ja) 運転者監視装置
CN115336248A (zh) 车辆用记录控制装置以及记录控制方法
JP2016224842A (ja) 自動走行車両
JP2020117843A (ja) 制御装置及び制御方法
JP6638291B2 (ja) 状態判定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190805

R150 Certificate of patent or registration of utility model

Ref document number: 6575293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150