JP2009301367A - 運転者状態推定装置 - Google Patents

運転者状態推定装置 Download PDF

Info

Publication number
JP2009301367A
JP2009301367A JP2008156017A JP2008156017A JP2009301367A JP 2009301367 A JP2009301367 A JP 2009301367A JP 2008156017 A JP2008156017 A JP 2008156017A JP 2008156017 A JP2008156017 A JP 2008156017A JP 2009301367 A JP2009301367 A JP 2009301367A
Authority
JP
Japan
Prior art keywords
driver
state
vehicle
weak
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008156017A
Other languages
English (en)
Other versions
JP4980988B2 (ja
Inventor
Masahiro Miyaji
正広 宮治
Mikio Danno
幹男 段野
Koji Oguri
宏次 小栗
Haruki Kawanaka
治樹 河中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota InfoTechnology Center Co Ltd
Original Assignee
Toyota Motor Corp
Toyota InfoTechnology Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota InfoTechnology Center Co Ltd filed Critical Toyota Motor Corp
Priority to JP2008156017A priority Critical patent/JP4980988B2/ja
Publication of JP2009301367A publication Critical patent/JP2009301367A/ja
Application granted granted Critical
Publication of JP4980988B2 publication Critical patent/JP4980988B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】本発明は、運転者状態推定装置に関し、運転者の注意力低下状態の推定を簡易な構成でかつ精度よく実現することにある。
【解決手段】車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の注意力低下状態を推定する運転者状態推定装置において、入力される生体情報又は車両情報を示す複数の特徴量をそれぞれ2値的に識別する弱識別手段と、弱識別手段による複数の特徴量の識別結果に基づいて運転者の運転に対する注意力低下状態を推定する状態推定手段と、弱識別手段による識別又は状態推定手段による推定に用いる、複数の特徴量それぞれと運転者の注意力低下状態との関係をAdaBoostを用いて学習する学習手段と、を備える。
【選択図】図2

Description

本発明は、運転者状態推定装置に係り、特に、車両を運転する運転者の、例えば交通事故に繋がり易い眠気や疲労などの運転に対する注意力が低下する状態を推定するうえで好適な運転者状態推定装置に関する。
従来、車両を運転する運転者の運転行動を検出し、その運転行動から運転者の認知状態を推定する装置が知られている(例えば、特許文献1参照)。この装置は、運転者の運転行動として、車両に設けられたサイドミラーやルームミラーを目視する頻度、頭部の回転頻度やその角度、ナビゲーション装置を目視する頻度などを検出すると共に、それらの各運転行動をその平均値と比較して運転者の認知情報を推定する。そして、その推定した認知情報と車両の環境状態とに基づいて、運転者に提示する情報を決定する。
特開2005−4414号公報
しかしながら、上記した装置において運転者の運転行動からは運転者の認知状態が高いものであると推定されるときでも、実際には運転者の注意力が低下していることがある。このような場合、上記の装置では運転者の状態を正確に推定することができない。このため、運転者の注意力低下に基づく運転者への運転支援を適切に行うことができないおそれがある。
尚、かかる不都合を解消する手法として、運転者の運転行動や車両の環境状態などのパラメータを検出する既存のデバイスとは別に、運転者に実際に生ずる注意力の低下を示すパラメータを検出するデバイスを追加して設け、そのデバイスにより検出された運転者の注意力低下の情報と既存デバイスにより検出された運転者の運動行動や車両の環境状態とを総合して、運転者の状態を推定することが考えられる。
しかし、運転者の状態を示すパラメータのデータ数が増大すると、一般的には、運転者の状態の推定自体やその推定に用いる学習値の演算に要する計算時間が増えるので、リアルタイムでの運転者の推定に適用できなくなる。また、この際、追加されたデバイスの出力と既存のデバイスの出力とをそれぞれ並列に入力させて、それら入力の相互の関係に基づいて運転者の状態を推定するものとすると、既存のデバイスの出力のみを用いて運転者の状態を推定できる推定器は不要となり、新たにすべてのデバイス出力を入力させる推定器を構築することが必要となるので、運転者の状態を推定するシステムが拡張性に乏しいものとなってしまう。
本発明は、上述の点に鑑みてなされたものであり、運転者の状態推定を簡易な構成でかつ精度よく実現することが可能な運転者状態推定装置を提供することを目的とする。
上記の目的は、車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の運転に対する注意力低下状態を推定する運転者状態推定装置であって、入力される前記生体情報又は車両情報を示す複数の特徴量を2値的に識別する複数の弱識別手段と、前記複数の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する状態推定手段と、前記弱識別手段による識別又は前記状態推定手段による推定に用いる、前記複数の特徴量それぞれと前記運転者の運転に対する注意力低下状態との関係について学習を行う学習手段と、を備える運転者状態推定装置により達成される。
この態様の発明においては、運転者の生体情報又は車両情報を示す複数の特徴量が複数の弱識別手段で2値的に識別されて、それらの識別結果に基づいて運転者の運転に対する注意力低下状態が推定される。また、その識別や推定に用いる複数の特徴量それぞれと運転者の注意力低下状態との関係について学習が行われる。運転者の生体情報又は車両情報を示す特徴量を、推定すべき運転者の注意力低下状態に関連して2値的に識別する構成によれば、その識別自体を簡易に行うことができる。また、複数の特徴量の識別結果を組み合わせれば、運転者の注意力低下状態の推定精度を向上させることができる。従って、本発明によれば、運転者の注意力低下状態の推定を簡易な構成でかつ精度よく実現することが可能となる。
ところで、上記した運転者状態推定装置において、前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記特徴量とに基づいて、前記複数の特徴量について前記関係を学習することとすればよい。
また、上記した運転者状態推定装置において、前記学習手段は、前記関係をAdaBoostを用いて学習することとすればよい。
また、上記した運転者状態推定装置において、入力される前記生体情報又は車両情報を示す特徴量が新たに追加された場合、前記弱識別手段は、該新たな特徴量が追加される前から存在する前記複数の特徴量を2値的に識別する第1の弱識別手段と、前記第1の弱識別手段とは別に設けられ、該追加された新たな特徴量を2値的に識別する第2の弱識別手段と、を有し、前記状態推定手段は、前記第1の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する第1の状態推定手段と、前記第1の状態推定手段による推定結果と前記第2の弱識別手段による前記追加された新たな特徴量の識別結果とに基づいて前記運転者の運転に対する注意力低下状態を推定する第2の状態推定手段と、を有することとしてもよい。
この態様の発明においては、運転者状態推定装置に入力される運転者の生体情報又は車両情報を示す特徴量が新たに追加された場合、その追加前から存在する複数の特徴量の識別結果に基づいて運転者の注意力低下状態を推定する構成をそのまま保持したうえで、その構成による推定結果と追加された新たな特徴量の識別結果とに基づいて新たに運転者の注意力低下状態を推定することができる。このため、本発明によれば、新たに追加される特徴量を運転者の注意力低下状態を推定するうえで容易に適合させることができ、運転者の注意力低下状態を推定するシステムの拡張性を確保することができる。
この場合、前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記新たな特徴量を含む前記特徴量とに基づいて、該新たな特徴量を含む特徴量について前記関係を学習することとすればよい。
尚、上記した運転者状態推定装置において、前記生体情報又は車両情報は、前記運転者の顔情報、生理状態量、運転操作量、及び車両の環境状態量のうちの少なくとも一つであることとすればよい。
この場合、前記特徴量は、前記運転者の視線移動量、頭部移動量、瞳孔径、瞬き回数、心電図RRI、操舵角変動量、及び車線逸脱量のうちの少なくとも二つであることとすればよい。
本発明によれば、運転者の注意力低下状態の推定を簡易な構成でかつ精度よく実現することができる。
以下、図面を用いて、本発明の具体的な実施の形態について説明する。
図1は、本発明の一実施例である運転者状態推定装置10を備える車両運転支援システムの構成図を示す。本実施例の運転者状態推定装置10は、車両に搭載されており、車両を運転する運転者が、例えば交通事故に繋がり易い眠気や疲労,漫然状態等の注意力低下状態になっているか否かを推定する装置であり、例えば、その推定結果を車両走行時における運転者の認知・判断・操作を支援するための装置へ出力する装置である。
運転者状態推定装置10は、マイクロコンピュータ等により構成される電子制御ユニット(以下、ECUと称す)12を備えている。運転者センサ14、車内センサ16、車外センサ18、及び情報通信装置20が電気的に接続されている。ECU12は、これらのセンサ等14〜20からの出力に基づいて、車両を運転する運転者の注意力低下状態を推定する処理を行う。
具体的には、運転者センサ14は、運転者の生体情報や運転操作を示す特徴量(例えば、運転者自身の心電図によるR波間隔(RRI)や体温,脈拍,呼吸数,瞼の開閉,その瞬き回数,瞳孔径,視線の移動量,頭部の移動量,運転姿勢情報などの顔情報や生理状態量、及び、運転者による運転操作に伴って変化する操舵角やアクセル開度,ブレーキ操作有無などの運転操作量)に応じた信号を出力するセンサであって、互いに異なる特徴量が得られるように少なくとも2つ設けられている。各運転者センサ14の出力はそれぞれ、ECU12に供給される。ECU12は、運転者センサ14の出力信号に基づいて、上記した運転者の生体や車両運転操作に関する各種情報を収集して、現状における運転者の生体や運転操作を示す特徴量を検出する。
車内センサ16は、上記した運転者センサ14によって検出され得る運転者の生体や運転操作以外の車内の状態(例えば、室温やにおい,音,同乗者の有無など)に応じた信号を出力するセンサであって、内気温センサやにおいセンサ,マイク,シートセンサなどである。車内センサ16の出力は、ECU12に供給される。ECU12は、車内センサ16の出力信号に基づいて、車内の状態に関する情報を収集して、その車内の状態を検出する。
車外センサ18は、車外の状態(例えば、障害物や先行車両との相対距離や走行レーンの位置,車線逸脱量,外気温,降雨有無など)に応じた信号を出力するセンサであって、レーダセンサや車載カメラ,外気温センサ,降雨センサなどである。車外センサ18の出力は、ECU12に供給される。ECU12は、車外センサ18の出力信号に基づいて、車外の状態に関する情報を収集して、その車外の状態を検出する。
また、情報通信装置20は、気象庁や道路情報センタなどの外部センタのインフラ装置から無線送信される、特に車載の車外センサ18を用いて検出することができるものを除く車両の走行する道路の環境に関する情報(例えば、現状の天候や天気予報,渋滞情報,事故情報など)を受信する装置である。情報通信装置20の受信した情報は、ECU12に供給される。ECU12は、情報通信装置20から供給される道路環境情報に基づいて、上記した道路環境を取得する。
ECU12には、また、自車両を運転する運転者の個人情報を格納するデータベース22が電気的に接続されている。データベース22には、運転者の個人情報として、上記したセンサ等14〜20(特に運転者センサ14)を用いて検出可能な運転者個人の生体や運転操作,運転傾向(例えば車線の左寄りで車両を走行させる傾向にあることなど)を示す各検出パラメータの種類ごとの、その検出パラメータと運転者の注意力低下状態との関係に関するものが格納される。この検出パラメータと運転者の注意力低下状態との関係は、各検出パラメータの種類ごとに運転者に運転に対する注意力の低下が生ずるか否かの境界値(尚、あまり精度のよくないものであってもよい。)を示すものであってもよく、また、各検出パラメータの種類ごとかつその検出パラメータの所定数値範囲ごとに運転者に運転に対する注意力の低下が生ずるか否かを示すものであってもよい。
データベース22には、また、運転者の個人情報として、格納されている上記の検出パラメータと運転者の注意力低下状態との関係に対する信頼度αを示す情報が格納される。この信頼度αは、検出パラメータの種類ごと又は検出パラメータの所定数値範囲ごとに定められており、“0”〜“1”の値を示す。
ECU12は、データベース22に格納される上記の関係及び信頼度αを車両運転者個々の特性に合わせて更新する学習処理を行うことが可能であると共に、データベース22に格納される上記の関係及び信頼度αを読み出して運転者の注意力低下状態を推定する処理を行うことが可能である。
尚、データベース22に格納される検出パラメータごとのその検出パラメータと運転者の注意力低下状態との関係の初期値は、予め実験的に定められた一般的なものであってもよく、また、車両走行前に予め運転者に対してヒアリングした結果として得られるもの(例えば、注意力低下が生じていると感じているか否かを運転者に聞いたときにその運転者の応答として得られる注意力低下有無の入力結果と、その入力時点で各センサ等14〜20から得られる検出パラメータとの関係)であってもよい。
また、ECU12によるその関係の情報更新は、例えば、車両走行中に各センサ等14〜20の出力に基づいて検出される車両運転者の生体情報や運転操作情報を用いて学習するものであってもよく、複数回の車両走行当たりの分布傾向を用いるものであってもよく、また、通信接続された外部装置から車両運転者個々の特性に合致した情報を通信により書き込むものであってもよい。また、その情報更新は、車両走行中に運転者に対してヒアリングした結果として得られる上記の関係へ行われるものであってもよい。
ECU12は、後に詳述する如く、センサ等14〜20からの出力に基づいて検出した情報を、データベース22に格納されている上記の関係と照合することにより、運転者の運転に対する注意力低下状態(過労・眠気等による注意力の低下、及び、思考・会話,脇見等による注意力の散漫など)を推定する。
本実施例の車両運転支援装置は、エアコンやカーステレオなどの車内快適さに関する制御を行う車内制御システム24、及び、レーンキープやプリクラッシュセーフティなどの車両の安全走行を実現する制御を行う走行制御システム26を備えている。
車内制御システム24には、上記した車内センサ16が直接に電気的に接続されている。車内センサ16の出力は、車内制御システム24に供給される。車内制御システム24は、車内センサ16の出力信号に基づいて車内状態を検出して、その検出した車内状態に応じて車両運転者にとって快適な車内状態が実現されるような自動制御を行う。例えば、車内センサ16を用いて検出した内気温が所望値よりも高ければその所望値が実現されるようにエアコン制御を行い、また、車内センサ16を用いて検出したスピーカからの音量が所望値よりも高ければその所望値が実現されるように音量制御を行う。
走行制御システム26には、上記した車外センサ18が直接に電気的に接続されている。車外センサ18の出力は、走行制御システム26に供給される。走行制御システム26は、車外センサ18の出力信号に基づいて車両外の状態を検出して、その検出した車両外の状態に応じて車両の安全走行が実現されるような制御を行う。例えば、自車両を道路に描かれた走行レーンから逸脱するのを防止してその走行レーンに沿って走行させるレーンキープモードでは、車外センサ18としてのカメラの撮像画像を処理して得た自車両に対する走行レーンの位置が所定のずれ量以上となればすなわち自車両と走行レーンとの位置関係が所望の位置関係になければ所定のタイミングでその所望の位置関係が実現されるようにステアリングアクチュエータを駆動する操舵制御を行う。また、自車両と障害物との衝突を予防するセーフティモードでは、車外センサ18としてのレーダセンサを用いて検出した障害物との距離が所定距離を下回ると障害物の接近を乗員に知らせるべく警報を発する制御を行う。自車両が障害物と衝突する際の衝撃を吸収するプリクラッシュセーフティモードでは、車外センサ18としてのレーダセンサを用いて検出した障害物との衝突までの時間(=衝突時間)が所定時間を下回ると乗員への衝撃が緩和されるようにシートベルトの巻き取りやヘッドレストの高さ調整などを行う制御を行う。
車内制御システム24及び走行制御システム26には共に、上記したECU12が電気的に接続されている。ECU12の推定した運転者の状態に関する情報は、車内制御システム24及び走行制御システム26の双方にそれぞれ供給される。車内制御システム24及び走行制御システム26は、自己の制御に用いられる上記した所望値や所望の位置関係,所定距離,所定時間などを、ECU12から供給される運転者の注意力低下状態に合わせて変更する。
次に、図2乃至図3を参照して、本実施例の運転者状態推定装置10においてECU12が運転者の状態を推定する手法について説明する。図2は、本実施例の運転者状態推定装置10の備えるECU12の内部構成図を示す。図3は、AdaBoostにより推定を行ううえでの基本概念図を示す。
本実施例において、ECU12は、運転者の注意力が低下する状態を推定するのに用いるAdaBoost30を有している。AdaBoost30は、多段階分割・追加学習型分析手法を適用したパターン識別のための学習アルゴリズムである。AdaBoost30による学習は、逐次的に学習データの重み(信頼度α)を変化させながら異なる識別器を作り、これら複数の識別器(弱識別器32)の重み付き多数決によって最終的な識別関数(強識別器34)を与える。AdaBoost30による学習結果は、データベース22に格納される。
AdaBoost30は、複数の弱識別器32を有している。これら複数の弱識別器32には、センサ等14〜20の出力(特に、運転者センサ14に基づく運転者の生体情報や運転操作情報;以下同じ)が接続されている。センサ等14〜20による運転者の視線移動量、頭部移動量、及び操舵角などの情報は、AdaBoost30の弱識別器32に入力される。
AdaBoost30のT個の弱識別器32はそれぞれ、入力されるセンサ等14〜20の出力を、データベース22に格納されている上記の関係に照らし合わせることにより、その出力の示す検出パラメータについて運転者の運転に対する注意力低下が生じているか否かの識別を行う(例えば、注意力低下が生じていないときはそのことを示す“−1”を出力し、注意力低下が生じているときはその注意力低下を示す“+1”を出力する)。
AdaBoost30において、T個の弱識別器32の出力には、一つの強識別器34の入力が接続されている。各弱識別器32の出力は、強識別器34に入力される。強識別器34は、入力されるT個の弱識別器32からの各出力を、データベース22に格納されている信頼度αで重み付けをして結合することにより、運転者の運転に対する注意力低下が生じているか否かの識別を行う(例えば、注意力低下が生じていないときはそのことを示す“−1”を出力し、注意力低下が生じているときはその注意力低下を示す“+1”を出力する)。そして、強識別器34の出力は、AdaBoost30すなわちECU12の出力として扱われる。
また、AdaBoost30は、単純でかつ識別力の比較的弱い弱識別器32を逐次的に学習し、識別器としての精度を増強するものである。すなわち、n個の入力x∈Xとその入力xに対する正解y∈Y={±1}との組(=(x,y),・・・,(x,y))を学習データとして用い、T個の弱識別器h(x)(t=1,2,・・・,T)を、信頼度αで重み付けをして結合することにより強識別器H(x)を構成する。
AdaBoost30は、t回目の学習における重みをD(i)とし、その重みの初期値をすべての入力xについて同じ値D(i)=1/Nとしたうえで、正しく識別できなかったデータの重みを大きくし正しく識別できたデータの重みを小さくすることにより、次の弱識別器において重点的に学習を行う。すなわち、重みの分布Dの基で次式(1)の誤り率εをできるだけ小さくするように弱識別器hを選び出す。
Figure 2009301367

AdaBoost30は、まず、重み初期値D(i)=1/Nによって初期化を行う。そして次に、各弱識別器について、重みの分布Dに基づき学習を行う。つまり、上記した式(1)の最小化を行い、h:X→Yを得る。また、各弱識別器について、誤り率εを用いて次式(2)の如く信頼度α∈Rを計算する。更に、各弱識別器について、次式(3)により重みの分布Dを更新する。
Figure 2009301367
Figure 2009301367

但し、Zは、次式(4)を成立させるための規格化因子であり、次式(5)である。
Figure 2009301367
Figure 2009301367

そして、AdaBoost30は、すべての弱識別器h(x)をその信頼度αで重み付けをして多数決をとり、次式(6)の如く強識別器H(x)を得る。
Figure 2009301367

このように、本実施例の運転者状態推定装置10においては、まず、各センサ等14〜20からの検出パラメータとしての出力それぞれをAdaBoost30の有するT個の弱識別器32に入力して、それらの弱識別器32それぞれに簡易に運転者の注意力低下の有無を識別させると共に、各弱識別器32の出力をそれぞれの弱識別器32の信頼度αで重み付けして結合させて、最終的に運転者の注意力低下の有無を識別させる。
かかる構成においては、運転者の運転に対する注意力低下の有無を識別するうえで、多数の検出パラメータがあったとしても、2値判別を行う単純な弱識別器32で個々の検出パラメータについての識別が行われるので、その計算時間が増大することは回避される。また、識別力の比較的弱い弱識別器32では識別の精度が低下するおそれがあるが、上記の構成においては、各識別器32の出力がそれぞれの信頼度αで重み付けされて結合されることで最終的な強識別器34による識別が行われるので、その識別の精度が低下するのは防止されることとなる。
従って、本実施例の運転者状態推定装置10によれば、車両を運転する運転者の運転に対する注意力が低下しているか否かを簡易な構成で高速にかつ高精度に推定することが可能となっている。
次に、運転者の注意力が低下する状態を推定するのに、例えば心電図RRIを測定できるハンドルや瞳孔径を測定できるドライバモニタカメラなどのデバイスが新規開発されて、その新規開発されたデバイスが運転者により購入されて自車両に取り付けられた場合を想定する。
この場合、ECU12は、上記したAdaBoost30とは別個独立に、運転者の注意力が低下する状態を推定するのに用いるAdaBoost40を構築する。このAdaBoost40は、AdaBoost30と同様に、多段階分割・追加学習型分析手法を適用したパターン識別のための学習アルゴリズムであり、その学習も、逐次的に学習データの重み(信頼度α)を変化させながら異なる識別器を作り、これら複数の弱識別器42の重み付き多数決によって最終的な強識別器44を与える。AdaBoost40による学習結果は、データベース22に格納される。
AdaBoost40は、複数の弱識別器42を有している。これらの複数の弱識別器42には、新たに取り付けられた新規デバイスの出力(特に、運転者の生体情報や運転操作情報)が接続されている。新規デバイスによる運転者の心電図RRIなどの情報は、AdaBoost40の弱識別器42に入力される。
AdaBoost40は、弱識別器42の出力が入力に接続される強識別器44を有している。強識別器44の入力には、また、上記したAdaBoost30の出力が接続されている。すなわち、AdaBoost40は、AdaBoost30を弱識別器42の一つとして扱う。
尚、新規デバイスが車両に取り付けられた際、運転者状態推定装置10のデータベース22には、その新規デバイスによる運転者の生体や運転操作等を示す検出パラメータと運転者の注意力低下状態との関係に関するものが格納されると共に、その関係及びAdaBoost30に対する信頼度α(初期値はすべて同じ)を示す情報が格納される。
AdaBoost40の複数の弱識別器42はそれぞれ、入力される新規デバイスの出力を、データベース22に格納されている上記の関係に照らし合わせることにより、その出力の示す検出パラメータについて運転者の運転に対する注意力低下が生じているか否かの識別を行う。各弱識別器42の出力及びAdaBoost30の出力は、強識別器44に入力される。強識別器44は、入力される弱識別器42からの出力及びAdaBoost30からの出力を、データベース22に格納されている信頼度αで重み付けをして結合することにより、運転者の運転に対する注意力低下が生じているか否かの識別を行う。
また、AdaBoost40は、単純でかつ識別力の比較的弱い弱識別器32を逐次的に学習し、識別器としての精度を増強するものであり、上記したAdaBoost30と同様の作用を行う。
このように、本実施例の運転者状態推定装置10においては、運転者の注意力が低下する状態を推定するのにその生体情報や運転操作情報等の検出パラメータを測定するデバイスが新たに追加された場合、それまでに学習・構築されたAdaBoost30を一つのモジュールとして利用して、新たに運転者の注意力低下状態を推定するシステムを構築することができる。具体的には、既存のAdaBoost30を1段目にとし、その出力を2段目のAdaBoost40の入力に接続して、それまでにあったAdaBoost30をそのままに一つの弱識別器として利用することで、新たなデバイスによる検出パラメータをも含めて総合的・複合的に運転者の注意力低下状態を推定することができる。
このため、本実施例によれば、運転者の注意力定価状態を推定するのに新たな検出パラメータが追加される場合、その新規パラメータを運転者の注意力低下状態の推定に容易に適合させることができ、運転者の注意力低下状態を推定するシステムの拡張性を確保しつつその推定精度の向上を図ることが可能となっている。
尚、新たに構築される後段のAdaBoost40による演算は、前段のAdaBoost30の演算に影響を与えることはなく、また、新規デバイスからの検出パラメータに係る弱識別器42によるもの及びその弱識別器42の出力とAdaBoost30の演算結果との結合によるもののみであるので、あまり複雑ではない。このため、運転者の注意力定価状態を推定するのに新たな検出パラメータが追加される場合にも、その追加に起因して運転者の注意力低下状態の推定に要する演算時間が極めて長くなることはなく、短時間でその推定を実現させることが可能である。
従って、本実施例の運転者状態推定装置10によれば、車両を運転する運転者の運転に対する注意力が低下しているか否かの推定を簡易な構成で高速にかつ高精度に実現させつつ、その推定システムの拡張性を確保することが可能となっている。この点、運転者の注意力が低下した状態が車両走行中にリアルタイムに推定されるので、衝突予防や安全走行を促す車両運転支援装置による運転支援を速やかにかつ的確に行うことが可能となっている。
尚、上記の実施例においては、弱識別器32が特許請求の範囲に記載した「弱識別手段」及び「第1の弱識別手段」に、弱識別器42が特許請求の範囲に記載した「弱識別手段」及び「第2の弱識別手段」に、ECU12のAdaBoost30が特許請求の範囲に記載した「状態推定手段」、「第1の状態推定手段」、及び「学習手段」に、AdaBoost40が特許請求の範囲に記載した「状態推定手段」、「第2の状態推定手段」、及び「学習手段」に、それぞれ相当している。
ところで、上記の実施例においては、ECU12に構築されるブースタとして、一段目にAdaBoost30を、二段目にAdaBoost40を、設けるものとしたが、二段に限らず、それ以上の段数を設けたものとしてもよい。
本発明の一実施例である運転者状態推定装置を備える車両運転支援システムの構成図である。 本実施例の運転者状態推定装置の備えるECUの内部構成図である。 AdaBoostにより推定を行ううえでの基本概念図である。
符号の説明
10 運転者状態推定装置
12 電子制御ユニット(ECU)
14 運転者センサ
16 車内センサ
18 車外センサ
20 通信装置
22 データベース
30,40 AdaBoost
32,42 弱識別器
34,44 強識別器

Claims (7)

  1. 車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の運転に対する注意力低下状態を推定する運転者状態推定装置であって、
    入力される前記生体情報又は車両情報を示す複数の特徴量を2値的に識別する複数の弱識別手段と、
    前記複数の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する状態推定手段と、
    前記弱識別手段による識別又は前記状態推定手段による推定に用いる、前記複数の特徴量それぞれと前記運転者の運転に対する注意力低下状態との関係について学習を行う学習手段と、
    を備えることを特徴とする運転者状態推定装置。
  2. 前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記特徴量とに基づいて、前記複数の特徴量について前記関係を学習することを特徴とする請求項1記載の運転者状態推定装置。
  3. 前記学習手段は、前記関係をAdaBoostを用いて学習することを特徴とする請求項1又は2記載の運転者状態推定装置。
  4. 入力される前記生体情報又は車両情報を示す特徴量が新たに追加された場合、前記弱識別手段は、
    該新たな特徴量が追加される前から存在する前記複数の特徴量を2値的に識別する第1の弱識別手段と、
    前記第1の弱識別手段とは別に設けられ、該追加された新たな特徴量を2値的に識別する第2の弱識別手段と、
    を有し、
    前記状態推定手段は、
    前記第1の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する第1の状態推定手段と、
    前記第1の状態推定手段による推定結果と前記第2の弱識別手段による前記追加された新たな特徴量の識別結果とに基づいて前記運転者の運転に対する注意力低下状態を推定する第2の状態推定手段と、
    を有することを特徴とする請求項1乃至3の何れか一項記載の運転者状態推定装置。
  5. 前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記新たな特徴量を含む前記特徴量とに基づいて、該新たな特徴量を含む特徴量について前記関係を学習することを特徴とする請求項4記載の運転者状態推定装置。
  6. 前記生体情報又は車両情報は、前記運転者の顔情報、生理状態量、運転操作量、及び車両の環境状態量のうちの少なくとも一つであることを特徴とする請求項1乃至5の何れか一項記載の運転者状態推定装置。
  7. 前記特徴量は、前記運転者の視線移動量、頭部移動量、瞳孔径、瞬き回数、心電図RRI、操舵角変動量、及び車線逸脱量のうちの少なくとも二つであることを特徴とする請求項6記載の運転者状態推定装置。
JP2008156017A 2008-06-13 2008-06-13 運転者状態推定装置 Expired - Fee Related JP4980988B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008156017A JP4980988B2 (ja) 2008-06-13 2008-06-13 運転者状態推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008156017A JP4980988B2 (ja) 2008-06-13 2008-06-13 運転者状態推定装置

Publications (2)

Publication Number Publication Date
JP2009301367A true JP2009301367A (ja) 2009-12-24
JP4980988B2 JP4980988B2 (ja) 2012-07-18

Family

ID=41548178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008156017A Expired - Fee Related JP4980988B2 (ja) 2008-06-13 2008-06-13 運転者状態推定装置

Country Status (1)

Country Link
JP (1) JP4980988B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012118206A1 (ja) 2011-03-03 2012-09-07 アイシン精機株式会社 状態推定装置、状態推定方法及びプログラム
JP2012533474A (ja) * 2010-03-12 2012-12-27 タタ コンサルタンシー サービシズ リミテッド 車両の防犯、カスタマイズを行うと共に運転者の心臓活動をモニタリングするシステム
US8693791B2 (en) 2010-02-01 2014-04-08 Morpho, Inc. Object detection apparatus and object detection method
CN104709290A (zh) * 2013-12-11 2015-06-17 现代自动车株式会社 受生物学控制的车辆及其控制方法
WO2015107732A1 (ja) * 2014-01-14 2015-07-23 クラリオン株式会社 後側方接近物警報装置
JP2017146744A (ja) * 2016-02-16 2017-08-24 株式会社デンソー ドライバ状態判定装置
US9875418B2 (en) 2015-10-20 2018-01-23 Samsung Electronics Co., Ltd. Method and apparatus for detecting biometric region for user authentication
KR20190035558A (ko) * 2017-09-26 2019-04-03 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
WO2020255252A1 (ja) * 2019-06-18 2020-12-24 三菱電機株式会社 運転者状態推定装置、運転者状態推定方法、及び学習方法
WO2021053780A1 (ja) * 2019-09-19 2021-03-25 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
KR20220067777A (ko) * 2020-11-18 2022-05-25 이상훈 졸음을 경고하는 모자

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7324716B2 (ja) 2018-02-05 2023-08-10 ソニーグループ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
US11647925B2 (en) 2020-03-20 2023-05-16 Starkey Laboratories, Inc. Alertness mode initiation for non-alert detection using ear-worn electronic devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518970A (ja) * 2003-11-21 2007-07-12 シーメンス コーポレイト リサーチ インコーポレイテツド ステレオ検出器を使用して乗員および頭部ポーズを検出するためのシステムおよび方法
JP2007229218A (ja) * 2006-03-01 2007-09-13 Toyota Motor Corp 覚醒度推定装置及びシステム並びに方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518970A (ja) * 2003-11-21 2007-07-12 シーメンス コーポレイト リサーチ インコーポレイテツド ステレオ検出器を使用して乗員および頭部ポーズを検出するためのシステムおよび方法
JP2007229218A (ja) * 2006-03-01 2007-09-13 Toyota Motor Corp 覚醒度推定装置及びシステム並びに方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693791B2 (en) 2010-02-01 2014-04-08 Morpho, Inc. Object detection apparatus and object detection method
JP2012533474A (ja) * 2010-03-12 2012-12-27 タタ コンサルタンシー サービシズ リミテッド 車両の防犯、カスタマイズを行うと共に運転者の心臓活動をモニタリングするシステム
WO2012118206A1 (ja) 2011-03-03 2012-09-07 アイシン精機株式会社 状態推定装置、状態推定方法及びプログラム
CN103403756A (zh) * 2011-03-03 2013-11-20 爱信精机株式会社 状态推断装置、状态推断方法及程序
US9064397B2 (en) 2011-03-03 2015-06-23 Aisin Seiki Kabushiki Kaisha State estimation device, state estimation method, and program
CN103403756B (zh) * 2011-03-03 2016-04-13 爱信精机株式会社 状态推断装置、状态推断方法
CN104709290A (zh) * 2013-12-11 2015-06-17 现代自动车株式会社 受生物学控制的车辆及其控制方法
KR101539302B1 (ko) * 2013-12-11 2015-07-30 현대자동차주식회사 차량 및 그 제어방법
US9409517B2 (en) 2013-12-11 2016-08-09 Hyundai Motor Company Biologically controlled vehicle and method of controlling the same
WO2015107732A1 (ja) * 2014-01-14 2015-07-23 クラリオン株式会社 後側方接近物警報装置
JP2015132966A (ja) * 2014-01-14 2015-07-23 クラリオン株式会社 後側方接近物警報装置
US9875418B2 (en) 2015-10-20 2018-01-23 Samsung Electronics Co., Ltd. Method and apparatus for detecting biometric region for user authentication
JP2017146744A (ja) * 2016-02-16 2017-08-24 株式会社デンソー ドライバ状態判定装置
KR20190035558A (ko) * 2017-09-26 2019-04-03 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
KR102184109B1 (ko) * 2017-09-26 2020-11-27 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
CN113939857A (zh) * 2019-06-18 2022-01-14 三菱电机株式会社 驾驶员状态推测装置、驾驶员状态推测方法以及学习方法
WO2020255252A1 (ja) * 2019-06-18 2020-12-24 三菱電機株式会社 運転者状態推定装置、運転者状態推定方法、及び学習方法
JP7262584B2 (ja) 2019-06-18 2023-04-21 三菱電機株式会社 運転者状態推定装置
JPWO2020255252A1 (ja) * 2019-06-18 2021-10-21 三菱電機株式会社 運転者状態推定装置、運転者状態推定方法、及び学習方法
JPWO2021053780A1 (ja) * 2019-09-19 2021-11-18 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
JP7031072B2 (ja) 2019-09-19 2022-03-07 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
WO2021053780A1 (ja) * 2019-09-19 2021-03-25 三菱電機株式会社 認知機能推定装置、学習装置、および、認知機能推定方法
KR20220067777A (ko) * 2020-11-18 2022-05-25 이상훈 졸음을 경고하는 모자
WO2022108348A1 (ko) * 2020-11-18 2022-05-27 이상훈 졸음을 경고하는 모자
KR102507840B1 (ko) * 2020-11-18 2023-03-07 이상훈 졸음을 경고하는 모자

Also Published As

Publication number Publication date
JP4980988B2 (ja) 2012-07-18

Similar Documents

Publication Publication Date Title
JP4980988B2 (ja) 運転者状態推定装置
US11485284B2 (en) System and method for driver distraction determination
US10848913B2 (en) Method for smartphone-based accident detection
US10836403B2 (en) Distractedness sensing system
CN111469802B (zh) 座椅安全带状态确定系统和方法
US20170330044A1 (en) Thermal monitoring in autonomous-driving vehicles
CN108205731B (zh) 情境评估车辆系统
CN107415938B (zh) 基于乘员位置和注意力控制自主车辆功能和输出
CN111048171B (zh) 解决晕动病的方法和装置
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
EP3751474A1 (en) Evaluation device, action control device, evaluation method, and evaluation program
US20170217445A1 (en) System for intelligent passenger-vehicle interactions
US20190337451A1 (en) Remote vehicle spatial awareness notification system
CN110997418A (zh) 车辆占用管理系统和方法
US10369926B2 (en) Driver state sensing system, driver state sensing method, and vehicle including the same
JP2007122362A (ja) ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置
US20180357580A1 (en) Vehicle driver workload management
WO2022168187A1 (ja) 調整装置、調整システム、および、調整方法
CN114715056A (zh) 利用乘员识别的个性化驾驶
CN116872964A (zh) 一种基于驾驶员状态进行调整的智能驾驶系统及方法
CN108140315B (zh) 增强的后方障碍物检测
JP2022124926A (ja) 車両制御システム
JP5742180B2 (ja) 注視点推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4980988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees