JP2004106716A - Impatience detecting device for vehicle - Google Patents
Impatience detecting device for vehicle Download PDFInfo
- Publication number
- JP2004106716A JP2004106716A JP2002272718A JP2002272718A JP2004106716A JP 2004106716 A JP2004106716 A JP 2004106716A JP 2002272718 A JP2002272718 A JP 2002272718A JP 2002272718 A JP2002272718 A JP 2002272718A JP 2004106716 A JP2004106716 A JP 2004106716A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- state
- driver
- moving
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、車両の乗員の焦りを推定する車両用焦り推定装置、乗員の焦りを沈静化させる車両用焦り沈静化装置、乗員が不注視の状態であることを推定する車両用不注視推定装置、乗員が不注視の状態であるときに乗員に警告を発する車両用警告装置に関する。
【0002】
【従来の技術】
従来、車間距離、ステアリングの揺れ、一定車速の継続時間などの情報に基づいて、車両の運転者が眠気を催している状態であることを判定し、運転者の眠気を醒ますために空調装置の運転状態を変更するようにしたものがある(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開平8−48135号公報
【0004】
【発明が解決しようとする課題】
しかし、このような装置において、運転者の居眠りによる事故を予防することは可能であるものの、運転者の焦り、不注視による事故予防には、適用することができない。
【0005】
これに対して、運転者の顔を撮像してこの撮像画像に基づいて、運転者の表情(すなわち、顔を構成する各部位の動き)を検出することにより、焦り、不注視などの心理状態を判定することを考えられるものの、心理状態を判定するのには、顔の撮像画像に対して複雑な処理を必要とする。
【0006】
本発明は、上記点に鑑み、顔の撮像画像を用いることなく、運転者が焦っていることを推定する車両用焦り推定装置を提供することを目的とする。
【0007】
また、本発明は、運転者が焦っていることを沈静化する車両用焦り沈静化装置を提供することを第2の目的とする。
【0008】
さらに、本発明は、顔の撮像画像を用いることなく、運転者が不注視の状態を推定する車両用不注視推定装置を提供することを第3の目的とする。
【0009】
さらに、本発明は、運転者が不注視の状態を推定して警告を発する車両用警告装置を提供することを第4の目的とする。
【0010】
【課題を解決するための手段】
本発明は、運転者が焦っている状態、或いは、不注視の状態であるとき、乗員の移動幅、移動回数、移動速度などに変化が顕れることに着目して成されたものである。
【0011】
具体的には、請求項1に記載の発明では、車室内の複数の検出領域の表面温度を、個々に非接触で測るための表面温度センサ(10)と、表面温度センサの出力信号に基づき、車両の乗員の移動状態を検出するとともに、この検出された移動状態に応じて、乗員が焦っていることを推定する推定手段(110、130、150、180)と、を有することを特徴とする。
【0012】
このようにして、表面温度センサの出力信号に基づき検出された乗員の移動状態に応じて、乗員が焦っていることを推定するため、乗員の顔の撮像画像を用いることなく、乗員が焦っていることを推定することができる。
【0013】
また、各検出領域を撮像するカメラを用いて乗員の移動状態を検出する場合、各検出領域中の乗員を識別する必要があるものの、この識別には複雑な処理を必要とする。これに対して、請求項1に記載の発明では、表面温度センサを用いることにより、各検出領域中の乗員を温度により識別するため、複雑な処理を用いることなく、各検出領域中の乗員を識別できる。
【0014】
具体的には、請求項2に記載の発明のように、推定手段は、乗員の移動幅を移動状態として検出するとともに、この検出された移動幅が所定幅以上のとき、乗員が焦っていることを推定してもよい。また、請求項3に記載の発明のように、推定手段は、乗員の移動回数を移動状態として検出するとともに、この検出された移動回数が所定回数以上のとき、乗員が焦っていることを推定するようにしてもよい。
【0015】
さらに、請求項4に記載の発明のように、推定手段は、乗員の移動速度を移動状態として検出するとともに、この検出された移動速度が所定速度以上のとき、乗員が焦っていることを推定するようにしてもよい。
【0016】
また、請求項5に記載の発明では、車室内の複数の検出領域の表面温度を、個々に非接触で測るための表面温度センサ(10)と、表面温度センサの出力信号に基づき、車両の乗員の移動状態を検出するとともに、この検出された移動状態に応じて、乗員が焦っていることを推定する推定手段(110、130、150、180)と、乗員が焦っていることを推定手段が推定したとき、乗員の焦りを沈静化させるための手段(131)と、を有することを特徴とする。
【0017】
このようにして、乗員が焦っていることを推定したとき、乗員の焦りを沈静化させることができる。
【0018】
また、請求項6に記載の発明では、車室内の複数の検出領域の表面温度を、個々に非接触で測るための表面温度センサ(10)と、表面温度センサの出力信号に基づき、車両の乗員の移動状態を検出するとともに、この検出された移動状態に応じて、乗員が不注視の状態であることを推定する推定手段(100、120、210、231、232、310、320、370、400)と、を有することを特徴とする。
【0019】
このようにして、表面温度センサの出力信号に基づき検出された乗員の移動状態に応じて、乗員が焦っていることを推定するため、乗員の顔の撮像画像を用いることなく、乗員が不注視の状態であることを推定することができる。ここで、不注視の状態とは、気持ちが集中しておらず、気持ちが散漫な状態であることである。
【0020】
また、請求項1に記載の発明と同様に、表面温度センサを用いることにより、各検出領域中の乗員を温度により識別するため、複雑な処理を用いることなく、各検出領域中の乗員を識別できる。
【0021】
具体的には、請求項7に記載の発明のように、推定手段は、乗員の移動速度を移動状態として検出するとともに、この検出された移動速度が基準速度未満のとき、乗員が不注視の状態であることを推定するようにしてもよい。さらに、請求項8に記載の発明のように、推定手段は、乗員の移動回数を移動状態として検出するとともに、この検出された移動回数が基準回数未満のとき、乗員が不注視の状態であることを推定するようにしてもよい。
【0022】
そして、請求項9に記載の発明では、推定手段は、乗員の移動速度を移動状態として検出するとともに、この検出された移動速度が基準速度未満のとき、乗員が不注視の状態であることを推定するようにしてもよい。
【0023】
また、請求項10に記載の発明では、車室内の複数の検出領域の表面温度を、個々に非接触で測るための表面温度センサ(10)と、表面温度センサの出力信号に基づき、車両の乗員の移動状態を検出するとともに、この検出された移動状態に応じて、乗員が不注視の状態であることを推定する推定手段(100、120、210、231、232、310、320、370、400)と、乗員が不注視の状態であることを推定手段が推定したとき、乗員に警告を発する手段(132)と、を有することを特徴とする。これにより、乗員が不注視の状態から脱することができる。
【0024】
因みに、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【0025】
【発明の実施の形態】
(第1実施形態)
図1に本発明の車両用焦り・不注視検出システムの第1実施形態を示す。
【0026】
車両用焦り・不注視検出システムは、赤外線センサ10、オーディオ装置11、香発生装置12、イオン発生装置13、ディスプレイ15、バイブレータ16およびコントローラ17を有している。
【0027】
赤外線センサ10は、運転席側に向けて配置されたもので、38個のセルが4行8列のマトリックス状に配置されて構成されている。各セルは、入射される赤外線量に応じた電気信号をそれぞれ出力する。このことにより、運転席側の32個の各検出領域の表面温度をそれぞれ独立に非接触にて検出するようになっている。
【0028】
オーディオ装置11は、音楽用コンパクトディスクから音楽データを読み取り、この読み取った音楽データをアナログ信号に変換するとともに、このアナログ信号に応じてスピーカから音楽を音声出力する。また、香発生装置12は、インストルメントパネル内にて収納されたものであって、コントローラ17から制御されて、予め収納された複数の芳香剤のうち少なくとも1つの芳香剤を車室内に放出する。このことにより、コントローラ17からの制御に基づき、所望の香りを発生させることになる。
【0029】
イオン発生装置13は、インストルメントパネル内に収納されたものであって、コントローラ17から制御されて、マイナスイオンを車室内に放出する。ディスプレイ15は、インストルメントパネル内に収納されたものであって、コントローラ17から制御されて、所望の画像を表示する。バイブレータ16は、運転席に埋め込まれたもので、コントローラ17から制御されて、運転者に振動を与える。
【0030】
コントローラ17は、マイクロコンピュータ、ROM、RAMなどから構成されて、赤外線センサ10からの検出出力に応じて、運転者の焦りを検出してこの焦りを沈静化させるための処理を行う。さらに、コントローラ17は、赤外線センサ10からの出力に基づき不注視状態を検出して運転者に警告を発するための処理を行う。
【0031】
次に、本実施形態の作動について図2乃至図3を用いて説明する。
【0032】
コントローラ17は、図2、図3に示すフローチャートに従って、焦り・不注視検出処理を実行する。この焦り・不注視検出処理は、交差点で車両が右折するために停止しているときに実行されるもので、例えば、方向指示器19の操作スイッチに対し右側に方向指示させるための操作が行われ、かつ、フットブレーキ18が踏まれたときに、実行が開始される。
【0033】
先ず、内蔵カウンタをリセットするとともに(ステップ100)、赤外線センサ10の検出出力に基づき、運転者の顔が左右方向に移動したか否かを判定する(ステップ110)。
【0034】
例えば、赤外線センサ10の各検出領域内のうち温度t1以上の領域(これは、運転者の顔を示す)が、温度t1以下に低下した後、当該領域の左側領域(或いは、右側領域)の検出温度が、温度t1以上に上昇して、かつ左側領域の検出温度が時間tr以上にわたり温度t1以上を維持したとき、運転者の顔が、左側(或いは、右側)に移動したことが判定される。
【0035】
例えば、図4に示すセルM42、M52の検出温度が、図5(図中では、セルM52、M22は省略する)に示すように、温度t1以下に低下後、セルM12、M22の検出温度が温度t1以上に上がり、かつ、セルM12、M22の検出温度が時間tr以上にわたり温度t1以上を維持した場合、運転者の顔が、セルM42、M52の検出領域から、セルM12、M22の検出領域に移動したことが判定される。すなわち、運転者の顔が、3つのセルの横幅寸法L3(=3×L1:L1は1つのセルの横幅寸法である)だけ、移動したことが判定されることになる。
【0036】
なお、図4中、32個のセルを個々にMijで表し、iは行番号(1≦i≦8)、jは列番号(1≦j≦4)を表す。図5は、縦軸がセルの検出温度、横軸が時間を示す。
【0037】
以上のように、運転者の顔が移動したことが判定された場合、顔の移動幅L(=L3)としては、基準幅K0(例えば、2つのセルの横幅寸法:2×L1)に比べて大きいとしてステップ120でNOと判定し(L≧K0)、かつ、移動幅Lが、所定幅C0(例えば、3つのセルの横幅寸法:3×L1)以上であるとしてステップ130でYESと判定する(L≧C0)。このことにより、運転者が焦っていることが推定されることになる。
【0038】
これに伴い、車室内の運転者の環境を制御する(ステップ131)。例えば、オーディオ装置11から予め決められた音楽を音声出力させるとともに、香発生装置12から予め決められた香りを発生させ、さらに、イオン発生装置13からマイナスイオンを発生させる。このことにより、運転者が焦っている状態を沈静化させることができる。その後、ステップ132に進んで、警告発生処理を実行する。例えば、運転者に対して焦って運転を行うことを警告するための画像をディスプレイ15に表示させたり、当該警告を示す音声出力をオーデォオ装置11から出力させたりする。
【0039】
また、ステップ120において、顔の移動幅Lが基準幅K0に比べて大きいとしてYESと判定されたものの(L≧K0)、移動幅Lが所定幅C0未満であるとしてステップ130でNOと判定されたとき(L<C0)、ステップ140に移行して、内蔵カウンタのカウンタ値を移動回数Nとしてインクリメントする(N=N+1)。
【0040】
次に、移動回数Nが所定回数C1以上であるか否かを判定して(ステップ150)、移動回数Nが所定回数C1以上であるときYESと判定する(N>C1)。この場合、運転者が焦っていることが推定されるため、この運転者の焦りを沈静化させるために環境制御処理(ステップ131)を実行するとともに、警告発生処理(ステップ132)を実行する。
【0041】
また、ステップ150において、移動回数Nが所定回数C1未満であるとしてNOと判定したとき(N≦C1)、運転者の顔の移動に要した移動時間ta(N)を求める。例えば、運転者の顔が、セルM42、M52の検出領域からセルM22、M32の検出領域へ移動した場合、図6(図中セルM52、M32を省略する)に示すように、セルM42の検出温度が温度t1以下になった後、セルM22(或いは、M22)の検出温度が温度t1以上になるまでの時間を移動時間ta(N)として求める。なお、図6の縦軸は、セルの検出温度、横軸は時間を示す。
【0042】
以上のように、移動時間ta(N)を求めるとこの移動時間ta(N)と移動幅Lとに基づき、移動速度V(N){=(L)/(ta(N))}を求めるとともに、この求めた移動速度V(N)が所定速度C2以上のときステップ180でYESと判定する。この場合、運転者が焦っていることが推定されるため、環境制御処理(ステップ131)を実行して、警告発生処理(ステップ132)を実行する。
【0043】
また、ステップ180において、移動速度V(N)が所定速度C2未満であるためNOと判定した場合には、運転者の顔が注視している注視時間tb(N)を求める。注視時間tb(N)は、運転者の顔が移動した後止まっている時間を示す。
【0044】
例えば、運転者の顔が、セルM42、M52の検出領域からセルM22、M32の検出領域へ移動した場合、図6に示すように、セルM22(或いは、M22)の検出温度が温度t1以上に上昇した後、セルM22(或いは、M22)の検出温度が、温度t1未満に低下するまでの時間を注視時間tb(N)として求める。
【0045】
これに加えて、注視時間tb(N)が、所定時間C3以上であるとき、運転者が不注視の状態であるとしてステップ210でYESと判定したとき、ステップ121に進んで、不注視制御処理(ステップ121)を実行する。すなわち、運転者が不注視の状態であることを警告するための画像をディスプレイ15に表示させたり、当該警告を示す音声出力をオーデォオ装置11から出力させたり、バイブレータ16により運転者に振動を与えたりする。
【0046】
また、ステップ210で、注視時間tb(N)が所定時間C3未満であるとしてNOと判定したとき、次のような判定処理(ステップ220)を行う。すなわち、焦り・不注視検出処理の処理を開始後、一定期間tg以上経過したか否かを判定する。
【0047】
ここで、一定期間tg以上経過していないことを判定したときには、一定期間tg以上経過したことを判定するまで、移動判定処理(ステップ110)、判定幅判定処理(ステップ120、130)、移動回数インクリメント処理(ステップ140)、移動回数判定処理(ステップ150)、移動時間算出処理(ステップ160)、移動速度算出処理(ステップ170)、移動速度判定処理(ステップ180)、注視時間算出処理(ステップ200)、注視時間判定処理(ステップ210)、一定時間経過判定処理(ステップ220)を行う。
【0048】
その後、ステップ220において、一定期間tg以上経過したとしてYESと判定した場合には、ステップ230に進んで、図3に示す不注視判定ルーチンを実行する。
【0049】
この不注視判定ルーチンにおいては、移動回数Nが基準回数K1未満であるか否かを判定する(ステップ231)。移動回数Nが基準回数K1未満であるときには、一定期間tg以上経過したにも関わらず、移動回数Nが少なすぎるとして、図3中のステップ231でYESと判定する。このことにより、運転者が不注視の状態であることが判定されることになる。
【0050】
その後、ステップ233に移行して、運転者が不注視の状態であることを警告するための画像をディスプレイ15に表示させたり、当該警告を示す音声出力をオーデォオ装置11から出力させたり、バイブレータ16により運転者に振動を与えたりする。
【0051】
また、ステップ231において、移動回数Nが基準回数Nが基準回数K1以上であるとき、平均移動速度Vaveを求める。例えば、ステップ310の処理で運転者の顔が移動したとしてYESと判定される毎にこの移動速度を求め、この判定毎の移動速度の平均値を平均移動速度Vaveとしてを求め、この平均移動速度Vaveが基準速度よりも遅いときには、不注視制御処理(ステップ233)を実行する。
【0052】
また、図2中のステップ110において、顔の移動幅Lが、基準幅K0に比べて小さいとしてステップ120でYESと判定したときには(L<K0)、不注視制御処理(ステップ121)を実行する。
【0053】
以上説明したように本実施形態によれば、セル毎の温度を測るための温度センサ10を用いて、車両の運転者の顔の移動状態(移動幅、移動回数、移動速度)を検出するとともに、この検出された移動状態に応じて、運転者が焦っていることを推定する。このため、運転者の顔の撮像画像を用いることなく、運転者が焦っていることを推定することができる。これに加えて、運転者が焦っていることを推定したとき、音楽を鳴らしたり、マイナスイオンを発生させたり、香りを発生させたりして、乗員の焦りを沈静化させるようにしている。このため、運転者の安全運転に寄与できる。
【0054】
さらに、本実施形態では、温度センサ10を用いて、車両の運転者の顔の移動状態(移動幅、移動回数、移動速度)を検出するとともに、この検出された移動状態に応じて、運転者の不注視であることを推定する。したがって、運転者の顔の撮像画像を用いることなく、運転者が不注視の状態であることを推定することができる。これに加えて、運転者が不注視の状態であることを推定したとき、警告を発するので、不注視の状態から脱することができ、運転者を運転に集中させることができる。
【0055】
また、カメラを用いて乗員を連続的に撮像して乗員の移動状態を検出することも可能であるものの、カメラの各撮像画像に基づき、各検出領域中の乗員を識別することが必要でこの識別には複雑な処理を必要とする。これに対して、本実施形態では、赤外線センサ10を用いることにより、各検出領域中の乗員を温度により識別するため、複雑な処理を用いることなく、各検出領域中の乗員を識別できる。
【0056】
さらに、上記第1実施形態では、運転者の不注視、或いは焦りを検出するための移動回数Nとしては、移動幅判定処理(ステップ130)でNOと判定する毎に、内蔵カウンタをインクリメントして移動回数Nをカウントするものを示したが、これに代えて、移動回数Nとして、移動判定処理(ステップ110)でYESと判定する毎に、内蔵カウンタをインクリメントしてカウントするようにしてもよい。
【0057】
(第2実施形態)
上記第1実施形態では、運転者の顔の左右の移動により、運転者が不注視の状態であることを推定した例について示したが、本第2実施形態では、運転者の顔の上下の移動により運転者が不注視の状態(例えば、眠気を感じているとき)であることを推定する。
【0058】
本実施形態では、コントローラ17は、図7に示すフローチャートに従って、不注視検出処理を実行する。この不注視検出処理は、運転中に実行されるもので、例えば、イグニッションスイッチがオンされて、かつ車速が所定速度以上であるとき、実行が開始される。
【0059】
先ず、内蔵カウンタをリセットするとともに(ステップ300)、赤外線センサ10の検出出力に基づき、運転者の顔が上下方向に移動したか否かを判定する(ステップ310)。
【0060】
具体的には、赤外線センサ10の各検出領域のうち温度t1以上の領域(これは、運転者の顔を示す)が、温度t1以下に低下した後、当該領域の下側領域(或いは、上側領域)の検出温度が、温度t1以上に上昇して、かつこの下側領域の検出温度が時間tr以上にわたり温度t1以上を維持したとき、運転者の顔が下側(或いは、上側)に移動したことが判定される。
【0061】
例えば、図8に示すセルM42、M52の検出温度が、温度t1以下に変化した後、セルM44、M54の検出温度が温度t1以上に変化し、かつ、セルM44、M54の検出温度が時間tr以上にわたり温度t1以上を維持した場合、運転者の顔が、セルM42、M52の検出領域からセルM44、M54の検出領域に移動したとしてステップ310でYESと判定される。すなわち、運転者の顔が、2つのセルの縦寸法L2(=2×L1)だけ、移動したことが判定されることになる。
【0062】
以上のように運転者の顔が下側に移動したことが判定される場合には、顔の移動幅Lが、基準幅M0(例えば、1つのセルの横幅寸法:L1)に比べて大きいか否かを判定する。ここで、顔の移動幅Lが、基準幅M0に比べて大きいとしてステップ310でYESと判定した場合(L≧M0)、ステップ121に移行して、例えば、運転者が不注視の状態であることを警告するための画像をディスプレイ15に表示させたり、当該警告を示す音声出力をオーデォオ装置11から出力させたり、さらにバイブレータ16により運転者に振動を与えたりする。
【0063】
また、ステップ320において、顔の移動幅Lが、基準幅M0に比べて小さくNOと判定した場合(L<M0)、ステップ340に移行して、内蔵カウンタのカウンタ値を移動回数Nとしてインクリメントする(N=N+1)。
【0064】
次に、移動回数Nが基準回数M1以上であるか否かを判定し(ステップ340)、移動回数Nが基準回数M1以上であるときYESと判定する。この場合、運転者が不注視の状態であることが推定されるため、不注視制御処理(ステップ121)を実行する。
【0065】
また、ステップ340において、移動回数Nが基準回数M1未満であるとしてNOと判定したとき運転者の顔の移動に要した移動時間ta(N)を求める。例えば、運転者の顔が、セルM42、M52の検出領域からセルM43、M53の検出領域へ移動した場合、セルM42(或いは、M52)の検出温度が温度t1以下になった後、セルM43(或いは、M53)の検出温度が温度t1以上になるまでの時間を移動時間ta(N)として求める。
【0066】
これに伴い、移動時間ta(N)と移動幅Lとに基づき、移動速度V(N){=(L)/(ta(N))}を求め、この求めた移動速度V(N)が基準速度M2未満の場合には、ステップ370でYESと判定する。この場合、運転者が不注視の状態であることを推定して、不注視制御処理(ステップ121)を実行する。
【0067】
また、ステップ370において、移動速度V(N)が基準速度M2以上であるためNOと判定した場合には、ステップ390に進んで、注視時間tb(N)を求める。
【0068】
例えば、運転者の顔が、セルM42、M52の検出領域からセルM43、M53の検出領域へ移動した場合、セルM43(或いは、M53)の検出温度が温度t1以上になってから、セルM43(或いは、M53)の検出温度が温度t1未満になるまでの時間を注視時間tb(N)として求め、この注視時間tb(N)が、所定時間M3以上であるとき、運転者が不注視の状態であるとしてステップ400でYESと判定した場合には、不注視制御処理(ステップ121)を実行する。
【0069】
また、ステップ400で、注視時間tb(N)が所定時間M3未満であるときNOと判定して、当該不注視検出処理の処理を開始後、一定期間tg以上経過したか否かを判定する(ステップ220)。ここで、一定期間tg以上経過していないことを判定したときには、一定期間tg以上経過したことを判定するまで、移動判定処理(ステップ310)、判定幅判定処理(ステップ320)、移動回数インクリメント処理(ステップ340)、移動時間算出処理(ステップ350)、移動速度算出処理(ステップ360)、移動速度判定処理(ステップ370)、注視時間算出処理(ステップ390)、注視時間判定処理(ステップ400)を行う。
【0070】
以上説明したように本実施形態によれば、温度センサ10を用いて、車両の運転者の顔の上下方向の移動状態(移動幅、移動回数、移動速度)を検出するとともに、この検出された移動状態に基づいて、運転者の不注視であることを推定する。したがって、上記第1実施形態と同様に、運転者の顔の撮像画像を用いることなく、運転者が不注視の状態であることを推定することができる。これに加えて、運転者が不注視の状態であることを推定したとき、警告を発するので、運転者を運転に集中させることができる。
【0071】
また、上記第2実施形態では、運転者の不注視を検出するための移動回数Nとしては、移動幅判定処理(ステップ330)でNOと判定する毎に、内蔵カウンタをインクリメントして移動回数Nをカウントするものを示したが、これに代えて、移動回数Nとして、移動判定処理(ステップ310)でYESと判定する毎に、内蔵カウンタをインクリメントしてカウントするようにしてもよい。
【0072】
さらに、上記第1および第2実施形態を組み合わせて実施するようにしてもよい。
【図面の簡単な説明】
【図1】本発明の第1実施形態の構成を示すブロック図である。
【図2】図1に示すコントローラの処理を示すフローチャートである。
【図3】図1に示すコントローラの処理を示すフローチャートである。
【図4】図1に示すコントローラの処理を説明するための図である。
【図5】図1に示すコントローラの処理を説明するための図である。
【図6】図1に示すコントローラの処理を説明するための図である。
【図7】本発明の第2実施形態のコントローラの処理を示すフローチャートである。
【図8】第2実施形態のコントローラの処理を説明するための図である。
【符号の説明】
10…赤外線センサ、11…オーディオ装置、12…香発生装置、
13…イオン発生装置、15…ディスプレイ、16…バイブレータ、
17…コントローラ。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle impatient estimating apparatus for estimating impatient of an occupant of a vehicle, a vehicle impatient calming and calming apparatus for calming an occupant's impatient, and a vehicle inattentiveness estimating apparatus for estimating that an occupant is in a state of inattentiveness The present invention relates to a vehicle warning device that issues a warning to an occupant when the occupant is in a state of inattentiveness.
[0002]
[Prior art]
Conventionally, an air conditioner is used to determine that the driver of a vehicle is drowsy based on information such as the following distance, steering sway, and duration of constant vehicle speed, and to make the driver drowsy. (For example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-8-48135
[0004]
[Problems to be solved by the invention]
However, such a device can prevent an accident due to a driver falling asleep, but cannot be applied to an accident prevention due to driver's impatience and inattentiveness.
[0005]
On the other hand, by capturing the driver's face and detecting the driver's facial expression (that is, the movement of each part constituting the face) based on the captured image, a mental state such as impatience and inattentiveness is detected. However, in order to determine the mental state, complicated processing is required for the captured image of the face.
[0006]
SUMMARY OF THE INVENTION In view of the above, an object of the present invention is to provide a vehicle impulse estimating apparatus that estimates that a driver is impatient without using a captured image of a face.
[0007]
It is a second object of the present invention to provide a vehicular burn and calm device that calms the driver from being hurried.
[0008]
Further, a third object of the present invention is to provide a vehicle inattentiveness estimating apparatus for estimating a state of inattentiveness of a driver without using a captured image of a face.
[0009]
Further, a fourth object of the present invention is to provide a vehicle warning device that issues a warning by estimating a driver's inattentive state.
[0010]
[Means for Solving the Problems]
The present invention has been made by paying attention to the fact that when the driver is in a state of being impatient or in a state of inattentiveness, changes occur in the occupant's movement width, number of movements, movement speed, and the like.
[0011]
Specifically, according to the first aspect of the present invention, a surface temperature sensor (10) for individually measuring the surface temperatures of a plurality of detection areas in a vehicle interior in a non-contact manner, based on an output signal of the surface temperature sensor. And estimating means (110, 130, 150, 180) for detecting a moving state of an occupant of the vehicle and estimating that the occupant is impatient according to the detected moving state. I do.
[0012]
In this way, in order to estimate that the occupant is impatient according to the moving state of the occupant detected based on the output signal of the surface temperature sensor, the occupant becomes impatient without using an image of the occupant's face. Can be estimated.
[0013]
In addition, when detecting the moving state of the occupant using a camera that images each detection area, it is necessary to identify the occupant in each detection area, but this identification requires complicated processing. On the other hand, according to the first aspect of the present invention, the occupants in each of the detection areas are identified by the temperature by using the surface temperature sensor, so that the occupants in each of the detection areas can be identified without using complicated processing. Can be identified.
[0014]
Specifically, as in the second aspect of the present invention, the estimating means detects the moving width of the occupant as the moving state, and when the detected moving width is equal to or more than the predetermined width, the occupant is impatient. That may be estimated. The estimating means detects the number of movements of the occupant as a movement state and estimates that the occupant is impatient when the detected number of movements is equal to or greater than a predetermined number. You may make it.
[0015]
Further, as in the invention according to
[0016]
According to the invention described in
[0017]
In this way, when it is estimated that the occupant is impatient, the impatient of the occupant can be calmed down.
[0018]
According to the invention described in
[0019]
In this way, in order to estimate that the occupant is impatient in accordance with the occupant's moving state detected based on the output signal of the surface temperature sensor, the occupant may be inattentive without using a captured image of the occupant's face. Can be estimated. Here, the state of inattentiveness is a state in which the feeling is not concentrated and the feeling is distracted.
[0020]
Further, similarly to the first aspect of the present invention, by using the surface temperature sensor, the occupants in each detection area are identified by the temperature, so that the occupants in each detection area can be identified without using complicated processing. it can.
[0021]
Specifically, as in the invention according to
[0022]
According to the ninth aspect of the present invention, the estimating means detects the occupant's moving speed as a moving state and, when the detected moving speed is lower than the reference speed, determines that the occupant is in an inattentive state. It may be estimated.
[0023]
According to the tenth aspect of the present invention, based on a surface temperature sensor (10) for individually measuring the surface temperatures of a plurality of detection areas in a vehicle interior in a non-contact manner and an output signal of the surface temperature sensor, Estimating means (100, 120, 210, 231, 232, 310, 320, 370, and 340) for detecting the occupant's moving state and estimating that the occupant is in a state of inattentiveness according to the detected moving state. 400) and a means (132) for issuing a warning to the occupant when the estimating means estimates that the occupant is in a state of inattentiveness. Thereby, the occupant can escape from the inattentive state.
[0024]
Incidentally, the reference numerals in parentheses of the respective means are examples showing the correspondence with specific means described in the embodiments described later.
[0025]
BEST MODE FOR CARRYING OUT THE INVENTION
(1st Embodiment)
FIG. 1 shows a first embodiment of a vehicular impatience / inattention gaze detection system according to the present invention.
[0026]
The vehicular urgency / gazing detection system includes an infrared sensor 10, an
[0027]
The infrared sensor 10 is arranged toward the driver's seat side, and is configured such that 38 cells are arranged in a matrix of 4 rows and 8 columns. Each cell outputs an electric signal corresponding to the amount of incident infrared light. As a result, the surface temperatures of the 32 detection areas on the driver's seat side are independently and non-contactly detected.
[0028]
The
[0029]
The
[0030]
The
[0031]
Next, the operation of the present embodiment will be described with reference to FIGS.
[0032]
The
[0033]
First, the built-in counter is reset (step 100), and based on the detection output of the infrared sensor 10, it is determined whether the driver's face has moved in the left-right direction (step 110).
[0034]
For example, after the temperature of the detection area of the infrared sensor 10 that is equal to or higher than the temperature t1 (which indicates the driver's face) decreases to the temperature t1 or lower, the left area (or the right area) of the area is determined. When the detected temperature rises to the temperature t1 or more, and the detected temperature in the left area maintains the temperature t1 or more for the time tr or more, it is determined that the driver's face has moved to the left (or right). You.
[0035]
For example, as shown in FIG. 5 (the cells M52 and M22 are omitted in the figure), the detected temperatures of the cells M42 and M52 shown in FIG. When the temperature rises to the temperature t1 or more and the detected temperature of the cells M12 and M22 is maintained at the temperature t1 or more for the time tr or more, the driver's face moves from the detection area of the cells M42 and M52 to the detection area of the cells M12 and M22. Is determined to have moved. That is, it is determined that the driver's face has moved by the width L3 of three cells (= 3 × L1: L1 is the width of one cell).
[0036]
In FIG. 4, 32 cells are individually represented by Mij, i represents a row number (1 ≦ i ≦ 8), and j represents a column number (1 ≦ j ≦ 4). FIG. 5 shows the detected temperature of the cell on the vertical axis and the time on the horizontal axis.
[0037]
As described above, when it is determined that the driver's face has moved, the face movement width L (= L3) is smaller than the reference width K0 (for example, the width of two cells: 2 × L1). Is determined to be NO in step 120 (L ≧ K0), and the moving width L is equal to or larger than a predetermined width C0 (for example, the width of three cells: 3 × L1), and YES is determined in
[0038]
Accordingly, the environment of the driver in the vehicle compartment is controlled (step 131). For example, a predetermined music is output as audio from the
[0039]
Further, in
[0040]
Next, it is determined whether or not the number of movements N is equal to or more than a predetermined number of times C1 (step 150). If the number of times of movement N is equal to or more than the predetermined number of times C1, it is determined to be YES (N> C1). In this case, since it is estimated that the driver is impatient, the environment control processing (step 131) and the warning generation processing (step 132) are executed to calm the driver's impatience.
[0041]
Further, in
[0042]
As described above, when the moving time ta (N) is obtained, the moving speed V (N) {= (L) / (ta (N))} is obtained based on the moving time ta (N) and the moving width L. At the same time, when the obtained moving speed V (N) is equal to or higher than the predetermined speed C2, it is determined to be YES in
[0043]
In
[0044]
For example, when the face of the driver moves from the detection area of the cells M42 and M52 to the detection area of the cells M22 and M32, as shown in FIG. 6, the detected temperature of the cell M22 (or M22) becomes higher than the temperature t1. After the rise, the time required for the detected temperature of the cell M22 (or M22) to fall below the temperature t1 is determined as the gaze time tb (N).
[0045]
In addition to this, when the gaze time tb (N) is equal to or longer than the predetermined time C3, when the driver determines that the driver is in a state of inattentiveness and determines YES in
[0046]
When it is determined in
[0047]
Here, when it is determined that the predetermined period tg or more has not elapsed, the movement determination process (step 110), the determination width determination process (
[0048]
Thereafter, in
[0049]
In this non-attention gaze determination routine, it is determined whether or not the number of movements N is less than the reference number of times K1 (step 231). When the number of times of movement N is less than the reference number of times K1, it is determined that the number of times of movement N is too small in spite of the lapse of the fixed period tg or more, and YES is determined in
[0050]
Thereafter, the process proceeds to step 233, where an image for warning that the driver is not watching is displayed on the
[0051]
In
[0052]
In
[0053]
As described above, according to the present embodiment, the movement state (movement width, number of movements, movement speed) of the face of the driver of the vehicle is detected using the temperature sensor 10 for measuring the temperature of each cell, and According to the detected moving state, it is estimated that the driver is impatient. For this reason, it is possible to estimate that the driver is impatient, without using a captured image of the driver's face. In addition, when it is estimated that the driver is impatient, music is generated, negative ions are generated, and a scent is generated, so that the driver's impatient is calmed down. For this reason, it can contribute to the safe driving of the driver.
[0054]
Further, in the present embodiment, the movement state (movement width, number of movements, movement speed) of the face of the driver of the vehicle is detected using the temperature sensor 10, and the driver is controlled in accordance with the detected movement state. It is presumed that the user is inattentive. Therefore, it is possible to estimate that the driver is in a state of inattentiveness without using a captured image of the driver's face. In addition, when it is estimated that the driver is in a gazeless state, a warning is issued, so that the driver can get out of the gazeless state and can concentrate on driving.
[0055]
Although it is possible to detect the moving state of the occupant by continuously imaging the occupant using a camera, it is necessary to identify the occupant in each detection area based on each captured image of the camera. Identification requires complex processing. On the other hand, in the present embodiment, the occupants in each detection area are identified by the temperature by using the infrared sensor 10, so that the occupants in each detection area can be identified without using complicated processing.
[0056]
Further, in the first embodiment, the built-in counter is incremented as the number N of times of movement for detecting inattentiveness or impatience of the driver every time the movement width determination processing (step 130) determines NO. Although the number of times of movement N is shown, instead of this, the built-in counter may be incremented and counted as the number of times of movement N every time YES is determined in the movement determination processing (step 110). .
[0057]
(2nd Embodiment)
In the above-described first embodiment, an example has been described in which it is estimated that the driver is in a state of inattentiveness due to the movement of the driver's face to the left and right. It is estimated that the driver is in a state of inattentiveness due to the movement (for example, when the driver feels drowsy).
[0058]
In the present embodiment, the
[0059]
First, the built-in counter is reset (step 300), and based on the detection output of the infrared sensor 10, it is determined whether or not the driver's face has moved up and down (step 310).
[0060]
Specifically, after the temperature of the detection area of the infrared sensor 10 that is equal to or higher than the temperature t1 (which indicates the driver's face) decreases to the temperature t1 or lower, the lower area (or the upper area) of the area is determined. When the detected temperature of the region (a) rises to the temperature t1 or more and the detected temperature of the lower region maintains the temperature t1 or more for the time tr or more, the driver's face moves downward (or upward). It is determined that it has been done.
[0061]
For example, after the detected temperatures of the cells M42 and M52 shown in FIG. 8 change below the temperature t1, the detected temperatures of the cells M44 and M54 change to the temperature t1 or more, and the detected temperatures of the cells M44 and M54 become time tr. When the temperature t1 or more is maintained over the above, it is determined that the driver's face has moved from the detection areas of the cells M42 and M52 to the detection areas of the cells M44 and M54, and thus YES is determined in
[0062]
As described above, when it is determined that the driver's face has moved downward, is the face movement width L larger than the reference width M0 (for example, the width of one cell: L1)? Determine whether or not. Here, if YES is determined in
[0063]
If it is determined in
[0064]
Next, it is determined whether or not the number of movements N is equal to or greater than the reference number M1 (step 340). If the number of movements N is equal to or greater than the reference number M1, YES is determined. In this case, since it is estimated that the driver is in a state of inattentiveness, an inattentiveness control process (step 121) is executed.
[0065]
Further, in
[0066]
Accordingly, a moving speed V (N) {= (L) / (ta (N))} is determined based on the moving time ta (N) and the moving width L, and the determined moving speed V (N) is If it is less than the reference speed M2, it is determined as YES in
[0067]
Further, in
[0068]
For example, when the driver's face moves from the detection area of the cells M42 and M52 to the detection area of the cells M43 and M53, the detection of the cell M43 (or M53) becomes equal to or higher than the temperature t1, and then the cell M43 ( Alternatively, the time until the detected temperature of M53) becomes lower than the temperature t1 is obtained as the gaze time tb (N), and when the gaze time tb (N) is equal to or longer than the predetermined time M3, the driver is in a state of inattention If it is determined as YES in
[0069]
Also, in
[0070]
As described above, according to the present embodiment, the vertical movement state (movement width, number of movements, and movement speed) of the face of the driver of the vehicle is detected using the temperature sensor 10 and the detected state is detected. Based on the moving state, it is estimated that the driver is not watching. Therefore, similarly to the first embodiment, it is possible to estimate that the driver is in a state of inattentiveness without using a captured image of the driver's face. In addition to this, when it is estimated that the driver is not watching, a warning is issued, so that the driver can concentrate on driving.
[0071]
In the second embodiment, the number of movements N for detecting the driver's inattentiveness is determined by incrementing the built-in counter every time the movement width determination process (step 330) determines NO. However, instead of this, the built-in counter may be incremented and counted as the number of movements N each time YES is determined in the movement determination processing (step 310).
[0072]
Further, the first and second embodiments may be implemented in combination.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a first exemplary embodiment of the present invention.
FIG. 2 is a flowchart showing a process of a controller shown in FIG. 1;
FIG. 3 is a flowchart showing processing of a controller shown in FIG. 1;
FIG. 4 is a diagram for explaining processing of a controller shown in FIG. 1;
FIG. 5 is a diagram for explaining processing of a controller shown in FIG. 1;
FIG. 6 is a diagram for explaining processing of the controller shown in FIG. 1;
FIG. 7 is a flowchart illustrating processing of a controller according to a second embodiment of the present invention.
FIG. 8 is a diagram for explaining processing of a controller according to the second embodiment.
[Explanation of symbols]
10: infrared sensor, 11: audio device, 12: incense generator,
13 ... Ion generator, 15 ... Display, 16 ... Vibrator,
17 ... Controller.
Claims (10)
前記表面温度センサの出力信号に基づき、車両の乗員の移動状態を検出するとともに、この検出された移動状態に応じて、前記乗員が焦っていることを推定する推定手段(110、130、150、180)と、を有することを特徴とする車両用焦り検出装置。A surface temperature sensor (10) for individually measuring the surface temperatures of a plurality of detection areas in the vehicle interior in a non-contact manner;
Estimating means (110, 130, 150,...) For detecting the moving state of the occupant of the vehicle based on the output signal of the surface temperature sensor and estimating that the occupant is impatient according to the detected moving state 180).
前記表面温度センサの出力信号に基づき、車両の乗員の移動状態を検出するとともに、この検出された移動状態に応じて、前記乗員が焦っていることを推定する推定手段(110、130、150、180)と、
前記乗員が焦っていることを前記推定手段が推定したとき、前記乗員の焦りを沈静化させるための手段(131)と、を有することを特徴とする車両用焦り沈静化装置。A surface temperature sensor (10) for individually measuring the surface temperatures of a plurality of detection areas in the vehicle interior in a non-contact manner;
Estimating means (110, 130, 150,...) For detecting the moving state of the occupant of the vehicle based on the output signal of the surface temperature sensor and estimating that the occupant is impatient according to the detected moving state 180)
A means (131) for calming the occupant's impatience when the estimating means estimates that the occupant is impatient;
前記表面温度センサの出力信号に基づき、車両の乗員の移動状態を検出するとともに、この検出された移動状態に応じて、前記乗員が不注視の状態であることを推定する推定手段(100、120、210、231、232、310、320、340、370、400)と、を有することを特徴とする車両用不注視検出装置。A surface temperature sensor (10) for individually measuring the surface temperatures of a plurality of detection areas in the vehicle interior in a non-contact manner;
Estimating means (100, 120) for detecting a moving state of an occupant of the vehicle based on an output signal of the surface temperature sensor and estimating that the occupant is in a state of inattentiveness according to the detected moving state. , 210, 231, 232, 310, 320, 340, 370, 400).
前記表面温度センサの出力信号に基づき、車両の乗員の移動状態を検出するとともに、この検出された移動状態に応じて、前記乗員が不注視の状態であることを推定する推定手段(100、120、210、231、232、310、320、370、400)と、
前記乗員が不注視の状態であることを前記推定手段が推定したとき、前記乗員に警告を発する手段(121)と、を有することを特徴とする車両用警告装置。A surface temperature sensor (10) for individually measuring the surface temperatures of a plurality of detection areas in the vehicle interior in a non-contact manner;
Estimating means (100, 120) for detecting a moving state of an occupant of the vehicle based on an output signal of the surface temperature sensor and estimating that the occupant is in a state of inattentiveness according to the detected moving state. , 210, 231, 232, 310, 320, 370, 400);
Means (121) for issuing a warning to the occupant when the estimating means estimates that the occupant is in a gazeless state.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002272718A JP2004106716A (en) | 2002-09-19 | 2002-09-19 | Impatience detecting device for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002272718A JP2004106716A (en) | 2002-09-19 | 2002-09-19 | Impatience detecting device for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004106716A true JP2004106716A (en) | 2004-04-08 |
Family
ID=32269665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002272718A Pending JP2004106716A (en) | 2002-09-19 | 2002-09-19 | Impatience detecting device for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004106716A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008059727A1 (en) | 2006-11-15 | 2008-05-22 | Toyota Jidosha Kabushiki Kaisha | Driver condition estimating device, server, driver information collecting device and driver condition estimating system |
CN105069599A (en) * | 2015-08-24 | 2015-11-18 | 无锡贺邦金属制品有限公司 | Freight transport management platform |
CN105069600A (en) * | 2015-08-24 | 2015-11-18 | 无锡贺邦金属制品有限公司 | Safety management platform used for truck transportation |
CN105096088A (en) * | 2015-08-24 | 2015-11-25 | 无锡贺邦金属制品有限公司 | Management platform for truck transportation |
CN105096087A (en) * | 2015-08-24 | 2015-11-25 | 无锡贺邦金属制品有限公司 | Cargo transportation management system |
CN105160915A (en) * | 2015-08-24 | 2015-12-16 | 无锡贺邦金属制品有限公司 | Freight safety management platform |
CN105160938A (en) * | 2015-08-24 | 2015-12-16 | 无锡贺邦金属制品有限公司 | Management platform for transportation |
CN105205631A (en) * | 2015-08-24 | 2015-12-30 | 无锡贺邦金属制品有限公司 | Safety management platform used for transportation |
CN109278556A (en) * | 2018-11-19 | 2019-01-29 | 深圳和而泰智能控制股份有限公司 | Auto-safety mechanism |
-
2002
- 2002-09-19 JP JP2002272718A patent/JP2004106716A/en active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008059727A1 (en) | 2006-11-15 | 2008-05-22 | Toyota Jidosha Kabushiki Kaisha | Driver condition estimating device, server, driver information collecting device and driver condition estimating system |
US8135507B2 (en) | 2006-11-15 | 2012-03-13 | Toyota Jidosha Kabushiki Kaisha | Driver condition estimation apparatus, server, driver information collecting apparatus, and driver condition estimation system |
CN105069599A (en) * | 2015-08-24 | 2015-11-18 | 无锡贺邦金属制品有限公司 | Freight transport management platform |
CN105069600A (en) * | 2015-08-24 | 2015-11-18 | 无锡贺邦金属制品有限公司 | Safety management platform used for truck transportation |
CN105096088A (en) * | 2015-08-24 | 2015-11-25 | 无锡贺邦金属制品有限公司 | Management platform for truck transportation |
CN105096087A (en) * | 2015-08-24 | 2015-11-25 | 无锡贺邦金属制品有限公司 | Cargo transportation management system |
CN105160915A (en) * | 2015-08-24 | 2015-12-16 | 无锡贺邦金属制品有限公司 | Freight safety management platform |
CN105160938A (en) * | 2015-08-24 | 2015-12-16 | 无锡贺邦金属制品有限公司 | Management platform for transportation |
CN105205631A (en) * | 2015-08-24 | 2015-12-30 | 无锡贺邦金属制品有限公司 | Safety management platform used for transportation |
CN109278556A (en) * | 2018-11-19 | 2019-01-29 | 深圳和而泰智能控制股份有限公司 | Auto-safety mechanism |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6860271B2 (en) | Systems and methods that respond to driver behavior | |
US10875536B2 (en) | Coordinated vehicle response system and method for driver behavior | |
JP5228970B2 (en) | Dozing prevention device | |
WO2014149657A1 (en) | Coordinated vehicle response system and method for driver behavior | |
AU2012218054A1 (en) | System and method for responding to driver behavior | |
JP2003339681A (en) | Display device for vehicle | |
JP2004106716A (en) | Impatience detecting device for vehicle | |
JP6776681B2 (en) | Driver status determination device and driver status determination program | |
JP2011128823A (en) | Safe driving support device | |
JP2018160151A (en) | Driving support apparatus | |
JP2008073382A (en) | Dangerous driving condition detecting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070220 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080415 |