JP2019156146A - 乗員監視装置 - Google Patents

Abstract

【課題】操舵時に撮像部が一時的に遮蔽された場合に、遮蔽が解除された時点で適正な輝度で乗員を撮像できる乗員監視装置を提供する。【解決手段】乗員監視装置１００は、乗員を撮像する撮像部１と、撮像部１が撮像した乗員の画像に対して所定の処理を行う画像処理部２と、撮像部１の撮像感度を切り替える感度制御部５とを備えており、画像処理部２で処理された乗員の画像に基づいて乗員を監視する。撮像部１は、ステアリングホイールを挟んで乗員と対向するように配置される。感度制御部５は、ステアリングホイールが操舵された場合に、撮像感度の切り替えを行わず、現在の撮像感度を維持する。【選択図】図１

Description

本発明は、車両の乗員を撮像部で撮像して監視する乗員監視装置に関し、特に、撮像部の撮像感度を適正に調整する技術に関する。

乗員の状態を監視する装置として、車両に搭載されるドライバモニタが知られている。ドライバモニタは、撮像部（カメラ）で撮像した運転者の顔の画像を解析して、瞼の閉じ具合や視線方向などから、居眠り運転や脇見運転の有無を監視する装置である。一般に、ドライバモニタの撮像部には、運転者の顔を撮像する撮像素子と、運転者の顔に光を照射する発光素子とが備わっている。特許文献１には、このようなドライバモニタの一例が示されている。

ドライバモニタの撮像部は、車両の運転席のダッシュボードなどに、表示パネルや計器類などと共に設置される場合が多いが、撮像部をこのように配置した場合、撮像部と被写体である運転者との間に、ステアリングホイールが介在する。そのため、運転者がステアリングホイールを操舵した際に、撮像部がステアリングホイールのスポークや運転者の手などによって遮蔽されることがある。撮像部が遮蔽されると、撮像画像は著しく暗い画像（遮蔽物によっては著しく明るい画像）となり、適正な輝度で顔を正確に検出するのが困難となる。

ドライバモニタにおいては、撮像した画像の輝度に応じて、撮像部の撮像感度を自動的に調整することが、従来より行われている。具体的には、画像が暗すぎる場合は、撮像素子の露光時間を長くしたり、発光素子の光強度を増加させたりすることで、撮像感度を上げて画像を明るくする。また、画像が明るすぎる場合は、撮像素子の露光時間を短くしたり、発光素子の光強度を減少させたりすることで、撮像感度を下げて画像を暗くする。

しかしながら、ステアリングホイールの操舵によって撮像部がスポークで遮蔽されても、スポークが撮像部を通り過ぎたり、ステアリングホイールが逆方向に操舵されたりして、撮像部の遮蔽が解除され、画像の状態が元に戻る場合が多い。したがって、操舵により撮像部が遮蔽されて画像が暗くなった場合に、これに応答して直ちに撮像感度を上げると、遮蔽状態が解除された時点で、撮像感度が高いために画像が明るくなりすぎて、顔の検出に支障が生じる。また、撮像部の遮蔽により画像が明るくなった場合も、直ちに撮像感度を下げると、遮蔽状態が解除された時点で画像が暗くなりすぎて、やはり顔の検出に支障が生じる。

従来のドライバモニタでは、ステアリングホイールの操舵時に撮像部が一時的に遮蔽されただけの場合でも、上述したように直ちに撮像感度を切り替えているため、遮蔽が解除された時点で、適正な輝度の画像が得られず、顔の検出が困難となる。この場合、感度自動調整機能が働いて、輝度を適正値に戻す制御が行われるが、これが完了するまでの間、顔の検出に時間遅れが発生することは避けられない。

撮像部と被写体との間の遮蔽物を検出して所定の処理を行う乗員監視装置が、特許文献２〜４に記載されている。特許文献２では、撮像部によりステアリングホイールのスポーク部が撮像されている場合は、運転者の運転状態に対する警報の出力を禁止する。特許文献３では、車両と撮像対象との間に遮蔽物が検出された場合、それ以降に遮蔽物がないと判定されたことを条件として、撮像を再開する。特許文献４では、撮像部がステアリングホイールで遮蔽されて、運転者の顔を正確に検出できないような場合に、顔情報の取得が失敗した原因を報知する。しかるに、これらの文献は、前述した操舵時の感度切替の問題点に対する解決策を提示するものではない。

特開２０１０−５０５３５号公報 特開２０００−１７２９６６号公報 特開２０１０−１１３１１号公報 特開２００９−２０１７５６号公報

本発明の課題は、操舵時に撮像部が一時的に遮蔽された場合に、遮蔽が解除された時点で適正な輝度で乗員を撮像できる乗員監視装置を提供することにある。

本発明に係る乗員監視装置は、ステアリングホイールを挟んで乗員と対向するように配置されて乗員を撮像する撮像部と、この撮像部が撮像した乗員の画像に対して所定の処理を行う画像処理部と、撮像部の撮像感度を切り替える感度制御部とを備えており、画像処理部で処理された乗員の画像に基づいて乗員を監視する。本発明では、感度制御部は、ステアリングホイールが操舵された場合に、撮像感度の切り替えを行わずに現在の撮像感度を維持する。

このような乗員監視装置によると、ステアリングホイールの操舵によって、撮像部が遮蔽されても、感度制御部は、撮像部の撮像感度を切り替えず、現在の撮像感度を維持する。このため、撮像部の遮蔽が解除された時点で、乗員の画像は暗すぎたり明るすぎたりしない適正な輝度の画像となり、この画像に基づいて乗員の顔などを正確に検出することができる。したがって、顔などの検出に従来のような時間遅れが発生せず、乗員の監視性能を向上させることができる。

本発明において、感度制御部は、ステアリングホイールが操舵され、かつ、撮像部の遮蔽が検出された場合に、撮像感度の切り替えを行わずに現在の撮像感度を維持してもよい。

本発明において、感度制御部は、撮像部の遮蔽が検出されなくなった後、乗員の画像の輝度に応じて撮像感度を切り替えてもよい。

本発明において、感度制御部は、乗員の画像における、当該乗員の特定部位が収まる特定領域の輝度を検出し、当該輝度に基づいて撮像部の遮蔽を検出してもよい。この場合、特定部位は乗員の顔であり、特定領域は顔が収まる顔領域であってもよい。

本発明において、感度制御部は、ステアリングホイールが操舵され、かつ、当該ステアリングホイールの操舵角が所定角度以上である場合に、撮像感度の切り替えを行わずに現在の撮像感度を維持してもよい。

本発明において、感度制御部は、ステアリングホイールの操舵角が所定角度未満となった後、乗員の画像の輝度に応じて撮像感度を切り替えてもよい。

本発明において、前記の所定角度は、ステアリングホイールのスポークが撮像部の一部または全部を遮蔽するときの、当該ステアリングホイールの基準位置からの回転角度であってもよい。

本発明において、感度制御部は、画像処理部から取得した画像に基づいて、ステアリングホイールが操舵されたことを検出してもよい。

本発明において、感度制御部は、ステアリングホイールの操舵角を検出する操舵角センサの出力に基づいて、ステアリングホイールが操舵されたことを検出してもよい。

本発明によれば、操舵時に撮像部が一時的に遮蔽された場合に、遮蔽が解除された時点で、適正な輝度で乗員を撮像することができる。

本発明の実施形態であるドライバモニタの電気ブロック図である。 撮像部による顔の撮像の様子を示す図である。 ステアリングホイールと撮像部の正面図である。 ステアリングホイールによる撮像部の遮蔽を説明するための図である。 従来の撮像画像の例を模式的に示す図である。 従来の撮像画像の例を模式的に示す図である。 本発明の撮像画像の例を模式的に示す図である。 本発明の撮像画像の例を模式的に示す図である。 感度制御の一例を示すフローチャートである。 撮像画像における顔領域と輝度分布を示す図である。 感度制御の他の例を示すフローチャートである。 ステアリングホイールの操舵角を説明するための図である。 本発明の他の実施形態によるドライバモニタの電気ブロック図である。

本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。以下では、本発明を車両に搭載されるドライバモニタに適用した例を挙げる。

まず、図１および図２を参照して、ドライバモニタの構成について説明する。図１において、ドライバモニタ１００は、図２の車両３０に搭載されており、撮像部１、画像処理部２、ドライバ状態判定部３、信号出力部４、感度制御部５、および撮像制御部６を備えている。

撮像部１は、カメラを構成しており、撮像素子１１と発光素子１２とを有している。撮像部１には、これら以外にレンズなどの光学部品も備わっている（図示省略）。撮像素子１１は、たとえばＣＭＯＳイメージセンサからなる。発光素子１２は、たとえば近赤外光を発光するＬＥＤからなる。

図２に示すように、撮像部１は、ステアリングホイール３３を挟んで、運転者３４と対向するように配置され、シート３２に着座した運転者３４の顔Ｆを撮像する。点線は、撮像部１の撮像範囲を表している。撮像部１は運転席のダッシュボード３１に、図示しないディスプレイや計器類と共に設けられている。撮像素子１１は運転者３４の顔Ｆを撮像し、発光素子１２は運転者３４の顔に近赤外光を照射する。運転者３４は、本発明における「乗員」の一例である。

撮像部１を図２のように設置した場合、撮像部１と運転者３４の顔Ｆとの間に、ステアリングホイール３３が介在することになるが、図３に示すように、撮像部１は、ステアリングホイール３３の開口部３３ｂを通して、顔Ｆを撮像できるようになっている。ただし、後述するように、ステアリングホイール３３の操舵に伴い、撮像部１は、ステアリングホイール３３のスポーク３３ａによって遮蔽されることがある。

撮像部１は、発光素子１２が光を照射していない状態で撮像した運転者３４の第１画像と、発光素子１２が光を照射している状態で撮像した運転者３４の第２画像とを生成し、それぞれの画像を画像処理部２へ出力する。

画像処理部２１は、画像受信部２１、差分画像生成部２２、顔検出部２３、および特徴点抽出部２４を有している。画像受信部２１は、撮像部１が出力する第１画像および第２画像を受信して、これらを図示しない画像メモリに一時的に保存する。差分画像生成部２２は、第２画像と第１画像との差分である差分画像を生成する。顔検出部２３は、この差分画像に基づいて、運転者３４の顔Ｆを検出する。特徴点抽出部２４は、検出された顔Ｆにおける目、鼻、口などの特徴点を抽出する。差分画像を用いることにより、外乱光が除去されて、ムラの少ない鮮明な顔画像を得ることができる。

ドライバ状態判定部３は、画像処理部２の顔検出部２３で検出された顔と、特徴点抽出部２４で抽出された顔の特徴点とに基づいて、運転者３４の顔の向き、瞼の開閉状態、視線方向などを判別し、その判別結果に基づいて運転者３４の運転状態（居眠り運転や脇見運転など）を判定する。

信号出力部４は、ドライバ状態判定部３の判定結果を、図示しないＥＣＵ（Electronic Control Unit）へ出力する。上位装置であるＥＣＵは、車両３０に搭載されており、ＣＡＮ（Controller Area Network）を介して、ドライバモニタ１００と接続されている。

感度制御部５は、輝度検出部５１、操舵検出部５２、遮蔽検出部５３、および感度切替部５４を有している。

輝度検出部５１は、差分画像生成部２２で生成された差分画像を取得し、その輝度を検出する。操舵検出部５２は、差分画像生成部２２から取得した差分画像に基づいて、ステアリングホイール３３が操舵されたことを検出するとともに、ステアリングホイール３３の操舵角も検出する。遮蔽検出部５３は、差分画像生成部２２から取得した差分画像に基づいて、撮像部１がステアリングホイール３３のスポーク３３ａや、運転者３４の手などによって遮蔽されたことを検出する。

感度切替部５４は、輝度検出部５１で検出された画像の輝度に応じて、撮像部１の撮像感度を切り替える。すなわち、輝度が高すぎる場合は、輝度が低くなるように感度を下げ、輝度が低すぎる場合は、輝度が高くなるように感度を上げる。これは、従来から行われている通常の感度切替である。また、感度切替部５４は、操舵検出部５２および遮蔽検出部５３の検出結果に基づいて、輝度検出部５１で検出された輝度にかかわらず、撮像感度の切り替えを禁止する。これについては、後で詳細に説明する。

感度切替部５４には、感度テーブルＴが備わっている。この感度テーブルＴには、複数段階の感度レベルと、各感度レベルに対応して設定された感度パラメータとが記憶されている（図示省略）。感度パラメータは、たとえば、撮像素子１１の露光時間、発光素子１２の駆動電流、撮像素子１１のゲインなどである。感度切替部５４は、この感度テーブルＴを参照して、感度レベルと、当該感度レベルに応じた感度パラメータとを選択することにより、撮像部１の撮像感度を切り替える。

撮像制御部６は、撮像部１の撮像動作を制御する。具体的には、撮像制御部６は、撮像素子１１の撮像タイミングや発光素子１２の発光タイミングを制御し、また、感度切替部５４から与えられる感度パラメータに基づいて、撮像部１の撮像感度を調整する。

なお、図１において、差分画像生成部２２、顔検出部２３、特徴点抽出部２４、ドライバ状態判定部３、輝度検出部５１、操舵検出部５２、遮蔽検出部５３、および感度切替部５４の各機能は、実際にはソフトウェアによって実現されるが、図１では便宜上、ハードウェアのブロック図で示している。

次に、本発明のドライバモニタ１００における感度制御の基本的なしくみについて説明する。

図３で示したように、ステアリングホイール３３が操舵されない状態では、撮像部１は、スポーク３３ａによって遮蔽されず、開口部３３ｂを通して運転者３４の顔Ｆを撮像することができる。

この状態から、図４（ａ）のように、ステアリングホイール３３が一方向（ここでは右方向）に操舵されると、ステアリングホイール３３のスポーク３３ａが撮像部１に近づいてゆく。そして、図４（ｂ）のように、ステアリングホイール３３がある角度まで操舵されると、撮像部１がスポーク３３ａによって遮蔽される。その後、図４（ｃ）のように、ステアリングホイール３３がさらに操舵されると、スポーク３３ａが撮像部１を通り過ぎて、撮像部１の遮蔽が解除され、撮像部１は他の開口部３３ｃを通して撮像が可能となる。また、ステアリングホイール３３が、図４（ｂ）の位置から図４（ｄ）のように逆方向（ここでは左方向）に操舵された場合も、スポーク３３ａが撮像部１から離れて遮蔽が解除され、撮像部１は開口部３３ｂを通して撮像が可能となる。

図５ないし図８における（ａ）〜（ｃ）は、それぞれ図４の（ａ）〜（ｃ）の状態における運転者３４の画像Ｐ（差分画像）の例を示している。図５と図６は、従来のドライバモニタにおける画像であり、図７と図８は、本発明のドライバモニタにおける画像である。

図４（ｂ）のように、撮像部１がスポーク３３ａで遮蔽された場合、画像Ｐにおけるスポーク３３ａの部分は、図５（ｂ）のように暗くなるか、もしくは図６（ｂ）のように明るくなる。いずれの場合も、顔Ｆがスポーク３３ａで覆われるため、顔Ｆの検出は不可能である。しかるに、従来のドライバモニタでは、図５（ｂ）のように画像Ｐが暗くなった場合は、自動的に撮像部１の撮像感度を上げ、図６（ｂ）のように画像Ｐが明るくなった場合は、自動的に撮像部１の撮像感度を下げている。

そうすると、撮像部１の遮蔽が解除された図４（ｃ）の時点では、図５の場合は撮像感度が高くなっているために、当該時点における画像Ｐは、図５（ｃ）のような明るすぎる画像となる。一方、図６の場合は撮像感度が低くなっているために、図４（ｃ）の時点における画像Ｐは、図６（ｃ）のような暗すぎる画像となる。したがって、いずれの場合も、画像Ｐから顔Ｆを正確に検出することは困難である。

もっとも、図５（ｃ）や図６（ｃ）の画像Ｐに対しては、冒頭でも述べたとおり、感度自動調整機能が働いて、輝度を適正値に戻す制御が行われるが、これが完了して顔Ｆを正確に検出できるようになるまで、時間遅れが発生する。このため、その間は運転者３４の状態を正しく判定することができず、監視性能が低下する。

一方、本発明のドライバモニタ１００においては、撮像部１がスポーク３３ａで遮蔽されて、図７（ｂ）のように画像Ｐが暗くなった場合も、図８（ｂ）のように画像Ｐが明るくなった場合も、共に撮像感度の切り替えを行わずに、現在の撮像感度を維持する。このため、図７（ｂ）のように画像Ｐが暗くなった場合は、撮像感度が上がらないので、撮像部１の遮蔽が解除された図４（ｃ）の時点の画像Ｐは、図７（ｃ）のような明るすぎない適正な輝度の画像となる。また、図８（ｂ）のように画像Ｐが明るくなった場合は、撮像感度が下がらないので、撮像部１の遮蔽が解除された図４（ｃ）の時点の画像Ｐは、図８（ｃ）のような暗すぎない適正な輝度の画像となる。このようにして、本発明の場合は、撮像部１の遮蔽が解除された時点で、適正な輝度の画像に基づいて、運転者３４の顔Ｆを正確に検出することができる。このため、顔Ｆの検出に時間遅れが発生することがなく、監視性能が向上する。

なお、図４において、ステアリングホイール３３が、（ｃ）の位置から逆方向（左方向）に操舵された場合、撮像部１が再びスポーク３３ａにより遮蔽されるが、このときも撮像感度の切り替えは行われない。

次に、本発明のドライバモニタ１００における感度制御の詳細について説明する。図９は、感度制御の一例を示したフローチャートである。

図９において、ステップＳ１では、撮像部１が、撮像制御部６の制御の下で運転者３４を撮像する。この場合、発光素子１２を発光させない状態で撮像した第１画像と、発光素子１２を発光させた状態で撮像した第２画像とが得られる。

ステップＳ２では、画像処理部２の顔検出部２３が、差分画像生成部２２で生成された差分画像（第２画像と第１画像の差分）から、運転者３４の顔Ｆを検出する。また、図９では図示を省略しているが、画像処理部２の特徴点抽出部２４は、顔Ｆの特徴点を抽出する。

ステップＳ３では、感度制御部５の操舵検出部５２が、ステアリングホイール３３が操舵中か否か、すなわち、ステアリングホイール３３が図３に示した基準位置から左右いずれかの方向へ回転しているか否かを判定する。操舵の有無は、前述したように、差分画像生成部２２から取得した差分画像に基づいて判定することができる。

ステップＳ３での判定の結果、ステアリングホイール３３が操舵中である場合（ステップＳ３：ＹＥＳ）は、ステップＳ４へ進み、操舵中でない場合（ステップＳ３：ＮＯ）は、ステップＳ７へ進む。ステップＳ７では、感度切替部５４が、輝度検出部５１で検出された画像の輝度に応じて、撮像部１の撮像感度を切り替える（通常の感度切替）。

ステップＳ４では、感度制御部５の遮蔽検出部５３が、撮像部１の遮蔽の有無を判定する。遮蔽の有無は、前述したように、差分画像生成部２２から取得した差分画像に基づいて判定することができる。

たとえば、図１０の（ａ）に示すように、画像Ｐ（差分画像）において運転者３４の顔Ｆが収まる顔領域Ｚの輝度を検出し、当該輝度に基づいて撮像部１の遮蔽を検出することができる。具体的には、図１０の（ｂ）や（ｃ）に示すように、顔領域Ｚを構成する画素ブロックＫ（複数の画素を含むブロック）ごとの輝度を検出し、塗り潰したような極端に輝度の低い（または高い）画素ブロックＫが所定のパターンで連続しているような場合は、撮像部１が遮蔽されたと判定する。なお、画像Ｐ上では、顔Ｆの全体が遮蔽されている必要はなく、顔Ｆの一部だけが遮蔽されている場合も、撮像部１が遮蔽されたと判定してよい。

ステップＳ４での判定の結果、撮像部１が遮蔽された場合（ステップＳ４：ＹＥＳ）は、ステップＳ５へ進み、撮像部１が遮蔽されていない場合（ステップＳ４：ＮＯ）は、ステップＳ７へ進む。

ステップＳ５では、感度制御部５の感度切替部５４が、撮像部１の撮像感度を切り替えずに、現在の撮像感度を維持する。すなわち、撮像感度は、前回切り替えられた感度のままとなる。そして、次のステップＳ６において、遮蔽検出部５３は、撮像部１の遮蔽が解除されたか否かを判定する。この判定も、差分画像に基づいて行うことができる。

ステップＳ６での判定の結果、撮像部１の遮蔽が解除されていなければ（ステップＳ６：ＮＯ）は、ステップＳ５へ戻って、現在の撮像感度の維持を継続する。一方、撮像部１の遮蔽が解除されると（ステップＳ６：ＹＥＳ）、ステップＳ７へ進み、通常の感度切替に従って撮像部１の撮像感度を切り替える。ステップＳ７の実行後は、ステップＳ１に戻って、上述した一連の動作が実行される。

以上述べた実施形態によると、ステアリングホイール３３の操舵によって、撮像部１がスポーク３３ａで遮蔽されても、感度制御部５は、感度切替部５４により撮像部１の撮像感度を切り替えず、現在の撮像感度を維持する。このため、撮像部１の遮蔽が解除された時点で、画像Ｐは暗すぎたり明るすぎたりしない適正な輝度の画像となり、この画像に基づいて運転者３４の顔Ｆを正確に検出することができる。したがって、顔Ｆの検出に従来のような時間遅れが発生せず、運転者３４の監視性能を向上させることができる。

図１１は、感度制御の他の例を示したフローチャートである。ドライバモニタ１００の構成は、図１（または後述する図１３）に示したものと同じである。

図１１において、ステップＳ１１では、図９のステップＳ１と同じ処理が実行され、撮像部１が、撮像制御部６の制御の下で運転者３４を撮像する。ステップＳ１２では、図９のステップＳ２と同じ処理が実行され、画像処理部２の顔検出部２３が、差分画像から運転者３４の顔Ｆを検出する。

ステップＳ１３では、図９のステップＳ３と同じ処理が実行され、操舵検出部５２が、ステアリングホイール３３が操舵中か否かを判定する。判定の結果、ステアリングホイール３３が操舵中であれば（ステップＳ１３：ＹＥＳ）、ステップＳ１４へ進み、操舵中でなければ（ステップＳ１３：ＮＯ）、ステップＳ１７へ進む。ステップＳ１７では、感度切替部５４が、輝度検出部５１で検出された輝度に応じて、撮像部１の撮像感度を切り替える（通常の感度切替）。

ステップＳ１４では、操舵検出部５２が、ステアリングホイール３３の操舵角を検出する。操舵角は、差分画像に基づいて検出することができる。

ステップＳ１５では、操舵検出部５２が、ステップＳ１４で検出された操舵角が所定角度以上か否かを判定する。この場合の所定角度は、たとえば、図１２に示すように、スポーク３３ａが撮像部１の一部（または全部）を遮蔽するときの、ステアリングホイール３３の操舵角θ（基準位置からの回転角度）に設定される。したがって、ステップＳ１５の判定は、スポーク３３ａが撮像部１を遮蔽したか否かの判定でもある。

操舵角が所定角度に達するまでは（ステップＳ１５：ＮＯ）、スポーク３３ａで撮像部１が遮蔽されていないと判断して、ステップＳ１７へ進む。操舵角が所定角度に達すると（ステップＳ１５：ＹＥＳ）、スポーク３３ａで撮像部１が遮蔽されたと判断して、ステップＳ１６へ進む。

ステップＳ１６では、感度制御部５の感度切替部５４が、撮像部１の撮像感度を切り替えずに、現在の撮像感度を維持する。すなわち、撮像感度は、前回切り替えられた感度のままとなる。ステップＳ１６およびＳ１７の実行後は、ステップＳ１１へ戻る。

上述した図１１の実施形態によると、ステアリングホイール３３の操舵角に基づいて、スポーク３３ａによる撮像部１の遮蔽の有無を判定しているので、図９のステップＳ４のように、画像を解析して撮像部１が遮蔽されたか否かを判定する必要がなく、遮蔽有無の判定処理が簡単になる利点がある。

図１３は、本発明の他の実施形態によるドライバモニタ１００を示している。図１３では、図１と同一部分に同一符号を付してある。

前述した図１のドライバモニタ１００では、感度制御部５の操舵検出部５２が、画像処理部２から取得した差分画像に基づいて、ステアリングホイール３３が操舵されたことを検出した。これに対して、図１３のドライバモニタ１００では、感度制御部５の操舵検出部５２が、ステアリングホイール３３の操舵角を検出する操舵角センサ７の出力に基づいて、ステアリングホイール３３が操舵されたことを検出する。その他の構成については図１と同じであるので、重複部分の説明は省略する。

図１３のドライバモニタ１００によると、操舵検出部５２は、操舵の有無を検出するにあたって画像を解析する必要がないので、操舵の検出処理が簡単になる利点がある。

本発明では、以上述べた実施形態以外にも、以下のような種々の実施形態を採用することができる。

前記の実施形態では、画像処理部２で生成された差分画像を用いて、顔Ｆを検出したり、撮像部１の遮蔽を検出したりしたが、本発明はこれに限定されない。たとえば、差分画像に代えて、撮像部１が撮像した前述の第１画像または第２画像を用いて、顔Ｆの検出や遮蔽の検出を行ってもよい。

前記の実施形態では、撮像部１がステアリングホイール３３のスポーク３３ａによって遮蔽される場合を例に挙げたが、撮像部１は、ステアリングホイール３３を把持した運転者３４の手によって遮蔽される場合もある。本発明では、このような場合でも、スポーク３３ａで撮像部１が遮蔽された場合と同様の制御を行うことができる。

前記の実施形態では、ステアリングホイール３３が操舵され、かつ撮像部１の遮蔽が検出された場合（図９のステップＳ３、Ｓ４）、または、ステアリングホイール３３が操舵され、かつ操舵角が所定角度以上である場合（図１１のステップＳ１３、Ｓ１５）に、撮像感度の切り替えを行わずに現在の撮像感度を維持したが、本発明はこれに限定されない。たとえば、ステアリングホイール３３の操舵が検出されたことのみをもって、撮像感度の切り替えを行わずに現在の撮像感度を維持するようにしてもよい。

前記の実施形態では、画像における顔領域Ｚが四角形である例を挙げたが（図１０）、これに限らず、顔領域Ｚは菱形、楕円形、円形などの領域であってもよい。

前記の実施形態では、乗員が運転者３４であり、乗員の特定部位が顔Ｆであり、乗員の画像における特定領域が顔領域Ｚであったが、本発明はこれらに限定されない。乗員は運転者以外の者であってもよく、乗員の特定部位は顔以外の部位であってもよく、特定領域は顔以外の部位が収まる領域であってもよい。

前記の実施形態では、本発明の乗員監視装置として、車両に搭載されるドライバモニタ１００を例に挙げたが、本発明は、車両以外の乗物に搭載される乗員監視装置にも適用することができる。

１ 撮像部
２ 画像処理部
３ ドライバ状態判定部
４ 信号出力部
５ 感度制御部
６ 撮像制御部
７ 操舵角センサ
３３ ステアリングホイール
３３ａ スポーク
３４ 運転者（乗員）
１００ ドライバモニタ（乗員監視装置）
Ｆ 顔（特定部位）
Ｚ 顔領域（特定領域）
Ｐ 乗員の画像
θ 操舵角

Claims (10)

1. ステアリングホイールを挟んで乗員と対向するように配置され、前記乗員を撮像する撮像部と、
   前記撮像部が撮像した乗員の画像に対して所定の処理を行う画像処理部と、
   前記撮像部の撮像感度を切り替える感度制御部と、を備え、
   前記画像処理部で処理された乗員の画像に基づいて当該乗員を監視する、乗員監視装置において、
   前記感度制御部は、前記ステアリングホイールが操舵された場合に、前記撮像感度の切り替えを行わずに現在の撮像感度を維持する、ことを特徴とする乗員監視装置。
2. 請求項１に記載の乗員監視装置において、
   前記感度制御部は、前記ステアリングホイールが操舵され、かつ、前記撮像部の遮蔽が検出された場合に、前記撮像感度の切り替えを行わずに現在の撮像感度を維持する、ことを特徴とする乗員監視装置。
3. 請求項２に記載の乗員監視装置において、
   前記感度制御部は、前記撮像部の遮蔽が検出されなくなった後、前記乗員の画像の輝度に応じて前記撮像感度を切り替える、ことを特徴とする乗員監視装置。
4. 請求項２または請求項３に記載の乗員監視装置において、
   前記感度制御部は、前記乗員の画像における、当該乗員の特定部位が収まる特定領域の輝度を検出し、当該輝度に基づいて前記撮像部の遮蔽を検出する、ことを特徴とする乗員監視装置。
5. 請求項４に記載の乗員監視装置において、
   前記特定部位は乗員の顔であり、前記特定領域は前記顔が収まる顔領域である、ことを特徴とする乗員監視装置。
6. 請求項１に記載の乗員監視装置において、
   前記感度制御部は、前記ステアリングホイールが操舵され、かつ、当該ステアリングホイールの操舵角が所定角度以上である場合に、前記撮像感度の切り替えを行わずに現在の撮像感度を維持する、ことを特徴とする乗員監視装置。
7. 請求項６に記載の乗員監視装置において、
   前記感度制御部は、前記ステアリングホイールの操舵角が所定角度未満となった後、前記乗員の画像の輝度に応じて前記撮像感度を切り替える、ことを特徴とする乗員監視装置。
8. 請求項６または請求項７に記載の乗員監視装置において、
   前記所定角度は、前記ステアリングホイールのスポークが前記撮像部の一部または全部を遮蔽するときの、当該ステアリングホイールの基準位置からの回転角度である、ことを特徴とする乗員監視装置。
9. 請求項１ないし請求項８のいずれかに記載の乗員監視装置において、
   前記感度制御部は、前記画像処理部から取得した画像に基づいて、前記ステアリングホイールが操舵されたことを検出する、ことを特徴とする乗員監視装置。
10. 請求項１ないし請求項８のいずれかに記載の乗員監視装置において、
    前記感度制御部は、前記ステアリングホイールの操舵角を検出する操舵角センサの出力に基づいて、前記ステアリングホイールが操舵されたことを検出する、ことを特徴とする乗員監視装置。

Images