JP2010264856A - 画像処理装置 - Google Patents

Abstract

【課題】簡易な構成で、移動体の操縦者の顔画像処理を精度良く行うことのできる画像処理装置を提供する。
【解決手段】移動体の操縦者の顔を撮像する撮像手段と、上記撮像手段から得られる撮像画像に基づき上記操縦者の顔の特徴部の少なくとも位置を示す特徴部情報を検出する検出手段と、上記検出手段によって検出された前記特徴部情報を記憶する記憶手段と、上記移動体の照度の値を検出する照度検出手段とを備える。また、上記記憶手段は、上記照度検出手段が取得した上記照度の値が予め定められた条件を満たす場合、上記特徴部情報を記憶しないことを特徴とする。
【選択図】図５

Description

本発明は、画像処理装置に関し、より特定的には、移動体に搭載され、当該移動体の操縦者の顔の状態を検出することができる画像処理装置に関する。

従来、移動体（以下、例として車両を想定する）に搭載されたカメラなどで、当該車両の操縦者（車両を想定しているので、以下、単にドライバーと称す）の顔を撮像し、撮像された画像からドライバーの状態を判定する画像処理装置がある。具体的には、上記画像処理装置は、撮像された顔画像を画像処理することにより、居眠り、よそ見、わき見など、当該ドライバーが車両を運転する際に認知判断が欠如するようなドライバーの状態を検出する。そして、上記画像処理装置は、上記状態を検出した場合、ドライバーへ警告を行ったり、危険を未然に回避するために、ドライバーが運転する車両を制御したりする。

より具体的に説明すると、上記画像処理装置はカメラによりドライバーの顔を撮像し、当該撮像画像中におけるドライバーの顔端の位置を検索し、当該顔端の位置に基づいて、当該撮像された画像からドライバーの顔の特徴部（例えば、ドライバーの眼や口、さらには顔向き角度など）を検出し、当該ドライバーの状態を判断する。

なお、上記画像処理装置は、例えば、当該撮像された画像からドライバーの特徴を検出する処理を行う毎に、撮像画像中においてドライバーの顔が存在する位置等が学習される。つまり、上記画像処理装置は、撮像された画像からドライバーの顔の特徴部を検出するとともに、撮像された画像においてドライバーの特徴部が存在する位置等を記憶しておく。これによって、上記画像処理装置が次回画像処理を行う際に、撮像された画像においてドライバーの顔の特徴部が存在する位置等を容易に推定することができ、迅速かつ確実に当該ドライバーの状態を判断することができるようになっている。

ところで、車両の車室内に設置されたカメラによって、当該車両のドライバーの顔を撮像し、撮像画像を得る場合、当該撮像画像は周囲の明るさによって影響を受けることがある。例えば、車両の窓から入射する太陽光が、当該車両のドライバーの顔に当たると、撮像された画像においてドライバーの顔が白くなりすぎたり、ドライバーの顔の一部に陰影が生じたりすることがある。特に、当該車両のドライバーの顔が外部の光によって照らされたり、照らされなかったりするようなことが断続的に繰り返される環境を車両が走行する場合、得られる画像の輝度などが安定しないため撮像画像から精度良くドライバーの顔を検索することが難しくなることがある。

このような問題に対して、例えば、人物の顔を撮像するとき、当該撮像環境が人物を撮像するのに適しなかった場合、明るさを調整する装置が開示されている（例えば、特許文献１）。

特開２００３−１０７５６７号公報

上記特許文献１に開示されている装置は、具体的には、画像データから人物の顔を検出し、検出した人物の顔を測光し、当該測光結果に基づいて発光手段（ストロボ）を制御し、撮影に適した発光を行う。これによって、人物撮影時に起こる赤目や白飛びを防止することができるようになっている。

しかしながら、上記特許文献１に開示されている装置を例えば、車両に搭載することを想定した場合、従来搭載されているカメラに加えて、発光手段（ストロボ）を搭載しなければならずコスト面においても不利であるし、運転中のドライバーの顔に直接ストロボ発光を行うことによる運転操作への影響も懸念される。

本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、簡易な構成で、移動体の操縦者の顔画像処理を精度良く行うことのできる画像処理装置を提供することにある。

上記目的を達成するための、本発明は以下の構成を採用した。すなわち第１の発明は移動体の操縦者の顔を撮像する撮像手段と、上記撮像手段から得られる撮像画像に基づき上記操縦者の顔の特徴部の少なくとも位置を示す特徴部情報を検出する検出手段と、上記検出手段によって検出された上記特徴部情報を記憶する記憶手段と、上記移動体の照度の値を検出する照度検出手段とを備える。また、上記記憶手段は、上記照度検出手段が取得した上記照度の値が予め定められた条件を満たす場合、上記特徴部情報を記憶しないことを特徴とする。

第２の発明は、上記第１の発明において、上記照度検出手段が検出した上記照度の値が予め定められた値以上であった場合、上記記憶手段は、上記特徴部情報を記憶しないことを特徴とする。

第３の発明は、上記第１の発明において、上記照度の値が予め定められた時間内に予め定められた値を跨ぐように変化する回数が閾値を超えた場合、上記記憶手段は、上記特徴部情報を記憶しないことを特徴とする。

第４の発明は、上記第２または第３の発明において、上記特徴部検出手段が、上記照度の値が予め定められた値以下になってから当該予め定められた値を超えるまでの間に上記特徴部情報を検出することができた場合、上記記憶手段は、上記照度の値が上記予め定められた値以下になるまでに記憶された上記特徴部情報を消去することを特徴とする。

第５の発明は、上記第４の発明において、上記特徴部情報は、上記撮像手段から得られる撮像画像における上記操縦者の顔幅、眼、鼻、鼻孔、口、眉、および耳の位置、何れかを含むことを特徴とする。

上記第１の発明によれば、得られる画像が安定していると予想される場所で撮像された画像において画像処理された情報が、移動体の顔の特徴部が存在する位置等を推定する際に利用されることになる。言い換えると、得られる画像が安定していると予想される場所で撮像された画像について、操縦者の特徴部が存在する位置等が記憶手段に記憶されることになる。つまり、得られる画像が安定しない場所で撮像された画像についてからは、操縦者の特徴部が存在する位置等が記憶手段に記憶されず、画像処理には用いられることはなくなる。また、得られる画像が安定しているか否かは、例えば移動体に、従来から搭載されているコンライトセンサから得られる照度の値に基づき判断することができる。したがって、簡易な構成で、移動体の操縦者の顔画像処理を精度良く行うことのできる画像処理装置を提供することができる。

上記第２の発明によれば、照度検出手段が検出した照度の値が予め定められた値以上であった場合には、特徴部情報を上記記憶手段に記憶しない。したがって、例えば、操縦者の顔に直射日光が当たっている場合に撮像された画像において画像処理された情報（特徴部情報）は、移動体の顔の特徴部が存在する位置等を推定する際に利用されることはない。

上記第３の発明によれば、例えば、移動体が明るい場所から暗い場所に入り、再び移動体が明るい場所に入る、といったように、移動体の周囲が明るくなったり、暗くなったりするようなことが断続的に繰り返される場所で得られた画像において、つまり画像の輝度などが安定しない画像において学習され、記憶された特徴部情報は記憶されることがない。したがって、撮像された画像において移動体の顔の特徴部が存在する位置等を推定する際、安定しない画像において学習され、記憶された特徴部情報は用いられることはないので精度良く画像処理を行うことができるようになる。

上記第４の発明によれば、例えば、移動体を車両（具体的には自動車）と想定した場合、当該移動体がトンネル内走行をしているような環境、つまり、得られる画像が安定する場所であるかを判断したとき、ドライバーの顔の特徴部が存在する位置等を推定する際に利用される情報を学習し、記憶する処理を行うことができる。なお、このとき、例えば、処理中にドライバーの顔に直射日光が当たっていた場合、そのときに撮像された画像において処理された特徴部情報は、記憶されることはないので、ドライバーの顔の特徴部が存在する位置等を推定する際に当該特徴部情報は利用されることはなくなる。

上記第５の発明によれば、眼、鼻、鼻穴、口、眉、および耳などの特徴部を検出することができる。

一実施形態に係る画像処理装置を含むドライバーシステムの機能構成の一例を示すブロック図 カメラ１の設置場所の一例を示す図 コンライトセンサ７１の設置場所の一例を示す図 オートライト制御を説明するための図 一実施形態に係る画像処理装置を含むドライバーシステムにおいて行われる処理の流れの一例を示したフローチャート 図５のステップＳ５３における処理の一例を示すフローチャート 図６のステップＳ６５における処理の一例を示すフローチャート 図５のステップＳ５９における処理の一例を示すフローチャート 図５のステップＳ５６における処理の一例を示すフローチャート 衝突判断ＥＣＵ４において行われる処理の流れの一例を示したフローチャート ある走行環境を想定し、経過時間と照度の閾値との関係を示した図 図５のステップＳ５８における処理の一例を示すフローチャート

まず、本実施形態の画像処理装置の概要について簡単に説明する。なお、以下の説明では、一例として画像処理装置が車両（より具体的には自動車を想定）に搭載される場合を例に説明する。

ドライバーの顔を撮像し、撮像された画像からドライバーの状態を判定する画像処理装置は、当該撮像された画像から、まずドライバーの顔の特徴部（より具体的にはドライバーの顔、眼、鼻、鼻孔、口、眉、および耳）を探す。このとき、画像処理装置は、当該画像処理装置内に記憶された情報、つまり、当該撮像された画像中においてドライバーの特徴部が存在しているだろう位置を示す情報（以下、特徴部情報と称す）を用いて、ドライバーの顔の特徴部を探す。なお、特徴部情報は、ドライバーの顔の特徴部が検出できたときに画像処理装置によって、学習され記憶されていく情報である。したがって、画像処理装置が精度良く画像処理を行うためには、画像処理装置に記憶されるのは確実な特徴部情報（例えば、顔の幅が正確）である必要がある。言い換えると、確実ではない特徴部情報は、画像処理に記憶されていくことは好ましくない。

例えば、車両のドライバーの顔に外部の光が当たったり、当たらなかったりするようなことが断続的に繰り返される環境を車両が走行したときに撮像された画像は、正確な特徴部情報が得ることが難しい。つまり、車両が上述したような環境を走行しているときに、ドライバーの顔を撮像した場合、その画像中におけるドライバーの顔は、一部が白くなったり、陰影が生じたりして、撮像画像は安定しない。そして、このような状況で撮像された画像から顔特徴部情報を学習したとしても、必ずしも精度のよい特徴部情報を得ることができないことがある。したがって、仮に、車両が上述したような環境を走行しているときに、特徴部情報を学習し、当該学習された特徴部情報を用いると、ドライバーの特徴部が存在しているだろう位置を精度よく推定することが困難であることが予想される。そこで、本実施形態に係る画像処理装置は、撮像された画像からドライバーの状態を正確に判定する際に必要とされる特徴部情報について、当該画像処理に記憶していくものである。

以下、図を参照しつつ本発明の一実施形態に係る画像処理装置について説明する。

なお、本実施形態では、当該画像処理装置を含むドライバーサポートシステムが車両に搭載される例について説明する。一例として、ドライバーサポートシステムは、当該画像処理装置が検出したドライバーの顔向き情報や眼に関する情報に基づいて、ドライバーが、よそ見、わき見をしているか否かを判断して、当該判断結果に応じた車両の制御を行う例を説明する。

まず、本実施形態に係る画像処理装置を含むドライバーサポートシステムの機能構成について説明する。

図１は、上記画像処理装置を含むドライバーサポートシステムの機能構成の一例を示すブロック図である。図１において、ドライバーサポートシステムは、カメラ１、画像処理ＥＣＵ２、レーダ装置３、衝突判断ＥＣＵ（Electronic Control Unit）４、ブレーキ制御ＥＣＵ５、メーター６、およびボデーＥＣＵ７を備えている。なお、ボデーＥＣＵ（Electronic Control Unit）７には、コンライトセンサ７１が接続されており、ブレーキ制御ＥＣＵ（Electronic Control Unit）５には、警報ブザー５１およびブレーキＡＣＴ（アクチュエータ）５２が接続されている。

カメラ１は、ドライバーの顔を撮像する、例えばＣＣＤカメラ、赤外線カメラ等である。カメラ１は、運転席に着席したドライバーの顔を正面から撮像できる位置に設置される。図２は、カメラ１の設置位置の一例を示した図である。図２に示すように、カメラ１は、運転席に着席したドライバーの顔を正面から撮像できるように、例えば上記車両のステアリングコラム上に設置される。なお、図２に示すカメラ１の設置位置は一例であり、例えば、上記車両のメーターフード内、メーターパネル内などにカメラ１を設置してもかまわない。また、カメラ１は、所定時間間隔でドライバーの顔を正面から撮像し、当該撮像した画像を画像処理ＥＣＵ２に出力する。なお、ドライバーの顔を撮像する際の照明として、カメラ１とともに赤外線ＬＥＤ（Light Emitting Diode）（図示せず）を備えてもよい。

図１の説明に戻って、画像処理ＥＣＵ２は、メインマイクロコンピュータ（以下メインマイコンと称す）２１、サブマイクロコンピュータ（以下サブマイコンと称す）２２、顔画像パターン格納部２３、および記憶部２４等を備えている。また、画像処理ＥＣＵ２には、上述したドライバーの顔を撮像するカメラ１と、後述する衝突判断ＥＣＵ４とが接続されている。

メインマイコン２１は、ＣＰＵ（中央演算装置）およびメモリ等で構成される。また、メインマイコン２１は、カメラ１が撮像した画像から、ドライバーの顔向きの検出を行う。具体的には、カメラ１が撮像した画像の所定方向にソーベルフィルタ処理を施し、処理後のソーベル画像内における輝度の差を用いて、当該ソーベル画像内から縦方向のエッジ点を抽出する処理を行う。そして、当該ソーベル画像から抽出した縦方向のエッジ点を用いて、当該ソーベル画像におけるドライバーの顔の幅を算出する処理を行う。

サブマイコン２２は、ＣＰＵおよびメモリ等で構成される。また、サブマイコン２２は、カメラ１が撮像した画像から、ドライバーの眼の瞬きの回数、閉眼時間など、ドライバーの眼に関する状態を検出して、それら状態を示す情報を生成し、衝突判断ＥＣＵ４に出力する。なお、詳細は後述するが、具体的には、サブマイコン２２は、カメラ１が撮像した画像に対して２値化処理やパターンマッチング処理等を用い、当該撮像画像におけるドライバーの眼、鼻、および口の位置を推定し、ドライバーの眼、鼻、および口を検出する。

なお、メインマイコン２１は上記画像処理装置において、撮像された画像からドライバーの状態を正確に判定する際に必要とされる特徴部情報か否かを判断し（詳細な動作については後述のフローチャートで説明）、当該判断を肯定した場合に、後述する記憶部２４に特徴部情報を記憶する。

言い換えると、メインマイコン２１は、予め定められた条件を満たす場合には、当該顔幅を示す情報を特徴部情報の一つとして後述する記憶部２４に記憶することはしない。例えば、ドライバーの顔の一部に光が当たっているときにカメラ１によって撮像された画像は、画像の輝度などが安定しないことが予想される。そのため、このような状況で撮像された画像から算出されたドライバーの顔の幅を特徴部情報として、後述する記憶部２４に記憶するのは好ましくない。つまり、得られる画像の輝度などが安定しない画像において学習され記憶された特徴部情報を用いて、次回撮像画像からドライバーの顔の幅を算出する処理を行うことはしない。

なお、すなわち、メインマイコン２１は、例えば、カメラ１が撮像した画像において、ドライバーの顔の端となる当該撮像画像の右端および左端からの距離（単位は画素数でも画像における実際の距離でもよい）等を算出し、当該算出結果を示す情報を特徴部情報として順次記憶していく。つまり、メインマイコン２１が、次回、撮像画像からドライバーの顔の幅を算出するとき、当該撮像画像中においてドライバーの顔が存在しているだろう位置を前もって推定できるため画像処理が容易になる。

また、上記特徴部情報は、撮像画像中におけるドライバーの顔の幅を示す情報に限られるものではない。例えば、撮像画像におけるドライバーの顔幅、眼、鼻、鼻孔、口、眉、および耳の位置、何れかを含む。

より具体的には、例えば、メインマイコン２１は、サブマイコン２２が撮像画像から特徴部を検出した場合、撮像画像中におけるドライバーの眉上から眼下までの距離、眼下から鼻下までの距離、鼻下から口下までの距離や、当該眉上、眼下、および鼻下が存在する位置等を示す情報を上記特徴部情報に含めて記憶部２４に記憶してもよい。つまり、ドライバーの眼、鼻、および口等をドライバーの顔の特徴部と称すならば、撮像画像中における、当該特徴部の大きさや形状（顔カーブ）、特徴部間の距離や位置関係なども特徴部情報に含まれる。なお、上記特徴部は、ドライバーの顔の端も含まれるものとする。

図１の説明に戻って、顔画像パターン格納部２３は、読み書き可能な記憶媒体で構成され、人物の顔画像パターンを示す情報が記憶されている。具体的には、顔画像パターンは、人物の平均的な特徴部のテンプレート画像（例えば、口のテンプレート画像）を含んでいる。なお、顔画像パターン格納部２３に記憶されている顔の情報は、例えば上記車両のユーザーの書き換え作業によって、適宜情報が更新されてもよい。

記憶部２４は、メインマイコン２１が生成した特徴部情報を一時的に記憶する読み書き可能な記憶媒体である。詳細は後述のフローチャートで説明するが、例えば、メインマイコン２１が処理を繰り返すことによって、記憶部２４には、特徴部情報ｉｆ（１）、ｉｆ（２）、ｉｆ（３）、ｉｆ（４）、ｉｆ（ｋ）、ｉｆ（Ｋ−１）、…ｉｆ（Ｋ）と順次記憶されていく（ｋ＝１、２、３…）。つまり、撮像画像中において車両を運転しているドライバーの顔の特徴部が存在する箇所を示す情報（特徴部情報ｉｆ）が、メインマイコン２１によって学習され、記憶部２４に一時的に記憶される。そして、特徴部ｉｆは、例えば、次回、撮像画像からドライバーの顔の幅を算出する処理を行うときに用いられる。

なお、上述したように、（顔情報ｉｆ（１）以外の）顔情報ｉｆ（２）、顔情報ｉｆ（３）、顔情報ｉｆ（４）、顔情報ｉｆ（５）…は、予め定められた条件を満たすとメインマイコン２１は判断した場合には、記憶部２４には記憶されない。

一方、初期学習値、つまり顔情報ｉｆ（１）については、予め定められた条件に関わらず、メインマイコン２１によって学習され記憶される。

具体的には、メインマイコン２１が行う初期学習値の記憶については（例えば、当該メインマイコン２１を含むドライバーサポートシステムの電源がＯＮされたときに、顔情報ｉｆを初めて記憶するときは）、当該メインマイコン２１は、車両の周囲の明るさに関わらず、撮像画像からドライバーの顔の幅を算出する処理を容易にするためにシステム上必要とされる顔情報ｉｆを全て学習し、記憶する。つまり、例えば、当該メインマイコン２１を含むドライバーサポートシステムの電源が初めてＯＮされたとき（より具体的な場面としては、運転を終了して再び当該車両を運転する場合）を想定すると、ドライバーが代っている場合も考えられるため、メインマイコン２１が顔情報ｉｆを初めて記憶するときは、当該メインマイコン２１は、ドライバーの顔情報の学習し、記憶する処理を行う。

なお、本実施形態に係る画像処理装置を含むドライバーサポートシステムは、撮像画像を処理し、ドライバーの状態を判断し、当該判断結果に応じて、場合によっては早急に安全措置を行う必要がある。そのため、メインマイコン２１は、顔情報ｉｆの学習および記憶に割ける時間は必ずしも長くない。言い換えると、顔情報ｉｆ（１）以降の顔情報ｉｆの学習および記憶は、ドライバーサポートシステムにおいて許容される時間で行われる。

図１の説明に戻って、レーダ装置３は、車両の所定の位置（例えば、自車の前部左右の前照灯や方向指示器などが搭載されている位置や車両の前部の中央）に設置され、外側に向けて電磁波を照射し、車両前方の周囲を監視している。具体的には、レーダ装置３は、車両の前方向へ向けて、電磁波を出射し、当該車両の前方向に存在する対象物（ターゲット）から反射した電磁波を受信する。そして、レーダ装置３は、受信した電磁波に基づいて、車両の周辺に存在するターゲットの位置や自車との相対速度、相対距離等を算出し、当該算出結果をターゲット情報として衝突判断ＥＣＵ４に出力する。

衝突判断ＥＣＵ４は、画像処理ＥＣＵ２およびレーダ装置３から出力される情報に基づいて、車両のドライバーおよび当該車両が危険な運転状態であるか否かを推定する。

具体的には、衝突判断ＥＣＵ４は、ドライバーの顔向き情報やドライバーの眼に関する情報を用いて、ドライバーの状態が危険な運転状態に繋がり得る状態であるか否かを推定する。つまり、衝突判断ＥＣＵ４は、ドライバーの眼に関する情報を用いて、ドライバーは「わき見をしている」、「よそ見をしている」、「眼を閉じている（居眠りをしている可能性がある）」などを推定し、推定したドライバーの症状に基づいて、車両に設置されている各種装置の動作を制御して然るべき措置を行う。

また、衝突判断ＥＣＵ４は、レーダ装置３から出力されるターゲット情報に基づいて、車両とターゲットとが衝突する危険性があるか否かを判断する。例えば、衝突判断ＥＣＵ４は、車両とターゲットとが衝突するまでの時間、つまり衝突予測時間（ＴＴＣ（Time to collision））をターゲットに算出する。そして、ＴＴＣを算出した結果、当該算出されたＴＴＣが予め定められた時間より短かった場合、衝突判断ＥＣＵ４は、車両に設置されている各種装置の動作を制御して然るべき措置を行う。なお、ＴＴＣは、具体的には、相対距離を相対速度で除算（ＴＴＣ＝相対距離／相対速度）することによって求めることができる。

ブレーキ制御ＥＣＵ５は、車両に搭載された警報ブザー５１やブレーキＡＣＴ５２の動作を制御する。例えば、ドライバーは「わき見をしている」、「よそ見をしている」、「眼を閉じている（居眠りをしている可能性がある）」などの可能性があると衝突判断ＥＣＵ４が推定した場合、ブレーキ制御ＥＣＵ５は、警報ブザー５１を作動させてドライバーに注意喚起を行う。また、例えば、車両とターゲットとの衝突の危険性があると衝突判断ＥＣＵ４が判断した場合、ブレーキ制御ＥＣＵ５は、警報ブザー５１を作動させて運転者に注意喚起を促すとともに、場合によってはドライバーがブレーキペダルを踏んだ力に応じて、ブレーキ油圧を加圧加勢するように、ブレーキＡＣＴ５２の動作を制御する等を行う。

メーター６は、車両の運転席に着席して当該車両を運転するドライバーから視認可能な位置に設置される。具体的には、メーター６は、運転席前面の計器盤（インストルメントパネル）に設けられる。そして、メーター６は、衝突判断ＥＣＵ４からの指示に応じた警報をドライバーに対して表示する。例えば、ドライバーは「わき見をしている」、「よそ見をしている」、「眼を閉じている（居眠りをしている可能性がある）」などの可能性があると衝突判断ＥＣＵ４が推定した場合、メーター６にドライバーに注意喚起を促す表示を行う。また、例えば、車両とターゲットとの衝突の危険性があると衝突判断ＥＣＵ４が判断した場合、メーター６にドライバーに危険回避を促す表示を行う。

典型的には、メーター６は、主要ないくつかの計器、表示灯、警告灯、および各種情報を表示するマルチインフォメーションディスプレイ等を１つのパネル内に組み合わせて配置したコンビネーションメーターで構成される。なお、メーター６は、ハーフミラー（反射ガラス）を運転席前面のフロントガラスの一部に設け、当該ハーフミラーに情報等の虚像を蛍光表示するヘッドアップディスプレイ（Head-Up Display；以下、ＨＵＤと記載する）等、他の表示装置で構成してもよい。

また、衝突判断ＥＣＵ４が画像処理ＥＣＵ２およびレーダ装置３から出力される情報に基づいて、車両のドライバーおよび当該車両が危険な運転状態であるか否かを推定し、危険な運転状態であった場合の一例としてブレーキ制御ＥＣＵ５およびメーター６を制御する例を説明したが、これに限られるものではない。例えば、車両のドライバーが、ターゲットとの衝突の被害を低減するためにシートベルトを巻き取り、シートを駆動させたりすることにより車両の乗員の拘束性を高めたり、エアバッグのセーフィング解除をしたり、シートポジションを衝突に備えたポジションに変更したりする衝突被害低減装置等も制御する。なお、衝突判断ＥＣＵ４が画像処理ＥＣＵ２およびレーダ装置３から出力される情報に基づいて、車両のドライバーおよび当該車両が危険な運転状態であるか否かを推定し、危険な運転状態であった場合に各種装置に対して行う動作を総称して、以下、安全措置と称す。

図１の説明に戻って、ボデーＥＣＵ７は、ヘッドライト（テールライトも同様、以下同じ）の点灯／消灯を制御する。また、ボデーＥＣＵ７には、コンライトセンサ（照度センサ）７１が接続されている。

ここで、コンライトセンサ７１について簡単に説明する。コンライトセンサ７１は、車両の周囲の照度（明るさ）を検出するためのセンサであり、照度に応じた信号をボデーＥＣＵ７に出力する。また、コンライトセンサ７１は、車両の周囲の照度を検知しやすい場所に取り付けられている（例えば、図３に示すように、車両の車室内のインストルメントパネル上部）。

そして、ボデーＥＣＵ７は、コンライトセンサ７１からの出力信号に基づいて、車両周囲の照度の検出値を算出する。さらに、ボデーＥＣＵ７は、例えば、車両の周囲が暗くなった場合（夜間、雨天、トンネル走行時）、ヘッドライトを点灯させ、一方、周囲が明るくなった場合（例えば車両がトンネルから抜けた場合等）ライトを消灯する。なお、ボデーＥＣＵ７がコンライトセンサ７１からの出力信号に基づいて、ライトの点灯／消灯を行う動作を以下、オートライト制御と称す。

ここで、図４を用いて、オートライト制御について、より具体的に説明する。図４は、オートライト制御を説明するための図である。なお、図４の縦軸はコンライトセンサ７１からの出力信号に基づいてボデーＥＣＵ７によって算出される照度の検出値を表し、図４の横軸は時間を表す。また、図４の縦軸に示した照度の検出値の閾値ＬＡは、ライトの点灯／消灯を行うか否かの基準となる値である。具体的には、照度の検出値が閾値ＬＡを超えている場合、ボデーＥＣＵ７は、車両の周囲は明るい（換言すれば、ライト点灯の必要はない）と判断し、ライトは点灯させない。一方、照度の検出値が閾値ＬＡを下回っている場合、車両の周囲は暗い（換言すれば、ライトを点灯する必要はある）と判断し、ライトを点灯させる。

なお、図４に示したオートライト制御の例では、説明を簡単にするために、ライトの点灯／消灯を行うか否かの基準となる値である閾値を閾値ＬＡの１つとしたがこれに限られるものではなく、ライトの点灯／消灯を行うか否かの基準となる値である閾値を多段階的に複数設定してもよい。例えば、閾値ＬＡが設定されている照度の検出値より低い値で、さらに閾値ＬＢを設定する。そして、照度の検出値が閾値ＬＡを下回ったときに消灯し、照度の検出値が閾値ＬＢを超えたときに点灯するようにしてもよい。

ここで、車両が走行している場合を想定し、図４について説明する。例えば、ある時刻（図４のＡとする）の照度の検出値がＬ１であるとすると、当該照度の検出値Ｌ１は、閾値ＬＡを超えているので、車両の周囲は明るいと考えられる。この場合、ボデーＥＣＵ７は、ライトの点灯は行わない。そして、時間が経過し（車両が走行し）、ある時刻Ｂのとき照度の検出値がＬ１であるとすると、当該照度の検出値Ｌ１は、閾値ＬＡを下回っているので、車両の周囲は暗くなったと考えられる。

この場合、ボデーＥＣＵ７は、ライトを点灯させる。さらに、時間が経過し（車両がさらに走行し）、ある時刻Ｃのとき照度の検出値がＬ１に戻ったとすると、当該照度の検出値Ｌ１は、閾値ＬＡを超えているので、車両の周囲は明るくなったと考えられる。この場合、ボデーＥＣＵ７は、ライトを消灯する。つまり、ある時刻（図４のＡ）から、ある時刻Ｃのまでの間に、車両は、当該車両の周囲が明るい箇所から暗い場所を通過し、再び明るくなった場所にいたといえる。例えば、ある時刻Ｂから、ある時刻Ｃになるまでの時間（図４のΔｔ（ＣＢ））が比較的短い場合、図４に示したような状況が考えられることとして、例えば、車両が走行をしていた区間にトンネルがあった場合などが考えられる。

次に、本実施形態に係る画像処理装置を含むドライバーサポートシステムにおいて行われる処理の流れの一例を説明する。なお、以下の説明では、カメラ１が撮像した画像から画像処理ＥＣＵ２が行う、ドライバーの特徴部を算出および検出する処理について主に説明する。

図５は、本実施形態に係る画像処理装置を含むドライバーサポートシステムにおいて行われる処理の流れの一例を示したフローチャートである。なお、図５に示したフローチャートに示される処理は、画像処理ＥＣＵ２が所定のプログラムを実行することにより行われる。また、図５に示すフローチャートに示す処理は、ドライバーサポートシステムの電源がＯＮ（例えば、当該ドライバーサポートシステムが搭載された車両のイグニッションスイッチがＯＮ）されることによって開始され、ＯＦＦされることによって終了する。なお、イグニッションスイッチは、以下ＩＧと略す。

ステップＳ５１において、メインマイコン２１は、ＩＧがＯＮであるか否かを判断する。そして、ＩＧがＯＮであると判断した場合（ＹＥＳ）、次のステップＳ５２に処理を進める。一方、メインマイコン２１は、ＩＧがＯＮではない、つまりＩＧがＯＦＦであると判断した場合（ＮＯ）、当該フローチャートでの処理を終了する。

ステップＳ５２において、メインマイコン２１は、顔情報ｉｆ（１）が記憶部２４に記憶されているか否か、つまり初期学習値が記憶部２４に記憶されているか否かを判断する。そして、メインマイコン２１は、判断を否定した場合（ＹＥＳ）、次のステップＳ５３に処理を進める。一方、メインマイコン２１は、判断を肯定した場合（ＮＯ）、ステップＳ５４に処理を進める。

ステップＳ５３において、メインマイコン２１およびサブマイコン２２は、画像処理（Ａ）を行う。以下、図６を参照して、画像処理（Ａ）について説明する。図６は、図５のステップＳ５３における処理の一例を示すフローチャートである。

まず、図６のステップＳ６１において、メインマイコン２１は、カメラ１が撮像した画像を取得する。そして、メインマイコン２１は、次のステップＳ６２に処理を進める。

次のステップＳ６２において、メインマイコン２１は、上記ステップＳ６１で取得した撮像画像の所定方向（例えば、縦方向）にソーベルフィルタ処理を施す。そして、メインマイコン２１は、処理後のソーベル画像内における輝度の差を用いて、当該ソーベル画像内から縦方向のエッジ点を抽出する処理を行い、次のステップＳ６３に処理を進める。

ステップＳ６３において、メインマイコン２１は、上記ステップＳ６２でのソーベル画像から抽出した縦方向のエッジ点を用いて、当該ソーベル画像におけるドライバーの顔の幅を算出する処理を行う。具体的には、メインマイコン２１は、抽出された縦方向のエッジ点に対するヒストグラム（縦エッジヒストグラム）を生成し、顔の左右両端の長い輪郭を検出することによってドライバーの顔右端および顔左端を抽出する。そして、メインマイコン２１は、抽出された顔右端の位置から顔左端の位置を減算した長さを、ドライバーの顔幅として算出する。また、メインマイコン２１は、算出されたドライバーの顔の幅の情報をサブマイコン２２に出力する。そして、メインマイコン２１は、次のステップＳ６４に処理を進める。

ステップＳ６４において、メインマイコン２１は、上記ステップでの処理で算出されたドライバーの顔の幅の情報を顔情報（１）として記憶部２４に一時的に記憶する。

また、ステップＳ６４において、メインマイコン２１は、上記ステップＳ６３での処理で算出したドライバーの顔の幅を用いて、撮像画像におけるドライバーの眼、鼻、および口の位置を推定してもよい。具体的な方法の一例として、メインマイコン２１は、撮像画像の所定方向（例えば、横方向）にソーベルフィルタ処理を施す。そして、メインマイコン２１は、横方向のソーベル画像を用いて特徴部を抽出した画像（白黒白エッジ画像）を作成して、眼、鼻、および口の位置を推定する。

さらに、メインマイコン２１は、撮像画像中において眼、鼻、および口の位置を推定することができたら、顔の中心線を算出し、当該撮像画像におけるドライバーの顔向き角度を算出してもよい。具体的な方法の一例として、メインマイコン２１は、当該検出された顔左端、顔右端、および顔の中心線を用いて、顔の左右比率を算出し、当該左右比率を角度に換算してドライバーの顔向き角度を算出する。

なお、上述したように、当該ステップＳ６４で記憶する顔情報ｉｆは初期学習値であり、メインマイコン２１は、ドライバーの顔の特徴部を示す情報を初めて学習することになる。

また、このとき、衝突判断ＥＣＵ４は、メインマイコン２１から、当該メインマイコン２１が算出したドライバーの顔向き角度を取得し、安全措置が必要か否かを判断してもよい。例えば、衝突判断ＥＣＵ４は、メインマイコン２１が算出したドライバーの顔向き角度に基づいて、ドライバーの顔向きが正面であるか否か（よそ見やわき見をしているか否か）を判断して、必要であれば、安全措置を行う。

ステップＳ６５において、サブマイコン２２は、閉眼検知処理を行う。以下、図７を参照して、ステップＳ６５においてサブマイコン２２が行う閉眼検知処理について説明する。図７は、図６のステップＳ６５における処理の一例を示すフローチャートである。

図７のステップＳ７１において、サブマイコン２２は、上記ステップＳ６１で取得した撮像画像からドライバーの鼻孔を探す。例えば、サブマイコン２２は、メインマイコン２１から取得した顔幅を示すデータと、顔画像パターン格納部２３に格納されている顔画像パターンとを用いて、上記撮像画像において鼻孔が存在していると予想される範囲、すなわち鼻孔検索範囲を設定する。そして、サブマイコン２２は、設定した鼻孔検索範囲内の撮像画像から輝度が相対的に低い画素を検出し、それら低輝度画素群の円らしさを算出する。そして、サブマイコン２２は、円らしさが最も高い（円に近い）点群をドライバーの鼻孔とし、ステップＳ７２に処理を進める。

ステップＳ７２において、サブマイコン２２は、鼻孔を探すことができたか否かを判断する。サブマイコン２２は、判断を肯定した場合（ＹＥＳ）、つまり、鼻孔を探すことができた場合、次のステップＳ７５に処理を進める。一方、サブマイコン２２は、判断を否定した場合（ＮＯ）、つまり、鼻孔を探すことができなかった場合、ステップＳ７３に処理を進める。

ステップＳ７３において、サブマイコン２２は、上記ステップＳ６１で取得した撮像画像からドライバーの口を探し、次のステップＳ７４に処理を進める。例えば、サブマイコン２２は、メインマイコン２１から取得した顔幅を示すデータと、顔画像パターン格納部２３に格納されている顔画像パターンとを用いて、上記撮像画像において口が存在していると予想される範囲、すなわち口検索範囲を設定する。次に、サブマイコン２２は、設定した口検索範囲内の撮像画像に対してエッジラインを抽出する画像処理を実施する。そして、サブマイコン２２は、顔画像パターン格納部２３に記憶されている口のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出する。

ステップＳ７４において、サブマイコン２２は、口を探すことができたか否かを判断する。そして、サブマイコン２２は、判断を肯定した場合（ＹＥＳ）、つまり、口を探すことができた場合、ステップＳ７５に処理を進める。一方、サブマイコン２２は、口を探すことができなかった場合、当該フローチャートの処理を終了する。

ステップＳ７５において、サブマイコン２２は、上記ステップＳ６１で取得した撮像画像からドライバーの眼を特定して、ステップＳ７５に処理を進める。例えば、上記ステップＳ７１またはステップＳ７３で検出したドライバーの鼻孔または口の位置を基準として、上記撮像画像における眼の位置を推定する。そして、サブマイコン２２は、推定された眼の位置における撮像画像に対して、エッジラインを抽出する画像処理を実施する。さらに、サブマイコン２２は、顔画像パターン格納部２３に記憶されている眼のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出する。

ステップＳ７６において、サブマイコン２２は、眼を特定できたか否かを判断する。そして、サブマイコン２２は、判断を肯定した場合（ＹＥＳ）、つまり、眼を特定ができた場合、次のステップＳ７７に処理を進める。一方、サブマイコン２２は、判断を否定した場合（ＮＯ）、つまり、眼が特定できなかった場合、当該フローチャートの処理を終了する。

ステップＳ７７において、サブマイコン２２は、上記ステップＳ６１で取得した撮像画像からドライバーの上瞼を検出する。具体的には、サブマイコン２２は、上記ステップＳ７５で特定した眼の位置においてエッジラインを抽出する処理を行い、眼画像を抽出する。そして、サブマイコン２２は、抽出した眼画像にからパターンマッチングなどにより上瞼を検出し、次のステップＳ７８に処理を進める。

ステップＳ７８において、サブマイコン２２は、上記ステップＳ６１で取得した撮像画像からドライバーの下瞼を検出する。具体的には、サブマイコン２２は、上記ステップＳ７５で特定した眼の位置においてエッジラインを抽出する処理を行い、眼画像を抽出する。そして、サブマイコン２２は、抽出した眼画像にからパターンマッチングなどにより下瞼を検出し、当該フローチャートの処理を終了する。

また、このとき、衝突判断ＥＣＵ４は、サブマイコン２２により検出された、上瞼および下瞼（上記ステップＳ７７およびステップＳ７８での処理）とについて、当該上瞼と下瞼との距離を算出し、当該距離は予め定められた距離であるか否かを判断し（例えば、ドライバーは居眠りをしているか否か）、必要であれば、安全措置を行ってもよい。

なお、カメラ１が撮像した画像からドライバーの上瞼と下瞼とを検出する手法は一例であり、上述した例に限らず既知の手法を用いてもかまわない。

図５のフローチャートの説明に戻り、図５のステップＳ５４において、メインマイコン２１は、照度を取得する。具体的には、ボデーＥＣＵ７で算出された照度の検出値をＣＡＮ（Controller Area Network）等を介して衝突判断ＥＣＵ４から取得する。そして、メインマイコン２１は、次のステップＳ５５に処理を進める。

ステップＳ５５において、メインマイコン２１は、上記ステップＳ５４で取得した照度の検出値は閾値ＬＡ以下であるか否かを判断する。メインマイコン２１は、判断を肯定した場合（ＹＥＳ）、つまり、照度が閾値ＬＡ以下であった場合、次のステップＳ５６に処理を進める。一方、メインマイコン２１は、判断を否定した場合（ＮＯ）、つまり、照度が閾値ＬＡ以下ではなかった場合、ステップＳ５９に処理を進める。なお、当該ステップでの判断が否定される場合とは、例えば、車両の周囲が暗い場合（夜間や雨天走行時）や、車両が明るい所から暗い場所に入った場合（トンネル走行）が考えられる。この場合、メインマイコン２１は、次のステップＳ５６において、画像処理（Ｂ）を行う。なお、ステップＳ５６において行われる画像処理（Ｂ）の詳細は後述し、当該ステップでの判断が否定された場合（車両が昼間走行時など）の次のステップＳ５９での画像処理（Ｃ）の詳細を先に説明する。

図８は、図５のステップＳ５９における処理の一例を示すフローチャートである。なお、図８に示した、ステップＳ８１〜ステップＳ８３、およびステップＳ８５の処理は、上述した図６のステップＳステップＳ６１〜ステップＳ６３、およびステップＳ６５と同様である。つまり、図６および図８に示す処理において、図８のステップＳ８１の処理は図６のステップＳ６１の処理に、ステップＳ８２の処理はステップＳ６２の処理に、ステップＳ８３の処理はステップＳ６３の処理に、ステップＳ８５の処理はステップＳ６５の処理にそれぞれ対応するので説明は省略する。図８に示した処理のおいて、ステップＳ８４の処理が、図６のステップＳ６４の処理と異なる。

図８のステップＳ８４の処理において、メインマイコン２１は、変数ｋをインクリメント（ｋ＝ｋ＋１）し、顔情報（ｋ）を記憶する。具体的には、当該ステップでの処理が行われることによって、記憶部２４には、既に記憶されている顔情報（１）に加えて、顔情報（２）、顔幅情報ｉ（３）…と記憶されることになる。なお、当該ステップでの処理において、メインマイコン２１が記憶する顔情報（ｋ）もカメラ１が撮像した画像における、ドライバーの顔の端となる当該撮像画像の右端および左端からの距離の位置等を含む情報である。

そして、次回画像処理ＥＣＵ４が顔の幅の算出処理を行う際や閉眼検知処理を行う際に、当該画像処理ＥＣＵ４は記憶部２４に記憶されている顔情報ｉｆを用いて（最新の顔情報ｉｆ（ｋ）や初期学習値を用いて）、撮像画像中においてドライバーの顔が存在しているだろう位置を前もって推定して画像処理を行えばよい。これによって、撮像画像からドライバーの顔の幅を算出する処理が容易になる。

図５の説明に戻って、上記ステップＳ５５の処理でメインマイコン２１により判断が肯定（ＹＥＳ）された次の処理であるステップＳ５６において、当該メインマイコン２１は、画像処理（Ｂ）を行う。

ここで、当該ステップＳ５６における処理が行われるのは、例えば、車両の周囲が暗い場合（夜間や雨天走行時）や、車両が明るい場所から暗い場所に入った場合（トンネル走行）である。

一般的に、車両の車室内に設置されたカメラによって、当該車両のドライバーの顔を撮像し、ドライバーの顔画像を得る場合、当該顔画像は周囲の明るさによって影響を受けやすくなる。具体的には、例えば、車両の窓から入射する太陽光が、当該車両のドライバーの顔に当たり、撮像された画像におけるドライバーの顔が白くなりすぎたり、ドライバーの顔の一部に陰影が生じたりすることがある。そして、上記ドライバーの顔を車両の車室内に設置されたカメラによって撮像した場合、得られる顔画像にも一部に陰影が生じることがある。そのため、該撮像された顔画像を用いて、ドライバーの顔の特徴部（口、鼻孔、眼など）を検出しようとする場合、上記顔画像から、例えば、エッジの抽出する処理を行う場合、精度良くエッジ点の抽出等を行うことができない問題が生じることがある。そこで、外乱光の影響を受け難い環境（例えば、トンネル内走行）になったときに、メインマイコン２１は、ステップＳ５６において、再度、顔情報（１）（初期学習値）を記憶し直す処理を行う。

図９は、図５のステップＳ５６における処理の一例を示すフローチャートである。なお、図９に示した、ステップＳ９１〜ステップＳ８４の処理は、上述した図６のステップＳステップＳ６１〜ステップＳ６３、およびステップＳ６５と同様である。つまり、図６および図９に示す処理において、図９のステップＳ９１の処理は図９のステップＳ９１の処理に、ステップＳ９２の処理はステップＳ９２の処理に、ステップＳ９３の処理はステップＳ９３の処理に、ステップＳ９４の処理はステップＳ６５の処理にそれぞれ対応するので説明は省略する。

図９のステップＳ９５において、メインマイコン２１は、初期学習値を記憶してもよいか否かを判断する。そして、メインマイコン２１は、判断を肯定した場合（ＹＥＳ）、つまり、初期学習値を記憶してもよいと判断した場合、次のステップＳ９６において、顔情報（１）を再度学習し記憶する。一方、サブマイコン２２は、判断を否定した場合（ＮＯ）、つまり、初期学習値を記憶しないと判断した場合、当該フローチャートの処理を終了する。

なお、顔情報（１）を記憶するステップＳ９６の処理とは、上記ステップＳ９１〜ステップＳ９３の処理に基づいて、再度、顔情報ｉｆの初期学習値である顔情報ｉｆ（１）を学習し、記憶部２４に記憶することである。つまり、車両が、外乱光の影響を受け難い環境（例えば、トンネル内走行中）になった機会にメインマイコン２１は、顔情報ｉｆの初期学習値である顔情報ｉｆ（１）を再度学習し記憶部２４に記憶することによって、顔情報ｉｆ（１）を更新する。

より具体的に説明すると、上記ステップＳ９５において、メインマイコン２１が初期学習値を記憶してもよいか否かを判断するときに、例えば、記憶部２４には、初期学習値を含む顔情報ｉｆ（ｋ）、ｋ個の顔情報ｉｆが記憶されていたと想定する。そして、上記ステップＳ９５での判断が肯定された場合、メインマイコン２１は、記憶部２４に記憶されているｋ個の顔情報ｉｆを消去し、上記ステップＳ９５の次のステップＳ９６で、再度顔情報ｉｆ（１）を記憶する。つまり、記憶部２４に、これまで記憶されている顔情報ｉｆは、外乱光の影響が無いなど、安定した画像が得られると想定される場所において消去されることになり、当該記憶部２４には、最新の顔情報ｉｆ（１）が記憶されることとなる。したがって、ドライバーの顔の特徴部が存在する位置等を推定する際に利用される情報（顔情報ｉｆ）が正確なものとなる。

なお、図９のステップＳ９５において判断が否定される場合とは、上記ステップＳ９１〜ステップＳ９３の処理を行っている際に、外乱光の影響を受け難い環境ではなくなった場合である。例えば、当該判断が否定される場合とは、車両がトンネル内を走行中であったが、上記ステップＳ９１〜ステップＳ９３の処理の間に車両がトンネルから出て、再び車両の周囲が明るい環境になった場合が考えられる。つまり、初期学習値である顔情報ｉｆ（１）を再度学習し、記憶する処理の間に、外乱光の影響を受け難い環境ではなくなった場合である。この場合、ステップＳ９１〜ステップＳ９３の処理の間、外乱光の影響を受け難い環境ではなかったので、顔情報ｉｆの初期学習値である顔情報ｉｆ（１）を再度学習し、記憶部２４に記憶する機会とはせず、ステップＳ９１〜ステップＳ９３の処理の間に学習された顔情報ｉｆは記憶部２４には記憶されず、顔情報ｉｆ（１）の更新されない。

なお、図９のステップＳ９５において判断は、例えば、メインマイコン２１は、ボデーＥＣＵ７で算出された照度の検出値をＣＡＮ等を介して衝突判断ＥＣＵ４から取得し、照度の検出値は閾値ＬＡ以下であるか否かによって行えばよい。

図５の説明に戻って、ステップＳ５７において、メインマイコン２１は、現在、車両が走行している環境は、半トンネルであるか否かを衝突判断ＥＣＵ４から得られる情報に基づいて判断する。

ここで、「半トンネル」について説明する。本説明において、半トンネルとは、車両が明るいから暗い場所に入り、再び車両が明るい場所に入る、といったように、車両の周囲が明るくなったり、暗くなったりするようなことが断続的に繰り返される場所のことである。車両が実際に走行している場面では、上記半トンネルとは、例えば、車両が鉄道の高架橋の下を通過する場合や、長さが非常に短いトンネルを連続して複数通る場合が考えられる。

なお、現在、車両が走行している環境は、いわゆる半トンネルであるか否かは、コンライトセンサ７１からの信号に基づいて、衝突判断ＥＣＵ４が判断する。以下、図１０を参照して、衝突判断ＥＣＵ４が行う処理について説明する。

図１０は、衝突判断ＥＣＵ４において行われる処理の流れの一例を示したフローチャートである。なお、図１０に示したフローチャートに示される処理は、衝突判断ＥＣＵ４が所定のプログラムを実行することにより行われる。また、図１０に示すフローチャートに示す処理は、ドライバーシステムの電源がＯＮ（例えば、当該ドライバーシステムが搭載された車両のイグニッションスイッチがＯＮ）されることによって開始され、ＯＦＦされることによって終了する。なお、イグニッションスイッチは、以下ＩＧと略す。

なお、本実施形態では一例として、図１０の処理は、衝突判断ＥＣＵ４が行うものとして説明するが、ボデーＥＣＵ７が行ってもかまわない。

ステップＳ１０１において、衝突判断ＥＣＵ４は、照度の値を取得する。具体的には、衝突判断ＥＣＵ４は、ボデーＥＣＵ７で算出された照度の検出値をＣＡＮ（Controller Area Network）等を介して取得する。そして、衝突判断ＥＣＵ４は、次のステップＳ１０２に処理を進める。

ステップＳ１０２において、衝突判断ＥＣＵ４は、上記ステップＳ５４で取得した照度の検出値は閾値ＬＡ以下であるか否かを判断する。衝突判断ＥＣＵ４は、判断を肯定した場合（ＹＥＳ）、つまり、照度の検出値は閾値ＬＡ以下であった場合、次のステップＳ１０２に処理を進める。一方、衝突判断ＥＣＵ４は、判断を否定した場合（ＮＯ）、つまり、照度が閾値ＬＡ以下ではなかった場合、ステップＳ１０１に処理を戻す。

ステップＳ１０３において、衝突判断ＥＣＵ４は時間カウントを開始する。そして、衝突判断ＥＣＵ４は、次のステップＳ１０４に処理に処理を進める。なお、時間カウンタとは、ステップＳ１０２の処理が肯定されてから、後述する条件が満たされるまでの時間ｔを計測するためのものである。

ステップＳ１０４において、衝突判断ＥＣＵ４は、照度の値を取得し、次のステップＳ１０５に処理を進める。

ステップＳ１０５において、衝突判断ＥＣＵ４は、照度の値は閾値ＬＡを超えたか否かを判断する。そして、衝突判断ＥＣＵ４は、判断を肯定した場合（ＹＥＳ）、つまり、照度の検出値は閾値ＬＡを超えた場合、次のステップＳ１０６に処理を進める。一方、衝突判断ＥＣＵ４は、判断を否定した場合（ＮＯ）、つまり、照度が閾値ＬＡを超えていない場合、ステップＳ１０４に処理を戻す。

ステップＳ１０６において、衝突判断ＥＣＵ４は、回数カウンタの値ｎをカウントアップし、次のステップＳ１０７に処理を進める。なお、回数カウンタの値ｎは、初期値やリセットされた状態では１に設定されている。

ステップＳ１０７において、衝突判断ＥＣＵ４は、時間ｔは所定時間Ｔ（閾値Ｔ）を超えたか否かを判断する。つまり、衝突判断ＥＣＵ４は、上記ステップＳ１０３から時間カウントを開始してから現在までの経過時間は、所定時間Ｔを超えたか否かを判断する。そして、衝突判断ＥＣＵ４は、判断を肯定した場合（ＹＥＳ）、つまり、時間ｔは所定時間Ｔを超えた場合、次のステップＳ１０８に処理を進める。一方、衝突判断ＥＣＵ４は、判断を否定した場合（ＮＯ）、つまり、時間ｔは所定時間Ｔを超えていない場合、ステップＳ１０１に処理を戻す。

ステップＳ１０８において、衝突判断ＥＣＵ４は、回数カウンタの値ｎは、Ｍに達したか否かを判断する。そして、衝突判断ＥＣＵ４は、判断を肯定した場合（ＹＥＳ）、つまり、回数カウンタの値ｎはＭに達した場合、次のステップＳ１０９に処理を進める。一方、衝突判断ＥＣＵ４は、判断を否定した場合（ＮＯ）、つまり、回数カウンタの値ｎはＭに達してはいない場合、ステップＳ１１０に処理を進める。

ステップＳ１０９において、衝突判断ＥＣＵ４は、現在、車両が走行している環境は、半トンネルであることを示す情報をメインマイコン２１に出力し、その後、衝突判断ＥＣＵ４は、時間カウンタおよび回数カウンタの値をリセットし、ステップＳ１０１に処理を戻す。

なお、当該フローチャートでの処理を図に示すと図１１のようになる。図１１は、ある走行環境を想定し、経過時間と照度の閾値との関係を示した図である。

図１１に示すように、例えば、ある時刻（図１１のＤとする）で衝突判断ＥＣＵ４は、照度の値を取得したとする。この場合、照度の検出値は閾値ＬＡ以下であるので、時間カウントが開始される（図１１のステップＳ１０３）。そして、衝突判断ＥＣＵ４は、照度の値をボデーＥＣＵ７を介して取得し続け、経過時間Ｅのとき、照度の値が閾値ＬＡを超えたとする。このとき、衝突判断ＥＣＵ４は、回数カウント値ｎをカウントアップする。

その後、さらに、衝突判断ＥＣＵ４は、照度の値をボデーＥＣＵ７を介して取得し続け、図１１に示した例では、同様に、経過時間Ｆのとき、経過時間Ｇのときも回数カウント値ｎがカウントアップされる。

そして、衝突判断ＥＣＵ４は、時間カウントを開始してから（図１１のＤ）、経過時間Ｈまでを所定時間Ｔとした場合、当該所定時間Ｔの間に回数カウンタ値ｎの値がＭに達したか否かを判断する。ここで、例えば、仮にＭ＝３としたとする。この場合、図１１に示した例では、図１０のステップＳ１０８の判断は肯定されることになり、衝突判断ＥＣＵ４は、現在、車両は半トンネルを走行していることになる。

つまり、図１０に示したフローチャートの処理は、車両が明るいから暗い場所に入り、車両の周囲が明るくなったり、暗くなったりするようなことが、所定時間内に、予め定められた回数繰り返された場合に、車両が実際に走行している環境は、車両が鉄道の高架橋の下を通過する場合や長さが非常に短いトンネルを複数通る、いわゆる半トンネルであるとする。

なお、上述した説明では、図１０に示したフローチャートの処理は、衝突判断ＥＣＵ４が行ったが、ボデーＥＣＵ７が行ってもかまわない。また、車両が、車両の周囲が明るくなったり、暗くなったりするようなことが、所定時間内に、予め定められた回数、繰り返されることがわかる方法であれば、図１０に示したフローチャートの処理に限られるものではない。例えば、車両に搭載されたカーナビゲーションシステムによって算出される情報（例えば、車両が現在走行している位置、車両の走行速度、これから車両が走行するであろう道路の状況、現在の気象情報等）を用い、車両が鉄道の高架橋の下を通過する場合や、長さが非常に短いトンネルを複数通ることが予想されれば、車両が走行している環境は、いわゆる半トンネルであるとしてもよい。

図５の説明に戻って、ステップＳ５７において、メインマイコン２１は、現在、車両が走行している環境は、半トンネルであるか否かを衝突判断ＥＣＵ４から得られる情報に基づいて判断し、現在、車両が走行している環境は、いわゆる半トンネルではない場合（ＮＯ）、ステップＳ５９に処理を進め、画像処理（Ｄ）を行う。なお、画像処理（Ｄ）については、上述したので、説明は省略する。

一方、メインマイコン２１は、現在、車両が走行している環境は、半トンネルであるか否かを衝突判断ＥＣＵ４から得られる情報に基づいて判断し、現在、車両が走行している環境は、いわゆる半トンネルである場合（ＹＥＳ）、ステップＳ５８に処理を進め、画像処理（Ｃ）を行う。

図１２は、図５のステップＳ５８における処理の一例を示すフローチャートである。なお、図１２に示した、ステップＳ１２１〜ステップＳ１２４の処理は、上述した図８のステップＳ８１〜ステップＳ８３、およびステップＳ８５と同様である。つまり、図８および図１２に示す処理において、図１２のステップＳ１２１の処理は図８のステップＳ８１の処理に、ステップＳ１２２の処理はステップＳ８２の処理に、ステップＳ１２３の処理はステップＳ８３の処理に、ステップＳ１２４の処理はステップＳ８５の処理にそれぞれ対応するので説明は省略する。つまり、図１２に示した処理のおいては、図８のステップＳ８４で行われる、変数ｋをインクリメント（ｋ＝ｋ＋１）する処理と顔情報（ｋ＋１）を記憶する処理とは行わない。

つまり、図１２に示したフローチャートでの画像処理では、顔の幅の算出処理や閉眼検知処理は行うが、車両のドライバーの顔に当たり外部の光によって照らされたり、照らされなかったりするようなことが断続的に繰り返される環境を車両が走行するような環境であるので顔情報ｉｆは記憶しない。より具体的には、メインマイコン２１は、顔の幅の算出処理や閉眼検知処理は行うが、その際顔情報ｉｆの記憶は行わない。したがって、撮像された画像においてドライバーの顔の特徴部が存在する位置等を推定する処理を行う際に、安定しない画像において学習され、記憶された顔情報ｉｆは画像処理に用いられることはない。

なお、上述した説明では、上記ステップＳ５７での判断か肯定された場合に、顔の幅の算出処理や閉眼検知処理は行い、その際顔情報ｉｆの記憶は行わなかった。しかし、これに限らず、例えば、照度の値が予め定められた値（例えば閾値ＬＡでもよいし、閾値ＬＡとは別に新たに閾値を設定してもよい）を継続して超えている場合にも、顔の幅の算出処理や閉眼検知処理は行うが、その際顔情報ｉｆの記憶は行わないといった画像処理をしてもよい。このようにすると、例えば、ドライバーの顔に直射日光が当たり、一部が白くなった撮像画像から顔情報ｉｆの学習および記憶は行わないようにすることができる。

このように、本実施形態によれば、撮像された画像においてドライバーの顔の特徴部が存在する位置等を推定する際、安定しない画像において学習され、記憶された顔情報ｉｆは当該画像処理には用いられることはない。したがって、精度良く画像処理を行うことができるようになる。

また、例えば、上述したオートライト制御は、一般的にはコンライトセンサを車両に搭載し、当該コンライトセンサからの情報に基づいて行われる。そのためオートライト制御機能が装備されている車両には、コンライトセンサが搭載されていると考えられる。本実施形態に係る画像処理装置は、撮像画像の輝度などが安定しない画像が得られる走行環境であるか否かをコンライトセンサを用いて判断している。言い換えると、撮像画像の輝度などが安定しない画像が得られる走行環境であるか否かといったことを判断するための装置を別に設置せずに、既存のコンライトセンサから得られる照度の値に基づいて判断できしている。つまり、車両に搭載されている既存の装置を利用できるため、本実施形態に係る画像処理装置は簡易な構成が可能となる。

さらに、上述したように、車両に一般的に搭載されているカーナビゲーションシステムを利用し、撮像画像の輝度などが安定しない画像が得られる走行環境であるか否かを判断してもよい。このようにしても、車両に搭載されている既存の装置を利用できるため、本実施形態に係る画像処理装置は簡易な構成が可能となる。

なお、上述した実施形態では、上記撮像装置が車両に設置される例を説明したが、特に車両に限られるものではない。例えば、航空機や船舶、鉄道車両などの種々の移動体に対して本実施形態に係る画像処理装置を適用しても上記移動体の操縦者の顔の特徴部を精度よく検出することもできる。

上記の実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって本願の効果を奏する範囲において、任意の構成を採用することが可能である。

本発明に係る画像処理装置は、移動体の操縦者の状態、例えば、わき見、よそ見、居眠り等を精度良く検出することができ、当該操縦者の事故を未然に防ぐことのできる装置等の用途に適用できる。

１…カメラ
２…画像処理ＥＣＵ
２１…メインマイコン
２２…サブマイコン
２３…顔画像パターン格納部
２４…記憶部
３…レーダ装置
４…衝突判断ＥＣＵ
５…ブレーキ制御ＥＣＵ
５１…警報ブザー
５２…ブレーキＡＣＴ
６…メーター
７…ボデーＥＣＵ
７１…コンライトセンサ

Claims (5)

1. 移動体の操縦者の顔を撮像する撮像手段と、
   前記撮像手段から得られる撮像画像に基づき前記操縦者の顔の特徴部の少なくとも位置を示す特徴部情報を検出する検出手段と、
   前記検出手段によって検出された前記特徴部情報を記憶する記憶手段と、
   前記移動体の照度の値を検出する照度検出手段とを備え、
   前記記憶手段は、前記照度検出手段が取得した前記照度の値が予め定められた条件を満たす場合、前記特徴部情報を記憶しないことを特徴とする、画像処理装置。
2. 前記照度検出手段が検出した前記照度の値が予め定められた値以上であった場合、前記記憶手段は、前記特徴部情報を記憶しないことを特徴とする、請求項１に記載の画像処理装置。
3. 前記照度の値が予め定められた時間内に予め定められた値を跨ぐように変化する回数が閾値を超えた場合、前記記憶手段は、前記特徴部情報を記憶しないことを特徴とする、請求項１に記載の画像処理装置。
4. 前記特徴部検出手段が、前記照度の値が予め定められた値以下になってから当該予め定められた値を超えるまでの間に前記特徴部情報を検出することができた場合、前記記憶手段は、前記照度の値が前記予め定められた値以下になるまでに記憶された前記特徴部情報を消去することを特徴とする、請求項２または３に記載の画像処理装置。
5. 前記特徴部情報は、前記撮像手段から得られる撮像画像における前記操縦者の顔幅、眼、鼻、鼻孔、口、眉、および耳の位置、何れかを含むことを特徴とする、請求項１に記載の画像処理装置。

Images