JP2006248363A - 運転者照明装置、運転者撮影装置および運転者監視装置 - Google Patents

Abstract

【課題】 運転者の顔、特に眼およびその周辺を的確に照明することができる運転者照明装置、運転者撮影装置等を提供する。
【解決手段】 運転者３がルームミラー１を介して後方を監視する後方視野１０の中心付近にＬＥＤ２を設ける。ＬＥＤ２は、近赤外線をルームミラー１方向に照射する。この近赤外線光は、ルームミラー１で反射して運転者３の顔を照明する。運転者は、運転開始前に後方を的確に監視できるようにルームミラー１の向き調整することが常であるため、ルームミラー１による後方視野内にＬＥＤ２を設置することにより、どのような体型の運転者であっても、ＬＥＤの向きを変更することなく、眼およびその周辺を的確に照明することができる。
【選択図】 図１

Description

自動車等の運転者の顔面を照明、撮影するために好適な運転者照明装置、運転者撮影装置およびこの運転者撮影装置を用いた運転者監視装置に関する。

自動車による交通事故を防止するため、近年、運転者の顔面（特に眼およびその周辺）を撮影し、撮影された画像に基づいて運転者が居眠りや脇見をしていないかを監視し、もし居眠りや脇見が検出されたときは、警告等の対応処理を実行する運転者監視装置が提案されている（たとえば特許文献１）。

この運転者監視装置を実現するために、カメラを設置して運転者を撮影する必要があるが、自動車の運転席は、たとえば日光の直射や夜間の超低照度状態など、撮影条件として極めて劣悪である。このため特許文献１の装置では、安定した運転者の撮影を可能にするために、赤外光で運転者を照明することが提案されている。すなわち、特許文献１の装置では、ダッシュボードの乗員からの死角位置に赤外線発光素子を設置して発光させ、メータパネルに表面のコールドフィルタでこの赤外線を反射させることによって乗員の顔面を照明するものである。
特開２００４−０５８７９９号公報

しかしながら、上記特許文献１のものでは、以下に述べるような問題点があった。

（１）運転者の眼の位置は、運転者の体格，姿勢，シートの調整位置などによって変化するため、顔が位置する可能性のある広い範囲を照明する必要があり、高い輝度の照明素子を用いる必要があるため、照明装置を小型化することが困難であるうえ、消費電力、発明、製造コストの面で不利であった。

（２）顔面を照明するためには、照明装置を運転者の前方に設置する必要があるが、運転者の前方には、運転および操作に必要な機器および計器類が多数設置されており、設計上および内装デザイン上において自由な位置に照明装置を設置することが困難であり、効率的な照明が困難であった。

この発明は、運転者の顔面、特に眼およびその周辺を的確に照明することができる運転者照明装置、および、この運転者照明装置を用い、運転者の顔認識の容易な画像を撮影できる運転者撮影装置、および、この運転者撮影装置を用いた運転者監視装置を提供することを目的とする。

この発明の運転者照明装置は、ルームミラー等の後方監視ミラーによる運転者の後方視野の範囲内の位置に、前記後方監視ミラーに向けて赤外線を照射する発光素子を設けたことを特徴とする。

この発明では、運転者の後方視野の範囲内から後方監視ミラーに向けて赤外線を照射することにより、後方監視ミラーで反射した赤外線はこれを視野に納めている運転者の顔（とくに眼およびその周辺）に照射される。発光素子の設置位置は、後方監視ミラーによる運転者の視野の範囲内であればどこでもよいが、眼およびその周辺を照明するためには、前記視野の中心またはその近傍であることが好ましい。一方、設置位置を視野の中心よりも上にすれば、口や鼻の付近をよく照明することができる。

したがって、この発明によれば、運転者が自分の体型に合わせて後方監視ミラーの角度を調整するため、運転者の体型に合わせて発光素子の方向を変更しなくても、常に的確に運転者の顔を照明することができる。また、この場合において、ルームミラー等の後方監視ミラーに向けて狭い角度に光を照射すればよいため、発光素子の輝度（総光量）を大きくする必要がない。

また、特開平１１−３０４４２８号公報に開示されているような運転席後方にカメラを設置してルームミラー越しに運転者を撮影するものと比較すると、発光素子（たとえばＬＥＤ）はカメラに比べて小さいものであるため、運転者の後方視界を遮る程度が極めて低い。

この発明の運転者照明装置は、リアウィンドウガラスのうち、ルームミラー等の後方監視ミラーによる運転者の後方視野の範囲の一部または全部をコールドフィルタとして構成し、前記後方視野の範囲外に、前記コールドフィルタで反射したのち前記後方監視ミラーに向かう赤外線を照射する発光素子を設けたことを特徴とする。

この発明では、発光素子は、後方監視ミラーによる運転者の視野の範囲外に設置されている。発光素子が発生した赤外線は、運転者の後方視野の範囲内のリアウィンドウガラスで反射し、さらに後方監視ミラーで反射して運転者の顔に照射される。
このように、この発明によれば、コールドフィルタは、可視光線は透過し赤外線を反射するため、運転者は発光素子等によって後方視界を全く遮られることがなく、且つ後方監視ミラーを介した運転者の顔の照明が可能になる。

この発明の運転者撮影装置は、上記運転者照明装置と、前記運転者の顔面に向けて設置されたカメラとを備えたことを特徴とする。
また、この発明の運転者撮影装置は、前記カメラを高ダイナミックレンジのＣＭＯＳカメラで構成したことを特徴とする。
さらに、この発明の運転者撮影装置は、前記カメラを近赤外線に感度を有し、可視光線に感度を有さないよう設定したことを特徴とする。

この発明の運転者監視装置は、上記運転者撮影装置と、この運転者撮影装置で撮影された画像から運転者の顔または眼を検出し、検出した顔または眼の画像に基づいて運転者の状態を判定する画像処理部と、を備えたことを特徴とする。

この発明では、後方監視ミラーを介して運転者の顔面に赤外線を照射し、カメラを用いて、この赤外線が照射された顔を含む画像を撮影する。これにより、よい条件で運転者の顔を撮影することができるとともに、照明無しまたは空間全体を照明した場合と比べて、顔の特定や顔の認識が容易になり、運転者の状態を判定する場合においても、正確な判定が可能になる。

この発明によれば、運転者の体型に合わせて発光素子の方向を変更しなくても、後方監視ミラーを介して常に的確に運転者の顔を照明することができる。また、この場合において、ルームミラー等の後方監視ミラーに向けて狭い角度に光を照射すればよいため、発光素子の輝度（総光量）を大きくする必要がない。

また、この発明によれば、運転者は発光素子等によって後方視界を全く遮られることがなく、且つ後方監視ミラーを介した運転者の顔の照明が可能になる。

また、この発明によれば、顔が赤外線で照明されたよい条件で運転者の顔を撮影することができるとともに、照明無しまたは空間全体を照明した場合と比べて、顔の特定や顔の認識が容易になり運転者の状態を判定する場合においても、正確な判定が可能になる。

図１はこの発明の実施形態である運転者撮影装置の構成を示す図である。この運転者撮影装置は、自動車の運転者の後方から近赤外線を照射し、ルームミラーで反射させることによって運転者の顔を照明する。カメラはダッシュボード上面から運転者の顔を撮影する。

撮影された画像は、処理装置に入力されて、顔の認識、ルームミラーの角度調整状態の判定、居眠り／脇見運転の検出・警告等に用いられる。

図１は自動車の車室を側面から表した図であるが、ルームミラー１は、車室内の中央前方の天井付近に、角度を調整可能に設けられている。このルームミラー１は、運転者３が運転席に座ったとき、運転を開始する前に、このルームミラー１を介して後方の視界が確保できるように向き（角度）が調整される。運転者３は、ルームミラー１を介した視野がリアウィンドウ５をカバーできるように、すなわち、ルームミラー１およびリアウィンドウ５を介して後方の車両等を監視できるように調整する。このように調整されたときの運転者の後方の視野は、同図の視野１０で示す範囲になる。

運転者の顔を照明するＬＥＤ２は、リアウィンドウ５面に設けられている。このＬＥＤ２は、赤外の高輝度ＬＥＤであり、近赤外線を発生する。このＬＥＤの設置場所は、前記視野１０の中心線１１上が好ましい。すなわち、前記視野１０の範囲内にＬＥＤ２を設置すれば、ルームミラー１を介して運転者の顔を照明することができるが、中心線１１上に設置すれば、運転者の眼を中心とする一定範囲を照明することができる。

ＬＥＤ２は前方（ルームミラー１方向）に近赤外光を照射する。ＬＥＤ２が発生した赤外光は、レンズ等（不図示）で狭く絞られ、ビーム状にルームミラー１に照射される。ルームミラー１で反射したこの赤外光が運転者３の顔（特に眼およびその周辺）に的確に照射される。

なお、運転者３のルームミラー１を介した後方視野１０およびその中心線１１は、運転者３（または運転者３の視覚）を構成要素とした要件ではなく、ルームミラー１の位置、リアウィンドウ５の位置・大きさ等によって決定される自動車の構造上の特性である。

一方、ＬＥＤの位置を天井にすると照射角度が若干下向きになり、鼻から口を照射することができる。

また、ダッシュボードの上端付近には、カメラ４が設けられている。このカメラ４は、運転者の顔に向けて設けられ、継続的または間欠的に運転者の顔を撮影して処理部（後述）に入力する。カメラの視野１４は、少なくとも顔全体が納まる程度に設定される。

このカメラは、望ましくは、高ダイナミックレンジのＣＭＯＳカメラであることが望ましい。すなわち、自動車の車内特に運転席は、直接外界に視野が開けており、たとえば直射日光による高いコントラストや夜間の極めて低い照度など撮影条件としては劣悪な条件である。

このような条件であっても、高ダイナミックレンジのＣＭＯＳカメラであれば、人間の網膜に近いダイナミックレンジを有し、光の強さに対する応答が対数的な関係になるようにされている。これにより、同一画面内における明るい被写体と暗い被写体の明暗比が１０００万倍の０．０１ルクス〜１０万ルクスの高いダイナミックレンジで撮像が可能である。

これにより、直射日光に照らされた顔面など明暗差が激しい（コントラストの強い）被写体であっても、従来の撮像素子のように、ハイライト部は真っ白になったり、シャドウ部は真っ黒になってしまう「白飛び」や「黒つぶれ」の画像になることがない。

図２は、前記カメラ４の画像を取り込んで処理する処理装置２０の概略ブロック図である。処理装置２０は、取り込んだ画像から運転者３の顔および眼を認識する画像認識部２１、認識された顔や眼から運転者３の状態等を判定する判定部２２、判定部２２の判定内容に基づいて運転者３に対する警告等を発生する警告部２３からなっている。画像認識部２１は、ＤＳＰ等で構成され、所定の認識アルゴリズムに基づいて運転者の顔および眼を認識する。判定部２２は、マイクロコンピュータで構成され、図３，図４に示すような処理動作を実行する。警告部２３は、判定部２３からの指示に応じて警告を発生する処理部である。

以下、図３，図４を参照して判定部２２の動作を説明する。図３のフローチャートは、ルームミラー調整支援動作を示すフローチャートである。この処理動作は、ＬＥＤによる照明が運転者の顔のどの位置に向けてされているかを検出し、この照明が運転者の眼に向けて行われていなければ、照明が眼に向かうようにルームミラー１の向きの修正を促すアナウンスを行わせる動作である。

所定のトリガが発生したとき、ＬＥＤ２を点灯させるとともに（ｓ１）、カメラ４の画像を取り込んで、運転者の顔を認識するとともに（ｓ２）、眼を認識する（ｓ３）。トリガは、運転者３の着座検出、イグニッションキーのオンなどである。カメラ４は上述したように、顔全体を撮影する画角を有するものであるため、ＬＥＤ２による照明が顔からずれていたとしても（眼を含む）顔の認識は可能である。特に、ＨＤＲＣ（高ダイナミックレンジＣＭＯＳカメラ）であれば、悪い条件下でも顔を認識可能な画像を撮影することが可能である。

なお、ｓ２の顔の認識とｓ３の眼の認識は、別々の手順で行うのではなく、顔全体の構造を推定し、そのなかから眼を認識する。これにより、顔の一部の画像から眼のみを認識するよりも、認識が容易且つ正確になる。後述のｓ１０，ｓ１１の処理においても同様である。

そして、ルームミラー１を介したＬＥＤ２による照明範囲を検出する（ｓ４）。この照明範囲の検出は、顔のうち照度の高い横長のエリアを割り出すことによって行う。検出した照明範囲と運転者の眼の位置との位置関係を割り出し（ｓ５）、検出した照明範囲が運転者の眼を中心としたエリアであれば（ｓ６）、ルームミラー１の角度調整が正しく行われているとして、この処理動作を終了する。検出した照明範囲が運転者の眼を中心としたエリアでなくずれている場合には、照明範囲が眼を中心としたエリアになるように、修正を促すアナウンスを警報部２３から出力し（ｓ７）、調整結果を判定するために再度ｓ１に戻る。
修正を促すアナウンスは、たとえば、照明範囲が眼よりも上方にずれている場合には「ミラーを下向きに修正してください」などの文言で行う。この警告は、アナウンス以外に、たとえば、修正方向を示す矢印等の表示で警告を行ってもよい。これにより、ルームミラー１の方向がずれていることのみならず、どの方向にずれているかを運転者に警告することができる。

図４は、居眠り・脇見の警告動作を示すフローチャートである。この動作は、眼の認識を継続的に行い、まばたきの間隔や向きに基づいて居眠り・脇見を判定し、判定された場合には、警告を発生する動作である。
カメラ４の画像を定期的に取り込んで顔全体を認識する（ｓ１０）。顔全体を認識することにより、顔の向き等を的確に判定することができる。そして、この顔のなかから眼を認識する（ｓ１１）。顔のなかでルームミラー１を介したＬＥＤ２による照明によって（近赤外線領域の）照度が高くなっている部分を中心に眼の認識を試みることにより、効率的に眼の認識を行うことができる。認識した眼の状態に基づき、運転者３のまばたきの間隔や眼の向きなどを検出する（ｓ１２）。この検出は、１回の認識結果に基づいて行うのみならず複数回の認識結果に基づいて行えばよい。この認識結果に基づき、まばたきの間隔が一定以上に長いと判定された場合には居眠りしている危険性があるとして（ｓ１３）、警告を発する（ｓ１４）。また、前方以外の方向を一定時間以上向いている場合には、脇見運転であると判断して（ｓ１３）、警告を発する（ｓ１４）。
警告は、ブザー等のアラート音を発生させてもよく。「居眠り（脇見）運転は危険です。」等の文言であってもよい。また、運転席のシートを揺さぶる等の物理的な警告であってもよい。

いずれにしても、カメラ４を用いて顔全体を認識する場合において、眼およびその周辺がルームミラー１を介してＬＥＤ２によって照明されているため、眼の認識が容易であり、処理速度を向上させることができる。

図５および図６は、ＬＥＤ２の他の設置形態を示す図である。
図５では、車室の中央部（運転席・助手席と後部座席の間付近）に、アーム６を用いて車室の天井から吊るしてＬＥＤ２を設置している。ＬＥＤ２の設置位置は、運転者３の後方視野１０の中心線１１上である。このように、ＬＥＤ２をルームミラー１に近づけて設置することにより、ＬＥＤ２から見たルームミラー１の開角が大きくなり、ルームミラー１を介して運転者３の顔の広い範囲を照明することができる。
なお、ＬＥＤ２を吊り下げているアーム６は固定であっもよいが、不要なときに跳ね上げることができる（または自動的に跳ねあがる）可動式にしてもよい。

図６は、ＬＥＤ２を運転者３の後方視野１０の外に設置した形態を示している。この実施形態では、ＬＥＤ２が発生した赤外線をリアウィンドウ５で反射させることによって、その光軸を運転者３の後方視野１０の中心１１に乗せている。リアウィンドウ５は、運転者３に対しては後方の車室外の視野を確保するため、可視光線に対しては透明である必要があるが、ＬＥＤ２が発生した赤外線を反射ずるため、近赤外線に対しては不透明（反射的）である必要がある。このため、リアウィンドウ５のうち、少なくもと運転者３の後方視野中心１１付近は、可視光線を透過し近赤外線を反射するコールドフィルタ部５Ａとして構成する。コールドフィルタは、透明ガラスであるリアウィンドウ５の表面にコールドフィルタの特性をもったフィルムを貼付することで実現することができる。
コールドフィルタは、近赤外線を反射し,可視光を透過させる特性を持つシート状のものであり、リアウィンドウに貼り付け施工することができる。

このように、リアウィンドウ５にコールドフィルタ部５Ａを設けて近赤外線を反射できるようにしたことにより、ＬＥＤ２を後部座席の後方の運転者３にとって視野外に設置することができ、運転者の視界を全く遮ることがなくなる。

また、可視光線を透過させ、且つ近赤外線を乱反射するコールドフィルタを用いれば、リアウィンドウ５を（赤外線的に）面発光させることができ、ルームミラー１を介して運転者３の顔全体を照明することも可能になる。

なお、この実施形態は、近赤外線をルームミラー１で反射させることについて説明したが、後方監視ミラーであれば、ルームミラーに限定されず、サイドミラー等であってもよい。また、この実施形態は、自動車に適用した例を示したが、自動車以外に、鉄道車両、船舶等に適用することも可能である。

この発明の実施形態である運転者撮影装置における主としてＬＥＤの設置形態を説明する図 同運転者撮影装置で撮影した画像を処理する処理装置のブロック図 同処理装置の動作を示すフローチャート 同処理装置の動作を示すフローチャート この発明の他の実施形態である運転者撮影装置の主としてＬＥＤの設置形態を説明する図 この発明の他の実施形態である運転者撮影装置の主としてＬＥＤの設置形態を説明する図

符号の説明

１…ルームミラー
２…（近赤外高輝度）ＬＥＤ
３…運転者
４…カメラ
５…リアウィンドウ
５Ａ…コールドフィルタ部
６…アーム
１０…運転者の後方視野
１１…後方視野の中心線
２０…処理装置
２１…画像処理部
２２…判定部
２３…警告部

Claims (7)

1. 後方監視ミラーによる運転者の後方視野の範囲内の位置に、前記後方監視ミラーに向けて赤外線を照射する発光素子を設けたことを特徴とする運転者照明装置。
2. 前記後方監視ミラーは、ルームミラーである請求項１に記載の運転者照明装置。
3. リアウィンドウガラスのうち、後方監視ミラーによる運転者の後方視野の範囲の一部または全部をコールドフィルタとして構成し、前記後方視野の範囲外に、前記コールドフィルタで反射したのち前記後方監視ミラーに向かう赤外線を照射する発光素子を設けたことを特徴とする運転者照明装置。
4. 請求項１乃至請求項３のいずれかに記載の運転者照明装置と、前記運転者の顔面に向けて設置されたカメラと、を備えたことを特徴とする運転者撮影装置。
5. 前記カメラは、高ダイナミックレンジのＣＭＯＳカメラである請求項４に記載の運転者撮影装置。
6. 前記カメラは、近赤外線に感度を有し、可視光線に感度を有さないよう設定されている請求項４または請求項５に記載の運転者撮影装置。
7. 請求項４乃至請求項６のいずれかに記載の運転者撮影装置と、
   この運転者撮影装置で撮影された画像から運転者の顔または眼を検出し、検出した顔または眼の画像に基づいて運転者の状態を判定する画像処理部と、
   を備えた運転者監視装置。

Images