JP2014075637A - 状態監視装置及び状態監視プログラム - Google Patents

Abstract

【課題】運転者を照明する際の発光に伴う発熱を低減させたうえで、運転者の顔画像を正しく撮影可能な、状態監視技術の提供。
【解決手段】状態監視装置１００は、車両１に搭載され、運転者の顔画像（５０）を用いて運転者の状態を監視する。状態監視装置１００は、投光部１５から規定領域ＰＡに向けて光を出射させ、規定領域ＰＡに位置すると想定される運転者の顔面にて反射した光を、撮像部１０にて受光する。状態監視装置１００の制御回路２０は、撮像部１０の撮像素子１１が露光状態とされる露光期間の長さを変更することにより、顔画像５０の階調値を調整する。さらに制御回路２０は、撮像素子１１の露光期間が短くされるに従い、露光期間の開始時ｔ_ｅｓにおける発光輝度が高くなるよう投光部１５の発光を制御する。これにより、環境光が少ない場合の発光を抑え、発熱及び消費エネルギーの低減が可能となる。
【選択図】図２

Description

本発明は、移動体に搭載され、移動体を操縦する操縦者の状態を監視する技術に関する。

従来、車両等の移動体に搭載される状態監視装置は、操縦者の状態を監視するために、操縦者の顔面を撮影した顔画像を用いている。こうした顔画像の撮影のために、状態監視装置は、操縦者の顔面が位置する領域として予め規定された規定領域に向けて照明光を出射させる発光手段と、規定領域から入射する光を受光することで顔面を撮影する撮像手段とを備えている。

ここで、特許文献１には、上述の発光手段に関連するフラッシュと、上述の撮像手段に関連する撮像素子とを備えた閃光装置付撮像装置が開示されている。この撮像装置において、撮像素子が露光状態とされる露光期間の長さは、一定とされている。そして、撮影する被写体の明るさに応じて、露光期間におけるフラッシュの発光期間の長さ、ひいては発光量が変更される。さらに、フラッシュの発光量に応じて、フラッシュの発光開始タイミングが調整される。

一方で、上述したような状態監視装置では、特許文献１の撮像装置とは異なり、撮像手段における露光期間の長さが、変更可能とされている。これにより、操縦者の顔面に到達している環境光の強さに関わらず、顔画像の階調値が、予め規定された範囲内となるよう調整され得る。そして、発光手段は、露光期間において照明光の出射を継続するよう制御される。

特開２００７―１９３０６１号公報

さて、本発明の発明者は、露光期間において継続される発光手段の発光に着目し、こうした発光に伴う発熱を低減させることを検討した。しかし、発熱を低減させるために、発光手段から出射される照明光の発光輝度を低くしてしまうと、操縦者の顔面に到達している環境光が強い場合に、顔画像を正しく撮影できなくなることが判明した。

詳記すると、環境光は、操縦者の顔面の一部のみを強く照明してしまう。すると、露光期間の長さを調整することにより顔画像の全体を適切な階調値に調整することが、不可能となる。このように、顔画像の撮影時において環境光の影響を低減させる発光手段の機能が発揮されなくなることにより、撮像手段は、顔画像を正しく撮影することができなくなるのである。

本発明は、上記問題点の鑑みてなされたものであって、その目的は、発光に伴う発熱を低減させたうえで、顔画像を正しく撮影することが可能な状態監視装置及び状態監視プログラムを提供することである。

上記目的を達成するために、請求項１に記載の発明は、移動体（１）に搭載され、移動体を操縦する操縦者の顔面を撮影した顔画像（５０）を用いて当該操縦者の状態を監視する状態監視装置であって、操縦者の顔面が位置する領域として予め規定された規定領域（ＰＡ）から入射する光を受光することにより、顔画像を生成する撮像手段（１０）と、撮像手段が露光状態とされる露光期間の長さを変更することにより、顔画像の階調値を調整する撮像制御手段（２３，２４，Ｓ１０９）と、撮像制御手段によって設定された露光期間に、規定領域に向けて照明光を継続して出射させる発光手段（１５）と、撮像制御手段によって露光期間が短くされるに従い、露光期間の開始時（ｔ_ｅｓ）における発光輝度が高くなるよう発光手段を制御する発光制御手段（２３，２５，Ｓ１１１）と、を備えることを特徴としている。

また請求項７に記載の発明は、移動体（１）に搭載され、移動体を操縦する操縦者の顔面を撮影した顔画像（５０）を用いて当該操縦者の状態を監視する処理をコンピュータに実行させる状態監視プログラムであって、操縦者の顔面が位置する領域として予め規定された規定領域（ＰＡ）から入射する光を受光することにより、顔画像を生成させる撮像ステップ（Ｓ１０１）と、撮像ステップにて露光状態とされる露光期間の長さを変更することにより、顔画像の階調値を調整する撮像制御ステップ（Ｓ１０９）と、撮像制御ステップによって設定された露光期間に、規定領域に向けて照明光を継続して出射させる発光ステップ（Ｓ１０１）と、撮像制御ステップによって露光期間が短くされるに従い、露光期間の開始時（ｔ_ｅｓ）における発光輝度が高くなるよう発光ステップを制御する発光制御ステップ（Ｓ１１１）と、をコンピュータに実行させることを特徴としている。

これらの構成及び処理によれば、操縦者の顔面に到達している環境光が強い場合、顔画像の階調値を低減させるため、顔面を撮影する際の露光期間は、短くされる。すると、露光期間の開始時に規定範囲に向けて出射される照明光の発光輝度は、高くされる。すると、操縦者の顔面に強い照明光が照射され続けるので、顔画像の撮影時における環境光の影響は、低減可能となる。

一方で、操縦者の顔面に到達している環境光が弱い場合、顔画像の階調値を向上させるため、顔面を撮影する際の露光時間は、長くされる。すると、露光期間の開始時に規定領域に向けて出射される照明光の発光輝度は、低くされる。この場合、環境光が弱いので、顔面に照射される照明光の輝度が低くても、顔画像への環境光の影響は、僅かとなり得る。そして、露光期間の開始時における発光輝度が低く抑えられることにより、発光に伴う発熱の低減が実現可能となる。

これらにより、発光に伴う発熱を低減したうえで、顔画像を正しく撮影することが可能となるのである。

本発明の第一実施形態による状態監視装置の車両における配置を説明するための図である。 状態監視装置の電気的構成を説明するためのブロック図である。 状態監視装置の機械的構成を説明するための斜視図である。 顔画像の一例を模式的に示す図である。 装置温度、露光状態、及び発光状態の推移を示すタイムチャートである。 露光状態を示す波形に発光状態を示す波形を重ね合わせた図である。 露光状態を示す波形に発光状態を示す波形を重ね合わせた図である。 露光状態を示す波形に発光状態を示す波形を重ね合わせた図である。 画像取得部によって実施される処理を示すフローチャートである。 図７の変形例を示す図である。 図８の変形例を示す図である。 図７の別の変形例を示す図である。 図８の別の変形例を示す図である。 図７のさらに別の変形例を示す図である。 図８のさらに別の変形例を示す図である。

以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。こうした複数の実施形態に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

本発明の第一実施形態による状態監視装置１００は、図１に示すように、「移動体」としての車両１に搭載され、車両を操縦する操縦者（以下、「運転者」という）の状態を監視するドライバステータスモニタである。状態監視装置１００は、図２に示すように、撮像部１０、投光部１５、及び制御回路２０、並びにこれらの構成を収容する筐体６０（図３参照）を備えている。また状態監視装置１００は、車両に搭載されたアクチュエーション部９０等と接続されている。

図１，２に示す撮像部１０は、ステアリングコラム８１の上面に設置された状態監視装置１００において、運転者の顔面を撮影した顔画像５１（図４も参照）を生成する装置である。撮像部１０は、車両１の室内において予め規定された規定領域ＰＡを撮影する。この規定領域ＰＡには、運転席に着座した運転者の顔面が位置すると想定される領域が含まれている。こうした規定領域ＰＡは、具体的には、運転者の各眼のアイレンジから想定されるアイリプスに基づいて規定され、例えば、アイリプスの９９パーセンタイルを包含するように規定されている。

撮像部１０は、所謂近赤外線カメラであって、撮像素子１１に、光学レンズ及び光学フィルタ等を組み合わせることによって構成されている。撮像素子１１は、撮像面に沿って配列された複数の画素により、受光した光の強度に応じた電気信号を生じさせる。撮像素子１１は、撮像面を規定領域ＰＡに向けた姿勢にて、配置されている。撮像素子１１は、制御回路２０からの制御信号に基づいて露光状態となり、規定領域ＰＡから入射する入射光を受光することによって、白と黒の濃淡によって描画されたモノクロームの顔画像５０を生成する。こうして撮影された顔画像５０は、撮像部１０から制御回路２０に向けて逐次出力される。

投光部１５は、撮像部１０の露光期間に、規定領域ＰＡに向けて照明光を継続して出射させる。投光部１５は、発光ダイオード１６及び駆動部１７を有している。発光ダイオード１６は、撮像部１０に隣接して設けられており（図３参照）、近赤外の帯域を含む照明光を放出する。発光ダイオード１６から放出された光は、規定領域ＰＡに向けて出射され、運転者の顔面等によって撮像部１０に向けて反射される。これにより、撮像素子１１の受光する入射光には、投光部１５から出射された光が含まれることとなる。駆動部１７は、所定の電流を発光ダイオード１６に印加する回路である。駆動部１７は、制御回路２０からの制御信号に基づくことで、撮像部１０の露光期間に合わせて、発光ダイオード１６に印加する電流のオン状態及びオフ状態を切り替える。尚、第一実施形態では、定電流回路が駆動部１７として用いられているが、駆動部は、定電流回路でなくてもよい。

制御回路２０は、撮像部１０、投光部１５、及びアクチュエーション部９０等に出力する制御信号によって、これらの構成の作動を制御する回路である。制御回路２０は、各種の演算処理を行うプロセッサ、演算処理の作業領域として機能するＲＡＭ、及び演算処理に用いられるプログラム等が格納されたフラッシュメモリ等を備えたマイクロコンピュータを中心に構成されている。加えて制御回路２０は、撮像部１０及び投光部１５等に電力を供給する電源回路を備えている。

制御回路２０は、予め記憶されたプログラムをプロセッサによって実行することにより、画像取得部２１、状態判定部３１、及び警告制御部３３等の複数の機能ブロックを備える。

画像取得部２１は、顔画像５０を用いて運転者の顔認識を行う機能ブロックである。画像取得部２１は、運転者の顔面を抽出可能な顔画像５０を取得するため、撮像部１０における撮像条件及び投光部１５における発光条件を設定する。そして画像取得部２１は、設定した撮像条件及び発光条件に則った作動を撮像部１０及び投光部１５に実施させるため、これら撮像部１０及び投光部１５に制御信号を出力する。こうして撮像された顔画像５０を画像取得部２１は撮像部１０から取得する。そして画像取得部２１は、取得した顔画像５０の画像処理により、運転者の顔の向き及び各眼の開き具合（以下「開眼度」という）に関連する値や、運転者の眠気の度合いに関連する値等を演算する。

状態判定部３１は、画像取得部２１によって演算された値と予め設定された閾値とを比較する。この比較処理により、状態判定部３１は、例えば脇見運転の兆候や居眠り運転の兆候等が検出されたか否かを推定する。そして、上述した兆候を検出した状態判定部３１は、運転者に警告を実施すべき状態が生じていると判定する。

警告制御部３３は、アクチュエーション部９０と接続されている。警告制御部３３は、状態判定部３１によって運転者に警告すべき状況が生じていると判定された場合に、警告処理を実施することで、アクチュエーション部９０に制御信号を出力する。こうして警告制御部３３は、アクチュエーション部９０を作動させることにより、運転者に警告を行う。

筐体６０は、図３に示すように、本体部材６３、フロントカバー部材６６、及び図示しないリヤカバー部材等によって構成されている。

本体部材６３は、投光部１５及び撮像部１０等の実装されたサブ基板６２を保持している。サブ基板６２には、制御回路２０の形成されたメイン基板６１が、当該サブ基板６２と直交する姿勢にて取り付けられている。本体部材６３には、挿通孔６４及び配光部６５が設けられている。挿通孔６４は、本体部材６３の水平方向における中央部分に設けられており、サブ基板６２に実装された撮像部１０を挿通させる。挿通孔６４は、サブ基板６６に設けられた遮光のための孔部と協働して、投光部１５と撮像部１０との間にて遮光機能を発揮することで、投光部１５から撮像部１０への光の漏れを防いでいる。配光部６５は、挿通孔６４を水平方向において挟むように配置されており、サブ基板６２に実装された投光部１５と対向している。配光部６５は、投光部１５から放射された光を透過させつつ、規定領域ＰＡ（図１参照）に配光する。

フロントカバー部材６６には、可視光フィルタ６７が設けられている。可視光フィルタ６７は、顔画像５０（図４参照）の生成に用いられる赤色から近赤外の帯域の光を主に透過させると共に、顔画像５０の生成に不要な可視光帯域の光を遮蔽する。可視光フィルタ６７は、フロントカバー部材６６において配光部６５と対向する位置に形成された開口６８を覆っている。リヤカバー部材は、本体部材６３を挟んでフロントカバー部材６６とは反対側に配置されている。リヤカバー部材は、各基板６１，６２を覆うことにより、これらを雰囲気中の塵及び埃等から保護している。

図２に示すアクチュエーション部９０には、車両１（図１参照）に搭載された、例えばスピーカ９１、シート振動装置９３、及び空調装置９５等が含まれている。スピーカ９１は、警告制御部３３からの制御信号に基づいて音声データを再生することにより、運転者に注意を喚起する。シート振動装置９３は、運転席の座面の内部等に設置されており、警告制御部３３からの制御信号に基づいて運転席を振動させることにより、運転者に注意を喚起する。空調装置９５は、警告制御部３３からの制御信号に基づいて車両１の室内に外気を導入させる等の作動により、運転者に注意を喚起する。

次に、画像取得部２１によって実施される投光部１５の制御の詳細を説明する。画像取得部２１は、サブ機能ブロックとして、画像処理ブロック２２、温度監視ブロック２６、条件設定ブロック２３、定格監視ブロック２７、撮像制御ブロック２４、及び発光制御ブロック２５を有する。

画像処理ブロック２２は、撮像制御ブロック２４からの制御信号に基づいて撮影された顔画像５０を、撮像部１０から取得する。そして画像処理ブロック２２は、例えば運転者の眉間等を認識対象部位ＲＡ（図４参照）として設定する。そして画像処理ブロック２２は、認識対象部位ＲＡを追尾しつつ、この認識対象部位ＲＡの明るさ、即ち階調値を抽出する。

温度監視ブロック２６は、温度センサ３５と接続されている。温度センサ３５は、状態監視装置１００内に設けられており、当該装置１００に係る装置温度を検出する。温度監視ブロック２６は、温度センサ３５によって検出された装置温度を取得する。

条件設定ブロック２３は、画像処理ブロック２２によって抽出される階調値を調整するための制御を行う。具体的に、条件設定ブロック２３は、画像取得部２１による露光指示に基づいて、コントラストに優れた顔画像５０が撮影されるように、予め設定された制御テーブルに基づいて、撮像部１０における撮像条件を設定する。この撮像条件として、条件設定ブロック２３は、例えばゲイン値、露光時間、及び露光タイミング等を変更する。

ゲイン値は、撮像素子１１から出力される信号を増幅して出力する際の入出力の比である。ゲイン値は、認識対象部位ＲＡの階調値が変動してもほぼ一定の値に維持されるか、又は認識対象部位ＲＡの階調値が低くなる（暗くなる）に従って僅かに増加する。露光時間は、図５に示すように、一回の撮影時において露光状態が維持される露光期間の長さである。露光時間は、認識対象部位ＲＡの階調値が低くなるに従って、長く設定されるようになる。故に、図５の如く、環境光の多い環境下での露光期間の長さｅｔ_ｓは、環境光の少ない環境下での露光期間の長さｅｔ_ｌよりも、短く設定される。露光タイミングは、周期Ｔで撮影が実施されるように、露光期間の開始時ｔ_ｅｓを指示するものである。撮像部１０（図２参照）は、連続して顔画像５０を撮影する撮影モード（スナップショットモード）において、撮影の周期Ｔを適宜変更することができる。例えば、周期Ｔが約３３ミリ秒に設定されることで、毎秒３０フレームにて顔画像５０の撮影が実施される。以上の露光タイミングは、後述する発光タイミングと関連付けられている。

加えて図２示す条件設定ブロック２３は、撮像条件に合わせて、発光条件を設定する。この発光条件として、条件設定ブロック２３は、例えば発光時間及び発光タイミング等を変更する。第一実施形態における発光ダイオード１６（図２参照）の発光輝度は、図６に示すように、露光期間の開始時ｔ_ｅｓから終了時ｔ_ｅｆまで、当該期間の開始時ｔ_ｅｓの発光輝度以上となるよう、最大輝度に維持される。

発光時間は、一回の撮影時において発光状態が維持される発光期間の長さである。発光時間は、露光時間に応じて変化し、露光時間よりも長くなるよう設定される。発光タイミングは、発光期間の開始時ｔ_ｌｓを指示するものである。発光ダイオード１６が発光状態とされる発光期間の開始時ｔ_ｌｓは、露光期間の開始時ｔ_ｅｓよりも先行するように設定されている。発光期間の開始時ｔ_ｌｓが露光期間の開始時ｔ_ｅｓに対して先行する期間（以下、「先行期間」という）は、露光期間が短くされるに従い、長く設定される。故に、露光期間の長さがｅｔ_ｓである場合の先行期間の長さａｔ１は、露光期間の長さがｅｔ_ｌである場合の先行期間の長さａｔ２よりも、長く確保される。以上により、露光期間の開始時ｔ_ｅｓにおける発光ダイオード１６の発光輝度は、露光期間が短くなるに従い、高くなる。具体的には、先行期間がａｔ１である場合の露光期間の開始時ｔ_ｅｓにおける発光輝度は、最大輝度と同等（１００％）であるのに対し、先行期間がａｔ２である場合の発光輝度は、最大輝度の３０％程度となる。

尚、先行期間は、例えば０〜１００マイクロ秒程度の間で調整される。こうした発光タイミングに係る値は、投光部１５の回路における時定数、及び発光ダイオード１６の発光がオフ状態からオン状態へと遷移する際に要する電流の立ち上がり時間を考慮して設定されることが望ましい。また、図５において発光状態を示す波形は、実質的に発光ダイオード１６に流れる電流値を示している。

さらに図２示す条件設定ブロック２３は、温度監視ブロック２６の取得した装置温度に基づいて、発光条件、具体的には発光タイミングに設けられる先行期間を設定する。この先行期間は、図５に示すように、装置温度が高くなるに従い、短く設定される。故に、環境温度がＴ２である場合の先行期間の長さａｔ３は、環境温度がＴ２よりも低いＴ１である場合の先行期間の長さａｔ１よりも、短縮される。これにより、露光期間の開始時ｔ_ｅｓにおける発光ダイオード１６の発光輝度は、装置温度が高くなるに従い、低くなる。具体的に、先行期間がａｔ３である場合の発光輝度は、最大輝度の９０％程度となる。

図２に示す定格監視ブロック２７は、発光ダイオード１６の定格条件を記憶している。詳記すると、発光ダイオード１６には、定格条件として、周期Ｔ及び電流値に対応したオンデューティ比の最大値が規定されている。定格監視ブロック２７は、条件設定ブロック２３によって設定される発光条件につき、発光タイミング及び発光時間により決まるオンデューティ比が定格条件を満たしているか否かを監視する。定格監視ブロック２７は、条件設定ブロック２３の設定した発光条件が定格条件を超えていた場合、発光ダイオード１６の損傷を防ぐため、定格条件を超えない値に発光条件を変更させる。

撮像制御ブロック２４は、条件設定ブロック２３によって演算された制御値に基づく制御信号を生成し、撮像部１０に出力する。撮像制御ブロック２４にて用いられる制御値は、条件設定ブロック２３によって設定された撮像条件に則った値となる。発光制御ブロック２５は、条件設定ブロック２３によって演算された制御値に基づく制御信号を生成し、投光部１５に出力する。発光制御ブロック２５にて用いられる制御値は、条件設定ブロック２３によって設定された発光条件に則った値となる。

ここまで説明した発光制御の詳細を、図６〜８を用いてさらに説明する。図６〜８では、露光状態を示すタイムチャートの波形に、発光状態を示すタイムチャートの波形が重ね合わされている。加えて、発光状態を表す波形のオン状態及びオフ状態を示す位置は、露光状態を表す波形のオン状態及びオフ状態を示す位置に、それぞれ揃えられている。そして、図６〜８における各波形の形状は、図５における各波形の形状に対して、時間軸の方向に拡大されている。

また、発光状態を表す波形につき露光期間での時間積分によって得られる面積（図６〜８の濃いドットの領域を参照）を、露光状態を表す波形につき露光期間での時間積分によって得られる面積で除した値を、照明カバー率と定義する。後述するように、照明カバー率は、露光期間及び装置温度に応じて変化することとなる。

図６は、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ１である場合に、各波形を重ね合わせた図である。この場合、先行期間ａｔ１が長く確保されているので、発光ダイオード１６（図２参照）の発光輝度は、露光期間の開始時ｔ_ｅｓに先行して最大輝度に到達する。故に、露光状態のオン状態を示す領域の全体が、発光状態のオン状態を示す領域に覆われる。よって、照明カバー率は、実質的に１００％となる。

図７は、露光期間の長さがｅｔ_ｌであり且つ装置温度がｔ１である場合に、各波形を重ね合わせた図である。この場合、先行期間ａｔ２が上述の先行期間ａｔ１（図６参照）よりも短くされているので、発光ダイオード１６（図２参照）の発光輝度は、露光期間の開始後に最大輝度に到達する。故に、露光状態のオン状態を示す領域の一部は、発光状態のオン状態を示す領域から外れる。これにより、照明カバー率は、例えば９５％程度となる。

図８は、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ２である場合に、各波形を重ね合わせた図である。この場合、先行期間ａｔ３が上述の先行期間ａｔ１（図６参照）よりも短くされているので、発光ダイオード１６（図２参照）の発光輝度は、露光期間の開始後に最大輝度に到達する。こうして、露光状態のオン状態を示す領域の一部が発光状態のオン状態を示す領域から外れることにより、照明カバー率は、例えば９０％程度となる。

以上の説明から明らかなように、図２に示す投光部１５は、露光期間が短くされるに従い、照明カバー率が高くなるよう発光を制御される。加えて、投光部１５は、装置温度が高くなるに従い、照明カバー率が低くなるよう発光を制御される。

次に、ここまで説明したような撮像制御に関連付けられた発光制御を実現するために、画像取得部２１によって実施される処理を、図９に基づいて詳細に説明する。図９に示す処理は、車両１（図１参照）のイグニッションがオン状態とされることにより、画像取得部２１によって開始される。

Ｓ１０１では、発光制御ブロック２５及び撮像制御ブロック２４による制御に用いられる撮像部１０及び投光部１５の制御値を設定する。イグニッションがオン状態とされた後の初回のＳ１０１では、予め規定されたデフォルト値を使用する。一方で、二回目以降のＳ１０１では、前回のＳ１０９及びＳ１１１にて演算された制御値を使用する。そして、各制御ブロック２４，２５から出力される制御信号により、顔画像５０の撮影を指示し、Ｓ１０２に進む。このＳ１０１の処理により、投光部１５が照明光を出射させると共に、撮像部１０が、顔画像５０を生成して画像処理ブロック２２に出力する。

Ｓ１０２では、Ｓ１０１の指示に基づいて撮影された顔画像５０を取得し、Ｓ１０３に進む。Ｓ１０３では、Ｓ１０２にて取得された顔画像５０の画像処理を実施し、Ｓ１０４に進む。Ｓ１０４では、Ｓ１０３の画像処理において、運転者の顔認識に成功したか否かを判定する。Ｓ１０４にて、顔認識に成功しなかったと判定した場合には、Ｓ１０９に進む。一方で、Ｓ１０４にて、顔認識に成功したと判定した場合には、Ｓ１０５に進む。

Ｓ１０５では、Ｓ１０３にて実施された画像処理の結果に基づいて、運転者の顔の向き及び開眼度等を検出し、運転者の眠気の度合いを推定する。そして、これら顔の向き、開眼度、及び眠気の度合い等を定量的に評価できるよう数値化し、Ｓ１０６に進む。

Ｓ１０６では、Ｓ１０５にて演算した値と、予め設定された閾値とを比較することにより、警告を実施すべき値の有無を判定する。Ｓ１０６にて、警告する値が有り、脇見運転の兆候や居眠り運転の兆候等が検出されたと判定した場合には、Ｓ１０７に進む。Ｓ１０７では、アクチュエーション部９０を作動させるための警告処理を実施し、Ｓ１０８に進む。一方で、Ｓ１０６にて、警告する値が無いと判定した場合には、Ｓ１０８に進む。

Ｓ１０８では、Ｓ１０１にて設定された撮像部１０の制御値が適切か否かを判定する。具体的には、上述した認識対象部位ＲＡ（図４参照）の階調値が適切な範囲内にあるか否かを判定する。Ｓ１０８にて、撮像部１０の制御値が適切であると判定した場合には、Ｓ１０１に戻る。一方で、Ｓ１０８にて、撮像部１０の制御値が適切でないと判定した場合には、Ｓ１０９に進む。

Ｓ１０４の否定判定及びＳ１０８の否定判定に基づくＳ１０９では、次フレーム撮影時の撮像条件及び発光条件を演算する。即ち、上述した認識対象部位ＲＡの階調値が適切な範囲内となるように、投光部１５及び撮像部１０の制御値を決定する。

Ｓ１０９に続くＳ１１０では、温度センサ３５によって検出された装置温度を取得し、Ｓ１１１に進む。Ｓ１１１では、Ｓ１０９にて演算された撮像条件のうちの露光期間と、Ｓ１１１にて取得された装置温度とに基づいて、先行期間を決定する。そして、決定した先行期間から発光タイミング（発光期間の開始時ｔ_ｌｓ）を演算する。以上のＳ１０９及びＳ１１１にて決定された制御値は、次回のＳ１０１にて発光制御ブロック２５及び撮像制御ブロック２４に設定され、顔画像５０の撮影に反映される。

Ｓ１１１に続くＳ１１２では、車両１のイグニッションのオン状態が継続されているか否かを判定する。イグニッションがオフ状態とされたことで、Ｓ１１２にて否定判定をした場合には、処理を終了する。一方で、Ｓ１１２にて肯定判定をした場合には、Ｓ１０１に戻る。

ここまで説明した第一実施形態によれば、運転者の顔面に到達している環境光が強い場合に露光期間が短くされると、露光期間の開始時ｔ_ｅｓに出射される照明光の発光輝度は、高くされる。故に、顔画像５０の撮影時における環境光の影響は、低減可能となる。よって、環境光が運転者の顔面の一部のみを強く照明してしまい、適切なコントラストの顔画像５０が撮影できなくなる事態は、回避される。

一方で、運転者の顔面に到達している環境光が弱い場合に露光時間が長くされると、露光期間の開始時ｔ_ｅｓに出射される照明光の発光輝度は、低くされる。この場合、環境光が弱いので、顔面に照射される照明光の輝度が低くても、顔画像５０への環境光の影響は、僅かとなり得る。そして、露光期間の開始時ｔ_ｅｓにおける発光輝度が低く抑えられることにより、発光に伴う投光部１５の発熱の低減が実現可能となる。

したがって、発光に伴う発熱及び消費エネルギーを低減したうえで、顔画像５０を正しく撮影することが可能となるのである。

加えて第一実施形態によれば、露光期間の開始時ｔ_ｅｓから終了時ｔ_ｅｆまで、照明光の発光輝度は、高いまま維持される。こうして、露光期間の全体に亘って運転者の顔面に強い照明光が照射されることにより、顔画像５０の撮影時に環境光の影響を低減する効果は、さらに高い確実性をもって発揮される。

また第一実施形態では、先行期間を長くすることにより、露光期間の開始時ｔ_ｅｓにおける高い発光輝度が確保されている。こうした形態では、発光ダイオード１６の発光をオフ状態からオン状態へと遷移させる遷移期間（図６における電流の立ち上がり時間ｌｔ_ｓを参照）が、長く確保され得る。よって、発光ダイオード１６のオン状態及びオフ状態を切り替える際に発生する電気的なノイズを抑制しつつ、露光期間の開始時ｔ_ｅｓに発光輝度を高くする作動が、実現可能となる。

さらに第一実施形態のような発光ダイオード１６の累積点灯時間による寿命は、高温環境下での作動が継続された場合に、駆動部１７等を含め顕著に短縮させ得る要因となる。そこで、状態監視装置１００は、装置温度が高くなるに従って露光期間の開始時ｔ_ｅｓにおける発光輝度を抑えることにより、発光ダイオード１６及び駆動部１７等の負荷を軽減させている。こうした制御により、露光期間の開始時ｔ_ｅｓにおける発光輝度の低下を許容することで、投光部１５の長期に亘る確実な作動が、実現可能となる。

尚、第一実施形態において、車両１が特許請求の範囲に記載の「移動体」に相当し、撮像部１０が特許請求の範囲に記載の「撮像手段」に相当し、投光部１５が特許請求の範囲に記載の「発光手段」に相当し、条件設定ブロック２３及び撮像制御ブロック２４が協働で特許請求の範囲に記載の「撮像制御手段」に相当し、条件設定ブロック２３及び発光制御ブロック２５が協働で特許請求の範囲に記載の「発光制御手段」に相当し、温度センサ３５が特許請求の範囲に記載の「温度検出手段」に相当し、ステップＳ１０１が特許請求の範囲に記載の「撮像ステップ」及び「発光ステップ」に相当し、ステップＳ１０９が特許請求の範囲に記載の「撮像制御ステップ」に相当し、ステップＳ１１１が特許請求の範囲に記載の「発光制御ステップ」に相当する。

（第二実施形態）
図１０，１１に示される本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態では、発光状態をオン状態からオフ状態へと遷移させる消灯時の遷移期間につき、露光期間の終了時ｔ_ｅｆに対する立ち下げの開始タイミング（以下、「消灯タイミング」という）ｔ_ｌｆが、露光期間の長さ及び装置温度に応じて変更される。以下、図１０，１１を図６と比較しつつ、第二実施形態にて実施される発光制御の詳細を説明する。

第二実施形態において、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ１である場合、図６に示す第一実施形態と同様に、消灯タイミングｔ_ｌｆは、露光期間の終了後に規定される。これにより、露光期間の終了時ｔ_ｅｆまで発光ダイオード１６（図２参照）が最大輝度を維持するので、照明カバー率は、第一実施形態と同様に１００％となる。

図１０は、露光期間の長さがｅｔ_ｌであり且つ装置温度がｔ１である場合に、各波形を重ね合わせた図である。この場合、消灯タイミングｔ_ｌｆは、露光期間の終了時ｔ_ｅｆよりも先行するように規定される。故に、露光期間の終了時ｔ_ｅｆにおける発光輝度は、露光期間の開始時ｔ_ｅｓにおける発光輝度と同様に、例えば最大輝度の３０％程度となる。以上により、照明カバー率は、９０％程度となる。

図１１は、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ２である場合に、各波形を重ね合わせた図である。この場合、消灯タイミングｔ_ｌｆは、露光期間の終了時ｔ_ｅｆよりも先行するように規定されている。故に、露光期間の終了時ｔ_ｅｆにおける発光輝度は、例えば最大輝度の９０％程度となる。以上により、照明カバー率は、８５％程度となる。

以上の説明から明らかなように、第二実施形態の投光部１５（図２参照）は、露光期間が短くされるに従い、露光期間の終了時ｔ_ｅｆにおける発光輝度が高くなるよう発光を制御される。よって、第一実施形態と同様に、露光期間が短くなるに従って、照明カバー率は高くなる。故に、第二実施形態による状態監視装置でも、環境光が強い場合には、強い照明光の照射によって顔画像５０（図４参照）を正しく撮影し、且つ環境光が弱い場合には、発光を抑えることで発熱を低減させる、という顕著な効果が実現可能となるのである。

加えて第二実施形態の投光部１５（図２参照）は、装置温度が高くなるに従い、露光期間の終了時ｔ_ｅｆにおける発光輝度が低くなるよう発光を制御される。このように、装置温度が高温である場合に発光ダイオード１６（図２参照）及び駆動部１７（図２参照）等の負荷を軽減させる制御の実施によれば、第一実施形態と同様に、投光部１５の長期に亘る確実な作動が、実現可能となる。

また第二実施形態では、発光タイミング（ｔ_ｌｓ）に加えて消灯タイミングｔ_ｌｆも制御することにより、露光期間の長さに応じた照明カバー率の変更が、柔軟に実施できる。したがって、顔画像５０（図４参照）を正しく撮影しつつ、発熱を低減させるための発光制御及び撮像制御の実現性が、いっそう高められるのである。

（第三実施形態）
図１２，１３に示される本発明の第三実施形態は、第一実施形態の別の変形例である。第三実施形態では、発光ダイオード１６の発光状態をオフ状態からオン状態へと遷移させる点灯時の遷移期間、即ち、駆動部１７の駆動による電流の立ち上がり時間が、露光期間の長さ及び装置温度に応じて積極的に制御される。以下、図１２，１３と図６を比較しつつ、第三実施形態にて実施される発光制御の詳細を説明する。

図１２は、露光期間の長さがｅｔ_ｌであり且つ装置温度がｔ１である場合に、各波形を重ね合わせた図である。この場合の電流の立ち上がり時間ｌｔ_ｌは、露光期間の長さがｅｔ_ｌである場合の立ち上がり時間ｌｔ_ｓ（図６参照）よりも長くなるよう制御される。こうした制御により、露光期間の開始時ｔ_ｅｓにおける発光輝度は、最大輝度の３０％程度とされる。

図１３は、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ２である場合に、各波形を重ね合わせた図である。この場合の電流の立ち上がり時間ｌｔ_ｈは、装置温度がｔ２である場合の立ち上がり時間ｌｔ_ｓ（図６参照）よりも長くなるよう制御される。こうした制御により、露光期間の開始時ｔ_ｅｓにおける発光輝度は、最大輝度の９０％程度とされる。

以上の説明から明らかなように、第三実施形態の投光部１５（図２参照）は、露光期間が短くされるに従い、先行期間を長くされると共に、電流の立ち上がり時間を短くされる。こうして投光部１５は、露光期間の開始時ｔ_ｅｓおける発光輝度が高くなるよう発光を制御される。故に、第三実施形態による状態監視装置でも、環境光が強い場合には、強い照明光の照射によって顔画像５０を正しく撮影し、且つ環境光が弱い場合には、発光を抑えることで発熱を低減させる、という顕著な効果が実現可能となるのである。

加えて第三実施形態の投光部１５（図２参照）は、装置温度が高くなるに従い、露光期間の開始時ｔ_ｅｓにおける発光輝度が低くなるよう発光を制御される。このように、装置温度が高温である場合に発光ダイオード１６及び駆動部１７等の負荷を軽減させる制御の実施によれば、第一実施形態と同様に、投光部１５の長期に亘る確実な作動が、実現可能となる。

さらに第三実施形態において、露光期間が長い場合には、電流の立ち上がり時間が長く確保される。故に、発光ダイオード１６のスイッチング動作に伴う電気的なノイズの発生が抑制される。加えて、露光期間が短い場合には、電流の立ち上がり時間の短縮によって発光期間の短縮が可能となる。故に、発光に伴う発熱を低減させる効果がいっそう向上する。

（他の実施形態）
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記実施形態の変形例１では、発光ダイオード１６に印加する電流値を変更可能な駆動部が採用されている。これにより、図１４の如く、露光期間の長さがｅｔ_ｌである場合に、発光ダイオード１６に印加する電流値の最大ｉ_ｌは、露光期間の長さがｅｔ_ｓである場合に印加する最大電流値ｉ_Ｍａｘ（図６参照）よりも低くなるように制御される。こうした制御によっても、露光期間の開始時ｔ_ｅｓにおける発光輝度を、最大輝度の３０％程度とすることができる。

上記実施形態の変形例では、露光期間の終了時ｔ_ｅｆにおける発光輝度は、当該期間の開始時ｔ_ｅｓにおける発光輝度よりも低くされている。また上記実施形態では、露光期間の開始時ｔ_ｅｓから露光期間の終了時ｔ_ｅｆまでの間、発光輝度を決定する電流値は、最大となった後に一定で推移していた。しかし、電流値は、露光期間のうちで僅かに変動し、例えば露光期間の開始時ｔ_ｅｓの電流値を下回ってもよい。

また、図１５の如く、装置温度がｔ２である場合に、発光ダイオード１６に印加する電流値の最大ｉ_ｈは、装置温度がｔ１である場合に印加する最大電流値ｉ_Ｍａｘ（図６参照）よりも低くなるように制御される。こうした制御によっても、露光期間の開始時ｔ_ｅｓにおける発光輝度を、最大輝度の９０％程度とすることができる。尚、上記実施形態にて例示した各照明カバー率は、概念的な値であって、コントラストに優れた顔画像５０が撮影されるように、撮像部及び投光部の仕様に応じて適宜変更されてよい。

上記実施形態における撮像部の撮像素子には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサが適宜採用可能である。また、撮像素子によって検出される光の周波数領域は、近赤外領域に限定されず、可視光領域等であってもよい。さらに、発光ダイオードは、撮像素子の仕様に対応するように、放射する光の周波数領域、個数、及び配置等を適宜変更されることが望ましい。

また、撮像素子の露光を制御するシャッターは、撮像面の全ての画素を実質的に同時に露光状態とさせるグローバルシャッターであってもよく、又は、特定の画素列から順次露光状態とさせるローリングシャッターであってもよい。こうしたローリングシャッターを採用した形態であっても、撮像部に設定されたフレームレートが大きく且つ露光状態のオンデューティ比が小さければ、グローバルシャッターを採用した形態と同等の効果が発揮され得る。

上記実施形態の変形例では、露光期間の終了時ｔ_ｅｆにおける発光輝度は、当該期間の開始時ｔ_ｅｓにおける発光輝度よりも低くされている。また上記実施形態では、露光期間の開始時ｔ_ｅｓから露光期間の終了時ｔ_ｅｆまでの間、発光輝度を決定する電流値は、最大となった後に一定で推移していた。しかし、電流値は、露光期間のうちで僅かに変動し、例えば露光期間の開始時ｔ_ｅｓの電流値を下回ってもよい。

上記実施形態において、ステアリングコラム８１の上面とされていた撮像部１０及び状態監視装置１００の設置位置は、規定領域ＰＡの撮影が可能であれば、適宜変更されてよい。状態監視装置は、例えばインスツルメントパネルの上面に設置されていてもよく、又はサンバイザ近傍の天井部分に取り付けられていてもよい。さらに、撮像部は、状態監視装置の本体部分とは別体で、規定領域ＰＡの撮影に好適な位置に設けられていてもよい。

上記実施形態における規定領域ＰＡの決定方法は、適宜変更されてよい。例えば、規定領域ＰＡは、アイリプスの９５パーセンタイルを包含するように規定されてもよい。さらに、規定領域ＰＡの決定方法は、アイリプスから決定する方法に限定されない。例えば、人種、性別、及び年齢等が異なる複数の運転者を実際に運転席に着座させることにより、規定領域ＰＡを実験的に決定してもよい。こうした規定領域ＰＡは、運転動作に伴う顔面の移動を想定したうえで、規定されることが望ましい。

上記実施形態において、状態監視プログラムを実行した制御回路２０によって提供されていた複数の機能は、上述の制御装置と異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供されてよい。例えば、プログラムによらないで所定の機能を果たすアナログ回路によって、各機能ブロック及びサブ機能ブロックに相当する機能が提供されていてもよい。

上記実施形態では、車両に搭載されて、車両の運転者の状態を監視する状態監視装置に本発明を適用した例を示した。しかし、本発明は、車両用の所謂ドライバステータスモニタだけでなく、車両以外の船舶及び航空機等の各種移動体（輸送機器）にて、その操縦者の状態を監視する状態監視装置に適用することが可能である。

ＰＡ 規定領域、１ 車両（移動体）、１０ 撮像部（撮像手段）、１５ 投光部（発光手段）、２０ 制御回路、２３ 条件設定ブロック（撮像制御手段，発光制御手段）、２４ 撮像制御ブロック（撮像制御手段）、２５ 発光制御ブロック（発光制御手段）、３５ 温度センサ（温度検出手段）、５０ 顔画像、１００ 状態監視装置

Claims (7)

1. 移動体（１）に搭載され、前記移動体を操縦する操縦者の顔面を撮影した顔画像（５０）を用いて当該操縦者の状態を監視する状態監視装置であって、
   前記操縦者の顔面が位置する領域として予め規定された規定領域（ＰＡ）から入射する光を受光することにより、前記顔画像を生成する撮像手段（１０）と、
   前記撮像手段が露光状態とされる露光期間の長さを変更することにより、前記顔画像の階調値を調整する撮像制御手段（２３，２４，Ｓ１０９）と、
   前記撮像制御手段によって設定された前記露光期間に、前記規定領域に向けて照明光を継続して出射させる発光手段（１５）と、
   前記撮像制御手段によって前記露光期間が短くされるに従い、前記露光期間の開始時（ｔ_ｅｓ）における発光輝度が高くなるよう前記発光手段を制御する発光制御手段（２３，２５，Ｓ１１１）と、を備えることを特徴とする状態監視装置。
2. 前記発光制御手段は、
   前記発光手段が発光状態とされる発光期間の開始時（ｔ_ｌｓ）を、前記露光期間の開始時よりも先行させ、
   前記露光期間が短くされるに従い、前記発光期間の開始時が前記露光期間の開始時に対して先行する先行期間を長くすることを特徴とする請求項１に記載の状態監視装置。
3. 前記露光期間の終了時（ｔ_ｅｆ）における前記発光手段の発光輝度は、前記露光期間の開始時における発光輝度以上であることを特徴とする請求項１又は２に記載の状態監視装置。
4. 前記発光手段の発光輝度は、前記露光期間の開始時から終了時（ｔ_ｅｆ）まで、当該露光期間の開始時の発光輝度以上に維持されることを特徴とする請求項１〜３のいずれか一項に記載の状態監視装置。
5. 前記発光制御手段は、前記露光期間が短くされるに従い、前記発光手段の発光をオフ状態からオン状態へと遷移させる遷移期間を短くすることを特徴とする請求項１〜４のいずれか一項に記載の状態監視装置。
6. 前記状態監視装置に係る装置温度を検出する温度検出手段（３５）、をさらに備え、
   前記発光制御手段は、前記撮像制御手段によって検出される前記装置温度が高くなるに従い、前記露光期間の開始時における発光輝度が低くなるよう前記発光手段を制御することを特徴とする請求項１〜５のいずれか一項に記載の状態監視装置。
7. 移動体（１）に搭載され、前記移動体を操縦する操縦者の顔面を撮影した顔画像（５０）を用いて当該操縦者の状態を監視する処理をコンピュータに実行させる状態監視プログラムであって、
   前記操縦者の顔面が位置する領域として予め規定された規定領域（ＰＡ）から入射する光を受光することにより、前記顔画像を生成させる撮像ステップ（Ｓ１０１）と、
   前記撮像ステップにて露光状態とされる露光期間の長さを変更することにより、前記顔画像の階調値を調整する撮像制御ステップ（Ｓ１０９）と、
   前記撮像制御ステップによって設定された前記露光期間に、前記規定領域に向けて照明光を継続して出射させる発光ステップ（Ｓ１０１）と、
   前記撮像制御ステップによって前記露光期間が短くされるに従い、前記露光期間の開始時（ｔ_ｅｓ）における発光輝度が高くなるよう前記発光ステップを制御する発光制御ステップ（Ｓ１１１）と、をコンピュータに実行させることを特徴とする状態監視プログラム。

Images