JP2012156661A - 顔撮影システム - Google Patents

Abstract

【課題】光を照射する投光器にユーザが接近した場合にユーザの目に対する負担を軽減できる顔撮影システムを提供すること。
【解決手段】ユーザの顔を撮影するカメラは投光器に物体が接近した場合にボケが生じるレンズ構造を備えている。顔撮影システムは、投光条件、露光条件を設定し（Ｓ１１、Ｓ１２）、カメラが撮影した撮影画像を取得し（Ｓ１３）、その撮影画像から顔領域の認識を試みる（Ｓ１４）。認識できた場合には（Ｓ１５：Ｙｅｓ）、撮影画像中の顔領域や構造物の構造物領域のエッジ情報を抽出する（Ｓ１６〜Ｓ１８）。顔領域のエッジ情報を構造物領域のエッジ情報で正規化する（Ｓ１９）。正規化後のエッジ情報が所定の閾値未満か否かを判断する（Ｓ２０）。エッジ情報が閾値未満の場合には（Ｓ２０：Ｙｅｓ）、顔領域にボケが生じているとして、投光器からの光の照射を停止させ又は減光させる（Ｓ２１）。
【選択図】図４

Description

本発明は、ユーザの顔に光を照射して、そのユーザの顔を撮影する顔撮影システムに関する。

従来、車両のドライバの顔向きや眼の開度等を検出するために、ドライバを監視するドライバモニタシステムが知られている。ここで、図１３は、従来のドライバモニタシステム１００の概略構成を示している。図１３に示すように、ドライバモニタシステム１００では、昼夜に関わらずドライバの顔を明瞭に撮影するために、ドライバの顔が位置する領域１０１（照明領域）に近赤外光等の光を照射する投光器１０２が設けられる。また、投光器１０２で光が照射された照明領域１０１を撮影するカメラ１０３が設けられる。なお、カメラ１０３は撮影制御部１０４によってゲインや露光時間（露光タイミング）等が制御され、投光器１０２は投光制御部１０５によって光の強度や照射タイミング等が制御されている。カメラ１０３で撮影された撮影画像は画像認識部１０６に送られる。画像認識部１０６は、撮影画像に対して所定の画像処理を実行して、ドライバの顔に対応する顔領域を認識する。そして、認識されたドライバの顔領域の情報は、居眠り運転を防止するシステムや脇見運転を防止するシステム等の各種システム１０７に利用される。具体的には、各種システム１０７は、例えば顔領域に基づいてドライバの顔向きや目の開度等を検出して、その検出結果に応じた処理（例えば警告）を実行する。

このように、従来では、ドライバを監視する前提として、ドライバの顔が位置する所定の照明領域に光を照射する投光器（照明手段）と、その照明領域を撮影するカメラ（撮影手段）とを備える顔撮影システムが利用されている（特許文献１参照）。

特許第４４１９６０９号公報

ところで、従来の顔撮影システムでは、照明領域にドライバ等のユーザの顔が存在しないときや、存在するが顔を認識できないときでも投光器は光を照射し続ける。そのため、ユーザが突然投光器を覗き込んだ場合や、ユーザが投光器に接近し過ぎた場合には、投光器からの光によってユーザの目に負担がかかってしまうという問題点があった。特に、投光器から近赤外光が照射される場合には、可視光に比べて瞳孔の収縮が起こらないので、目に対する負担が大きい。

本発明は上記問題点に鑑みてなされたものであり、ユーザが突然投光器を覗き込んだ場合やユーザが投光器に接近し過ぎた場合に、ユーザの目に対する負担を軽減できる顔撮影システムを提供することを課題とする。

上記課題を解決するために、本発明は、ユーザの顔が位置する領域として予め定められた照明領域に光を照射する照明手段と、
その照明手段によって光が照射された照明領域を含む領域を撮影する撮影手段と、を備える顔撮影システムにおいて、
ユーザの顔が照明手段に接近したことを検出する接近検出手段と、
その接近検出手段が接近したことを検出した場合に、照明手段による光の照射を停止又は減光させる第一の照明制御手段と、を備えることを特徴とする。

これによれば、接近検出手段が、ユーザの顔が照明手段に接近したことを検出する。この場合に、第一の照明制御手段が照明手段による光を停止又は減光させるので、ユーザの目に対する負担を軽減できる。

また、本発明における接近検出手段は、撮影手段が撮影した撮影画像に基づいて接近したことを検出することを特徴とする。

これによれば、ユーザの顔が照明手段に接近するとそれに応じた撮影画像が撮像されることになるので、接近検出手段はその撮影画像に基づいてユーザの顔が照明手段に接近したことを検出できる。これによって、ユーザの顔の接近を検出するために他のセンサを設けなくてもよいので、顔撮影システムの構成を簡素にできる。

また、本発明における撮影手段は、照明手段に接近した物体を撮影した場合に撮影画像中の前記物体に対応する領域にボケを生じさせるレンズ構造を備え、
接近検出手段は、撮影画像中のエッジの特徴が反映されたエッジ情報を撮影画像から抽出するエッジ抽出手段と、
そのエッジ抽出手段が抽出したエッジ情報がボケのエッジ情報であるか否かを判断するエッジ判断手段と、を備えることを特徴とする。

これによれば、撮影手段は、照明手段に接近した物体を撮影した場合にその物体に対応する画像領域にボケを生じさせるレンズ構造を備えているので、ユーザが照明手段に接近した場合における撮影画像にボケを生じさせることができる。この場合、エッジ抽出手段が抽出するエッジ情報はボケが反映されたエッジ情報となる。この場合、エッジ判断手段が、抽出されたエッジ情報がボケのエッジ情報であると判断するので、ユーザの顔の接近を検出できる。このように、エッジ情報に基づいて接近を検出することで、ユーザの顔を認識できていない場合であっても、ユーザの顔の接近を検出できる。

また、本発明における撮影手段は、撮影手段に対して位置が変化しない周囲の構造物が写る形で照明領域を撮影するものであり、
エッジ判断手段は、構造物に対応する撮影画像中の領域である構造物領域のエッジ情報と比較することで、構造物領域以外の領域である不定領域のエッジ情報がボケのエッジ情報であるか否かを判断することを特徴とする。

これによれば、撮影手段は周囲の構造物も撮影するので、撮影画像にはその構造物に対応する構造物領域が含まれることになる。その構造物は撮影手段に対して位置が変化しないので、構造物領域のエッジ情報はボケが生じていないエッジ情報とされる。また、撮影画像の領域のうち構造物領域以外の不定領域にユーザの顔に対応する顔領域が含まれていることになるので、ユーザの顔が接近した場合にはその不定領域のエッジ情報が、ボケが反映されたエッジ情報とされる。この場合、不定領域のエッジ情報は、構造物領域のエッジ情報と異なる特徴を有することになる。これに対し、ユーザの顔が接近していない場合には、不定領域のエッジ情報は、構造物領域のエッジ情報と類似の特徴を有することになる。よって、エッジ判断手段は、構造物領域のエッジ情報と比較することで、不定領域のエッジ情報がボケのエッジ情報であるか否かを判断できる。このように、ボケが生じていない既知の領域（構造物領域）のエッジ情報と比較することで、撮影画像にボケが生じているか否か、ひいてはユーザの顔が接近している否かを正確に判断できる。

また、本発明におけるエッジ判断手段は、ボケが生じていない前回の撮影画像に対するエッジ情報と比較することで、今回のエッジ情報がボケのエッジ情報であるか否かを判断するとしてもよい。

今回の撮影画像にボケが生じている場合には、今回のエッジ情報は、ボケが生じていない前回の撮影画像に対するエッジ情報から変化する。これに対し、今回の撮影画像にボケが生じていない場合には、前回のエッジ情報からそれほど変化しない。よって、前回のエッジ情報と比較することで、今回のエッジ情報がボケのエッジ情報であるか否かを判断できる。

また、本発明は、撮影画像中からユーザの顔に対応する領域である顔領域を認識する顔認識手段を備え、
接近検出手段は、物体認識手段が顔領域を認識した場合にはその顔領域の大きさに基づいて接近したことを検出するとしてもよい。

これによれば、撮影画像中のユーザの顔に対応する顔領域の大きさは、ユーザの顔の照明手段への接近度合いに応じた大きさとされるので、顔認識手段が顔領域を認識した場合には、接近検出手段はその顔領域の大きさに基づいて顔の接近を検出できる。これにより、エッジ情報を使用しなくても、ユーザの顔の接近を検出できる。

また、本発明は、撮影手段の露光条件を制御する撮影制御手段と、
撮影手段の露光タイミングに合わせて照明手段による光の照射タイミングを制御する第二の照明制御手段と、
撮影画像に基づいて、撮影手段が障害物で隠蔽されたことを検出する隠蔽検出手段と、をさらに備え、
隠蔽検出手段が隠蔽されたことを検出した場合には、撮影制御手段が撮影手段の露光間隔を大きし、且つ／又は第一の照明制御手段が照明手段による光の照射を停止又は減光させることを特徴とする。

これによれば、第二の照明制御手段によって、照明手段による光の照射タイミングが撮影手段の露光タイミングと関連づけられる。つまり、照明手段は、撮影手段のシャッターが開いているとき、つまり撮影が行われている間は光の照射を行う。また、撮影手段が障害物に隠蔽される場合があり、この場合には、その障害物によってユーザの顔を撮影することができなくなってしまう。この場合には、撮影し続けたり照明し続けたりするのは無駄が大きい。本発明によれば、隠蔽検出手段がその撮影画像に基づいて隠蔽されたことを検出し、撮影制御手段が、撮影手段が隠蔽された場合には露光間隔を大きくする。さらに／または、第一の照明制御手段で光の照射を停止又は減光（投光量のパワーを低下）させてもよい。その露光間隔が大きくなったことにともなって照明手段による照明間隔も大きくされる。よって、無駄に光が照射されることによるエネルギーロスを抑制したり、ユーザの目に対する負担を軽減したりできる。さらに、投光器回路を構成する電子部品の劣化の進行を抑制できる。また、撮影手段が隠蔽された場合、撮影手段の撮影が停止されるわけではないので、その後に、撮影手段が撮影した撮影画像に基づいて、撮影手段の隠蔽が継続されているか解消されているかを判断できる。そして、解消されている場合には、元の露光タイミング及び照射タイミングを復帰させることができる。

また、本発明における接近検出手段は、照明手段の周囲に存在する物体の距離を計測する距離計測手段を備え、距離計測手段が計測した距離に基づいて、物体が照明手段に接近したことを検出するとしてもよい。なお、距離計測手段とは具体的には、超音波や測距可能なカメラ、レーザなどである。

これにより、撮影画像を使用しない場合でもユーザの顔等の物体の接近を検出できる。また、上記撮影画像による接近の検出と距離計測手段による接近の検出を併用することで、より一層精度良くユーザの顔の接近を検出できる。

また、本発明において、撮影画像の中央付近の画素全域に亘り白とび又は画素値が白とびに準ずる大きい値として予め定められた第一閾値以上になったことを検出する白とび検出手段を備え、
接近検出手段は、白とび検出手段が白とび又は画素値が第一閾値以上になったことを検出した場合に、ユーザの顔が照明手段に接近したとしてもよい。

ボケ状態を経ないで撮像手段に急激にユーザの顔が近づいた場合には、照明手段による光を強く反射した画像が取り込まれて、撮影画像の中央付近が真っ白（白とび状態）になることがある。本発明によれば、接近検出手段が白とび検出手段が白とびを検出した場合にも、ユーザの顔の接近と判断する。よって、ボケ状態を経ない急激な接近においても、第一の照明制御手段によって、照明手段による光の照射を停止又は減光させることができる。さらに、白とび検出手段は、白とびの他に、撮影画像の中央付近の画素値が、白とびに準ずる大きい値として予め定められた第一閾値以上になったことも検出し、接近検出手段は、この場合もユーザの顔の接近と判断する。よって、撮影手段の撮像モードがＨＤＲ（ハイダイナミックレンジモード）の如く白とびしにくい場合であっても、顔の接近を検出でき、照明を停止又は減光させることができる。

また、本発明において、撮影画像の中央付近の画素全域に亘り黒つぶれ又は画素値が黒つぶれに準ずる小さい値として予め定められた第二閾値以下になったことを検出する黒つぶれ検出手段を備え、
接近検出手段は、黒つぶれ検出手段が黒つぶれ又は画素値が第二閾値以下になったことを検出した場合に、ユーザの顔が照明手段に接近したとしてもよい。

上記の白とび状態からさらにユーザの顔が撮像手段に接近すると、撮像手段が塞がれたような状態となり暗く（黒つぶれ状態）なる。本発明によれば、黒つぶれ検出手段が黒つぶれを検出し、接近検出手段が黒つぶれが検出された場合にもユーザの顔の接近と判断するので、光の照射を停止又は減光させることができる。また、上記の白とびと同様に、撮影画像の中央付近の画素値が、黒飛びに準ずる小さい値として予め定められた第二閾値以下になった場合にもユーザの顔の接近とされる。よって、撮影手段の感度が高く黒つぶれしにくい場合であっても、照明を停止又は減光させることができる。

また、本発明において、前記顔が目であることを特徴とする。これによれば、ユーザの目に光が照射され、その目が照明手段に接近した場合に照明が停止又は減光されるので、ユーザの目に対する負担を軽減できる。

ドライバモニタシステム１の概略構成を示した図である。 カメラ２２のレンズ構造の断面を模式的に示した図である。 カメラ２２及び投光器２１の駆動タイミングを示した図である。 第一実施形態における接近検出処理の手順を示したフローチャートである。 カメラ２２で撮影された撮影画像を例示した図である。 エッジ処理後の横ソーベル画像を例示した図である。 エッジ情報としての輝度変化を例示した図である。 第二実施形態における接近検出処理の手順を示したフローチャートである。 エッジ処理後のエッジ２値化画像を例示した図である。 変形例３における接近検出処理の手順を示したフローチャートである。 第三実施形態におけるステア隠蔽検出処理の手順を示したフローチャートである。 第四実施形態におけるドライバモニタシステム２の概略構成を示した図である。 従来のドライバモニタシステム１００の概略構成を示した図である。

（第一実施形態）
以下、本発明に係る顔撮影システムの第一実施形態を説明する。なお、以下に説明する実施形態では、車両のドライバを監視するドライバモニタシステムに本発明の顔撮影システムを適用した例を説明する。ここで、図１は、本実施形態のドライバモニタシステム１の概略構成を示している。図１に示すように、ドライバモニタシステム１は、投光器２１、カメラ２２、撮影制御部２３、投光制御部２４、画像認識部２５、各種システム２６、投光判断部２７及びステアリングセンサ２８を備えている。

投光器２１は、ドライバの顔が位置する領域として予め定められた照明領域、具体的には運転席（図示外）周辺の領域１０（以下、運転席周辺領域という）に光を照射するものである。図１では、運転席周辺領域１０において、投光器２１に接近していないときのドライバの顔の位置Ｐ１と、投光器２１に接近したときのドライバの顔の位置Ｐ２とを図示している。なお、図１では、それら位置Ｐ１、Ｐ２を図示する便宜上ドライバの顔を横からみたときの運転席周辺領域１０を示しているが、実際は、後述する図５の画像で示される領域が運転席周辺領域１０とされる。投光器２１は、運転席周辺領域１０に向けて光を照射できる位置及び照射角に取り付けられ、具体的には例えば、運転席前方に設けられた車両を操舵するためのステアリング３５（図１参照）のステアリングコラムの上面に取り付けられている。なお、投光器２１は、後述するカメラ２２に組み込まれて設けられたとしてもよい。また、投光器２１は、昼夜に関わらず明瞭にカメラ２２で撮影できるようにしたり、ドライバに光を眩しく感じさせないようにしたりするために、近赤外光を含む波長の光を照射する投光器とされている。

投光器２１は投光制御部２４によって制御されている。すなわち、投光制御部２４は、カメラ２２で明瞭に撮影できるようにするために、カメラ２２の撮影条件やドライバの姿勢状態や周囲の環境光等に応じて、投光器２１から照射される光の強度や照射タイミング等を制御する部分である。具体的には、投光制御部２４は、国際電気標準会議が制定する国際規格であるＩＥＣ規格（ＩＥＣ ６２４７１）でＥｘｅｍｐｔレベルを満足するように、投光器２１から照射される光の強度や投光時間を制御している。また、投光制御部２４は、カメラ２２の露光タイミングに合わせて投光器２１のオンオフ（照射タイミング）を制御している。ここで、図３（ａ）はカメラ２２の露光タイミングを示しており、図３（ｂ）は投光器２１の照射タイミングを示している。図３に示すように、投光制御部２４は、カメラ２２のシャッターのパルス駆動と同期するように、パルス状に投光器２１のオンオフを切り替えている。すなわち、カメラ２２で撮影が行われている間は投光器２１から光が照射されるようになっている。

ただし、ここで言う「同期」は、投光器２１の照射の開始タイミング、終了タイミングとカメラ２２の露光の開始タイミング、終了タイミングとの完全一致だけを意味するものではない。投光器２１では、発光指示から設定値になるまでに立ち上がり遅れ時間があるため、露光タイミングより若干早めにその発光指示を出す場合がある。また、投光器２１では立ち下がり遅れもあるため、カメラ２２の露光終了後にもまだ発光（照射）している場合がある。これらの場合も、ここで言う「同期」に含まれる。本実施形態では、図３に示すように、投光器２１の照射は、カメラ２２の露光に先行して開始されている。また、投光器２１の照射の終了タイミングは、カメラ２２の露光の終了タイミングと同じとされている。よって、投光器２１の照射周期Ｔ１（終了タイミング間の時間）は、カメラ２２の周期Ｔ１と同じとされている。なお、投光器２１の照射の終了タイミングは、カメラ２２の露光の終了タイミングより若干遅れていたとしてもよい。なお、投光制御部２４は、状況によっては、カメラ２２の露光タイミングと同期しない発光（照射）を投光器２１にさせる場合もある。

カメラ２２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を有し、その撮像素子によって投光器２１から光が照射された運転席周辺領域１０を撮影するものである。そのカメラ２２は、運転席周辺領域１０を撮影できる位置、具体的には例えばステアリング３５（図１参照）のステアリングコラムの上面に取り付けられている。また、カメラ２２のレンズ構造は、ドライバの顔等の物体がカメラ２２（投光器２１）に一定以上接近場合に、その物体の画像領域にボケを生じさせる機能を有するレンズ構造とされている。以下、その機能を有するレンズ構造の設計の考え方を説明する。

ここで、図２は、カメラ２２のレンズ構造の断面を模式的に示した図である。図２に示すように、カメラ２２のレンズ構造は、複数のレンズ（ここでは２枚のレンズ２２１ａ、２２１ｂで説明する）から構成されたレンズ２２１、それらレンズ２２１ａ、２２１ｂの間に設けられたカメラ２２に取り込む光量を調整する絞り２２２、可視光をカットする可視光カットフィルタ（光学フィルタ）２２３、レンズ２２１等を固定するレンズフォルダ２２４、撮像素子（イメージャ）２２５、及びその撮像素子２２５を実装したプリント基板２２６から構成されている。なお、図２のレンズ構造はあくまで模式的に示したものであり、構成の順番などは図２に限定されるものではない。

一定距離内で物体の画像領域にボケを生じさせるレンズ構造を設計するために、被写界深度を考える。被写体にピントを合わせたとき無限遠が被写界深度の後端ぎりぎりに入る距離を過焦点距離としたときに、先ず、その過焦点距離を計算する。レンズの焦点距離をｆ、レンズの絞り値をＮ、許容錯乱円の直径をｃとすると、過焦点距離Ｈは次の式１で計算できる。

次に、任意の距離の被写体に焦点を合わせたときの被写界深度の前端と後端をそれぞれ計算する。被写体の距離をｓとすると、被写界深度の前端Ｄ_Ｎ、後端Ｄ_Ｆは次の式２、式３でそれぞれ計算できる。

上記式１〜式３から、被写界深度は、（ｉ）レンズの焦点距離が短いほど深くなり、（ｉｉ）絞りを絞り込む（Ｆ値が大きい）ほど深くなる、ということが分かる。よって、一定距離内で焦点をボケさせる方法としては、上記の逆で被写界深度が浅くなるようにレンズ構造の設計をすれば良い。具体的には、（１）レンズの絞り値（Ｆ値）を小さく（開く）設計する。また、（２）レンズの焦点距離を長くする。上記（１）に関して、具体的には例えばＦ値を２以下にする。通常はＦ値が小さいほど明るく撮像できるため好ましい面もあるが、レンズ設計が複雑でコストが高くなるためにあまりＦ値を小さくすることは実用的ではない。しかしながら、カメラ２２で撮影した撮影画像は画像処理目的で収集されるものであるため、レンズを多数枚使用して収差を極限まで減らすといったことは必要がなく、比較的に安価にＦ値を小さくできる。

以上より、レンズ（焦点距離）や絞りを調整することで、ピント曲線（ピントの合う範囲の前後において、被写体からの距離が遠のくにしたがってどのようにボケが増すか、具体的には範囲から外れた途端に急激にボケるのか、範囲から外れてもなかなかボケないのか）を制御することができる。本実施形態では、カメラ２２（投光器２１）から約２０ｃｍ以内の距離にユーザの顔が近づいた場合を「投光器２１への接近」であるとし、そのために、約２０ｃｍ以内の距離に物体が接近したときにボケが生じるようにレンズ２２１や絞り２２２（図２参照）が設計されている。

図１の説明に戻り、カメラ２２は撮影制御部２３によって制御されている。その撮影制御部２３は、各状況でドライバの顔を最適に撮影するように、カメラ２２のゲインやシャッタースピード等の露光制御する部分である。また、撮影制御部２３は、図３（ａ）で説明したように、カメラ２２の露光タイミングがパルス状になるように、カメラ２２のシャッターをパルス駆動している。そのパルスの周期Ｔ１（シャッターの駆動間隔、露光間隔）は、例えば一秒間に３０フレームの撮影画像が得られる周期とされている。また、撮影制御部２３は、撮影対象物体に応じて露光時間（シャッターが開いている時間）を適宜伸縮させている。

カメラ２２で撮影した撮影画像は画像認識部２５に送られる。その画像認識部２５は、受け取った撮影画像に対して所定の画像処理を実行することで、撮影画像中の領域のうちドライバの顔に対応する顔領域を認識する部分である。具体的には、例えば人間の顔を構成する目や鼻等の各パーツの特徴が反映された特徴量（各パーツの形状情報や輝度情報等）を予め記憶しておく。そして、画像認識部２５は、例えば、予め記憶されたその特徴量と、撮影画像中の各領域の特徴量とをマッチング処理することで、顔領域を認識する。ただし、画像認識部２５は、撮影画像の状態によっては、撮影画像にドライバの顔が写っているにも関わらず顔領域を認識できない場合があり、また撮影画像にドライバの顔が写っていない場合には当然に顔領域を認識できない。

また、画像認識部２５は、顔領域の他に、撮影画像中に含まれる車両のピラー、窓枠、ヘッドレスト、シート、天井等の構造物に対応する構造物領域も認識できる機能も有する。具体的には、例えば、顔領域の認識と同様に、構造物の特徴が反映された特徴量（構造物の形状情報や輝度情報等）を予め記憶しておく。そして、画像認識部２５は、撮影画像中の各領域の特徴量と予め記憶された構造物領域の特徴量とをマッチング処理することで、撮影画像中に含まれる構造物領域を認識する。なお、画像認識部２５は、構造物領域の特徴が他の領域（顔領域、風景領域）の特徴と異なっていることを利用すれば、構造物領域の特徴量を予め記憶しておかなくても、構造物領域を認識できる。なお、シートやヘッドレスト等の構造物はユーザの操作によって移動するし、本システム（カメラ２２）が取り付けられているステアリングコラムもユーザの操作によって移動するため、カメラ２２と構造物間の相対的位置関係は変化するが、それらは補正可能なものとする。

画像認識部２５で認識された顔領域の情報は、居眠り運転や脇見運転を防止するシステムやドライバの視線を検出するシステムなどの各種システム１０７に送られる。その各種システム１０７は、受け取った顔領域の情報に基づいて、必要に応じてドライバの顔向きを検出したり、目の開度を検出したり、視線を検出したりする。そして、必要に応じて警告等の処理を実行する。

投光判断部２７は、ドライバの顔が投光器２１に接近したか否かを判断し、接近した場合には投光器２１の光の照射を停止又は減光させる部分である。そのときの処理は、本発明の特徴でもあるので、後に詳細に説明する。また、カメラ２２で撮影された撮影画像や画像認識部２５による認識結果は、投光判断部２７に入力されるようになっている。なお、上記に説明した各処理部２３〜２７は、それぞれ、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含むマイクロコンピュータとして構成されている。そして、ＲＯＭに予め記憶された制御プログラムにしたがった処理をＣＰＵが実行することで、上記の各処理部２３〜２７の機能が実現されている。

ステアリングセンサ２８は、ステアリング３５の操作量（回転角度）を検出するセンサである。ステアリングセンサ２８として、例えばレゾルバ等の回転角検出センサが使用される。ステアリングセンサ２８で検出されたステアリング３５の操作量を示した信号は、投光判断部２７に入力されるようになっている。

次に、ドライバの顔が投光器２１に接近したか否かを判断し、接近した場合には投光器２１の光の照射を停止又は減光させる接近検出処理の詳細を説明する。図４は、その接近検出処理の手順を示したフローチャートである。なお、図４の接近検出処理は、ドライバモニタシステム１全体として行う処理である。また、図４の接近検出処理は、ドライバモニタシステム１の起動時、具体的には例えば車両のエンジン始動時に開始され、その後、カメラ２２の撮影タイミング（露光タイミング）に合わせて繰り返し実行される。

先ず、投光制御部２４が、投光器２１による投光（光の照射）の投光条件（光の強度や照射タイミングなど）を設定する（Ｓ１１）。その投光条件として、システム１の起動後初回ではデフォルトの投光条件が設定され、初回以降の回では、前回のカメラ２２による撮影画像の状態等が考慮された投光条件が設定される（Ｓ１１）。そして、投光制御部２４は、設定した投光条件にしたがって、投光器２１から光を照射させる（Ｓ１１）。次いで、撮影制御部２３が、カメラ２２の露光条件（ゲイン、露光時間、露光タイミングなど）を設定する（Ｓ１２）。その露光条件として、システム１の起動後初回ではデフォルトの露光条件が設定され、初回以降の回では、前回のカメラ２２による撮影画像の状態等が考慮された露光条件が設定される（Ｓ１２）。

次いで、撮影制御部２３がカメラ２２で運転席周辺領域１０を撮影させる（Ｓ１３）。図５は、Ｓ１３で撮影した撮影画像の一例を示している。具体的には、図５（ａ）は、ドライバの顔が投光器２１に接近していない場合（図１において、投光器２１から離れた位置Ｐ１にドライバの顔が位置している場合）の撮影画像３００の一例を示している。また、図５（ｂ）は、ドライバの顔が投光器２１に接近した場合（図１において、投光器２１から近い位置Ｐ２にドライバの顔が位置している場合）の撮影画像４００の一例を示している。なお、図５（ｂ）において、図５（ａ）と変更がない部分には同一符号を付している。

図５（ａ）に示すように、ドライバの顔が投光器２１に接近していない場合には、撮影画像３００はピントが合った画像とされる。また、撮影画像３００には、ドライバの顔に対応する顔領域３０１が含まれる。その顔領域３０１には、ドライバの顔の輪郭に対応する輪郭線３０１ａ、目に対応する目領域３０１ｂ、鼻に対応する鼻領域３０１ｃ、口に対応する口領域３０１ｄなど、顔の各パーツに対応する領域が含まれている。また、撮影画像３００には、車両のＢピラーに対応するＢピラー領域３０２や天井に対応する天井領域３０３、窓枠に対応する窓枠領域３０４など、車両の構造物に対応する構造物領域も含まれている。

これに対して、図５（ｂ）に示すように、ドライバの顔が投光器２１に接近した場合には、撮影画像４００にはドライバの顔に対応する顔領域４０１が含まれているが、その顔領域４０１にボケが生じている。つまり、顔領域４０１に含まれている、ドライバの顔の輪郭に対応する輪郭線４０１ａ、目に対応する目領域４０１ｂ、鼻に対応する鼻領域４０１ｃ、口に対応する口領域４０１ｄなどの顔の各パーツに対応する領域がボケている（エッジ強度が弱くされている）。また、撮影画像４００には、車両のＢピラーに対応するＢピラー領域３０２、天井に対応する天井領域３０３、窓枠に対応する窓枠領域３０４などの構造物領域が含まれている。車両の構造物は、投光器２１（カメラ２２）に対して位置が不変とされているので、図５（ｂ）の構造物領域は、図５（ａ）の構造物領域と同じとされる。ただし、図５（ａ）と図５（ｂ）では顔に対する最適露光条件が異なるため構造物領域の位置は変わらないが画素値は異なっている。なお、カメラ２２には可視光カットフィルタ２２３（図２参照）が設けられているので、撮影画像３００、４００は白黒写真とされている。これら撮影画像３００、４００を図４の接近検出処理の対象として、以下説明する。

Ｓ１３で取得された撮影画像は画像認識部２５に送られる。そして、画像認識部２５が、撮影画像中のドライバの顔に対応する顔領域や車両の構造物に対応する構造物領域の認識を試みる認識処理を実行する（Ｓ１４）。具体的には、上記したように例えば予め用意された各パーツの特徴量と撮影画像中の各領域の特徴量とのマッチング処理を実行することで、各領域の認識を試みる。図５（ａ）、（ｂ）の撮影画像３００、４００の場合では、顔領域３０１、４０１や、構造物領域としてのＢピラー領域３０２、天井領域３０３、窓枠領域３０４を認識するための認識処理を実行することになる（Ｓ１４）。その認識処理による認識結果、具体的には、認識できたか否かの情報、認識できた場合には認識した各領域の情報は、投光判断部２７に送られる。また、認識できたか否かに関わらず、撮影画像も投光判断部２７に送られる。

なお、Ｓ１４において、図５（ａ）の撮影画像３００には、ボケていない顔領域３０１が含まれているが、画像認識部２５は、例えば前回までは顔領域３０１が含まれておらず今回突然に含まれるようになった場合など、状況によっては顔領域３０１を認識できない場合もある。反対に、図５（ｂ）の顔領域４０１はボケているので、顔領域４０１を認識できない場合が多いと考えられるが、例えば投光器２１から約２０ｃｍの距離にドライバの顔が接近した場合であって顔領域４０１のボケの程度が小さいときには、画像認識部２５が顔領域４０１を認識できる場合もあり得る。なお、以下では、図５の撮影画像３００、４００から顔領域３０１、４０１を認識できたとして説明する。

次いで、投光判断部２７は、画像認識部２５から送られた認識結果に基づいて、撮影画像から顔領域を認識できたか否かを判断する（Ｓ１５）。認識できた場合には（Ｓ１５：Ｙｅｓ）、処理をＳ１６に進める。Ｓ１６では、投光判断部２７は、撮影画像に含まれるエッジを抽出する所定のエッジ処理を撮影画像に対して実行する（Ｓ１６）。そのエッジ処理として、具体的には、撮影画像に対してソーベルフィルタでフィルタリングをする（Ｓ１６）。ここで、図６（ａ）は、図５（ａ）の撮影画像３００に対してソーベルフィルタをかけたときに得られるソーベル画像３１０を示している。より具体的には、図６（ａ）では、図５（ａ）の撮影画像３００の横方向のエッジを検出するソーベルフィルタをかけたときに得られる横ソーベル画像３１０を示している。同様に、図６（ｂ）は、図５（ｂ）の撮影画像４００に対する横ソーベル画像４１０を示している。なお、図６（ｂ）において、図６（ａ）と変更がない部分には同一符号を付している。

図６（ａ）、（ｂ）に示すように、横ソーベル画像３１０、４１０は、撮影画像３００、４００に含まれる各エッジに対応するエッジ線が強調（抽出）された画像とされる。より具体的には、図６（ａ）の横ソーベル画像３１０には、図５（ａ）の顔領域３０１に対応する領域３１１（顔領域）が含まれている。その顔領域３１１には、図５（ａ）の顔領域３０１の輪郭線３０１ａに対応するエッジ３１１ａ、目領域３０１ｂに対応するエッジ３１１ｂ、鼻領域３０１ｃに対応するエッジ３１１ｃ及び口領域３０１ｄに対応するエッジ３１１ｄが含まれている。また、横ソーベル画像３１０には、図５（ａ）のＢピラー領域３０２に対応する領域３１２、天井領域３０３に対応する領域３１３及び窓枠領域３０４に対応する領域３１４などの構造物領域も含まれている。また、図６（ａ）のＢピラー領域３１２にはＢピラーのエッジ３１２ａが含まれており、窓枠領域３１４には窓枠のエッジ３１４ａが含まれている。

これに対して、図６（ｂ）の横ソーベル画像４１０には、図５（ｂ）の顔領域４０１に対応する領域４１１が含まれることになるが、その顔領域４１１は、図６（ｂ）の紙面上ではほとんど確認できない。つまり、顔領域４１１のエッジ強度が、図６（ａ）の顔領域３１１のエッジ強度に比べて弱くされている。また、横ソーベル画像４１０には、車両のＢピラーに対応するＢピラー領域３１２、天井に対応する天井領域３１３、窓枠に対応する窓枠領域３１４などの構造物領域も含まれている。図６（ｂ）の構造物領域は、図６（ａ）の構造物領域と同じとされる。なお、Ｓ１６では、横ソーベル画像の他に、撮影画像の縦方向のエッジを検出するソーベルフィルタで撮影画像をフィルタリングしたり、斜め方向のエッジを検出するソーベルフィルタで撮影画像をフィルタリングしたりして、各方向のエッジが抽出されたソーベル画像を得るようにしても良い。

次いで、投光判断部２７は、Ｓ１６で得られたソーベル画像の領域のうち顔領域のエッジの特徴が反映されたエッジ情報Ｅ１をソーベル画像から抽出する（Ｓ１７）。なお、Ｓ１７では、画像認識部２５が認識した顔領域に代えて、既知の構造物領域以外の領域（不定領域）を顔領域としても良い。図６（ａ）、（ｂ）の横ソーベル画像３１０、４１０の場合では、Ｂピラー領域３１２、天井領域３１３、窓枠領域３１４を含む構造物領域以外の領域（顔領域３１１、４１１）のエッジ情報Ｅ１が抽出されることになる。

抽出するエッジ情報Ｅ１として、具体的には顔領域の輝度変化を示した情報を抽出する（Ｓ１７）。図６（ａ）、（ｂ）の横ソーベル画像３１０、４１０では水平方向のエッジが強調されているので、この場合には垂直方向に並んだ画素間の輝度変化を抽出する。ここで、図７（ａ）は、図６（ａ）の矢印５１に沿った輝度値の変化を示したライン６０を示している。なお、そのライン６０が顔領域のエッジ情報Ｅ１に相当する。また、図７（ｂ）は、図６（ｂ）の矢印５１に沿った輝度値の変化を示したライン８０（エッジ情報Ｅ１）を示している。なお、図６（ｂ）の矢印５１は、図６（ａ）の矢印５１と同じ位置に引かれた矢印とされる。

図７（ａ）に示すように、輝度変化のライン６０のうち図７（ａ）に示す領域６１の部分が大きく変化している。より具体的には、領域６１（エッジ周辺）のライン６０は、振幅（最大の輝度値と最小の輝度値の差）が大きくされたり、傾きが大きくされたりしている。これは、この領域６１の輝度値は、図６（ａ）の目領域のエッジ３１１ｂに対応する輝度値とされるためである。このライン６０の振幅や傾きは、顔領域３１１のエッジの特徴（エッジ強度）が反映された値とされる。これに対して、図７（ｂ）のライン８０は、図７（ｂ）に示す領域８１（目領域のエッジに対応する）で変化しているものの、その変化の程度（ライン８０の振幅や傾き）は、図７（ａ）のライン６０のそれと比べると小さくされている。これは、顔領域４１１のエッジ強度が弱くされたためである。

なお、以上では図６（ａ）、（ｂ）の矢印５１に沿った輝度変化Ｅ１を例に挙げて説明したが、Ｓ１７では、顔領域の全領域の輝度値の輝度変化Ｅ１を抽出するのが好ましい。また、以上では横ソーベル画像３１０、４１０の顔領域３１１、４１１の輝度変化Ｅ１を例に挙げて説明したが、Ｓ１７では、縦ソーベル画像、斜めソーベル画像など各方向のソーベル画像に対して、顔領域の輝度変化Ｅ１を抽出しても良い。この際、縦ソーベル画像に対しては水平方向に沿った輝度変化Ｅ１を抽出するなど、ソーベルフィルタのフィルタリングの方向と直交する方向に沿った輝度変化Ｅ１を抽出するのが好ましい。

次いで、投光判断部２７は、Ｓ１６で得られたソーベル画像の領域のうち構造物領域のエッジの特徴が反映されたエッジ情報Ｅ２をソーベル画像から抽出する（Ｓ１８）。具体的には、エッジ情報Ｅ２として、先のＳ１７で説明した顔領域のエッジ情報Ｅ１と同様に、構造物領域の輝度変化を抽出する。また、エッジ情報Ｅ２の抽出の方法は、先のＳ１７で説明した方法と同じである。ここで、図７（ｃ）は、図６（ａ）、（ｂ）の矢印５２に沿った輝度値の変化を示したライン７０を示している。なお、そのライン７０が構造物領域のエッジ情報Ｅ２に相当する。矢印５２は、横ソーベル画像３１０、４１０の窓枠領域３１４のエッジ３１４ａやＢピラー領域３１２のエッジ３１２ａをまたいでいるので、ライン７０は、それらエッジ３１４ａ、３１２ａ周辺で大きく変化している。具体的には、窓枠領域３１４のエッジ３１４ａに対応する図７（ｃ）に示す領域７１及びＢピラー領域３１２のエッジ３１２ａに対応する領域７２で、ライン７０の振幅や傾きが大きく変化している。このライン７０の振幅や傾きは、構造物領域（厳密には窓枠領域３１４やＢピラー領域３１２）のエッジの特徴（エッジ強度）が反映された値とされる。

なお、このＳ１８でも、Ｓ１７と同様に、既知の構造物領域の全領域の輝度変化Ｅ２を抽出するのが好ましく、また、各方向のソーベル画像のそれぞれに対して構造物領域の輝度変化Ｅ２を抽出するのが好ましい。

次いで、投光判断部２７は、Ｓ１７で抽出された顔領域のエッジ情報Ｅ１（輝度変化）がボケのエッジ情報であるか否かを判断するために、そのエッジ情報Ｅ１とボケのエッジ情報ではない構造物領域のエッジ情報Ｅ２とを比較する（Ｓ１９）。具体的には、顔領域のエッジ情報Ｅ１を構造物領域のエッジ情報Ｅ２で正規化する（Ｓ１９）。つまり、ボケてないエッジ情報Ｅ２を基準とした顔領域のエッジ情報Ｅ０を計算する（Ｓ１９）。例えば、正規化後のエッジ情報Ｅ０の値を「０〜１」の範囲で表し、「１」に近いほどそれらエッジ情報Ｅ１、Ｅ２が互いに近似しているとしたとき、図６（ａ）の場合では顔領域３１１がボケていないので、正規化後の顔領域３１１のエッジ情報Ｅ０は「１」に近い値とされる。これに対して、図６（ｂ）の場合では顔領域４１１がボケているので、正規化後の顔領域４１１のエッジ情報Ｅ０は「１」から離れた値とされる。

次いで、投光判断部２７は、正規化後のエッジ情報Ｅ０が所定の閾値Ｅｔｈ未満か否かを判断することで、ドライバの顔が投光器２１に接近したか否かを判断する（Ｓ２０）。その閾値Ｅｔｈとして、ボケのエッジ情報Ｅ０とボケてないエッジ情報Ｅ０との境界値に設定されている。エッジ情報Ｅ０が閾値Ｅｔｈ以上の場合には（Ｓ２０：Ｎｏ）、エッジ情報Ｅ０はボケてないエッジ情報であるとして、つまりドライバの顔が投光器２１に接近していないとして、Ｓ１１の処理に戻る。この場合には、通常時の光の強度が維持されて、Ｓ１１において、次回の投光条件が設定される。図６（ａ）の場合では、エッジ情報Ｅ０が閾値Ｅｔｈ以上とされて（Ｓ２０：Ｎｏ）、通常時の光の強度が維持されることになる。

これに対して、エッジ情報Ｅ０が閾値Ｅｔｈ未満の場合には（Ｓ２０：Ｙｅｓ）、処理をＳ２１に進める。この場合には、エッジ情報Ｅ０はボケのエッジ情報であり、ドライバの顔が投光器２１に接近しているとして、投光制御部２４は、投光器２１の光の照射を停止させ又は減光させる（Ｓ２１）。減光させる場合には、例えば、通常時（顔が接近していない場合）の光の強度から所定の割合（例えば８０％オフ）だけ減じた光の強度にする。図６（ｂ）の場合では、エッジ情報Ｅ０が閾値Ｅｔｈ未満とされて（Ｓ２０：Ｙｅｓ）、投光器２１の光の照射が停止され又は減光されることになる（Ｓ２１）。これによって、ドライバの目に対する負担を軽減できる。その後、図４のフローチャートの処理を終了する。この場合、例えば、一定期間経過後に、図４の処理に復帰させる。

ところで、物体（ドライバの顔）がカメラ２２に急激に接近した場合には、カメラ２２による撮影画像がボケ状態を経ない場合がある。この場合には、急激に接近した物体に投光器２１からの光が強く反射される。カメラ２２は、その強く反射された光に基づいて撮影画像を生成するので、その撮影画像の中央付近（物体の画像領域に対応する）が真っ白（白とび状態）になる。また、物体がさらにカメラ２２に近づくと、カメラ２２がその物体で塞がれたような状態となり、撮影画像の中央付近が暗く（黒つぶれ状態）になる。これらも場合も投光器２１からの光の照射を停止又は減光させるのが望ましい。そこで、Ｓ１５において、画像認識部２５が撮影画像から顔領域を認識できなかった場合には（Ｓ１５：Ｎｏ）、処理をＳ２２に進める。

Ｓ２２では、投光判断部２７は、Ｓ１３で取得した撮影画像の中央付近全域に亘り白とびが検出されたか否かを判断する（Ｓ２２）。具体的には、例えば、２５６階調で画素値を表した場合、Ｓ２２では、撮影画像中の所定の中央付近全域に亘って画素値が飽和している（例えば２５６）かを判断する（Ｓ２２）。なお、白とびの検出対象となる所定の中央付近領域はどの大きさの領域に設定してもよい。また、カメラ２２の撮像モードがＨＤＲ（ハイダイナミックレンジモード）の如く白とびしにくい場合がある。そこで、この場合には、Ｓ２２において、上記の所定の中央付近領域の全部の画素値が、所定の閾値以上（白とびに準ずる程度に大きな画素値、本発明の「第一閾値」に相当）になったか否かを判断してもよい（Ｓ２２）。

所定の中央付近領域の全部の画素値が飽和している場合には（Ｓ２２：Ｙｅｓ）、白とびが検出されたとして、つまり、ドライバの顔等の物体が急激に投光器２１（カメラ２２）に接近したとして、投光器２１からの光の照射を停止させ又は減光させる（Ｓ２１）。これに対して、白とびが検出されなかった場合には（Ｓ２２：Ｎｏ）、処理をＳ２３に進める。

Ｓ２３では、投光判断部２７は、Ｓ１３で取得した撮影画像の中央付近全域に亘り黒つぶれが検出されたか否かを判断する（Ｓ２３）。具体的には、例えば、撮影画像中の所定の中央付近全域に亘って画素値が０に近くなるかを判断する（Ｓ２３）。なお、Ｓ２２の所定の中央付近領域とＳ２３の所定の中央付近領域は、同じ領域であっても異なる領域であっても良い。実際は黒つぶれと言っても画素値が完全に０になるわけではなく、熱的ノイズや撮像素子の黒レベル補正により小さな値を持つ場合がある。また、カメラ２２の感度が高く黒つぶれしにくい場合があるので、この場合には、上記の所定の中央付近領域の全部の画素値が、所定の閾値以下（黒つぶれに準ずる程度に小さな画素値、本発明の「第二閾値」に相当）になったか否かを判断してもよい（Ｓ２３）。

所定の中央付近領域の全部の画素値が０に近くなる場合には（Ｓ２３：Ｙｅｓ）、黒つぶれが検出されたとして、つまり、ドライバの顔等の物体が急激に投光器２１（カメラ２２）に接近したとして、投光器２１からの光の照射を停止させ又は減光させる（Ｓ２１）。これに対して、黒つぶれが検出されなかった場合には（Ｓ２３：Ｎｏ）、Ｓ１１の処理に戻る。この場合には、通常時の光の強度が維持されて、Ｓ１１において、次回の投光条件が設定される。

以上説明したように、本実施形態では、撮影画像にボケが生じているか否かを判断することで、ドライバの顔が接近したか否かを判断するので、ドライバの顔の接近を正確に検出できる。また、ボケが生じていない構造物領域のエッジ情報Ｅ２を基準として、顔領域のエッジ情報Ｅ０を計算しているので、そのエッジ情報Ｅ０がボケのエッジ情報であるか否かを正確に判断できる。また、撮影画像が白とび又は黒つぶれになった場合にもドライバの顔等の物体の接近と判断しているので、ドライバの顔が投光器２１に急激に接近して撮影画像にボケが生じない場合であっても、照射を停止又は減光することができる。

（第二実施形態）
次に、本発明に係る顔撮影システムの第二実施形態を上記第一実施形態と異なる部分を中心にして説明する。本実施形態のドライバモニタシステムの構成は、図１のドライバモニタシステム１と同じである。また、本実施形態では、ドライバの顔が投光器２１に接近したか否かを判断する接近検出処理において、撮影画像にボケが生じているか否かの判断方法が第一実施形態のそれと異なっている。以下、本実施形態の接近検出処理について説明する。ここで、図８は、本実施形態の接近検出処理の手順を示したフローチャートである。なお、図８において、図４の接近検出処理と変更がないステップには同一符号を付している。図８の接近検出処理では、図４のＳ１６〜Ｓ２０の処理に代えて、Ｓ２４〜Ｓ２７の処理が実行される点が、図４の接近検出処理と異なっている。

Ｓ１５で画像認識部２５が撮影画像の顔領域を認識できた場合には（Ｓ１５：Ｙｅｓ）、処理をＳ２４に進める。Ｓ２４では、投光判断部２７は、Ｓ１３で取得された撮影画像に対して、撮影画像に含まれるエッジを抽出する所定のエッジ処理を実行する（Ｓ２４）。そのエッジ処理が、第一実施形態のＳ１６のエッジ処理と異なっている。具体的には、エッジ処理として、所定の強度以上のエッジの画素値を「１」とし、それ以外の画素値を「０」とするエッジ二値化処理を実行する（Ｓ２４）。ここで、図９（ａ）は、図５（ａ）の撮影画像３００（ドライバの顔が投光器２１に接近しておらずボケが生じていない撮影画像）に対してエッジ２値化処理を実行して得られたエッジ２値化画像３２０を示している。図９（ａ）に示すように、エッジ２値化画像３２０には、図５（ａ）の顔領域３０１に対応する領域３２１が含まれている。その顔領域３２１には、顔領域３０１の輪郭に対応するエッジ３２１ａ、目領域３０１ｂに対応するエッジ３２１ｂ、鼻領域３０１ｃに対応するエッジ３２１ｃ、口領域３０１ｄに対応するエッジ３２１ｄなど、所定の強度以上のエッジが現されている。なお、エッジ２値化画像３２０には、Ｂピラーのエッジ３２２など、構造物領域のエッジも含まれている。以下、図９（ａ）のエッジ２値化画像３２０を図８の処理の対象として説明する。

次いで、投光判断部２７は、エッジ２値化画像の顔領域に含まれるエッジの総和Ｅ３（エッジ情報）を算出する（Ｓ２５）。具体的には、画素値が「１」とされる画素数をカウントする（Ｓ２５）。なお、Ｓ２５では、既知の構造物領域以外の領域（不定領域）を顔領域として、Ｓ２５の処理を実行してもよい。図９（ａ）の場合では、顔領域３２１のエッジ３２１ａ〜３２１ｄを含むエッジの総和Ｅ３が算出されることになる。

次いで、Ｓ２５で算出されたエッジの総和Ｅ３が、ドライバの顔が投光器２１に接近していないときにおけるエッジの総和Ｅ４からどの程度変化したかを示した変化度ΔＥ（＝Ｅ３／Ｅ４）を算出する（Ｓ２６）。なお、変化度ΔＥの基準となるエッジの総和Ｅ４は、例えば、以前に図８の処理を実行したときにドライバの顔が接近していないと判断された場合におけるＳ２５で算出したエッジの総和Ｅ３を使用する。図９（ａ）の場合では、ドライバの顔が接近していない場合のエッジ２値化画像３２０とされているので、エッジの総和Ｅ３は基準の総和Ｅ４からそれほど変化していない。よって、変化度ΔＥは「１」に近い値とされる。

次いで、投光判断部２７は、Ｓ２６で算出された変化度ΔＥが所定の閾値ΔＥｔｈ未満か否かを判断する（Ｓ２７）。その閾値ΔＥｔｈは、ボケが生じているときの変化度ΔＥとボケが生じていないときの変化度ΔＥとの境界値に設定されている。変化度ΔＥが閾値ΔＥｔｈ以上の場合には（Ｓ２７：Ｎｏ）、顔領域にボケが生じていないとして、つまりドライバの顔が投光器２１に接近していないとして、Ｓ１１の処理に戻る。この場合には、通常時の光の強度が維持されて、Ｓ１１において、次回の投光条件が設定される。図９（ａ）の場合では、変化度ΔＥが閾値ΔＥｔｈ以上とされて（Ｓ２７：Ｎｏ）、通常時の光の強度が維持されることになる。

これに対して、変化度ΔＥが閾値ΔＥｔｈ未満の場合には（Ｓ２７：Ｙｅｓ）、処理をＳ２１に進める。この場合には、顔領域にボケが生じているとして、つまりドライバの顔が投光器２１に接近しているとして、投光器２１の光の照射を停止させ又は減光させる（Ｓ２１）。その後、図８のフローチャートの処理を終了する。この場合、例えば、一定期間経過後に、図８の処理に復帰させる。なお、その他の処理は、図４と同じであるので、説明を割愛する。

以上では、図９（ａ）を参照して、ドライバの顔が投光器２１に接近していない例を挙げつつ図８の処理を説明したが、次に、ドライバの顔が投光器２１に接近した例として、先の図５（ｂ）の撮影画像４００を例に挙げて図８の処理を説明する。その撮影画像４００に対して、画像認識部２５が顔領域４０１を認識できた場合には（Ｓ１５：Ｙｅｓ）、次いで、撮影画像４００に対してエッジ２値化処理が実行される（Ｓ２４）。ここで、図９（ｂ）は、そのエッジ２値化処理によって得られたエッジ２値化画像４２０を示している。なお、図９（ｂ）において、図９（ａ）と変更がない部分には同一符号を付している。図９（ｂ）に示すように、エッジ２値化画像４２０には顔領域４２１が含まれているものの、その顔領域４２１には、目領域４０１ｂ（図５（ｂ）参照）の一部のエッジ４２１ｂを除いて顔の各パーツのエッジが現れていない。これは、元の撮影画像４００の顔領域４０１にボケが生じており、顔領域４０１のエッジ強度が弱くされているためである。

次いで、エッジ２値化画像４２０の顔領域４２１に含まれているエッジの総和Ｅ３が算出される（Ｓ２５）。この場合、先に説明した図９（ａ）の顔領域３２１の総和Ｅ３から大きく減少されたエッジの総和Ｅ３が算出されることになる。次いで、基準となるエッジの総和Ｅ４（例えば、図９（ａ）の顔領域３２１の総和Ｅ３）に対する今回のエッジの総和Ｅ３の変化度ΔＥが算出される（Ｓ２６）。この場合、変化度ΔＥは「１」から離れた値とされる。そのため、次のＳ２７で、変化度ΔＥが閾値ΔＥｔｈ未満と判断されて（Ｓ２７：Ｙｅｓ）、ドライバの顔が投光器２１に接近しているとして、投光器２１からの光の照射が停止され又は減光されることになる（Ｓ２１）。

以上説明したように、本実施形態では、ボケが生じていない（ドライバの顔が投光器２１に接近していない）撮影画像のエッジの総和を基準として、今回の撮影画像のエッジの総和を見ているので、今回の撮影画像にボケが生じているか否かを正確に判断できる。

（変形例１）
上記の実施形態では、撮影画像にボケが生じているか否かによって、ドライバの顔が投光器２１に接近しているか否かを判断しているが、撮影画像にボケが生じているか否かの判断方法は上記実施形態の方法に限定されるものではない。特許第４４９３１６号公報に記載の方法など、公知の各種方法を採用することができる。また、上記第二実施形態では、顔領域のエッジの総和の変化度ΔＥに基づいて顔領域にボケが生じているか否かを判断していたが、撮影画像全体のエッジの総和の変化でその判断をしてもよい。この場合、顔領域だけでなく構造物領域も含めて、エッジの総和及びその変化度を算出することになる。撮影画像にボケが生じている場合には、ボケが生じていないときに比べてエッジの総和が減少されることには変わりないので、撮影画像全体のエッジの総和によっても撮影画像にボケが生じているか否かを判断できる。これによって、顔領域と構造物領域とを区別する必要がないので、計算のアルゴリズムを簡単にできる。

また、上記実施形態では、ボケていない基準となる領域のエッジ（第一実施形態の場合では構造物領域のエッジ、第二実施形態の場合では前回の顔領域のエッジ）と比較することで、今回の顔領域のエッジがボケのエッジか否かを判断していた。しかし、これに限定されるものではなく、今回の顔領域のエッジの特徴（エッジ強度）のみからその判断を行ってもよい。この場合、ボケか否かを区分するエッジ強度の閾値を予め定めておく。そして、今回の顔領域のエッジ強度とその閾値を比較することで、今回の顔領域にボケが生じているか否かを判断する。これによれば、今回の顔領域のエッジ強度のみでボケを判断するので、計算のアルゴリズムを簡単にできる。

（変形例２）
上記第一、第二実施形態では、画像認識部２５が顔領域を認識できた場合に（図４、図８のＳ１５：Ｙｅｓ）、撮影画像にボケが生じているか否かによって顔が投光器２１に接近したか否かを判断していたが、画像認識部２５が顔領域を認識できなかった場合にも撮影画像のボケによって顔の接近を判断しても良い。この場合には、既知の構造物領域以外の不定領域を顔領域として、その顔領域のボケを判断する。例えば、図４、図８のＳ１５において、顔領域を認識できなかった場合には（Ｓ１５：Ｎｏ）、Ｓ２２及びＳ２３の処理の前又は後に、図４のＳ１６〜Ｓ２０又は図８のＳ２４〜Ｓ２７と同じ処理を実行して、撮影画像にボケが生じているか否かを判断する。このように、撮影画像のボケを判断する手法では、顔領域の認識の有無に関係なく顔の接近を判断できるというメリットがある。

（変形例３）
投光器２１とカメラ２２は互いに近い位置（ステアリングコラムの上面）に設けられているので、ドライバの顔が投光器２１に接近したときには、カメラ２２にも接近したことになる。そのため、ドライバの顔が投光器２１に接近するほど、撮影画像に対して顔領域の大きさ（顔領域が占める割合）が大きくなる。そこで、画像認識部２５が顔領域を認識できた場合には、撮影画像のボケで判断する手法に代えて、認識した顔領域の大きさで顔の接近を判断してもよい。具体的には、例えば図１０に示すフローチャートの処理を実行する。なお、図１０において、図４又は図８の処理と同一の処理には同一符号を付している。図１０に示すように、図４のＳ１６〜Ｓ２０の処理に代えて、又は図８のＳ２４〜Ｓ２７の処理に代えて、Ｓ２８、Ｓ２９の処理が実行される点が、図４、図８の処理と異なっている。

すなわち、図１０において、画像認識部２５が顔領域を認識できた場合には（Ｓ１５：Ｙｅｓ）、投光判断部２７は、認識できた顔領域の大きさＳを算出する（Ｓ２８）。次いで、その顔領域の大きさＳが予め定められた閾値Ｓｔｈより大きいか否かを判断する（Ｓ２９）。その閾値Ｓｔｈとして、例えば投光器２１からの距離が約２０ｃｍとなる閾値を設定する。例えば図５（ａ）、（ｂ）の場合では、撮影画像３００、４００に対する顔領域３０１、４０１の大きさを判断することになる。

Ｓ２９において、顔領域の大きさＳが閾値Ｓｔｈ未満の場合には（Ｓ２９：Ｎｏ）、ドライバの顔が投光器２１に接近していないとして、Ｓ１１の処理に戻る。この場合には、通常時の光の強度が維持されて、Ｓ１１において、次回の投光条件が設定される。これに対して、顔領域の大きさＳが閾値Ｓｔｈより大きい場合には（Ｓ２９：Ｙｅｓ）、ドライバの顔が投光器２１に接近したとして、投光器２１による光の照射を停止させ、又は減光させる（Ｓ２１）。その後、図１０のフローチャートの処理を終了する。この場合、例えば、一定期間経過後に、図１０の処理に復帰させる。なお、その他の処理は、図４又は図８と同じであるので、説明を割愛する。

（第三実施形態）
次に、本発明に係る顔撮影システムの第三実施形態を上記実施形態と異なる部分を中心にして説明する。車両に顔撮影システムを適用した場合、運転中のドライバによるステアリング操作の際に、ドライバの腕などの障害物によってカメラが隠蔽されてしまうこと（以下、ステア隠蔽という）がある。このステア隠蔽が起こった場合、カメラでドライバの顔を撮影することができなくなってしまうので、カメラで撮影し続けたり、投光器で照明し続けたりするのは無駄が大きい。この第三実施形態は、ステア隠蔽が起こった場合にそのような無駄を軽減する実施形態である。

本実施形態のドライバモニタシステムの構成は、図１のドライバモニタシステム１と同じである。ドライバモニタシステム１は、上記第一、第二実施形態の接近検出処理（図４、図８参照）に加え、ステア隠蔽を検出した場合に撮影の制御を変更するステア隠蔽検出処理を実行する。ここで、図１１は、ステア隠蔽検出処理の手順を示したフローチャートである。この図１１のフローチャートの処理は、例えばドライバモニタシステム１の起動時に開始され、その後、一定間隔おきに繰り返し実行される。また、図１１のフローチャートの処理は、図４や図８の接近検出処理と並列して実行される。

先ず、投光判断部２７は、ステアリングセンサ２８（図１参照）からの信号に基づいて、ステアリング３５（図１参照）の操作角度θが所定の閾値θｔｈより大きくされたか否かを判断する（Ｓ３１）。その閾値θｔｈとしては、ステア隠蔽が起こる可能性がある値に設定されており、具体的には例えばθｔｈ＝３０°に設定されている。ステアリング３５の操作角度θが閾値θｔｈ以下の場合には（Ｓ３１：Ｎｏ）、ステア隠蔽が起こる可能性が低いとして、図１１のフローチャートの処理を終了する。

これに対し、ステアリング３５の操作角度θが閾値θｔｈより大きい場合には（Ｓ３１：Ｙｅｓ）、ステア隠蔽が起こる可能性があるとして、処理をＳ３２に進める。Ｓ３２では、画像認識部２５がカメラ２２で撮影された撮影画像を取得する（Ｓ３２）。次いで、画像認識部２５は、先の図４、図８のＳ１４と同じ認識処理を実行して、その撮影画像から顔領域や構造物領域の認識を試みる（Ｓ３３）。次いで、投光判断部２７は、画像認識部２５からの信号に基づいて、画像認識部２５が顔領域を認識できたか否かを判断する（Ｓ３４）。認識できた場合には（Ｓ３４：Ｙｅｓ）、ステア隠蔽は起こっていないことになるので、図１１のフローチャートの処理を終了する。これに対し、認識できなかった場合には（Ｓ３４：Ｎｏ）、ステア隠蔽が起こっている可能性が高いので、処理をＳ３５に進める。

Ｓ３５では、投光判断部２７は、Ｓ３２で取得した撮影画像及びＳ３３で画像認識部２５が認識した構造物領域に基づいて、撮影画像全体に対する構造物領域の割合Ｒを算出する（Ｓ３５）。ステア隠蔽が起こっている場合には、カメラ２２の前にドライバの腕などの障害物が位置することになるので、撮影画像にはその障害物に対応した障害物領域が含まれる。その障害物領域によって、構造物領域の割合Ｒは小さくなる。そこで、投光判断部２７は、構造物領域の割合Ｒが所定の閾値Ｒｔｈ未満か否かを判断する（Ｓ３６）。その閾値Ｒｔｈとしては、例えば１０％未満の値に設定する。

構造物領域の割合Ｒが閾値Ｒｔｈ以上の場合には（Ｓ３６：Ｎｏ）、ステア隠蔽が起こっていないとして、図１１のフローチャートの処理を終了する。この場合、カメラ２２はドライバの顔を撮影できているものの、何らかの理由で画像認識部２５が顔領域を認識できなかった可能性がある。これに対し、構造物領域の割合Ｒが閾値Ｒｔｈ未満の場合には（Ｓ３６：Ｙｅｓ）、ステア隠蔽が起こっているとして、処理をＳ３７に進める。そして、投光判断部２７はステア隠蔽が起こっていることを撮影制御部２３に通知して、撮影制御部２３は、カメラ２２のシャッターの駆動間隔（露光間隔、図３（ａ）のパルスの周期Ｔ１）を大きくする（Ｓ３７）。つまり、カメラ２２のフレームレートを落とす（Ｓ３７）。具体的には、例えば３０フレーム／秒から１０フレーム／秒に変更する。図３で説明したように、投光器２１からの光の照射タイミングは、カメラ２２の露光タイミングと同期されている。そのため、カメラ２２のフレームレートが落とされたことにともなって、図３（ｂ）の投光器２１がオンされる間隔Ｔ２（照明間隔）が大きくされる。なお、Ｓ３７の際に、投光制御部２４は、投光器２１から照射される光のパワーを落とす（光の照射を停止又は減光させる）ようにしても良い。これによって、投光器回路を構成する電子部品の劣化の進行を抑制できる。その後、図１１のフローチャートの処理を終了する。

以上説明したように、本実施形態ではステア隠蔽が起こった場合には、カメラ２２のフレームレートが落とされ、それにともなって投光器２１の照明間隔が大きくされるので、無駄に撮影し続けたり、照明し続けたりするのを抑制できる。特に、照明間隔が大きくされることでエネルギーロスを抑制でき、ドライバの目に対する負担を軽減できる。

また、ステア隠蔽が起こった場合、カメラ２２による撮影が停止されるわけではないので、その後に、カメラ２２で撮影された撮影画像に基づいて、ステア隠蔽が継続されているか解消されているかを判断できる。そして、解消されている場合には、元の露光タイミング及び照射タイミングを復帰させることができる。

（第四実施形態）
次に、本発明に係る顔撮影システムの第四実施形態を上記実施形態と異なる部分を中心にして説明する。図１２は、本実施形態のドライバモニタシステム２の概略構成を示している。なお、図１２において、図１と変更がない部分には同一符号を付している。図１２に示すように、ドライバモニタシステム２は、距離センサ３０を備えている点が、図１のドライバモニタシステム１と異なっている。

距離センサ３０は、投光器２１の周囲に存在する物体の距離を検出するセンサであり、例えば周囲に超音波やレーザを発信してその反射波に基づいて距離を検出するセンサ、ステレオ画像から距離を検出するセンサ、一定距離内の物体から放射される赤外線を感知することで距離を検出するセンサなど、公知の各種の距離センサを採用することができる。その距離センサ３０は、投光器２１周囲の特に運転席周辺領域１０の物体（ドライバの顔）の距離を検出するように、設置位置及び超音波、レーザ等の信号の発信領域が調整されている。

距離センサ３０による検出信号は投光判断部２７に送られるようになっている。投光判断部２７は、上記実施形態で説明した撮影画像に加えて、その距離センサ３０からの信号に基づいて、ドライバの顔が投光器２１に接近したか否かを判断している。具体的には、図４や図８の接近検出処理において、Ｓ２０の処理の後（図４の場合）又はＳ２７の処理の後（図８の場合）に、「距離センサ３０による検出距離が所定の閾値より小さいか？」を判断する処理を追加する。そして、検出距離が閾値より小さい場合には、ドライバの顔の接近であるとして、投光器２１からの光の照射を停止又は減光させる（Ｓ２１）。これによって、より一層正確にドライバの顔の接近を検出できる。なお、本発明は、距離センサ３０単独でドライバの顔の接近を検出するシステム構成を排除するものではない。

なお、本発明は上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で種々に変形することができる。例えば、上記実施形態では、ドライバの顔を撮影するドライバモニタシステムを例に挙げて説明したが、本発明は、ドライバの顔以外に他のユーザの顔を撮影するシステムにも適用することができる。

なお、上記実施形態において、投光器２１が本発明の「照明手段」に相当する。カメラ２２が本発明の「撮影手段」に相当する。図４のＳ１１〜Ｓ２３の処理又は図８のＳ１１〜Ｓ１４、Ｓ２１、Ｓ２４〜Ｓ２７の処理を実行する撮影制御部２３、投光制御部２４、画像認識部２５及び投光判断部２７が本発明の「接近検出手段」に相当する。図４、図８のＳ２１又は図１２のＳ４２の処理を実行する投光制御部２４が本発明の「第一の照明制御手段」に相当する。図４のＳ１６〜Ｓ１８の処理又は図８のＳ２４、Ｓ２５の処理を実行する投光判断部２７が本発明の「エッジ抽出手段」に相当する。図４のＳ１９、Ｓ２０の処理又は図８のＳ２６、Ｓ２７の処理を実行する投光判断部２７が本発明の「エッジ判断手段」に相当する。図４、図８のＳ１４の処理を実行する画像認識部２５が本発明の「顔認識手段」に相当する。図１の撮影制御部２３が本発明の「撮影制御手段」に相当する。図１の投光制御部２４が本発明の「第二の照明制御手段」に相当する。ステアリングセンサ２８並びに図１１のＳ３１〜Ｓ３６の処理を実行する撮影制御部２３、投光制御部２４、画像認識部２５及び投光判断部２７が本発明の「隠蔽検出手段」に相当する。図１２の距離センサ３０が本発明の「距離計測手段」に相当する。図４又は図８のＳ２２の処理を実行する投光判断部２７が本発明の「白とび検出手段」相当する。図４又は図８のＳ２３の処理を実行する投光判断部２７が本発明の「黒つぶれ検出手段」に相当する。

１、２ ドライバモニタシステム（顔撮影システム）
１０ 運転席周辺領域（照明領域）
２１ 投光器
２２ カメラ
２２１ レンズ
２２２ 絞り
２３ 撮影制御部
２４ 投光制御部
２５ 画像認識部
２６ 各種システム
２７ 投光判断部
２８ ステアリングセンサ
３０ 距離センサ
３５ ステアリング
３００、４００ 撮影画像
３１０、４１０ 横ソーベル画像
３２０、４２０ エッジ２値化画像
３０１、３１１、３２１、４０１、４１１、４２１ 顔領域
３０２、３０３、３０４、３１２、３１３、３１４ 構造物領域

Claims (11)

1. ユーザの顔が位置する領域として予め定められた照明領域に光を照射する照明手段と、
   その照明手段によって光が照射された前記照明領域を含む領域を撮影する撮影手段と、を備える顔撮影システムにおいて、
   ユーザの顔が前記照明手段に接近したことを検出する接近検出手段と、
   その接近検出手段が前記接近したことを検出した場合に、前記照明手段による光の照射を停止又は減光させる第一の照明制御手段と、を備えることを特徴とする顔撮影システム。
2. 前記接近検出手段は、前記撮影手段が撮影した撮影画像に基づいて前記接近したことを検出することを特徴とする請求項１に記載の顔撮影システム。
3. 前記撮影手段は、前記照明手段に接近した物体を撮影した場合に前記撮影画像中の前記物体に対応する領域にボケを生じさせるレンズ構造を備え、
   前記接近検出手段は、前記撮影画像中のエッジの特徴が反映されたエッジ情報を前記撮影画像から抽出するエッジ抽出手段と、
   そのエッジ抽出手段が抽出した前記エッジ情報がボケのエッジ情報であるか否かを判断するエッジ判断手段と、を備えることを特徴とする請求項２に記載の顔撮影システム。
4. 前記撮影手段は、前記撮影手段に対して位置が変化しない周囲の構造物が写る形で前記照明領域を撮影するものであり、
   前記エッジ判断手段は、前記構造物に対応する前記撮影画像中の領域である構造物領域の前記エッジ情報と比較することで、前記構造物領域以外の領域である不定領域の前記エッジ情報がボケのエッジ情報であるか否かを判断することを特徴とする請求項３に記載の顔撮影システム。
5. 前記エッジ判断手段は、ボケが生じていない前回の前記撮影画像に対する前記エッジ情報と比較することで、今回の前記エッジ情報がボケのエッジ情報であるか否かを判断することを特徴とする請求項３に記載の顔撮影システム。
6. 前記撮影画像中からユーザの顔に対応する領域である顔領域を認識する顔認識手段を備え、
   前記接近検出手段は、前記物体認識手段が前記顔領域を認識した場合にはその顔領域の大きさに基づいて前記接近したことを検出することを特徴とする請求項２に記載の顔撮影システム。
7. 前記撮影手段の露光条件を制御する撮影制御手段と、
   前記撮影手段の露光タイミングに合わせて前記照明手段による光の照射タイミングを制御する第二の照明制御手段と、
   前記撮影画像に基づいて、前記撮影手段が障害物で隠蔽されたことを検出する隠蔽検出手段と、をさらに備え、
   前記隠蔽検出手段が前記隠蔽されたことを検出した場合には、前記撮影制御手段が前記撮影手段の露光間隔を大きくし、且つ／又は前記第一の照明制御手段が前記照明手段による光の照射を停止又は減光させることを特徴とする請求項２〜６のいずれか１項に記載の顔撮影システム。
8. 前記接近検出手段は、前記照明領域に存在する物体の距離を計測する距離計測手段を備え、前記距離計測手段が計測した前記距離に基づいて、物体が前記照明手段に接近したことを検出することを特徴とする請求項１〜７のいずれか１項に記載の顔撮影システム。
9. 前記撮影画像の中央付近の画素全域に亘り白とび又は画素値が白とびに準ずる大きい値として予め定められた第一閾値以上になったことを検出する白とび検出手段を備え、
   前記接近検出手段は、前記白とび検出手段が前記白とび又は前記画素値が前記第一閾値以上になったことを検出した場合に、ユーザの顔が前記照明手段に接近したとみなすことを特徴とする請求項１〜８のいずれか１項に記載の顔撮影システム。
10. 前記撮影画像の中央付近の画素全域に亘り黒つぶれ又は画素値が黒つぶれに準ずる小さい値として予め定められた第二閾値以下になったことを検出する黒つぶれ検出手段を備え、
    前記接近検出手段は、前記黒つぶれ検出手段が前記黒つぶれ又は前記画素値が前記第二閾値以下になったことを検出した場合に、ユーザの顔が前記照明手段に接近したとみなすことを特徴とする請求項１〜９のいずれか１項に記載の顔撮影システム。
11. 前記顔が目であることを特徴とする請求項１〜１０のいずれか１項に記載の顔撮影システム。