JP2017188851A - 車室内用カメラの顔撮影方法および車室内用カメラ - Google Patents

Abstract

【課題】外乱光により生じる顔画像の輝度の偏りを低減することができる車室内用カメラの顔撮影方法および車室内用カメラを提供する。【解決手段】本発明の一実施形態に係る車室内用カメラの顔撮影方法は、運転者の顔の領域に設定された複数の部分顔領域のそれぞれを照明する複数の光源を有する光源群およびプロセッサを備えた車室内用カメラのプロセッサが実行する顔撮影方法であって、撮像素子に運転者の顔を撮像させるステップと、運転者の顔画像を生成するステップと、運転者の顔画像に設定された複数の部分画像領域のそれぞれの輝度どうしを比較して輝度差を求め、所定の差以上の輝度差があると、当該輝度差がゼロに近づくように、光源群のうち輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を次フレームの顔撮像時に少なくとも露光開始から終了まで点灯させるよう光源群の発光を制御するステップと、を有する。【選択図】 図６

Description

本発明の実施形態は、車室内用カメラの顔撮影方法および車室内用カメラに関する。

最近、自動車などの車両には、車室内に運転者の顔を撮影するためのカメラ（以下、車室内用カメラという）を搭載したものが増えてきている。車室内用カメラの出力にもとづいて生成される運転者の顔の画像は、閉眼検出、脇見検出、個人認証など、様々な顔認識処理に利用することができる。

車室内用カメラには、太陽光などの外乱光の影響を低減するように、赤外光によって運転者の顔を照らすとともに、入射光学系に赤外線透過フィルタを設けたものがある。この種の赤外光を利用する車室内用カメラによれば、外乱光の影響を低減した画像を得ることができる。

しかし、太陽光が運転者の右側から運転者の顔を照らす場合など、外乱光が運転者の顔を不均一に照らす場合がある。この場合、運転者の顔に一様に赤外光を照射しても、カメラ出力にもとづく顔画像の輝度に偏りが生じてしまい、顔認識処理を正確に行うことができなくなってしまう。

特開２００８−１７２２７号公報

本発明が解決しようとする課題は、外乱光により生じる顔画像の輝度の偏りを低減することができる車室内用カメラの顔撮影方法および車室内用カメラを提供することである。

本発明の一実施形態に係る車室内用カメラの顔撮影方法は、上述した課題を解決するために、運転者の顔の領域に設定された複数の部分顔領域のそれぞれを照明する複数の光源を有する光源群、撮像素子、およびプロセッサを備えた車室内用カメラの前記プロセッサが実行する、車室内用カメラの顔撮影方法であって、前記撮像素子に前記運転者の顔を撮像させるステップと、前記撮像素子の出力にもとづいて、前記運転者の顔画像を生成するステップと、前記運転者の顔画像に設定された複数の部分画像領域のそれぞれの輝度どうしを比較して輝度差を求め、所定の差以上の輝度差があると、当該輝度差がゼロに近づくように、前記光源群のうち輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を次フレームの顔撮像時に少なくとも露光開始から終了まで点灯させるよう前記光源群の発光を制御するステップと、を有する方法である。

本発明の一実施形態に係る車室内用カメラが設置された車両の一例を示す外観図。 （ａ）は従来の輝度測定領域の一例を示す説明図、（ｂ）は太陽光が運転者の右から差し込む様子の一例を示す説明図、（ｃ）は太陽光が運転者の右から差し込む様子の一例を示す説明図。 （ａ）は本発明の一実施形態に係る車室内用カメラの一構成例を示す側面図であり、（ｂ）は正面図。 （ａ）は顔の領域を複数に分割した部分顔領域を説明するための図、（ｂ）は車室内用カメラと運転者の顔との位置関係の一例を示す説明図。 本実施形態に係る主制御部のプロセッサによる実現機能例を示す概略的なブロック図。 図１に示す主制御部のプロセッサにより、外乱光により生じる顔画像の輝度の偏りを低減する際の手順の一例を示すフローチャート。 図６のステップＳ７で実行される上下輝度差調整処理の手順の一例を示すサブルーチンフローチャート。 （ａ）は上側画像領域が暗い場合における顔の様子の一例を示す説明図、（ｂ）は（ａ）に示す場合に点灯制御される光源群の様子の一例を示す説明図、（ｃ）は（ｂ）に示す場合に点灯制御された光源群によって顔が照明される領域の一例を示す説明図。 露光時間と点灯時間の関係の一例を示す説明図。 暗い側の部分領域の輝度と光源群の点灯制御との関係の一例を示す説明図。 図６のステップＳ９で実行される左右輝度差調整処理の手順の一例を示すサブルーチンフローチャート。

本発明に係る車室内用カメラの顔撮影方法および車室内用カメラの実施の形態について、添付図面を参照して説明する。

本発明の一実施形態に係る車室内用カメラはプロセッサおよび運転者を照明するための複数の光源を備え、本発明の一実施形態に係る車室内用カメラの顔撮影方法は、車室内用カメラが備えたプロセッサが複数の光源の発光を制御することにより実行される。

図１は、本発明の一実施形態に係る車室内用カメラ１０が設置された車両１の一例を示す外観図である。なお、以下の説明では、カメラ光軸をｚ軸、水平軸をｘ軸とする（図１参照）。

車室内用カメラ１０は、車両１の運転席に座った運転者Ｄの顔Ｆを撮影できる位置に設けられればよい。図１には、車室内用カメラ１０が車両１のステアリングコラムカバー２の上面に設けられる場合の例を示したが、ダッシュボード３の上面、インストルメンタルパネル内などに設けられてもよい。

より好ましくは、車室内用カメラ１０は、運転者Ｄの顔Ｆを正面から撮影できるよう、カメラ光軸が運転者Ｄの顔Ｆの正中線と交わるように設けられることが好ましく、たとえばハンドル（ステアリングホイール）の回転軸を通るｙｚ平面上にカメラ光軸が位置するように設けられるとよい。
ここで、従来の輝度調整方法について説明する。

図２（ａ）は従来の輝度測定領域Ｒ１００の一例を示す説明図であり、（ｂ）は太陽光が運転者Ｄの右から差し込む様子の一例を示す説明図であり、（ｃ）は太陽光が運転者Ｄの右から差し込む様子の一例を示す説明図である。

輝度測定領域Ｒ１００は、たとえば顔Ｆの画像（顔画像）の輝度（画素値）が顔認識処理に適した輝度であるか否かを判定するために利用される。輝度測定領域Ｒ１００の輝度を適切な値に保つことにより、顔画像を顔認識処理に適した画像とすることができる。

たとえば、顔認識処理が閉眼検出など目の動きを検出する処理である場合、従来の輝度測定領域Ｒ１００は目を含む領域として設定される（図２（ａ）参照）。また、顔認証を行う場合には、顔Ｆ全体を含む領域が輝度測定領域Ｒ１００として設定される。

従来、顔画像の輝度を調整する方法として、大きく次の３通りの方法が知られている。

第１の従来の輝度調整方法は、露光時間を調整する方法である。この方法によれば、輝度測定領域Ｒ１００の輝度に応じて、顔画像の輝度が適切な値となるよう露光時間を調整することができる。

第２の従来の輝度調整方法は、顔Ｆの撮像後に、ポストプロセスで画像の輝度（画素値）を補正する方法である。この方法では、顔画像を複数の領域に分割し、各領域の平均輝度を求め、この各領域の平均輝度が均一な値となるように各画素の輝度（画素値）を補正する。この方法によれば、顔画像にわずかな輝度の偏りがある場合に、この偏りを補正することができる。

第３の従来の輝度調整方法は、顔Ｆを一様に照明する方法である。この方法は、たとえば顔Ｆの周囲が暗い場合など、顔Ｆの照度が不足している場合に効果的である。

しかし、これらの従来の輝度調整方法では、外乱光が運転者の顔を不均一に強く照らす場合には、外乱光により生じる顔画像の輝度の偏りを調整することが難しい。

たとえば、運転者Ｄの太陽光などの外乱光が左右いずれかの側から差し込むと、顔画像の左右で輝度差が生じてしまう（図２（ｂ）参照）。また、運転者Ｄの太陽光などの外乱光が上側から差し込むと、たとえば屋根などにさえぎられることにより顔Ｆの下側だけが外乱光に強く照らされ、顔画像の上下で輝度差が生じてしまう場合がある（図２（ｃ）参照）。

これらの場合、第１の従来の輝度調整方法を用いて全体の露光時間を調整しても、同様に顔画像の輝度の偏りを改善することはできない。また、第２の従来の輝度調整方法は、外乱光の影響でいわゆる白飛びや黒つぶれした領域がある場合には無力である。ここで、白飛びとは、輝度が所定の輝度以上の画素が存在することをいう。たとえば、輝度が飽和してしまった画素が連続した領域があると、画像では真っ白な領域となる。また、黒つぶれとは、輝度が所定の輝度以下の画素が存在することをいう。

白飛びや黒つぶれが生じた領域では、本来存在するエッジの情報が失われてしまう。このため、白飛びや黒つぶれが生じた領域の輝度をポストプロセスで補正しても、失われたエッジの情報は戻ってくることはない。このため、白飛びや黒つぶれが生じた領域がある場合、第２の従来の輝度調整方法を用いた顔画像では、顔認識処理の精度が大幅に低下してしまう。

また、第３の従来の輝度調整方法を用いて補助光源などで顔Ｆを一様に照らして全体の照度を底上げしても、顔画像の輝度の偏りを改善することはできない。

そこで、本実施形態に係る車室内用カメラ１０は、顔Ｆの領域を複数に分割した部分顔領域のそれぞれを照明する複数の光源を有する。そして、車室内用カメラ１０は、顔画像に設定された複数の部分画像領域のそれぞれの輝度差がゼロに近づくように、複数の光源のうち、輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を、次フレームの顔撮像時に少なくとも露光開始から終了まで点灯させる。

図３（ａ）は、本発明の一実施形態に係る車室内用カメラ１０の一構成例を示す側面図であり、（ｂ）は正面図である。また、図４（ａ）は顔Ｆの領域を複数に分割した部分顔領域ＰＲを説明するための図であり、（ｂ）は車室内用カメラ１０と運転者Ｄの顔Ｆとの位置関係の一例を示す説明図である。

車室内用カメラ１０は、光源群１１、レンズ１２、フィルタ１３、撮像素子１４およびプロセッサを備えた主制御部２０を有する。

本実施形態において、運転者の顔画像には、複数の部分画像領域が設定される。また、運転者の顔Ｆの領域には、複数の部分画像領域に対応した複数の部分顔領域ＰＲが設定される。部分画像領域および部分顔領域ＰＲは、それぞれが対応関係にあり、各部分顔領域ＰＲに割り当てられた光源が設けられていればどのような形状でどの位置に設定されてもよく、また分割数は２以上であればいくつであっても構わない。

以下の説明では、運転者の顔Ｆの領域に４つの部分顔領域ＰＲ１１、１２、２１、２２が設定される場合の例を示す。部分顔領域ＰＲ１１は、右目を含む顔Ｆの右上の領域であり、部分顔領域ＰＲ１２は、左目を含む顔Ｆの左上の領域である。部分顔領域ＰＲ２１は、顔Ｆの右下の領域であり、部分顔領域ＰＲ２２は、顔Ｆの左下の領域である（図４（ａ）参照）。

光源群１１は、複数の光源を有する。光源群１１の複数の光源のそれぞれは、主制御部２０により独立に発光制御されて、あらかじめ割り当てられた部分顔領域ＰＲを照明する。

以下の説明では、光源群１１が８つの光源１１ａ、１１ｂ、・・・、１１ｈを有する場合の例を示した（図３（ｂ）参照）。この例において、光源１１ａおよび１１ｂは部分顔領域ＰＲ１１を照明し、光源１１ｃおよび１１ｄは部分顔領域ＰＲ２１を照明する（図３（ｂ）、図４（ｂ）参照）。同様に、光源１１ｅおよび１１ｆは部分顔領域ＰＲ２２を、光源１１ｇおよび１１ｈは部分顔領域ＰＲ１２を、それぞれ照明する。

また、以下の説明では、光源１１ａ、１１ｂ、・・・、１１ｈがたとえば８８０ｎｍや９４０ｎｍをピーク波長にもつ近赤外光を発光する近赤外光光源である場合の例について示す。なお、光源１１ａ、１１ｂ、・・・、１１ｈとしては、近赤外光光源にかえて、可視光光源や紫外光光源を使用してもよい。

レンズ１２は、撮像素子１４に集光し、運転者Ｄの顔Ｆの像を撮像素子１４に結ぶために用いられる。フィルタ１３は、光源群１１が発光する光を透過する。撮像素子１４は、少なくとも光源群１１の発光波長を検出可能な感度を有し、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成される。

撮像素子１４は、主制御部２０に制御されて、フィルタ１３を介して顔Ｆを撮像して画像データを生成し、主制御部２０に与える。なお、撮像素子１４は、可視光域と近赤外域との両方の感度を有したものを使用してもよい。この場合、フィルタ１３は可視光を遮り近赤外光を透過させるための第１の位置と、可視光を遮らない第２の位置との２つの位置のいずれかで位置決め可能に構成されるとよい。

主制御部２０は、たとえばプロセッサおよびＲＡＭならびにＲＯＭをはじめとする記憶媒体により構成され、この記憶媒体に記憶されたプログラムに従って車室内用カメラ１０の動作を制御する。

主制御部２０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された顔認識プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、外乱光により生じる顔画像の輝度の偏りを低減する処理を実行するとともに、輝度の偏りを低減した顔画像を用いて閉眼検出、脇見検出、個人認証などの様々な一般的な顔認識処理を実行する。

主制御部２０のＲＡＭは、プロセッサが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。主制御部２０のＲＯＭをはじめとする記憶媒体は、車室内用カメラ１０の起動プログラム、顔認識プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録回路を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は、ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。

図５は、本実施形態に係る主制御部２０のプロセッサによる実現機能例を示す概略的なブロック図である。

図５に示すように、主制御部２０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された顔認証プログラムによって、少なくとも画像生成部２１、輝度調整部２２および顔認識処理部２３として機能する。これらの各機能実現部２１−２３は、それぞれプログラムの形態で記憶媒体に記憶されている。

なお、本実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびＦＰＧＡ）等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

また、本実施形態では主制御部２０の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて主制御部２０を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

画像生成部２１は、撮像素子１４を制御し、撮像素子１４が出力した画像データにもとづいて顔画像を生成する。

輝度調整部２２は、運転者Ｄの顔画像に設定された複数の部分画像領域のそれぞれの輝度どうしを比較して輝度差を求める。輝度調整部２２は、所定の差以上の輝度差があると、当該輝度差がゼロに近づくように、光源群１１のうち輝度が低い部分画像領域に対応する部分顔領域ＰＲを照明するための光源を、次フレームの顔撮像時に少なくとも露光開始から終了まで点灯させるように、光源群１１の発光を制御する。

顔認識処理部２３は、輝度調整部２２による光源群１１の発光制御によって輝度の偏りを低減した顔画像を用いて、顔認識処理を実行する。

次に、本実施形態に係る車室内用カメラ１０の顔撮影方法および車室内用カメラ１０の動作の一例について説明する。

図６は、図１に示す主制御部２０のプロセッサにより、外乱光により生じる顔画像の輝度の偏りを低減する際の手順の一例を示すフローチャートである。図６において、Ｓに数字を付した符号はフローチャートの各ステップを示す。この手順は、顔認識処理と並行して実行されてもよい。

まず、ステップＳ１において、画像生成部２１は、撮像素子１４を制御して顔Ｆを撮像し、撮像素子１４の出力にもとづいて顔画像を生成する。この手順が顔認識処理と並行して実行される場合は、画像生成部２１は、生成した顔画像を顔認識処理部２３に与える。顔認識処理部２３は、画像生成部２１から受けた顔画像を用いて顔認識処理を行う。

次に、ステップＳ２において、輝度調整部２２は、顔画像に複数の部分画像領域を設定する。本実施形態では、４つの部分顔画像領域が設定される。

次に、ステップＳ３において、輝度調整部２２は、複数の部分画像領域に対応した複数の部分顔領域ＰＲ１１、１２、２１、２２を設定する（図４（ａ）参照）。

次に、ステップＳ４において、輝度調整部２２は、顔画像の画素に輝度が所定の輝度以上の画素があるか否か、すなわち白飛びしている画素があるか否かを判定する。白飛びがある場合は、露光時間を短く変更するよう撮像素子１４を制御して（ステップＳ５）、ステップＳ１に戻る。このとき、輝度調整部２２は、顔画像の画素に輝度が所定の輝度以下の画素があるか否か、すなわち黒つぶれしている画素があるか否かを判定し、黒つぶれがある場合は露光時間を長く変更するよう撮像素子１４を制御してもよい。一方、白飛びしている画素がない場合は、ステップＳ６に進む。

ステップＳ１−５を実行することにより、ステップＳ６以降の輝度差調整処理を行う前に、白飛びおよび黒つぶれがない顔画像を確実に生成することができる。

次に、ステップＳ６において、輝度調整部２２は、部分画像領域を上側画像領域と下側画像領域に分類し、各領域に属する部分画像領域の平均輝度の差が閾値以上であるか否かを判定する。上側画像領域は、部分顔領域ＰＲ１１およびＰＲ１２に対応する。下側画像領域は、部分顔領域ＰＲ２１およびＰＲ２２に対応する。上側画像領域に属する部分画像領域の平均輝度と下側画像領域に属する部分画像領域の平均輝度の差が閾値以上である場合は、ステップＳ７で上下輝度差調整処理を実行してステップＳ８に進む。一方、上側画像領域と下側画像領域の平均輝度の差が閾値より小さい場合は直接ステップＳ８に進む。

次に、ステップＳ８において、輝度調整部２２は、部分画像領域を左側画像領域と左側画像領域に分類し、各領域に属する部分画像領域の平均輝度の差が閾値以上であるか否かを判定する。左側画像領域は、部分顔領域ＰＲ１２およびＰＲ２２に対応する。右側画像領域は、部分顔領域ＰＲ１１およびＰＲ２１に対応する。左側画像領域と右側画像領域の平均輝度の差が閾値以上である場合は、ステップＳ９で左右輝度差調整処理を実行してステップＳ１０に進む。一方、左側画像領域と右側画像領域の平均輝度の差が閾値より小さい場合は、直接ステップＳ１０に進む。

次に、プロセッサは図示しない入力部を介してユーザから終了すべき旨の指示を受けたか否かなど、一連の手順を終了すべきか否かを判定し、まだ終了すべきでない場合は（ステップＳ１０のＮＯ）、ステップＳ１に戻る。一方、終了すべき場合は（ステップＳ１０のＹＥＳ）一連の手順を終了する。

以上の手順により、乱光により生じる顔画像の輝度の偏りを低減することができる。

続いて、上下輝度差調整処理について説明する。図７は、図６のステップＳ７で実行される上下輝度差調整処理の手順の一例を示すサブルーチンフローチャートである。

この手順は、図６のステップＳ６で上側画像領域と下側画像領域の平均輝度の差が閾値以上であると判定されてスタートとなる。図７には、図６のステップＳ６で上側画像領域の平均輝度が下側画像領域の平均輝度よりも低く暗い場合の例について示した。なお、下側画像領域の平均輝度が上側画像領域の平均輝度よりも低い場合については、図７に示す手順と同様の手順で輝度差調整可能であるため、説明を省略する。

また、図８（ａ）は上側画像領域が暗い場合における顔Ｆの様子の一例を示す説明図であり、（ｂ）は（ａ）に示す場合に点灯制御される光源群１１の様子の一例を示す説明図であり、（ｃ）は（ｂ）に示す場合に点灯制御された光源群１１によって顔Ｆが照明される領域の一例を示す説明図である。

図６のステップＳ６で上側画像領域の平均輝度が下側画像領域の平均輝度よりも低いと判定されると（図８（ａ）参照）、ステップＳ７１において、輝度調整部２２は、平均輝度が低い上側画像領域に対応する光源１１ａ、１１ｂ、１１ｇ、１１ｈを所定の輝度で点灯させることにより、上側画像領域の輝度を高める（図８（ｂ）参照）。

次に、ステップＳ７２において、画像生成部２１は、撮像素子１４を制御して顔Ｆを撮像し、撮像素子１４の出力にもとづいて顔画像を生成する。この手順が顔認識処理と並行して実行される場合は、画像生成部２１は、生成した顔画像を顔認識処理部２３に与える。顔認識処理部２３は、画像生成部２１から受けた顔画像を用いて顔認識処理を行う。

図９は、露光時間と点灯時間の関係の一例を示す説明図である。図９に示すように、ステップＳ１で生成された顔画像の上側画像領域が暗いと判定されると、この顔画像の次のフレームは、上側画像領域に対応する光源を点灯して上側顔領域を照明しつつ（ステップＳ７１）、撮像が実行される（ステップＳ７２）。

この照明は、少なくとも露光開始から終了まで行われればよい。そこで、ステップＳ７３において、輝度調整部２２は、ステップＳ７１で点灯させた光源１１ａ、１１ｂ、１１ｇ、１１ｈを消灯する。露光時間以外は消灯することにより、消費電力を削減することができる。

図１０は、暗い側の部分領域の輝度と光源群１１の点灯制御との関係の一例を示す説明図である。

図１０に示すように、明るい側の領域の平均輝度Ｌ０と暗い側の領域の平均輝度との輝度差が第１の閾値ｔｈ１以下である場合は、顔画像の輝度の偏りがないものとして、前フレームの発光輝度を維持するとよい。一方、輝度差が第１の閾値ｔｈ１以上であれば、輝度差がゼロに近づくように光源群１１の発光を制御するとよい。

ただし、輝度差が第１の閾値ｔｈ１よりも高い第２の閾値ｔｈ２よりも高い場合は、外乱光の影響が除去されており光源群１１の照明が不要になっていると考えられるため、照明を消すことが好ましい。

そこで、ステップＳ７４において、輝度調整部２２は、上側画像領域と下側画像領域の平均輝度の差が第１の閾値ｔｈ１以上であるか否かを判定する。輝度差が第１の閾値ｔｈ１より小さい場合は、前フレームの発光輝度が適切であり顔画像の輝度の偏りがないものとして、前フレームと同じ発光輝度で光源１１ａ、１１ｂ、１１ｇ、１１ｈを点灯するよう光源群１１を制御してステップＳ７２に進む（ステップＳ７５）。

一方、輝度差が第１の閾値ｔｈ１以上であると、ステップＳ７６において、輝度調整部２２は、上側画像領域と下側画像領域の平均輝度の差が第２の閾値ｔｈ２以上であるか否かを判定する。

輝度差が第２の閾値ｔｈ２より小さい場合は、輝度差に応じて光源１１ａ、１１ｂ、１１ｇ、１１ｈの発光輝度を変更するよう光源群１１を制御してステップＳ７２に進む（ステップＳ７７）。一方、輝度差が第２の閾値ｔｈ２以上であると、外乱光の影響が除去されており光源群１１の照明が不要になっていると考えられるため、次のフレームでは光源１１ａ、１１ｂ、１１ｇ、１１ｈを消灯するよう光源群１１を制御して、図６のステップＳ８に進む。

以上の手順により、外乱光により上側画像領域と下側画像領域の輝度差が生じた場合でも、輝度差を低減するよう光源群１１の発光を制御することにより、顔画像の輝度の偏りを低減することができる。

続いて、左右輝度差調整処理について説明する。図１１は、図６のステップＳ９で実行される左右輝度差調整処理の手順の一例を示すサブルーチンフローチャートである。

この手順は、図６のステップＳ８で左側画像領域と右側画像領域の平均輝度の差が閾値以上であると判定されてスタートとなる。図９には、図６のステップＳ８で右側画像領域の平均輝度が左側画像領域の平均輝度よりも低く暗い場合の例について示した。なお、左側画像領域の平均輝度が右側画像領域の平均輝度よりも低い場合については、図１１に示す手順と同様の手順で輝度差調整可能であるため、説明を省略する。

この左右輝度差調整処理は、図７に示した上下輝度差調整処理と同様の手順で実行される。

図６のステップＳ８で右側画像領域の平均輝度が左側画像領域の平均輝度よりも低いと判定されると、ステップＳ９１において、輝度調整部２２は、平均輝度が低い右側画像領域に対応する光源１１ａ、１１ｂ、１１ｃ、１１ｄを所定の輝度で点灯させることにより、右側画像領域の輝度を高める。

次に、ステップＳ９２において、画像生成部２１は、撮像素子１４を制御して顔Ｆを撮像し、撮像素子１４の出力にもとづいて顔画像を生成する。この手順が顔認識処理と並行して実行される場合は、画像生成部２１は、生成した顔画像を顔認識処理部２３に与える。顔認識処理部２３は、画像生成部２１から受けた顔画像を用いて顔認識処理を行う。

次に、ステップＳ９３において、輝度調整部２２は、ステップＳ７１で点灯させた光源１１ａ、１１ｂ、１１ｃ、１１ｄを消灯する。

次に、ステップＳ９４において、輝度調整部２２は、左側画像領域と右側画像領域の平均輝度の差が第１の閾値ｔｈ１以上であるか否かを判定する（図１０参照）。輝度差が第１の閾値ｔｈ１より小さい場合は、前フレームの発光輝度が適切であり顔画像の輝度の偏りがないものとして、前フレームと同じ発光輝度で光源１１ａ、１１ｂ、１１ｃ、１１ｄを点灯するよう光源群１１を制御してステップＳ９２に進む（ステップＳ９５）。

一方、輝度差が第１の閾値ｔｈ１以上であると、ステップＳ９６において、輝度調整部２２は、左側画像領域と右側画像領域の平均輝度の差が第２の閾値ｔｈ２以上であるか否かを判定する。

輝度差が第２の閾値ｔｈ２より小さい場合は、輝度差に応じて光源１１ａ、１１ｂ、１１ｃ、１１ｄの発光輝度を変更するよう光源群１１を制御してステップＳ９２に進む（ステップＳ９７）。一方、輝度差が第２の閾値ｔｈ２以上であると、外乱光の影響が除去されており光源群１１の照明が不要になっていると考えられるため、次のフレームでは光源１１ａ、１１ｂ、１１ｃ、１１ｄを消灯するよう光源群１１を制御して、図６のステップＳ１０に進む。

以上の手順により、外乱光により左側画像領域と右側画像領域の輝度差が生じた場合でも、輝度差を低減するよう光源群１１の発光を制御することにより、顔画像の輝度の偏りを低減することができる。

本実施形態に係る車室内用カメラ１０によれば、外乱光により生じた顔画像の輝度の偏りを低減するよう光源群１１の発光を制御することができる。このため、強い外乱光が射した場合であっても、精度よく閉眼検出などの顔認識処理を行うことができる。

なお、輝度調整部２２は、外乱光により生じた顔画像の輝度の偏りを低減するよう光源群１１の発光を制御することができればよい。上記実施形態では、顔画像の輝度の偏りを検知するために、部分画像領域の平均輝度を用いる場合の例を説明したが、部分画像領域の平均輝度に応じた値となる特徴量を用いてもよい。この種の特徴量としては、たとえばエッジ数などがあげられる。エッジを抽出する方法としては、微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタなど、従来各種のものが知られており、これらのうち任意のものを用いることができる。

この場合、輝度調整部２２は、図７および図１１に示した手順において、輝度差と同等のものとして特徴量差を用いればよい。具体的には、輝度調整部２２は、複数の部分画像領域のそれぞれに対する画像処理により特徴量を抽出し、特徴量どうしを比較して部分画像領域どうしの特徴量の差を求める。そして、特徴量の差に所定の差以上のものがあると、特徴量の差がゼロに近づくように、光源群１１のうち輝度が低い部分画像領域（特徴量がエッジ数であれば、たとえば暗いためにエッジ数が少ない領域）に対応する部分顔領域ＰＲを照明するための光源を次フレームの顔撮像時に点灯させるよう光源群１１の発光を制御すればよい。

以上説明した少なくとも１つの実施形態によれば、外乱光により生じる顔画像の輝度の偏りを低減することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…車室内用カメラ
１１…光源群
１３…フィルタ
１４…撮像素子
２１…画像生成部
２２…輝度調整部
ＰＲ…部分顔領域

Claims (11)

1. 運転者の顔の領域に設定された複数の部分顔領域のそれぞれを照明する複数の光源を有する光源群、撮像素子、およびプロセッサを備えた車室内用カメラの前記プロセッサが実行する、車室内用カメラの顔撮影方法であって、
   前記撮像素子に前記運転者の顔を撮像させるステップと、
   前記撮像素子の出力にもとづいて、前記運転者の顔画像を生成するステップと、
   前記運転者の顔画像に設定された複数の部分画像領域のそれぞれの輝度どうしを比較して輝度差を求め、所定の差以上の輝度差があると、当該輝度差がゼロに近づくように、前記光源群のうち輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を次フレームの顔撮像時に少なくとも露光開始から終了まで点灯させるよう前記光源群の発光を制御するステップと、
   を有する車室内用カメラの顔撮影方法。
2. 前記光源群の発光を制御するステップの前に実行されるステップであって、前記運転者の顔画像を構成する画素に輝度が所定の輝度以上の画素があると、前記撮像素子の露光時間を短く変更してから前記運転者の顔を撮像させるステップに戻るステップ、
   をさらに有する請求項１記載の車室内用カメラの顔撮影方法。
3. 前記光源群の発光を制御するステップは、
   前記運転者の顔画像を上側画像領域と下側画像領域に分類し、前記上側画像領域に属する全ての部分画像領域の平均輝度と前記下側画像領域に属する全ての部分画像領域の平均輝度との差を求め、上下の輝度差が所定の差以上であると、前記上下の輝度差がゼロに近づくように前記光源群の発光を制御するステップを含む、
   請求項１または２に記載の車室内用カメラの顔撮影方法。
4. 前記光源群の発光を制御するステップは、
   前記運転者の顔画像を左側画像領域と右側画像領域に分類し、前記左側画像領域に属する全ての部分画像領域の平均輝度と前記右側画像領域に属する全ての部分画像領域の平均輝度との差を求め、左右の輝度差が第１の所定の差以上であると、前記左右の輝度差がゼロに近づくように前記光源群の発光を制御する、
   請求項１ないし３のいずれか１項に記載の車室内用カメラの顔撮影方法。
5. 前記光源群の発光を制御するステップは、
   前記輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を点灯させつつ次フレームの顔撮像を行って顔画像を生成し、前記次フレームの顔画像の輝度差が第１の所定の差より小さいと、前記次フレームに続くフレームにおいても前記次フレームと同様に前記光源群の発光を制御する、
   請求項１ないし４のいずれか１項に記載の車室内用カメラの顔撮影方法。
6. 前記光源群の発光を制御するステップは、
   前記輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を点灯させつつ次フレームの顔撮像を行って顔画像を生成し、前記次フレームの顔画像の輝度差が前記第１の所定の差より大きい第２の所定の差以上であると、前記次フレームに続くフレームにおいては前記輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を消灯する、
   請求項５記載の車室内用カメラの顔撮影方法。
7. 前記光源群の発光を制御するステップは、
   前記複数の部分画像領域のそれぞれの輝度どうしを比較して求めた輝度差に所定の差以上のものがあると、当該輝度差がゼロに近づくように、前記光源群のうち前記輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を、前記輝度差に応じた発光輝度で次フレームの顔撮像時に点灯させるよう前記光源群の発光を制御するステップである、
   請求項１ないし６のいずれか１項に記載の車室内用カメラの顔撮影方法。
8. 前記複数の光源のそれぞれは近赤外光を発光し、前記撮像素子は前記複数の光源が発光する近赤外線を透過するフィルタを介して前記運転者の顔を撮像する、
   請求項１ないし７のいずれか１項に記載の車室内用カメラの顔撮影方法。
9. 前記光源群の発光を制御するステップは、
   前記複数の部分画像領域のそれぞれに対する画像処理により抽出された特徴量どうしを比較して特徴量の差を求め、所定の差以上のものがあると、当該特徴量の差がゼロに近づくように、前記光源群のうち前記輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を次フレームの顔撮像時に点灯させるよう前記光源群の発光を制御するステップである、
   請求項１ないし８のいずれか１項に記載の車室内用カメラの顔撮影方法。
10. 前記運転者の顔画像を用いて顔認識処理を行なうステップ、
    をさらに有する請求項１ないし９のいずれか１項に記載の車室内用カメラの顔撮影方法。
11. 複数の光源を有し、前記複数の光源のそれぞれは、運転者の顔の領域に設定された複数の部分顔領域のそれぞれを照明する光源群と、
    前記運転者の顔を撮像する撮像素子と、
    前記撮像素子の出力にもとづいて、前記運転者の顔画像を生成する画像生成部と、
    前記運転者の顔画像に設定された複数の部分画像領域のそれぞれの輝度どうしを比較して輝度差を求め、所定の差以上の輝度差があると、当該輝度差がゼロに近づくように、前記光源群のうち前記輝度が低い部分画像領域に対応する部分顔領域を照明するための光源を次フレームの顔撮像時に少なくとも露光開始から終了まで点灯させるよう前記光源群の発光を制御する輝度調整部と、
    を備えた車室内用カメラ。

Images