JP2010215000A

JP2010215000A - 情報処理装置及び方法、並びにプログラム

Info

Publication number: JP2010215000A
Application number: JP2009060955A
Authority: JP
Inventors: Motomu Yokota; 求横田
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2009-03-13
Filing date: 2009-03-13
Publication date: 2010-09-30
Anticipated expiration: 2029-03-13
Also published as: JP5288189B2

Abstract

【課題】顔の認識率をより一段と向上させる。
【解決手段】サンルーフスイッチ３４は、車両の内部に向かって直接照射する外部の光を遮る機能を有するサンルーフの状態として、外部の光を遮っている閉状態、または外部の光を遮っていない閉状態を検出し、カメラ照明制御部４１は、照明装置３２による車両の内部の照明と、監視カメラ３１による車両の内部の撮像とを制御し、画像処理部４３は、カメラ照明制御部４１の制御のもと撮像された結果得られる照明画像に基づいて、車両内部に存在する人間の顔を認識する。カメラ照明制御部４１は、閉状態が検出された場合、通常光量で照明させ、通常の露光量で撮像させ、開状態が検出された場合、通常光量より多い第２の光量で照明させ、通常の露光量より少ない露光量で撮像させる。本発明は、例えば、監視カメラシステムに適用できる。
【選択図】図２

Description

本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、顔の認識率をより一段と向上させた情報処理装置及び方法、並びにプログラムに関する。

従来、車両を運転している運転者の状態をカメラで監視する監視カメラシステムが存在する（例えば、特許文献１参照）。かかる監視カメラシステムは、車両の内部を含む画像を監視カメラで撮像し、撮像された画像から顔を認識する。

特開平１０−２７５２１２号公報

しかしながら、従来の監視カメラシステムが、サンルーフの搭載された車両に用いられると、顔の認識率が低下することがあった。

本発明は、このような状況に鑑みてなされたものであり、顔の認識率をより一段と向上させるものである。

本発明の一側面の情報処理装置は、車両の内部に向かって直接照射する外部の光を遮る機能を有する遮光体の状態として、外部の光を遮っている第１の状態、または外部の光を遮っていない第２の状態を検出する検出手段と、照明部による車両の内部の照明と、撮像部による車両の内部の撮像とを制御する制御手段と、制御手段の制御のもと撮像部により撮像された結果得られる第１の画像に基づいて、車両内部に存在する人間の顔を認識する認識手段とを備え、制御手段は、検出手段により第１の状態が検出された場合、照明部に第１の光量で照明させ、撮像部に第１の露光量で撮像させる第１の制御を行い、検出手段により第２の状態が検出された場合、照明部に第１の光量より多い第２の光量で照明させ、撮像部に第１の露光量より少ない第２の露光量で撮像させる第２の制御を行う。

本発明の一側面の情報処理装置においては、車両の内部に向かって直接照射する外部の光を遮る機能を有する遮光体の状態として、外部の光を遮っている第１の状態、または外部の光を遮っていない第２の状態が検出され、照明部による車両の内部の照明と、撮像部による車両の内部の撮像とが制御され、その制御のもと撮像部により撮像された結果得られる第１の画像に基づいて、車両内部に存在する人間の顔が認識される。第１の状態が検出された場合、照明部に第１の光量で照明させ、撮像部に第１の露光量で撮像させる第１の制御が行われ、第２の状態が検出された場合、照明部に第１の光量より多い第２の光量で照明させ、撮像部に第１の露光量より少ない第２の露光量で撮像させる第２の制御が行われる。

これにより、顔の認識率をより一段と向上させることができる。

検出手段は、例えば、サンルーフスイッチで構成される。認識手段および制御手段は、例えば、CPU（Central Processing Unit）で構成される。

制御手段は、検出手段により第１の状態が検出された場合、第１の制御に加えてさらに、照明部を消灯させて、撮像部に第１の露光量で撮像させる第３の制御を行い、検出手段により第２の状態が検出された場合、第２の制御に加えてさらに、照明部を消灯させて、撮像部に第２の露光量で撮像させる第４の制御を行い、認識手段は、第１の制御または第２の制御のもと撮像部により撮像された結果得られる画像を第１の画像として、第３の制御または第４の制御のもと撮像部により撮像された結果得られる画像を第２の画像として、第１の画像と第２の画像の差分画像を算出する算出手段と、算出手段により算出された差分画像に対して所定の処理を施すことで、顔を認識する顔画像処理手段とを有することができる。

検出手段は、例えば、サンルーフスイッチで構成される。認識手段および制御手段は、例えば、CPUで構成される。

認識手段は、算出手段により算出された差分画像における陰影の有無を検出する陰影検出手段をさらに有し、顔画像処理手段は、陰影検出手段により陰影無しと検出された場合、所定の処理として、差分画像に対して第１の処理を施し、陰影検出手段により陰影有りと検出された場合、所定の処理として、第１の処理とは異なる第２の処理を差分画像に対して施すことができる。

遮光体は、近赤外光を遮り、検出手段は、車両の内部の近赤外光の強さに基づいて第１の状態または第２の状態を検出することができる。

これにより、顔の認識をより簡単に行うことができる。

車両の外部の光の強さを検出する光検出手段をさらに備え、制御手段は、光検出手段により検出された光の強さが閾値を超えた場合、第１の制御または第２の制御を行い、光検出手段により検出された光の強さが閾値以下の場合、検出手段により検出された遮光体の状態に係わらず、第１の制御を行うことができる。

これにより、顔の認識をより簡単に行うことができる。

光検出手段は、例えば、照度センサで構成される。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する方法およびプログラムである。

本発明によれば、顔の認識率をより一段と向上させることができる。

本発明が適用される監視カメラシステムの一例を示す図である。図１の監視カメラシステムの構成例を示すブロック図である。図１の車載装置の処理例を説明するための図である。図１の車載装置の処理例を説明するフローチャートである。図１の車載装置の処理例を説明するフローチャートである。本発明が適用される監視カメラシステムの一例を示す図である。図６の監視カメラシステムの構成例を示すブロック図である。本発明が適用されるコンピュータのハードウェアの構成例を示す図である。

以下、図面を参照して、本発明を適用した情報処理システムの実施形態として、２つの実施形態（以下、それぞれ第１および第２実施形態と称する）について説明する。よって、説明は以下の順序で行う。
１．第１実施形態（サンルーフの開閉状態をサンルーフセンサで検出する例）
２．第２実施形態（サンルーフの開閉状態を近赤外光センサで検出する例）

＜１．第１実施形態＞

［監視カメラシステムの構成例］

図１は、本発明を適用した情報処理システムの第１実施形態としての監視カメラシステムの一例を示す図である。

なお、本明細書において、システムの用語は、複数の装置、手段等より構成される全体的な装置を意味するものとする。即ち、監視カメラシステムを、１つの装置と把握することも可能である。

図１の例の監視カメラシステム２１は、車両１１の内部に設けられている。

図１の例では、図中左方向が車両１１の前方となっている。そこで、図の記述に従って、以下、図中左方向を前方と称し、さらに、図中上方向を上方と称し、図中手前および奥の方向を側方と称して、説明を行う。

図１は、車両１１の車室SSの一例を示す図である。

図１の例では、車室SSは、フロントウィンドウFGやルーフRF等で形成されている。フロントウィンドウFGは、車室SSの前方上部を覆っている。ルーフRFは、車室SSの上部を形成している。ルーフRFには、サンルーフSRが設けられている。図示せぬサイドウィンドウSWは、車室SSの側方上部を形成している。

車室SSの内部のやや前方には、運転席USが設けられている。運転席USは、例えば、サンルーフSRの下方に位置している。運転席USの前方には、ハンドルHDと、ダッシュボードDBが設けられている。ダッシュボードDBは、フロントウィンドウFGの下方に位置している。

運転者TSは、例えば、前方を向いて運転席USに座り、車両１１を運転している。例えば、運転者TSの頭は、運転席USのヘッドレストHRの付近に位置している。

以上に説明した車室SSを有する車両１１の内部に、監視カメラシステム２１は設けられている。監視カメラシステム２１には、監視カメラ３１、LED(Light Emitting Diode)照明装置３２、および照度センサ３３が設けられている。監視カメラシステム２１にはまた、サンルーフスイッチ３４、車載装置３５、ディスプレイ３６、およびスピーカ３７が設けられている。車載装置３５には、監視カメラ３１、照明装置３２、照度センサ３３、サンルーフスイッチ３４、ディスプレイ３６、およびスピーカ３７が接続されている。

監視カメラ３１および照明装置３２は、例えば、ハンドルHDの付近に配置されている。照度センサ３３は、例えば、ダッシュボードDB上に配置されている。サンルーフスイッチ３４は、サンルーフSRの付近に配置されている。車載装置３５は、車両１１の内部の任意の位置に配置可能である。ディスプレイ３６およびスピーカ３７は、例えば、ダッシュボードDB上に配置されている。

監視カメラシステム２１は、車両１１の内部の所定の空間（例えば、ヘッドレストHRの付近）を照明装置３２により強い光で照明させ、監視カメラ３１により車両１１の内部の所定の空間（例えば、ヘッドレストHRの付近）を撮像させる。監視カメラシステム２１は、撮像された画像に基づいて顔を認識する。監視カメラシステム２１は、例えば、その認識結果に基づいて、運転者TSの状態を判定し、その判定結果を、ディスプレイ３６やスピーカ３７を用いて運転者TSに提示する。このようにして、監視カメラシステム２１は、運転者TSの状態を監視する。

なお、第１実施形態および後述する第２実施形態では、照明装置３２による照明の光として、近赤外光を採用する。但し、照明装置３２による照明の光は、近赤外光に限定されず、任意の帯域の光を採用することができる。

図１をさらに参照して、サンルーフSRの詳細例について説明する。

サンルーフSRには、ガラス部GBおよびシェード部SBが設けられている。ガラス部GBおよびシェード部SBは、いずれも、車両１１の内部に向かって直接照射する車両１１の外部の太陽光（以下、外光と称する）を遮ることが可能である。

ここで、サンルーフSRの開閉状態を次のように定義する。すなわち、サンルーフSRの閉状態は、ガラス部GBおよびシェード部SBのうちの少なくとも一方が、外光を遮っている状態と定義する。この状態は、例えば、ガラス部GBおよびシェード部SBのうちの少なくとも一方が、ルーフRFの開口部KK全体を覆っている状態である。サンルーフSRの開状態は、ガラス部GBおよびシェード部SBの両方が、車両１１の内部に向かって直接照射する外光を遮っていない状態と定義する。この状態は、例えば、ガラス部GBおよびシェード部SBの両方が、ルーフRFの開口部KKの一部を少なくとも覆っていない状態である。

なお、サンルーフSRの開閉状態を切替える手法は特に限定されない。但し、第１実施形態および後述する第２実施形態では、例えば、車載装置３５が、ガラス部GBおよびシェード部SBをモータでそれぞれ駆動させることで、サンルーフSRの開閉状態を切替える手法が採用される。この手法では、例えば、車載装置３５は、運転者TSの不図示のスイッチ等への操作に基づいてモータを制御する。

［従来の撮像照明制御手法の説明］

ここで、本発明の理解を容易にし、且つ、背景を明らかにするため、従来の監視カメラシステムにおける照明部と撮像部の制御手法（以下、従来の制御手法と称する）の一例について説明する。なお、従来の制御手法が適用される監視カメラシステム（従来の監視カメラシステム）は、基本的に、監視カメラシステム２１と同一構成である。そこで、以下、監視カメラシステム２１の構成要素を用いて説明する。但し、従来の制御手法が適用された監視カメラシステム２１には、照度センサ３３およびサンルーフスイッチ３４が設けられていない点に留意すべきである。

従来の制御手法が適用された監視カメラシステム２１が、サンルーフの搭載された車両に用いられると、顔の認識率が低下することがあった。

例えば、図１の例の車両１１を用いて説明すると、サンルーフSRを開けると（サンルーフSRの状態が開状態になると）、運転者TSが外光で照射され、運転者TSの顔に強い陰影が生じる。ところが、従来の制御手法では、運転者TSの顔に強い陰影が生じることは想定されていないため、監視カメラ３１による撮像画像にも陰影（光斑）が現れる。このことに起因して、顔の認識率が低下することを本発明人は突き止めた。

そして、この陰影の影響を少なくするために、本発明人は、次のような照明部と撮像部の制御手法を発明した。すなわち、遮光体（例えば、サンルーフSR）の閉状態が検出された場合、照明部（例えば、照明装置３２）に通常光量で照明させ、撮像部（例えば、監視カメラ３１）に通常の露光量で撮像させる。そして、遮光体の開状態が検出された場合、照明部に通常光量より多い光量で照明させ、撮像部に通常の露光量より少ない露光量で撮像させる手法を発明した。なお、かかる制御手法は、以下、開閉状態制御手法と称する。以下、本発明の開閉状態制御手法が適用された監視カメラシステム２１について説明する。

［本発明の監視カメラシステムの構成例］

次に、本発明の開閉状態制御手法が適用された監視カメラシステム２１の構成例について説明する。

図２は、監視カメラシステム２１の構成例を示すブロック図である。

監視カメラシステム２１の監視カメラ３１は、例えば、デジタルカメラ等で構成される。監視カメラ３１は、後述する車載装置３５の制御に基づいて、車両１１の内部の所定の空間を所定の露光時間で撮影する。本実施形態では、例えば、監視カメラ３１は、近赤外光に感度を持ち、近赤外光を選択的に受光可能な撮像素子（イメージャ）を有している。

なお、第１実施形態および後述する第２実施形態では、監視カメラ３１の露光量は、監視カメラ３１の露光時間で制御されるとする。但し、監視カメラ３１の露光量の制御手法は、特に限定されない。すなわち、例えば、監視カメラ３１の露光量は、監視カメラ３１の絞りで制御されたり、露光時間と絞りの両方で制御されたりしてもよい。

照明装置３２は、後述する車載装置３５の制御に基づいて、車両１１の内部の所定の空間を所定の光量で照明する。照明装置３２は、例えば、近赤外光を発光するLEDを有しており、LEDを発光させることで、近赤外光で照明する。なお、照明装置３２の発光体は、LEDに特に限定されず、所望の帯域の光を発するものであれば足りる。

なお、第１実施形態および後述する第２実施形態では、監視カメラ３１と照明装置３２は別々の装置とするが、その他、例えば、監視カメラ３１と照明装置３２を一体化された１つの装置とすることも可能である。

照度センサ３３は、フロントウィンドウFGを介して車両１１の内部に照射する光の強さを検出することで、外光の強さを検出し、車載装置３５に通知する。

サンルーフスイッチ３４は、サンルーフSRの開閉状態を検出し、例えば、サンルーフSRの閉状態を検出している場合、そのことを車載装置３５に通知する。

なお、第１実施形態および後述する第２実施形態では、サンルーフスイッチ３４は、サンルーフSRの閉状態を検出していることを通知するが、その他、例えば、サンルーフSRの開状態を検出していることを通知するようにしてもよい。

車載装置３５は、監視カメラシステム２１の各部を制御する。例えば、車載装置３５は、照度センサ３３およびサンルーフスイッチ３４からの通知に基づいて、監視カメラ３１および照明装置３２を制御する。また、車載装置３５は、監視カメラ３１により撮像された画像を取得し、その画像に基づいて顔を認識する。車載装置３５は、例えば、その認識結果に基づいて、運転者TSの状態を判定し、その判定結果を、ディスプレイ３６やスピーカ３７を用いて運転者TSに提示する。

次に、車載装置３５の構成例について説明する。

車載装置３５には、カメラ照明制御部４１、駆動パルス出力部４２、画像処理部４３、状態判定部４４、および出力制御部４５が設けられている。

カメラ照明制御部４１は、照度センサ３３およびサンルーフスイッチ３４からの通知に基づいて、駆動パルス出力部４２の出力する駆動パルスの幅（以下、駆動パルス幅と称する）と、照明装置３２の照明光の量（以下、照明光量と称する）を設定する。また、カメラ照明制御部４１は、基準画像と照明画像の撮像開始を駆動パルス出力部４２に指示する。なお、基準画像とは、照明装置３２により照明させたときに監視カメラ３１により撮像させることで得られる画像をいう。照明画像とは、照明装置３２により消灯させたときに監視カメラ３１により撮像させることで得られる画像をいう。

駆動パルス出力部４２は、基準画像の撮像を開始させる場合、設定されている幅の駆動パルスを、監視カメラ３１にのみ出力する。駆動パルス出力部４２は、照明画像の撮像を開始させる場合、設定されている幅の駆動パルスを、監視カメラ３１および照明装置３２に出力する。

画像処理部４３は、カメラ照明制御部４１の制御により撮像された基準画像および照明画像を監視カメラ３１から取得し、所定の画像処理を施すことで、顔を認識し、その認識結果を状態判定部４４に供給する。なお、画像処理部４３は、顔の認識ができなかった場合、そのことを出力制御部４５に通知する。

状態判定部４４は、認識結果に基づいて、運転者TSの状態を判定し、判定結果を、出力制御部４５に供給する。

出力制御部４５は、例えば、判定結果を読み上げる音声の音声信号を作成し、スピーカ３７に供給してその音声を出力させる。出力制御部４５は、顔の認識ができなかったことが通知された場合、例えば、そのことを示すテキストをディスプレイ３６に供給して表示させる。

次に、画像処理部４３の構成例について説明する。

画像処理部４３には、画像取得部６１、差分画像算出部６２、陰影検出部６３、および顔画像処理部６４が設けられている。

画像取得部６１は、基準画像および照明画像を監視カメラ３１から取得し、差分画像算出部６２に供給する。

差分画像算出部６２は、照明画像と基準画像の差分画像を算出し、陰影検出部６３および顔画像処理部６４に供給する。

ここで、照明画像と基準画像の差分をとる利点について説明する。

［基準画像、照明画像、および差分画像の一例］

図３は、基準画像、照明画像、および差分画像の一例を示す図である。

図３のＡは、基準画像の一例を示す図である。図３のＢは、照明画像の一例を示す図である。図３のＣは、図３のＡの例の基準画像と図３のＢの例の照明画像を用いて算出される差分画像の一例を示す図である。

図３のＡ乃至Ｃの例の基準画像８１，照明画像８２，差分画像８３では、被写体の輪郭が黒線で示されている。また、これらの画像では、画素値の小さい領域は灰色の領域として、画素値の大きい領域は白い領域として、示されている。

図３のＡの例の基準画像８１には、運転者が含まれている。但し、基準画像８１では、運転者の領域（以下、運転者領域と称する）TR８１の画素値は小さくなっている。運転者の背景の領域（以下、背景領域と称する）の一部の画素値は大きくなっている。

この例では、サンルーフSRの状態が閉状態であるとする。この場合、運転者TSは、サンルーフSRを介した赤外光でほとんど照射されない。このため、基準画像８１では、運転者領域TR８１の画素値が小さくなるのである。また、サイドウィンドウSW等を介した近赤外光の強さは弱くない。このため、運転者TSの背景の一部は、サイドウィンドウSW等を介した近赤外光で照射される。この結果、基準画像８１では、背景領域の一部の画素値が大きくなるのである。

従って、基準画像８１では、運転者領域TR８１の絵柄は不明瞭であり、背景の一部の絵柄が残っている。このため、基準画像８１をそのまま用いると、顔の認識率は低くなる。

図３のＢの例の照明画像８２には、運転者が含まれている。照明画像８２では、運転者領域TR８２のうち顔領域KR８２の画素値が大きくなっている。照明画像８２の背景領域の画素値は、基準画像８１の背景領域の画素値とほぼ一致している。

この例では、上述したように、運転者TSは、サンルーフSRを介した赤外光でほとんど照射されない。運転者TSの顔は、照明装置３２により強い近赤外光で照明される。このため、照明画像８２では、顔領域KR８２の画素値が大きくなるのである。また、運転者TSの背景は、照明装置３２によりほとんど照明されない。従って、照明画像８２の背景領域の画素値は、基準画像８１の背景領域の画素値とほぼ一致するのである。

従って、照明画像８２では、不要な背景の絵柄が残っている。よって、照明画像８２をそのまま用いると、顔の認識率は低くなる。

これらの基準画像８１および照明画像８２を用いて算出された図３のＣの例の差分画像８３では、運転者領域TR８３のうち顔領域KR８３の画素値だけが大きくなっている。

差分画像８３では、基準画像８１と照明画像８２の差分の大きい領域の画素値が大きくなる。このため、差分画像８３では、顔領域KR８３の画素値が大きくなる。また、差分画像８３では、基準画像８１と照明画像８２の差分の小さい領域の画素値が小さくなる。このため、差分画像８３では、背景領域の画素値が小さくなる。これらの結果、顔領域KR８３の画素値だけが大きくなるのである。

従って、差分画像８３では、顔領域TR８３の絵柄が明瞭であり、不要な背景の絵柄が除かれている。このため、差分画像８３を用いると、顔の認識率は高くなる。

このように、差分画像を利用することで、顔の認識率を向上させることができる。

なお、図３のＢの例の照明画像８２において、顔領域KR８２内の点線部分、すなわち、まゆげ、まぶたの縁、黒目の縁、鼻の輪郭、口の輪郭の部分の画素値は、顔領域KR８２の他の部分に比べて大きくなっている。これに対応して、図３のＣの例の差分画像８３では、顔領域KR８３内の点線部分、すなわち、まゆげ、まぶたの縁、黒目の縁、鼻の輪郭、口の輪郭の部分の画素値は、顔領域KR８３の他の部分に比べて大きくなっている。

陰影検出部６３は、差分画像における陰影の有無を検出する。

例えば、サンルーフSRの状態が開状態の場合、サンルーフSRを介した近赤外光は弱くない。このため、運転者TSはサンルーフSRを介した近赤外光で照射され、運転者TSの顔にはある程度強い陰影が生じる。ところが、上述したように、照明装置３２は通常光量より多い光量で照明するので、差分画像において陰影の影響は少なくなる。しかしながら、差分画像において陰影が完全には除去されずに残ってしまうことがある。陰影検出部６３は、そのような陰影の有無を検出するのである。

顔画像処理部６４は、差分画像または照明画像に対して所定の画像処理を施すことで、顔を認識する顔画像処理を行い、その認識結果を状態判定部４４に供給する。顔画像処理部６４は、陰影検出部６３により陰影有りと検出された差分画像に対して、顔画像処理に代えて、陰影の影響を受けにくい顔画像処理を行う。なぜなら、差分画像に陰影が残っている差分画像に対して通常の顔画像処理を行うと、顔の認識率が低下することがあるからである。なお、陰影の影響を受けにくい顔画像処理の詳細については後述する。

［車載装置の処理例］

次に、車載装置３５の処理（以下、監視制御処理と称する）の一例について説明する。

図４および図５は、車載装置３５の監視制御処理の一例を説明するためのフローチャートである。

ステップＳ１１において、カメラ照明制御部４１は、外光の強さは一定以上か否かを判定する。

例えば、外光の強さが一定以上でないことが照度センサ３３から通知されている場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ２５に進む。なお、ステップＳ２５以降の処理については後述する。

これに対して、外光の強さが一定以上であることが照度センサ３３から通知されている場合、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。ステップＳ１２において、カメラ照明制御部４１は、サンルーフSRの状態が開状態であるか否かを判定する。

例えば、サンルーフSRの閉状態を検出していることがサンルーフスイッチ３４から通知されていない場合、ステップＳ１２においてＹＥＳであると判定されて、処理はステップＳ１８に進む。なお、ステップＳ１８以降の処理については後述する。

これに対して、サンルーフSRの閉状態を検出していることがサンルーフスイッチ３４から通知されている場合、ステップＳ１２においてＮＯであると判定されて、処理はステップＳ１３に進む。ステップＳ１３において、カメラ照明制御部４１は、駆動パルス出力部４２の駆動パルス幅を通常幅に設定する。

ステップＳ１４において、カメラ照明制御部４１は、照明装置３２の照明光量を通常光量に設定する。より具体的には、カメラ照明制御部４１は、例えば、照明装置３２の照明時にLEDに流す電流値を通常値に設定する。または、照明装置３２は、例えば、LEDを複数有しており、カメラ照明制御部４１は、照明装置３２の照明時に発光させるLEDの個数を通常個数に設定する。

ステップＳ１５において、カメラ照明制御部４１は、駆動パルス出力部４２に基準画像および照明画像の撮像開始を指示する。

駆動パルス出力部４２は、カメラ照明制御部４１の指示に基づいて、次に説明する第１および第２の処理をその順番で実行する。

まず、駆動パルス出力部４２は、第１の処理として、設定されている幅（通常幅）の駆動パルスを監視カメラ３１に供給する。監視カメラ３１は、駆動パルスに同期して、駆動パルス幅に応じた露光時間（通常の露光時間）で撮像する。照明装置３２には駆動パルスが供給されないため、照明装置３２は照明しない。従って、基準画像が撮像される。

次に、駆動パルス出力部４２は、第２の処理として、設定されている幅（通常幅）の駆動パルスを監視カメラ３１および照明装置３２に供給する。監視カメラ３１は、駆動パルスに同期して、駆動パルス幅に応じた露光時間（通常の露光時間）で撮像する。照明装置３２は、駆動パルスに同期して、駆動パルス幅に応じた照明時間（通常の照明時間）で照明する。このため、照明画像が撮像される。

このようにして、基準画像および照明画像が撮像される。なお、第１の処理と第２の処理の順番は特に限定されず、例えば、第２の処理，第１の処理の順番とすることも可能である。

なお、第１実施形態および後述する第２実施形態では、照明装置３２の照明時間は、監視カメラ３１の露出時間とともに可変されているが、その他、例えば、監視カメラ３１の最大の露出時間以上の所定の時間に固定されてもよい。

ステップＳ１６において、画像処理部４３の画像取得部６１は、監視カメラ３１から撮像画像（基準画像と照明画像）を取得し、差分画像算出部６２に供給する。

ステップＳ１７において、差分画像算出部６２は、照明画像と基準画像を用いて差分画像を算出し、顔画像処理部６４に供給する。その後、処理はステップＳ２９に進む。なお、ステップＳ２９以降の処理については後述する。

ところで、上述したように、ステップＳ１２においてＹＥＳであると判定されると、処理はステップＳ１８に進む。ステップＳ１８において、カメラ照明制御部４１は、駆動パルス出力部４２の駆動パルス幅を通常幅より短い幅に設定する。

ステップＳ１９において、カメラ照明制御部４１は、照明装置３２の照明光量を通常光量より多い光量に設定する。より具体的には、カメラ照明制御部４１は、例えば、照明装置３２の照明時にLEDに流す電流値を通常値より多い値に設定する。または、照明装置３２は、例えば、LEDを複数有しており、カメラ照明制御部４１は、照明装置３２の照明時に発光させるLEDの個数を通常個数より多い個数に設定する。

ステップＳ２０において、カメラ照明制御部４１は、駆動パルス出力部４２に基準画像および照明画像の撮像開始を指示する。

まず、駆動パルス出力部４２は、第１の処理として、設定されている幅（通常幅より短い幅）の駆動パルスを、監視カメラ３１に供給する。監視カメラ３１は、駆動パルスに同期して、駆動パルス幅に応じた露光時間（通常より短い露光時間）で撮像する。照明装置３２には駆動パルスが供給されないため、照明装置３２は照明しない。従って、基準画像が撮像される。

次に、駆動パルス出力部４２は、第２の処理として、設定されている幅（通常幅より短い幅）の駆動パルスを、監視カメラ３１および照明装置３２に供給する。監視カメラ３１は、駆動パルスに同期して、駆動パルス幅に応じた露光時間（通常より短い露光時間）で撮像する。また、照明装置３２は、駆動パルスに同期して、駆動パルス幅に応じた照明時間（通常より短い照明時間）で照明する。このため、照明画像が撮像される。

ステップＳ２１において、画像処理部４３の画像取得部６１は、監視カメラ３１から撮像画像（基準画像と照明画像）を取得し、差分画像算出部６２に供給する。

ステップＳ２２において、差分画像算出部６２は、照明画像と基準画像を用いて差分画像を算出し、陰影検出部６３および顔画像処理部６４に供給する。

ステップＳ２３において、陰影検出部６３は、差分画像における陰影の有無を検出する。なお、陰影の有無の検出手法は特に限定されない。例えば、画像中の所定の２つの領域における輝度差から陰影の有無を検出する手法（例えば、特開２００７−１１２３００公報参照）を採用することができる。または、例えば、陰影を作る物体の位置に基づいて陰影の有無を検出する手法（例えば、特開２００８−１９１７８４公報参照）を採用することができる。

ステップＳ２４において、陰影検出部６３は、陰影有りと検出したか否かを判定する。

陰影有りと検出した場合、ステップＳ２４においてＹＥＳであると判定されて、処理はステップＳ３０に進む。なお、ステップＳ３０以降の処理については後述する。

これに対して、陰影無しと検出した場合、ステップＳ２４においてＮＯであると判定されて、処理はステップＳ２９に進む。なお、ステップＳ２９以降の処理については後述する。

ところで、上述したように、ステップＳ１１においてＮＯであると判定されると、処理はステップＳ２５に進む。ステップＳ２５およびＳ２６の処理は、それぞれ、ステップＳ１３およびＳ１４の処理と同じである。従って、それらの処理の説明を省略する。

ステップＳ２７において、カメラ照明制御部４１は、駆動パルス出力部４２に照明画像の撮像開始を指示する。

駆動パルス出力部４２は、カメラ照明制御部４１の指示に基づいて、設定されている幅（通常幅）の駆動パルスを、監視カメラ３１および照明装置３２に供給する。監視カメラ３１は、駆動パルスに同期して、駆動パルス幅に応じた露光時間（通常の露光時間）で撮像する。照明装置３２は、駆動パルスに同期して、駆動パルス幅に応じた照明時間（通常の照明時間）で照明する。このため、照明画像が撮像される。このようにして、照明画像のみが撮像される。

例えば、天気が曇りや雨であったり、時間帯が夜間であったり、車両１１がトンネル内を走行中であったりすることで、外光の強さが弱い場合、外光に含まれる近赤外光の強さも弱くなっている。従って、サンルーフSRの開閉状態に係わらず、運転者TSおよびその背景は、いずれも、サンルーフSRを介した近赤外光でほとんど照射されない。また、運転者TSの顔は、照明装置３２により強い近赤外光で照明される。このため、照明画像では、顔領域の画素値だけが大きくなる。従って、照明画像をそのまま用いて顔を認識することが可能となる。よって、基準画像の撮像は不要となり、そのための制御処理を省くことができる。

ステップＳ２８において、画像処理部４３の画像取得部６１は、監視カメラ３１から撮像画像（照明画像）を取得し、顔画像処理部６４に供給する。その後、処理はステップＳ２９に進む。

ステップＳ２９において、顔画像処理部６４は、差分画像または照明画像に対して所定の画像処理を施すことで、顔を認識する顔画像処理を行う。なお、顔画像処理の手法は特に限定されない。但し、第１実施形態および後述する第２実施形態では、顔画像処理の処理手法として、次のような手法が採用される。すなわち、例えば、撮像画像から顔領域を抽出し、顔の向きを求める手法や、その顔領域から目の位置を特定して視線方向を求める手法が採用される（例えば、特開２００６−２５９９００公報参照）。その後、処理はステップＳ３１に進む。なお、ステップＳ３１以降の処理については後述する。

ところで、上述したように、ステップＳ２４においてＹＥＳであると判定されると、処理はステップＳ３０に進む。ステップＳ３０において、顔画像処理部６４は、差分画像に対して、陰影の影響を受けにくい顔画像処理を行う。なお、陰影の影響を受けにくい顔画像処理の手法は特に限定されない。但し、第１実施形態および後述する第２実施形態では、陰影の影響を受けにくい顔画像処理の手法として、例えば、次のような手法が採用される。すなわち、陰影で生じる輝度の低下に応じて、顔の器官の位置を求めるための閾値を可変させる手法が採用される（例えば、特開平１０−２７５２１２号公報を参照）。陰影の影響を受けにくい顔画像処理は、通常の顔画像処理に比べて処理速度がやや遅いが、差分画像に陰影があっても顔を認識することができる。このため、顔の認識率を高めることが可能となる。

ステップＳ３１において、顔画像処理部６４は、顔の認識はできたか否かを判定する。

例えば、顔の認識結果としての顔の向きや視線方向を求めることができなかった場合、ステップＳ３１においてＮＯであると判定されて、処理はステップＳ３２に進む。ステップＳ３２において、顔画像処理部６４は、顔の認識ができなかったことを出力制御部４５に通知する。出力制御部４５は、顔の認識ができなかったことを示すテキスト、例えば、「顔の認識ができませんでした」を、ディスプレイ３６に供給して表示させる。その後、処理はステップＳ３６に進む。ステップＳ３６以降の処理については後述する。

これに対して、顔の認識結果としての顔の向きや視線方向を求めることができた場合、ステップＳ３１においてＹＥＳであると判定されて、処理はステップＳ３３に進む。ステップＳ３３において、顔画像処理部６４は、顔の向きや視線方向を状態判定部４４に供給する。

ステップＳ３４において、状態判定部４４は、顔の向きや視線方向に基づいて、運転者TSの状態を判定する。例えば、状態判定部４４は、所定の時間以上の間において顔の向きが前方から大幅にずれている場合、運転者TSの状態をわき見状態と判定し、それ以外の場合、運転者TSの状態を通常状態と判定する。または、例えば、状態判定部４４は、所定の時間以上の間において視線方向が動かない場合、運転者TSの状態を居眠り状態と判定し、それ以外の場合、運転者TSの状態を通常状態と判定する。状態判定部４４は、このような判定結果を出力制御部４５に供給する。

ステップＳ３５において、出力制御部４５は、例えば、運転者TSの状態がわき見の状態や居眠りの状態という判定結果の場合、それらの判定結果を示すテキスト「わき見をしています」や「居眠りをしています」を読み上げる音声に対応する音声信号を作成する。出力制御部４５は、その音声に対応する音声信号をスピーカ３７に供給してその音声を出力させる。但し、出力制御部４５は、例えば、運転者TSの状態が通常状態という判定結果の場合、音声信号を作成せず、音声を出力させないようにすることもできる。

ステップＳ３６において、カメラ照明制御部４１は、処理を終了するか否かを判定する。

例えば、図示せぬ操作部を運転者TSが操作することで、カメラ照明制御部４１に処理終了の指令が供給された場合、ステップＳ３６においてＹＥＳであると判定されて、監視制御処理は終了する。

これに対して、カメラ照明制御部４１に処理終了の指令が供給されない限り、ステップＳ３６においてＮＯであると判定されて、処理はステップＳ１１に戻される。

以上のように、監視カメラシステム２１は、外光の強さおよびサンルーフSRの開閉状態に応じて、監視カメラ３１の露光量、照明装置３２の照明光量、および顔画像処理の内容を変更する。これにより、監視カメラシステム２１がサンルーフの搭載された車両に用いられると、顔の認識率が向上する。すなわち、監視カメラシステム２１は、顔の認識率をより一段と向上させることができる。

次に、第２実施形態について説明する。

上述した監視カメラシステム２１では、サンルーフSRの開閉状態を検出する手法として、サンルーフSRの開閉状態をサンルーフSRの閉センサで検出する手法を採用した。但し、サンルーフSRの開閉状態を検出する手法は、この手法に特に限定されない。従って、例えば、車両１１の内部の近赤外光の強さを近赤外光センサで検出することで、サンルーフSRの開閉状態を検出する手法を採用することもできる。かかる検出手法が適用された監視カメラシステムについて、図６および図７を参照して説明する。

［監視カメラシステムの一例］

図６は、本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムの一例を示す図である。

なお、図６の例の監視カメラシステム９１において、図３の例の監視カメラシステム２１における対応する部分には同じ符号を付しており、以下、その説明を適宜省略する。

図６の例の監視カメラシステム９１では、図１の例の監視カメラシステム２１におけるサンルーフスイッチ３４に代えて、近赤外光センサ１０１が設けられている。

近赤外光センサ１０１は、例えば、ダッシュボードDB上に設けられている。

サンルーフSRが閉状態の場合、サンルーフSRを介した近赤外光の強さは弱くなる。このため、車両１１の内部の近赤外光の強さは弱くなる。これに対して、サンルーフSRが開状態の場合、サンルーフSRを介した近赤外光の強さは強くなる。このため、車両１１の内部の近赤外光の強さは強くなる。すなわち、サンルーフSRの開閉状態に応じて、車両１１の内部の近赤外光の強さは変化する。従って、近赤外光センサ１０１は、車両１１の内部の近赤外光の強さを検出することで、サンルーフSRの開閉状態を検出することができる。

［監視カメラシステムの構成例］

図７は、監視カメラシステム９１の構成例を示すブロック図である。

近赤外光センサ１０１は、車両１１の内部の近赤外光の強さを検出する。近赤外光センサ１０１は、近赤外光の強さが一定以下である場合、サンルーフSRが閉状態であると判断し、サンルーフSRが閉状態であることを車載装置３５に通知する。このように、近赤外光センサ１０１は、検出手法は異なるものの、サンルーフスイッチ３４と同様に、サンルーフSRの開閉状態を検出することができる。

以上のように、図６の例の監視カメラシステム９１は、図１の例の監視カメラシステム２１と同様に、運転者TSの状態を監視することができる。

なお、第１および第２実施形態では、外光の強さとサンルーフSRの開閉状態に応じて各種設定を変更するが、その他、例えば、外光の、車両１１に対する照射方向に応じて、各種設定を変更することもできる。例えば、昼頃の外光は、車両１１に対して垂直方向に近い方向から照射する。このため、運転者TSは、サンルーフSRを介した強い近赤外光で照射される。これに対して、夕方の外光は、車両１１に対して水平方向に近い方向から照射する。このため、運転者TSは、サンルーフSRを介した近赤外光でほとんど照射されない。そこで、外光の、車両１１に対する照射方向に応じて、各種設定を変更するのである。なお、外光の、車両１１に対する照射方向は、例えば、現在の日付や時刻等に基づいて算出される。

また、第１および第２実施形態では、遮光体として、サンルーフを採用したが、その他、例えば、サイドウィンドウやリアウィンドウ、オープンカーの屋根等を採用することもできる。

第１および第２実施形態では、監視カメラシステムは車両の内部に設けられているが、その他、列車や船舶といった様々な乗物の内部に設けることも可能である。

［ハードウェアの構成例］

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、プログラム記録媒体からインストールされる。このプログラムは、例えば、専用のハードウェアに組み込まれているコンピュータにインストールされる。または、このプログラムは、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等にインストールされる。

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７、ハードディスクや不揮発性のメモリ等よりなる記憶部２０８が接続されている。さらに、入出力インタフェース２０５には、ネットワークインタフェース等よりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）であるリムーバブルメディア２１１に記録して提供される。プログラムは、パッケージメディアであるリムーバブルメディア２１１に記録して提供される。なお、パッケージメディアとしては、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等が用いられる。あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施形態は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１車両，２１監視カメラシステム，３１監視カメラ，３２照明装置，３３照度センサ，３４サンルーフスイッチ，３５車載装置，３６ディスプレイ，３７スピーカ，４１カメラ照明制御部，４２駆動パルス出力部，４３画像処理部，４４状態判定部，４５出力制御部，６１画像取得部，６２差分画像算出部，６３陰影検出部，６４顔画像処理部，９１監視カメラシステム，１０１近赤外光センサ，２０１ CPU，２０２ ROM，２０３ RAM，２０４バス，２０５入出力インタフェース，２０６入力部，２０７出力部，２０８記憶部，２０９通信部，２１０ドライブ，２１１リムーバブルメディア

Claims

車両の内部に向かって直接照射する外部の光を遮る機能を有する遮光体の状態として、前記外部の光を遮っている第１の状態、または前記外部の光を遮っていない第２の状態を検出する検出手段と、
照明部による前記車両の内部の照明と、撮像部による前記車両の内部の撮像とを制御する制御手段と、
前記制御手段の制御のもと前記撮像部により撮像された結果得られる第１の画像に基づいて、前記車両内部に存在する人間の顔を認識する認識手段と
を備え、
前記制御手段は、
前記検出手段により前記第１の状態が検出された場合、前記照明部に第１の光量で照明させ、前記撮像部に第１の露光量で撮像させる第１の制御を行い、
前記検出手段により前記第２の状態が検出された場合、前記照明部に前記第１の光量より多い第２の光量で照明させ、前記撮像部に前記第１の露光量より少ない第２の露光量で撮像させる第２の制御を行う
情報処理装置。
前記制御手段は、
前記検出手段により前記第１の状態が検出された場合、前記第１の制御に加えてさらに、前記照明部を消灯させて、前記撮像部に前記第１の露光量で撮像させる第３の制御を行い、
前記検出手段により前記第２の状態が検出された場合、前記第２の制御に加えてさらに、前記照明部を消灯させて、前記撮像部に前記第２の露光量で撮像させる第４の制御を行い、
前記認識手段は、
前記第１の制御または前記第２の制御のもと前記撮像部により撮像された結果得られる画像を前記第１の画像として、前記第３の制御または前記第４の制御のもと前記撮像部により撮像された結果得られる画像を第２の画像として、前記第１の画像と前記第２の画像の差分画像を算出する算出手段と、
前記算出手段により算出された前記差分画像に対して所定の処理を施すことで、前記顔を認識する顔画像処理手段と
を有する
請求項１に記載の情報処理装置。
前記認識手段は、
前記算出手段により算出された前記差分画像における陰影の有無を検出する陰影検出手段
をさらに有し、
前記顔画像処理手段は、
前記陰影検出手段により陰影無しと検出された場合、前記所定の処理として、前記差分画像に対して第１の処理を施し、
前記陰影検出手段により陰影有りと検出された場合、前記所定の処理として、前記第１の処理とは異なる第２の処理を前記差分画像に対して施す
請求項２に記載の情報処理装置。
前記遮光体は、近赤外光を遮り、
前記検出手段は、前記車両の内部の近赤外光の強さに基づいて前記第１の状態または前記第２の状態を検出する
請求項１に記載の情報処理装置。
前記車両の外部の光の強さを検出する光検出手段をさらに備え、
前記制御手段は、
前記光検出手段により検出された前記光の強さが閾値を超えた場合、前記第１の制御または前記第２の制御を行い、
前記光検出手段により検出された前記光の強さが閾値以下の場合、前記検出手段により検出された前記遮光体の状態に係わらず、前記第１の制御を行う
請求項１に記載の情報処理装置。
情報処理装置が実行するステップとして、
車両の内部に向かって直接照射する外部の光を遮る機能を有する遮光体の状態として、前記外部の光を遮っている第１の状態、または前記外部の光を遮っていない第２の状態を検出する検出ステップと、
照明部による前記車両の内部の照明と、撮像部による前記車両の内部の撮像とを制御する制御ステップと、
前記制御ステップの制御のもと前記撮像部により撮像された結果得られる第１の画像に基づいて、前記車両内部に存在する人間の顔を認識する認識ステップと
を含み、
前記制御ステップには、
前記検出ステップの処理により前記第１の状態が検出された場合、前記照明部に第１の光量で照明させ、前記撮像部に第１の露光量で撮像させる第１の制御を行い、
前記検出ステップの処理により前記第２の状態が検出された場合、前記照明部に前記第１の光量より多い第２の光量で照明させ、前記撮像部に前記第１の露光量より少ない第２の露光量で撮像させる第２の制御を行うステップを含む
情報処理方法。
情報処理装置を制御するコンピュータに、
車両の内部に向かって直接照射する外部の光を遮る機能を有する遮光体の状態として、前記外部の光を遮っている第１の状態、または前記外部の光を遮っていない第２の状態を検出する検出ステップと、
照明部による前記車両の内部の照明と、撮像部による前記車両の内部の撮像とを制御する制御ステップと、
前記制御ステップの制御のもと前記撮像部により撮像された結果得られる第１の画像に基づいて、前記車両内部に存在する人間の顔を認識する認識ステップと
を実行させ、
前記コンピュータに、前記制御ステップとして、
前記検出ステップの処理により前記第１の状態が検出された場合、前記照明部に第１の光量で照明させ、前記撮像部に第１の露光量で撮像させる第１の制御を行い、
前記検出ステップの処理により前記第２の状態が検出された場合、前記照明部に前記第１の光量より多い第２の光量で照明させ、前記撮像部に前記第１の露光量より少ない第２の露光量で撮像させる第２の制御を行うステップを実行させる
プログラム。