JP2010134363A - 照明制御装置および方法 - Google Patents

Abstract

【課題】 高い応答性で被写体に対して照明を行うこと。
【解決手段】 レンズと、当該レンズから所定の位置に配置された複数の発光素子とから構成される照明装置を制御する照明制御装置であって、照明対象の位置情報を取得する取得手段と、前記照明対象の位置情報に基づく前記レンズの中心と前記照明対象との位置関係から、前記複数の発光素子の発光を制御する制御手段とを有することを特徴とする。
【選択図】 図１

Description

本発明は，照明対象へ照明光を照射するための照明制御装置および方法などに関する。

写真撮影やビデオ撮影では、被写体の撮影画像の画質を向上させるために、移動する被写体の特定部位を追従して照明する照明装置が用いられている。被写体を追従する照明装置を用いることにより、撮影画像における被写体の輝度が高くなり、撮影画像から被写体を検出することも容易になる。

特に、監視カメラを用いた監視システムでは、人物の顔領域に照明を当てることにより、撮影画像から人物を認識する精度を向上させることが出来る。

また、被写体の特定領域にのみ照明を照射するため、撮影領域全体に照明を行う装置よりも照明に使う消費電力を低下させることが出来る。

照明装置の従来技術として、特許文献１には、被写体を撮影した撮影画像から被写体（照明対象）の領域を抽出し、抽出された領域の位置に基づき、照明装置の照明の向きを制御することが開示されている。
特開平１０−１２００５

特許文献１に開示されている照明装置では，照明装置に配設された駆動部を駆動させることによって、照明対象の動きに照明の向きを追従させる。しかしながら、特許文献１に開示されている照明装置では、照明対象が高速で移動する場合、駆動部の駆動が間に合わず、照明対象を照明することができない場合がある。また、照明装置の照明部の数が被写体の数よりも少ない場合には、すべての照明対象を同時に照明することは出来ない。

本発明は、以上の課題を鑑みてなされたものであり、高い応答性で照明対象に対する照明を行うことを目的とする。

本発明は、レンズと、当該レンズから所定の位置に配置された複数の発光素子とから構成される照明装置を制御する照明制御装置であって、照明対象の位置情報を取得する取得手段と、前記照明対象の位置情報に基づく前記レンズの中心と前記照明対象との位置関係から、前記複数の発光素子の発光を制御する制御手段とを有することを特徴とする。

本発明によれば、高い応答性で照明対象に対する照明を行うことが出来る。

（第一の実施形態）
以下、添付図面を参照して、本実施形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本実施形態における照明装置および照明制御装置の概略側面図を示したものである。

図２は、本実施形態における照明装置および照明制御装置の概略上面図を示したものである。

以下、図１および図２における照明装置の各構成を説明する。尚、本実施形態における照明対象（被写体）は人物の顔であり、本実施形態における照明装置は人物の顔を追従照明する。

１０は、撮影領域内の任意の位置に対して照明光を照射することができる任意位置照明装置１０である。任意位置照明装置１０は、複数の発光素子から構成される。任意位置照明装置１０の詳細な構成については後述する。

２０は、撮影領域を撮像し、撮影画像を取得する撮像手段２０である。撮像手段２０は、ビデオカメラなどから構成される。撮像手段２０の詳細な構成については後述する。

２５は、撮影手段２０で取得された撮影画像から撮影画像中の被写体の奥行きを推定する奥行き推定手段２５である。奥行き推定手段２５は、ＣＰＵ（セントラルプロセッシングユニット）、奥行きを推定するための画像処理プログラムが格納されたＲＡＭ（ランダムアクセスメモリ）などから構成される。奥行き推定手段２５は、撮影手段２０で撮影された撮影画像を元に撮影シーンの奥行き情報を推定する。奥行き情報の推定には、例えば、ステレオマッチング法という手法がある。ステレオマッチング法は、撮影手段２０が２眼カメラで構成され、それぞれのカメラで撮影画像を取得する場合に用いられる。ステレオマッチング法では二つの画像間で対応点検索を行い、二つのカメラ間の距離である基線長と視差情報から三角測量の原理に基づき、奥行きを推定する。奥行き推定処理は、パーソナルコンピューター上で動作するプログラムで行っても、処理をハードウエアー化したもので行っても良い。

ステレオマッチング法では、２眼カメラが必要となるが、他のカメラや推定機を用いて奥行きを推定することも可能である。

例えば、投射光の反射時間によって被写体までの距離を測定するＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）カメラでも奥行きを推定することが可能である。この技術では投射光を照射する手段が別途必要になるが、一つのカメラで奥行き推定が可能になる。

また、Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ技術と呼ばれる技術も用いることができる。この技術では、レンズの開口部を符号化し、撮影画像を解析することで、単眼での奥行き推定が可能になる。

３０は、撮影手段２０で取得された撮影画像から撮影画像中の被写体の位置を検出する被写体位置検出手段３０である。被写体位置検出手段３０は、ＣＰＵ（セントラルプロセッシングユニット）、被写体の位置を検出するための画像処理プログラムが格納されたＲＡＭ（ランダムアクセスメモリ）などから構成される。

被写体位置検出手段３０では撮影手段２０で取得された撮影画像から被写体、すなわち、人物の顔領域を検出する。これは、特徴量による検出技術を使っても良いし、種々の公知の手法を適用できる。

顔領域の検出処理はパーソナルコンピューター上で動作するプログラムでも、処理をハードウエアー化したもので行っても良い。

４０は、任意位置照明装置１０が有する発光素子アレイ１２の発光を制御する発光素子アレイ制御手段４０である。発光素子アレイ制御手段４０は、発光素子１２の２次元的な発光位置を制御する制御基盤などから構成される。照明装置の制御の詳細については後述する。

５０は、撮影手段２０で撮影され、任意位置照明装置１０で照明光が照射される被写体５０（人物の顔）である。

以上が、本実施形態における照明装置の構成の概略である。次に、本実施形態における任意位置照明装置１０の構成を説明する。

図３は、本実施形態における任意位置照明装置１０の構成を示した図である。

１１は、複数のレンズが２次元的に配列されたマイクロレンズアレイ１１である。

１２は、被写体５０に対して照明光を照射する発光素子アレイ１２である。発光素子アレイ１２は、複数の発光素子を２次元的に配列したＬＣＤ（液晶ディスプレイ）、ＬＥＤアレイ、有機ＥＬディスプレイなどから構成される。発光素子は、マイクロレンズアレイから所定の位置（例えば、焦点位置）に配置される。また、それぞれの発光素子は、発光・非発光の切替えだけでなく、中間階調で発光できるものが望ましい。理由については、後述する。

発光素子アレイ１１が照射する照明光の発光波長としては、白色光を用いると、撮影画像の輝度が上がり、撮影画像の画質を向上させることが出来る。ただし、人物を監視する監視装置として用いる場合、人間には不可視である赤外線光を用いるほうが良い。

図４は、任意位置照明装置１０の発光方式および詳細な構造を示す図である。

１１ａは、マイクロレンズアレイ１１を構成する要素レンズである。

１２ａ〜１２ｋは、発光素子アレイ１２を構成する発光素子である。図４におけるｆは、要素レンズ１１ａの焦点距離を示しており、前述したように、焦点距離ｆ上に発光素子１２ａ〜１２ｋが配置されている。

任意位置照明装置１０は、発光素子１２ａ〜１２ｋの発光を制御することで、任意の位置に照明光を照射することが出来る。以下に詳細を説明する。

例えば、要素レンズ１１ａの光軸上にある発光素子１２ｆから出射した光は、光軸となす角０°の略平行光Ｒｆとなる。また、光軸からｈだけ離れた発光素子１２ｋから出射した光は光軸となす角θの略平行光Ｒｋとなる。ｈとｆとθの関係は以下の式で記述される。
θ＝ｔａｎ^−１（ｈ／ｆ） ・・・ 式（１）
すなわち、発光させる発光素子ｈを選択することにより、θを制御することが可能になる。よって、例えば、被写体と要素レンズ１１ａの中心とを結ぶ直線と要素レンズ１１ａの光軸とから、θを算出し、発光させるべき発光素子の位置ｈを求めることが可能である。

図５は、照射対象に対して照明を照射する具体的な方法を示した図である。

１１ａと１１ａ’は、要素レンズであり、１２ａ〜１２ｊは要素レンズ１１ａに対応する発光素子アレイであり、１２ａ’〜１２ｊ’は要素レンズ１１ａ’に対応する発光素子アレイである。

図５では、発光素子アレイ１２ａ〜１２ｊと１２ａ’〜１２ｊ’を用いて領域５１を照射する状態を示している。式（１）で説明したように、領域５１を照射するために発光させるべき発光素子は、領域５１と要素レンズとの位置関係から求めることが出来る。図５に示す通り、発光素子１２ｄと１２ｊ’をそれぞれ発光させると、領域５１を照射可能になる。

つまり、１２ｄから出射し１１ａに入射した光線Ｒｄは照射領域５１を照射され、１２ｊ’から出射し１１ａ’に入射する光線Ｒｊ’は領域５１を照射される。このように、発光させる発光素子を制御することにより、任意の位置の照射領域５１を照射することが可能になる。

しかしながら、発光素子１２ｄから照射された光は直前に配置された要素レンズ１１ａだけでなく、隣接する要素レンズ１１ａ’にも入射してしまう。この光は領域５１に入射しない光線Ｒｄｎとなるため、ノイズ光となる。このようなノイズ光は、領域５１を適切に撮像するためには妨げとなる。このようなノイズ光を除去もしくは低減させるための技術を、次に説明する。

図６は、発光素子アレイ間に遮光部材を配置した状態を示す図である。１４は隣接する要素レンズに光が入射することを防止するための遮光部材である。発光素子１２ｄから照射された光は要素レンズ１１ａ’に入射する前に、遮光部材１４に遮光される。このような遮光版１４を配置することにより、ノイズ光を除去もしくは低減させることが出来る。尚、遮光部材１４としては、ブラックアルマイト加工のような表面粗し加工を施した部材を使うことが好ましい。

以上が、任意位置照明装置１０の発光方式および詳細な構造である。

次に、撮像手段２０の詳細な構造について説明する。

図７は、撮像手段２０の上面図を示したものである。

２１、２２は、撮像手段２０の構成の一部であるカメラ２１、２２である。各カメラ２１、２２は、焦点距離Ｆ_ｃの撮像レンズ２１ａ、２２ａおよびイメージセンサ２１ｂ、２２ｂから構成される。カメラ２１、２２で撮像された撮影画像２１ｃ、２２ｃは、奥行き推定手段２５に出力される。尚、カメラ２１、２２に動画像を撮影可能なビデオカメラを用いることにより、被写体５０の移動を検出する移動検出手段として機能し、発光素子アレイ制御手段４０は検出結果に基づき発光を制御することも可能である。

以上が、撮像手段２０の詳細な構造である。

次に、発光素子アレイ１２の望ましい機能について説明する。本実施形態に用いられる発光素子１２は、発光／非発光の切り替えを行えるだけでなく、発光強度も調整できることが好ましい。理由は２つある。

１つ目の理由は発光アレイの発光位置により、レンズに入射する光束が異なることである。

図８、図９は要素レンズ１１ａと対応する発光アレイ部１２を拡大表示したものである。図８は発光位置が要素レンズの中心１２ｃｅである場合，図９は要素レンズの端１２ｅｄである場合である。レンズに入射する光束の範囲をＬＩで示す。図８から要素レンズの光軸に近い発光素子からの入射光束は多く、図９から要素レンズの周辺部ほど入射光束は減少することがわかる。各レンズからの一定の照度で被写体を照明するためには、図１０に示すように周辺部ほど強く発光させ、中央部を弱く発光させる必要がある。

２つめの理由は、照明と被写体の距離による明るさの変化である。

近くの被写体と遠くの被写体を同じ発光強度で照明すると、遠くの被写体は暗く写り、近くの被写体は明るく写る。したがって、遠くの被写体を強い発光強度で照明し、近くの被写体を弱い発光強度で照明すれば画像上での写り方は距離に依存せず、常に一定の明るさで顔検出・認識処理をすることができる。

これら２つの理由から発光位置のＯＮ／ＯＦＦだけでなく、例えば、不図示の距離検出手段もしくは奥行き推定手段２５により検出された被写体と任意位置照明装置１０との距離に基づき、発光強度の調整ができることが好ましい。

次に、本実施形態における照明装置の制御について説明する。

図１１は、本実施形態における照明装置の制御の方法を示すフローチャートである。図１１に示す各処理は、撮影手段２０、奥行き推定手段２５、被写体位置検出手段３０、発光素子アレイ制御手段４０、図１および図２に不図示の制御手段のいずれかが行うものである。

（Ｓ１１）Ｓ１１（画像撮像）では、撮影手段２０が被写体５０を撮像し、撮影画像を取得する。

（Ｓ１２）Ｓ１２（奥行き推定処理）では、奥行き推定手段２５が、Ｓ１１で取得された撮影画像に基づき、撮影シーンの奥行き情報（撮影手段２０から被写体５０までの距離情報）を推定する。奥行き情報の算出には、前述したステレオマッチング法などを用いる。

（Ｓ１３）Ｓ１３（顔検出処理）では、被写体位置検出手段３０が、Ｓ１１で取得された撮影画像内における被写体５０（人物の顔）の領域を検出する。そして、画像座標上における被写体５０（人物の顔）の中心位置（ｘ_ｏ，ｙ_ｏ）も算出する。

（Ｓ１４）Ｓ１４（被写体位置情報算出）では、被写体位置検出手段３０が、Ｓ１３で算出した顔中心画像座標（ｘ_ｏ，ｙ_ｏ）に対応する奥行き座標Ｚ_ｏを抽出する。そして、顔中心画像座標（ｘ_ｏ，ｙ_ｏ）と世界座標のＺ座標であるＺ_ｏから世界座標上での顔中心位置（Ｘ_ｏ，Ｙ_ｏ，Ｚ_ｏ）を算出する。世界座標上における顔中心位置（Ｘ_ｏ，Ｙ_ｏ）は、以下の式により算出することが可能である。
撮像手段２０の撮像レンズの焦点距離Ｆｃとすると、Ｘ_ｏ、Ｙ_ｏは相似の関係から以下の式で算出される。
Ｘ_ｏ＝ｘ_ｏ・Ｚ_ｏ／Ｆ_ｃ ・・・ 式（２）
Ｙ_ｏ＝ｙ_ｏ・Ｚ_ｏ／Ｆ_ｃ ・・・ 式（３）

（Ｓ１５）Ｓ１５（発光素子アレイの発光位置算出）では、発光素子アレイ制御手段４０が、被写体５０の世界座標（Ｘ_ｏ，Ｙ_ｏ，Ｚ_ｏ）に基づき、被写体５０を照射するために発光すべき発光素子の位置を算出する。以下に、発光すべき発光素子の位置の算出方法について説明する。

図１２は、発光すべき発光素子の位置の算出方法を示した図である。説明の簡単化のために、ＹＺ座標の２次元で算出を行い、要素レンズの数Ｎは偶数とする。図１２において、世界座標系の原点Ｏをマイクロレンズアレイの中心とマイクロレンズアレイ面１１ｐとの交点を世界座標の原点（任意位置照明装置１０）Ｏとする。

被写体の世界座標を（Ｙ_ｏ，Ｚ_ｏ）、レンズアレイのＹ方向の要素レンズ数をＮ、要素レンズの直径ｌとすると、ｎ番目の要素レンズの中心の座標Ｙ_Ｌｎは以下の式で表される。
Ｙ_Ｌｎ＝−ｌ・（Ｎ＋１）／２＋ｌ・ｎ ・・・ 式（４）
発光素子から出射する光線は、要素レンズの直径と同じ大きさの直径であり、光軸からθだけ傾いた平行光で出射される。ここでは、要素レンズの中心を通過する光線で大きさを持つ略平行光を代表させることにする。

被写体位置を通過し、ｎ番目の要素レンズの中心を通過する光線の要素レンズ光軸に対する角度θ_ｎで表される。
θ_ｎ＝ｔａｎ^−１｛（Ｙ_ｏ−Ｙ_Ｌｎ）／Ｚ_ｏ｝ ・・・ 式（５）
角度θ_ｎで要素レンズから光線を出射させるために必要な、要素レンズの光軸からのずれ量Ｙ_ｓは以下の式で表される。
Ｙ_ｓ＝ｆ・ｔａｎ（−θ_ｎ） ・・・ 式（６）
従って、光源アレイ上での発光点の座標位置Ｙ_ｓａは以下の式となる。
Ｙ_ｓａ＝Ｙ_Ｌｎ＋Ｙ_ｓ ・・・ 式（７）
つまり、１〜Ｎ番目の要素レンズに対してそれぞれＹ_ｓａを算出し、その位置に対応する発光素子を発光させることで、世界座標（Ｙ_ｏ，Ｚ_ｏ）に存在する被写体を照明することが可能になる。

第一の実施形態における任意位置照明装置で被写体に全ての要素レンズからの光線を照射可能な範囲は図１２の７０で示す範囲である。以下の式（８）、（９）、（１０）で記述される。
Ｚ＜Ｎ・ｌ／２・ｔａｎφ ・・・ 式（８）
ここで、
φ＝ｔａｎ^−１（ｌ／２／ｆ） ・・・ 式（９）
−（Ｚｔａｎφ−Ｎ・ｌ／２）＜Ｙ＜（Ｚｔａｎφ−Ｎ・ｌ／２） ・・・ 式（１０）

Ｓ１６（被写体位置を照明）では、発光素子アレイ制御手段４０は、Ｓ１５で算出された位置の発光素子を点灯させる。これにより被写体位置を照明できる。

ただし、発光素子は連続的でなく、離散的にしか存在しないため、Ｙ_ｓａの座標位置を含む発光素子を点灯させることになる。

角度分解能と各要素レンズ後方にある発光素子数にはトレードオフの関係がある。角度分解能を増やそうとすると各要素レンズ後方にある発光素子数を増加させる必要がある。

また、角度分解能はｔａｎの関数であるため、光軸に近いほど分解能が低く、周辺部に近いほど分解能は高くなる。

Ｓ１５では顔中心座標に対する発光素子アレイの発光位置を算出したが、被写体には大きさがある。顔の場合には標準的な顔半径ｒ_Ｆを用いて、顔中心座標からｒ_Ｆの範囲に照射することが考えられる。あるいは、顔検出領域のサイズをそのまま用いて、照射範囲を決めてもよい。

Ｓ１７（終了指示）では、ユーザーからの終了指示がｎｏの場合、制御手段がＳ１１〜Ｓ１６までの処理を繰り返し実行する。これにより被写体を追従照明することが可能になる。終了指示がｙｅｓの場合には追従照明を終了する。

次に、複数名の人物の顔を検出し、追従照明する場合のフローチャートを図１３に示す。

図１３に示す各処理は、撮影手段２０、図１１の各処理と同様に、奥行き推定手段２５、被写体位置検出手段３０、発光素子アレイ制御手段４０、図１および図２に不図示の制御手段のいずれかが行うものである。

Ｓ２１（画像撮像）では、撮像装置２０が被写体５０を撮像し、撮影画像を取得する。

Ｓ２２（奥行き推定処理）では、奥行き推定処理部２５が、Ｓ２１で取得された撮影画像に基づき、撮影シーンの全ての画素に対して奥行き情報（撮影手段２０から画素までの距離情報）を推定する。奥行き情報の算出には、前述したステレオマッチング法などを用いる。

Ｓ２３（Ｍ名の顔検出処理）では、被写体位置検出手段３０が、Ｓ２１で取得された撮影画像を用いて、複数名分の顔領域を検出する。顔検出処理により検出された人数をＭとする。そして、画像座標上におけるＭ名分の顔の中心位置（ｘ_ｏｍ，ｙ_ｏｍ）（ｍ＝１〜Ｍ）を算出する。

Ｓ２４（Ｍ名の被写体位置算出）では、奥行き推定手段２５が、Ｍ名分の顔中心画像座標（ｘ_ｏｍ，ｙ_ｏｍ）（ｍ＝１〜Ｍ）に対応する奥行き座標Ｚ_ｏｍ（ｍ＝１〜Ｍ）を抽出する。次に、画像座標（ｘ_ｏｍ，ｙ_ｏｍ）と世界座標のＺ座標であるＺ_ｏｍから式（２）、式（３）を用いて世界座標上での顔中心位置（Ｘ_ｏｍ，Ｙ_ｏｍ，Ｚ_ｏｍ）（ｍ＝１〜Ｍ）を算出する。

Ｓ２５（Ｍ名の発光素子アレイの発光位置算出）では、発光アレイ制御手段４０が、顔中心の世界座標（Ｘ_ｏｍ，Ｙ_ｏｍ，Ｚ_ｏｍ）と式（７）を用いて被写体中心に対応する発光素子アレイの発光位置を算出する。

Ｓ２６（Ｍ名の被写体位置を照明）では、発光素子アレイ制御手段４０が、Ｓ２５で算出した位置の発光素子を点灯させる。これにより被写体位置を照明できる。

Ｓ２７（終了指示）では、制御手段が、ユーザーからの終了指示がｎｏの場合、Ｓ２１〜Ｓ２６を繰り返し実施する。ユーザーからの終了指示がｙｅｓの場合、追従照明を終了する。

以上が、本実施形態の処理である。本実施形態の照明装置によれば、照明の際に駆動部を駆動させる必要がないため、被写体の動きに対して高い応答性で照明を行うことが出来る。また、あらかじめ複数の照明装置を配置せずに、複数の被写体に対して照明を行うことが可能になる。

（第二の実施形態）
図１４は、本実施形態に係る照明装置の概略図を示したものである。本実施形態における照明装置と第一の実施形態における照明装置とでは、任意位置照明装置１０の構成が異なる。

図１５は、第一の実施形態と異なる任意位置照明装置１０の概略図を示したものである。本実施形態における任意位置照明装置１０は、第一の実施形態と同様の発光素子アレイ１２、およびマイクロレンズアレイ１１と、第一の実施形態と異なる結像レンズ１３から構成される。

結像レンズ１３は、基準平面６０の像をマイクロレンズアレイ面１１ｐに結像するように構成される。

座標系の原点Ｏを結像レンズ１３の光軸と結像レンズ面１３ｐの交点とする。結像レンズ１３の焦点距離をＦ、原点から基準平面までの距離をＺ_ｏｆ、原点からマイクロレンズアレイ面までの距離をＺ_Ｌとすると、結像レンズ１３は、以下の結像公式（１１）を満たすように配置される。
１／Ｆ＝１／Ｚ_Ｌ＋１／Ｚ_ｏｆ ・・・ 式（１１）
被写体を追従するフローは第一の実施形態と同様である。

ただし、被写体位置（Ｘ_ｏ，Ｙ_ｏ，Ｚ_ｏ）に応じた発光素子アレイの発光位置を算出する式が異なる。よって、図１６を用いて発光素子アレイの発光位置を算出する式を説明する。

以下では、簡単のためにＹＺ座標の２次元で考える。
被写体の世界座標での位置を（Ｙ_ｏ、Ｚ_ｏ）とする。

式（１１）をＺ_Ｌが右辺にくるように整理すると、以下の式（１２）になる。
Ｚ_Ｌ＝１／（１／Ｆ−１／Ｚ_ｏｆ） ・・・ 式（１２）
光学系の基準平面における結像倍率Ｍ_ｆはＺ_Ｌを用いて以下の式（１３）で表される。
Ｍ_ｆ＝−Ｚ_ｏｆ／ Ｚ_Ｌ ・・・ 式（１３）
世界座標で（Ｙ_ｏ、Ｚ_ｏｆ）にある基準平面上の点の結像関係を考える。マイクロレンズアレイ面上での像高Ｙ_Ｉｆは以下の式（１４）で表される。
Ｙ_ＩＦ＝Ｍ_ｆ・Ｙ_ｏ ・・・ 式（１４）
一方、Ｚ方向の結像位置は式（１２）で与えられる。

次に（Ｙ_ｏ、Ｚ_ｏ）の結像位置Ｚ_Ｉを考える。結像公式からＺ_Ｉは、以下の式（１５）で表される。
Ｚ_Ｉ＝１／（１／Ｆ−１／Ｚ_ｏ） ・・・ 式（１５）
被写体の結像倍率ＭはＺ_ｏとＺ_Ｉから以下の式（１６）となる。
Ｍ＝−Ｚ_ｏ／Ｚ_Ｉ ・・・ 式（１６）
像高Ｙ_ＩはＭを用いて、以下の式（１７）となる。
Ｙ_Ｉ＝Ｍ・Ｙ_ｏ ・・・ 式（１７）
第一の実施形態の任意位置照明装置では、マイクロレンズアレイの要素レンズ数の光線で被写体を照明した。一方、本実施形態では結像レンズ面を分割し、その分割数の光線で被写体を照明する。

結像レンズの開口直径をＤとし、分割数をＫとする。ｋ番目の分割位置で結像レンズ面を通過する光線のＹ座標Ｙ_Ｍｋは以下の式（１８）で与えられる（ｋ＝１〜Ｋ）。
Ｙ_Ｍｋ＝−Ｄ／２＋（ｋ−１）・Ｄ／（Ｋ−１） ・・・ 式（１８）
結像レンズ面のｋ番目の分割位置Ｙ_Ｍｋを通過する光線がマイクロレンズアレイ面を通過するときのＹ座標Ｙ_Ｌｋは相似の関係から、以下の式（１９）で記述される。
Ｙ_Ｌｋ＝Ｙ_Ｍｋ−（Ｙ_Ｍｋ−Ｙ_Ｉ）・Ｚ_Ｌ／Ｚ_Ｉ ・・・ 式（１９）
したがって、上記光線が通過する要素レンズの番号ｎは以下の式（２０）で与えられる。
ｎ＝［Ｎ／２＋Ｙ_Ｌｋ／ｌ］ ・・・ 式（２０）
ただし、［ ］はカッコ内の実数を整数化する記号である。ｎ番目の要素レンズのＹ方向中心座標Ｙ_Ｌｎは式（４）で与えられる。

次に上記光線の通過方向θ_ｋを考える。三角形の関係から以下の式（２１）で与えられる。
θ_ｋ＝ｔａｎ^−１｛（Ｙ_Ｍｋ −Ｙ_Ｉ）／Ｚ_Ｉ｝ ・・・ 式（２１）
このとき、通過方向θｋの場合、要素レンズの光軸からのずれ量Ｙ_ｓｋは三角形の関係から以下の式（２２）で与えられる。
Ｙ_ｓｋ＝ｆ・ｔａｎ（θ_ｋ）・・・式（２２）
光源アレイ上での発光位置Ｙ_ｓａｋの座標は以下の式（２３）で与えられる。
Ｙ_ｓａｋ＝Ｙ_Ｌｎ＋Ｙ_ｓｋ・・・式（２３）
この光源アレイ上での発光位置Ｙ_ｓａｋを全てのｋに対して計算し、対応する位置の発光素子アレイを点灯すれば、被写体位置（Ｙ_ｏ、Ｚ_ｏ）を照明することができる。

第一の実施形態で用いた任意位置照明装置では要素レンズと発光素子アレイの間に遮光部材を配置することで迷光の発生を抑制できた。これは各要素レンズに対応する発光素子が要素レンズの後方に位置する発光素子だけなので、遮光部材を配置することにより回避することが出来た。

一方、本実施形態で用いる任意位置照明装置の場合、各要素レンズに対応する発光素子が要素レンズの後方に位置するものだけとは限らない。すなわち隣接、あるいは、２つ以上離れた要素レンズの後方に位置する発光素子からの光も利用する可能性がある。そのため、迷光の発生を抑制するために、遮光部材を用いることはできず、何らかの工夫が必要になる。

例えば、結像レンズの直径・焦点距離とレンズアレイの直径・焦点距離に工夫を加えることが考えられる。被写体に照射する有効な光以外の光を結像レンズに入射しないように設計することで、上記問題は解決される。

第一の実施形態における任意位置照明装置の場合には被写体は略平行光で照射されるが本実施形態における任意位置照明装置の場合には、発散光で照射される。

図１７に示すように発光素子アレイ１２をマイクロレンズアレイ１３の焦点面に配置したので、発光素子アレイから出射した光Ｒ_ＥＬはマイクロレンズの要素レンズから出射後、略平行光Ｒ_ＰＬとなる。略平行光で結像レンズに入射するため、結像レンズの焦点位置ＬＦに集光する光Ｒ_ＣＬとなる。結像レンズの焦点距離よりも手前に被写体を配置することは照射領域の制限上あまりないので、被写体は発散光Ｒ_ＣＬで照射されることになる。ただし、発散光の拡がり具合は被写体の位置によって変化する。

この発散光の拡がり具合のばらつきを抑える方法としては、発光素子アレイ１２とマイクロレンズアレイ１１の間隔をマイクロレンズアレイの焦点距離ｆよりも小さくすることが挙げられる。これを行うと、図１８に示すように、発光素子アレイの共役位置ＬＣをレンズの焦点位置ＬＦよりも被写体側にシフトさせることができる。

ＬＣのシフトに伴い、結像レンズ透過後の光線の集光位置もＬＦからＬＣにシフトする。複数の被写体が位置する平均的な距離が予め判明している場合には、その近辺に発光素子アレイの共役位置ＬＣを設定することで、発散光の拡がり具合のばらつきが小さい任意位置照明装置を実現できる。

（第三の実施形態）
図１９は、本実施形態における照明装置の概略図を示したものである。

第一の実施形態および第二の実施形態と異なる点は、ハーフミラー２２を有していることである。

本実施形態では、撮像に用いる撮像レンズと、任意位置照明装置に用いる結像レンズを、ハーフミラー２２を用いて共有化している。よって、第一の実施形態および第二の実施形態に比べて、コンパクトな構成の被写体追従照明を実現できる。

（第四の実施形態）
図２０は、本実施形態における監視装置の概略構成図を示したものである。本実施形態は、第一の実施形態における照明装置に監視機能を追加したものである。第二の実施形態、あるいは第三の実施形態にも同様の機能を追加することは可能である。

本実施形態における照明装置には、第一の実施形態から第三の実施形態の照明装置に対して、被写体認識手段３５、データベース３６、表示手段３７が追加されている。

被写体認識手段３５は、被写体が要注意人物であるか否かの認識処理を行うためのＣＰＵ（セントラルプロセッシングユニット）、データを一時的に記憶するＲＡＭ（ランダムアクセスメモリ）などから構成される。認識処理には、公知の技術である画像中の特徴点の配置情報に基づき人物の類似度を評価する手法など種々の手法を用いることができる。また、認識処理はパソナルコンピューター上で動作するプログラムでも、処理をハードウエアー化したものいずれを用いても良い。

データベース３６は、ＨＤＤ（ハードディスクドライブ）やデータサーバーなどの記録手段から構成される。データベース３６には、要注意人物の顔の特徴などが記録されており、被写体認識手段３５はデータベース３６に記録されている要注意人物の顔の特徴に基づき、被写体の認識を行うことが可能となる。データベース３６には、情報を記録する機能と、被写体認識手段３５と通信を行うための通信機能が備わっている。

表示手段３７は、ＣＲＴ、ＬＣＤ、プラズマディスプレイなど種々の表示手段から構成される。

図２１は、本実施形態における１名の人物の監視を行う場合のフローチャートである。

本実施形態における顔認識処理では、まず被写体に照明を当てずに顔認識処理を行い、顔認識処理に失敗した場合、追従照明を被写体に当てて顔認識処理を再び行う。以上の処理により、照明条件の不均一性が軽減され認識精度の向上が見込まれる。尚、図２１に示す各処理は、撮影手段２０、奥行き推定手段２５、被写体位置検出手段３０、発光素子アレイ制御手段４０、不図示の制御手段のいずれかが行うものである。

Ｓ３１（画像撮像）では、撮像手段２０が被写体５０を撮像し、撮影画像を取得する。

Ｓ３２（奥行き推定処理）では、奥行き推定手段２５が、Ｓ３１で取得された撮影画像に基づき、撮影シーンの全ての画素に対して、奥行き情報を算出する。

Ｓ３３（顔検出処理）では、被写体位置検出手段３０が、Ｓ３１で取得された撮影画像を用いて、顔領域を検出する。さらに、画像座標上での顔の中心位置（ｘｏ，ｙｏ）を算出する。

Ｓ３４（顔認識処理）では、被写体認識手段３５が、Ｓ３３で検出された顔検出領域に対して顔認識処理を実行する。顔認識が成功した場合にはＳ３９に、失敗した場合にはＳ３５に処理を進める。

Ｓ３５（被写体位置情報算出）では、発光素子アレイ制御手段４０が、顔中心画像座標（ｘｏ，ｙｏ）と対応する奥行き座標Ｚｏを用いて、式（２）、式（３）から世界座標上における顔位置（Ｘｏ，Ｙｏ，Ｚｏ）を算出する。

Ｓ３６（発光素子アレイの発光位置算出）では、発光素子アレイ制御手段４０が、顔中心の世界座標（Ｘｏ，Ｙｏ，Ｚｏ）と式（７）を用いて被写体中心に対応する発光素子アレイの発光位置を算出する。

Ｓ３７（被写体位置を照明）では、発光素子アレイ制御手段４０が、Ｓ３６で算出した位置の発光素子を点灯させる。これにより被写体位置を照明することができる。

Ｓ３８（顔認識処理）では、制御手段が、照明を照射した状態で再度顔認識処理を行う。顔認識が成功した場合にはＳ３９へ、顔認識が失敗した場合にはＳ４３へ進む。

Ｓ３８で実施する顔認識処理では顔に対してカメラ側から照明を当てた画像を用いてデータベースを作成することが望ましい。追従照明はカメラ側から照射されるのでデータベースと撮影画像の照明変動は小さく、認識精度の向上が望める。

Ｓ３９（要注意人物判定）では、被写体認識手段３５が、顔認識の結果、被写体である人物が要注意人物であるかどうかの判定を行う。要注意人物に関する情報は予めデータベースに登録しておく。データベースに登録されている要注意人物の情報に該当した場合、被写体が要注意人物であるとみなしＳ４０へ、要注意人物とみなされない場合Ｓ４２へ進む。

Ｓ４０（警告 ｏｒ 追従照明）では、制御手段が、被写体である人物が要注意人物であることを監視モニター上に表示し、ユーザーに警告する。このとき、追従照明を持続させても良い。

Ｓ４１（終了指示）では、制御手段が、ユーザーからの終了指示がｎｏの場合、警告の表示と追従照明の繰り返しを行う。終了指示がｙｅｓの場合には、Ｓ４２へ進む。

Ｓ４２（終了指示）では、制御手段が、ユーザーからの終了指示がｎｏの場合、Ｓ３１〜Ｓ４１を繰り返しを行う。ユーザーからの終了指示がｙｅｓの場合、追従照明を終了する。

次に、Ｍ名の人物の監視を行う場合の追従照明の処理を説明する。

図２２は、本実施形態におけるＭ名の人物の監視を行う場合のフローチャートである。

図２１の場合と同様、まず被写体に照明を当てずに顔認識処理を行い、顔認識処理に失敗した場合、追従照明を被写体に当てて顔認識処理を再び行う。以上の処理により、照明条件の不均一性が軽減され認識精度の向上が見込まれる。

Ｓ５１（画像撮像）では、撮像手段２０が被写体５０を撮像し、撮影画像を取得する。

Ｓ５２（奥行き推定処理）では、奥行き推定処理部２５が、Ｓ５１で取得された撮影画像に基づき、撮影シーンの全ての画素に対して、奥行き情報を算出する。

Ｓ５３（Ｍ名の顔検出処理）では、被写体位置検出手段３０が、Ｓ５１で取得された撮影画像を用いて、複数名分の顔領域を検出する。さらに、画像座標上での顔の中心位置（ｘｏ，ｙｏ）を算出する。Ｍ名分の画像座標上での顔の中心位置（ｘｏｍ，ｙｏｍ）（ｍ＝１〜Ｍ）を算出する。

Ｓ５４（Ｍ名の顔認識処理）では、被写体認識手段３５が、Ｓ５３で検出されたＭ名分の顔検出領域に対して顔認識処理を実行する。ここで、顔認識に成功した人数をｉとする（ｉ≦Ｍ）。顔認識に成功したｉ名分のデータの処理はＳ５９に進んで行い、顔認識に失敗した（Ｍ−ｉ）名分のデータの処理はＳ５５に進んで行う。

Ｓ５５（（Ｍ−ｉ）名の被写体位置情報算出）では、発光素子アレイ制御手段４０が、顔中心画像座標（ｘｏｍ，ｙｏｍ）と対応する奥行き座標Ｚｏｍを用いて、式（２）、式（３）から世界座標上での顔位置（Ｘｏｍ，Ｙｏｍ，Ｚｏｍ）（ｍ＝１〜Ｍ−ｉ）を算出する。

Ｓ５６（（Ｍ−ｉ）名の発光素子アレイの発光位置算出）では、発光素子アレイ制御手段４０が、顔中心の世界座標（Ｘｏｍ，Ｙｏｍ，Ｚｏｍ）と式（７）を用いて被写体中心に対応する発光素子アレイの発光位置を算出する。

Ｓ５７（（Ｍ−ｉ）名の被写体位置を照明）では、発光素子アレイ制御手段４０が、Ｓ５６で算出した位置の発光素子を点灯させる。これにより（Ｍ−ｉ）名の被写体位置を照明することができる。

Ｓ５８（（Ｍ−ｉ）名の顔認識処理）では、被写体認識手段３５が、照明が照射された状態で再度顔認識処理を行う。ここで、顔認識に成功した人数をｊとする（ｊ≦Ｍ−ｉ）。顔認識が成功したｊ名分のデータの処理はＳ５９に進んで行い、顔認識が失敗した（Ｍ−ｉ−ｊ）名分のデータの処理はＳ６２に進んで行う。

尚、Ｓ５８で実施する顔認識処理では、被写体の顔に対して撮像手段２０側から被写体に照明を当てた場合の画像をデータベース３６の情報として用いることが望ましい。追従照明は撮像手段２０側から照射されるので、データベース３６の情報と撮影画像の照明変動は小さく、認識精度の向上を望むことができる。

Ｓ５９（要注意人物判定）では、顔認識が成功したｉ＋ｊ名分の人物が要注意人物であるかどうかの判定を行う。要注意人物の顔の特徴は予めデータベース３６に登録されている。要注意人物を含む場合はＳ６０に処理を進め、要注意人物を含まない場合はＳ６２へ処理を進める。

Ｓ６０（警告 ｏｒ 追従照明）では、制御手段が、被写体である人物が要注意人物であることを表示手段３７上に表示し、ユーザーに警告する。このとき、追従照明を持続させても良い。

Ｓ６１（終了指示）では、制御手段が、ユーザーからの終了指示がｎｏの場合、警告の表示と追従照明の繰り返しを行う。終了指示がｙｅｓの場合には、Ｓ６２へ進む。

Ｓ６２（終了指示）では、制御手段が、ユーザーからの終了指示がｎｏの場合、Ｓ５１〜Ｓ６１の繰り返しを行う。ユーザーからの終了指示がｙｅｓの場合、追従照明を終了する。

本実施形態では被写体として人物の顔を用いるものについて説明したが、本実施形態の被写体はこれに限られるものではない。

例えば、人物全体、動物でもよい。あるいは、自動車などの機械を被写体として用いても良い。

本発明のような被写体追従照明は、写真撮影やビデオ撮影において被写体の特定部位の撮影画質を改善するという用途に用いられる。また、監視装置として用いる場合、人物の顔領域に照明を当て、その撮像画質を改善することで、人物の認識精度を向上させることが出来る。

また、上記第一の実施形態から第四の実施形態に係わる照明装置の一部もしくはすべての制御は、コンピュータ読取可能な記録媒体に格納されたコンピュータプログラムを読み込み実行するパーソナルコンピュータを用いて行うことが代替することが可能である。

第一の実施形態における照明装置の概略側面図を示したものである。 第一の実施形態における照明装置の概略上面図を示したものである。 第一の実施形態における任意位置照明装置１０の構成を示した図である。 任意位置照明装置１０の発光方式および詳細な構造を示す図である。 照射対象に対して照明を照射する具体的な方法を示した図である。 発光素子アレイ間に遮光部材を配置した状態を示す図である。 撮像手段２０の上面図を示したものである。 要素レンズ１１ａと対応する発光アレイ部１２を拡大表示したものである。 要素レンズ１１ａと対応する発光アレイ部１２を拡大表示したものである。 要素レンズと発光素子アレイの発光強度の関係を示したものである。 第一の実施形態における照明装置の制御の方法を示すフローチャートである。 第一の実施形態における発光すべき発光素子の位置の算出方法を示した図である。 第一の実施形態における複数名の人物の顔を検出し、追従照明する場合のフローチャートである。 第二の実施形態における照明装置の概略図を示したものである。 第二の実施形態における任意位置照明装置１０の概略図を示したものである。 第二の実施形態における発光素子アレイの発光位置を算出する式を説明する図である。 第二の実施形態における任意位置照明装置の集光・発散の状況を示した図である。 第二の実施形態における任意位置照明装置の変形例を示した図である。 第三の実施形態における照明装置の概略図を示したものである。 第四の実施形態における監視装置の概略構成図を示したものである。 第四の実施形態における１名の人物の監視を行う場合のフローチャートである。 第四の実施形態における複数名の人物の監視を行う場合のフローチャートである。

符号の説明

１０ 任意位置照明装置
１１ マイクロレンズアレイ
１２ 発光素子アレイ
１３ 結像レンズ
２０ 撮像手段
２５ 奥行き推定手段
３０ 被写体位置検出手段
４０ 発光素子アレイ制御手段
５０ 被写体
６０ 基準平面

Claims (9)

1. レンズと、当該レンズから所定の位置に配置された複数の発光素子とから構成される照明装置を制御する照明制御装置であって、
   照明対象の位置情報を取得する取得手段と、
   前記照明対象の位置情報に基づく前記レンズの中心と前記照明対象との位置関係から、前記複数の発光素子の発光を制御する制御手段とを有することを特徴とする照明制御装置。
2. 前記照明対象を撮影する撮影手段を有し、
   前記取得手段は、前記撮影手段で撮影された前記照明対象の撮影画像に基づき、前記照明対象の位置情報を取得することを特徴とする請求項１に記載の照明制御装置。
3. 前記照明対象の移動を検出する移動検出手段を有し、
   前記制御手段は、前記移動検出手段の検出結果に基づき、前記複数の発光素子の発光を制御することを特徴とする請求項１もしくは２のいずれかに記載の照明制御装置。
4. 前記照明装置と前記被写体との距離を検出する距離検出手段を有し、
   前記制御手段は、前記距離検出手段により検出された距離に基づき、前記複数の発光素子の発光強度を調整することを特徴とする請求項１乃至３のいずれかに記載の照明制御装置。
5. 前記照明装置は、複数のレンズを有し、前記複数の発光素子は当該複数のレンズの焦点位置に配置され、
   前記制御手段は、前記照明対象と前記複数のレンズそれぞれの中心とを通る直線を設定し、当該直線と交わる発光素子を発光させることを特徴とする請求項１乃至４のいずれかに記載の照明制御装置。
6. 前記取得手段は、所定の特徴量に基づき、複数の照明対象から所定の照明対象の位置情報を取得し、
   前記制御手段は、前記取得手段が前記所定の照明対象の位置情報を取得した場合、前記所定の照明対象を照明するために発光すべき発光素子を発光させることを特徴とする請求項１乃至５のいずれかに記載の照明制御装置。
7. レンズと、当該レンズから所定の位置に配置された複数の発光素子とから構成される照明装置を制御する照明制御方法であって、
   取得手段が、照明対象の位置情報を取得する取得手段と、
   制御手段が、前記照明対象の位置情報に基づく前記レンズの中心と前記照明対象との位置関係から、前記複数の発光素子の発光を制御する制御工程とを有することを特徴とする照明制御方法。
8. コンピュータを、
   レンズと、当該レンズから所定の位置に配置された複数の発光素子とから構成される照明装置を制御する照明制御装置であって、
   照明対象の位置情報を取得する取得手段と、
   前記照明対象の位置情報に基づく前記レンズの中心と前記照明対象との位置関係から、前記複数の発光素子の発光を制御する制御手段とを有することを特徴とする照明制御装置として機能させるためのコンピュータプログラム。
9. コンピュータを、
   レンズと、当該レンズから所定の位置に配置された複数の発光素子とから構成される照明装置を制御する照明制御装置であって、
   照明対象の位置情報を取得する取得手段と、
   前記照明対象の位置情報に基づく前記レンズの中心と前記照明対象との位置関係から、前記複数の発光素子の発光を制御する制御手段とを有することを特徴とする照明制御装置として機能させるためのコンピュータプログラムが格納されたコンピュータ読取り可能な記録媒体。

Images