JP2009188760A

JP2009188760A - 撮像装置

Info

Publication number: JP2009188760A
Application number: JP2008026891A
Authority: JP
Inventors: Mutsuhiro Yamanaka; 睦裕山中
Original assignee: Panasonic Electric Works Co Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2008-02-06
Filing date: 2008-02-06
Publication date: 2009-08-20
Anticipated expiration: 2028-02-06
Also published as: JP5149641B2

Abstract

【課題】被写体の動きによるぶれや照明光による画素値のレベル変動を抑える。
【解決手段】演算処理部４は、連続した複数フレームの光変調画像における同一位置の画素の画素値同士の差分（絶対値）を求め、当該差分の最大値若しくは平均値が予め設定された閾値以下となれば、その光変調画像を取得したときの周期Ｔｓを変調光の周期に設定する。変調光の周期Ｔｓを設定した後、演算処理部４のタイミング調整処理により、発光制御部２を制御して発光部１から発光される変調光の周期Ｔｓを、上述した解析処理によって設定された周期に設定すれば、照明光のレベル変動を小さく（或いはほぼゼロに）することができる。また、解析処理における変調光の周期Ｔｓを照明光のレベル変動の周期よりも充分に短い値に設定すれば、被写体（人物の顔）が動いたときでも光変調画像がぶれてしまうことを防ぐことができる。
【選択図】図１

Description

本発明は、対象空間を撮像して光変調画像を取得する撮像装置に関するものである。

本出願人は、環境光（例えば、太陽光や照明設備の照明光など）の影響を受けない安定した濃淡画像を取得することにより、屋外の太陽光下であっても高い認証精度が確保できる顔認証システムを既に提案している（例えば、特許文献１参照）。この顔認証システムにおいて、認証の対象とする人物の顔を撮像する撮像装置は、発光ダイオードが発する赤外光を高速変調した変調光を対象領域に照射し、ＣＣＤからなる撮像素子で受光する当該変調光の反射光成分と環境光の反射光成分とを区別して変調光だけの画像（光変調画像）を取得する。そして、顔認証システムの認証装置においては、撮像装置で取得した光変調画像から人物の顔の位置を検出し、当該位置の画素値から人物の顔の特徴量を抽出するとともに、当該特徴量を予め登録されているテンプレートと照合することによって、テンプレートに対応した人物の顔を認証する。
特開２００６−１５５４２２号公報

ところで、顔の特徴量を高精度で抽出するためには、飽和しない範囲内で光変調画像の画素値を増大させる必要があり、例えば、変調光の周期（変調光が照射されている期間）並びに撮像素子で受光する時間を長くすることで変調光の反射光成分を増やせばよい。しかしながら、変調光の周期、並びに撮像素子の受光時間を長くすると被写体（人物）が動いたときに光変調画像がぶれてしまう虞がある。

一方、環境光のうちで照明設備の照明光は商用交流電源の電源周波数（５０ヘルツ又は６０ヘルツ）、あるいはインバータ照明器具におけるインバータ周波数（一般に数十キロヘルツ）で明滅しており、このような照明光の下で光変調画像を取得する場合、光変調画像の周期（周波数）が商用交流電源の電源周波数やインバータ周波数に近い周波数であると、光変調画像に上記電源周波数やインバータ周波数に同期したレベル変動（フリッカ）が発生する。そして、このようなレベル変動が発生した場合、光変調画像から特徴量を抽出する精度が低下してしまう虞がある。

本発明は上記事情に鑑みて為されたものであり、その目的は、被写体の動きによるぶれや照明光による画素値のレベル変動を抑えることのできる撮像装置を提供することにある。

請求項１の発明は、上記目的を達成するために、照明光のレベルが周期的に変化する照明設備が設置された対象空間に周期的に明滅する変調光を照射する変調光照射手段と、対象空間から入射する光を受光して受光光量に応じたレベルを有する画素信号を出力する撮像素子と、変調光照射手段が変調光を照射しているときに撮像素子から出力する発光時の画素信号と変調光照射手段が変調光を照射していないときに撮像素子から出力する非発光時の画素信号との差分を画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段により時間的に連続して生成された複数フレームの光変調画像における画素値のレベル変動を解析する解析手段と、解析手段によって解析された光変調画像における画素値のレベル変動を小さくするように、変調光の明滅のタイミング若しくは撮像素子が対象空間からの入射光を受光するタイミングのうちの少なくとも何れか一方を調整するタイミング調整手段とを備えたことを特徴とする。

請求項１の発明によれば、光変調画像生成手段により時間的に連続して生成された複数フレームの光変調画像における画素値のレベル変動を解析手段で解析し、タイミング調整手段が、解析手段によって解析された光変調画像における画素値のレベル変動を小さくするように、変調光の明滅のタイミング若しくは撮像素子が対象空間からの入射光を受光するタイミングのうちの少なくとも何れか一方を調整するので、被写体の動きによるぶれや照明光による画素値のレベル変動を抑えることができる。

請求項２の発明は、請求項１の発明において、変調光を明滅するタイミングと撮像素子が対象空間からの入射光を受光するタイミングとが同期した状態において、解析手段は、予め複数種類が用意されたタイミングでそれぞれ生成される光変調画像毎に当該光変調画像の画素の画素値のレベル変動を求め、タイミング調整手段は、解析手段で求めた画素値のレベル変動が所定のしきい値よりも小さくなるタイミングを選択してタイミング調整処理を行うことを特徴とする。

請求項３の発明は、請求項１の発明において、変調光を明滅するタイミングと撮像素子が対象空間からの入射光を受光するタイミングとが同期した状態において、解析手段は、予め複数種類が用意されたタイミングでそれぞれ生成される光変調画像毎に当該光変調画像の画素の画素値のレベル変動を求め、タイミング調整手段は、解析手段で求めた画素値のレベル変動が最も小さくなるタイミングを選択してタイミング調整処理を行うことを特徴とする。

請求項４の発明は、請求項２又は３の発明において、予め複数種類が用意されるタイミングは、照明設備において照明光がレベル変動する周期の半分の周期を整数倍した期間が変調光の明滅周期の偶数倍となるタイミングを含むことを特徴とする。

請求項５の発明は、請求項１の発明において、撮像素子が対象空間からの入射光を受光する周期と位相のうちで少なくとも一方が異なる複数種類の組み合わせ毎に撮像素子が対象空間からの入射光を受光するタイミングを調整し、解析手段で解析される画素値のレベル変動が最も小さくなる周期と、解析手段で解析される画素値のレベルが最も高くなる位相とを求め、当該周期と位相の組み合わせに一致するように撮像素子が対象空間からの入射光を受光するタイミングを調整する第２のタイミング調整手段を備えたことを特徴とする。

請求項５の発明によれば、変調光照射手段における変調光の照射タイミングを制御することなしに撮像素子から発光時及び非発光時の対象空間からの入射光を受光するタイミングと同期させることができる。

請求項６の発明は、請求項１の発明において、撮像素子が対象空間からの入射光を受光する周期を、変調光の明滅周期に略等しい基準周期よりも短い周期と長い周期とに交互に切り換え、短い周期において撮像素子が出力する発光時の画素信号を解析手段で解析した第１の画素値のレベルと、長い周期において撮像素子が出力する発光時の画素信号を解析手段で解析した第２の画素値のレベルとを比較し、第１の画素値のレベルが第２の画素値のレベルよりも高ければ、前記短い周期と長い周期を双方とも延長し、第１の画素値のレベルが第２の画素値のレベルよりも低ければ、前記短い周期と長い周期を双方とも短縮することで撮像素子が対象空間からの入射光を受光するタイミングを調整する第３のタイミング調整手段を備えたことを特徴とする。

請求項６の発明によれば、変調光照射手段における変調光の照射タイミングを制御することなしに撮像素子から発光時及び非発光時の対象空間からの入射光を受光するタイミングと同期させることができる。

本発明によれば、被写体の動きによるぶれや照明光による画素値のレベル変動を抑えることができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。但し、以下に説明する各実施形態の撮像装置Ａは、光変調画像から人物の顔を検出するとともに、検出した人物の顔を予め登録されているテンプレートと照合することで個人を認証する顔認証装置として構成されている。

まず、本発明に係る撮像装置Ａの実施形態を説明する前に、各実施形態の撮像装置（顔認証装置）Ａを含む集合住宅用セキュリティシステムについて、図７を参照して簡単に説明する。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、撮像装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、テンキー装置Ｈ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。

ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。尚、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。

電気錠制御盤Ｄは、共同玄関Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や撮像装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人がテンキー装置Ｈを操作して当該住人に割り当てられているＩＤ番号を入力すると、撮像装置Ａでは、テンキー装置Ｈから受け取ったＩＤ番号に対応するテンプレートを用いて当該住人の顔認証を行い、認証できればシステム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、撮像装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、撮像装置Ａによる認証が不可であった場合、システム制御盤Ｇでは、撮像装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。尚、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。

（実施形態１）
図１に本実施形態の撮像装置Ａのブロック図を示す。本実施形態の撮像装置Ａは、発光部１、発光制御部２、撮像部３、演算処理部４、テンプレートマッチング処理部５、メモリ部６を備えている。発光部１は、赤外光を発する複数の発光ダイオードと、これら複数の発光ダイオードを任意の周波数で駆動して発光させる駆動回路（図示せず）とを有している。発光制御部２は、駆動回路を制御し、後述するように設定された周波数（周期）で発光ダイオードを明滅させることによって、人物のいる対象空間に変調光を照射させる。すなわち、本実施形態では発光部１と発光制御部２とが変調光照射手段に相当する。尚、発光制御部２は、発光ダイオードを明滅させる周期に同期したタイミング信号を撮像部３に出力する。

撮像部３は、赤外光に感度を有する複数の画素（フォトダイオード）が縦横に並べて配設され、各画素毎に受光光量に応じたレベルを有する画素信号を出力する撮像素子（例えば、ＣＣＤイメージセンサなど）と、撮像素子の受光面に赤外光を集光するレンズ（図示せず）とを有し、発光制御部２から出力されるタイミング信号に基づき、発光部１が変調光を照射しているときに撮像素子から出力する発光時の画素信号と、発光部１が変調光を照射していないときに撮像素子から出力する非発光時の画素信号とを演算処理部４に出力する。

演算処理部４は、撮像素子から出力する発光時の画素信号と非発光時の画素信号とを各々ディジタル信号に変換した後、両者の差分を画素値とする光変調画像を生成する光変調画像生成処理、光変調画像から特定の特徴を有した領域（人物の顔の領域）を抽出する領域抽出処理、顔領域から人物の顔の特徴量（例えば、目、鼻、口などの顔器官形状の特徴に対応した情報）を抽出する特徴量抽出処理、後述する解析処理並びにタイミング調整処理などを行うものであって、例えば、汎用のマイクロコンピュータに、上記光変調画像生成処理、領域抽出処理、特徴量抽出処理、解析処理、タイミング調整処理などを行わせるプログラムを搭載して実現される。但し、光変調画像生成処理及び領域抽出処理、特徴量抽出処理については、特許文献１にも記載されているように既に周知技術であるから詳細な説明は省略する。

テンプレートマッチング処理部５は、演算処理部４の特徴量抽出処理によって抽出された特徴量と、メモリ部６に予め登録（記憶）されている人物（本実施形態では集合住宅の住人）の顔の特徴量を抽出したテンプレートとを照合することにより、対象空間に居る人物が予め登録されている人物（以下、登録者と呼ぶ。）か否かを判断する。そして、テンプレートマッチング処理部５による処理結果、すなわち、認証結果（認証可又は認証不可）がシステム制御盤Ｇに伝送される。

システム制御盤Ｇは、撮像装置Ａから受け取った認証結果が認証可であれば、電気錠制御盤Ｄに電気錠を解錠させるとともにエレベータ制御盤Ｅにエレベータを運転させ、さらに宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、撮像装置Ａから受け取った認証結果が認証不可であれば、システム制御盤Ｇは電気錠制御盤Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆに対して何の制御も行わない。よって、予め登録されていない人物（集合住宅の住人以外の人物）が勝手に集合住宅内に侵入することを阻止できる。

ところで、従来技術で説明したように、対象空間から撮像部３に入射する環境光には、太陽光などの自然光以外に照明器具などの照明設備が照射する照明光が含まれている場合がある。そして、照明光を照射する照明設備のうち、白熱灯を光源とする白熱灯器具や、蛍光灯を磁気回路式安定器で点灯させる蛍光灯器具においては、商用交流電源の電源周波数（５０ヘルツ又は６０ヘルツ）の２倍の周波数で照明光のレベルが変動する。また、インバータ回路を含む蛍光灯電子安定器で蛍光灯を点灯させるインバータ蛍光灯器具においては、インバータ回路の発振周波数（一般に数十キロヘルツ）の２倍の周波数で照明光のレベルが変動する。そして、照明光のレベルが変動した場合、発光時画像と非発光時画像との差分に照明光のレベル変動分が残ってしまい、光変調画像の画質が低下してしまう虞がある。

一方、周期的にレベル変動する照明光が環境光に含まれている場合、その照明光のレベル変動の周波数（周期）が判れば、以下のようにして、光変調画像に対する照明光のレベル変動の影響を除去することができる。例えば、照明光が商用交流電源の電源周波数（６０ヘルツ）の２倍の周波数でレベル変動する場合を例示して説明する。図２に示すように、照明光のレベル変動の半周期（≒８．３３［ミリ秒］）を整数倍（図示例では３倍）した値と、変調光の周期Ｔｓを整数倍（図示例では２倍）した値とが等しいとき、変調光の点灯（発光）に同期して撮像部３の撮像素子が受光する期間（発光時受光期間）Ｔon(1)，Ｔon(2) （Ｔon(1)＝Ｔon(2)）と、変調光の消灯（非発光）に同期して撮像部３の撮像素子が受光する期間（非発光時受光期間）Ｔoff(1)，Ｔoff(2)（Ｔoff(1)＝Ｔoff(2)＝Ｔon(1)）との各期間において、撮像素子が発光時受光期間Ｔon(1)，Ｔon(2)に受光する照明光の各光量Ｙon(1)，Ｙon(2)の総和（Ｙon(1)＋Ｙon(2)）と、撮像素子が非発光時受光期間Ｔoff(1)，Ｔoff(2)に受光する照明光の各光量Ｙoff(1)，Ｙoff(2)の総和（Ｙoff(1)＋Ｙoff(2)）とが等しくなる。

あるいは、図３に示すように照明光のレベル変動の半周期を整数倍（図示例では１倍）した値と、変調光の周期Ｔｓを整数倍（図示例では８倍）した値とが等しい場合においても、発光時受光期間に撮像素子で受光する照明光の各光量の総和と非発光時受光期間に撮像素子で受光する照明光の各光量の総和も等しくなる。

したがって、照明光のレベル変動の半周期を整数倍した値と変調光の周期Ｔｓを整数倍した値とが等しいという条件が満たされている限りにおいて、発光時画像の画素信号の総和と非発光時画像の画素信号の総和との差分を光変調画像の画素信号とすれば、上述のように発光時画像の画素信号に含まれる照明光の成分と非発光時画像の画素信号に含まれる照明光の成分とが相殺されることになる。故に、照明光のレベル変動の周波数（周期）が判れば、発光制御部２が発光部１を駆動する周波数（周期）を調整することで光変調画像に対する照明光のレベル変動の影響を除去することができる。

そこで本実施形態においては、演算処理部４の解析処理によって照明光のレベル変動の周波数（周期）を推定するとともに、推定された周波数（周期）に基づいて、タイミング調整処理により撮像部３が発光時画像及び非発光時画像を出力するタイミング、すなわち、発光制御部２が発光部１を駆動する周波数（周期）を調整している。

次に、演算処理部４の解析処理及びタイミング調整処理について、さらに詳しく説明する。既に説明したように、照明光のレベル変動の周波数（周期）は、照明設備の種類によってある程度は既知である。つまり、照明設備が白熱灯器具や磁気回路式安定器を搭載した蛍光灯器具である場合、商用交流電源の電源周波数である５０ヘルツ又は６０ヘルツで照明光のレベルが変動する。また、照明設備がインバータ回路を含む蛍光灯電子安定器を搭載したインバータ照明器具である場合においても、インバータ回路の発振周波数は製造業者や機種によって異なるものの、実際には数通りの周波数（周期）に分けることができる。

そこで、上述のような照明設備の種類に応じた複数通りの照明光のレベル変動の周波数（周期）毎に、当該レベル変動の半周期を整数倍した値と等しい値となる複数通りの周期Ｔｓを予め演算処理部４のメモリ（図示せず）に記憶しておく。そして、演算処理部４の解析処理において、メモリに記憶した複数通りの周期Ｔｓで変調光を照射し、複数通りの各周期Ｔｓ毎で時間的に連続した複数フレームの光変調画像を生成し、これら複数フレームの光変調画像における画素値のレベル変動を複数通りの各周期Ｔｓ毎に解析する。具体的には、連続した複数フレームの光変調画像における同一位置の画素の画素値同士の差分（絶対値）を求め、当該差分の最大値若しくは平均値が予め設定された閾値以下となれば、その光変調画像を取得したときの周期Ｔｓを変調光の周期に設定する。あるいは、複数通りの周期Ｔｓ毎に求めた上記差分（絶対値）のなかでその最大値若しくは平均値が最小となる周期Ｔｓを変調光の周期に設定してもよい。ここで、１フレーム中の全ての画素について画素値のレベル変動を解析して変調光の周期Ｔｓを設定しても構わないが、特定の特徴を有する領域、例えば、人物の顔領域に含まれる画素の画素値のレベル変動のみを解析して変調光の周期Ｔｓを設定しても構わない。

上述のようにして変調光の周期Ｔｓを設定した後、演算処理部４のタイミング調整処理により、発光制御部２を制御して発光部１から発光される変調光の周期Ｔｓを、上述した解析処理によって設定された周期に設定すれば、照明光のレベル変動を小さく（或いはほぼゼロに）することができる。また、解析処理における変調光の周期Ｔｓを照明光のレベル変動の周期よりも充分に短い値に設定すれば、被写体（人物の顔）が動いたときでも光変調画像がぶれてしまうことを防ぐことができる。

（実施形態２）
実施形態１では、発光制御部２から出力されるタイミング信号に基づき、発光部１が変調光を照射しているときに撮像素子から出力する発光時の画素信号と、発光部１が変調光を照射していないときに撮像素子から出力する非発光時の画素信号とを撮像部３から演算処理部４に出力しており、変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の入射光を受光するタイミングとを容易に同期させることができる。これに対して本実施形態は、発光制御部２から撮像部３にタイミング信号を出力しないで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の受光のタイミングとを同期させる点に特徴がある。但し、本実施形態の基本構成は実施形態１と共通であるから、共通の構成要素には同一の符号を付して適宜説明を省略する。

本実施形態の撮像装置Ａは、図４に示すようにカメラブロックＡ１と光源ブロックＡ２で構成される。カメラブロックＡ１は、撮像部３、演算処理部４、テンプレートマッチング処理部５、メモリ部６を備えている。また光源ブロックＡ２は、発光部１と発光制御部２を備えている。発光制御部２は、実施形態１と同様に、駆動回路を制御して所定の周波数（周期）で発光ダイオードを明滅させることによって、人物のいる対象空間に変調光を照射させる。但し、発光制御部２からは発光部１の明滅周期に同期したタイミング信号は出力されない。

演算処理部４では、実施形態１で説明した各処理を行うとともに、以下に説明するように、撮像部３の撮像素子から発光時画像及び非発光時画像の対象空間からの入射光を受光するタイミングを、光源ブロックＡ２が変調光を照射するタイミングに同期させるための第２のタイミング調整処理を実行する。具体的には、変調光の周期と、撮像部３における発光時及び非発光時の入射光を受光する周期（以下、「撮像周期」と呼ぶ。）とのずれが大きいほど光変調画像における画素値の変動周期が短くなることに着目し、演算処理部４の解析処理において、光変調画像における画素値の変動周期が所定値より短くなるように撮像部３の撮像周期を調整する。さらに、変調光の位相と、撮像部３における発光時及び非発光時の画素信号の出力の位相（以下、「撮像位相」と呼ぶ。）とのずれが大きいほど光変調画像の画素値が減少することに着目し、演算処理部４の解析処理において、図５に示すように撮像位相θｎ（ｎ＝１，２，３，…）をシフトしながら生成した光変調画像の同一画素の画素値ｍ(θn)を比較し、画素値ｍ(θn)が最大となる撮像位相θｘを内挿によって求める。

そして、上述のようにして求めた撮像周期及び撮像位相に基づき、演算処理部４の第２のタイミング調整処理によって、撮像部３の撮像素子が発光時及び非発光時における入射光を受光するタイミングを調整すれば、発光制御部２から撮像部３にタイミング信号を出力しないで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の受光のタイミングとを同期させることができる。尚、実施形態１で説明した照明光のレベル変動を抑制するタイミング調整処理については、演算処理部４において、発光制御部２から撮像部３にタイミング信号を出力しないで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時における受光のタイミングとを同期させた後に実行される。

（実施形態３）
本実施形態の撮像装置Ａは、発光制御部２から撮像部３にタイミング信号を出力しないで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の受光のタイミングとを同期させるための第３のタイミング調整処理に特徴があり、その他の点については実施形態２と共通である。よって、実施形態２と共通の構成要素並びに処理については適宜図示並びに説明を省略する。

ここで、光源ブロックＡ２では所定の基準周期Ｔｉで明滅する変調光を照射しているものとする。演算処理部４は、基準周期Ｔｉよりも僅かに短い周期Ｔｉ−ΔＴと、基準周期Ｔｉよりも僅かに長い周期Ｔｉ＋ΔＴとの２通りの撮像周期で交互に撮像部３から出力される画素信号を取り込み、それぞれの撮像周期で撮像部３から出力される発光時画像の画素信号の画素値を解析し、その解析結果に基づいて第３のタイミング調整処理を行う。

具体的には、変調光の位相と撮像位相とがずれている場合、短い周期Ｔｉ−ΔＴと長い周期Ｔｉ＋ΔＴのそれぞれにおいて撮像部３から出力される発光時画像の画素信号の画素値Ｙon１，Ｙon２が一致しなくなる点に着目し、図６（ａ）に示すように短い周期Ｔｉ−ΔＴと長い周期Ｔｉ＋ΔＴのそれぞれにおいて撮像部３から出力される発光時画像の画素信号の画素値Ｙon１，Ｙon２が互いに等しければ（Ｙon１＝Ｙon２）、撮像位相が変調光の位相に一致していると判断できる。そして、撮像位相が変調光の位相に一致していると判断できた場合、演算処理部４が撮像周期を基準周期Ｔｉに設定することで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の受光のタイミングとを同期させることができる。

一方、図６（ｂ）に示すように、短い周期Ｔｉ−ΔＴにおいて撮像部３から出力される発光時画像の画素信号の画素値Ｙon１が、長い周期Ｔｉ＋ΔＴにおいて撮像部３から出力される発光時画像の画素信号の画素値Ｙon２よりも大きければ（Ｙon１＞Ｙon２）、変調光の位相に対して撮像位相が進んでいると判断できる。そして、変調光の位相に対して撮像位相が進んでいると判断できた場合、演算処理部４が撮像周期を基準周期Ｔｉに対して長く設定し、撮像位相を遅らせることで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の受光のタイミングとを同期させることができる。

また、図６（ｃ）に示すように、短い周期Ｔｉ−ΔＴにおいて撮像部３から出力される発光時画像の画素信号の画素値Ｙon１が、長い周期Ｔｉ＋ΔＴにおいて撮像部３から出力される発光時画像の画素信号の画素値Ｙon２よりも小さければ（Ｙon１＜Ｙon２）、変調光の位相に対して撮像位相が遅れていると判断できる。そして、変調光の位相に対して撮像位相が遅れていると判断できた場合、演算処理部４が撮像周期を基準周期Ｔｉに対して短く設定し、撮像位相を進ませることで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の受光のタイミングとを同期させることができる。

さらに、図６（ｄ）に示すように、短い周期Ｔｉ−ΔＴ及び長い周期Ｔｉ＋ΔＴのそれぞれにおいて撮像部３から出力される発光時画像の画素信号の画素値Ｙonが、非発光時画像の画素信号の画素値Ｙoffよりも小さければ（Ｙon＜Ｙoff）、撮像位相が変調光の位相と逆位相になっていると判断できる。そして、撮像位相が変調光の位相と逆位相になっていると判断できた場合、演算処理部４が基準周期Ｔｉの半周期分だけ撮像位相を進める、若しくは遅らせることで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の受光のタイミングとを同期させることができる。尚、実施形態１で説明した照明光のレベル変動を抑制するタイミング調整処理については、演算処理部４において、発光制御部２から撮像部３にタイミング信号を出力しないで変調光の明滅のタイミングと、撮像部３における発光時及び非発光時の受光のタイミングとを同期させた後に実行される。

本発明の実施形態１を示すブロック図である。同上における解析処理並びにタイミング調整処理の説明図である。同上における解析処理並びにタイミング調整処理の説明図である。本発明の実施形態２を示すブロック図である。同上における解析処理並びにタイミング調整処理の説明図である。（ａ）〜（ｄ）本発明の実施形態３における解析処理並びにタイミング調整処理の説明図である。本発明の実施形態を用いた集合住宅用セキュリティシステムのシステム構成図である。

符号の説明

Ａ撮像装置
１発光部（変調光照射手段）
２発光制御部（変調光照射手段）
３撮像部
４演算処理部（光変調画像生成手段、解析手段、タイミング調整手段）

Claims

照明光のレベルが周期的に変化する照明設備が設置された対象空間に周期的に明滅する変調光を照射する変調光照射手段と、対象空間から入射する光を受光して受光光量に応じたレベルを有する画素信号を出力する撮像素子と、変調光照射手段が変調光を照射しているときに撮像素子から出力する発光時の画素信号と変調光照射手段が変調光を照射していないときに撮像素子から出力する非発光時の画素信号との差分を画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段により時間的に連続して生成された複数フレームの光変調画像における画素値のレベル変動を解析する解析手段と、解析手段によって解析された光変調画像における画素値のレベル変動を小さくするように、変調光の明滅のタイミング若しくは撮像素子が対象空間からの入射光を受光するタイミングのうちの少なくとも何れか一方を調整するタイミング調整手段とを備えたことを特徴とする撮像装置。
変調光を明滅するタイミングと撮像素子が対象空間からの入射光を受光するタイミングとが同期した状態において、解析手段は、予め複数種類が用意されたタイミングでそれぞれ生成される光変調画像毎に当該光変調画像の画素の画素値のレベル変動を求め、タイミング調整手段は、解析手段で求めた画素値のレベル変動が所定のしきい値よりも小さくなるタイミングを選択してタイミング調整処理を行うことを特徴とする請求項１記載の撮像装置。
変調光を明滅するタイミングと撮像素子が対象空間からの入射光を受光するタイミングとが同期した状態において、解析手段は、予め複数種類が用意されたタイミングでそれぞれ生成される光変調画像毎に当該光変調画像の画素の画素値のレベル変動を求め、タイミング調整手段は、解析手段で求めた画素値のレベル変動が最も小さくなるタイミングを選択してタイミング調整処理を行うことを特徴とする請求項１記載の撮像装置。
予め複数種類が用意されるタイミングは、照明設備において照明光がレベル変動する周期の半分の周期を整数倍した期間が変調光の明滅周期の偶数倍となるタイミングを含むことを特徴とする請求項２又は３記載の撮像装置。
撮像素子が対象空間からの入射光を受光する周期と位相のうちで少なくとも一方が異なる複数種類の組み合わせ毎に撮像素子が対象空間からの入射光を受光するタイミングを調整し、解析手段で解析される画素値のレベル変動が最も小さくなる周期と、解析手段で解析される画素値のレベルが最も高くなる位相とを求め、当該周期と位相の組み合わせに一致するように撮像素子が対象空間からの入射光を受光するタイミングを調整する第２のタイミング調整手段を備えたことを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
撮像素子が対象空間からの入射光を受光する周期を、変調光の明滅周期に略等しい基準周期よりも短い周期と長い周期とに交互に切り換え、短い周期において撮像素子が出力する発光時の画素信号を解析手段で解析した第１の画素値のレベルと、長い周期において撮像素子が出力する発光時の画素信号を解析手段で解析した第２の画素値のレベルとを比較し、第１の画素値のレベルが第２の画素値のレベルよりも高ければ、前記短い周期と長い周期を双方とも延長し、第１の画素値のレベルが第２の画素値のレベルよりも低ければ、前記短い周期と長い周期を双方とも短縮することで撮像素子が対象空間からの入射光を受光するタイミングを調整する第３のタイミング調整手段を備えたことを特徴とする請求項１〜４の何れか１項に記載の撮像装置。