前記課題を解決するためになされた第1の発明は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラおよび前記モノクロカメラにより、それぞれ撮影した前記カラー画像および前記モノクロ画像を処理するプロセッサと、前記カラー画像と前記モノクロ画像の位置合わせ情報を記憶する記憶部と、を備え、前記プロセッサは、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を同期させ、前記位置合わせ情報に基づいて、撮影した前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを行うと共に、前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う構成とする。
これによると、所定のプログラムを実行するプロセッサにより、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行い、位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第2の発明は、前記記憶部は、形状が異なる動体の種類別に複数の前記位置合わせ情報を記憶し、前記プロセッサは、前記モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた前記位置合わせ情報に基づいて、位置合わせを行う構成とする。
これによると、動体の形状に応じて、カラー画像とモノクロ画像との位置合わせを精度よく行うことができる。
また、第3の発明は、前記プロセッサは、前記位置合わせ情報を生成し、前記記憶部は、前記プロセッサで生成した前記位置合わせ情報を、前記カラー画像の信号および前記モノクロ画像の信号に対する信号処理の処理条件に関する情報とともにキャリブレーション情報として記憶する構成とする。
これによると、装置設置時や運用途中の適宜なタイミングで、位置合わせ情報を生成する処理をキャリブレーションとして実施することで、カラー画像およびモノクロ画像の位置合わせを適切に行うことができる。
また、第4の発明は、前記プロセッサは、前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換を行い、前記監視エリアの撮影環境に基づいて、前記解像度変換を制御する構成とする。
これによると、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。また、監視エリアの撮影環境に基づいて解像度変換を制御するため、撮影環境に関係なく、適切なカラー画像を出力することができる。また、解像度変換により、被写体の実際の色が明瞭に現れたカラー画像が得られ、このカラー画像から、夜間に出現した動体の色情報を精度よく取得することができる。
また、第5の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、この通信部により受信した前記カラー画像および前記モノクロ画像を処理するプロセッサと、前記カラー画像と前記モノクロ画像の位置合わせ情報を記憶する記憶部と、を備え、前記プロセッサは、前記位置合わせ情報に基づいて、受信した前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを行うと共に、前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う構成とする。
これによると、第1の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第6の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、前記動体監視装置は、環境光により前記監視エリアを撮影するカラーカメラと、赤外光により前記監視エリアを撮影するモノクロカメラと、前記カラーカメラおよび前記モノクロカメラにより、それぞれ撮影した前記カラー画像および前記モノクロ画像を処理するプロセッサと、前記カラー画像と前記モノクロ画像の位置合わせ情報を記憶する記憶部と、を備え、前記プロセッサは、前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を同期させ、前記位置合わせ情報に基づいて、撮影した前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを行うと共に、前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行い、その色変換画像を前記ネットワークを介して前記サーバ装置に送信する構成とする。
これによると、第1の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
また、第7の発明は、前記サーバ装置は、前記位置合わせ情報を生成するプロセッサと、前記位置合わせ情報を前記動体監視装置に送信する通信部と、を備え、前記動体監視装置は、前記サーバ装置から受信した前記位置合わせ情報にしたがって前記記憶部の更新処理を行う構成とする。
これによると、動体監視装置で用いられる位置合わせ情報の更新を、ユーザが遠隔操作で行うことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態に係る動体監視システムの全体構成図である。
動体監視システムは、カメラ装置1(動体監視装置)と、サーバ装置2(画像蓄積装置)と、閲覧装置3と、を備えている。カメラ装置1とサーバ装置2と閲覧装置3とはネットワークを介して接続されている。
カメラ装置1は、施設や道路などに設定された監視エリアを撮影し、監視エリアに存在する人物などの動体が写る撮影画像を出力する。サーバ装置2は、カメラ装置1から取得した撮影画像を蓄積する。閲覧装置3は、PCやタブレット端末やスマートフォンなどであり、サーバ装置2にアクセスすることで、サーバ装置2に蓄積された撮影画像をユーザが閲覧することができる。
次に、カメラ装置1について説明する。図2は、カメラ装置1による撮影状況を示す説明図である。
カメラ装置1は、カラーカメラ11と、モノクロカメラ12と、を備えている。このカラーカメラ11およびモノクロカメラ12により、監視エリアに存在する被写体、すなわち、人物などの動体、建物、施設の敷地、道路などが撮影される。
カラーカメラ11は、赤外光カットフィルタを備え、可視光により被写体をカラーで撮影して、カラー画像を出力する。モノクロカメラ12は、可視光カットフィルタを備え、赤外光により被写体をモノクロで撮影して、モノクロ画像を出力する。なお、モノクロカメラ12で撮影する際には、赤外光投光器13(図3参照)により被写体に近赤外光が照射される。
ここで、夜間や、日の入りまたは日の出の時間帯で、環境光が十分にない状態において、カラーカメラ11による撮影を行うと、撮影されたカラー画像では、被写体となる動体や背景が暗く写り、特に動体の色、例えば人物の服の色や車体の色を判別しにくいという問題がある。また、モノクロカメラ12により近赤外光により撮影したモノクロ画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写るというという問題がある。このため、動体の誤認が発生する。
そこで、本実施形態では、カラーカメラ11から出力されるカラー画像の信号に対して信号処理を行うことで、環境光が十分にない状態で撮影された場合でも、被写体の実際の色が明瞭に現れた高画質なカラー画像を生成することができるようにしている。
さらに、本実施形態では、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像を合成する画像合成を行うようにしている。この画像合成では、カラー画像から色情報を取得し、その色情報を用いてモノクロ画像に色付けする処理が行われる。本実施形態では、近赤外光による撮影により、高精細なモノクロ画像が得られ、このモノクロ画像に、カラー画像から取得した色情報を用いて色付けすることにより、高精細で動体の色を忠実に再現した夜間のカラー画像を生成することができる。
このとき、カラーカメラ11およびモノクロカメラ12には視差があり、この視差の影響で、カラー画像およびモノクロ画像に写る被写体の位置がずれるため、カラー画像およびモノクロ画像をそのまま合成すると、背景の色が動体の領域に現れたり、動体の色が背景の領域に現れたりする不具合が発生する。
そこで、本実施形態では、カラー画像とモノクロ画像との間で被写体の位置を一致させる位置合わせの処理を行うようにしている。
なお、図2では、屋外を監視エリアとした例を示しているが、屋内を監視エリアとしてもよい。この場合、日照の他に照明器具の点灯・消灯により監視エリアの環境光の明るさが変化する。
次に、カメラ装置1の概略構成について説明する。図3は、カメラ装置1の概略構成を示すブロック図である。
カメラ装置1は、カラーカメラ11およびモノクロカメラ12の他に、赤外光投光器13と、通信部14と、制御部15と、記憶部16と、を備えている。
赤外光投光器13は、モノクロカメラ12で被写体を撮影する際に、被写体に近赤外光を投光する。
通信部14は、ネットワークを介してサーバ装置2との間で通信を行う。本実施形態では、制御部15で生成した合成画像をサーバ装置2に送信する。なお、制御部15で生成した処理済みのカラー画像およびモノクロ画像をサーバ装置2に送信するようにしてもよい。
このとき、設置場所、カメラ属性、撮影時刻、撮影条件などに関する撮影情報を、属性情報として画像に付加して送信する。なお、カメラ属性は、カラーおよびモノクロの別や、カメラ装置1の識別情報(MACアドレスなど)などに関するものである。また、撮影条件は、露光時間やゲインなどに関するものである。
なお、モノクロ画像に対して文字認識処理を行って、モノクロ画像内の文字情報を取得して、その文字情報を画像に付加して送信するようにしてもよい。
記憶部16は、制御部15で生成したカラー画像、モノクロ画像、および合成画像などを記憶する。また、記憶部16は、制御部15で実行されるプログラムを記憶する。また、記憶部16は、キャリブレーションメモリとして機能し、カラーカメラ11およびモノクロカメラ12の撮像条件や、制御部15で行われるカラー画像およびモノクロ画像の画信号に対する信号処理の処理条件などに関するキャリブレーション情報(各種パラメータの設定値など)を記憶する。
制御部15は、信号処理部21と、LED制御部22と、位置合わせ情報生成部23と、位置合わせ部24と、画像合成部25と、を備えている。この制御部15は、プロセッサで構成され、制御部15の各部は、記憶部16に記憶されたプログラムを実行することで実現される。
信号処理部21は、カラーカメラ11およびモノクロカメラ12からそれぞれ出力される画信号を処理する。
LED制御部22は、赤外光投光器13の光源となるLEDを制御する。
次に、信号処理部21について説明する。図4は、信号処理部21の概略構成を示す機能ブロック図である。
信号処理部21は、同期信号生成部31と、モノクロ信号処理部32と、カラー信号処理部33と、を備えている。
同期信号生成部31は、カラーカメラ11およびモノクロカメラ12を同期させる同期信号を生成する。この同期信号により、カラーカメラ11およびモノクロカメラ12は同一のタイミングで被写体を撮影することができる。
モノクロ信号処理部32は、カメラインタフェイス41と、階調補正部42と、ガンマ補正43と、を備えている。
カメラインタフェイス41では、モノクロカメラ12から出力されるモノクロ画像の画信号が入力される。
階調補正部42は、カメラインタフェイス41に入力されたモノクロ画像の画信号に対して階調補正を行う。
ガンマ補正部56は、階調補正部42から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
カラー信号処理部33は、カメラインタフェイス51と、信号レベル検出部52と、信号処理制御部53と、解像度変換部54と、階調色調補正部55と、ガンマ補正部56と、Y成分生成部57と、UV成分生成部58と、平均化縮小部59と、を備えている。
カメラインタフェイス51では、カラーカメラ11から出力されるカラー画像の画信号が入力される。
信号レベル検出部52は、カメラインタフェイス51に入力されたカラー画像の画信号に基づいて、信号レベルを検出する。この信号レベルは、監視エリアの撮影環境である画像全体の明るさ、すなわち、監視エリアの環境光の明るさを表すものであり、輝度の最大値や分布状況(ヒストグラム)に基づいて検出される。
信号処理制御部53は、信号レベル検出部52で取得した信号レベルを参照して、解像度変換部54で行われる解像度変換の度合(縮小率)を設定する。また、信号処理制御部53は、解像度変換の度合に応じて、平均化縮小部59で行われる平均化縮小の度合(縮小率)を設定する。なお、解像度変換の度合には、解像度変換部54の動作を休止して解像度変換を行わない場合も含まれ、また、平均化縮小の度合には、平均化縮小部59の動作を休止して平均化縮小を行わない場合も含まれる。ここでは、監視エリアの撮影環境として、信号レベル検出部52で取得した信号レベルに基づいて、解像度変換部54で行われる解像度変換の度合(縮小率)を設定するようにしたが、信号レベル検出部52を省略し、日ごとに定められた昼時間、夜時間の設定にしたがい、夜時間の時間帯(1以上)ごとに解像度変換の度合を設定する制御テーブルを保持するようにしてもよい。また、信号レベル検出部52に代えて、照度センサ等を設け、そのセンサ出力に基づいて、撮影環境を判別するようにしてもよい。
解像度変換部54は、カメラインタフェイス51に入力されたカラー画像の画信号に対して、近接する複数の画素の信号値を統合して画素数を削減する解像度変換を行う。
階調色調補正部55は、解像度変換部54から出力されるカラー画像の画信号に対して階調補正および色調補正を行う。階調補正としては、例えば、画像を明るくするゲイン調整が行われる。色調補正としては、例えば、環境光の色合いの影響を抑えるホワイトバランス補正が行われる。
ガンマ補正部56は、階調色調補正部55から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
Y成分生成部57は、ガンマ補正部56から出力される画信号から、Y成分の画信号(輝度信号)を生成する。UV成分生成部58は、ガンマ補正部56から出力される画信号から、U成分およびV成分の画信号(色差信号)を生成する。
平均化縮小部59は、Y成分生成部57およびUV成分生成部58からそれぞれ出力される画信号に対して、所定数の画素の信号値を平均化することにより、カラー画像を所定のサイズに縮小する処理を行う。
次に、解像度変換部54で行われる解像度変換について説明する。図5は、解像度変換の要領を示す説明図である。図6は、解像度変換前後のヒストグラムを示す説明図である。
カラーカメラ11の撮影素子では、図5(A)に示すように、R,B,Gの各色の画素がベイヤーパターンで配列されている。
解像度変換部54では、図5(B)に示すように、同一の色の画素を対象にして、近接する所定数の画素の信号値を加算して、その合計値を、図5(C)に示すように、1つの画素の信号値とする。
図5に示す例では、4×4の合計16個の画素の信号値を加算している。これにより、撮影感度が16倍になる。また、解像度が1/16に低下して、データ量が1/16に削減される。
なお、図5では、Rについて示すが、B,Gについても同様である。
このような解像度変換を行うことにより、図6(A)に示すように、解像度変換前では、信号値が暗い範囲に偏っているのに対して、図6(B)に示すように、解像度変換後では、信号値が広い範囲に広がった状態になる。
このように本実施形態では、複数の画素の信号値を加算することでカラー画像の画素数を削減する解像度変換が行われる。これにより、街灯や建物の照明などにより、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。特に動体の判別が容易になり、例えば人物の場合には服の色が明瞭に現れ、車両の場合には車体の色を明瞭に現れ、動体の誤認を避けることができる。
ところで、カメラ装置1で生成したカラー画像を、ネットワークを介してサーバ装置2に送信するため、通信負荷を軽減する目的でカラー画像のデータ量を削減することが望まれる。
ここで、JPEGなどの圧縮処理を行うことが考えられるが、夜間のように環境光が十分にない状態で撮影されたカラー画像に対して圧縮処理を行うと、昼間のように環境光が十分にある状態で撮影されたカラー画像で生じなかった圧縮ノイズが顕著に表れ、画質が大幅に低下する。
一方、本実施形態では、解像度変換を行うことで、カラー画像の画素数が減少するため、カラー画像のデータ量を削減することができる。また、解像度変換を行ったカラー画像に対してさらに圧縮処理を行うようにしてもよく、この場合、解像度変換を行わないまま圧縮処理を行った場合に比較して、圧縮ノイズを大幅に低減することができる。
次に、信号処理制御部53で行われる処理について説明する。図7は、信号処理制御部53で設定される処理モードを示す説明図である。図8は、信号処理制御部53で行われる処理の手順を示すフロー図である。
信号処理制御部53では、信号レベル検出部52で取得した信号レベルを複数のしきい値と比較して、その比較結果に基づいて、解像度変換部54で行われる解像度変換の度合を段階的に変更する。
図7に示す例では、信号レベルに基づいて、3つの処理モードに場合分けして、解像度変換の度合として、3つのレベル(最小、中間、最大)が設定される。これにより、各画素の信号値が飽和しないように、適切な解像度変換を行うことができる。
第1の処理モードは、昼間の明るい状態である場合に実施されるものである。この第1の処理モードでは、解像度変換のレベルは最小となり、解像度変換の縮小率を1、すなわち、解像度変換を行わない。
第2の処理モードは、日の入りまたは日の出の時間帯で薄暗い状態である場合に実施されるものである。この第2の処理モードでは、解像度変換のレベルは中間となり、解像度変換の縮小率を1/4とする。すなわち、2×2の合計4個の画素の信号値を加算することで、解像度を1/4とする解像度変換を行う。
第3の処理モードは、夜間の暗い状態である場合に実施されるものである。この第3の処理モードでは、解像度変換のレベルは最大となり、解像度変換の縮小率を1/16とする。すなわち、4×4の合計16個の画素の信号値を加算することで、解像度を1/16とする解像度変換を行う。
また、信号処理制御部53では、解像度変換部54で行われる解像度変換の度合に関係なく最終的に同一サイズのカラー画像が得られるように、解像度変換の度合に応じて、平均化縮小部59で行われる平均化縮小の度合を設定する。
すなわち、第1の処理モードで解像度変換の縮小率が1の場合には、平均化縮小のレベルは最大となり、平均化縮小の縮小率を1/16とする。また、第2の処理モードで解像度変換の縮小率が1/4の場合には、平均化縮小のレベルは中間となり、平均化縮小の縮小率を1/4とする。また、第3の処理モードで解像度変換の縮小率が1/16の場合には、平均化縮小のレベルは最小となり、平均化縮小の縮小率を1とする。すなわち、平均化縮小を行わない。これにより、全ての処理モードで同様に1/16に縮小されたカラー画像が得られる。
具体的には、図8に示すように、信号レベル検出部52で取得した信号レベルLを2つのしきい値a,b(a<b)と比較して、信号レベルLがしきい値a未満であるか否かの判定(ST101)と、信号レベルLがしきい値b未満であるか否かの判定(ST102)と、を行う。これにより、3つの処理モードに場合分けして、解像度変換および平均化縮小のレベルが決定される。
すなわち、信号レベルLがしきい値b以上である場合(ST102でNo)、すなわち、昼間の明るい状態である場合には、第1の処理モードとなり、解像度変換のレベルを最小に設定し(ST103)、平均化縮小のレベルを最大に設定する(ST104)。
また、信号レベルLがしきい値a以上で且つしきい値b未満である場合(ST102でYes)、すなわち、日の入りまたは日の出の時間帯で薄暗い状態である場合には、第2の処理モードとなり、解像度変換のレベルを中間に設定し(ST105)、平均化縮小のレベルを中間に設定する(ST106)。
また、信号レベルLがしきい値a未満である場合(ST101でYes)、すなわち、夜間の暗い状態である場合には、第3の処理モードとなり、解像度変換のレベルを最大に設定し(ST107)、平均化縮小のレベルを最小に設定する(ST108)。
なお、図7および図8に示す例では、信号レベルに応じて3通り(第1〜第3の処理モード)に場合分けするようにしたが、2通り、または4通り以上に場合分けするようにしてもよい。また、解像度変換の縮小率を1,1/4、1/16としたが、8×8の合計64個の画素の信号値を加算することで、解像度を1/16とする解像度変換を行うなど、種々の縮小率の解像度変換が可能である。
次に、階調色調補正部55で行われるホワイトバランス補正について説明する。図9は、ホワイトバランス補正の手順を示すフロー図である。
階調色調補正部55では、解像度変換部54から出力されるカラー画像の画信号に対してホワイトバランス補正が行われる。ホワイトバランス補正では、最も明るい(輝度が高い)領域を白色とみなして、色調を補正する。このため、夜間でライト、例えば街灯や車両のヘッドライトが写る画像では、ライトの領域が最も明るくなるため、この領域を白色とみなして色調を補正する。このとき、ライトの光が白色でない場合、画像の色が全体的にずれる色かぶりが発生する。
そこで、本実施形態では、ライトの領域を除外してホワイトバランス補正を行う。
具体的には、まず、信号レベル検出部52で取得した信号レベルが所定のしきい値未満であるか否かを判定する(ST201)。このしきい値は、夜間と昼間とを識別するものとなる。
ここで、信号レベルがしきい値未満である場合(ST201でYes)、すなわち、夜間である場合には、カラー画像内のライトの領域を検出して、そのライトの領域に含まれる画素を集計対象から除外する(ST202)。
次に、集計対象となる各画素の信号値をRGBの色ごとに合計して、各色の合計値(RSUM、GSUM、BSUM)を算出する(ST203)。そして、各色の合計値に基づく各色のゲインを、各色の入力値(Rin、Gin、Bin)に乗算して、各色の出力値(Rout、Gout、Bout)を算出する(ST204)。このとき、Gを基準にした補正が行われる。
一方、信号レベルがしきい値以上である場合(ST201でNo)、すなわち、昼間である場合には、カラー画像内の全ての画素を集計対象として、各色の合計値を算出し(ST203)、各色の出力値を算出する(ST204)。
次に、階調色調補正部55で行われる階調補正について説明する。図10は、階調色調補正部55で行われる階調補正の状況を示す説明図である。
階調色調補正部55では、解像度変換部54から出力されるカラー画像の画信号に対してゲインを付加して、カラー画像を明るくする階調補正(ゲイン調整)が行われる。
図10に示す例は、街灯のライトが写る夜間のカラー画像であり、図10(A)に示すように、元画像は全体的に暗く被写体が見えにくい。
ここで、元画像の画信号に対して均一に大きなゲインを与えると、図10(B)に示すように、画像全体が明るくなり、ライトから離れた領域では被写体が見えやすくなるが、ハレーションが顕著になるため、ライトの近くの領域では被写体が逆に見えにくくなる。
一方、元画像の画信号に対して均一に小さなゲインを与えると、図10(C)に示すように、ハレーションは低減するが、画像全体がわずかに明るくなるだけで、被写体が見えにくい状態はあまり改善されない。
そこで、本実施形態では、領域に応じて最適化された階調補正を行う。すなわち、ライトから離れた暗い領域には大きなゲインを与え、ライトの近くの明るい領域では小さいゲインを与える。
これにより、図10(D)に示すように、ライトから離れた領域では被写体が見えやすくなり、また、ハレーションが低減するため、ライトの近くの領域でも被写体が見えやすくなる。このように、領域に応じて異なるゲインを与えることで、ハレーションの影響を受けない最適な画像を取得することができる。
次に、位置合わせ情報生成部23、位置合わせ部24および画像合成部25で行われる処理について説明する。図11は、位置合わせ情報生成部23、位置合わせ部24および画像合成部25で行われる処理に係る要部のブロック図である。図12は、位置合わせ情報生成部23、位置合わせ部24および画像合成部25で行われる処理の概要を示す説明図である。
図11に示すように、位置合わせ情報生成部23は、モノクロ信号処理部32から出力されるモノクロ画像と、カラー信号処理部33から出力されるカラー画像とに基づいて、位置合わせ部24で行われる幾何学的変換(位置合わせ)に用いられる変換行列(位置合わせ情報)を生成する(図12参照)。本実施形態では、モノクロ画像とカラー画像との間で画像マッチングを行って、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得し、この特徴点を用いて変換行列を推定する。
この位置合わせ情報生成部23の処理は、運用前のキャリブレーションとして実施され、昼間のように環境光が十分にある状態で、カラーカメラ11およびモノクロカメラ12により同時に撮影されたカラー画像およびモノクロ画像を用いて行われる。
ここで、カラーカメラ11およびモノクロカメラ12を別体の単眼カメラとすると、設置条件に応じて、カラーカメラ11とモノクロカメラ12との相対的な位置関係が変化する。また、カラーカメラ11およびモノクロカメラ12を同一の筐体に収容するなどして、カラーカメラ11およびモノクロカメラ12の位置関係が変化しないように構成しても、設置される場所ごとに撮影条件、例えば、カラーカメラ11およびモノクロカメラ12から動体が出現する位置までの撮影距離などが異なる。このため、運用前のキャリブレーションとして、カメラ装置1ごとに変換行列(位置合わせ情報)を取得する。
また、夜間のように環境光が十分にない状態で撮影されたカラー画像は、暗くて不鮮明で且つノイズが多く、このようなカラー画像では、モノクロ画像との間での画像マッチングを適切に行うことができない。このため、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像を用いて、変換行列を取得する。
なお、可視光で撮影されたカラー画像と、近赤外光で撮影されたモノクロ画像とでは、輝度勾配が異なる場合があるため、位相相関法などの輝度勾配に対してロバストな手法を用いて画像マッチングを行う。
この位置合わせ情報生成部23で生成した変換行列は、キャリブレーションデータとして記憶部16に記憶される。
位置合わせ部24は、運用時に、位置合わせ情報生成部23で取得した変換行列(位置合わせ情報)を用いて、カラー信号処理部33から出力されるカラー画像に対して幾何学的変換、例えば射影変換を実施する(図12参照)。これにより、カラー画像に現れる被写体の像の位置を、モノクロ画像と一致させることができる。
画像合成部25は、位置合わせ部24から出力される位置合わせ済みのカラー画像と、モノクロ信号処理部32から出力されるモノクロ画像を合成して合成画像を生成する(図12参照)。この画像合成では、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けを行う色変換が行われる。なお、この画像合成には、公知の画像合成技術を用いればよい。
次に、キャリブレーションについて説明する。図13は、キャリブレーションの処理手順を示すフロー図である。図14は、画像マッチングの状況を示す説明図である。
なお、このキャリブレーションは、カメラ装置1の設置時に初期設定として行われる。また、振動や強風などの影響で、カラーカメラ11とモノクロカメラ12との相対的な位置関係が変化するため、運用中に定期的に行うようにしてもよい。
図13に示すように、キャリブレーションでは、位置合わせ情報生成部23において、まず、昼間に撮影されたカラー画像およびモノクロ画像を取得する(ST301)。
次に、カラー画像とモノクロ画像との間で画像マッチングを行う(ST302)。この画像マッチングでは、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得する(図14参照)。
次に、取得した特徴点を用いて、幾何学的変換で用いられる変換行列を推定する(ST303)。具体的には、次式のような変換行列Hを求める。なお、ここでは、幾何学的変換として射影変換を行うようにしている。
S:スケール(拡大、縮小)、θ:回転、Tx,Ty:平行移動量
次に、取得した変換行列を用いて、カラー画像に対して幾何学的変換を行う(ST304)。このとき、次式のように、カラー画像の座標(x,y)が座標(x',y')に変換される。
なお、この式は、運用時の幾何学的変換でも同様に用いられる。
次に、幾何学的変換が行われたカラー画像とモノクロ画像とを比較して、被写体の位置が一致しているか否かを判定する(ST305)。ここで、被写体の位置が一致している場合には(ST305でYes)、取得した変換行列を記憶部16に記憶する。一方、被写体の位置が一致していない場合には(ST305でNo)、別のカラー画像およびモノクロ画像を取得して、前記の処理を繰り返す。
なお、被写体の位置の判定結果に応じて、ユーザの操作入力により、幾何学的変換のパラメータを微調整することができるようにしてもよい。
次に、運用時の処理について説明する。図15は、運用時の処理手順を示すフロー図である。
運用時には、まず、位置合わせ部24において、夜間に撮影されたカラー画像およびモノクロ画像を取得する(ST401)。次に、キャリブレーションで取得した変換行列を用いて、カラー画像に対して幾何学的変換を実施する(ST402)。次に、画像合成部25において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する(ST403)。
(第2実施形態)
次に、第2実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図16は、形状が異なる動体の撮影状況を示す説明図である。
動体の形状が異なると、カラーカメラ11およびモノクロカメラから動体の面までの距離が変化する。例えば、図16(A)に示すように、動体がボンネットのある乗用車である場合と、図16(B)に示すように、動体がボンネットのないワンボックスカーである場合とでは、動体が同一の位置にある状態でも、カラーカメラ11およびモノクロカメラ12から動体の面までの距離Lが異なる。
このように動体の形状に応じて、カラーカメラ11およびモノクロカメラから動体の面までの距離Lが変化すると、カラーカメラ11およびモノクロカメラ12間の視差の影響による動体の像のずれ方が変化する。
そこで、本実施形態では、キャリブレーションにおいて、形状が異なる動体の種類ごとに複数の変換行列(位置合わせ情報)を作成しておき、運用時に、動体の種類を判別して、動体の種類に対応する変換行列を用いて、幾何学的変換を実施する。ここで、動体の種類の判別は、高精細なモノクロ画像を用いて行うとよい。
また、動体の種類ごとの変換行列を取得するには、監視エリア、または監視エリアと同一の撮影条件となる適宜な場所に、実際に動体を配置して、その動体をカラーカメラ11およびモノクロカメラで撮影し、得られたカラー画像およびモノクロ画像に基づいて、変換行列を取得すればよい。また、動体の代わりにマーカーを配置するようにしてもよい。
次に、第2実施形態における運用時の処理手順について説明する。図17は、運用時の処理手順を示すフロー図である。
運用時には、まず、位置合わせ部24において、夜間に撮影されたカラー画像およびモノクロ画像を取得する(ST501)。そして、モノクロ画像から動体を検出する(ST502)。
次に、検出された動体の種類を判別して、動体の種類に応じた変換行列を選択する。図17に示す例では、動体の種類A〜Fに該当するか否かの判定を順次行い(ST503〜ST508)、動体の種類A〜Fに応じた変換行列を選択する(ST509〜ST514)。いずれにも該当しない場合には、汎用の変換行列を選択する(ST515)。
次に、選択された変換行列を用いて、カラー画像に対して幾何学的変換を実施する(ST516)。次に、画像合成部25において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する(ST517)。
(第3実施形態)
次に、第3実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図18は、第3実施形態に係るカメラ装置1およびサーバ装置2の概略構成を示す説明図である。
前記の実施形態では、キャリブレーションにおいて、カラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせ(幾何学的変換)に用いられる位置合わせ情報(変換行列)を生成する処理を、カメラ装置1で行うようにしたが、本実施形態では、位置合わせ情報を生成する処理をサーバ装置2で行うようにしている。
サーバ装置2は、通信部61と、制御部62と、記憶部63と、を備えている。
通信部61は、ネットワークを介してカメラ装置1との間で通信を行う。本実施形態では、キャリブレーションの際に、位置合わせ情報の生成に用いられるカラー画像およびモノクロ画像に関する画像送信要求をカメラ装置1に送信し、画像送信要求に応じてカメラ装置1から送信されるカラー画像およびモノクロ画像を受信する。また、制御部62で生成した位置合わせ情報をカメラ装置1に送信する。また、運用時に、カメラ装置1から定期的に送信される合成画像を受信する。
記憶部63は、通信部61で受信したカラー画像およびモノクロ画像や、制御部62で生成した位置合わせ情報などを記憶する。また、記憶部63は、制御部62で実行されるプログラムを記憶する。
制御部62は、画像送信要求部71と、位置合わせ情報生成部72と、を備えている。この制御部62は、プロセッサで構成され、制御部62の各部は、記憶部63に記憶されたプログラムを実行することで実現される。
画像送信要求部71は、カメラ装置1に対して、昼間のように環境光が十分にある状態でカラー画像およびモノクロ画像を同時に撮影して、そのカラー画像およびモノクロ画像を送信するように指示する画像送信要求を通信部61から送信させる。
位置合わせ情報生成部72は、画像送信要求に応じてカメラ装置1から送信されるカラー画像およびモノクロ画像を通信部61で受信すると、そのカラー画像およびモノクロ画像に基づいて、カメラ装置1の位置合わせ部24で行われる位置合わせ(幾何学的変換)に用いられる位置合わせ情報(変換行列)を生成する。この位置合わせ情報生成部72で生成した位置合わせ情報は通信部61からカメラ装置1に送信される。
カメラ装置1は、サーバ装置2から送信される画像送信要求を受信すると、カラー画像およびモノクロ画像を撮影してサーバ装置2に送信する。また、カメラ装置1は、サーバ装置2から送信される位置合わせ情報を受信すると、受信した位置合わせ情報にしたがって記憶部16の更新処理を行う。
これにより、カメラ装置1で用いられる位置合わせ情報の初期設定および更新を、ユーザが遠隔操作で行うことができる。
なお、本実施形態では、カメラ装置1から送信される画像を蓄積するサーバ装置2で位置合わせ情報を生成するようにしたが、画像を蓄積する装置と、位置合わせ情報を生成する装置と、を別に設けるようにしてもよい。
(第4実施形態)
次に、第4実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図19は、第4実施形態に係るカメラ装置1およびサーバ装置2の概略構成を示す説明図である。
前記の実施形態では、カラー画像とモノクロ画像との間での位置合わせや、カラー画像とモノクロ画像との画像合成を、カメラ装置1で行うようにしたが、本実施形態では、位置合わせや画像合成をサーバ装置2で行うようにしてもよい。
すなわち、サーバ装置2の制御部62は、位置合わせ部73と、画像合成部74と、を備えている。位置合わせ部73は、位置合わせ情報生成部72で取得した変換行列(位置合わせ情報)を用いて、カメラ装置1から送信されるカラー画像に対して幾何学的変換を実施する。画像合成部74は、位置合わせ部73から出力される位置合わせ済みのカラー画像と、カメラ装置1から送信されるモノクロ画像を合成して合成画像を生成する。この位置合わせ部73および画像合成部74で行われる処理は、前記の実施形態におけるカメラ装置1の位置合わせ部24および画像合成部25と同様である。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、監視対象となる動体を主に人物とした例について説明したが、監視対象となる動体は人物に限定されるものではなく、動物や車両などでもよい。
また、前記の実施形態では、環境光の明るさを表す信号レベルに基づいて制御を行うようにしたが、季節や時刻に応じた日照時間の変化により、環境光の明るさが規則的に変化するため、時間情報に基づいて制御することも可能である。ただし、環境光の明るさは天気に応じて変化するため、信号レベルに基づいた制御の方が、精度の高い制御を行うことができる。
また、前記の実施形態では、解像度変換などの種々の画像処理(信号処理)をカメラ装置で行うようにしたが、これらの画像処理の全部あるいは一部をサーバ装置で行うようにしてもよい。もっとも、解像度変換や平均化縮小の処理は、画像のデータ量を削減して通信負荷を軽減するものであるため、カメラ装置で行うことが望ましい。