JP2007043466A - 画像合成装置並びに多カメラ監視システム - Google Patents

Abstract

【課題】 複数のカメラがそれぞれ撮影した画像を合成して合成画像を得る際に、高解像度かつ任意の監視対象に対してリアルタイムで画像合成が可能な画像合成装置を得る。
【解決手段】 複数のカメラそれぞれの画角または拡大率を制御するカメラ制御部を有し、複数のカメラが単一の監視対象を撮影している場合において、合成画像における基準画像が重複する部分の特徴量に基づいて、各カメラの画角または拡大率を制御し、制御後の基準画像を合成する。
【選択図】 図１

Description

この発明は、複数のカメラが撮影した画像の一部を重ね合わせた合成画像を生成する画像合成装置並びにこの画像合成装置を備えた多カメラ監視システムに関する。

従来の画像合成装置においては、同一の監視対象を複数のカメラで撮影し、これらの画像を合成し１つのモニタ上で表示する場合は、各カメラが撮影した画像をスムーズにつなぐために、基準画像記録部を設け、この基準画像記録部に前もって基準画像を記録すると共に、この基準画像をモニタ上に表示すると同時に、各カメラからの現在の撮影画像をこのモニタ上に表示し、両画像が一致するように動作させていた（例えば特許文献１参照）。

また、従来の多カメラ監視システムにおいては、複数のカメラが異なる監視領域を撮影し、これらの画像を１つのモニタ上に分割して表示し、いずれかの監視領域に監視対象を検知した場合には、この監視領域を撮影しているカメラの拡大率を上げていた（例えば特許文献２参照）。

特開平９−２４７６５９号公報 特開平１１−２０３５７８号公報

特許文献１における画像合成装置においては、事前に基準画像記録部に基準画像を記録する必要があるので、決められた映像に対してしか、画像合成ができないという問題点があった。また、画像合成は、基準画像と現画像を人間の目で見て、カメラの画角を合わせる構成になっているため、不正確さが生じてしまうといった問題点もあった。

また、特許文献２における多カメラ監視装置においては、監視対象は単一のカメラで撮影するために、監視対象の映像の解像度は、そのカメラ以上の解像度を得ることができないといった問題点があった。

この発明は、上述のような課題を解決するためになされたものであり、本発明の目的は事前に基準画像を用意することなく任意の監視対象に対して画像合成が可能な画像合成装置を得るものである。

この発明に係る画像合成装置は、複数のカメラが撮影した互いに異なる領域の画像である基準画像の一部を重ね合わせることにより合成画像を生成する画像合成装置において、基準画像の特徴量を算出する特徴量算出部と、合成画像における基準画像を重ね合わせた重複部分の特徴量に基づいて前記複数のカメラの画角または拡大率を制御するカメラ制御部と、を有することを特徴とするものである。

この発明は、複数のカメラが撮影した基準画像の一部を重ねあわせ、基準画像同士の重複部分の特徴量に基づき複数のカメラの画角または拡大率を制御することにより、任意の監視対象に対し解像度の高い合成画像を得ることができる。

実施の形態１．
図１は、この発明を実施するための実施の形態１における画像合成装置を示すものである。図１において、それぞれ異なる領域の基準画像を撮影する複数のカメラ１からの画像信号が、対応するカメラＩ／Ｆ部２に入力される。カメラＩ／Ｆ部２はこれらの画像信号を、画像メモリ３にバッファリング可能なフォーマットに変換し、それぞれ画像メモリ３にバッファリングする。画像メモリ３内の画像信号は画像合成部４および特徴量算出部５へ出力され、画像合成部４は基準画像の一部を重ね合わせた合成画像の合成画像信号を生成しモニタＩ／Ｆ部６に出力すると共に、合成画像において基準画像が重なり合う部分の画像信号を特徴量算出部５に出力する。モニタＩ／Ｆ部６はモニタ７に合わせてこの合成画像信号を変換し、合成画像をモニタ７に表示する。特徴量算出部５は基準画像の特徴量を算出し、これらをカメラ制御部８へと出力する。カメラ１にはそれぞれ、回転台等の画角を調整できる装置が実装されており、カメラ制御部８はこれを制御することにより、カメラ１の画角を制御することができる。また、ここで、特徴量とは画像の各ドットの輝度情報や色情報を数値化したものである。カメラ制御部８は基準画像の特徴量および合成画像において基準画像同士が重なり合う部分の特徴量の差分に基づいてカメラ１の画角または拡大率を制御する。また、カメラＩ／Ｆ部２、画像メモリ３、画像合成部４、特徴量算出部５、モニタＩ／Ｆ部６、カメラ制御部８によって、多カメラ映像表示装置Ａを構成している。

次に、この画像合成装置の動作についてカメラ１がカメラ１ａ、カメラ１ｂ、カメラ１ｃ、カメラ１ｄの４つのカメラで構成され、図２および図３に示すように単一の監視対象１００を撮影している場合について説明する。図２はカメラ１の監視領域を示す図であり、図３はカメラ１が撮影している画像を示す図である。図３において、カメラ１ａは基準画像１００ａ、カメラ１ｂは基準画像１００ｂ、カメラｃは基準画像１００ｃ、カメラｄは基準画像１００ｄを撮影している。また、各カメラのサイズは横がｍドット、縦がｎドットであるものとし、カメラ１ｘの横ｙ番目縦ｚ番目のドットの特徴量をＴｘ（ｙ，ｚ）とする。ただし、ｙは１以上ｍ以下の自然数であり、ｚは１以上ｎ以下の自然数である。さらにまた、各基準画像は最外の行または列の各ドットがそれぞれ重なり合い合成画像を構成するものとする。すなわち、例えば、基準画像１００ａと基準画像１００ｂとは、基準画像１００ａのｎ行目の各ドットと基準画像１００ｂの１行目の各ドットとがそれぞれ重なり合い、基準画像１００ａと基準画像１００ｄとは、基準画像１００ａのｍ列目の各ドットと基準画像１００ｄの１列目の各ドットがそれぞれ重なり合い、合成画像を構成することになる。

上述のように、各カメラが撮影した基準画像は画像信号に変換され、画像合成部４および特徴量算出部５へと出力される。画像合成部４は４つの基準画像の一部を重ね合わせた合成画像の画像信号を生成する。図４はこのときに合成された合成画像を示す図である。図４から明らかなように、各カメラが撮影した映像はそれぞれ不連続であるために、合成画像において基準画像を重ね合わせた部分は不連続となる。

次にカメラ１の制御方法について図５および図６を用いて説明する。図５、図６はそれぞれこの実施の形態１の画像合成装置における画像合成部４とカメラ制御部８の動作手順を示すフロー図である。まず、特徴量算出部５は各基準画像のいずれかを固定画像とし（ｓｔ１０１）、この固定画像と重複部分を有するいずれかの基準画像を選択画像とする（ｓｔ１０２）。その後、固定画像と選択画像の特徴量を算出しカメラ制御部８へ出力する（ｓｔ１０３）。ここでは、固定画像として基準画像１００ａ、選択画像として基準画像１００ｂとした場合について説明するが、固定画像をどの基準画像としても良いし、選択画像は固定画像と重複部分を有していればどの基準画像であっても良い。ただし、選択画像は固定画像との重複部分が最大の基準画像とするのが望ましい。

カメラ制御部８は、特徴量算出部５が算出した固定画像および選択画像の特徴量を受信すると（ｓｔ２０１）、固定画像における重複部分の各ドットの特徴量からなる固定画像特徴量ベクトルを算出する（ｓｔ２０２）。ここでは、固定画像はカメラ１ａが撮影した基準画像１００ａであるので、固定画像特徴量ベクトルＴｖは（数１）に示されるような重複部分の各ドットの特徴量を要素とするベクトルとなる。

ここで、ｐは１以上の自然数、ｑはｐ以上ｍ以下の自然数である。また、ｐおよびｑについては上述の条件を満たす任意の自然数を選ぶことが可能であるが、例えば、カメラ制御部８には各カメラの画角の情報等が入力されるような構成にし、この情報から図７の斜線部に示すような、固定画像と選択画像が重複する部分をあらかじめ予想し、この斜線部の一部の固定画像特徴ベクトルＴｕを算出するようにｐおよびｑを決めてもよい。また、カメラ制御部８は、図８に示すようにカメラの画角から固定画像と選択画像が重複しないことが明らかな場合には、ｓｔ２０２に先立ち、選択画像と固定画像とが重複部分を有するように、選択画像を撮影しているカメラ１の画角を変更しても良い。

カメラ制御部８は、上述の固定画像特徴量ベクトルＴｕと要素数が等しく、固定画像特徴量ベクトルＴｕとの差分が所定の閾値Ｔｈよりも小さな選択画像特徴量ベクトルＴｖを選択画像の特徴量から検索する（ｓｔ２０３）。選択画像特徴量ベクトルＴｖは（数２）で表される。

（数２）において、ｚは１以上ｎ以下の自然数でありｒおよびｓは（数３）および（数４）を満たす自然数である。

また、ｚ、ｒおよびｓの決定方法についても、上述のｐおよびｑの決定方法と同様に、カメラの画角から固定画像と選択画像の重複部分を予想し、その範囲から検索、決定するような方法にしても良い。また、（数３）および（数４）を満たすようなｚ、ｒ、ｓの組み合わせが検索できなかった場合には、（数４）の左辺が最小になるようなｚ、ｒ、ｓの組み合わせを決定する。

次に、カメラ制御手段８はｓｔ２０２で特徴量の算出した各ドットと、ｓｔ２０３で特徴量の算出した各ドットが合成画像において重なり合うように、選択画像を撮影しているカメラの画角を制御する（ｓｔ２０４）。すなわち、カメラ１ｂの画角を制御する。

カメラ１ｂの画角を制御することにより、特徴量算出部５には新たな選択画像の画像信号が入力されるので（ｓｔ１０４）、特徴量算出部５はこの選択画像の画像信号の特徴量を算出し、カメラ制御部８へと出力する（ｓｔ１０５）。

カメラ制御部８は合成画像における固定画像と選択画像との重複部分の特徴量の差が所定の閾値Ｔｉより小さければ、すなわち、（数５）を満たすか否かの判定を行い（ｓｔ２０５）、選択画像を撮影しているカメラの画角を固定し（ｓｔ２０６）、制御終了信号を特徴量算出手段５へ出力する（ｓｔ２０７）。（数５）を満たさない場合は、これを満たすまでｓｔ２０３に戻り、同様の動作を繰り返す。

特徴量算出部５は制御終了信号を受信すると（ｓｔ１０６）、ｓｔ１０１にもどり、選択画像を新たな固定画像とし、合成画像においてこの固定画像と重複部分を有する基準画像（固定画像を除く）を新たな選択画像とする。この場合は、新たな固定画像を基準画像１００ｂ、新たな選択画像を基準画像１００ｃとする。このように、特徴量算出部５およびカメラ制御部８はｓｔ１０１〜ｓｔ１０７およびｓｔ２０１〜ｓｔ２０７を全ての基準画像が固定画像になるまで繰り返す。尚、固定画像と選択画像によっては、合成画像における重複部分は上述のように最外の行の各ドットになる場合もあれば、最外での列での各ドットに成る場合もあるので、（数１）〜（数５）のパラメータは重複部分に応じて変更する必要があることは言うまでもない。また、全ての基準画像になった後は、カメラ制御部８は各カメラの相対的な画角を一定にするように、各カメラの画角を制御するような構成にすればよい。

以上のように、合成画像における基準画像同士の重複部分の特徴量に基づきカメラ制御部８が各カメラの画角を制御することにより、１つのカメラを使用して撮影する場合に比べ、カメラ１が４個の場合は約４倍の解像度の画像を得ることが可能となる。

また、輝度情報や色情報等の特徴量を用いて、リアルタイムに、かつ自動的に画像合成処理を実施するため、事前に用意された特定の画像に対してだけでなく、リアルタイムにあらゆる画像に対応できるという効果を奏する。

さらにまた、このような画像合成装置においては、アナログ方式、ディジタル方式の両方式が存在するが、どちらの方式においても、モニタの解像度が合成された画像の解像度以上の解像度を確保できる場合、同様の効果を得ることが可能である。

この実施の形態１においては、合成画像における基準画像の重複部分は最外の行または列の各ドットのみであったが、重複部分はさらに多くのドットにしても良い。例えば、外側から１０ドット分あるいは１００ドット分の行または列の各ドットを重複部分にしても良い。このような構成にすることで、画角の調整に必要なパラメータを増やし、より精度の高い画像合成を行うことが可能となる。この場合、（数１）〜（数５）のパラメータも重複部分に合わせて変更する必要がある。すなわち、合成画像における固定画像と選択画像の重複部分から適当な領域を選び、当該領域の特徴量に基づき選択画像を撮影しているカメラの画角を制御すればよい。また、（数１）、（数２）、（数５）においては、特徴量の算出等を１ドットづつ行うように構成になっているが、所定の間隔を有するドットについて特徴量の算出等を行うような構成にしても良い。このような構成にすることにより、特徴量の算出量を低減し、高速での計算が可能となる。

また、本実施の形態においては、固定画像を撮影しているカメラの画角は変化させない構成になっていたが、固定画像を撮影しているカメラおよび選択画像を撮影しているカメラの双方の画角を変化させるような構成しても良い。この場合、（数１）に示した固定画像特徴量ベクトルＴｕは最外の行または列以外のドットに対応する特徴量とすることができる。また、カメラ制御部８はカメラ１の画角を制御すると共に、カメラ１の拡大率を制御するような構成にしても良い。この場合、各カメラの拡大率を同時に、同一の拡大率にしても良いし、個々のカメラで拡大率を変化させても良い。

また、本実施の形態の特徴量算出部５における特徴量を算出する機能をカメラ１内にそれぞれ設けるような構成にしても良い。このように、輝度情報、色差情報の算出という処理の重い動作を、全カメラ分の画像を扱う特徴量算出部５ではなく、カメラ１側で実施させるような構成にすることにより、この画像合成装置全体で実施すべき処理の最適配分が可能となるといった効果を奏する。

さらにまた、本実施の形態についてはカメラが４台の場合について説明したが、カメラの台数は２台以上であれば何台でも良い。すなわち、カメラの台数が多いほど高解像度の画像を得ることが可能となる。

実施の形態２．
実施の形態１においては、各カメラ１は最初から単一の監視対象を撮影するような構成になっていたが、各カメラ１はそれぞれ異なる監視対象を撮影し、いずれかの監視領域に監視対象を発見した場合に、単一の監視対象を撮影するような構成にしても良い。

この実施の形態２における画像合成装置の構成図を図９に示す。図９において、実施の形態１と対応する部分には同一の番号を付し、説明を省略する。図９において、カメラ１の監視領域内に、監視対象を発見するとカメラ制御部８に検知信号を出力する検知部９が多カメラ映像表示装置Ａ内に設置されている。検知部９は例えば、人感センサ等のセンサで構成され、監視対象のおおよその位置がわかるものとする。

次に、この実施の形態２における画像合成装置の動作について説明する。まず、カメラ１ａ、カメラ１ｂ、カメラ１ｃ、カメラ１ｄは図１０に示すように、互いに異なる対象を撮影し、モニタ７には各カメラ１が撮影した画像が表示されている。検知部９は各カメラの撮影領域内に、監視対象を発見した場合には、カメラ制御部８に検知信号を出力する。カメラ制御部８は検知信号を受信すると、図２に示すように、各カメラ１がこの監視対象を撮影するように各カメラ１の画角または拡大率を制御する。その後、実施の形態１と同様の手順で各カメラ１が撮影する基準画像を合成し、モニタ７に合成画像を表示する。

このように構成された、画像合成装置については、通常状態においては、各カメラ１は別の対象を撮影し、監視対象を発見したときのみ基準画像を合成する構成になっているために、通常では広い領域を監視すると共に、監視対象を高解像度で撮影できるという効果を奏する。

また、検知部９は各カメラの監視領域内にそれぞれ設置しても良いし、特定の監視領域のみに設置するような構成にしても良い。例えば、カメラ１ａの監視領域が、建造物の出入り口であるような場合は、カメラ１ａの監視領域内に検知部９を設けるような構成にしてもよい。また、各カメラ１の監視領域内において、それぞれ異なる数の検知部９を設けてもよい。すなわち、監視対象が発見される可能性の高い監視領域には複数の検知部９を設け、監視対象の正確な位置がわかるような構成にしても良い。

また、本実施の形態２においては、検知部９は人感センサ等のセンサで自動的に監視対象を検知する構成になっているが、例えば、人間がモニタ７を監視しており、モニタ７内に監視対象を発見した場合にカメラ制御部８に検知信号を出力するような構成にしても良い。この場合、例えばモニタ７をタッチパネル式のモニタで構成し、表示される監視対象にふれることで、監視対象の位置情報を含む検知信号を出力するような構成にすれば良い。さらに、センサと人間の監視を併用するような構成にしても良い。この場合、センサが監視対象を発見した場合、モニタを監視している管理者に通知するような構成にし、その後この管理者が上述のように検知信号をカメラ制御部８へ出力するような構成にすればよい。

実施の形態３．
図１１は実施の形態１または実施の形態２に記載した画像合成装置を採用した多カメラ監視システムの構成図である。図１１において、図１または図９に対応する部分には同一の符号を付し、説明を省略する。

次にこのように構成された多カメラ監視システムの動作について図１１を用いて説明する。図１１に示すカメラ監視システムにおいては、このシステム全体を管理・制御するための装置管理部１０を多カメラ映像表示装置Ａ内に有し、この装置管理部１０の指示によりカメラ１は画像信号を多カメラ映像表示装置Ａに、伝送Ｉ／Ｆ部１１を介し、ネットワーク１８を経由して送信する。この画像信号を用いて、上述の実施の形態１または実施の形態２と同様の動作で、各カメラ１の画角または拡大率を制御しながら、撮影した基準画像を合成する。カメラ制御部８が各カメラ１の画角または拡大率を制御する際、装置管理部１０は、カメラ１の符号化方式または圧縮率または送信フレーム数または画像サイズ等を変更するようにカメラ１に指示する。カメラ１はこの指示に基づいて、画像信号を出力する。

通常、カメラ１と多カメラ映像表示装置Ａとがネットワーク１２を介して接続されている場合には、符号化遅延や伝送遅延によって、カメラ１からの各種情報が多カメラ映像表示装置Ａに到着するのが遅れ、これらの情報に基づきカメラ制御部８がカメラ１の画角や拡大率の制御を行った場合、迅速かつ正確な位置合わせが困難となる。しかし、本実施の形態３における多カメラ監視装置においては、カメラ制御部８がカメラ１の画角や拡大率を制御する際に、カメラ１からの情報の遅延が小さくなるように、画像圧縮率を上げたり、画像サイズを小さくしたりするような構成になっているために、映像の符号化遅延や伝送遅延による、カメラ１からの各種情報が多カメラ映像表示装置Ａへの到着の遅れを抑制でき、迅速かつ正確な位置合わせをすることが可能となる。

また、装置管理部１０は上述したカメラ１の符号化方式または圧縮率または送信フレーム数または画像サイズ等の変更を、このネットワーク１２における、伝送回線のＱｏＳ（Quality of Service）、あるいはシステムの要求条件に応じて変更しても良い。

具体的には、回線品質が悪い場合には、基本的には差分情報を送信するＭＰＥＧ符号化方式ではなく、ＪＰＥＧ符号化方式を用いるよう、装置管理部１０がカメラ１に対して指示する。また、画像品質を高くする場合は、符号化の圧縮率を低くするが、これにより、情報量が増えるので、送信フレーム数を下げることにより情報量の増加を抑制する。

実施の形態４．
この実施の形態４における多カメラ監視装置の構成図を図１２に示す。図１２において先の実施の形態と同一の部分には同一符号を付し説明を省略する。この実施の形態４における多カメラ監視装置においては、多カメラ映像表示装置Ａからさらに伝送Ｉ／Ｆ部１１ａおよびネットワーク１２ａを介して映像表示装置１３およびこの映像表示装置１３に対応するモニタ７ａに再配信される場合について記載する。

多カメラ映像表示装置Ａ内の装置管理部１０は、使用しているネットワーク１１ａの伝送帯域およびＱｏＳ、あるいはシステムの要求条件に応じて、合成画像を送信するか、カメラ１のいずれか特定の基準画像を送信するか切り替える。

具体的には、伝送帯域が小さい場合には、情報量の大きい合成画像を送信せずに、いずれかの基準画像を画像表示装置１３へと送信する。この際、送信される基準画像は事前に指定されたまたは映像表示装置１３が指定した基準画像を送信する。

このように構成された多カメラ監視装置においては、使用している伝送回路のＱｏＳ、或いはシステムの要求条件に最適な、あるいはユーザニーズに適応した多カメラ監視システムを得ることが可能となる。

この発明の実施の形態１における画像合成装置を示すブロック図である。 各カメラの監視領域を示す図である。 この発明の実施の形態１における各カメラの基準画像を示す図である。 この発明の実施の形態１における合成画像を示す図である。 この発明の実施の形態１における特徴量算出部の動作を示すフロー図である。 この発明の実施の形態１におけるカメラ制御部の動作を示すフロー図である。 各カメラの基準画像が重複する状態を示す図である。 各カメラの基準画像が重複しない状態を示す図である。 この発明の実施の形態２における画像合成装置を示すブロック図である。 各カメラの通常監視領域を示す図である。 この発明の実施の形態３における多カメラ監視システムを示すブロック図である。 この発明の実施の形態４における多カメラ監視システムを示すブロック図である。

符号の説明

１ カメラ、５ 特徴量算出部、７ モニタ、８ カメラ制御部、９ 検知部、１２、１２ａ ネットワーク

Claims (10)

1. 複数のカメラが撮影した互いに異なる領域の画像である基準画像の一部を重ね合わせることにより合成画像を生成する画像合成装置において、
   前記基準画像の特徴量を算出する特徴量算出部と、
   前記合成画像における前記基準画像を重ね合わせた重複部分の特徴量に基づいて前記複数のカメラの画角または拡大率を制御するカメラ制御部と、
   を有することを特徴とした画像合成装置。
2. 前記カメラ制御部は、
   前記重複部分の特徴量の差分が所定の閾値以下になるように前記複数のカメラの画角または拡大率を制御することを特徴とした請求項１に記載の画像合成装置。
3. 前記特徴量算出部は、
   前記基準画像のいずれかを固定画像とし、前記固定画像およびこの固定画像と重複部分を有する前記基準画像の特徴量を算出し、
   前記画角制御部は、
   前記固定画像以外の基準画像を撮影するカメラの画角または拡大率を制御することを特徴とした請求項１または請求項２のいずれかに記載の画像合成装置。
4. 前記特徴量算出部は、
   前記固定画像を追加または他の基準画像に変更することを特徴とした請求項３に記載の画像合成装置。
5. 前記特徴量算出部は、
   前記画像信号の特徴量として、輝度情報または色情報を算出することを特徴とした請求項１乃至請求項４のいずれかに記載の画像合成装置。
6. 前記複数のカメラいずれかの撮影領域内に監視対象を検知した場合は検知信号を出力する検知部を有し、
   前記画角制御部は、
   前記検知信号の出力があった場合、前記監視対象を撮影するように前記複数のカメラの画角または拡大率を制御することを特徴とした請求項１乃至請求項５のいずれかに記載の画像合成装置。
7. 前記画像合成装置が合成した画像を表示するモニタを有し、
   前記モニタにふれることにより前記検知信号を出力することを特徴とした請求項６に記載の画像合成装置。
8. 請求項１乃至請求項６のいずれかの画像合成装置を有する多カメラ監視システムであって、
   前記複数のカメラと前記カメラ制御部はネットワークを介して接続されており、前記カメラ制御部が前記複数のカメラの画角または拡大率を制御する際には、前記複数のカメラが撮影した基準画像の画像信号の圧縮率または画像サイズを変更して出力することを特徴とした多カメラ監視システム。
9. 請求項１乃至請求項６のいずれかの画像合成装置を有する多カメラ監視システムであって、
   前記複数のカメラと前記カメラ制御部はネットワークを介して接続されており、前記ネットワークを介して送信される前記複数のカメラの撮影した基準画像の容量は、このネットワークのネットワークのＱｏＳに応じて変化させることを特徴とした多カメラ監視システム。
10. 符号化方式または圧縮率または送信フレーム数または画像サイズを変更することにより、前記基準画像の容量を変更することを特徴とした請求項９に記載の多カメラ監視装置。

Images