JP2017011598A - 監視システム - Google Patents

Abstract

【課題】本発明の目的は、移動物体の正確な追跡を行うことである。【解決手段】本発明の監視システムは、複数のカメラと物体検知装置と統合座標管理装置を有し、物体検知装置はカメラが撮影した映像データから物体を検出し、統合座標管理装置は少なくとも２台のカメラの映像データから視野の重なる領域を特定し、該特定した領域から物体の位置を算出して、各々の映像データの物体が同一と判定した場合には映像データに物体の軌跡を描画することを特徴とする。【選択図】 図１

Description

本発明は、監視システムに関するものである。

監視システムにおいて、カメラ映像に対して画像処理技術を用いて、より多くの情報を引き出す技術が一般的になっている。
例えば、移動物体が画面中を移動した場合に物体が動く軌跡を画面上に描画して追跡する技術がある。映像の時間方向の複数フレームを利用し、映像の時間的変化があった箇所を検知する。その検知した変化を起こした箇所が同じような大きさや画像の特徴、時間的に方向性を持っていれば移動物物体と判断することが出来る。

２つの物体を１台のカメラで撮影した場合について、図３を用いて説明する。
図３は光軸上に重なった物体をカメラで撮影した場合の表示画像について説明するための図である。
図３は、カメラ１１が視野１５内にある物体３１と物体３２を撮影した場合である。
物体３１と物体３２は、カメラ１１の同一の光軸上にあり、かつ横方向の視野３１と同じ幅であるが、カメラ１１からの距離が異なる。
カメラ１１が物体３１と物体３２を撮影し、映像を映像表示装置１４の画面に表示すると、図３となる。
物体３１と物体３２は、どちらか１つの物体だけしか存在しない状態で撮影した場合でも、映像表示装置１４の画面上では同じ幅の物体１４１として表示され、見かけ上の区別ができない。
一般的に、遠くの物体は小さく見えるという事象を利用してカメラと物体の距離を把握することも出来るが、画面上の物体１４１の見かけ上の大きさだけでは正確な距離は分からない。そのため移動物体の追跡で見かけ上の大きさが同じでも距離が異なる別の物体を撮影している場合もある。

次に、２つの物体を２台のカメラで撮影した場合について、図６を用いて説明する。
図６はカメラと物体の位置関係を説明するための図である。
１台のカメラに２つの撮像素子を搭載したカメラは一般的にステレオカメラと呼称されている。この技術は人間の目と同様に２つのカメラ映像の視野角を使って距離を算出する。
図６（Ａ）はカメラ１１−１とカメラ１１−２の２台のカメラで物体６１と物体６２を撮影した場合である。
このとき、カメラ１１−１の視野１５−１とカメラ１１−２の視野１５−２が重なった領域に位置する物体６２は両方のカメラ１１−１，１１−２に写っているため、図６（Ｃ）のカメラ１１−１の映像とカメラ１１−２の映像の両方に物体６２が表示される。
物体６１はカメラ１１−１の視野１５−１にしか写っていないため、図６（Ｂ）のカメラ１１−１の映像には物体６１が表示されるが、カメラ１１−２の映像には物体６１が表示されない。
このように２台のカメラの視野角により物体が撮影または非撮影を利用する技術がステレオビジョンである。映像中の画面の位置から視野角が求まるため、物体までの正確な距離を算出することができる。但し、正確な距離を算出するには２つの視野の両方に物体が写っている必要がある。

さらに、図２に示すような複数カメラ映像を並べて１つの大きな映像を合成するパノラマビジョンという技術もある。
図２は（Ａ）映像（１）と（Ｂ）映像（２）は別々のカメラで撮影した映像である。それぞれの映像に飛行機が映っているが、この飛行機は同一のものを同時に撮影しているものであり、この２つを重ね合わせて１つの（Ｃ）パノラマ映像に合成する。パノラマ映像を作成する場合、各々のカメラの視野が重なる領域が狭くなるほど、より少ないカメラ台数で広範囲を撮影することができる。

先行技術文献としては、例えば、特許文献１に撮影レンズの画角に比べて大きい被写体に対する複数回の撮影を行うことによって、該被写体全体の撮影画像を得る技術が開示されている。

特開２０１１−１３９３６８号公報

本発明の目的は、移動物体の正確な追跡を行うことである。

本発明の監視システムは、複数のカメラと物体検知装置と統合座標管理装置を有し、物体検知装置はカメラが撮影した映像データから物体を検出し、統合座標管理装置は少なくとも２台のカメラの映像データから視野の重なる領域を特定し、該特定した領域から物体の位置を算出して、各々の映像データの物体が同一と判定した場合には映像データに物体の軌跡を描画することを特徴とする。

また、本発明の監視システムは、上述の監視システムであって、統合座標管理装置はさらに同一と判定した物体には同じ物体ＩＤを付与することを特徴とする。

また、本発明の監視システムは、上述の監視システムであって、さらに映像表示装置を有し、統合座標管理装置は物体ＩＤを付与した物体が移動している場合には他のカメラが撮影した映像データから物体ＩＤを付与した物体の有無を判定し、物体が同一と判定した場合には映像データに物体ＩＤを付与した物体の軌跡を描画して映像表示装置に表示することを特徴とする。

また、本発明の監視システムは、雲台カメラと物体検知装置と統合座標管理装置を有し、物体検知装置は雲台カメラが撮影した映像フレームから物体を検出し、統合座標管理装置は少なくとも２つの映像フレームから視野の重なる領域を特定し、該特定した領域から物体の位置を算出して、各々の映像フレームの物体が同一と判定した場合には映像データに物体の軌跡を描画することを特徴とする。

さらに、本発明の監視システムは、上述の監視システムであって、さらに映像表示装置を有し、統合座標管理装置はさらに同一と判定した物体には同じ物体ＩＤを付与し、物体ＩＤを付与した物体が移動している場合には他の映像フレームから物体ＩＤを付与した物体の有無を判定し、物体が同一と判定した場合には映像フレームに物体ＩＤを付与した物体の軌跡を描画して映像表示装置に表示することを特徴とする。

本発明によれば、移動物体の正確な追跡を行うことができる。

本発明の一実施例に係る監視システムを説明するためのブロック図である。 パノラマ画像を説明するための図である。 光軸上に重なった物体をカメラで撮影した場合の表示画像について説明するための図である。 カメラと被写体の関係を説明するための図である。 撮像素子と焦点距離の関係を説明するための図である。 カメラと物体の位置関係を説明するための図である。 本発明の一実施例に係る監視システムの動作を説明するためのフローチャートである。 本発明の一実施例に係る監視システムの統合座標管理装置と周辺装置を説明するためのブロック図である。 カメラと被写体までの距離を算出するための図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は本発明の一実施例に係る監視システムを説明するためのブロック図である。
図１は滑走路に着陸する飛行機を監視するシステムの一例である。
図１の監視システムは、カメラ１１−１〜１１−３、物体検知装置１２−１〜１２−３、統合座標管理装置１３、映像表示装置１４で構成されている。
カメラ１１−１〜１１−３の間隔は、それぞれ隣り合ったカメラの視野１５−１と視野１５−２、視野１５−２と視野１５−３の一部分が重なるように設置している。各々の視野が重なる範囲は航空機１６の見かけの大きさが重なった視野の領域の中に収まり、かつ後述する視野角による距離の検知処理に必要な大きさである。

物体検知装置１２−１〜１２−３が移動物体（この場合は航空機１６）を検知した時の情報は、統合座標管理装置１３に出力する。
統合座標管理装置１３はカメラ１１−１〜１１−３の映像を各々の物体検知装置１２−１〜１２−３を経由して取り込みパノラマ映像を合成する。
統合座標管理装置１３は、カメラ１１−１〜１１−３の映像がパノラマ映像のどの部分に該当するかをパノラマ映像全体の座標である統合座標で管理している。
視野１５−１〜１５−３の重なり具合はカメラ１１−１〜１１−３の設置時に決まるので、統合座標は予め知ることができる情報である。
また、統合座標管理装置１３は、物体検知装置１２−１〜１２−３からの追跡情報を統合座標に当てはめる処理も行い、パノラマ映像のどの位置に移動物体が位置するかを把握し、パノラマ映像上に移動物体の軌跡を図示することができる。

なお、カメラと物体検知装置との組み合わせは、別々の装置でも同じ１台の装置でも構成は問わない。また、カメラと物体検知装置を接続する形態はＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＨＤ−ＳＤＩ（High Definition Serial Digital Interface）といった映像信号ケーブルでも、カメラで映像を画像圧縮したＩＰ（Internet Protocol）データを伝送するネットワークでも構わない。

統合座標管理装置１３で合成したパノラマ映像は、映像表示装置１４に出力して表示する。
映像表示装置１４はＴＶモニタであったりコンピュータ画面であったり、映像が表示されればその実現形態を問わない。また、映像表示装置１４は移動物体の軌跡も映像に重ね合わせて表示することができる。なお、パノラマ映像と追跡の軌跡を重畳するのは統合座標管理装置１３でも映像表示装置１４でも構わない。

物体検知装置１２−１〜１２−３と統合座標管理装置１３と映像表示装置１４は同じ装置内にあっても構わず、例えば、物体検知装置１２−１〜１２−３と統合座標管理装置１３を１台にまとめる、もしくは統合座標管理装置１３と映像表示装置１４を１台にまとめる。さらに物体検知装置１２−１〜１２−３と統合座標管理装置１３と映像表示装置１４を１台にまとめても構わない。各々を接続する形態は映像データや移動物体の検知・追跡データを伝送できれば専用線でも、データをＩＰパケット化して伝送するネットワークでも構わない。

次に、航空機１６が滑走路１７に着陸する際の監視システムの動作を説明する。
滑走路１７に対して右側から航空機１６が着陸を開始すると、始めにカメラ１１−３が撮影する視野１５−３に航空機１６が入る。移動する航空機１６はカメラ１１−３に接続された物体検知装置１２−３によって移動物体として検知される。
しかし、物体検知装置１２−３は、この時点では見かけの大きさしか分からず、移動物体が滑走路１７上を滑走しているのか判断ができない。
その後、航空機１６はカメラ１１−３に隣り合ったカメラ１１−２の視野１５−２の領域に入り、カメラ１１−２に接続された物体検知装置１２−２によって移動物体として検知される。

統合座標管理装置１３は、物体検知装置１２−３と物体検知装置１２−２で移動物体が検知されたことで、視野１５−３と視野１５−２の両方に写された物体に対して、視野角から物体までの距離を算出する。
統合座標管理装置１３は、カメラ１１−１〜１１−３から滑走路１７までの距離は事前に分かっているので、この算出した距離が滑走路１７上であれば滑走路１７上を移動する物体なので、航空機１６であると判断する。
統合座標管理装置１３は、移動物体までの距離が分かれば見かけ上の大きさから物体の大きさも算出できるので、航空機か、もしくは鳥や虫などかどうかの判断処理でさらに正確に特定することが可能になる。

統合座標管理装置１３は、移動物体までの距離を算出して移動物体が航空機１６と特定した場合、航空機１６が視野１５−３から視野１５−２に移動しても物体検知装置１２−２が追跡を継続する。
その後、航空機１６は視野１５−２と視野１５−１が重なる領域に入るので、同様に統合座標管理装置１３は、視野角から移動物体までの距離を算出して滑走路１７上に位置するのかを判断する。統合座標管理装置１３は、移動物体が航空機１６であると判断すれば視野１５−２から視野１５−１に移動しても物体検知装置１２−１が追跡を継続する。

[カメラと物体までの距離算出]
次に、カメラと移動物体までの距離と見かけの大きさから物体の大きさを算出する方法を図４と図５で説明する。
図４はカメラと被写体の関係を説明するための図である。
図４において、被写体４３がカメラ１１の光軸に沿ってあり、直線距離をｄとする。
被写体４３の端がカメラ１１の光軸から垂直にＹａ（長辺）とＹｂ（短辺）の長さであるときに、被写体４３の端からの光がカメラ１１に搭載されたレンズ４２で焦点を結び、撮像素子４１に到達する。この被写体４３の端（光軸から垂直にＹａの距離）からレンズ４２の焦点を通って撮像素子４１に到達する光は光軸に対して角度εａの関係にある。また、被写体４３の反対端（光軸から垂直にＹｂの距離）からレンズ４２の焦点を通って撮像素子４１に到達する光は光軸に対して角度εｂの関係にある。

次に、撮像素子と焦点距離の関係について図５を用いて説明する。
図５は撮像素子と焦点距離の関係を説明するための図である。
図５は被写体４３を撮影したものであり、図中のεａとεｂは図４で説明した角度と同じである。但し、レンズ４２を通った後の光を図示しているため、角度εａ、εｂは上下が反転している。
レンズ４２内の焦点５２から撮像素子４１までの光軸上の距離は焦点距離（ｆ）５４である。被写体４３の端からの光は撮像素子４１の表面上で光軸から距離Ｚａ離れた位置に到達する。同様に被写体４３の端からの光は光軸から距離Ｚｂ離れた位置に到達する。

図４と図５において、Ｚａは，光軸に対して撮像素子４１と被写体４３が直角を成すとき、（式１）の関係にある。
Ｚａ＝撮像素子サイズ／２ ・・・・・ （式１）
図４と図５から被写体４３の端（長辺）に対して（式２）と（式３）の関係がある。
ｔａｎ（εａ）＝ｄ／Ｙａ ・・・・・ （式２）
ｔａｎ（εａ）＝ｆ／Ｚａ ・・・・・ （式３）
（式２）と（式３）を組み合わせると（式４）となる。
ｄ／Ｙａ＝ｆ／Ｚａ ・・・・・ （式４）

ここで、ｄはカメラ１１から被写体４３までの距離、Ｚａは見かけ上の大きさ（撮像素子の中心からの距離で、撮像素子サイズの半分）、ｆは焦点距離でカメラ固有の値であるため、距離ｄさえ分かれば光軸から垂直に被写体４３の端（長辺）までの距離Ｚａは（式５）となる。
Ｚａ＝ｆ×Ｙａ／ｄ ・・・・・ （式５）
同様にして、光軸から垂直に被写体４３の端（短辺）までの距離Ｚｂは（式６）となる。
Ｚｂ＝ｆ×Ｙｂ／ｄ ・・・・・ （式６）
Ｙｂは見かけ上の大きさ（撮像素子の中心からの距離）である。よって距離Ｚｂは距離ｄさえ分かれば一意に求まる。
上述のことから、被写体２３の大きさｘは、（式７）で求まる。
ｘ＝Ｙａ−Ｙｂ ・・・・・ （式７）
上述より、距離ｄさえ分かれば、カメラの焦点距離ｆや撮像素子サイズが予め分っているので、被写体４３の実際大きさは見かけ上の大きさから求めることが出来る。

[２台のカメラで被写体の移動距離算出]
次に、２台のカメラの視野角から被写体が移動する動線までの距離を算出する方法を図９で説明する。
図９はカメラと被写体までの距離を算出するための図である。
カメラ１１−１とカメラ１１−２の２台の視野が重なった領域に被写体９０がある。カメラ１１−１の光軸に対して視野角θの方向に被写体９０があり、カメラ１１−２の光軸に対しては視野角φの方向に被写体９０がある。

直線９１はカメラ１１−１の焦点とカメラ１１−２の焦点を結ぶ線であり、直線９２は直線９１と並行でかつ被写体９０を通る平行線である。
ａはカメラ１１−１の光軸と直線９１が直角に交わった点から被写体９０までの距離であり、ｂはカメラ１１−２の光軸と直線９１が直角に交わった点から被写体９０までの距離である。ｃは直線９１と平行線９２の各々に直角に交わる直線の長さであり、求めたいカメラの距離である。

カメラ１１−１とカメラ１１−２のカメラ間距離ｗは（式８）で求まる。
ｗ＝ａ＋ｂ ・・・・・ （式８）
また、カメラ１１−１の視野角θ、距離ａ、距離ｃの関係は（式９）になる。
ａ＝ｃ／ｔａｎ（θ） ・・・・・ （式９）
カメラ１１−２の視野角φ、距離ｂ、距離ｃの関係は（式１０）になる。
ｂ＝ｃ／ｔａｎ（φ） ・・・・・ （式１０）

（式８）に（式９）と（式１０）を代入すると（式１１）になる。
ｗ＝ｃ×ｔａｎ（θ）＋ｃ×ｔａｎ（φ）
＝ｃ（ｔａｎ（θ）＋ｔａｎ（φ）） ・・・・・ （式１１）
（式１１）を変形することにより、ｃを求める（式１２）が得られる。
ｃ＝ｗ／（ｔａｎ（θ）＋ｔａｎ（φ）） ・・・・・ （式１２）
ｗは２台のカメラ間隔なのでカメラ設置時に予め分かる値であり、視野角θと視野角φは見かけ上の大きさとカメラの焦点距離から（式２）と同様に求めることが出来る。

[統合座標管理装置とその周辺装置の動作]
次に、統合座標管理装置１３とその周辺装置の動作について図８を用いて説明する。
図８は本発明の一実施例に係る監視システムの統合座標管理装置と周辺装置を説明するためのブロック図である。
統合座標管理装置１３には、ｎ台の物体検知装置１２−１，１２−２，・・・，１２−ｎ（物体検知装置を代表する場合は物体検知装置１２と称する）が接続されている。各々の物体検知装置１２は映像データ８１−１，８１−２，・・・，８１−ｎ（映像データを代表する場合は映像データ８１）と物体座標８２−１，８２−２，・・・，８２−ｎ（物体座標を代表する場合は物体座標８２と称する）を出力する。

映像データ８１は、カメラ１１−１，１１−２，・・・，１１−ｎ（カメラを代表する場合はカメラ１１と称する）で撮影した映像データである。物体座標８２は、物体検知装置１２が検知した移動物体の座標などの検知情報である。物体座標８２は物体の座標データ以外に、物体の動き方向や物体の外形、色などの物体を特定するための情報を付加しても構わない。
映像表示装置１４は、統合座標管理装置１３が出力したパノラマ映像を表示する装置である。この装置はＴＶモニタでもコンピュータの画面でも構わない。

統合座標管理装置１３は、パノラマ映像合成部１３１、統合座標変換部１３２、個別座標記憶部１３５−１、１３５−２、・・・、１３５−ｎ、移動物体判断部１３３、移動軌跡描画部１３４、アラーム発生部１３６で構成されている。
パノラマ映像合成部１３１は、ｎ台の物体検知装置１２が出力する映像データ８１を合成して１つのパノラマ映像を合成する。パノラマ映像合成部１３１は、このときｎ枚の映像データ８１をどのような位置に配置するかは、統合座標変換部１３２から座標情報「統合座標」を取得し決定する。以後、パノラマ映像上の座標を「統合座標」、各カメラが撮影した映像上の座標を「個別座標」と称する。

統合座標変換部１３２は、入力された物体座標８２を統合座標に変換して移動物体判断部１３３に出力する。また、統合座標変換部１３２は、個別座標記録部１３５から各映像データ８１が統合座標のどの座標に位置するかの位置情報を取得し、各々の映像データ８１の配置すべき座標をパノラマ映像合成部１３１へ出力する。また、統合座標変換部１３２は、入力された物体座標８２が個別座標なので、パノラマ映像上の統合座標に変換して移動物体判断部１３３に出力する。

個別座標記録部１３５は、ｎ個の個別座標記録部１３５−１，１３５−２，・・・，１３５−ｎからなり、それぞれがｎ個の映像データ８１に対応する。個別座標記録部１３５に記録された個別座標は各カメラ１１を設置したときに映像の四隅が統合座標のどこに位置するかの座標情報である。この座標情報はカメラ１１を設置時に決まる値である。個別座標記録部１３５は、映像データ８１ごとの統合座標を統合座標変換部１３２からの読み出し要求で出力する。

移動物体判断部１３３は、統合座標に変換された物体座標８２を元に、物体が複数の映像データ８１上に位置しているか否かを判断する。つまり、移動物体判断部１３３は移動物体が複数の視野に存在する場合、視野が重なった領域に位置していることを判断する。また、移動物体判断部１３３は視野が重なった領域に位置している場合に、その物体座標８２がカメラ１１からどれだけの距離にあるかを算出する。
移動物体判断部１３３は物体ごとにＩＤ（Identification number）を割り当て追跡処理に使う。

例えば、移動物体判断部１３３は、移動物体がカメラ１１−１とカメラ１１−２の２つの視野にまたがる同じ物体であれば、物体座標８２−１に位置していた物体に物体ＩＤを付与する。この物体が移動して物体座標８２−２にも出現したとする。移動物体判断部１３３は物体座標８２−１と物体座標８２−２の統合座標を算出して同じ座標であれば、同一物体であるので物体座標８２−２の物体にも同じ物体ＩＤを引き継いで付与する。移動物体判断部１３３は異なる物体であると判断した場合、物体座標８２−２に出現した物体には新たに他の物体ＩＤと重ならない物体ＩＤを付与する。
移動物体判断部１３３は、各物体に物体ＩＤを付与して移動物体の追跡に使用する。移動物体判断部の動作の詳細は後述する。

移動軌跡描画部１３４は、パノラマ映像合成部１３１からパノラマ映像データを取得する。また、移動軌跡描画部１３４は移動物体判断部１３３で付与された物体ＩＤと各物体の統合座標を取得し、パノラマ映像上に物体が移動した軌跡を描画する。映像の前フレームで軌跡を描画した物体ＩＤと同じ物体は軌跡をつながるように描画し、異なる物体ＩＤであれば異なる物体として軌跡をつなげない描画を行う。

アラーム発生部１３６は、統合座標に変換された各座標情報から、物体を検知したことでアラーム通知をすべきかを判断する。アラーム発生部１３６の判断は統合座標上の所定のラインを超えた場合にアラームを発報するといった用途に使用するもので、アラーム情報を後段の映像表示１４に出力する。
アラーム発生部１３６は、アラームを発報する、例えば、画面上に存在していなかった物体（移動物体判断部１３３により新規ＩＤが付与されている）が出現した場合にアラームを発報する。
なお、アラーム発生部１３６は使用者の利便性に合わせて自由にアラームの発報方法を選択できるようにしてもよい。

[移動物体判断部の動作]
次に、移動物体判断部の動作について図７を用いて説明する。
図７は本発明の一実施例に係る監視システムの動作を説明するためのフローチャートである。
本一例の移動物体判断部の動作は、Ｎ台目のカメラ（Ｎ）と（Ｎ＋１）台目のカメラ（Ｎ＋１）の２台のカメラの視野が重なっている場合の処理である。
移動物体判断部１３３は、Ｓ７０１の処理でカメラ（Ｎ）の個別座標（Ｎ）を読み込み、カメラ（Ｎ）の映像が統合座標のどの場所に位置するかを判断する。
Ｓ７０２の処理では物体座標（Ｎ）を読み出す。複数の物体座標があれば全ての物体座標データを読み込む。
Ｓ７０３の処理では物体座標（Ｎ）をパノラマ映像上の統合座標である物体統合座標（Ｎ）に変換する。この変換はＳ７０１の処理で読み込んだ情報を使い統合座標と個別座標（Ｎ）の位置関係が判明しているので一意に処理ができる。

Ｓ７０４の処理ではカメラ（Ｎ＋１）の個別座標（Ｎ＋１）を読み込み、カメラ（Ｎ＋１）の映像が統合座標のどの場所に位置するかを判断する。
Ｓ７０５の処理では物体座標（Ｎ＋１）を読み出す。複数の物体座標があれば全ての物体座標を読み込む。
Ｓ７０６の処理では物体座標（Ｎ＋１）をパノラマ映像上の統合座標である物体統合座標（Ｎ＋１）に変換する。この変換はＳ７０４の処理で読み込んだ情報を使い統合座標と個別座標（Ｎ＋１）の位置関係が判明しているので一意に処理ができる。

Ｓ７０７の処理では物体統合座標（Ｎ）と物体統合座標（Ｎ＋１）が同一の座標であるか否かを判定し、同一の座標がある場合（ＹＥＳ）にはＳ７０８の処理に進み、同一の座標がない場合（ＮＯ）にはＳ７１１の処理に進む。なお、物体統合座標（Ｎ）と物体統合座標（Ｎ＋１）のそれぞれに複数の物体統合座標があれば全ての組み合わせで比較する。
Ｓ７０８の処理では物体統合座標（Ｎ）と物体統合座標（Ｎ＋１）の間で同じ座標の物体が存在するので、見かけ上の位置なので個別座標（Ｎ）と個別座標（Ｎ＋１）を利用して視野角を求め、物体までの距離を算出する。

Ｓ７０９の処理では算出した物体の距離が監視対処すべき距離であるかを判定し、物体が監視対象とすべき距離である場合（ＹＥＳ）にはＳ７１０の処理に進み、物体の距離が近すぎたり遠すぎたりした場合（ＮＯ）にはＳ７１１の処理に進む。例えば、滑走路上を滑走する航空機の監視であれば、算出した距離がカメラから滑走路までの距離か否かで判定する。

Ｓ７１０の処理では物体統合座標（Ｎ）と物体統合座標（Ｎ＋１）が同一座標で、算出した距離が監視対象とすべき距離であったので、同一の物体であると判断し同じ物体ＩＤを付与する。
Ｓ７１１の処理では距離が監視対象とすべき距離ではなかったので、異なる２つの物体であるとして、異なる物体ＩＤを付与する。
このように、移動物体判断部１３３は、２つのカメラ映像上の物体座標をパノラマ映像上の統合座標に変換した後に、各々の座標を比較することで同一物体か否かを判定する。

本一実施例では滑走路を滑走する航空機を監視対象とした例で説明したが、滑走路ではなく道路にして、航空機ではなく車両にした道路監視システムに応用しても構わない。さらに道路に限定するものではなく、海上や空中など監視カメラが撮影できる範囲なら撮影対象を限定しない。また、監視対象を航空機や車両に限定するものではなく、動きがある監視対象であれば特に種類を限定するものではない。

また、本一実施例では向きが固定されたカメラで説明したが、雲台カメラにも本発明が適用できる。
雲台カメラの場合は、視野が移動するが、撮影方向を知ることは可能であり、視野の傾き（チルト）とカメラの向き（パン）およびレンズのズーム倍率を鑑みて視野の重なる領域や物体の距離などを算出すれば良く、一般的な三角関数を用いた計算方法で物体の位置を求めることが出来る。
例えば、物体の位置はパン／チルトの回転速度とレンズのズーム倍率から映像フレーム毎に取得し、視野の重なる映像フレームを選択することにより得られる。
雲台カメラは、カメラが１台であるため、カメラが複数の場合に比べて校正（補正率等）が容易であり、ズーム倍率における物体の大きさを校正しておけば、物体の正確な位置を取得することができる。

以上のように複数の視野が重なったところでのみ距離を測定し２つの視野に存在する物体が同一物体か否かを判定することで、カメラ１台だけでは移動する物体が監視対象であるか判断が難しかった物体検知処理の精度を向上することができ、より安定したパノラマ映像監視システムを実現することができる。

本発明の実施形態である監視システムは、移動物体の正確な追跡を行うことができる。

以上本発明について詳細に説明したが、本発明は、ここに記載された監視システムに限定されるものではなく、上記以外の監視システムに広く適用することができることは言うまでもない。

被写体の距離を正確に算出することによって、侵入者等を追跡する用途にも適用できる。

１１，１１−１〜１１−ｎ：カメラ、１２−１〜１２−ｎ：物体検知装置、１３：統合座標管理装置、１４：映像表示装置、１５，１５−１〜１５−ｎ：視野、１６：航空機、１７：滑走路、１４１：画面上の物体、３１，３２，６１，６２：物体、４１：撮像素子、４２：レンズ、４３：被写体、５２：焦点、５３：撮像素子サイズ、５４：焦点距離（ｆ）、８１−１〜８１−ｎ：映像データ、８２−１〜８２−ｎ：物体座標データ、１３１：パノラマ映像合成部、１３２：統合座標変換部、１３３：移動物体判断部、１３４：移動軌跡描画部、１３５−１〜１３５−ｎ：個別座標記憶部、１３６：アラーム発生部、９０：被写体、９１：焦点間を結ぶ直線、９２：被写体を通る平行線。

Claims (5)

1. 複数のカメラと物体検知装置と統合座標管理装置を有し、
   前記物体検知装置は、前記カメラが撮影した映像データから物体を検出し、
   前記統合座標管理装置は、少なくとも２台のカメラの映像データから視野の重なる領域を特定し、該特定した領域から物体の位置を算出して、各々の映像データの物体が同一と判定した場合には映像データに物体の軌跡を描画することを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記統合座標管理装置は、さらに同一と判定した物体には同じ物体ＩＤを付与することを特徴とする監視システム。
3. 請求項２に記載の監視システムにおいて、
   さらに映像表示装置を有し、
   前記統合座標管理装置は、前記物体ＩＤを付与した物体が移動している場合には他のカメラが撮影した映像データから前記物体ＩＤを付与した物体の有無を判定し、物体が同一と判定した場合には映像データに前記物体ＩＤを付与した物体の軌跡を描画して前記映像表示装置に表示することを特徴とする監視システム。
4. 雲台カメラと物体検知装置と統合座標管理装置を有し、
   前記物体検知装置は、前記雲台カメラが撮影した映像フレームから物体を検出し、
   前記統合座標管理装置は、少なくとも２つの映像フレームから視野の重なる領域を特定し、該特定した領域から物体の位置を算出して、各々の映像フレームの物体が同一と判定した場合には映像データに物体の軌跡を描画することを特徴とする監視システム。
5. 請求項４に記載の監視システムにおいて、
   さらに映像表示装置を有し、
   前記統合座標管理装置は、さらに同一と判定した物体には同じ物体ＩＤを付与し、前記物体ＩＤを付与した物体が移動している場合には他の映像フレームから前記物体ＩＤを付与した物体の有無を判定し、物体が同一と判定した場合には映像フレームに前記物体ＩＤを付与した物体の軌跡を描画して前記映像表示装置に表示することを特徴とする監視システム。

Images