JP2020178237A - 映像処理装置、映像処理方法及び映像処理プログラム - Google Patents

Abstract

【課題】複数の映像データを連結する際に、連結箇所での移動物体の不自然な移動を抑制する。【解決手段】フレーム取得手段２２が、カメラＣ１，Ｃ２から入力された映像データのそれぞれから、同時に撮影されたフレームデータを取得する。禁止領域設定手段２４が、隣接するフレームデータの重複領域において検出されたオブジェクトの位置およびオブジェクトの移動方向に基づき、シーム算出の際に計算対象としない禁止領域を設定する。シーム算出手段２５が、禁止領域に含まれる画素をシーム算出の計算対象としないで、互いに隣接するフレームデータのシームを算出する。連結フレーム出力手段２６が、シームに従ってフレームデータを連結し、連結フレームデータ１５を出力する。【選択図】図２

Description

本発明は、撮影領域の一部を重ねて撮影された複数の映像をつなぐ技術に関する。

非特許文献１では、複数のカメラで撮影した映像を水平垂直方向にリアルタイムでつなぎ合わせて、広い競技空間を持つフィールド競技の様子全体を写したサラウンド映像を合成している。隣接する映像をつなげる際、隣接する映像が重複する重複領域につなぎ目（シーム）を設定する。隣接する映像をシームで切り取って連結することで合成映像が得られる。

特許文献１では、複数の映像をつなぎ合わせる際にシームを目立たなくさせるために、シームが通らない禁止領域を設定している。例えば、人物などの移動物体に禁止領域を設定することで、移動物体がシームに重なることで発生する移動物体の欠損や伸長を回避できる。

特開２０１９−３６９０６号公報

佐藤孝子、難波功次、小野正人、菊地由実、山口徹也、小野朗、「競技空間全体の高臨場ライブ中継に向けたサラウンド映像合成・同期伝送技術」、ＮＴＴ技術ジャーナル、日本電信電話株式会社、2017, Vol. 29, No. 10, pp. 19-23

移動物体の移動に伴い、シームが、移動物体に設定した禁止領域を避けて大きく変化することがある。この場合、移動物体が不自然に移動したように見えてしまうという問題があった。例えば、あるフレームにおいて移動物体の右側に設定されたシームが、次のフレームにおいて移動物体の左側に設定された場合、前のフレームでは左側の映像に写った移動物体が合成後の映像に用いられ、次のフレームでは右側の映像に写った移動物体が合成後の映像に用いられる。左側の映像を撮影するカメラと右側の映像を撮影するカメラの視差により、重複領域において、左右の映像上での移動物体の位置がずれていると、移動物体が急に動いたように見えたり、進行方向とは逆方向に動いたように見えたり、もしくは止まったように見えたりする。

本発明は、上記に鑑みてなされたものであり、複数の映像データを連結する際に、連結箇所での移動物体の不自然な移動を抑制することを目的とする。

本発明に係る映像処理装置は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、互いに隣接する前記フレームデータが重ねられた重複領域につなぎ目を通さない禁止領域を設定する禁止領域設定手段と、前記禁止領域を通らないように前記つなぎ目を算出するシーム算出手段と、前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力する連結フレーム出力手段と、を備え、前記禁止領域設定手段は、前記フレームデータから検出されたオブジェクトが前記重複領域に進入した際、前記オブジェクトの位置および移動方向に基づいて前記禁止領域を設定することを特徴とする。

本発明に係る映像処理方法は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置による映像処理方法であって、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、互いに隣接する前記フレームデータが重ねられた重複領域につなぎ目を通さない禁止領域を設定するステップと、前記禁止領域を通らないように前記つなぎ目を算出するステップと、前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力するステップと、を有し、前記禁止領域を設定するステップでは、前記フレームデータから検出されたオブジェクトが前記重複領域に進入した際、前記オブジェクトの位置および移動方向に基づいて前記禁止領域を設定することを特徴とする。

本発明に係る映像処理プログラムは、上記の映像処理装置の各手段としてコンピュータを動作させることを特徴とする。

本発明によれば、複数の映像データを連結する際に、連結箇所での移動物体の不自然な移動を抑制することができる。

本実施形態の映像処理装置を用いて構成した広視野角遠隔監視システムの構成を示す図である。 本実施形態の映像処理装置のハードウエア構成および機能ブロックを説明する図である。 本実施形態の映像処理装置の処理の流れを示すフローチャートである。 重複フレームデータの例を示す図である。 重複フレームデータの重複領域に禁止領域を設定した例を示す図である。 フレームデータをシームで連結した連結フレームデータの例を示す図である。 禁止領域を設定する処理の流れを示すフローチャートである。 重複領域で検出されたオブジェクトの例を示す図である。 検出されたオブジェクトを含む一定の領域を禁止領域として設定した例を示す図である。 オブジェクトの移動方向に基づいて禁止領域を設定した例を示す図である。 図１０の重複フレームデータからシームを求めた例を示す図である。 オブジェクトの進入方向側に設定した禁止領域とシームの時系列の変化を示す図である。 オブジェクトの進行方向側に設定した禁止領域とシームの時系列の変化を示す図である。

以下、本発明の実施の形態について図面を用いて説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

図１を参照し、本発明にかかる映像処理を用いた広視野角遠隔監視システムの構成を説明する。同図に示す広視野角遠隔監視システムは、複数の映像を合成してパノラマ映像を生成するとともに、映像から監視対象の物体の物体情報を取得し、ＭＭＴＰ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を利用してＩＰネットワーク経由でパノラマ映像、音および物体情報を同期伝送する処理を低遅延に実現するシステムである。広視野角遠隔監視システムは、例えば、航空管制、公共空間監視、および防災監視などの広視野角での監視に用いることができる。

図１の広視野角遠隔監視システムは、合成処理サーバ１００、物体情報統合サーバ２００、デコードサーバ３００、および統合物体情報受信サーバ４００を備える。

合成処理サーバ１００は、合成処理部１１０、エンコード処理部１２０、および物体検出・トラッキング処理部１３０を備える。合成処理サーバ１００は、複数の撮像系（例えば４Ｋカメラ）のそれぞれから映像と音を入力し、映像をつなげてパノラマ映像を合成するとともに、各映像から対象の物体の検出およびトラッキングを行う。

合成処理部１１０は、入力した複数の映像をリアルタイムにつなぎ合わせてパノラマ映像を合成する。合成処理部１１０は、映像をつなぎ合わせるシームを動的に変更する。合成処理部１１０は、シームを求める際、移動物体のトラッキング結果を利用した本発明にかかる映像処理を用いて合成品質の向上を図る。本発明にかかる映像処理の詳細については後述する。

エンコード処理部１２０は、合成処理部１１０の合成したパノラマ映像および音データをエンコードし、ＭＭＴＰストリームに変換してデコードサーバ３００へ送出する。

物体検出・トラッキング処理部１３０は、各映像から対象の物体の検出およびトラッキングを実施する。物体検出・トラッキング処理部１３０は、各映像での処理の実施結果（トラッキング情報）を物体情報統合サーバ２００へ送信するとともに、合成処理部１１０へ送信する。

物体情報統合サーバ２００は、物体検出・トラッキング処理部１３０から入力される各映像のトラッキング情報について、物体の各映像上の座標をパノラマ映像上の座標へ変換する。物体情報統合サーバ２００は、映像が重ね合わされた重複領域において、映像のそれぞれに現れる同一と推定される物体のトラッキング情報を統合する。物体情報統合サーバ２００は、トラッキング情報に付加情報を追加した物体情報をＭＭＴＰパケット化して統合物体情報受信サーバ４００へ送出する。付加情報は外部サーバへ問い合わせて取得してもよい。

デコードサーバ３００は、合成処理サーバ１００から受信したＭＭＴＰストリームをデコードし、パノラマ映像および音を出力する。

統合物体情報受信サーバ４００は、物体情報統合サーバ２００から物体情報のＭＭＴＰパケットを受信し、物体情報を出力する。

表示系（例えばパノラマスクリーン）では、デコードサーバ３００から出力されたパノラマ映像に統合物体情報受信サーバ４００から出力された物体情報が重畳されて表示される。

（映像処理装置の構成）
図２を参照し、本実施形態の映像処理装置１の構成について説明する。映像処理装置１は、図１の合成処理部１１０に相当する。

図２に示す映像処理装置１は、複数のカメラＣ１，Ｃ２により撮影領域の一部を重ねて撮影された複数の映像データを連結して１つの映像データを生成し、連結した映像データを表示装置Ｄに出力する装置である。映像処理装置１は、各映像データの同時に撮影されたフレームデータにおける適切なシームを探索し、探索されたシームで各フレームデータをつないで、映像データを再構成する。本実施形態では、水平方向に並べた２台のカメラＣ１，Ｃ２で撮影した映像データを合成するが、これに限るものではない。３台以上のカメラで撮影した映像データを合成してもよいし、垂直方向に並べたカメラで撮影した映像データを合成してもよいし、水平方向と垂直方向に複数台のカメラを並べて撮影した映像データを合成してもよい。

図２に示す映像処理装置１は、記憶装置１０、処理装置２０および入出力インタフェース３０を備える一般的なコンピュータである。一般的なコンピュータが映像処理プログラムを実行することにより、図２に示す機能を実現する。

記憶装置１０は、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ハードディスク等であって、処理装置２０が処理を実行するために必要な入力データ、出力データおよび中間データなどの各種データを記憶する。

処理装置２０は、中央処理装置（ＣＰＵ）またはグラフィクスプロセシングユニット（ＧＰＵ）であって、記憶装置１０に記憶されたデータを読み書きしたり、入出力インタフェース３０とデータを入出力したりして、映像処理装置１における処理を実行する。

入出力インタフェース３０は、キーボード、マウスなどの入力装置Ｉおよび複数のカメラＣ１，Ｃ２からの入力を受け付け、入力されたデータを処理装置２０に入力する。入出力インタフェース３０は、さらに、処理装置２０による処理結果をディスプレイなどの表示装置Ｄに出力する。処理結果の連結フレームデータを伝送する場合、入出力インタフェース３０は、エンコードした連結フレームデータをネットワークを介して送出してもよい。入力装置Ｉ、複数のカメラＣ１，Ｃ２、および表示装置Ｄは、通信インタフェースおよび通信ネットワークを介して、映像処理装置１に接続されても良い。また複数のカメラＣ１，Ｃ２に代わって、予め撮影された複数の撮影データを記憶した録画機または記憶装置を映像処理装置１に接続し、映像処理装置１に予め撮影された複数の撮影データを処理させても良い。

記憶装置１０は、設定データ１１、フレーム情報データ１２、禁止領域データ１３、シームデータ１４、および連結フレームデータ１５を記憶する。記憶装置１０は、コンピュータが実行する映像処理プログラムを記憶してもよい。

設定データ１１は、映像処理装置１の処理に必要なパラメータ等の設定情報である。設定データ１１は、例えば、映像処理装置１に入力される映像データの数およびその配列、禁止領域データ１３の算出に用いるパラメータを含む。

フレーム情報データ１２は、複数のカメラＣ１，Ｃ２が出力する複数の映像データにおいて、同時に撮影された各フレームデータの情報である。フレーム情報データ１２は、フレームデータに、カメラの識別子、画素値、フレームレート、輝度値などの情報を対応づけたデータである。

禁止領域データ１３は、シーム算出の際に計算対象としない禁止領域を示すデータである。禁止領域は、後述の禁止領域設定手段２４により設定される。

シームデータ１４は、後述するシーム算出手段２５によって各フレームデータのつなぎ目を算出した結果のデータである。

連結フレームデータ１５は、同時に撮影された複数のフレームデータをシームデータ１４に従って結合した連結後のフレームデータである。連結フレームデータ１５は、映像処理装置１が出力する映像データを構成する一つのフレームデータとなる。

処理装置２０は、設定取得手段２１、フレーム取得手段２２、オブジェクト検出手段２３、禁止領域設定手段２４、シーム算出手段２５、および連結フレーム出力手段２６を備える。

設定取得手段２１は、映像処理装置１の処理に必要なパラメータを取得して、設定データ１１に記憶させる。設定取得手段２１は、ユーザにより入力装置Ｉから入力された情報に従ってパラメータを取得する。設定取得手段２１は、カメラＣ１，Ｃ２から入力された各映像データ等を解析することによってパラメータを取得してもよい。

フレーム取得手段２２は、カメラＣ１，Ｃ２から入力された映像データのそれぞれから、同時に撮影されたフレームデータを取得する。フレーム取得手段２２は、取得した各フレームデータについて、フレーム情報データ１２を生成して記憶する。フレーム取得手段２２は、カメラＣ１，Ｃ２から映像データを入力するときに各映像データを同期させて、各フレームデータのタイムスタンプを合わせる。フレーム取得手段２２は、複数のカメラＣ１，Ｃ２での撮影により生じた視差の影響を低減するための補正処理および色補正処理を実施してもよい。

オブジェクト検出手段２３は、図１の物体検出・トラッキング処理部１３０に相当する。オブジェクト検出手段２３は、フレームデータのそれぞれから対象のオブジェクトを検出するとともに、検出したオブジェクトのトラッキングを実施する。トラッキングとは、現在のフレームデータで検出されたオブジェクトと過去のフレームデータで検出されたオブジェクトとの同一性を判定し、オブジェクトの移動を追跡することである。検出対象のオブジェクトは、例えば人物などの監視対象となる移動物体である。

禁止領域設定手段２４は、隣接するフレームデータの重複領域において検出されたオブジェクトの位置およびオブジェクトの移動方向に基づいて禁止領域を設定する。禁止領域設定手段２４は、特許文献１と同様に、フレームデータの輝度値に基づいて禁止領域を設定してもよい。検出されたオブジェクトに基づく禁止領域の設定方法の詳細については後述する。

シーム算出手段２５は、同時に撮影された複数のフレームデータを取得し、禁止領域データ１３が示す禁止領域に含まれる画素をシーム算出の計算対象としないで、互いに隣接するフレームデータのつなぎ目であるシームデータ１４を算出する。より具体的には、シーム算出手段２５は、隣接方向のラインの検索範囲の各画素のうち、直前に算出されたシームの画素との特徴値の差分が最も少ない画素を、このラインにおけるシームとして算出する。このとき、シーム算出手段２５は、禁止領域に含まれる画素を探索範囲に含めない。なお、シーム算出手段２５は、フレームデータを縮小した縮小フレームデータを用いてシームを算出してもよい。この場合、シーム算出手段２５は、禁止領域を縮小して適用する。

連結フレーム出力手段２６は、シーム算出手段２５が算出したシームデータ１４に従って複数のフレームデータを連結し、重複のない連結フレームデータ１５を出力する。

（映像処理装置の動作）
次に、図３を参照して、映像処理装置１による映像処理方法を説明する。映像処理装置１は、カメラＣ１，Ｃ２のそれぞれから入力した映像データにおいて、同時に撮影された各フレームデータについて、以下のステップＳ１〜Ｓ７の処理を繰り返す。

ステップＳ１において、フレーム取得手段２２は、カメラＣ１，Ｃ２のそれぞれから入力した映像データから、同時刻に撮影された各フレームデータを取得する。

ステップＳ２において、フレーム取得手段２２は、ステップＳ１で取得した各フレームデータの特徴点を対応付けて、重複フレームデータを生成する。

図４に重複フレームデータの例を示す。図４では、２台のカメラＣ１，Ｃ２で同時に撮影されたフレームデータＦ１，Ｆ２から生成された重複フレームデータを示している。フレーム取得手段２２は、フレームデータＦ１の撮影領域の右側の特徴点とフレームデータＦ２の撮影領域の左側の特徴点とが一致するように、フレームデータＦ１，Ｆ２を重ねて重複フレームデータを生成する。なお、図４では、重複フレームデータが矩形になるようにフレームデータＦ１，Ｆ２を重ねているが、各カメラＣ１，Ｃ２のロール角が異なる場合はフレームデータが斜めに配設されることもある。

ステップＳ３において、フレーム取得手段２２は、ステップＳ２で生成した重複フレームデータに重複領域を設定する。図４では、フレームデータＦ１の撮影領域の右側とフレームデータＦ２の撮影領域の左側が重複した領域が重複領域Ｒである。

ステップＳ４において、禁止領域設定手段２４は、フレームデータＦ１，Ｆ２から検出されたオブジェクトに基づいて禁止領域を設定する。図５では、禁止領域Ｐを図示している。禁止領域を設定する処理の詳細については後述する。

ステップＳ５において、シーム算出手段２５は、禁止領域に含まれる画素をシーム算出の計算対象としないで、フレームデータの隣接方向に直交する方向にシームを形成する画素を順次特定してシームを算出する。例えば、図５では、フレームデータＦ１，Ｆ２が水平方向に隣接するので、シーム算出手段２５は、禁止領域Ｐに含まれる画素をシーム算出の計算対象としないで、重複領域Ｒの横のラインから１つの画素をシームとして決定し、縦方向に順次シームを形成する画素を算出してシームＳＥＬを求める。

ステップＳ６において、連結フレーム出力手段２６は、シームに従って、各フレームデータを連結し、連結フレームデータ１５を生成する。図６にフレームデータをシームで連結した連結フレームデータの例を示す。図６では、シームＳＥＬで切り離したフレームデータＦ１とフレームデータＦ２とをつなぎ合わせて連結フレームデータを生成している。

ステップＳ７において、連結フレーム出力手段２６は、ステップＳ６で生成した連結フレームデータ１５を出力する。この連結フレームデータ１５は、映像処理装置１が出力する映像データのフレームデータとなる。

（禁止領域の設定）
次に、図７を参照して、禁止領域の設定処理について説明する。

ステップＳ４１において、オブジェクト検出手段２３は、各フレームデータについて、対象のオブジェクトの検出およびトラッキングを実施する。禁止領域設定手段２４は、重複領域で検出されたオブジェクトのフレームデータ上での位置情報および移動方向を取得する。ステップＳ４１の処理は禁止領域を設定する前に実施すればよい。例えば、ステップＳ１において各映像データからフレームデータを取得後にステップＳ４１の処理を実施してもよい。別の装置がオブジェクトの検出およびトラッキングを実施し、映像処理装置１がオブジェクトの検出結果を受信してもよい。

図８に、重複領域Ｒで検出されたオブジェクトＯを示す。同図に示すオブジェクトＯは、水平方向に並べたフレームデータＦ１，Ｆ２の左側（フレームデータＦ１側）から右側（フレームデータＦ２側）へ移動している。

なお、オブジェクト検出手段２３は、重複領域ＲではフレームデータＦ１，Ｆ２のそれぞれにおいて同一のオブジェクトＯを検出する。カメラＣ１，Ｃ２の視差により、オブジェクトＯのフレームデータＦ１での検出位置とオブジェクトＯのフレームデータＦ２での検出位置とがずれることがある。オブジェクトＯはフレームデータＦ１からフレームデータＦ２の方向へ移動しているので、オブジェクト検出手段２３は、オブジェクトＯのフレームデータＦ１での検出位置をオブジェクトＯの位置としてもよい。フレームデータＦ１，Ｆ２でのオブジェクトの検出位置を連結フレームデータ上の座標に変換し、その座標をオブジェクトＯの位置としてもよい。この場合、フレームデータＦ１，Ｆ２でオブジェクトＯの検出位置が微妙にずれていても同一オブジェクトと判断すれば同じ座標とする。

ステップＳ４２において、禁止領域設定手段２４は、シームがオブジェクトをまたいで生成されないように、重複領域で検出されたオブジェクトを含む一定の領域を禁止領域として設定する。図９に、オブジェクトＯを含む領域を禁止領域Ｐ１として設定した様子を示す。禁止領域設定手段２４は、例えば、オブジェクトＯを検出した検出枠に基づいて禁止領域Ｐ１を設定する。

ステップＳ４３において、禁止領域設定手段２４は、設定データ１１のパラメータおよびオブジェクトの移動方向に基づき、ステップＳ４２で設定した禁止領域と重複領域の辺との間の領域を禁止領域として設定する。図１０の例では、禁止領域設定手段２４は、禁止領域Ｐ１からオブジェクトが重複領域Ｒに進入した辺（重複領域Ｒの左側の辺）までの間の領域を禁止領域Ｐ２とする。禁止領域設定手段２４は、オブジェクトの移動方向に基づき、図１０のように禁止領域Ｐ１からオブジェクトの進入方向側の重複領域Ｒの辺までの領域を禁止領域としてもよいし、禁止領域Ｐ１からオブジェクトの進行方向側の辺（図９では重複領域Ｒの右側の辺）までの領域を禁止領域としてもよい。あるいは、禁止領域設定手段２４は、禁止領域Ｐ１のみを禁止領域としてもよい。禁止領域設定手段２４は、設定データ１１のパラメータに基づき、禁止領域Ｐ１から重複領域Ｒの辺までの間に設定する禁止領域Ｐ２の形状および範囲等を変化させてもよい。

なお、禁止領域設定手段２４は、さらに、フレームデータの輝度値が所定の閾値よりも高い部分に禁止領域を設定する処理を実施してもよい。設定データ１１により、閾値等を調整することが可能である。設定によっては、輝度値に基づく禁止領域の設定を実施しなくてもよい。

図１１に示すように、シーム算出手段２５は、オブジェクトに基づいて設定された禁止領域Ｐを通らないようにシームＳＥＬを求める。

上記の禁止領域を設定する処理により、図１２に示すように、オブジェクトが重複領域Ｒを進む間、禁止領域Ｐはオブジェクトが重複領域Ｒに進入した辺からオブジェクトの現在位置までの領域に設定され、シームＳＥＬはオブジェクトの進行方向側を通る。その結果、オブジェクトが重複領域Ｒを進む間は、進入元のフレームデータＦ１中のオブジェクトの画像が連結フレームデータに用いられるので、重複領域Ｒの各フレームデータＦ１，Ｆ２においてオブジェクトの位置がずれている場合であっても、合成映像において重複領域Ｒでのオブジェクトの不自然な移動を抑制できる。なお、重複領域Ｒにおける各フレームデータＦ１，Ｆ２上のオブジェクトの検出位置がほぼ同じ（所定の範囲内）になったタイミングで、禁止領域設定手段２４は、オブジェクトの現在位置から進行方向にある重複領域Ｒの辺までの領域を禁止領域Ｐとするようにしてもよい。

図１３は、オブジェクトの進行方向側に禁止領域Ｐを設定した様子を示す図である。図１３の例では、フレームデータＦ２からフレームデータＦ１に向けてオブジェクトが進行している。図１３では、オブジェクトが重複領域Ｒを進む間、オブジェクトの現在位置からオブジェクトの進行方向側の重複領域Ｒの辺までの領域に禁止領域Ｐが設定される。シームＳＥＬは、オブジェクトの後ろ側を通る。

なお、複数のオブジェクトが重複領域に進入した際、オブジェクトが同一方向の場合は、その総和を禁止領域にしてもよい。例えば、同一方向に移動するオブジェクトをまとめて扱い、禁止領域を設定する。オブジェクトの移動方向が別々の場合は、オブジェクトそれぞれの移動方向に基づいて禁止領域を設定してもよい。または、オブジェクトのそれぞれに優先度をつけて禁止領域を設定してもよい。

以上説明したように、本実施形態によれば、フレーム取得手段２２が、カメラＣ１，Ｃ２から入力された映像データのそれぞれから、同時に撮影されたフレームデータを取得し、禁止領域設定手段２４が、隣接するフレームデータの重複領域において検出されたオブジェクトの位置およびオブジェクトの移動方向に基づき、シーム算出の際に計算対象としない禁止領域を設定し、シーム算出手段２５が、禁止領域に含まれる画素をシーム算出の計算対象としないで、互いに隣接するフレームデータのシームを算出し、連結フレーム出力手段２６が、シームに従ってフレームデータを連結し、連結フレームデータ１５を出力することにより、シームの急激な変化を抑え、オブジェクトの不自然な移動を抑制できる。

１…映像処理装置
１０…記憶装置
１１…設定データ
１２…フレーム情報データ
１３…禁止領域データ
１４…シームデータ
１５…連結フレームデータ
２０…処理装置
２１…設定取得手段
２２…フレーム取得手段
２３…オブジェクト検出手段
２４…禁止領域設定手段
２５…シーム算出手段
２６…連結フレーム出力手段
３０…入出力インタフェース
１００…合成処理サーバ
１１０…合成処理部
１２０…エンコード処理部
１３０…物体検出・トラッキング処理部
２００…物体情報統合サーバ
３００…デコードサーバ
４００…統合物体情報受信サーバ

Claims (5)

1. 撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、
   互いに隣接する前記フレームデータが重ねられた重複領域につなぎ目を通さない禁止領域を設定する禁止領域設定手段と、
   前記禁止領域を通らないように前記つなぎ目を算出するシーム算出手段と、
   前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力する連結フレーム出力手段と、を備え、
   前記禁止領域設定手段は、前記フレームデータから検出されたオブジェクトが前記重複領域に進入した際、前記オブジェクトの位置および移動方向に基づいて前記禁止領域を設定する
   ことを特徴とする映像処理装置。
2. 前記禁止領域設定手段は、前記オブジェクトの位置から前記オブジェクトの進入方向側の前記重複領域の辺までの間の領域または前記オブジェクトの位置から前記オブジェクトの進行方向側の前記重複領域の辺までの間の領域を禁止領域として設定する
   ことを特徴とする請求項１に記載の映像処理装置。
3. 撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置による映像処理方法であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、
   互いに隣接する前記フレームデータが重ねられた重複領域につなぎ目を通さない禁止領域を設定するステップと、
   前記禁止領域を通らないように前記つなぎ目を算出するステップと、
   前記つなぎ目に従って前記複数のフレームデータを連結して連結フレームデータを出力するステップと、を有し、
   前記禁止領域を設定するステップでは、前記フレームデータから検出されたオブジェクトが前記重複領域に進入した際、前記オブジェクトの位置および移動方向に基づいて前記禁止領域を設定する
   ことを特徴とする映像処理方法。
4. 前記禁止領域を設定するステップでは、前記オブジェクトの位置から前記オブジェクトの進入方向側の前記重複領域の辺までの間の領域または前記オブジェクトの位置から前記オブジェクトの進行方向側の前記重複領域の辺までの間の領域を禁止領域として設定する
   ことを特徴とする請求項３に記載の映像処理方法。
5. 請求項１または２に記載の映像処理装置の各手段としてコンピュータを動作させることを特徴とする映像処理プログラム。

Images