JP2015053669A - 映像処理装置及び方法 - Google Patents

Abstract

【課題】映像を圧縮し伝送する映像処理装置及び方法とシステムに関する技術が開示される。【解決手段】映像処理装置は、少なくとも１つの映像獲得装置が獲得した入力映像とデータベース（ＤＢ）にあらかじめ格納された実写空間映像データを提供され、入力映像と実写空間映像データとのマッチングを通じて重畳領域を抽出する重畳領域抽出部と、重畳領域を基盤として実写空間映像データに含まれた情報に基づく参照フレームを利用して入力映像を圧縮する映像圧縮部とを含む。【選択図】図２

Description

本発明は、映像処理装置に関し、さらに詳細には、重畳領域を基盤として多視点（ｍｕｌｔｉ−ｖｉｅｗ ｐｏｉｎｔ）映像を圧縮し伝送する映像処理装置及び方法に関する。

映像処理装置は、映像を圧縮し伝送する装置であって、多数のカメラから映像をリアルタイムで提供されて圧縮し、圧縮された映像をユーザ端末に提供することができる。特に、このような映像処理装置は、映像監視システムに多く使用される。

映像監視システムは、任意の場所に配置される多数のカメラから映像ストリームを提供されて、それぞれの映像ストリームごとに圧縮を行い、圧縮されたそれぞれの映像ストリームをネットワークを通じて個別ストリーミングする方式を多く利用する。

しかし、このような方式は、最近、急激に増加しているＣＣＴＶに起因して映像監視システムに多いトラフィックを発生させる。また、以後にＦＨＤ級画質のＣＣＴＶが幅広く普及され、地域別統合官制システムが活性化される場合、映像監視システムにさらに多くのトラフィックが発生することができる。

また、他の方式として、標準基盤のＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を利用することができる。ＭＶＣは、１Ｄ／２Ｄ配列形態で配置された多数のカメラで提供される映像を圧縮し伝送することができる。すなわち、ＭＶＣは、あらかじめ定められたカメラの整列位置、幾何情報及びパラメータなどを利用して多視点基盤で映像を圧縮するか、または中間映像を補間することができる。

しかし、多数のカメラから任意の視点（ｖｉｅｗ ｐｏｉｎｔ）で獲得された映像は、相互間の空間的相関関係がないため、予測構造が出ないので、標準基盤のＭＶＣを利用して圧縮しにくいという短所がある。

前述したような問題点を解決するために、本発明の目的は、重畳領域を基盤として多視点映像を圧縮し伝送する装置を提供することにある。

本発明の他の目的は、重畳領域を基盤として多視点映像を圧縮し伝送する方法を提供することにある。

上記目的を達成するために、本発明の実施例による映像処理装置は、少なくとも１つの映像獲得装置が獲得した入力映像とデータベース（ＤＢ）にあらかじめ格納された実写空間映像データを提供されて、前記入力映像と前記実写空間映像データとのマッチングを通じて重畳領域を抽出する重畳領域抽出部と、前記重畳領域を基盤として前記実写空間映像データに含まれた情報に基づく参照フレームを利用して前記入力映像を圧縮する映像圧縮部とを含む。

ここで、前記映像圧縮部は、前記入力映像から前記重畳領域が含まれた前記参照フレームを差分した差分映像を圧縮することができる。

ここで、前記映像圧縮部は、前記重畳領域が含まれた前記参照フレームを利用した時空間予測符号化を行い、予測フレームを生成し、前記入力映像から前記予測フレームを差分した差分映像を圧縮することができる。

ここで、前記入力映像及び前記実写空間映像データそれぞれは、視点を異にして獲得された映像であることができる。

ここで、前記実写空間映像データは、あらかじめ獲得された実写空間に対する映像に対して前処理（Ｐｒｅ−Ｐｒｏｃｅｓｓｉｎｇ）を通じて生成される実写空間モデリングデータ及び特徴情報マップデータを含むことができる。

ここで、前記入力映像の特徴情報を抽出する特徴情報抽出部と、前記入力映像の特徴情報と前記特徴情報マップデータとのマッチングを行い、マッチング結果を算出するマッチング部と、前記マッチング結果によってマッチング誤差を算出するマッチング誤差算出部と、前記マッチング誤差とあらかじめ設定された基準値を比較し、比較結果によって前記重畳領域を抽出する比較部とを含むことができる。

ここで、前記比較部は、前記マッチング誤差と前記基準値を比較し、比較結果を算出するマッチング誤差比較サブユニットと、前記マッチング誤差が前記基準値を超過した場合、前記特徴情報マップデータを前記入力映像の特徴情報に基づいて更新し、前記更新（ｕｐｄａｔｅ）された特徴情報マップデータを前記マッチング部に提供し、前記マッチング誤差が前記基準値以下である場合、前記実写空間モデリングデータと前記入力映像との再マッチングを行い、再マッチング結果によって前記重畳領域を抽出する重畳領域抽出サブユニットとを含むことができる。

本発明の実施例による映像処理方法は、入力映像とあらかじめ格納された実写空間映像データとのマッチングを通じて重畳領域を抽出する段階と、前記重畳領域を基盤として前記実写空間映像データに含まれた情報に基づく参照フレームを利用して前記入力映像を圧縮する段階とを含む。

差分映像を最小化させることができ、映像圧縮効率を高めることができ、これにより、ネットワーク帯域幅の使用を大幅に減少させることができるという効果が提供される。

また、任意の場所に位置する映像獲得装置が移動しても、実写空間モデリングデータの遠近変形度が同時に処理されることによって、差分映像を最小化し、伝送データ量を低減することができるという効果が提供される。

さらに、あらかじめ前処理された実写空間映像データを利用することによって、入力映像を圧縮し伝送する間に、前述した過程を省略することができ、映像処理をさらに速く行うことができるという効果が提供される。

さらに、映像監視システムだけでなく、映像検索システム、交通官制システム、保安官制システムなど多様な分野に適用可能であるという効果が提供される。

本発明の一実施例による映像処理システムを示す概念図である。 本発明の一実施例による映像処理装置を示すブロック図である。 本発明の一実施例による重畳領域抽出部を示すブロック図である。 本発明の一実施例によるレーザースキャナ及びカメラ基盤映像に対して実写空間映像データが構築される過程を示す流れ図である。 本発明の一実施例によるＩＲ（Ｉｎｆｒａｒｅｄ；赤外線）及びカメラ基盤映像に対する実写空間映像データが構築される過程を示す流れ図である。 本発明の一実施例による任意の視点で獲得された入力映像と実写空間モデリングデータとの間の時空間予測符号化を示す図である。 本発明の一実施例による映像処理方法を示す流れ図である。 本発明の一実施例による図７で重畳領域を抽出する過程を示す流れ図である。

本発明は、多様な変更を行うことができ、さまざまな実施例を有することができるところ、特定の実施例を図面に例示し、詳細な説明に詳細に説明する。しかし、これは、本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解しなければならない。各図面を説明しつつ、類似な参照符号を類似な構成要素に使用した。

第１、第２、Ａ、Ｂなどの用語は、多様な構成要素を説明するのに使用されることができるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的だけで使用される。例えば、本発明の権利範囲を逸脱することなく、第１構成要素は、第２構成要素として命名されることができ、同様に、第２構成要素は、第１構成要素として命名されることができる。「及び／または」という用語は、複数の関連された記載された項目の組み合わせまたは複数の関連された記載された項目のうちいずれかの項目を含む。

或る構成要素が他の構成要素に「連結されて」いるか、または「接続されて」いると言及されたときには、他の構成要素に直接的に連結されているかまたは接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、或る構成要素が他の構成要素に「直接連結されて」いるか、「直接接続されて」いると言及されたときには、中間に他の構成要素が存在しないものと理解すべきである。

本出願において使用した用語は、ただ特定の実施例を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、明細書上に記載した特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、１つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないものと理解しなければならない。

異なって定義されない限り、技術的または科学的な用語を含んでここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般的に理解されるものと同一の意味を有している。一般的に使用される辞書に定義されているもののような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈しなければならないし、本出願において明白に定義しない限り、理想的または過度に形式的な意味として解釈されない。

また、以下に記載した「ピクチャー（ｐｉｃｔｕｒｅ）」という用語は、映像（ｉｍａｇｅ）、フレーム（ｆｒａｍｅ）などのような同等な意味を有する他の用語に代替して使用されることができることを本実施例の属する技術分野における通常の知識を有する者なら理解することができる。

以下では、添付の図面を参照して本発明の一実施例による映像処理装置及び方法を説明する。

図１は、本発明の一実施例による映像処理システムを示す概念図である。
図１を参照すれば、本発明の一実施例による映像処理システムは、映像獲得装置１００、遠隔地サーバー２００、映像処理装置３００を含む。

映像獲得装置１００は、実写空間の任意の場所に位置し、少なくとも１つのカメラよりなることができる。また、映像獲得装置１００は、実写空間に対する映像を獲得し、獲得された映像である入力映像を提供することができる。ここで、入力映像は、複数の映像獲得装置１００から任意の視点で獲得された映像であることができる。また、入力映像は、リアルタイムで提供されることができる。

また、映像獲得装置１００は、入力映像を映像処理装置３００に直ちに提供することができるが、映像処理装置３００を介することなく、後述する遠隔地サーバー２００またはユーザ端末４００に直接提供することができる。

また、映像獲得装置１００は、一般的にカメラを意味するが、本発明は、これに限定されない。すなわち、映像獲得装置１００は、映像獲得が可能であり、獲得された映像を提供することができたら、どんな装置を使用してもよい。

具体的に、映像獲得装置１００は、ＩＰカメラ、ＣＣＴＶ、全方向カメラ、レーザースキャナ、携帯端末機、ＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）カメラ、赤外線センサー、熱感知センサーのうち少なくとも１つを含むことができる。特に、携帯端末機は、カメラが含まれていて、映像獲得が可能であり、獲得された映像をサーバーまたは他の端末機に伝送可能な端末機であって、個人情報端末機（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）３Ｇ端末機を含むことができる。

遠隔地サーバー２００は、実写空間映像データをあらかじめ格納することができる。すなわち、遠隔地サーバー２００に格納された実写空間映像データは、映像獲得装置１００からあらかじめ実写空間に対する映像を獲得し、獲得された映像に対して前処理が行われたデータである。

また、遠隔地サーバー２００は、管理サーバー２１０及びデータベース（ＤＢ）サーバー２２０を含むことができる。管理サーバー２１０は、映像獲得装置１００から実写空間に対する映像をあらかじめ提供され、あらかじめ提供された実写空間に対する映像に対して前処理を行い、実写空間映像データを生成することができる。データベース（ＤＢ）サーバー２２０は、管理サーバー２１０で提供する実写空間映像データを格納することができる。

また、実写空間映像データは、図２及び図３を参照して以下でさらに詳細に説明する。
映像処理装置３００は、入力映像を映像獲得装置１００から提供され、実写空間映像データを遠隔地サーバー２００から提供されることができる。また、映像処理装置３００は、入力映像と実写空間映像データとのマッチングを通じて重畳領域を抽出することができる。また、映像処理装置３００は、抽出された重畳領域を通じて入力映像を圧縮して多重化し、ユーザ端末４００に伝送することができる。

一例で、映像処理装置３００は、入力映像から重畳領域が含まれた実写空間映像データを差分した差分映像を圧縮することができる。

他の例で、映像処理装置３００は、重畳領域が含まれた実写空間映像データを利用した時空間予測符号化を行い、予測フレームを生成し、入力映像から予測フレームを差分した差分映像を圧縮することができる。

また、映像処理装置３００は、映像獲得装置１００、遠隔地サーバー２００及びユーザ端末４００と連結されることができる。また、映像処理装置３００は、映像獲得装置１００、遠隔地サーバー２００及びユーザ端末４００との整合、すなわちインターフェイシングを行うインターフェース部を含むことができる。インターフェース部は、シンクノード及びゲートウェイを含むことができる。

また、映像処理装置３００は、図２及び図３を参照して以下でさらに詳細に説明する。
本発明の一実施例による映像処理システムにおいて、前述した映像獲得装置１００、遠隔地サーバー２００及び映像処理装置３００は、有線または無線通信を利用して通信する通信部(図示せず)を含むことができる。通信部(図示せず)は、アンテナが含まれた通信モジュールよりなることができる。

また、遠隔地サーバー２００で説明した前処理は、遠隔地サーバー２００の管理サーバー２１０で行われるものと説明したが、これに限定されるものではない。すなわち、本発明の一実施例による映像処理システムは、遠隔地サーバー２００の管理サーバー２１０で前処理を行うことができると共に、映像獲得装置１００及び映像処理装置３００でも前処理が行われることができる。したがって、映像獲得装置１００及び映像処理装置３００は、前処理を行うことができる前処理部(図示せず)を含むことができる。

また、遠隔地サーバー２００で説明した実写空間映像データは、遠隔地サーバー２００のデータベース（ＤＢ）サーバー２２０に格納されるものと説明したが、これに限定されるものではない。すなわち、本発明の一実施例による映像処理システムは、遠隔地サーバー２００のデータベース（ＤＢ）サーバー２２０に実写空間映像データが格納されることができると共に、映像獲得装置１００または映像処理装置３００でも実写空間映像データが格納されることができる。したがって、映像獲得装置１００及び映像処理装置３００は、実写空間映像データを格納することができるデータベース（ＤＢ）(図示せず)を含むことができる。

以上では、本発明の一実施例による映像処理システムの各構成について記述した。以下では、本発明の一実施例による映像処理装置について図面を参照して記述する。特に、前述した映像処理システムと重複される部分は、説明の簡明性のために省略する。

図２は、本発明の一実施例による映像処理装置を示すブロック図である。
図２を参照すれば、本発明の一実施例による映像処理装置は、重畳領域抽出部３１０及び映像圧縮部３２０を含む。また、多重化部３３０をさらに含むことができる。

重畳領域抽出部３１０は、少なくとも１つの映像獲得装置１００が獲得した入力映像とデータベース（ＤＢ）にあらかじめ格納された実写空間映像データを提供されて、入力映像と実写空間映像データとのマッチングを通じて重畳領域を抽出することができる。

ここで、入力映像及び実写空間映像データそれぞれは、視点を異にして獲得された映像であることができる。

また、実写空間映像データは、映像獲得装置１００からあらかじめ獲得された実写空間に対する映像に対して前処理を通じて生成されることができる。また、実写空間映像データは、実写空間モデリングデータ及び特徴情報マップデータを含むことができる。

実写空間モデリングデータは、２．５Ｄ実写空間モデリングデータ及び３Ｄ実写空間モデリングデータを含むことができるが、これに限定されるものではない。

特徴情報マップデータは、実写空間モデリングデータである位置情報、撮影情報、主要軸情報、主要特徴点情報、時間情報、天気、環境情報及び照度情報のうち少なくともいずれか１つを含むことができるが、これに限定されるものではない。

また、実写空間映像データは、映像獲得装置１００で提供する入力映像に相当して異なるように構築され、データベース（ＤＢ）にあらかじめ格納されることができる。これより、実写空間映像データが入力映像に相当して異なるように構築される過程を図４及び図５を参照して説明すれば、下記の通りである。図４及び図５では、説明の簡明性のために実写空間映像データが構築される所を前処理部であると称する。

図４は、本発明の一実施例によるレーザースキャナ及びカメラ基盤映像について実写空間映像データが構築される過程を示す流れ図である。

図４を参照すれば、前処理部は、レーザースキャナ及びカメラから多数の３Ｄポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄｓ）、ＲＧＢ映像、位置情報及び撮影情報など映像データを提供されることができる。

その後、前処理部は、提供された映像データに対してメッシュモデリングを行うことができる。その後、前処理部は、メッシュモデリングが行われた映像データに対してテクスチャマッピングを行い、実写空間映像データを生成することができる。ここで、生成された実写空間映像データは、３Ｄ実写空間モデリングデータと特徴情報マップデータを含むことができる。その後、前処理部は、生成された実写空間映像データをデータベース（ＤＢ）に提供することができる。

図５は、本発明の一実施例によるＩＲ（Ｉｎｆｒａｒｅｄ；赤外線）及びカメラ基盤映像に対する実写空間映像データが構築される過程を示す流れ図である。

図５を参照すれば、前処理部は、ＩＲ（Ｉｎｆｒａｒｅｄ；赤外線）及びカメラからＩＲ映像、ＲＧＢ映像、位置情報及び撮影情報など映像データを提供されることができる。すなわち、前処理部は、ＩＲパターン照射とカメラ映像撮影を通じて対象空間の深さ値及びテクスチャを提供されることができる。

その後、前処理部は、提供された映像データに対して特徴情報抽出及び再構成を行うことができる。その後、前処理部は、特徴情報抽出及び再構成が行われた映像データに対してテクスチャマッピングを行い、実写空間映像データを生成することができる。生成された実写空間映像データは、２．５Ｄ実写空間モデリングデータと特徴情報マップデータを含むことができる。その後、前処理部は、生成された実写空間映像データをデータベース（ＤＢ）に提供することができる。

したがって、本発明の一実施例による映像処理装置は、実写空間映像に対してあらかじめ前処理された実写空間映像データを利用することによって、入力映像を圧縮し伝送する間に、前述した過程を省略することができ、映像処理をさらに速く行うことができるという長所がある。

図３は、本発明の一実施例による重畳領域抽出部を示すブロック図である。
図２及び図３を参照すれば、重畳領域抽出部３１０は、特徴情報抽出部３１２、マッチング部３１４、マッチング誤差算出部３１６及び比較部３１８を含むことができる。

特徴情報抽出部３１２は、少なくとも１つの映像獲得装置１００から入力映像を提供されることができる。また、特徴情報抽出部３１２は、提供された入力映像の特徴情報を抽出することができる。

マッチング部３１４は、入力映像の特徴情報を特徴情報抽出部３１２から提供され、特徴情報マップデータをデータベース（ＤＢ）から提供されることができる。また、マッチング部３１４は、入力映像の特徴情報と特徴情報マップデータとのマッチングを行い、マッチング結果を算出することができる。具体的に、マッチング部３１４は、入力映像の特徴情報と特徴情報マップデータとのマッチングを粗く行うことができる。

マッチング誤差算出部３１６は、マッチング部３１４からマッチング結果を提供されることができる。また、マッチング誤差算出部３１６は、提供されたマッチング部３１４のマッチング結果によってマッチング誤差を算出することができる。

比較部３１８は、マッチング誤差算出部３１６からマッチング誤差を提供されることができる。また、比較部３１８は、提供されたマッチング誤差とあらかじめ設定された基準値を比較することができる。また、比較部３１８は、マッチング誤差と基準値を比較した比較結果によって重畳領域を抽出することができる。また、比較部３１８は、マッチング誤差比較サブユニット３１８ａ及び重畳領域抽出サブユニット３１８ｂを含むことができる。

マッチング誤差比較サブユニット３１８ａは、マッチング誤差算出部３１６からマッチング誤差を提供されることができる。また、マッチング誤差比較サブユニット３１８ａは、提供されたマッチング誤差とあらかじめ設定された基準値とを比較し、比較結果を算出することができる。

重畳領域抽出サブユニット３１８ｂは、マッチング誤差比較サブユニット３１８ａからマッチング誤差と基準値を比較した比較結果を提供されることができる。また、重畳領域抽出サブユニット３１８ｂは、比較結果によって重畳領域を抽出することができる。

すなわち、マッチング誤差が基準値を超過した場合、重畳領域抽出サブユニット３１８ｂは、データベース（ＤＢ）に格納された特徴情報マップデータを特徴情報抽出部３１２で抽出された入力映像の特徴情報に基づいて更新することができる。また、重畳領域抽出サブユニット３１８ｂは、更新された特徴情報マップデータを入力映像の特徴情報とのマッチングのために、さらにマッチング部３１４に提供することができる。

また、マッチング誤差が基準値以下である場合、重畳領域抽出サブユニット３１８ｂは、データベース（ＤＢ）に格納された実写空間モデリングデータと入力映像との再マッチングを行うことができる。具体的に、重畳領域抽出サブユニット３１８ｂは、実写空間モデリングデータと入力映像との再マッチングを精密に行うことができる。また、重畳領域抽出サブユニット３１８ｂは、実写空間モデリングデータと入力映像との再マッチング結果によって重畳領域を抽出することができる。

したがって、本発明の一実施例による映像処理装置は、入力映像をあらかじめ格納された特徴情報マップデータと粗くマッチングした後、実写空間モデリングデータとさらに精密な再マッチングを行うことによって、差分映像をさらに最小化させることができ、映像圧縮効率をさらに高めることができ、これにより、ネットワーク帯域幅の使用を大幅に減少させることができる。

続いて図２を参照すれば、映像圧縮部３２０は、重畳領域抽出部３１０で抽出された重畳領域を提供されることができる。また、映像圧縮部３２０は、重畳領域を基盤として実写空間映像データに含まれた情報に基づく参照フレームを利用して入力映像を圧縮することができる。

前述したように、実写空間映像データに含まれた情報は、実写空間モデリングデータと特徴情報マップデータを含むことができる。したがって、参照フレームは、実写空間モデリングデータに基づくことができる。また、実写空間映像データは、視点を異にしてあらかじめ獲得された映像であることができる。

また、映像圧縮部３２０は、入力映像から重畳領域が含まれた参照フレームを差分した差分映像を圧縮することができる。すなわち、映像圧縮部３２０は、入力映像から参照フレームと重畳される領域を除去した差分映像を圧縮することができる。

また、映像圧縮部３２０は、重畳領域が含まれた参照フレームを利用した時空間予測符号化を行い、予測フレームを生成し、入力映像から予測フレームを差分した差分映像を圧縮することができる。

特に、本発明の一実施例による映像処理装置は、視点を異にして時間の流れによって獲得された入力映像を圧縮することができる。すなわち、映像処理装置は、任意の視点で獲得された多視点映像を圧縮することができる。

図６は、本発明の一実施例による任意の視点で獲得された入力映像と実写空間モデリングデータとの間の時空間予測符号化を示す図である。

図６を参照すれば、データベース（ＤＢ）にあらかじめ格納された実写空間モデリングデータは、参照フレーム５００であることができる。また、複数の映像獲得装置１００から任意の視点で獲得された多視点入力映像は、被参照フレーム５０２、５０４、５０６、５０８であることがある。

ここで、参照フレーム５００は、基本視点の映像であることができる。また、被参照フレーム５０２、５０４、５０６、５０８のうちＰ０、…、Ｐｎは、単方向視点間の予測が行われることを意味することができる。また、被参照フレーム５０２、５０４、５０６、５０８のうちＢ１、…、Ｂｎは、双方向視点間の予測が行われることを意味することができる。

すなわち、実写空間モデリングデータは、多視点入力映像圧縮のための参照フレーム５００として活用され、多視点入力映像は、参照フレーム５００から予測される被参照フレーム５０２、５０４、５０６、５０８として構造化されることができる。特に、時空間予測符号化は、互いに異なる視点のフレームを参照して予測を行うことができる。

一例で、時間による照度変化または天気変化などの環境的な変化が発生しなければ、すなわち多視点入力映像が固定的なら、図４で説明したように、マッチング誤差は、あらかじめ格納された基準値以下になる。これにより、参照フレーム５００は、同じ映像フレームになる。

他の例で、時間による照度変化または天気変化などの環境的な変化が発生すれば、すなわち多視点入力映像が流動的なら、図４で説明したように、マッチング誤差は、あらかじめ格納された基準値を超過する。これにより、参照フレーム５００は、特徴情報マップデータによって異なる映像フレームになる。

図２を参照すれば、多重化部３３０は、映像圧縮部３２０から入力映像が圧縮された圧縮映像を提供されることができる。また、多重化部３３０は、提供された圧縮映像を多重化し、多重化された圧縮映像である出力映像を提供することができる。

したがって、本発明の一実施例による映像処理装置は、任意の視点で獲得された入力映像とあらかじめ格納された実写空間モデリングデータとの間の時空間予測符号化を行うことによって、任意の場所に位置する映像獲得装置が移動しても、実写空間モデリングデータの遠近変形度が同時に処理されることによって、差分映像を最小化し、伝送データ量を低減することができるという長所がある。

また、本発明の一実施例による映像処理装置は、映像獲得装置としてＩＰカメラ、ＣＣＴＶ、全方向カメラ、レーザースキャナ、携帯端末機、ＩＰカメラ、ＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）カメラ、赤外線センサー、熱感知センサーなど多様な映像獲得装置を包括することによって、映像監視システムだけでなく、映像検索システム、交通官制システム、保安官制システムなど多様な分野に適用可能であるという長所がある。

以上では、本発明の一実施例による映像処理装置の各構成について記述した。以下では、本発明の一実施例による映像処理方法について図面を参照して記述する。特に、前述した映像処理システム及び映像処理装置と重複する部分は、説明の簡明性のために省略する。

図７は、本発明の一実施例による映像処理方法を示す流れ図である。
図７を参照すれば、本発明の一実施例による映像処理方法は、入力映像とあらかじめ格納された実写空間映像テータとのマッチングを通じて重畳領域を抽出する段階（Ｓ７００）と、重畳領域を基盤として実写空間映像データに含まれた情報に基づく参照フレームを利用して入力映像を圧縮する段階（Ｓ８００）とを含む。

まず、実写空間に対する映像である入力映像を提供されることができる（Ｓ６００）。ここで、入力映像は、視点を異にして時間の流れによって獲得された多視点映像であることができる。

その後、入力映像とあらかじめ格納された実写空間映像データとのマッチングを通じて重畳領域を抽出することができる（Ｓ７００）。

ここで、実写空間映像データは、あらかじめ獲得された実写空間に対する映像に対して前処理を通じて生成されることができる。したがって、実写空間映像データは、Ｓ６００段階またはＳ７００段階の前に生成され、格納されることができる。

また、実写空間映像データは、実写空間モデリングデータ及び特徴情報マップデータを含むことができる。また、実写空間映像データは、視点を異にして獲得された映像であることができる。

また、映像処理装置において前述した実写空間映像データと重複される部分は、説明の簡明性のために省略する。

図８は、本発明の一実施例による図７で重畳領域を抽出する過程を示す流れ図である。
図８を参照すれば、入力映像を提供されて、入力映像の特徴情報を抽出することができる（Ｓ７０１）。その後、あらかじめ格納された特徴情報マップデータを提供されることができる（Ｓ７０２）。その後、入力映像の特徴情報と特徴情報マップデータとのマッチングを行い、マッチング結果を算出することができる（Ｓ７０３）。具体的に、入力映像の特徴情報と特徴情報マップデータとのマッチングを粗く行うことができる。その後、マッチング結果によってマッチング誤差を算出することができる（Ｓ７０４）。その後、マッチング誤差とあらかじめ設定された基準値を比較し、比較結果によって重畳領域を抽出することができる。

すなわち、マッチング誤差と基準値を比較し、比較結果を算出することができる（Ｓ７０５）。

ここで、マッチング誤差が基準値を超過した場合、特徴情報マップデータを入力映像の特徴情報に基づいて更新することができる（Ｓ７０６）。その後、更新された特徴情報マップデータ（Ｓ７０２）は、Ｓ７０３段階で入力映像の特徴情報とさらにマッチングを行うことができる。

ここで、マッチング誤差が基準値以下である場合、実写空間モデリングデータ（Ｓ７０７）と入力映像との再マッチングを行うことができる（Ｓ７０８）。その後、再マッチング結果によって重畳領域を抽出することができる（Ｓ７０９）。具体的に、実写空間モデリングデータと入力映像との再マッチングを精密に行うことができる。

続いて図７を参照すれば、Ｓ７００段階後に、重畳領域を基盤として実写空間映像データに含まれた情報に基づく参照フレームを利用して入力映像を圧縮することができる（Ｓ８００）。

ここで、映像処理装置の映像圧縮部３２０で説明したように、参照フレームは、実写空間モデリングデータに基づくことができる。

ここで、Ｓ８００段階は、入力映像から重畳領域が含まれた参照フレームを差分した差分映像を圧縮することができる。すなわち、Ｓ８００段階は、入力映像から参照フレームと重畳される領域を除去した差分映像を圧縮することができる。

ここで、Ｓ８００段階は、重畳領域が含まれた参照フレームを利用した時空間予測符号化を行い、予測フレームを生成し、入力映像から予測フレームを差分した差分映像を圧縮することができる。また、映像処理装置において前述した時空間予測符号化と重複される部分は、説明の簡明性のために省略する。

その後、圧縮された入力映像を多重化することができる（Ｓ９００）。その後、多重化された圧縮映像である出力映像を提供することができる（Ｓ１０００）。

以上、本発明の好適な実施例を参照して説明したが、当該技術分野の熟練された当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解することができる。

１００ 映像獲得装置
２００ 遠隔地サーバー
２１０ 管理サーバー
２２０ データベース（ＤＢ）サーバー
３００ 映像処理装置
３１０ 重畳領域抽出部
３１２ 特徴情報抽出部
３１４ マッチング部
３１６ マッチング誤差算出部
３１８ 比較部
３１８ａ マッチング誤差比較サブユニット
３１８ｂ 重畳領域抽出サブユニット
３２０ 映像圧縮部
３３０ 多重化部
４００ ユーザ端末

Claims (15)

1. 少なくとも１つの映像獲得装置が獲得した入力映像とデータベース（ＤＢ）にあらかじめ格納された実写空間映像データを提供されて、前記入力映像と前記実写空間映像データとのマッチングを通じて重畳領域を抽出する重畳領域抽出部と；
   前記重畳領域を基盤として前記実写空間映像データに含まれた情報に基づく参照フレームを利用して前記入力映像を圧縮する映像圧縮部と；を含む映像処理装置。
2. 前記映像圧縮部は、
   前記入力映像から前記重畳領域が含まれた前記参照フレームを差分した差分映像を圧縮することを特徴とする請求項１に記載の映像処理装置。
3. 前記映像圧縮部は、
   前記重畳領域が含まれた前記参照フレームを利用した時空間予測符号化を行い、予測フレームを生成し、前記入力映像から前記予測フレームを差分した差分映像を圧縮することを特徴とする請求項１に記載の映像処理装置。
4. 前記入力映像及び前記実写空間映像データそれぞれは、
   視点を異にして獲得された映像であることを特徴とする請求項１に記載の映像処理装置。
5. 前記実写空間映像データは、
   あらかじめ獲得された実写空間に対する映像に対して前処理を通じて生成される実写空間モデリングデータ及び特徴情報マップデータを含むことを特徴とする請求項１に記載の映像処理装置。
6. 前記重畳領域抽出部は、
   前記入力映像の特徴情報を抽出する特徴情報抽出部と；
   前記入力映像の特徴情報と前記特徴情報マップデータとのマッチングを行い、マッチング結果を算出するマッチング部と；
   前記マッチング結果によってマッチング誤差を算出するマッチング誤差算出部と；
   前記マッチング誤差とあらかじめ設定された基準値を比較し、比較結果によって前記重畳領域を抽出する比較部と；を含むことを特徴とする請求項５に記載の映像処理装置。
7. 前記比較部は、
   前記マッチング誤差と前記基準値を比較し、比較結果を算出するマッチング誤差比較サブユニットと；
   前記マッチング誤差が前記基準値を超過した場合、前記特徴情報マップデータを前記入力映像の特徴情報に基づいて更新し、前記更新された特徴情報マップデータを前記マッチング部に提供し、
   前記マッチング誤差が前記基準値以下である場合、前記実写空間モデリングデータと前記入力映像との再マッチングを行い、再マッチング結果によって前記重畳領域を抽出する重畳領域抽出サブユニットと；を含むことを特徴とする請求項６に記載の映像処理装置。
8. 入力映像とあらかじめ格納された実写空間映像データとのマッチングを通じて重畳領域を抽出する段階と；
   前記重畳領域を基盤として前記実写空間映像データに含まれた情報に基づく参照フレームを利用して前記入力映像を圧縮する段階と；を含む映像処理方法。
9. 前記重畳領域を基盤として前記実写空間映像データに含まれた情報に基づく参照フレームを利用して前記入力映像を圧縮する段階は、
   前記入力映像から前記重畳領域が含まれた前記参照フレームを差分した差分映像を圧縮することを特徴とする請求項８に記載の映像処理方法。
10. 前記重畳領域を基盤として前記実写空間映像データに含まれた情報に基づく参照フレームを利用して前記入力映像を圧縮する段階は、
    前記重畳領域が含まれた前記参照フレームを利用した時空間予測符号化を行い、予測フレームを生成し、前記入力映像から前記予測フレームを差分した差分映像を圧縮することを特徴とする請求項８に記載の映像処理方法。
11. 前記入力映像及び前記実写空間映像データそれぞれは、
    視点を異にして獲得された映像であることを特徴とする請求項８に記載の映像処理方法。
12. 前記実写空間映像データは、
    あらかじめ獲得された実写空間に対する映像に対して前処理を通じて生成される実写空間モデリングデータ及び特徴情報マップデータを含むことを特徴とする請求項８に記載の映像処理方法。
13. 前記入力映像とあらかじめ格納された実写空間映像データとのマッチングを通じて重畳領域を抽出する段階は、
    前記入力映像の特徴情報を抽出する段階と；
    前記入力映像の特徴情報と前記特徴情報マップデータとのマッチングを行い、マッチング結果を算出する段階と；
    前記マッチング結果によってマッチング誤差を算出する段階と；
    前記マッチング誤差とあらかじめ設定された基準値を比較し、比較結果によって前記重畳領域を抽出する段階と；を含むことを特徴とする請求項１２に記載の映像処理方法。
14. 前記マッチング誤差とあらかじめ設定された基準値を比較し、比較結果によって前記重畳領域を抽出する段階は、
    前記マッチング誤差と前記基準値を比較し、前記比較結果を算出する段階と；
    前記マッチング誤差が前記基準値を超過した場合、前記特徴情報マップデータを前記入力映像の特徴情報に基づいて更新し、更新された特徴情報マップデータは、前記入力映像の特徴情報とさらにマッチングを行い、
    前記マッチング誤差が前記基準値以下である場合、前記実写空間モデリングデータと前記入力映像との再マッチングを行い、再マッチング結果によって前記重畳領域を抽出する段階と；を含むことを特徴とする請求項１３に記載の映像処理方法。
15. 前記入力映像とあらかじめ格納された実写空間映像データとのマッチングを通じて重畳領域を抽出する段階の前に、
    あらかじめ獲得された実写空間に対する映像に対して前処理を通じて前記実写空間映像データを生成し格納する段階をさらに含むことを特徴とする請求項８に記載の映像処理方法。

Images