JP2011509626A5 - - Google Patents

Description

映像処理システム、映像処理方法及び映像伝達方法

本発明は、映像処理システム及び映像処理方法に関し、より詳しくは、複数のカメラで撮影した映像をデコーディングしてディスプレイのために予め準備するようにする映像処理システム、映像処理方法及びサーバー間映像信号の処理方法に関する。

無人監視システムは、閉鎖回路カメラで撮影した映像データを記録装置に格納しながらディスプレイ装置に出力するようにするためのものであり、このような無人監視システムの効率的な統制と活用のためには複数の位置に散在している多量のカメラから提供される映像データを一つのディスプレイ装置で効果的に確認及び監視が行われるようにする必要がある。

このための従来の技術には、"大韓民国登録特許１０−０５０４１３３"、"監視モニターの画面制御方法"がある。前記登録特許では一つのディスプレイ上に表示される画面領域を分割して各々の分割された領域にカメラから撮影される映像を表すようにする。

前記登録特許は、複数の監視カメラまたは複数の監視カメラに結合されたレコーディング手段から圧縮された複数の映像を受信し、レコーディング手段が受信した複数の映像を復元し、複数の映像を一つの画面で均等分割された複数のウィンドウに各々出力し、監視モニターを制御する再生手段内のメモリーに格納された画面制御手段を用いてユーザ入力手段による入力情報によって一つの画面で均等分割された複数のウィンドウを併合、分離または位置変更するようにする。

また、前記登録特許では各々のカメラで撮影した映像をＪＰＥＧのようなデータフォーマットで圧縮してネットワークを介してレコーディング手段に送信し、レコーディング手段は、出力のために圧縮された映像データをデコーディングしてディスプレイ装置に表示するようにする。 然しながら、ディスプレイ装置に映像を表示するために各々のカメラで撮影された映像データを画面表示のための要請がある時毎にレコーディング装置からデコーディングして出力すべきであるため、ディスプレイ装置に映像を表示するための動作時間が長くなるようになってリアルタイムで画面の制御が行われず、さらに、複数のカメラで撮影した映像をリアルタイムでカメラの最大フレームレート及び解像度を維持しながら一画面に表示することが事実上不可である。

本発明の目的は、複数のカメラで撮影した映像をデコーディングして予め準備した状態で必要時ごとに映像がディスプレイできるようにする映像処理システム、映像処理方法及びサーバー間映像信号の伝達方法を提供することである。

本発明の他の目的は、一つの画面にカメラ数の制限無しに複数のカメラで撮影した映像をリアルタイムでカメラの最大フレームレート（Ｆｒａｍｅ ｒａｔｅ）を維持させながら出力することができる映像処理システム、映像処理方法及びサーバー間映像信号の伝達方法を提供することである。

本発明の他の目的は、ユーザの要求に応じてリアルタイムで該当映像がズームイン、ズームアウトまたはパニングできるようにする映像処理システム、映像処理方法及びサーバー間映像信号の伝達方法を提供することである。

映像処理システムは、撮影した映像を圧縮して提供するカメラ、前記カメラから送信される動画圧縮ストリームをデコーディングするプレイバックサーバー（ｐｌａｙｂａｃｋ ｓｅｒｖｅｒ）及び前記プレイバックサーバーでデコーディングされる映像を処理する映像処理部を備える映像準備部、前記映像準備部で準備して提供する映像を表示するディスプレイ装置、を備える。

前記プレイバックサーバーは、複数個の前記カメラで撮影した複数個の映像をバインディングして再生することができる。

前記カメラは複数個に備えられ、複数個の前記カメラは少なくとも一つ以上のハブに連結され、前記ハブ及び前記プレイバックサーバーはスイッチングハブによってスイッチングすることができる。

前記映像準備部は、複数の前記プレイバックサーバーで提供するバインディング映像を再構成する映像マージサーバー及び、前記映像マージサーバーで再構成して送信する前記バインディング映像を全体映像に構成し、所定出力条件に応じて前記全体映像を構成して前記ディスプレイ装置に最終出力映像を伝達するディスプレイサーバーを備えることができる。

前記映像マージサーバーは複数個に備えられ、前記ディスプレイサーバーと前記映像マージサーバーとの間には各々の前記映像マージサーバーの映像を処理するマルチプルマージサーバーが備えられることができる。

前記ディスプレイサーバーは、ユーザが要請した前記所定出力条件を前記映像マージサーバーに伝達し、前記映像マージサーバーは、前記所定出力条件に応じて前記プレイバックサーバーで再生される前記バインディング映像から前記所定出力条件の映像を再構成して前記ディスプレイサーバーに伝達することができる。

映像処理方法は、カメラで映像を圧縮して提供する段階；前記圧縮された映像をデコーディングするデコーディング段階；前記デコーディングされる映像を所定出力条件に応じて再構成して全体映像を準備する準備段階；前記全体映像から前記所定出力条件の映像を最終出力映像として出力する出力段階を備える。

前記デコーディング段階は、複数個の前記カメラで撮影した複数個の映像をデコーディングした後、前記複数個の映像をバインディングして再生することができる。

前記準備段階において、前記全体映像に前記所定出力条件に該当する映像がある場合、前記全体映像から前記所定出力条件の映像を伝達し、前記全体映像に前記所定出力条件の映像がない場合、前記デコーディング段階における既にデコーディングされた映像のうち前記所定出力条件に該当する映像が含まれた前記全体映像を再構成し、前記再構成された全体映像から前記所定出力条件の映像を選択して伝達することができる。

前記所定出力条件は、ユーザによって選択される複数の前記カメラのうちから選択されたカメラが撮影した映像、または前記選択されたカメラで撮影した映像のズームイン、ズームアウトまたはパニング状態に対することであることができる。

映像処理方法は、複数のカメラが撮影した映像を圧縮して送信し、前記複数のカメラで圧縮送信された映像をデコーディングし、最終出力が行われる間に複数の映像共に持続的に再生し、前記複数の映像を前記カメラが撮影する最大解像度以下の範囲を有する所定出力条件に応じて全体映像を構成し、前記全体映像から前記所定出力条件に該当する映像を選択して出力する。

前記所定出力条件が変わる場合、前記全体映像で変わった出力条件の映像を選択して出力することができる。

前記所定出力条件が変わり、前記全体映像に変わった出力条件の映像が含まれていない場合、前記再生される映像から前記全体映像を再構成し、前記再構成された映像から前記変わった出力条件に該当する映像を選択して出力することができる。

前記の課題を解決するための本発明の一実施例に係るリアルタイム映像処理のための送信サーバーと受信サーバーとの間の映像信号の伝達方法によると、前記送信サーバーは、入力される複数の映像をグラフィックカードを使用して全部デコーディングされた映像に再生して出力し、前記受信サーバーは、前記送信サーバーから出力される前記デコーディングされた映像をキャプチャーカードを使用して獲得し、前記送信サーバーは、専用線を用いて前記デコーディングされた映像の信号を前記受信サーバーに送信する。

前記実施例の一側面によると、前記送信サーバーに入力される複数の映像は、複数のカメラの各々で撮影して獲得した符号化された各々の映像を共に集合させたものであり、前記受信サーバーは、複数の前記送信サーバーからデコーディングされた映像の信号を受信することができる。この場合、前記送信サーバーはプレイバックサーバーであり、前記受信サーバーは映像マージサーバーであり、前記映像マージサーバーは、前記複数の送信サーバーから入力される前記デコーディングされた映像を、前記映像マージサーバーの外部から入力される要請信号に従って、任意の形態で組合せた映像信号に変形してディスプレイサーバーに出力することができる。また、前記映像マージサーバーは、任意の形態で組合わせられた映像信号をデコーディングされた映像に再生して出力し、前記ディスプレイサーバーは、前記映像マージサーバーから出力される前記デコーディングされた映像をキャプチャーカードを使用して獲得することができる。また、前記受信サーバーが受信する前記デコーディングされた映像は、前記複数のカメラが獲得した高解像度の映像である。

本発明にともなう映像処理システム、映像処理方法及び映像伝達方法は、カメラで撮影されて圧縮された映像を予めデコーディングして準備した後、ディスプレイ装置に表示するための多様な出力条件に映像を構成して出力するようにすることによって映像の表示条件が変わる時毎に必要な映像をデコーディングして表示する従来の場合より短時間内に速かに所望の映像が表示できるようにし、さらに、一つの画面にカメラの数の制限無しに複数のカメラで撮影した映像をリアルタイムでカメラの最大フレームレート（Ｆｒａｍｅ ｒａｔｅ）を維持させながら表示するようにすることができる。従って、ユーザの要求に応じてリアルタイムで該当映像がズームイン、ズームアウトまたはパニングできるようにすることによって映像処理システムの動作応答性及び使用効率を向上させることができる効果がある。

本発明の実施例に係る映像処理システムを示す図である。 本発明の実施例に係る映像処理方法を説明するための図である。 プレイバックサーバーがバインディング映像を構成する実施例を説明するための図である。 全体映像を構成する実施例を説明するための図である。 全体映像を構成する実施例を説明するための図である。 全体映像を構成する実施例を説明するための図である。 最終出力映像に対する実施例を説明するための図である。 最終出力映像に対する実施例を説明するための図である。 最終出力映像に対する実施例を説明するための図である。 本発明の他の実施例に係る映像処理システムを示す図である。

図１は、本実施例に係る映像処理システムを示す図である。図１に示したように、映像処理システムは、ネットワーク上に連結される複数個のカメラ（１６０）を備える。このカメラ（１６０）は、各々、近距離ネットワークを構成することができ、このとき、これらの各々のカメラ（１６０）は、各々のハブ（ｈｕｂ）（１５０）に連結されることができる。

本実施例において、カメラ（１６０）は、撮影された映像をＭＪＰＥＧ、ＭＰＥＧ−４、ＪＰＥＧ２０００などのような映像圧縮プロトコルで圧縮するエンコーダー（ｅｎｃｏｄｅｒ）を備える。従って、カメラ（１６０）は、撮影した映像を動画圧縮ストリーム（ｓｔｒｅａｍ）で出力する。このようなカメラ（１６０）は、６４０×４８０の解像度を有するネットワークＩＰカメラ（１６０）であってもよく、またはアナログカメラ（１６０）であってもよい。

カメラ（１６０）が連結された全てのハブ（１５０）は、カメラ（１６０）のＩＰアドレスまたはＭＡＣアドレスのようなカメラ（１６０）の固有アドレスに応じてデータ送受信のための連結を制御する。また、各々のハブ（１５０）は、これらのハブ（１５０）に対するルーティング（ｒｏｕｔｉｎｇ）が可能なギガビットスイッチングハブ（ｇｉｇａｂｉｔ ｓｗｉｔｃｈｉｎｇ ｈｕｂ）（１４０）に連結される。

また、ギガビットスイッチングハブ（１４０）には映像処理部が連結される。映像処理部は、複数個のプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）とこの複数個のプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）と専用線によって連結される映像準備部（１２０）を備える。ギガビットスイッチングハブ（１４０）は、カメラ（１６０）が連結されたハブ（１５０）と各々のプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）をルーティングすることができる。

プレイバックサーバー（１３０）は、各々が一つのハブ（１５０）に連結された複数個のカメラ（１６０）から提供される動画圧縮ストリームを格納することができる記録媒体、記録された映像の再生のために圧縮された映像データをデコーディングするためのデコーダー（ｄｅｃｏｄｅｒ）、グラフィックカードを備えるデジタル映像格納装置（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）である。本実施例は、プレイバックサーバー（１３０）が４個の場合を例示している。然しながら、プレイバックサーバー（１３０）はこれより少なくてもよく、多くてもよい。

一方、全てのプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）は映像準備部（１２０）と連結される。映像準備部（１２０）は、プレイバックサーバー（１３０）で再生する映像を別途のデコーディング過程なしにサンプリングして出力準備するためのものであり、速いフレームレートで映像を準備する映像マージサーバー（１２２）及び映像マージサーバー（１２２）から伝達された映像を速かに編集するディスプレイサーバー（１２１）を含むことができる。

このような映像マージサーバー（１２２）及びプレイバックサーバー（１３０）は、二つの映像出力端子に連結されることができる。この二つの映像出力端子は、２個のＤＶＩ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｉｎｔｅｒａｃｔｉｖｅ）であってもよく、１個のＤＶＩと１個のＲＧＢ端子であってもよい。

本実施例において、映像マージサーバー（１２２）は、４個のプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）からデコーディングされた映像データを受けて処理する。映像マージサーバー（１２２）は、ディスプレイサーバー（１２１）の要請によって映像データを再構成し、高品質の映像をディスプレイサーバー（１２１）に伝達することができる。映像データの再構成の際、映像マージサーバー（１２２）は、プレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）から再構成に必要な映像を受けて処理する。

一方、映像マージサーバー（１２２）に連結されるディスプレイサーバー（１２１）は、４チャネルのビデオキャプチャーカード（ｖｉｄｅｏ ｃａｐｔｕｒｅ ｃａｒｄ）を備える。ディスプレイサーバー（１２１）は、映像マージサーバー（１２２）で提供する再構成映像を用いて全体映像（Ｍ１、Ｍ２、Ｍ３、図４、図５、図６ご参照）から所定出力条件にともなう映像を選択、編集する。この所定出力条件は、ユーザの相互作用（例えば、マウスクリック、ドラッグ（ｄｒａｇ）、タッチスクリーン動作などに反応してディスプレイサーバー（１２１）が映像マージサーバー（１２２）に最終出力するカメラ（１６０）、カメラ解像度情報などを送っることをいい、この所定出力条件に応答して映像マージサーバー（１２２）は、プレイバックサーバー（１３０）で再生する映像を別途のデコーディング過程のようなオーバーヘッド無しにディスプレイサーバー（１２１）に所定出力条件の映像を提供するようになる。

また、ディスプレイサーバー（１２１）で所定出力条件に応じて構成された映像データは、ディスプレイ装置（１１０）に送信される。このときのディスプレイサーバー（１２１）は、映像マージサーバー（１２２）で出力する映像を低解像度及び高解像度領域に分割し、各画面を固有な個体（ｕｎｉｑｕｅ ｏｂｊｅｃｔ）として認識して処理する。

また、ディスプレイサーバー（１２１）にＤＶＩなどによって連結されてディスプレイサーバー（１２１）で提供する映像を最終出力して表示するディスプレイ装置（１１０）を備えて、前述したカメラ（１６０）、プレイバックサーバー（１３０）、映像マージサーバー（１２２）及び、ディスプレイサーバー（１２１）の動作を制御する制御部（１００）を備える。

以下、映像処理方法に対する実施例を説明する。

図２は、本実施例に係る映像処理方法を説明するための図である。図２に示したように、カメラ（１６０）が各位置で撮影すると、撮影された映像は、カメラ（１６０）で圧縮されてプレイバックサーバー（１３０）に送信される（Ｓ１０）。このとき、カメラ（１６０）は、常に自分の最大解像度で映像を撮影して圧縮する。即ち、本実施例の場合、各々のカメラ（１６０）は、最大解像度である６４０×４８０解像度で該当映像を撮影して圧縮した後、プレイバックサーバー（１３０）に送信する。また、プレイバックサーバー（１３０）は、圧縮された映像をデコーディングして一画面に複数のカメラ（１６０）で撮影した映像をバインディングしてバインディング映像（Ｐ）に構成した後、映像準備部（１２０）に送信する（Ｓ２０）。

また、映像準備部（１２０）の映像マージサーバー（１２２）は、全てのプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）から提供される映像とディスプレイサーバー（１２１）で要請される所定出力条件による映像とを再構成してディスプレイサーバー（１２１）に送信する（Ｓ３０）。

また、ディスプレイサーバー（１２１）は、デフォルト映像（ｄｅｆａｕｌｔ ｄｉｓｐｌａｙ）またはユーザによって要請された所定出力条件にともなう多様な全体映像（Ｍ１、Ｍ２、Ｍ３）を認識し、この全体映像（Ｍ１、Ｍ２、Ｍ３）のうちデフォルト映像または所定出力条件にともなう映像を確認して選択及び編集する。また、この選択及び編集された映像をディスプレイ装置（１１０）に伝達すると、ディスプレイ装置（１１０）は、該当映像を最終出力映像（Ｄ１、Ｄ２、Ｄ３、図７、図８、図９ご参照）として出力する（Ｓ４０）。

一方、ユーザが入力した所定出力条件の映像をディスプレイサーバー（１２１）が全体映像（Ｍ１、Ｍ２、Ｍ３）で認識していない場合、ディスプレイサーバー（１２１）は、映像マージサーバー（１２２）から受けた映像データに該当出力条件の映像が含まれた映像を使うことによって全体映像（Ｍ１、Ｍ２、Ｍ３）をアップデートさせる。

また、ディスプレイサーバー（１２１）は、このアップデートされた全体映像（Ｍ１、Ｍ２、Ｍ３）から該当出力条件の映像を再編集構成してディスプレイ装置（１１０）に伝達し、ディスプレイ装置（１１０）は、該当出力条件の映像を最終出力映像（Ｄ１、Ｄ２、Ｄ３）として出力する。このときの所定出力条件は、特定カメラが撮影した特定解像度のズームイン、ズームアウト、パニングなどのような多様な画面状態に対する条件であり、このときの解像度は、カメラ（１６０）が撮影した最大解像度に選択されることができる。

従って、ディスプレイ装置（１１０）は、ユーザが要求する多様な出力条件にともなう映像をリアルタイムでディスプレイサーバー（１２１）から受けて出力することによって短時間内に高解像度の映像を画面上に表示することができるようになる。さらに、映像の出力中にディスプレイ装置（１１０）で表示しようとする映像の条件が変わる時、映像マージサーバー（１２２）は、リアルタイムでプレイバックサーバー（１３０）から再生される映像を再構成し、高いフレームレートと高解像度の映像をリアルタイムでディスプレイサーバー（１２１）に伝達するため、最終的にディスプレイ装置（１１０）で表示される多様な映像は相当速い応答で高品質の映像が出力されることができる。

以下、映像処理方法に対する各構成要素で提供する画面の状態にともなうより具体的な実施例を図面を参考して詳細に説明する。

既に説明した通り、任意の設置位置に位置したカメラ（１６０）が制御部（１００）の動作信号を受信して該当位置で最大解像度で撮影を開始すると、撮影された映像は、カメラ（１６０）のエンコーダーで圧縮されて動画圧縮ストリームでハブ（１５０）及びギガビットスイッチングハブ（１４０）を経て該当プレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）に送信される。

本実施例において、一つのハブ（１５０）には１８個のカメラ（１６０）が連結されたことを実施例とし、一つのプレイバックサブ（１３０）は、１８個の画面をバインディングして同時に再生することを実施例として説明している。然しながら、カメラ（１６０）の数、プレイバックサーバー（１３０）の数、及び、プレイバックサブ（１３０）でデコーディングして再生する画面の数は、一層多様に変形実施されることができる。また、プレイバックサーバー（１３０）以後からは、映像データの送信及び出力のために映像のエンコーディングやデコーディング過程が行われず、リアルタイムで高解像度の映像が最終出力のために処理される。

図３は、各々のプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）が各カメラ（１６０）で撮影した映像をデコーディングしてモザイクビュー（ｍｏｓａｉｃ ｖｉｅｗ）で再生する映像（以下、"バインディング映像（Ｐ）"という）を例示的に示す図である。

図３に示したように、プレイバックサーバー（１３０）は、１８個の映像データを処理する。このために、プレイバックサーバー（１３０）は、均等の大きさに分割された二つの映像出力領域（ｖｉｄｅｏ ｏｕｔｐｕｔ ａｒｅａ）（Ａ１、Ａ２）にバインディング映像（Ｐ）をモザイクビューで構成して再生した後、各々のプレイバックサーバー（１３０）は、バインディング映像（Ｐ）を二つのＤＶＩ、または一個のＤＶＩと一個のＲＧＢ端子を用いて映像マージサーバー（１２２）に送信する。

また、バインディング映像（Ｐ）のうち一つの領域（Ａ１またはＡ２）は、一つのＤＶＩまたはＲＧＢ端子を介して送信されることができる。また、プレイバックサーバー（１３０）で構成するバインディング映像（Ｐ）に含まれる１個の映像が６４０×４８０解像度を有する場合、一つの領域（Ａ１またはＡ２）は、９個の映像を含むため、１９２０×１４４０画面の大きさで構成されることができる。

このように、プレイバックサーバー（１３０）は、カメラ（１６０）の動作中にカメラ（１６０）が撮影した映像を撮影時の解像度でデコーディングして映像マージサーバー（１２２）に送信する。また、映像マージサーバー（１２２）は、全部８個のチャネルに各々のプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）から送信される出力映像を速かに受ける。

また、映像マージサーバー（１２２）は、全てのプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）から送信されるバインディング映像（Ｐ）を他のデコーディング過程無しに再構成してディスプレイサーバー（１２１）に送信する。このとき、映像マージサーバー（１２２）は、ディスプレイサーバー（１２１）で必要とする画面内容を所定の画面の大きさで構成することができ、また、ディスプレイサーバー（１２１）がユーザによって要請された多様な出力条件に応じて映像を再構成したり、サンプリングすることができる。

本実施例において、映像マージサーバー（１２２）は、プレイバックサーバー（１３０）から送信されるバインディング映像（Ｐ）を４個の１２８０×７２０画面の大きさで再構成し、４個のＤＶＩを用いてディスプレイサーバー（１２１）に送信する。従って、映像マージサーバー（１２２）でディスプレイサーバー（１２１）に提供する全体映像（Ｍ１、Ｍ２、Ｍ３）の大きさは、２５６０×１４４０になることができる。このときの再構成映像と全体映像（Ｍ１、Ｍ２、Ｍ３）の大きさは多様に変形実施されることができる。

一方、ディスプレイサーバー（１２１）は、多様な配置方法によって全体映像（（Ｍ１、Ｍ２、Ｍ３）を認識することができる。また、全てのプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）で提供する画面は、全体映像（Ｍ１、Ｍ２、Ｍ３）に含まれることができる。映像マージサーバー（１２２）は、プレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）でアップデートした映像データをリアルタイムで入力を受けて各画面の映像データを持続的にアップデートした後、画面を再構成し、この再構成した映像をディスプレイサーバー（１２１）に送信する。従って、ディスプレイサーバー（１２１）は、リアルタイムで送信される映像マージサーバー（１２２）の再構成映像を受けて全体映像（Ｍ１、Ｍ２、Ｍ３）を多様な配置状態で認識して処理することができる。

以下、全体映像の実施例に対して説明する。

図４、図５、図６は、全体映像を構成する実施例を説明するための図である。

図４に示された最初の実施例は、全体映像（Ｍ１）の上段１／４領域にプレイバックサーバー（１３０ａ）（１３０ｂ）（１３０ｃ）（１３０ｄ）からデコーディングされる７２個の映像の各々を配置する。例えば、ディスプレイサーバー（１２１）が２５６０×１４４０の大きさで全体映像（Ｍ１）を表す場合、７２個の基本映像（１−７２）の各々は、１２０×９０画面の大きさで表すことができる。この７２個の映像（以下、"基本映像"という）は、ディスプレイ装置（１１０）でマルチビュー（ｍｕｌｔｉ−ｖｉｅｗ）の基本映像として提供する時使われることができる。また、全体映像（Ｍ１、Ｍ２、Ｍ３）の下段３／４領域に全体７２個の映像のうち１２個の映像（１．．．１２）を基本映像より高解像度を有する画面の大きさで配置することができる。

例えば、全体映像（Ｍ１）のうち１〜１２までの画面を高解像度で構成する場合、２５６０×１４４０画面の大きさで全体映像（Ｍ１）を構成するディスプレイサーバー（１２１）は、１〜１２までの画面を最大解像度である６４０×４８０解像度で構成することができる。

図５に示された２回目の実施例は、全体映像（Ｍ２）の上側１／４領域に映像マージサーバー（１２２）から再構成されて送信される７２個の映像を低解像度で配置する。この７２個の低解像度の画面は、ディスプレイ装置（１１０）でマルチビュー（ｍｕｌｔｉ−ｖｉｅｗ）の基本映像として提供されることができる。また、全体映像（Ｍ２）の下段３／４領域に２４個の映像を基本映像より高い解像度を有する画面で配置することができ、この場合、２４個の映像は、３２０×２４０解像度であってもよい。

図６に示された３回目の実施例は、全体映像（Ｍ３）の左側１／２領域に映像マージサーバー（１２２）から受けた再構成映像を用いて７２個の映像の各々を低解像度で配置する。また、右側の１／２領域に全体７２個の映像のうち９個の映像をより高い解像度を有する映像として配置することができる。

即ち、このように、ディスプレイサーバー（１２１）は、映像マージサーバー（１２２）が再構成して送信する再構成映像を全体映像（Ｍ１、Ｍ２、Ｍ３）の一部領域に低解像度で全部配置し、このように、一部予め設定されたり、所定出力条件によって設定された映像を多様な解像度と配置方法で構成することができる。また、映像マージサーバー（１２２）で再構成する全体映像（Ｍ１、Ｍ２、Ｍ３）に含まれる各々の映像は、カメラ（１６０）が撮影した最大解像度になることができる。従って、映像マージサーバー（１２２）は、該当映像の最終出力の際、高品質の映像が提供されることができるようにする。

以下、最終出力映像を構成する方法に対する具体的な実施例を説明する。

ディスプレイサーバー（１２１）は、ユーザによって別途に出力条件が入力されない時、デフォルト（ｄｅｆａｕｌｔ）映像をディスプレイ装置（１１０）に提供する。また、ユーザが所定出力条件、即ち、特定カメラ（１６０）が撮影した映像に対する特定解像度、ズームイン、ズームアウト、パニングなどのような出力条件を入力すると、ディスプレイサーバー（１２１）は、該当出力条件に対する映像がディスプレイサーバー（１２１）で構成する全体映像（Ｍ１、Ｍ２、Ｍ３）に含まれているか確認し、この出力条件の映像が全体映像（Ｍ１、Ｍ２、Ｍ３）に含まれていると、これを選択及び編集してディスプレイ装置（１１０）に送信する。

もし、該当出力条件の映像がディスプレイサーバー（１２１）の全体映像（Ｍ１、Ｍ２、Ｍ３）に含まれていない場合、ディスプレイサーバー（１２１）は、映像マージサーバー（１２２）から提供される再構成映像を用いて全体映像（Ｍ１、Ｍ２、Ｍ３）を再認識する。

図７、図８、図９は、最終出力映像に対する実施例を説明するための図である。

図７は、ディスプレイサーバー（１２１）が全てのプレイバックサーバー（１３０）でエンコーディングしたバインディング映像（Ｐ）を全部表示した状態を示す。このような状態は、映像処理システムの動作が開始される時に表示されることができるデフォルト映像であってもよい。このデフォルト映像は、ディスプレイサーバー（１２１）が全体映像（Ｍ１）からこれらの基本映像（１．．．７２）を選択し、ディスプレイ装置（１１０）で表示する画面の大きさである１９２０×１０８０で基本映像（１．．．７２）を配置してディスプレイ装置（１１０）に送信することによって最終出力される出力映像になることができる。

一方、ユーザが基本映像のうちから一部映像を選択してズームアウトまたはズームインのような出力条件をタッチスクリーン（Ｔｏｕｃｈ ｓｃｒｅｅｎ）動作、マウスクリック、ドラッグ及びその他のユーザインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）のための方法を用いて入力すると、ディスプレイサーバー（１２１）は、選択された画面をこのときの出力条件に応じて全体映像（Ｍ１）から選択、編集する。

例えば、図８に示したように、ユーザが基本映像と共に、基本映像のうちから１の映像をカメラが撮影した高解像度でズームインするためにユーザインターフェースを操作すると、１の映像に対する固有識別子、特定解像度、及び、１の映像に対するコラム（ｃｏｌｕｍｎ）とロー（ｒｏｗ）のアドレスなどが決定されて制御部（１００）を経てディスプレイサーバー（１２１）に伝達される。

また、ディスプレイサーバー（１２１）は、全体映像（Ｍ１、Ｍ２、Ｍ３）のうち１の映像に対してユーザが入力した出力条件に合う映像を構成しているかを確認する。例えば、図４のように、１の映像に対してカメラ（１６０）が撮影した所定出力条件の解像度及びズームイン映像を保有している場合、ディスプレイサーバー（１２１）は、全体映像（Ｍ１、Ｍ２、Ｍ３）から１の映像を選択し、選択された映像データを出力映像のコラムとロー位置にマッピングするように映像データを編集処理する。このような過程は、既に映像マージサーバー（１２２）で提供する全体映像（Ｍ１、Ｍ２、Ｍ３）から選択され、直ちに出力されるため、高画質の画面を相当速いフレームレートを具現することができる。

また、１の映像の所定出力条件の映像と共に他の基本映像をデフォルト条件によって同時に選択して出力映像としてディスプレイ装置（１１０）に提供することができる。これに伴いディスプレイ装置（１１０）で出力する出力映像（Ｄ２）には１の拡大映像及びディスプレイ装置（１１０）で表示可能な残りの画面領域以内に他の基本映像が共に表示される。

さらに、他の実施例において、図９に示したように、１〜１６までの映像を高解像度で拡大するようにユーザがユーザインターフェースを介して該当出力条件を入力することができる。この場合、図４に示されたような全体映像（Ｍ１）では１３〜１６までに対する拡大映像を構成していない。

一方、図５に示された実施例のディスプレイサーバー（１２１）の全体映像（Ｍ２）では１〜１６の画面までの拡大映像を含んでいる。従って、もし、ディスプレイサーバー（１２１）の全体映像（Ｍ１）が図４のように構成されている場合、映像マージサーバー（１２２）から受けた再構成映像を図５に示された状態で全体映像（Ｍ２）に構成し、このうち１〜１６の画面のみを選択した後、これをディスプレイ装置（１１０）に提供するようにすることによって１〜１６の画面に対するズームイン映像として最終出力映像（Ｄ３）が提供できるようになる。このような場合にも既に映像マージサーバー（１２２）は、プレイバックサーバー（１３０）から再生される映像をリアルタイムで受けているため、全体映像（Ｍ１、Ｍ２、Ｍ３）の再構成が短時間中に行われるため、ディスプレイサーバー（１２１）で映像を選択してディスプレイ装置（１１０）に高画質の画面を相当速いフレームレートで送信することができる。

このように、複数の映像に対する多様な大きさのズームイン、ズームアウトが要求される場合、ディスプレイサーバー（１２１）は、要求する映像内容に応じて現在構成している映像と一致する映像が要請される場合、該当映像を直ちに選択編集してディスプレイ装置（１１０）に送信するようにし、該当映像で現在の画面を構成していない場合にも映像マージサーバー（１２２）から再構成されて送信される全体映像（Ｍ１、Ｍ２、Ｍ３）を速かに認識し、この全体映像（Ｍ１、Ｍ２、Ｍ３）で要求される映像を短時間内に選択編集してディスプレイ装置（１１０）に送信するようにすることによって、速かにユーザが要求する多様な映像をディスプレイ装置（１１０）に表示するようにすることができる。

一方、前述した実施例を用いて映像処理システムを一層広域に拡張して実施することができる。図１０は、本発明の他の実施例に係る映像処理システムを示す図である。

図１０に示したように、一層広い地域の一層多いカメラ（１６０）で撮影する映像が処理できるようにするために、プレイバックサーバー及び映像マージサーバーを含む複数個の単一映像マージシステム（３００）（４００）を構成させ、この単一映像マージシステム（３００）（４００）を一つのマルチプルマージサーバー（２００）に連結させた後、ディスプレイサーバー（１２０）とディスプレイ装置（１１０）によって映像を表示するようにすることができ、このような実施例は、一層広い地域に対して一層多い画面の迅速な処理が可能になるようにする。

以上のような本実施例に係る映像処理システム及び映像処理方法は、映像処理のためにプレイバックサーバー、映像マージサーバー、及び、ディスプレイサーバー間に映像情報の送信の際、圧縮された映像形態をデータネットワークを介して送信せず、複数の映像をバインディングして再生するプレイバックサーバーから送信される映像で必要な映像をキャプチャーしてディスプレイするようにする。従って、本実施例におけるサーバー間の映像情報伝達方式は、映像情報送信のために圧縮／復元するオーバーヘッド（ｏｖｅｒｈｅａｄ）過程をなくすことができるため、リアルタイムで映像の処理が可能であり、また、イーサネット（ｅｔｈｅｒｎｅｔ）のように、多様なサーバーが共有するデータ送信網でなく、サーバー間の専用線を介してデータ送信を実行するため、一層多い量の映像情報が高速に送信できるようにすることによって、高画質状態が維持され、ズームアウトまたはパニングされる映像がリアルタイムでディスプレイできるようにする。

Claims (6)

1. 複数のカメラの各々が最大解像度で映像を撮影した後、圧縮してプレイバックサーバーに送信し、前記プレイバックサーバーは、複数の前記カメラで圧縮されて送信される複数の映像をデコーディングし、一つの画面に前記複数の映像をバインディングしてバインディング映像を構成した後、映像マージサーバーに送信し、前記映像マージサーバーは、前記プレイバックサーバーから提供される前記バインディング映像をディスプレイサーバーで要請する映像で再構成して前記ディスプレイサーバーに送信し、前記ディスプレイサーバーは、再構成された映像をディスプレイ装置に送信し、前記ディスプレイ装置が前記再構成された映像をディスプレイする映像処理方法において、
   前記映像処理方法は、前記ディスプレイサーバーで要請する条件の映像が前記映像マージサーバーで提供する前記バインディング映像にある場合、前記バインディング映像のうち前記ディスプレイサーバーで要請する映像を前記ディスプレイサーバーに伝達し、前記バインディング映像に前記ディスプレイサーバーで要請する条件の映像がない場合、前記プレイバックサーバーでデコーディングされた映像のうち前記要請する条件に該当する映像が含まれた全体映像を再構成し、前記再構成された全体映像から前記所定出力条件の映像を選択して前記ディスプレイサーバーに送信することを特徴とする映像処理方法。
2. 前記所定出力条件は、ユーザによって選択される複数の前記カメラのうちから選択されたカメラが撮影した映像、または前記選択されたカメラで撮影した映像のズームイン、ズームアウトまたはパニング状態に対することであることを特徴とする請求項１に記載の映像処理方法。
3. 複数のカメラが撮影した映像を圧縮して送信し、前記複数のカメラで圧縮送信された映像をデコーディングし、最終出力が行われる間に複数の映像を共に持続的に再生し、前記複数の映像を前記カメラが撮影する最大解像度以下の範囲を有する所定出力条件に応じて全体映像を構成し、前記全体映像から前記所定出力条件に該当する映像を選択して出力することを特徴とする請求項１に記載の映像処理方法。
4. 前記所定出力条件が変わる場合、前記全体映像で変わった出力条件の映像を選択して出力することを特徴とする請求項３に記載の映像処理方法。
5. 前記プレイバックサーバーは、複数の前記カメラで送信される複数の映像をグラフィックカードを使用して全部デコーディングされた映像に再生して出力し、前記映像マージサーバーは、前記プレイバックサーバーから出力される前記デコーディングされた映像をキャプチャーカードを使用して獲得し、前記プレイバックサーバーは、専用線を用いて前記デコーディングされた映像の信号を前記映像マージサーバーに送信することを特徴とする請求項１に記載のサーバー間映像処理方法。
6. 前記映像マージサーバーは、任意の形態で組合わせられた映像信号をデコーディングされた映像に再生して出力し、前記ディスプレイサーバーは、前記映像マージサーバーから出力される前記デコーディングされた映像をキャプチャーカードを使用して獲得することを特徴とする請求項５に記載のサーバー間映像処理方法。