JP2011509626A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2011509626A5 JP2011509626A5 JP2010542176A JP2010542176A JP2011509626A5 JP 2011509626 A5 JP2011509626 A5 JP 2011509626A5 JP 2010542176 A JP2010542176 A JP 2010542176A JP 2010542176 A JP2010542176 A JP 2010542176A JP 2011509626 A5 JP2011509626 A5 JP 2011509626A5
- Authority
- JP
- Japan
- Prior art keywords
- video
- server
- display
- playback
- merge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 claims description 22
- 230000000875 corresponding Effects 0.000 claims description 19
- 238000004091 panning Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 16
- 238000000034 method Methods 0.000 description 12
- 238000002360 preparation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000007906 compression Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Description
本発明は、映像処理システム及び映像処理方法に関し、より詳しくは、複数のカメラで撮影した映像をデコーディングしてディスプレイのために予め準備するようにする映像処理システム、映像処理方法及びサーバー間映像信号の処理方法に関する。
無人監視システムは、閉鎖回路カメラで撮影した映像データを記録装置に格納しながらディスプレイ装置に出力するようにするためのものであり、このような無人監視システムの効率的な統制と活用のためには複数の位置に散在している多量のカメラから提供される映像データを一つのディスプレイ装置で効果的に確認及び監視が行われるようにする必要がある。
このための従来の技術には、"大韓民国登録特許10−0504133"、"監視モニターの画面制御方法"がある。前記登録特許では一つのディスプレイ上に表示される画面領域を分割して各々の分割された領域にカメラから撮影される映像を表すようにする。
前記登録特許は、複数の監視カメラまたは複数の監視カメラに結合されたレコーディング手段から圧縮された複数の映像を受信し、レコーディング手段が受信した複数の映像を復元し、複数の映像を一つの画面で均等分割された複数のウィンドウに各々出力し、監視モニターを制御する再生手段内のメモリーに格納された画面制御手段を用いてユーザ入力手段による入力情報によって一つの画面で均等分割された複数のウィンドウを併合、分離または位置変更するようにする。
また、前記登録特許では各々のカメラで撮影した映像をJPEGのようなデータフォーマットで圧縮してネットワークを介してレコーディング手段に送信し、レコーディング手段は、出力のために圧縮された映像データをデコーディングしてディスプレイ装置に表示するようにする。 然しながら、ディスプレイ装置に映像を表示するために各々のカメラで撮影された映像データを画面表示のための要請がある時毎にレコーディング装置からデコーディングして出力すべきであるため、ディスプレイ装置に映像を表示するための動作時間が長くなるようになってリアルタイムで画面の制御が行われず、さらに、複数のカメラで撮影した映像をリアルタイムでカメラの最大フレームレート及び解像度を維持しながら一画面に表示することが事実上不可である。
本発明の目的は、複数のカメラで撮影した映像をデコーディングして予め準備した状態で必要時ごとに映像がディスプレイできるようにする映像処理システム、映像処理方法及びサーバー間映像信号の伝達方法を提供することである。
本発明の他の目的は、一つの画面にカメラ数の制限無しに複数のカメラで撮影した映像をリアルタイムでカメラの最大フレームレート(Frame rate)を維持させながら出力することができる映像処理システム、映像処理方法及びサーバー間映像信号の伝達方法を提供することである。
本発明の他の目的は、ユーザの要求に応じてリアルタイムで該当映像がズームイン、ズームアウトまたはパニングできるようにする映像処理システム、映像処理方法及びサーバー間映像信号の伝達方法を提供することである。
映像処理システムは、撮影した映像を圧縮して提供するカメラ、前記カメラから送信される動画圧縮ストリームをデコーディングするプレイバックサーバー(playback server)及び前記プレイバックサーバーでデコーディングされる映像を処理する映像処理部を備える映像準備部、前記映像準備部で準備して提供する映像を表示するディスプレイ装置、を備える。
前記プレイバックサーバーは、複数個の前記カメラで撮影した複数個の映像をバインディングして再生することができる。
前記カメラは複数個に備えられ、複数個の前記カメラは少なくとも一つ以上のハブに連結され、前記ハブ及び前記プレイバックサーバーはスイッチングハブによってスイッチングすることができる。
前記映像準備部は、複数の前記プレイバックサーバーで提供するバインディング映像を再構成する映像マージサーバー及び、前記映像マージサーバーで再構成して送信する前記バインディング映像を全体映像に構成し、所定出力条件に応じて前記全体映像を構成して前記ディスプレイ装置に最終出力映像を伝達するディスプレイサーバーを備えることができる。
前記映像マージサーバーは複数個に備えられ、前記ディスプレイサーバーと前記映像マージサーバーとの間には各々の前記映像マージサーバーの映像を処理するマルチプルマージサーバーが備えられることができる。
前記ディスプレイサーバーは、ユーザが要請した前記所定出力条件を前記映像マージサーバーに伝達し、前記映像マージサーバーは、前記所定出力条件に応じて前記プレイバックサーバーで再生される前記バインディング映像から前記所定出力条件の映像を再構成して前記ディスプレイサーバーに伝達することができる。
映像処理方法は、カメラで映像を圧縮して提供する段階;前記圧縮された映像をデコーディングするデコーディング段階;前記デコーディングされる映像を所定出力条件に応じて再構成して全体映像を準備する準備段階;前記全体映像から前記所定出力条件の映像を最終出力映像として出力する出力段階を備える。
前記デコーディング段階は、複数個の前記カメラで撮影した複数個の映像をデコーディングした後、前記複数個の映像をバインディングして再生することができる。
前記準備段階において、前記全体映像に前記所定出力条件に該当する映像がある場合、前記全体映像から前記所定出力条件の映像を伝達し、前記全体映像に前記所定出力条件の映像がない場合、前記デコーディング段階における既にデコーディングされた映像のうち前記所定出力条件に該当する映像が含まれた前記全体映像を再構成し、前記再構成された全体映像から前記所定出力条件の映像を選択して伝達することができる。
前記所定出力条件は、ユーザによって選択される複数の前記カメラのうちから選択されたカメラが撮影した映像、または前記選択されたカメラで撮影した映像のズームイン、ズームアウトまたはパニング状態に対することであることができる。
映像処理方法は、複数のカメラが撮影した映像を圧縮して送信し、前記複数のカメラで圧縮送信された映像をデコーディングし、最終出力が行われる間に複数の映像共に持続的に再生し、前記複数の映像を前記カメラが撮影する最大解像度以下の範囲を有する所定出力条件に応じて全体映像を構成し、前記全体映像から前記所定出力条件に該当する映像を選択して出力する。
前記所定出力条件が変わる場合、前記全体映像で変わった出力条件の映像を選択して出力することができる。
前記所定出力条件が変わり、前記全体映像に変わった出力条件の映像が含まれていない場合、前記再生される映像から前記全体映像を再構成し、前記再構成された映像から前記変わった出力条件に該当する映像を選択して出力することができる。
前記の課題を解決するための本発明の一実施例に係るリアルタイム映像処理のための送信サーバーと受信サーバーとの間の映像信号の伝達方法によると、前記送信サーバーは、入力される複数の映像をグラフィックカードを使用して全部デコーディングされた映像に再生して出力し、前記受信サーバーは、前記送信サーバーから出力される前記デコーディングされた映像をキャプチャーカードを使用して獲得し、前記送信サーバーは、専用線を用いて前記デコーディングされた映像の信号を前記受信サーバーに送信する。
前記実施例の一側面によると、前記送信サーバーに入力される複数の映像は、複数のカメラの各々で撮影して獲得した符号化された各々の映像を共に集合させたものであり、前記受信サーバーは、複数の前記送信サーバーからデコーディングされた映像の信号を受信することができる。この場合、前記送信サーバーはプレイバックサーバーであり、前記受信サーバーは映像マージサーバーであり、前記映像マージサーバーは、前記複数の送信サーバーから入力される前記デコーディングされた映像を、前記映像マージサーバーの外部から入力される要請信号に従って、任意の形態で組合せた映像信号に変形してディスプレイサーバーに出力することができる。また、前記映像マージサーバーは、任意の形態で組合わせられた映像信号をデコーディングされた映像に再生して出力し、前記ディスプレイサーバーは、前記映像マージサーバーから出力される前記デコーディングされた映像をキャプチャーカードを使用して獲得することができる。また、前記受信サーバーが受信する前記デコーディングされた映像は、前記複数のカメラが獲得した高解像度の映像である。
本発明にともなう映像処理システム、映像処理方法及び映像伝達方法は、カメラで撮影されて圧縮された映像を予めデコーディングして準備した後、ディスプレイ装置に表示するための多様な出力条件に映像を構成して出力するようにすることによって映像の表示条件が変わる時毎に必要な映像をデコーディングして表示する従来の場合より短時間内に速かに所望の映像が表示できるようにし、さらに、一つの画面にカメラの数の制限無しに複数のカメラで撮影した映像をリアルタイムでカメラの最大フレームレート(Frame rate)を維持させながら表示するようにすることができる。従って、ユーザの要求に応じてリアルタイムで該当映像がズームイン、ズームアウトまたはパニングできるようにすることによって映像処理システムの動作応答性及び使用効率を向上させることができる効果がある。
図1は、本実施例に係る映像処理システムを示す図である。図1に示したように、映像処理システムは、ネットワーク上に連結される複数個のカメラ(160)を備える。このカメラ(160)は、各々、近距離ネットワークを構成することができ、このとき、これらの各々のカメラ(160)は、各々のハブ(hub)(150)に連結されることができる。
本実施例において、カメラ(160)は、撮影された映像をMJPEG、MPEG−4、JPEG2000などのような映像圧縮プロトコルで圧縮するエンコーダー(encoder)を備える。従って、カメラ(160)は、撮影した映像を動画圧縮ストリーム(stream)で出力する。このようなカメラ(160)は、640×480の解像度を有するネットワークIPカメラ(160)であってもよく、またはアナログカメラ(160)であってもよい。
カメラ(160)が連結された全てのハブ(150)は、カメラ(160)のIPアドレスまたはMACアドレスのようなカメラ(160)の固有アドレスに応じてデータ送受信のための連結を制御する。また、各々のハブ(150)は、これらのハブ(150)に対するルーティング(routing)が可能なギガビットスイッチングハブ(gigabit switching hub)(140)に連結される。
また、ギガビットスイッチングハブ(140)には映像処理部が連結される。映像処理部は、複数個のプレイバックサーバー(130a)(130b)(130c)(130d)とこの複数個のプレイバックサーバー(130a)(130b)(130c)(130d)と専用線によって連結される映像準備部(120)を備える。ギガビットスイッチングハブ(140)は、カメラ(160)が連結されたハブ(150)と各々のプレイバックサーバー(130a)(130b)(130c)(130d)をルーティングすることができる。
プレイバックサーバー(130)は、各々が一つのハブ(150)に連結された複数個のカメラ(160)から提供される動画圧縮ストリームを格納することができる記録媒体、記録された映像の再生のために圧縮された映像データをデコーディングするためのデコーダー(decoder)、グラフィックカードを備えるデジタル映像格納装置(Digital Video Recorder)である。本実施例は、プレイバックサーバー(130)が4個の場合を例示している。然しながら、プレイバックサーバー(130)はこれより少なくてもよく、多くてもよい。
一方、全てのプレイバックサーバー(130a)(130b)(130c)(130d)は映像準備部(120)と連結される。映像準備部(120)は、プレイバックサーバー(130)で再生する映像を別途のデコーディング過程なしにサンプリングして出力準備するためのものであり、速いフレームレートで映像を準備する映像マージサーバー(122)及び映像マージサーバー(122)から伝達された映像を速かに編集するディスプレイサーバー(121)を含むことができる。
このような映像マージサーバー(122)及びプレイバックサーバー(130)は、二つの映像出力端子に連結されることができる。この二つの映像出力端子は、2個のDVI(digital video interactive)であってもよく、1個のDVIと1個のRGB端子であってもよい。
本実施例において、映像マージサーバー(122)は、4個のプレイバックサーバー(130a)(130b)(130c)(130d)からデコーディングされた映像データを受けて処理する。映像マージサーバー(122)は、ディスプレイサーバー(121)の要請によって映像データを再構成し、高品質の映像をディスプレイサーバー(121)に伝達することができる。映像データの再構成の際、映像マージサーバー(122)は、プレイバックサーバー(130a)(130b)(130c)(130d)から再構成に必要な映像を受けて処理する。
一方、映像マージサーバー(122)に連結されるディスプレイサーバー(121)は、4チャネルのビデオキャプチャーカード(video capture card)を備える。ディスプレイサーバー(121)は、映像マージサーバー(122)で提供する再構成映像を用いて全体映像(M1、M2、M3、図4、図5、図6ご参照)から所定出力条件にともなう映像を選択、編集する。この所定出力条件は、ユーザの相互作用(例えば、マウスクリック、ドラッグ(drag)、タッチスクリーン動作などに反応してディスプレイサーバー(121)が映像マージサーバー(122)に最終出力するカメラ(160)、カメラ解像度情報などを送っることをいい、この所定出力条件に応答して映像マージサーバー(122)は、プレイバックサーバー(130)で再生する映像を別途のデコーディング過程のようなオーバーヘッド無しにディスプレイサーバー(121)に所定出力条件の映像を提供するようになる。
また、ディスプレイサーバー(121)で所定出力条件に応じて構成された映像データは、ディスプレイ装置(110)に送信される。このときのディスプレイサーバー(121)は、映像マージサーバー(122)で出力する映像を低解像度及び高解像度領域に分割し、各画面を固有な個体(unique object)として認識して処理する。
また、ディスプレイサーバー(121)にDVIなどによって連結されてディスプレイサーバー(121)で提供する映像を最終出力して表示するディスプレイ装置(110)を備えて、前述したカメラ(160)、プレイバックサーバー(130)、映像マージサーバー(122)及び、ディスプレイサーバー(121)の動作を制御する制御部(100)を備える。
以下、映像処理方法に対する実施例を説明する。
図2は、本実施例に係る映像処理方法を説明するための図である。図2に示したように、カメラ(160)が各位置で撮影すると、撮影された映像は、カメラ(160)で圧縮されてプレイバックサーバー(130)に送信される(S10)。このとき、カメラ(160)は、常に自分の最大解像度で映像を撮影して圧縮する。即ち、本実施例の場合、各々のカメラ(160)は、最大解像度である640×480解像度で該当映像を撮影して圧縮した後、プレイバックサーバー(130)に送信する。また、プレイバックサーバー(130)は、圧縮された映像をデコーディングして一画面に複数のカメラ(160)で撮影した映像をバインディングしてバインディング映像(P)に構成した後、映像準備部(120)に送信する(S20)。
また、映像準備部(120)の映像マージサーバー(122)は、全てのプレイバックサーバー(130a)(130b)(130c)(130d)から提供される映像とディスプレイサーバー(121)で要請される所定出力条件による映像とを再構成してディスプレイサーバー(121)に送信する(S30)。
また、ディスプレイサーバー(121)は、デフォルト映像(default display)またはユーザによって要請された所定出力条件にともなう多様な全体映像(M1、M2、M3)を認識し、この全体映像(M1、M2、M3)のうちデフォルト映像または所定出力条件にともなう映像を確認して選択及び編集する。また、この選択及び編集された映像をディスプレイ装置(110)に伝達すると、ディスプレイ装置(110)は、該当映像を最終出力映像(D1、D2、D3、図7、図8、図9ご参照)として出力する(S40)。
一方、ユーザが入力した所定出力条件の映像をディスプレイサーバー(121)が全体映像(M1、M2、M3)で認識していない場合、ディスプレイサーバー(121)は、映像マージサーバー(122)から受けた映像データに該当出力条件の映像が含まれた映像を使うことによって全体映像(M1、M2、M3)をアップデートさせる。
また、ディスプレイサーバー(121)は、このアップデートされた全体映像(M1、M2、M3)から該当出力条件の映像を再編集構成してディスプレイ装置(110)に伝達し、ディスプレイ装置(110)は、該当出力条件の映像を最終出力映像(D1、D2、D3)として出力する。このときの所定出力条件は、特定カメラが撮影した特定解像度のズームイン、ズームアウト、パニングなどのような多様な画面状態に対する条件であり、このときの解像度は、カメラ(160)が撮影した最大解像度に選択されることができる。
従って、ディスプレイ装置(110)は、ユーザが要求する多様な出力条件にともなう映像をリアルタイムでディスプレイサーバー(121)から受けて出力することによって短時間内に高解像度の映像を画面上に表示することができるようになる。さらに、映像の出力中にディスプレイ装置(110)で表示しようとする映像の条件が変わる時、映像マージサーバー(122)は、リアルタイムでプレイバックサーバー(130)から再生される映像を再構成し、高いフレームレートと高解像度の映像をリアルタイムでディスプレイサーバー(121)に伝達するため、最終的にディスプレイ装置(110)で表示される多様な映像は相当速い応答で高品質の映像が出力されることができる。
以下、映像処理方法に対する各構成要素で提供する画面の状態にともなうより具体的な実施例を図面を参考して詳細に説明する。
既に説明した通り、任意の設置位置に位置したカメラ(160)が制御部(100)の動作信号を受信して該当位置で最大解像度で撮影を開始すると、撮影された映像は、カメラ(160)のエンコーダーで圧縮されて動画圧縮ストリームでハブ(150)及びギガビットスイッチングハブ(140)を経て該当プレイバックサーバー(130a)(130b)(130c)(130d)に送信される。
本実施例において、一つのハブ(150)には18個のカメラ(160)が連結されたことを実施例とし、一つのプレイバックサブ(130)は、18個の画面をバインディングして同時に再生することを実施例として説明している。然しながら、カメラ(160)の数、プレイバックサーバー(130)の数、及び、プレイバックサブ(130)でデコーディングして再生する画面の数は、一層多様に変形実施されることができる。また、プレイバックサーバー(130)以後からは、映像データの送信及び出力のために映像のエンコーディングやデコーディング過程が行われず、リアルタイムで高解像度の映像が最終出力のために処理される。
図3は、各々のプレイバックサーバー(130a)(130b)(130c)(130d)が各カメラ(160)で撮影した映像をデコーディングしてモザイクビュー(mosaic view)で再生する映像(以下、"バインディング映像(P)"という)を例示的に示す図である。
図3に示したように、プレイバックサーバー(130)は、18個の映像データを処理する。このために、プレイバックサーバー(130)は、均等の大きさに分割された二つの映像出力領域(video output area)(A1、A2)にバインディング映像(P)をモザイクビューで構成して再生した後、各々のプレイバックサーバー(130)は、バインディング映像(P)を二つのDVI、または一個のDVIと一個のRGB端子を用いて映像マージサーバー(122)に送信する。
また、バインディング映像(P)のうち一つの領域(A1またはA2)は、一つのDVIまたはRGB端子を介して送信されることができる。また、プレイバックサーバー(130)で構成するバインディング映像(P)に含まれる1個の映像が640×480解像度を有する場合、一つの領域(A1またはA2)は、9個の映像を含むため、1920×1440画面の大きさで構成されることができる。
このように、プレイバックサーバー(130)は、カメラ(160)の動作中にカメラ(160)が撮影した映像を撮影時の解像度でデコーディングして映像マージサーバー(122)に送信する。また、映像マージサーバー(122)は、全部8個のチャネルに各々のプレイバックサーバー(130a)(130b)(130c)(130d)から送信される出力映像を速かに受ける。
また、映像マージサーバー(122)は、全てのプレイバックサーバー(130a)(130b)(130c)(130d)から送信されるバインディング映像(P)を他のデコーディング過程無しに再構成してディスプレイサーバー(121)に送信する。このとき、映像マージサーバー(122)は、ディスプレイサーバー(121)で必要とする画面内容を所定の画面の大きさで構成することができ、また、ディスプレイサーバー(121)がユーザによって要請された多様な出力条件に応じて映像を再構成したり、サンプリングすることができる。
本実施例において、映像マージサーバー(122)は、プレイバックサーバー(130)から送信されるバインディング映像(P)を4個の1280×720画面の大きさで再構成し、4個のDVIを用いてディスプレイサーバー(121)に送信する。従って、映像マージサーバー(122)でディスプレイサーバー(121)に提供する全体映像(M1、M2、M3)の大きさは、2560×1440になることができる。このときの再構成映像と全体映像(M1、M2、M3)の大きさは多様に変形実施されることができる。
一方、ディスプレイサーバー(121)は、多様な配置方法によって全体映像((M1、M2、M3)を認識することができる。また、全てのプレイバックサーバー(130a)(130b)(130c)(130d)で提供する画面は、全体映像(M1、M2、M3)に含まれることができる。映像マージサーバー(122)は、プレイバックサーバー(130a)(130b)(130c)(130d)でアップデートした映像データをリアルタイムで入力を受けて各画面の映像データを持続的にアップデートした後、画面を再構成し、この再構成した映像をディスプレイサーバー(121)に送信する。従って、ディスプレイサーバー(121)は、リアルタイムで送信される映像マージサーバー(122)の再構成映像を受けて全体映像(M1、M2、M3)を多様な配置状態で認識して処理することができる。
以下、全体映像の実施例に対して説明する。
図4、図5、図6は、全体映像を構成する実施例を説明するための図である。
図4に示された最初の実施例は、全体映像(M1)の上段1/4領域にプレイバックサーバー(130a)(130b)(130c)(130d)からデコーディングされる72個の映像の各々を配置する。例えば、ディスプレイサーバー(121)が2560×1440の大きさで全体映像(M1)を表す場合、72個の基本映像(1−72)の各々は、120×90画面の大きさで表すことができる。この72個の映像(以下、"基本映像"という)は、ディスプレイ装置(110)でマルチビュー(multi−view)の基本映像として提供する時使われることができる。また、全体映像(M1、M2、M3)の下段3/4領域に全体72個の映像のうち12個の映像(1...12)を基本映像より高解像度を有する画面の大きさで配置することができる。
例えば、全体映像(M1)のうち1〜12までの画面を高解像度で構成する場合、2560×1440画面の大きさで全体映像(M1)を構成するディスプレイサーバー(121)は、1〜12までの画面を最大解像度である640×480解像度で構成することができる。
図5に示された2回目の実施例は、全体映像(M2)の上側1/4領域に映像マージサーバー(122)から再構成されて送信される72個の映像を低解像度で配置する。この72個の低解像度の画面は、ディスプレイ装置(110)でマルチビュー(multi−view)の基本映像として提供されることができる。また、全体映像(M2)の下段3/4領域に24個の映像を基本映像より高い解像度を有する画面で配置することができ、この場合、24個の映像は、320×240解像度であってもよい。
図6に示された3回目の実施例は、全体映像(M3)の左側1/2領域に映像マージサーバー(122)から受けた再構成映像を用いて72個の映像の各々を低解像度で配置する。また、右側の1/2領域に全体72個の映像のうち9個の映像をより高い解像度を有する映像として配置することができる。
即ち、このように、ディスプレイサーバー(121)は、映像マージサーバー(122)が再構成して送信する再構成映像を全体映像(M1、M2、M3)の一部領域に低解像度で全部配置し、このように、一部予め設定されたり、所定出力条件によって設定された映像を多様な解像度と配置方法で構成することができる。また、映像マージサーバー(122)で再構成する全体映像(M1、M2、M3)に含まれる各々の映像は、カメラ(160)が撮影した最大解像度になることができる。従って、映像マージサーバー(122)は、該当映像の最終出力の際、高品質の映像が提供されることができるようにする。
以下、最終出力映像を構成する方法に対する具体的な実施例を説明する。
ディスプレイサーバー(121)は、ユーザによって別途に出力条件が入力されない時、デフォルト(default)映像をディスプレイ装置(110)に提供する。また、ユーザが所定出力条件、即ち、特定カメラ(160)が撮影した映像に対する特定解像度、ズームイン、ズームアウト、パニングなどのような出力条件を入力すると、ディスプレイサーバー(121)は、該当出力条件に対する映像がディスプレイサーバー(121)で構成する全体映像(M1、M2、M3)に含まれているか確認し、この出力条件の映像が全体映像(M1、M2、M3)に含まれていると、これを選択及び編集してディスプレイ装置(110)に送信する。
もし、該当出力条件の映像がディスプレイサーバー(121)の全体映像(M1、M2、M3)に含まれていない場合、ディスプレイサーバー(121)は、映像マージサーバー(122)から提供される再構成映像を用いて全体映像(M1、M2、M3)を再認識する。
図7、図8、図9は、最終出力映像に対する実施例を説明するための図である。
図7は、ディスプレイサーバー(121)が全てのプレイバックサーバー(130)でエンコーディングしたバインディング映像(P)を全部表示した状態を示す。このような状態は、映像処理システムの動作が開始される時に表示されることができるデフォルト映像であってもよい。このデフォルト映像は、ディスプレイサーバー(121)が全体映像(M1)からこれらの基本映像(1...72)を選択し、ディスプレイ装置(110)で表示する画面の大きさである1920×1080で基本映像(1...72)を配置してディスプレイ装置(110)に送信することによって最終出力される出力映像になることができる。
一方、ユーザが基本映像のうちから一部映像を選択してズームアウトまたはズームインのような出力条件をタッチスクリーン(Touch screen)動作、マウスクリック、ドラッグ及びその他のユーザインターフェース(user interface)のための方法を用いて入力すると、ディスプレイサーバー(121)は、選択された画面をこのときの出力条件に応じて全体映像(M1)から選択、編集する。
例えば、図8に示したように、ユーザが基本映像と共に、基本映像のうちから1の映像をカメラが撮影した高解像度でズームインするためにユーザインターフェースを操作すると、1の映像に対する固有識別子、特定解像度、及び、1の映像に対するコラム(column)とロー(row)のアドレスなどが決定されて制御部(100)を経てディスプレイサーバー(121)に伝達される。
また、ディスプレイサーバー(121)は、全体映像(M1、M2、M3)のうち1の映像に対してユーザが入力した出力条件に合う映像を構成しているかを確認する。例えば、図4のように、1の映像に対してカメラ(160)が撮影した所定出力条件の解像度及びズームイン映像を保有している場合、ディスプレイサーバー(121)は、全体映像(M1、M2、M3)から1の映像を選択し、選択された映像データを出力映像のコラムとロー位置にマッピングするように映像データを編集処理する。このような過程は、既に映像マージサーバー(122)で提供する全体映像(M1、M2、M3)から選択され、直ちに出力されるため、高画質の画面を相当速いフレームレートを具現することができる。
また、1の映像の所定出力条件の映像と共に他の基本映像をデフォルト条件によって同時に選択して出力映像としてディスプレイ装置(110)に提供することができる。これに伴いディスプレイ装置(110)で出力する出力映像(D2)には1の拡大映像及びディスプレイ装置(110)で表示可能な残りの画面領域以内に他の基本映像が共に表示される。
さらに、他の実施例において、図9に示したように、1〜16までの映像を高解像度で拡大するようにユーザがユーザインターフェースを介して該当出力条件を入力することができる。この場合、図4に示されたような全体映像(M1)では13〜16までに対する拡大映像を構成していない。
一方、図5に示された実施例のディスプレイサーバー(121)の全体映像(M2)では1〜16の画面までの拡大映像を含んでいる。従って、もし、ディスプレイサーバー(121)の全体映像(M1)が図4のように構成されている場合、映像マージサーバー(122)から受けた再構成映像を図5に示された状態で全体映像(M2)に構成し、このうち1〜16の画面のみを選択した後、これをディスプレイ装置(110)に提供するようにすることによって1〜16の画面に対するズームイン映像として最終出力映像(D3)が提供できるようになる。このような場合にも既に映像マージサーバー(122)は、プレイバックサーバー(130)から再生される映像をリアルタイムで受けているため、全体映像(M1、M2、M3)の再構成が短時間中に行われるため、ディスプレイサーバー(121)で映像を選択してディスプレイ装置(110)に高画質の画面を相当速いフレームレートで送信することができる。
このように、複数の映像に対する多様な大きさのズームイン、ズームアウトが要求される場合、ディスプレイサーバー(121)は、要求する映像内容に応じて現在構成している映像と一致する映像が要請される場合、該当映像を直ちに選択編集してディスプレイ装置(110)に送信するようにし、該当映像で現在の画面を構成していない場合にも映像マージサーバー(122)から再構成されて送信される全体映像(M1、M2、M3)を速かに認識し、この全体映像(M1、M2、M3)で要求される映像を短時間内に選択編集してディスプレイ装置(110)に送信するようにすることによって、速かにユーザが要求する多様な映像をディスプレイ装置(110)に表示するようにすることができる。
一方、前述した実施例を用いて映像処理システムを一層広域に拡張して実施することができる。図10は、本発明の他の実施例に係る映像処理システムを示す図である。
図10に示したように、一層広い地域の一層多いカメラ(160)で撮影する映像が処理できるようにするために、プレイバックサーバー及び映像マージサーバーを含む複数個の単一映像マージシステム(300)(400)を構成させ、この単一映像マージシステム(300)(400)を一つのマルチプルマージサーバー(200)に連結させた後、ディスプレイサーバー(120)とディスプレイ装置(110)によって映像を表示するようにすることができ、このような実施例は、一層広い地域に対して一層多い画面の迅速な処理が可能になるようにする。
以上のような本実施例に係る映像処理システム及び映像処理方法は、映像処理のためにプレイバックサーバー、映像マージサーバー、及び、ディスプレイサーバー間に映像情報の送信の際、圧縮された映像形態をデータネットワークを介して送信せず、複数の映像をバインディングして再生するプレイバックサーバーから送信される映像で必要な映像をキャプチャーしてディスプレイするようにする。従って、本実施例におけるサーバー間の映像情報伝達方式は、映像情報送信のために圧縮/復元するオーバーヘッド(overhead)過程をなくすことができるため、リアルタイムで映像の処理が可能であり、また、イーサネット(ethernet)のように、多様なサーバーが共有するデータ送信網でなく、サーバー間の専用線を介してデータ送信を実行するため、一層多い量の映像情報が高速に送信できるようにすることによって、高画質状態が維持され、ズームアウトまたはパニングされる映像がリアルタイムでディスプレイできるようにする。
Claims (6)
- 複数のカメラの各々が最大解像度で映像を撮影した後、圧縮してプレイバックサーバーに送信し、前記プレイバックサーバーは、複数の前記カメラで圧縮されて送信される複数の映像をデコーディングし、一つの画面に前記複数の映像をバインディングしてバインディング映像を構成した後、映像マージサーバーに送信し、前記映像マージサーバーは、前記プレイバックサーバーから提供される前記バインディング映像をディスプレイサーバーで要請する映像で再構成して前記ディスプレイサーバーに送信し、前記ディスプレイサーバーは、再構成された映像をディスプレイ装置に送信し、前記ディスプレイ装置が前記再構成された映像をディスプレイする映像処理方法において、
前記映像処理方法は、前記ディスプレイサーバーで要請する条件の映像が前記映像マージサーバーで提供する前記バインディング映像にある場合、前記バインディング映像のうち前記ディスプレイサーバーで要請する映像を前記ディスプレイサーバーに伝達し、前記バインディング映像に前記ディスプレイサーバーで要請する条件の映像がない場合、前記プレイバックサーバーでデコーディングされた映像のうち前記要請する条件に該当する映像が含まれた全体映像を再構成し、前記再構成された全体映像から前記所定出力条件の映像を選択して前記ディスプレイサーバーに送信することを特徴とする映像処理方法。 - 前記所定出力条件は、ユーザによって選択される複数の前記カメラのうちから選択されたカメラが撮影した映像、または前記選択されたカメラで撮影した映像のズームイン、ズームアウトまたはパニング状態に対することであることを特徴とする請求項1に記載の映像処理方法。
- 複数のカメラが撮影した映像を圧縮して送信し、前記複数のカメラで圧縮送信された映像をデコーディングし、最終出力が行われる間に複数の映像を共に持続的に再生し、前記複数の映像を前記カメラが撮影する最大解像度以下の範囲を有する所定出力条件に応じて全体映像を構成し、前記全体映像から前記所定出力条件に該当する映像を選択して出力することを特徴とする請求項1に記載の映像処理方法。
- 前記所定出力条件が変わる場合、前記全体映像で変わった出力条件の映像を選択して出力することを特徴とする請求項3に記載の映像処理方法。
- 前記プレイバックサーバーは、複数の前記カメラで送信される複数の映像をグラフィックカードを使用して全部デコーディングされた映像に再生して出力し、前記映像マージサーバーは、前記プレイバックサーバーから出力される前記デコーディングされた映像をキャプチャーカードを使用して獲得し、前記プレイバックサーバーは、専用線を用いて前記デコーディングされた映像の信号を前記映像マージサーバーに送信することを特徴とする請求項1に記載のサーバー間映像処理方法。
- 前記映像マージサーバーは、任意の形態で組合わせられた映像信号をデコーディングされた映像に再生して出力し、前記ディスプレイサーバーは、前記映像マージサーバーから出力される前記デコーディングされた映像をキャプチャーカードを使用して獲得することを特徴とする請求項5に記載のサーバー間映像処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080003703A KR100962673B1 (ko) | 2008-01-12 | 2008-01-12 | 영상처리시스템, 영상처리방법 및 영상전달방법 |
PCT/KR2009/000148 WO2009088265A2 (en) | 2008-01-12 | 2009-01-12 | Video processing system, video processing method, and video transfer method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011509626A JP2011509626A (ja) | 2011-03-24 |
JP2011509626A5 true JP2011509626A5 (ja) | 2012-03-01 |
Family
ID=40853632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010542176A Pending JP2011509626A (ja) | 2008-01-12 | 2009-01-12 | 映像処理システム、映像処理方法及び映像伝達方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20100303436A1 (ja) |
EP (1) | EP2238757A4 (ja) |
JP (1) | JP2011509626A (ja) |
KR (1) | KR100962673B1 (ja) |
CN (1) | CN101971628A (ja) |
TW (1) | TWI403174B (ja) |
WO (1) | WO2009088265A2 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110074954A1 (en) * | 2009-09-29 | 2011-03-31 | Shien-Ming Lin | Image monitoring system for vehicle |
KR100968266B1 (ko) * | 2009-10-28 | 2010-07-06 | 주식회사 인비전트 | 실시간 데이터 전송 제어 시스템 및 그 제어 방법 |
TW201134221A (en) * | 2010-03-17 | 2011-10-01 | Hon Hai Prec Ind Co Ltd | Video monitor system and video monitoring method thereof |
EP2695379A4 (en) | 2011-04-01 | 2015-03-25 | Mixaroo Inc | SYSTEM AND METHOD FOR PROCESSING, STORING, INDEXING AND REAL TIME DISTRIBUTION OF SEGMENTED VIDEO |
WO2013086472A1 (en) * | 2011-12-09 | 2013-06-13 | Micropower Technologies, Inc. | Wireless camera data management |
TWI574558B (zh) * | 2011-12-28 | 2017-03-11 | 財團法人工業技術研究院 | 播放複合濃縮串流之方法以及播放器 |
US20140123178A1 (en) | 2012-04-27 | 2014-05-01 | Mixaroo, Inc. | Self-learning methods, entity relations, remote control, and other features for real-time processing, storage, indexing, and delivery of segmented video |
US8863208B2 (en) | 2012-06-18 | 2014-10-14 | Micropower Technologies, Inc. | Synchronizing the storing of streaming video |
KR101521534B1 (ko) * | 2012-08-01 | 2015-05-19 | 삼성테크윈 주식회사 | 영상 감시 시스템 |
US20140118541A1 (en) * | 2012-10-26 | 2014-05-01 | Sensormatic Electronics, LLC | Transcoding mixing and distribution system and method for a video security system |
CN104115492A (zh) * | 2012-11-29 | 2014-10-22 | 俄罗斯长距和国际电信开放式股份公司 | 用于监视同时的地理上分布的事件的视频传输系统 |
US20140198215A1 (en) * | 2013-01-16 | 2014-07-17 | Sherry Schumm | Multiple camera systems with user selectable field of view and methods for their operation |
CN103354610A (zh) * | 2013-06-19 | 2013-10-16 | 圆展科技股份有限公司 | 监控设备与摄影机的调整方法 |
KR102268597B1 (ko) * | 2013-11-18 | 2021-06-23 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
KR102083931B1 (ko) | 2014-01-21 | 2020-03-03 | 한화테크윈 주식회사 | 광각 렌즈계 |
CN104093005A (zh) * | 2014-07-24 | 2014-10-08 | 上海寰视网络科技有限公司 | 用于分布式图像拼接系统的信号处理装置及其方法 |
US11495102B2 (en) | 2014-08-04 | 2022-11-08 | LiveView Technologies, LLC | Devices, systems, and methods for remote video retrieval |
US12014612B2 (en) | 2014-08-04 | 2024-06-18 | LiveView Technologies, Inc. | Event detection, event notification, data retrieval, and associated devices, systems, and methods |
US10645459B2 (en) * | 2014-08-04 | 2020-05-05 | Live View Technologies | Devices, systems, and methods for remote video retrieval |
CN105007464A (zh) * | 2015-07-20 | 2015-10-28 | 江西洪都航空工业集团有限责任公司 | 一种视频浓缩的方法 |
CN105872859A (zh) * | 2016-06-01 | 2016-08-17 | 深圳市唯特视科技有限公司 | 基于对象的运动目标轨迹提取的视频浓缩方法 |
KR101843475B1 (ko) * | 2016-12-07 | 2018-03-29 | 서울과학기술대학교 산학협력단 | 동영상을 제공하는 미디어 서버 |
CN108933882B (zh) * | 2017-05-24 | 2021-01-26 | 北京小米移动软件有限公司 | 相机模组及电子设备 |
KR102470465B1 (ko) * | 2018-02-19 | 2022-11-24 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
EP3833013B1 (en) * | 2019-12-05 | 2021-09-29 | Axis AB | Video management system and method for dynamic displaying of video streams |
US11924397B2 (en) * | 2020-07-23 | 2024-03-05 | Samsung Electronics Co., Ltd. | Generation and distribution of immersive media content from streams captured via distributed mobile devices |
KR102440794B1 (ko) * | 2021-12-29 | 2022-09-07 | 엔쓰리엔 주식회사 | Pod 기반의 영상 컨텐츠 전송 방법 및 장치 |
KR102414301B1 (ko) * | 2021-12-29 | 2022-07-01 | 엔쓰리엔 주식회사 | Pod 기반의 영상 관제 시스템 및 pod 기반의 영상 처리 방법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5258837A (en) * | 1991-01-07 | 1993-11-02 | Zandar Research Limited | Multiple security video display |
US7023913B1 (en) * | 2000-06-14 | 2006-04-04 | Monroe David A | Digital security multimedia sensor |
JP2002281488A (ja) * | 2001-03-19 | 2002-09-27 | Fujitsu General Ltd | 映像監視装置 |
US20050015480A1 (en) * | 2003-05-05 | 2005-01-20 | Foran James L. | Devices for monitoring digital video signals and associated methods and systems |
KR100504133B1 (ko) * | 2003-05-15 | 2005-07-27 | 김윤수 | 감시 모니터의 화면 제어 방법 |
KR20040101866A (ko) * | 2003-05-27 | 2004-12-03 | (주) 티아이에스테크 | 전동차 모니터링 시스템 |
US8004558B2 (en) * | 2005-04-07 | 2011-08-23 | Axis Engineering Technologies, Inc. | Stereoscopic wide field of view imaging system |
KR100741721B1 (ko) * | 2005-08-16 | 2007-07-23 | 주식회사 유비원 | 정지영상을 함께 출력하는 보안감시시스템 |
-
2008
- 2008-01-12 KR KR1020080003703A patent/KR100962673B1/ko active IP Right Grant
-
2009
- 2009-01-10 TW TW098100850A patent/TWI403174B/zh not_active IP Right Cessation
- 2009-01-12 JP JP2010542176A patent/JP2011509626A/ja active Pending
- 2009-01-12 US US12/812,121 patent/US20100303436A1/en not_active Abandoned
- 2009-01-12 EP EP09700460A patent/EP2238757A4/en not_active Ceased
- 2009-01-12 WO PCT/KR2009/000148 patent/WO2009088265A2/en active Application Filing
- 2009-01-12 CN CN200980104914XA patent/CN101971628A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100962673B1 (ko) | 영상처리시스템, 영상처리방법 및 영상전달방법 | |
JP2011509626A5 (ja) | ||
US11196978B2 (en) | Digital camera system for recording, editing and visualizing images | |
EP1068723B1 (en) | A multistream switch-based video editing architecture | |
US8639046B2 (en) | Method and system for scalable multi-user interactive visualization | |
EP3804349B1 (en) | Adaptive panoramic video streaming using composite pictures | |
US20060168350A1 (en) | Image processing apparatus | |
US7999842B1 (en) | Continuously rotating video camera, method and user interface for using the same | |
AU2012294568A1 (en) | Selective capture and presentation of native image portions | |
KR20040082765A (ko) | 이중 동영상 압축 방법을 적용한 네트워크 카메라와네트워크 디지털 비디오 레코더 | |
US11350161B2 (en) | Digital video recorder with additional video inputs over a packet link | |
JP2006157605A (ja) | 映像処理システムおよび方法、撮像装置および方法、映像処理装置、映像データ出力方法、記録媒体、並びにプログラム | |
US8989553B2 (en) | Video processing system and video processing method | |
JP2020524450A (ja) | 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置 | |
JP2008109364A (ja) | カメラサーバシステム、データの処理方法、およびカメラサーバ | |
JP6335913B2 (ja) | 映像処理装置および同装置を操作する方法 | |
JPH08228340A (ja) | 画像選択表示システム | |
JP4328582B2 (ja) | 遠隔画像監視システム | |
KR102440794B1 (ko) | Pod 기반의 영상 컨텐츠 전송 방법 및 장치 | |
JP2009296135A (ja) | 映像監視システム | |
KR101415691B1 (ko) | 스트리밍 영상 컨버터 | |
JP2009159351A (ja) | 映像記録再生配信装置 | |
JP4312362B2 (ja) | 画像情報の記録方法及び再生方法 | |
JP6744187B2 (ja) | エンコーダ装置およびエンコード方法 | |
KR101532358B1 (ko) | 애플리케이션 중심의 그래픽 유저 인터페이스를 제공하는 네트워크 비디오 레코더 |