JP2015100101A - 映像処理装置及びその方法 - Google Patents

Abstract

【課題】映像処理装置及びその方法を提供する。
【解決手段】少なくとも１台以上のカメラから受信される映像のデコーディング時、内部で支援するデコーディング能を超える場合、受信される映像において特定フレームを選択的にデコーディングする映像処理装置及びその方法に係り、該映像処理装置は、少なくとも１台以上のカメラから映像を受信して保存し、あるいはディスプレイ処理を行う映像処理装置であって、カメラ別に受信される映像のコーデック、解像度及びフレームレートの情報に基づいて、第１デコーディング能を算出する性能算出部、及び第１デコーディング能の和が、既保存の映像処理装置のデコーディング能を示す第２デコーディング能を超える場合、カメラ別に受信される映像において特定フレームを選択して提供するフィルタリング部を含む。
【選択図】図１

Description

本発明は、少なくとも１台以上のカメラから受信される映像のデコーディング時、内部で支援するデコーディング能を超える場合、受信される映像において、特定フレームを選択的にデコーディングする映像処理装置及びその方法に関する。

デジタルビデオレコーダまたはネットワーク・ビデオレコーダのような映像記録保存装置は、少なくとも１台以上の監視カメラと連結され、選択されたカメラから受信した映像を保存し、あるいはデコーディング処理及びディスプレイ処理を行い、モニタに出力する。

このような映像記録保存装置は、内部にデコーダが映像フレームをデコーディングすることができる最大デコーディング能が設定されている。しかし、デコーダが最大デコーディング能を超える場合、映像フレームは、それ以上デコーダに供給されることがない。すなわち、デコーディングのために、映像フレームを保存するキュー（queue）にフル（full）状態が生じ、それ以上キューに映像フレームを保存することができなくなり、結局、任意の映像フレームがデコーディングから除外されるフレームドロップ（frame drop）現象が発生する。

このようなフレームドロップ現象が生じれば、デコーダは、正常にデコーディングを行うことができない。フレームドロップ現象の発生後、デコーダが正常に動作していて、所定時間経過後、再びデコーダは、設定された最大性能を超え、キューのフル状態及びフレームドロップ現象が反復される。従って、結局、モニタにディスプレイされる映像は、停止して出力される画面切れ現象が反復されて不都合が生じるという問題点があった。

関連先行文献としては、特許文献１がある。

韓国公開特許第２０００−０００９０７５号公報

本発明が解決すべき技術的な課題は、少なくとも１台以上のカメラから受信される映像のデコーディング時、内部で支援するデコーディング能を超える場合、受信される映像において特定フレームを選択的にデコーディングし、キューのフル状態及びフレームドロップ現象を最小化することにより、切れのない映像をモニタリングすることができる映像処理装置及びその方法を提供するところにある。

本発明がなすべき技術的な課題を解決するための一実施形態による映像処理装置は、少なくとも１台以上のカメラから映像を受信して保存し、あるいはディスプレイ処理を行う映像処理装置であって、前記カメラ別に受信される映像のコーデック、解像度及びフレームレートの情報に基づいて、第１デコーディング能を算出する性能算出部；及び前記第１デコーディング能の和が、既保存の前記映像処理装置のデコーディング能を示す第２デコーディング能を超える場合、前記カメラ別に受信される映像において特定フレームを選択して提供するフィルタリング部；を含むことを特徴とする。

本発明において、前記性能算出部は、前記カメラ別に受信される映像のコーデック、解像度及びフレームレートの積により、前記第１デコーディング能を算出することを特徴とする。

本発明において、前記第１デコーディング能の算出時、前記コーデックの種類により、互いに異なる加重値を付与することを特徴とする。

本発明において、前記フィルタリング部は、前記カメラ別に受信される映像において周期的に前記特定フレームを選択して提供することを特徴とする。

本発明において、前記特定フレームは、前記カメラ別に受信されるＧＯＰ（group of pictures）単位の映像フレームのうちイントラフレームであることを特徴とする。

本発明において、前記カメラ別に受信される映像フレームに、前記フィルタリング部の適用を制御するフィルタリング制御部をさらに含むことを特徴とする。

本発明において、前記フィルタリング制御部は、最も高い前記第１デコーディング能を占有したカメラから受信した映像フレームに、前記フィルタリング部を適用するように制御することを特徴とする。

本発明において、前記フィルタリング制御部は、最も低い前記第１デコーディング能を占有したカメラから受信した映像フレームに、前記フィルタリング部を適用するように制御することを特徴とする。

本発明において、前記フィルタリング制御部は、前記フィルタリング部を適用するカメラを設定し、前記設定したカメラから受信した映像フレームに、前記フィルタリング部を適用するように制御することを特徴とする。

本発明において、前記フィルタリング制御部は、前記カメラから受信した映像フレームに、前記フィルタリング周期が変更された前記フィルタリング部を適用するように制御することを特徴とする。

本発明がなすべき技術的な課題を解決するための一実施形態による映像処理方法は、少なくとも１台以上のカメラから映像を受信して保存し、あるいはディスプレイ処理を行う映像処理方法であって、前記カメラ別に受信される映像のコーデック、解像度及びフレームレートの情報に基づいて、第１デコーディング能を算出する性能算出段階と、前記第１デコーディング能の和が、既保存の前記映像処理装置のデコーディング能を示す第２デコーディング能を超える場合、前記カメラ別に受信される映像において特定フレームを選択して提供するフィルタリング段階と、を含むことを特徴とする。

本発明において、前記性能算出段階は、前記カメラ別に受信される映像のコーデック、解像度及びフレームレートの積により、前記第１デコーディング能を算出する性能算出段階を含むことを特徴とする。

本発明において、前記第１デコーディング能の算出時、前記コーデックの種類により、互いに異なる加重値を付与することを特徴とする。

本発明において、前記フィルタリング段階は、前記カメラ別に受信される映像において周期的に前記特定フレームを選択して提供するフィルタリング段階を含むことを特徴とする。

本発明において、前記特定フレームは、前記カメラ別に受信されるＧＯＰ（group of pictures）単位の映像フレームのうちイントラフレームであることを特徴とする。

本発明において、前記カメラ別に受信した映像フレームに、前記フィルタリングの適用を制御するフィルタリング制御段階をさらに含むことを特徴とする。

本発明において、前記フィルタリング制御段階は、最も高い前記第１デコーディング能を占有したカメラから受信した映像フレームに、前記フィルタリングを適用するように制御するフィルタリング制御段階を含むことを特徴とする。

本発明において、前記フィルタリング制御段階は、最も低い前記第１デコーディング能を占有したカメラから受信した映像フレームに、前記フィルタリングを適用するように制御するフィルタリング制御段階を含むことを特徴とする。

本発明において、前記フィルタリング制御段階は、前記フィルタリングを適用するカメラを設定し、前記設定したカメラから受信した映像フレームに、前記フィルタリングを適用するように制御するフィルタリング制御段階を含むことを特徴とする。

本発明において、前記フィルタリング制御段階は、前記カメラから受信した映像フレームに、前記フィルタリング周期が変更された前記フィルタリングを適用するように制御するフィルタリング制御段階を含むことを特徴とする。

本発明によれば、少なくとも１台以上のカメラから受信される映像のデコーディング時、内部で支援するデコーディング能を超える場合、受信される映像において特定フレームを選択的にデコーディングし、キューのフル状態及びフレームドロップ現象を最小化することにより、切れのない映像をモニタリングすることができる。

本発明の一実施形態による映像処理装置の構成を示すブロック図である。 図１におけるフィルタリング部について説明する図面である。 図１におけるフィルタリング部について説明する図面である。 本発明の一実施形態による映像処理方法の動作を示すフローチャートである。

本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細に説明する。しかし、それらは、本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むということを理解されなければならない。本発明について説明するにあたり、関連公知技術に係わる具体的な説明が、本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。

第１、第２のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。

本出願で使用した用語は、単に特定の実施形態について説明するために使用されたものであり、本発明を限定する意図ではない。単数の表現は、文脈上明白に取り立てて意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、一つまたはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないということを理解されなければならない。

本発明は、機能的なブロック構成及び多様な処理段階で示される。このような機能ブロックは、特定機能を遂行する多様な個数のハードウェア構成または／及びソフトウェア構成で具現される。例えば、本発明は、一つ以上のマイクロプロセッサの制御、または他の制御装置によって、多様な機能を遂行することができる、メモリ、プロセシング、ロジック（logic）、ルックアップテーブル（look-up table）のような直接回路構成を採用することができる。本発明の構成要素が、ソフトウェア・プログラミングまたはソフトウェア要素で実行されるものと同様に、本発明は、データ構造、プロセス、ルーチン、または他のプログラミング構成の組み合わせによって具現される多様なアルゴリズムを含み、Ｃ、Ｃ＋＋、ジャバ（Java（登録商標））、アセンブラ（assembler）のようなプログラミングまたはスクリプティング言語によって具現される。機能的な側面は、一つ以上のプロセッサで実行されるアルゴリズムによって具現される。また、本発明は、電子的な環境設定、信号処理、及び／またはデータ処理などのために、従来技術を採用することができる。メカニズム、要素、手段、構成のような用語は、広く使用され、機械的であって物理的な構成として限定されるものではない。前記用語は、プロセッサなどと連繋し、ソフトウェアの一連の処理（routines）の意味をも含む。

以下、本発明の実施形態について、添付図面を参照しつつ詳細に説明し、添付図面を参照して説明するにあたり、同一である、あるいは対応する構成要素は、同一の図面番号を付し、それに係わる重複説明を省略する。

図１は、本発明の一実施形態による映像処理装置の構成を示すブロック図である。図１を参照すれば、映像処理装置は、複数のネットワーク・カメラ１００、ネットワーク２００、映像処理手段３００及びディスプレイ手段４００を含む。

ネットワーク・カメラ１００は、任意の領域に少なくとも１台以上設けられ、撮影映像をデジタル映像信号として出力し、ネットワーク２００を介して、デジタルビデオレコーダまたはネットワーク・ビデオレコーダのような映像保存手段に出力する。ネットワーク・カメラ１００は、特定の場所の固定された位置に配置されるスピードドームカメラでもある。また、ネットワーク・カメラ１００は、固定レンズが具備され、撮影範囲が固定された単一固定式カメラからも構成され、または撮影範囲が可変的なＰＴＺ（pan-tilt-zoom）カメラからも構成される。ここで、ＰＴＺカメラは、水平方向に回転するパン（pan）動作、垂直方向に回転するチルト（tilt）動作、及びズームイン／ズームアウト（zoom in/zoom out）動作によって、一台のカメラで多様な監視領域を容易に変更させることができる。

映像処理手段３００は、少なくとも１台以上のネットワーク・カメラ１００が撮影した映像を受信して保存し、各カメラ別に受信される映像のコーデック、解像度及びフレームレートの情報に基づいて、第１デコーディング能を算出し、第１デコーディング能の和が、既保存の映像処理装置のデコーディング能を示す第２デコーディング能を超える場合、チャネル別に受信される映像において特定フレームを選択してデコーディングするように提供する。以下、映像処理手段３００の詳細な説明は、下記で行う。

ディスプレイ手段４００は、映像処理手段３００で処理された映像をディスプレイする。ディスプレイ手段４００は、ユーザがモニタしようとする少なくとも一つ以上のチャネル映像を分割してディスプレイすることができる。すなわち、ディスプレイ手段４００は、画面を２個、４個、８個などに分割し、分割した画面に、各チャネルの映像をディスプレイすることができる。このようなディスプレイ手段４００は、液晶ディスプレイ（ＬＣＤ）、有機発光ディスプレイ（ＯＬＥＤ）、電気泳動ディスプレイ（ＥＰＤ）、フレキシブルディスプレイ、三次元ディスプレイ（３Ｄ display）のうち少なくとも一つを含んでもよい。

次に、映像処理手段３００について詳細に説明する。図１に図示された映像処理手段３００は、映像受信部３０１、性能算出部３０３、タイマ３０５、フィルタリング部３０７、フィルタリング制御部３０９、フレーム提供部３１１、デコーダ３１３、スケーラ３１５、同期調整部３１７、マルチプレクサ３１９及びレンダリング部３２１を含む。

映像受信部３０１は、少なくとも１台以上のネットワーク・カメラ１００が撮影した映像を受信する。映像受信部３０１は、少なくとも１台以上のネットワーク・カメラ１００に係わるネットワーク・アドレスを設定し、ネットワーク・アドレスが設定された少なくとも１台以上のネットワーク・カメラ１００が撮影した映像を受信する。

ここで、ユーザがモニタリングしようとする映像を撮影する少なくとも１台以上のネットワーク・カメラ１００を選択することができ、映像受信部３０１は、選択されたネットワーク・カメラ１００が撮影したエンコーディング映像を受信することができる。例えば、第１ないし第Ｎのネットワーク・カメラ１００のうち、ユーザが、第１ないし第４のネットワーク・カメラ１００が撮影した映像をモニタリングするために、第１ないし第４のネットワーク・カメラ１００を設定すれば、映像受信部３０１は、第１ないし第４のネットワーク・カメラ１００が撮影したエンコーディング映像のみを受信することができる。

ここで、少なくとも１台以上のネットワーク・カメラ１００から受信した映像は、映像フレームピクチャグループ（ＧＯＰ：group of picture）に含まれたイントラ（Ｉ：intra）フレーム、予測（Ｐ：predicted）フレーム及び双方向（Ｂ：bidirectional）フレームを含む。イントラ（Ｉ）フレームは、キーフレームであり、前フレームを参照せずに圧縮される独立したフレームであり、画質が最も良好であって容量も最大である。予測（Ｐ）フレームは、以前イントラ（Ｉ）フレームまたは前予測（Ｐ）フレームの情報を基に構成されたフレームであり、画質及び容量は中間クラスである。予測（Ｐ）フレームは、以前イントラ（Ｉ）フレームまたは前予測（Ｐ）フレームを参照し、変動された内容のみを圧縮する。イントラ（Ｉ）フレームと予測（Ｐ）フレームは、次の他のフレームのために、参照フレーム（reference frame）として利用される。そして、双方向（Ｂ）フレームは、最も低い画質及び容量を有し、圧縮のために、前後参照フレーム、すなわち、イントラ（Ｉ）フレーム及び予測（Ｐ）フレームが要求される。
性能算出部３０３は、選択された各カメラ別に受信される映像のコーデック、解像度及びフレームレートの情報を乗じ、第１デコーディング能を算出する。

第１デコーディング能は、映像のコーデックによって、Ｈ．２６４、ＭＰＥＧ−４、ＪＰＥＧによって異なる。各コーデック別映像を比較する場合、同一の画質レベルでＪＰＥＧと比較するならば、ＭＰＥＧ−４は、１／３レベル、同一の画質レベルでＪＰＥＧと比較するならば、Ｈ．２６４は、１／５レベルの圧縮率を有し、それに係わる演算量は反比例する。すなわち、ＪＰＥＧのデコーディング処理能が１である場合、ＭＰＥＧ−４は３倍、Ｈ．２６４は５倍ほどの演算が必要である。それは、映像処理装置で具現されるコーデックによって互いに差があるが、それによって、第１デコーディング能のファクタとして設定することができる。

次に、第１デコーディング能は、同一のコーデックで処理する場合、最大の影響を受ける部分が解像度である。それは、画面サイズに該当するメモリ（図示せず）のアクセスと、演算が比例して増加するからである。第１デコーディング能は、同一のコーデックで処理する場合、解像度サイズに比例するが、例えば、解像度が７４０×４８０（３２万画素）に比べ、解像度が１９２０×１０８０（２百万画素）である場合、６倍に達する第１デコーディング能の差が発生する。すなわち、映像サイズに係わる第１デコーディング能のファクタを、解像度サイズによって設定することができる。

最後に、第１デコーディング能は、ハードウェア・コーデック及びソフトウェア・コーデックにおいて使用するデコーディング演算を処理するために入力される時間当たりの入力フレーム数、すなわち、フレームレートによって異なる。例えば、時間当たり３０フレームで入力される場合は、時間当たり１フレームで入力される場合より、時間当たり３０倍に達する第１デコーディング能の差が生じる。

従って、性能算出部３０３は、１台のカメラを介して受信される映像の第１デコーディング能を求めれば、コーデック、解像度及びフレームレートの積により、計算することができる。ここで、コーデックの場合、その種類により、加重値が異なって適用されるが、Ｈ．２６４の場合に１、ＭＰＥＧ−４の場合に０．７、ＪＰＥＧの場合に０．５が適用される。

映像が受信されれば、フレームレートが続けて変更されるので、タイマ３０５は、フレームレートを測定し、映像処理手段３００が受信する映像フレーム過多現象をチェックすることができる。

性能算出部３０３は、一般的なＰＣ（personal computer）システムにおいてソフトウェア・コーデックを使用する場合には、スケーリングファクタと、ＶＧＡ（video graphic array）のレンダリング技法とにより、第１デコーディング能を別に算出することができる。このとき、第１デコーディング能に影響を与える値は、スケーリングファクタであり、該値は、画面に出力される映像面積対比の原本映像面積の値として設定することができる。また、スケーリングのための補間技法も、第１デコーディング能算出に影響を受ける。Ｂｉ−Linear、Ｂｉ−Cubicのような補間技法による演算も、第１デコーディング能算出に影響を受ける。最近市場に出回っているＰＣに装着されたＶＧＡカードは、このような補間技法を、選択的にレンダリング段階で決定することができる。従って、一般的なＰＣシステムにおいて第１デコーディング能は、性能算出部３０３によって、コーデック（Ｈ．２６４、ＭＰＥＧ−４またはＪＰＥＧ）、解像度、フレームレート、スケーリングファクタ及び補間ファクタの積によって算出することができる。

また、性能算出部３０３は、各カメラから受信された映像フレームに係わる前記第１デコーディング能の和、及び既保存の映像処理手段３００のデコーディング能を示す第２デコーディング能を比較し、第１デコーディング能の和が第２デコーディング能を超えているか否かということを判断する。

例えば、既保存の第２デコーディング能が、４ＣＨ×Ｈ．２６４×（１９２０×１０８０）×３０ＦＰＳであり、選択された第１カメラないし第４カメラから受信される映像に係わる第１デコーディング能の和が、４ＣＨ×Ｈ．２６４×（１９２０×１０８０）×３０ＦＰＳであるならば、第１デコーディング能の和が、第２デコーディング能を超過しない。しかし、第１カメラないし第３カメラから受信される映像に係わる第１デコーディング能の和が、３ＣＨ×Ｈ．２６４×（１９２０×１０８０）×３０ＦＰＳであり、第４カメラから受信される映像に係わる第１デコーディング能が、１ＣＨ×Ｈ．２６４×（１９２０×１０８０）×６０ＦＰＳであるならば、第１カメラないし第４カメラから受信される映像に係わる第１デコーディング能の和が、第２デコーディング能を超える。

フィルタリング部３０７は、第１デコーディング能の和が、第２デコーディング能を超える場合、選択されたカメラ（例えば、第１カメラないし第４カメラ）から受信される映像フレームのうちイントラフレームだけが選択されるようにフィルタリングする。または、フィルタリング部３０７は、第１デコーディング能の和が、第２デコーディング能を超える場合、選択されたカメラから受信される映像フレームのうち周期的にイントラフレームだけが選択されるようにフィルタリングする。

図２Ａ及び図２Ｂは、フィルタリング部３０７について説明する図面である。図２Ａは、ＭＰＥＧコーデックを使用して、ＧＯＰ単位で受信される映像フレームのうちイントラフレームだけ選択されるようにフィルタリングし、残りのＢフレーム及びＰフレームは、フィルタリングから除外されたところを示している。図２Ｂは、ＭＰＥＧコーデックを使用して、ＧＯＰ単位で受信される映像フレームのうち、周期的にイントラフレームだけ選択されるようにフィルタリングし、残りのＢフレーム及びＰフレームは、フィルタリングから除外されたところを示している。

このように、フィルタリング部３０７は、第１デコーディング能の和が、第２デコーディング能を超える場合、選択されたカメラから受信される映像フレームのうちイントラフレームだけが選択されるようにフィルタリングし、あるいは周期的にイントラフレームだけが選択されるようにフィルタリングし、デコーダ３１３に提供することにより、キューのフル状態及びフレームドロップ現象を最小化することにより、切れのない映像をモニタリングすることができる。

フィルタリング制御部３０９は、カメラ別に受信される映像フレームに、フィルタリング部３０７の適用を制御し、フィルタリング部３０７は、フィルタリング制御部３０９の制御下で、イントラフレームのフィルタリングを行う。

フィルタリング制御部３０９は、最も高い第１デコーディング能を占有したカメラから受信した映像フレームのうちイントラフレームだけが選択されるようにフィルタリングを制御し、あるいは周期的にイントラフレームだけが選択されるようにフィルタリングを制御することができる。ここで、第１デコーディング能が臨界値以上である少数のカメラから受信した映像フレーム、及び第１デコーディング能が臨界値以上である多数のカメラから受信した映像フレームが存在する場合、少数のカメラから受信した映像フレームがフィルタリングされるように制御し、多数のカメラから受信した映像フレームは、フィルタリングされず、全てのフレームがデコーダ３１３に提供されるように制御することができる。

また、フィルタリング制御部３０９は、最も低い第１デコーディング能を占有したカメラから受信した映像フレームのうちイントラフレームだけが選択されるようにフィルタリングを制御し、あるいは周期的にイントラフレームだけが選択されるようにフィルタリングを制御することができる。ここで、第１デコーディング能が臨界値未満である少数のカメラから受信した映像フレーム、及び第１デコーディング能が臨界値未満である多数のカメラから受信した映像フレームが存在する場合、多数のカメラから受信した映像フレームがフィルタリングされるように制御し、少数のカメラから受信した映像フレームは、フィルタリングされず、全てのフレームをデコーダ３１３に提供されるように制御することができる。

また、フィルタリング制御部３０９は、フィルタリング部３０７を適用するカメラを設定し、設定したカメラから受信した映像フレームのうちイントラフレームだけが選択されるようにフィルタリングを制御し、あるいは周期的にイントラフレームだけが選択されるようにフィルタリングを制御することができる。ここで、フィルタリング部３０７を適用するカメラの設定は、第１カメラから上昇順に設定し、あるいは第Ｎカメラから下降順に設定し、あるいはランダムに設定し、あるいはユーザが選択的に設定することができる。例えば、フィルタリング部３０７を適用するカメラを、第１カメラから上昇順に設定した場合、第１デコーディング能の和が、第２デコーディング能より小さくなるまで、当該カメラから受信した映像フレームのうちイントラフレームだけが選択されるようにフィルタリングを制御し、あるいは周期的にイントラフレームだけが選択されるようにフィルタリングを制御することができる。それは、ユーザが、第１カメラが受信した映像フレームから、フィルタリング部３０７が適用されるということを知っているために、全てのフレームを見ようとするカメラを選択することができるという長所がある。

さらに、フィルタリング制御部３０９は、カメラから受信した映像フレームに、フィルタリング周期が変更されたフィルタリング部３０７を適用するように制御することができる。フィルタリング制御部３０９は、最も高い第１デコーディング能を占有する少数のカメラまたは特定カメラから受信した映像フレームに、フィルタリング部３０７を適用するが、フィルタリング周期が変更されるようにすることができる。例えば、第１カメラから受信した映像フレームのフレームレートが３０ＦＰＳであり、ＧＯＰが１５である場合、フィルタリング部３０７を適用し、秒当たり２個のイントラフレームがデコーダ３１３に供給されるが、フィルタリング制御部３０９は、加重値を与え、秒当たり１個のイントラフレームがデコーダ３１３に供給されるようにフィルタリング部３０７を制御し、あるいは２秒に１個のイントラフレームがデコーダ３１３に供給されるようにフィルタリング部３０７を制御することができる。このような場合、フィルタリング制御部３０９は、臨界値以上である第１性能を有する映像フレームのイントラフレーム間隔を調整し、他の多数の映像フレームが、いずれもデコーダ３１３に供給されるように制御することができる。

フレーム提供部３１１は、フィルタリング部３０７でフィルタリングされて選択されたイントラフレーム、またはフィルタリングされていないあらゆる映像フレームをデコーダ３１３に提供する。デコーダ３１３は、フレーム提供部３１１から提供された映像フレームをデコーディングする。スケーラ３１５は、デコーディングされた映像フレームの大きさを調節し、同期調整部３１７は、映像フレームとオーディオとの同期を調整する。マルチプレクサ３１９は、映像フレームを合成し、１つの最終出力映像を生成する。レンダリング部３２１は、１つの最終出力映像をディスプレイ手段４００の使用に合うようにディスプレイするための一連の処理を行う。

図３は、本発明の一実施形態による映像処理方法の動作を示すフローチャートである。本発明による映像処理方法は、図１に図示されたように、周辺構成要素の助けを受け、映像処理手段３００で遂行される。以下の説明で、図、１及び図２に係わる説明と重複する部分はその説明を省略する。

図３を参照すれば、映像処理手段３００は、少なくとも１台以上のネットワーク・カメラ１００を介して受信された映像のコーデック、解像度及びフレームレートの情報を乗じ、第１デコーディング能を算出する段階（Ｓ１００）を遂行する。ここで、ユーザがモニタリングしようとする映像を撮影する少なくとも１台以上のネットワーク・カメラ１００を選択することができ、映像処理手段３００は、選択されたネットワーク・カメラ１００が撮影したエンコーディング映像を受信することができる。第１デコーディング能は、映像のコーデックにより、Ｈ．２６４、ＭＰＥＧ−４、ＪＰＥＧによって異なる。コーデックの種類による圧縮率及び演算量により、第１デコーディング能を算出するための加重値が異なって適用されるが、Ｈ．２６４の場合に１、ＭＰＥＧ−４の場合に０．７、ＪＰＥＧの場合に０．５として適用される。次に、第１デコーディング能は、同一のコーデックで処理する場合、最大の影響を受ける部分が解像度である。第１デコーディング能は、同一のコーデックで処理する場合、解像度サイズに比例する。最後に、第１デコーディング能は、ハードウェア・コーデック及びソフトウェア・コーデックで使用するデコーディング演算を処理するために入力される時間当たり入力されるフレーム数、すなわち、フレームレートによって異なる。

第１性能算出が完了すると、映像処理手段３００は、各カメラから受信された映像フレームに係わる前記第１デコーディング能の和、及び既保存の映像処理手段３００のデコーディング能を示す第２デコーディング能を比較する段階（Ｓ２００）を遂行する。例えば、既保存の第２デコーディング能が、４ＣＨ×Ｈ．２６４×（１９２０×１０８０）×３０ＦＰＳであり、選択された第１カメラないし第４カメラから受信される映像に係わる第１デコーディング能の和が、４ＣＨ×Ｈ．２６４×（１９２０×１０８０）×３０ＦＰＳであるならば、第１デコーディング能の和は第２デコーディング能を超えない。しかし、第１カメラないし第３カメラから受信される映像に係わる第１デコーディング能の和が、３ＣＨ×Ｈ．２６４×（１９２０×１０８０）×３０ＦＰＳであり、第４カメラから受信される映像に係わる第１デコーディング能が、１ＣＨ×Ｈ．２６４×（１９２０×１０８０）×６０ＦＰＳであるならば、第１カメラないし第４カメラから受信される映像に係わる第１デコーディング能の和が第２デコーディング能を超える。

第１デコーディング能の和が第２デコーディング能を超える場合、映像処理手段３００は、選択されたカメラから受信される映像フレームのうちイントラフレームだけが選択されるようにフィルタリングし、あるいは選択されたカメラから受信される映像フレームのうち周期的にイントラフレームだけが選択されるようにフィルタリングする段階（Ｓ３００）を遂行する。フィルタリング時、映像処理手段３００は、カメラ別に受信される映像フレームに対してフィルタリングの適用を制御する。映像処理手段３００は、最も高い第１デコーディング能を占有したカメラから受信した映像フレームのうちイントラフレームだけが選択されるようにフィルタリングを制御し、あるいは周期的にイントラフレームだけが選択されるようにフィルタリングを制御することができる。また、映像処理手段３００は、最も低い第１デコーディング能を占有したカメラから受信した映像フレームのうちイントラフレームだけが選択されるようにフィルタリングを制御し、あるいは周期的にイントラフレームだけが選択されるようにフィルタリングを制御することができる。また、映像処理手段３００は、フィルタリングを適用するカメラを設定し、設定したカメラから受信した映像フレームのうちイントラフレームだけが選択されるようにフィルタリングを制御し、あるいは周期的にイントラフレームだけが選択されるようにフィルタリングを制御することができる。ここで、フィルタリング部３０７を適用するカメラの設定は、第１カメラから上昇順に設定し、あるいは第Ｎカメラから下降順に設定し、あるいはランダムに設定し、あるいはユーザが選択的に設定することができる。さらに、映像処理手段３００は、最も高い第１デコーディング能を占有する少数のカメラまたは特定カメラから受信した映像フレームに対してフィルタリングを適用するが、フィルタリング周期が変更されるようにすることができる。例えば、第１カメラから受信した映像フレームのフレームレートが３０ＦＰＳであり、ＧＯＰが１５である場合、フィルタリングを適用し、秒当たり２個のイントラフレームがデコーディングされるようにすることができるが、映像処理手段３００は、加重値を与え、秒当たり１個のイントラフレームがデコーディングされるように制御し、あるいは２秒に１個のイントラフレームがデコーディングされるように制御することができる。

その後、映像処理手段３００は、フィルタリングされたイントラフレーム、またはフィルタリングされていない映像フレームをデコーディングし、デコーディングされた映像フレームの大きさを調節し、映像フレームとオーディオとの同期を調整し、映像フレームを合成し、１つの最終出力映像を生成した後、１つの最終出力映像をディスプレイ仕様に合うように一連の処理を行う。

一方、本発明は、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードでもっての具現が可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。

コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウエーブ（例えば、インターネットを介した伝送）の形態で具現するものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードが保存されて実行される。本発明を具現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論されるものである。

以上、本発明について望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明の本質的な特性から外れない範囲で変形された形態による本発明の具現が可能であるということを理解するであろう。従って、前記開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならない。

本発明の映像処理装置及びその方法は、例えば、映像保存関連の技術分野に効果的に適用可能である。

１００ ネットワーク・カメラ
２００ ネットワーク
３００ 映像処理手段
３０１ 映像受信部
３０３ 性能算出部
３０５ タイマ
３０７ フィルタリング部
３０９ フィルタリング制御部
３１１ フレーム提供部
３１３ デコーダ
３１５ スケーラ
３１７ 同期調整部
３１９ マルチプレクサ
３２１ レンダリング部
４００ ディスプレイ手段

Claims (20)

1. 少なくとも１台以上のカメラから映像を受信して保存し、あるいはディスプレイ処理を行う映像処理装置であって、
   前記カメラ別に受信される映像のコーデック、解像度及びフレームレートの情報に基づいて、第１デコーディング能を算出する性能算出部と、
   前記第１デコーディング能の和が、既保存の前記映像処理装置のデコーディング能を示す第２デコーディング能を超える場合、前記カメラ別に受信される映像において特定フレームを選択して提供するフィルタリング部と、
   を含むことを特徴とする映像処理装置。
2. 前記性能算出部は、
   前記カメラ別に受信される映像のコーデック、解像度及びフレームレートの積により、前記第１デコーディング能を算出することを特徴とする請求項１に記載の映像処理装置。
3. 前記第１デコーディング能の算出時、前記コーデックの種類により、互いに異なる加重値を付与することを特徴とする請求項２に記載の映像処理装置。
4. 前記フィルタリング部は、
   前記カメラ別に受信される映像において周期的に前記特定フレームを選択して提供することを特徴とする請求項１に記載の映像処理装置。
5. 前記特定フレームは、
   前記カメラ別に受信されるＧＯＰ（group of pictures）単位の映像フレームのうちイントラフレームであることを特徴とする請求項４に記載の映像処理装置。
6. 前記カメラ別に受信される映像フレームに、前記フィルタリング部の適用を制御するフィルタリング制御部をさらに含むことを特徴とする請求項１に記載の映像処理装置。
7. 前記フィルタリング制御部は、
   最も高い前記第１デコーディング能を占有した前記カメラから受信した映像フレームに、前記フィルタリング部を適用するように制御することを特徴とする請求項６に記載の映像処理装置。
8. 前記フィルタリング制御部は、
   最も低い前記第１デコーディング能を占有した前記カメラから受信した映像フレームに、前記フィルタリング部を適用するように制御することを特徴とする請求項６に記載の映像処理装置。
9. 前記フィルタリング制御部は、
   前記フィルタリング部を適用する前記カメラを設定し、設定した前記カメラから受信した映像フレームに、前記フィルタリング部を適用するように制御することを特徴とする請求項６に記載の映像処理装置。
10. 前記フィルタリング制御部は、
    前記カメラから受信した映像フレームに、フィルタリング周期が変更された前記フィルタリング部を適用するように制御することを特徴とする請求項６に記載の映像処理装置。
11. 少なくとも１台以上のカメラから映像を受信して保存し、あるいはディスプレイ処理を行う映像処理方法であって、
    前記カメラ別に受信される映像のコーデック、解像度及びフレームレートの情報に基づいて、第１デコーディング能を算出する性能算出段階と、
    前記第１デコーディング能の和が、既保存の映像処理装置のデコーディング能を示す第２デコーディング能を超える場合、前記カメラ別に受信される映像において特定フレームを選択して提供するフィルタリング段階と、
    を含むことを特徴とする映像処理方法。
12. 前記性能算出段階は、
    前記カメラ別に受信される映像のコーデック、解像度及びフレームレートの積により、前記第１デコーディング能を算出する前記性能算出段階を含むことを特徴とする請求項１１に記載の映像処理方法。
13. 前記第１デコーディング能の算出時、前記コーデックの種類により、互いに異なる加重値を付与することを特徴とする請求項１２に記載の映像処理方法。
14. 前記フィルタリング段階は、
    前記カメラ別に受信される映像において周期的に前記特定フレームを選択して提供する前記フィルタリング段階を含むことを特徴とする請求項１１に記載の映像処理方法。
15. 前記特定フレームは、
    前記カメラ別に受信されるＧＯＰ（group of pictures）単位の映像フレームのうちイントラフレームであることを特徴とする請求項１４に記載の映像処理方法。
16. 前記カメラ別に受信した映像フレームに、フィルタリングの適用を制御するフィルタリング制御段階をさらに含むことを特徴とする請求項１１に記載の映像処理方法。
17. 前記フィルタリング制御段階は、
    最も高い前記第１デコーディング能を占有した前記カメラから受信した映像フレームに、前記フィルタリングを適用するように制御する前記フィルタリング制御段階を含むことを特徴とする請求項１６に記載の映像処理方法。
18. 前記フィルタリング制御段階は、
    最も低い前記第１デコーディング能を占有した前記カメラから受信した映像フレームに、前記フィルタリングを適用するように制御する前記フィルタリング制御段階を含むことを特徴とする請求項１６に記載の映像処理方法。
19. 前記フィルタリング制御段階は、
    前記フィルタリングを適用する前記カメラを設定し、設定した前記カメラから受信した映像フレームに、前記フィルタリングを適用するように制御する前記フィルタリング制御段階を含むことを特徴とする請求項１６に記載の映像処理方法。
20. 前記フィルタリング制御段階は、
    前記カメラから受信した映像フレームに、フィルタリング周期が変更された前記フィルタリングを適用するように制御する前記フィルタリング制御段階を含むことを特徴とする請求項１６に記載の映像処理方法。