JP2005506807A

JP2005506807A - ビデオ解析を用いてオープンで柔軟なシステムの予測可能性を補助する方法

Info

Publication number: JP2005506807A
Application number: JP2003539301A
Authority: JP
Inventors: マリアガバラニ; クリスティアンヘンツシェル; エリザベスエフエムステッフェンス; ラインデルジェイブリル
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-10-25
Filing date: 2002-10-10
Publication date: 2005-03-03
Also published as: EP1442590A1; US20030086128A1; CN1575585A; KR20040054740A; WO2003036941A1

Abstract

強固で費用効果的なオープンで柔軟なシステムに対して、スケーラブルビデオアルゴリズム（１０６，１０９，１１０，１１２，１１３，１１４，３０６，３０８，４０６，４０８）を使用することが提案されている。スケーラブルビデオアルゴリズム（１０６，１０９，１１０，１１２，１１３，１１４，３０６，３０８，４０６，４０８）は資源利用を視覚出力品質と動的に取引することができる。斯様なシステムにおいては、実行時に視覚出力品質及び資源利用の両方が変化し得、該システムの予測不可能な動作に繋がる。そこで、オープンで柔軟なシステムの予測可能性を補助する新規な方法が提案される。そのアイデアは、幾つかのビデオアルゴリズム（１０６，１０９，１１０，１１２，１１３，１１４，３０６，３０８，４０６，４０８）の出力品質及び負荷に影響を与えるパラメータを知り、これらパラメータを適切に測定し、且つ、必要な情報（３１６，３２０，４１６，４２０，４２６，４２７）をシステム制御部（３２１，４２１）に供給することにより、該システム制御部（３２１，４２１）が早く反応して、適切な変更を実行することができ（３１７，３２２，３２３，４１７，４２２，４２３）、予測可能なシステムに繋げるというものである。

Description

【技術分野】
【０００１】
本発明は、少なくとも１つのビデオ処理アルゴリズムを備えるメディア処理ユニットのようなシステムを有するオープンで柔軟なシステムの予測可能性を補助する方法に関する。また、本発明は、少なくとも１つのビデオ処理アルゴリズムを備えるメディア処理ユニットのようなシステムを有するオープンで柔軟なシステムの予測可能性を補助する手段を備える装置にも関する。更に、本発明は少なくとも１つのビデオ処理アルゴリズムを備えるメディア処理ユニットのようなシステムを有するオープンで柔軟なシステムの予測可能性を補助する方法の使用にも関する。
【０００２】
利用分野は、ＰＣ、デジタルＴＶ装置、ＳＴＢ及び表示器等の消費者向けマルチメディア端末、又は、もっと一般的にはメディア処理ユニットにおけるものである。消費者向けマルチメディア端末は、明確な各要件、即ちリアルタイム動作、費用効果性、強さ、並びに、この関係で最も重要なことである、予測可能性及び高出力品質なる要件を持つシステムである。
【背景技術】
【０００３】
国際特許出願公開第WO94/01824号からは、ビデオ命令セット計算（ＶＩＳＣ）のアーキテクチャに基づく集積回路システムが知られている。該集積回路は、遠隔通信、帯域幅適応化、アプリケーション制御、マルチメディア管理及び汎用ビデオ符号化のタスクを独立に実行するために複数の機能ユニットを有している。また、該集積回路は、上記機能ユニットに繋がるスケーラブルなフォーマッタエレメントを含み、該エレメントは任意の外部ビデオフォーマットを相互処理することができると共に、システムのスループット及び構成に応じて選択的な内部フォーマットに知的に適応することができる。加えて、上記機能ユニット及びスケーラブルフォーマッタに繋がるスマートメモリエレメントが存在し、該エレメントはビデオデータのブロックを選択的な内部フォーマッタに基づいてアクセスし、記憶し及び転送することができる。好ましい実施例において、上記集積回路は、ＤＯＳ、ウィンドウズ、ＮＴ、マッキントッシュ、ＯＳ２又はユニックスアプリケーションを実行するために埋込ＲＩＳＣ又はＣＩＳＣプロセッサも含んでいる。より好ましい実施例においては、上記集積回路は、リアルタイムオブジェクト指向オペレーティングシステムエレメントを含み、該エレメントにおいてはアプリケーションプログラム及びリアルタイムＶＩＳＣ型ビデオ命令セットの同時実行を行うことができる。この発明は、ＶＩＳＣマイクロプロセッサの複数の世代の進化を支持するように設計されている。これらの新規なＶＩＳＣマイクロプロセッサは、対話型ビデオ、ＨＤＴＶ及びマルチメディア通信のようなアプリケーションのための広範囲のリアルタイム分散型ビデオ信号処理機能を実行するために効率的に使用することができる。
【０００４】
しかしながら、上記システムは資源が不足するか又は過負荷になると、先行対処的というよりは事後対処的になる。資源情報の解析ではなく、パイプライントラフィックの解析のみが実施され、全体の状態の制御を維持する代わりに、その場的に過負荷状態を治癒させる。全ての資源が殆ど占有されてしまうような状況では、当該システムはトラフィックを低下させ、リアルタイムな動作が失われるようになる。最悪の状況では、視覚的出力の品質及び資源の使用の両者が、実行時に変化し、当該システムの予測不可能な動作に繋がり、恐らくは再同期化を必要とする。
【０００５】
国際特許出願公開第WO00/21302号からは、デジタルビデオエンコーダにおける量子化レベルを制御するために設けられた、複数の並列圧縮エンジンを有するような方法及び装置が知られている。入力画像は複数のパネルに分割され、各パネルは別個の圧縮エンジンにより処理される。ビデオのフレームを符号化する前に、基準の量子化器目盛が決定される。該基準量子化器目盛は、当該ビデオエンコーダにより処理されている各ビデオ画像パネルの最初のスライスにおいて使用される。この場合、画像パネルの最後のスライスにおける量子化器目盛は最初のスライスと同一となるように強制される。該強制ステップは区分的線形なフィードバック式を使用することができる。画像群（ＧＯＰ）目標ビットレートは、前記圧縮エンジンの少なくとも１つの処理パイプライン内に現在ある映画画像及び非映画画像の数に基づいて調整される。非映画画像に対して、より高い目標ビットレートが設けられる。当該ビデオエンコーダのバッファレベルは新たな画像群（ＧＯＰ）の開始を制御するために使用される。新たなＧＯＰの開始は、当該バッファが該新ＧＯＰに関するイントラ符号化（Ｉ）フレームを収容するための充分なスペースを有さない場合は遅延される。
【０００６】
しかしながら、上記システムは、資源が不足するか又は過負荷となった場合に、先行対処的というよりは事後対処的である。バッファが充分なスペースを有さない場合は新画像群の開始が遅延され、リアルタイム動作の喪失に繋がる。最悪の状況では、当該システムは予測不可能となり得る。該システムは、リアルタイムなビデオ処理を回復するために、幾つかのビデオ情報を跳ばし、恐らくは再同期を必要とするであろう。資源情報の解析ではなくて、バッファ占有の解析のみがなされ、全体の状況の制御を維持する代わりに、過負荷状態をその場的に治癒させる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、即座に反応し且つ適切な変更を行うようなシステム制御を提供すると共に、強固で予測可能なシステムを提供することにある。本発明の他の目的は、所与の資源において全体の出力品質を向上させることにある。
【課題を解決するための手段】
【０００８】
上記目的は、請求項１、３及び５に記載されているように、本発明によれば、ビデオ解析が実行され、少なくとも１つのビデオアルゴリズムの出力品質及び負荷に影響するパラメータが適切に測定され、必要な情報がシステム制御部に供給され、該システム制御が適切な制御及び訂正を実行することにより達成される。
【０００９】
これにより、上記システム制御部は即座に反応すると共に、適切な制御部及び訂正を実行し、予測可能なシステムに繋がることが保証される。当該システム制御部は即座に反応するので、待ち時間（レイテンシ）は防止される。即ち、当該システムのリアルタイム動作が保証される。当該システム制御部は斯かる制御及び訂正を先行して行うので、障害は防止され、改善された性能を持つ予測可能なシステムに繋がる。該改善された性能は、複雑なビデオ処理アルゴリズムを実行することができることを保証する。加えて、上記の改善された性能は新たな処理機能を追加する余裕時間を獲得する。更に、適切な設定は、所与の資源に対する全体として向上された出力品質に繋がる。
【００１０】
基本的なアイデアは、幾つかのビデオアルゴリズムの出力品質及び負荷に影響するパラメータを知ることにより、及び必要な情報をシステム制御部に供給することにより、該システム制御部は、より即座に反応すると共に適切な変更を行うことができ、予測可能なシステムに繋がるということである。更に、上記適切な設定（測定されたパラメータに依存しての）は、所与の資源に対する全体として改善された出力品質に繋がる。このために、上記パラメータは適切に測定される。
【００１１】
請求項２に記載された本発明の実施例は、資源の利用が視覚的出力品質と動的に取引されるという利点を有している。また、該システムは一層強固で一層費用効果的である。請求項１に記載の方法と組み合わされると、視覚的出力品質及び資源利用が実行時に変化されることから生じる予測不可能な動作が、より予測可能な動作になる。
【００１２】
請求項４に記載の装置の実施例は、資源利用が視覚的出力品質と動的に取引されるという利点を有している。また、該システムは一層強固で一層費用効果的である。請求項３に記載の装置と組み合わされると、視覚的出力品質及び資源利用が実行時に変化されることから生じる予測不可能な動作が、より予測可能な動作になる。
【００１３】
請求項６に記載の使用の実施例は、資源利用が視覚的出力品質と動的に取引されるという利点を有している。また、該システムは一層強固で一層費用効果的である。請求項５に記載の使用と組み合わされると、視覚的出力品質及び資源利用が実行時に変化されることから生じる予測不可能な動作が、より予測可能な動作になる。
【００１４】
本発明の、これら及び他の態様は、以下に説明する実施例から明らかとなり、斯かる実施例を参照して解説されるであろう。
【発明を実施するための最良の形態】
【００１５】
図１は、消費者向けマルチメディア端末の典型的なビデオ処理経路を示している。入力１０３はビデオ復号部１０４に供給される。ビデオ復号部１０４の出力１０５は、ビデオ向上部１０１における第１スケーラブルビデオアルゴリズム１０６に渡される。該第１スケーラブルビデオアルゴリズム１０６の出力は、複数のスケーラブルビデオアルゴリズム１０９を介して当該ビデオ向上部１０１における最後のスケーラブルビデオアルゴリズム１１０に渡される。該ビデオ向上部１０１の出力１１１は、ビデオ出力処理部１０２における第１スケーラブルビデオアルゴリズム１１２に渡される。該第１スケーラブルビデオアルゴリズム１１２の出力は、複数のスケーラブルビデオアルゴリズム１１３を介して当該ビデオ出力処理部１０２における最後のスケーラブルビデオアルゴリズム１１４に渡される。該ビデオ出力処理部１０２の出力１１５は送出される。
【００１６】
幾つかの又は全てのビデオアルゴリズムは、処理のための資源の必要性が品質と取引されるという意味でスケーラブルである。ビデオ復号の後、当該情報はビデオの向上のために幾つかのスケーラブルビデオアルゴリズム１０６、１１０を通過される。次いで、該情報はビデオ出力処理のために幾つかのスケーラブルビデオアルゴリズム１１２、１１４を通過される。上記スケーラブルビデオアルゴリズム１０６、１１０、１１２、１１４は、資源利用を視覚出力品質と動的に取引することができる。この例においては、過負荷状態を補正するために、ビデオ復号部１０４又はスケーラブルビデオアルゴリズム１０６、１１０、１１２、１１４の何れからの出力も、システム制御モジュール等の全体の制御部に供給されておらず、恐らくは予測不可能なシステムに繋がる。
【００１７】
図２は、異なるパラメータに対してスケーラブルビデオアルゴリズム（ＳＶＡ）により得られた品質レベル、即ち出力視覚品質と資源利用との組のグラフである。Ｒ(l_i,p_j)は、指定された品質がｌ_iであり、パラメータがタイプｐ_jである場合における当該ＳＶＡの資源利用に対するものである。Ｑ(l_i,p_j)は、指定された品質がｌ_iであり、パラメータがタイプｐ_jである場合に得られる出力視覚品質に対するものである。曲線２５０はタイプ１のパラメータに対する出力視覚品質と資源利用との間の関係を示す。曲線２５１はタイプ２のパラメータに対する出力視覚品質と資源利用との間の関係を示す。曲線２５２はタイプ３のパラメータに対する出力視覚品質と資源利用との間の関係を示す。
【００１８】
図３は、測定モジュールを使用したビデオ処理経路の好ましい実施例を図示している。入力３０３はビデオ復号部３０４に供給される。ビデオ復号部３０４の出力３０５は第１スケーラブルビデオアルゴリズム３０６に渡され、ビデオ復号部３０４の出力３１８はビデオ解析部３１９に渡される。ビデオ解析部３１９の出力３２０はシステム制御部３２１に渡される。第１スケーラブルビデオアルゴリズム３０６からの出力３０７は、次のスケーラブルビデオアルゴリズム３０８に渡される。該次のスケーラブルビデオアルゴリズム３０８からの出力３０９は、多分１以上のスケーラブルビデオアルゴリズムに渡され、及び／又は多分出力される。前記ビデオ復号部３０４の出力３１６はシステム制御部３２１に渡される。該システム制御部３２１の出力３１７はビデオ復号部３０４に渡される。また、該システム制御部３２１の出力３２２は、第１スケーラブルビデオアルゴリズム３０６に渡される。また、システム制御部３２１の出力３２３は、上記次のスケーラブルビデオアルゴリズム３０８に渡される。システム制御部３２１からの同様の後続の出力も後続のスケーラブルビデオアルゴリズムに渡すことができるが、これは図３には示されていない。
【００１９】
図３は、測定モジュールを使用した、提案されたビデオ処理経路を示している。異なる特性を備える２以上のビデオ解析ブロックを、異なる位置で使用することもできる。ビデオ復号部３０４及びビデオ解析部３１９は、当該システムにおけるスケーラブルビデオアルゴリズム３０６、３０８の負荷及び出力視覚品質に影響するパラメータの状態を推定し、パラメータ３１６、３２０を介してシステム制御部３２１に適切に動作（反応）する（即ち、スケーラブルビデオアルゴリズム３０６、３０８の制御３２２、３２３により）ように通知する。従って、該システムは強固且つ予測可能となる。
【００２０】
図４は、測定モジュールを使用したビデオ処理経路の他の好ましい実施例を示し、該実施例も本発明の最良の形態である。入力４０３はビデオ復号部４０４に供給される。ビデオ復号部４０４の出力４０５は第１スケーラブルビデオアルゴリズム４０６に渡され、ビデオ復号部４０４の出力４１８はビデオ解析部４１９に渡される。ビデオ解析部４１９の出力４２０は、多分、システム制御部４２１に渡される。第１スケーラブルビデオアルゴリズム４０６からの出力４０７は、次のスケーラブルビデオアルゴリズム４０８に渡される。該次のスケーラブルビデオアルゴリズム４０８からの出力４０９は、多分１以上のスケーラブルビデオアルゴリズムに渡され、及び／又は多分出力される。前記ビデオ復号部４０４の出力４１６はシステム制御部４２１に渡される。該システム制御部４２１の出力４１７はビデオ復号部４０４に渡される。また、該システム制御部４２１の出力４２２は、第１スケーラブルビデオアルゴリズム４０６に渡される。また、システム制御部４２１の出力４２３は、上記次のスケーラブルビデオアルゴリズム４０８に渡される。システム制御部４２１からの同様の後続の出力も後続のスケーラブルビデオアルゴリズムに渡すことができるが、これは図４には示されていない。前記ビデオ解析部４１９の出力４２４は第１スケーラブルビデオアルゴリズム４０６に渡される。また、ビデオ解析部４１９の出力４２５は前記次のスケーラブルビデオアルゴリズム４０８に渡される。第１スケーラブルビデオアルゴリズム４０６の出力４２６は、システム制御部４２１に渡される。また、前記次のスケーラブルビデオアルゴリズム４０８の出力４２７も、システム制御部４２１に渡される。前記ビデオ復号部４０４からの出力４２８は第１スケーラブルビデオアルゴリズム４０６に供給される。また、該ビデオ復号部４０４の出力４２９は前記次のスケーラブルビデオアルゴリズム４０８に渡される。
【００２１】
図４は、測定モジュールを使用した他の提案されたビデオ処理経路を示している。ビデオ復号モジュール４０４及びビデオ解析モジュール４１９は、当該システムにおけるスケーラブルビデオアルゴリズム４０６、４０８の負荷及び出力視覚品質に影響するパラメータの状態を推定して、パラメータ４２４、４２５、４２８、４２９を介してスケーラブルビデオアルゴリズム４０６、４０８に通知し、これらアルゴリズムはシステム制御部４２１に適切に動作（反応）する（即ち、スケーラブルビデオアルゴリズム４０６、４０８の制御４２２、４２３により）ように通知する（４２６、４２７）。多分、ビデオ復号モジュール４０４及びビデオ解析モジュール４１９も、システム制御部４２１に適切に動作（反応）するよう通知する（４１６、４２０）。従って、該システムは強固且つ予測可能になる。
【００２２】
上述したアイデアは混合システム、即ち上記ビデオアルゴリズムの幾つかのみしかシステム制御部により制御することができないシステム、にも適用されることに注意すべきである。また、システム制御部により幾つかの非スケーラブルビデオアルゴリズムを制御することもできる。従って、上述したアイデアは制御可能なビデオアルゴリズム一般に適用される。
【００２３】
以下においては、消費者向け端末の予測可能性特性、及び該特性に対するビデオ処理アルゴリズムの影響に焦点が合わされる。
【００２４】
消費者向け端末の予測可能性は、ビデオ処理アルゴリズムの過負荷状態の場合に危うくされる。斯様な過負荷は、情景変化の間において、又は動き又は細部のような当該ビデオ処理アルゴリズムの特定のパラメータの統計的変化により起こり得る。現在の処、殆どのビデオ処理アルゴリズムは、ビデオアルゴリズムの、より悪い場合の必要性に対処するために、専用のハードウェアで実施化されている。
【００２５】
現在の傾向は、柔軟性及びオープン（公開的）なシステム、従ってプログラマブル構成部品上で動作するビデオ処理アルゴリズムを求めている。しかしながら、プログラマブル構成部品は、シリコン分野では非常に高価であり、専用のハードウェアと較べて電力を消費する。従って、システムの設計及び管理は、費用効果性を満足するような方法で実施されねばならない。
【００２６】
サービス品質（QoS）環境における出力品質のために資源を交換することが可能なスケーラブルビデオアルゴリズム（ＳＶＡ）の使用が提案される。ＳＶＡは、実行時に、自身の資源及び品質動作が制御される。モジュール形態の一群のＳＶＡは、マルチメディアＰＣ、セットトップボックス、ＴＶ装置において、又はもっと一般的にはメディア処理ユニットにおいて必要とされる異なるアプリケーションを実行することができる。
【００２７】
消費者向けマルチメディア端末においては、種々のビデオ入力ストリームが典型的には復号され（チャンネル、ソース／カラー復号）、向上され（ノイズ及びアーチファクト低減、スケーリング、走査レート変換、エッジ強調）、最終的に表示のためにレンダリングされるか（混合、カラーストレッチング、ＹＵＶ／ＲＧＢ変換、ビデオ及びグラフィックス混合）又は記憶又は更なる伝送のために符号化される。ビデオ処理経路の斯かる部分の各々は、図１に示すような一群のビデオ処理アルゴリズムからなる。これらのうちの幾つかはスケーラブルである。
【００２８】
スケーラブルビデオアルゴリズムは、資源利用と視覚出力品質との間での取引を可能にするために異なる構成（コンフィギュレーション）で設計されている。これらのコンフィギュレーションｌの各々は、資源利用及び出力視覚品質の組（Ｒ(l),Ｑ(l)）により記述され、品質レベルと呼ばれる。
【００２９】
資源適応システムにおいては、システム制御部は各ＳＶＡに対して、利用可能な資源に従って、品質レベルを割り当てる。各ＳＶＡの品質レベルは、評価規準が視覚出力品質と資源利用との両者であるような最適化処理の結果である。最適化の間において、検索空間は各ＳＶＡの全ての適切な品質レベルを含む。システム制御部は、この最適化を当該システムに変化がある毎に実行する。
【００３０】
しかしながら、幾つかのビデオアルゴリズムの性能（出力視覚品質及び負荷）は、ビデオストリームの特定の内容、出力のサイズ又はユーザの焦点等の多数のパラメータに依存し得る。例えば、ピーキングアルゴリズムは、自身の資源要件及び自身の出力視覚品質の両方に影響を与えるようなノイズ適応技術を使用し得る。斯かるピーキングアルゴリズムに関する有効な品質レベルの組は、ノイズの存在の有無で相違する。他の例は、ユーザの焦点の仕様である。同一のアルゴリズムは、高品質が要求される場合（ユーザの焦点）及び低品質が予測される場合（ユーザの焦点ではない）に異なる組の品質レベルをサポートし得る。従って、同じアルゴリズムは、図２に示すように複数の所定のパラメータに依存して、２組以上の有効な品質レベルをサポートし得る。これらの有効な品質レベルの組は、品質マッピングと呼ばれる。
【００３１】
前の段落が暗示するものは、最適な品質レベル割り当てのために、システム制御部は、その都度、各アルゴリズムに対して品質レベルの有効な組、即ち適切な品質マッピングを有さねばならないということである。システム制御部が品質レベルの有効な組を有することにより、最も適切な資源割り当てがなされ、かくして、当該システムは最も強固で且つ予測可能となる。
【００３２】
更に、上記システム制御部は、より悪い場合の資源の必要性に対する平均に基づいてＳＶＡに資源を割り付け（品質レベルを割り付け）、このようにして、より多くのアプリケーションが同時に動作するのを可能にし、当該システムの費用効果性を改善する。しかしながら、幾つかのアルゴリズムの負荷は、細部のような幾つかのデータパラメータに対しては敏感である。或るＳＶＡの負荷が最初に要求されたよりも高い場合は、システム制御部は、この（又はどれか他の余り重要でない）ＳＶＡの品質レベルを低下させることにより反応することができる。
【００３３】
しかしながら、当該システム制御部からの斯様な動作（反応）は過負荷検出に従うもので、幾らかの時間を要するから、斯かる時間の間において当該システムの振る舞いは最適ではない可能性があり、例えばＳＶＡは遅れ得る。過負荷が早く検出されるほど、当該システム制御は一層速く適切な変更を実行し、かくして、当該システムは一層予測可能となる。従って、過負荷状態を早く検出する手段を設けることが望ましい。斯様な責任は、通常は、当該システム制御部の監視モジュールを介しての仕事である。
【００３４】
ビデオ信号からの情報を使用することによりシステムの予測可能性を補助する方法が提案される。該提案された方法は、負荷及び／又は出力視覚品質を変化させ得るパラメータを識別し、システム制御部に必要な情報を供給する。次いで、該システムは各ＳＶＡに対し適切な品質マッピングを使用して最適化を実行する。
【００３５】
更に、提案された方法は、充分に早く当該システムに適切に通知することにより、過負荷保護を補助する。この方法及び該方法の当該システムに対する関係及びビデオ処理連鎖を以下に説明する。
【００３６】
既述したように、幾つかのビデオアルゴリズムの負荷及び／又は出力視覚品質は、動き、細部、ノイズ、焦点及びウインドウサイズ等の特定のパラメータに対して敏感である。これらのパラメータの値又はタイプは、例えば情景の変化において、統計的な変化により、又はユーザのリクエストの後に変化し得、当該システムの動作に影響する。スケーラブルビデオアルゴリズムは、以下のようにして当該システムの予測可能性を補助することができる。
【００３７】
先ず、アルゴリズムの設計者は、（統計的な）変化が当該アルゴリズムの性能（資源の必要性及び出力視覚品質）に影響を与えるようなパラメータを識別しなければならない。また、アルゴリズム設計者は、図２に示したように、当該アルゴリズムの適切な品質マッピングも規定しなければならない。即ち、パラメータｐの全てのタイプ及び値ｐ_ｊに対して、図２に示したように、設計者は有効な品質レベルの組（Ｒ(l,p_j),Ｑ(l,p_j)），ｌ＝１，…，Ｎ_j及びｊは固定、を規定しなければならない。
【００３８】
当該システムの初期化の間において、この情報はスケーラブルビデオアルゴリズム制御部を介して当該システム制御部に供給されねばならない。
【００３９】
ビデオ処理経路においては、パラメータｐの（統計的）変化を測定するソフトウェアモジュールが識別及び／又は導入される。測定のための斯かるソフトウェアモジュールは、当該システム内に分散することができる。測定のための最良の位置は、これらに対して敏感なアルゴリズムの前である。斯様なモジュールは、ノイズ測定、動き推定、周波数範囲測定及びシーンカット検出を含む。これら測定モジュールは当該システム制御部に各パラメータの状態（例えば値又はタイプ）の変化について通知し、該システムに過負荷状態を、斯かる過負荷状態が実際に発生する前に警告する。
【００４０】
このようにして、上記システム制御部は必要な手順を充分に早く開始することができる、即ち利用可能な資源を動作中のアプリケーションに対して新たな最適な方法で、且つ、最も重要には各ＳＶＡに対して適切な品質マッピングを用いて再配置する。
【００４１】
処理連鎖における測定が早いほど、システムは必要な変更を早く実行することができ、資源利用及び出力品質の両方において当該システムは一層予測可能になる。
【００４２】
ＭＰＥＧ入力ストリームの場合、幾つかのパラメータの統計的変化の推定は、例えば動きに関するビデオ復号の間において実行することができる。残りの場合（例えば、ノイズ）に関しては、当該ビデオ処理経路に、パラメータの（統計的）変化を測定するソフトウェアモジュールを導入することができる。
【００４３】
負荷が上述のようなパラメータ（例えばノイズ）に対して敏感なビデオアルゴリズムは、通常は、図１に示すようなビデオ向上部の一部である。この目的のためには、図３のビデオ処理連鎖を使用することが提案される。該提案された連鎖には新たなソフトウェアモジュール、ビデオ解析部が導入され、該ビデオ解析部の目的は、その入力（復号された）に対して解析を行い、過負荷に繋がり得るパラメータ変化を検出し、前記システム制御部に対して適切に通知することである。
【００４４】
幾つかのビデオ処理モジュールに対する適切な動作モードの選択を補助するために、ビデオ処理経路内に測定モジュールを有するという概念は、知られている（例えば、オートＴＶ）。本解決策との相違点は２つある。第１に、最適な資源（再）割付を実行するために、当該システム制御部がその都度有効な品質レベルの適切な組を選択するのを補助するように上記測定モジュールを使用することが提案されている。第２に、これら測定モジュールは当該処理経路の早い位置に配置されている。これは、当該システムにおける画像又はシーケンスの特徴及び変化についての早期の情報を得、これにより上記システム制御部が早く反応するのを可能にするために行われている。使用される情報は、ビデオ復号モジュールか又はビデオ解析モジュールの何れかから得られる。ビデオ解析モジュールは、ビデオ復号モジュールが推定することができないようなパラメータを推定するために導入されている。
【００４５】
上記ビデオ解析モジュールの導入は、経路レイテンシの増加及びアプリケーションの残りに対する利用可能な資源の減少に繋がるかもしれない。しかしながら、該モジュールの実行のために要する資源の量は僅かなものであり得る。更に、該モジュールの当該システムの強固さ及び予測可能性に対する全体としての貢献は上記制限を超えるものである。
【００４６】
提案された方法を使用する他の仕方が図４に示されている。パラメータ情報はＳＶＡに送られ（放送され）、これらＳＶＡは適切な情報をシステム制御部に送ることができる。この方法は、上記システム制御部の機能を、前の方法の時間的有利さを失うことなく、僅かに容易にさせる。即ち、当該システムの最適化のための適切な情報は、依然として、ＳＶＡでの変化が実際に発生する前にシステム制御部に与えられる。
【００４７】
本発明の重要な発明的ステップは、下記のように要約することができる。
【００４８】
１．幾つかのビデオ処理アルゴリズムの性能（負荷及び出力視覚品質）は、動き、細部、ノイズ、ユーザの焦点及びウインドウのサイズ等の特定のパラメータに対して敏感である。従って、同じスケーラブルビデオアルゴリズムは、（複数の）処理のパラメータの値又はタイプに依存して、２組以上の有効な品質レベル（品質マッピング）をサポートすることができる（図２）。
【００４９】
２．スケーラブルビデオアルゴリズムは、当該システム制御部に斯かるアルゴリズムの性能に影響するパラメータのタイプ及び各品質マッピングを供給することにより、システムの予測可能性を補助することができる。
【００５０】
３．当該システム制御部が最適な資源割付を実行するために、該システム制御部は、その都度及び各ＳＶＡに対して適切な品質マッピングを考察しなければならない。
【００５１】
４．その都度、適切な品質マッピングを規定するために、各ＳＶＡの敏感なパラメータの値又はタイプが推定されねばならない。
【００５２】
５．これらパラメータの時間にわたる統計的振る舞いは、ビデオ復号モジュール（ＭＰＥＧ入力データの場合）及び／又はビデオ解析モジュール内で部分的に測定することができる。斯かる測定値／推定値は上記システム制御部に通知することができる。
【００５３】
６．当該システムは、該システムの資源の（再）割付の最適化処理において考慮されるべき、何のパラメータが変化され、従って何のＳＶＡが影響を受け、及びどれが各ＳＶＡに対して適した品質マッピングであるかを通知される。上記システム制御部が品質レベルの有効な組を有することにより、最も適した資源割付がなされ、かくして、当該システムは最も強固で予測可能となる。
【００５４】
７．更なる機能は過負荷保護であり得る。当該ビデオ処理経路においてビデオ解析モジュールを可能な限り早期の段階に有することにより、上記システム制御部は一層速く通知され、過負荷を防止するために必要な変更を一層速く開始することができる（図３）。このようにして、上記システム制御部は、過負荷状態に関して、斯かる過負荷状態が実際に発生する前に通知され得る。
【００５５】
８．ビデオ解析モジュールの最も適した位置は図３に示されている。この位置は、復号されたビデオ入力ストリームが利用可能な、当該経路における最も早期の位置に対応する。
【図面の簡単な説明】
【００５６】
【図１】図１は、消費者向けマルチメディア端末の典型的なビデオ処理経路を示す。
【図２】図２は、出力視覚品質対資源利用を、種々のパラメータ型式に関してグラフ的に示す。
【図３】図３は、測定モジュールを使用したビデオ処理経路の一実施例を示す。
【図４】図４は、測定モジュールを使用したビデオ処理経路の他の実施例を示す。

Claims

少なくとも１つのビデオ処理アルゴリズムを備えるメディア処理ユニットのようなシステムを有するオープンで柔軟なシステムの予測可能性を補助する方法において、ビデオ解析が実行され、前記少なくとも１つのビデオ処理アルゴリズムの出力品質及び負荷に影響するパラメータが適切に測定され、必要な情報がシステム制御部に供給され、前記システム制御部が適切な制御及び補正を実行することを特徴とする方法。
請求項１に記載のオープンで柔軟なシステムの予測可能性を補助する方法において、前記ビデオ処理アルゴリズムが資源利用を視覚出力品質と動的に取引するスケーラブルビデオアルゴリズムであることを特徴とする方法。
少なくとも１つのビデオ処理アルゴリズムを備えるメディア処理ユニットのようなシステムを有するオープンで柔軟なシステムの予測可能性を補助する手段を備えるような装置において、ビデオ解析が実行され、前記少なくとも１つのビデオ処理アルゴリズムの出力品質及び負荷に影響するパラメータが適切に測定され、必要な情報がシステム制御部に供給され、前記システム制御部が適切な制御及び補正を実行することを特徴とする装置。
請求項３に記載のオープンで柔軟なシステムの予測可能性を補助する手段を備えるような装置において、前記ビデオ処理アルゴリズムが資源利用を視覚出力品質と動的に取引するスケーラブルビデオアルゴリズムであることを特徴とする装置。
少なくとも１つのビデオ処理アルゴリズムを備えるメディア処理ユニットのようなシステムを有するオープンで柔軟なシステムの予測可能性を補助する方法の使用において、ビデオ解析が実行され、前記少なくとも１つのビデオ処理アルゴリズムの出力品質及び負荷に影響するパラメータが適切に測定され、必要な情報がシステム制御部に供給され、前記システム制御部が適切な制御及び補正を実行することを特徴とする方法の使用。
請求項５に記載のオープンで柔軟なシステムの予測可能性を補助する方法の使用において、前記ビデオ処理アルゴリズムが資源利用を視覚出力品質と動的に取引するスケーラブルビデオアルゴリズムであることを特徴とする方法の使用。