JP2013516906A5

JP2013516906A5 -

Info

Publication number: JP2013516906A5
Application number: JP2012548061A
Authority: JP
Filing date: 2011-01-03
Publication date: 2013-06-20
Anticipated expiration: 2031-01-03

Description

本開示のいくつかの実施形態について説明してきたが、本開示の精神および範囲から外れることなく様々な修正がなされてもよいことは理解されるであろう。よって、他の実施形態も付属の請求項の範囲内にある。
いくつかの態様を記載しておく。
〔態様１〕
適応的に復号するマルチ−レイヤビデオシステムであって：
ベースレイヤデコーダと；
１つ以上のエンハンスメントレイヤデコーダと；
前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタとを含み、
前記復号アダプタは、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する、システム。
〔態様２〕
前記ベースレイヤデコーダからフィルタ処理される予測を前記１つ以上のエンハンスメントレイヤデコーダに提供する１つ以上の処理モジュールをさらに含み：
前記復号アダプタは、さらに前記１つ以上の処理モジュールの演算を制御する、態様１記載のシステム。
〔態様３〕
前記復号アダプタは、１つ以上の前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する、態様１又は２記載のシステム。
〔態様４〕
ポスト処理モジュールをさらに含み、
前記復号アダプタは、前記ポスト処理モジュールから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する、態様１乃至３いずれか一項に記載のシステム。
〔態様５〕
前記ポスト処理される情報は、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに関連する符号化時間情報を含む、態様４記載のシステム。
〔態様６〕
前記復号アダプタは、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの演算を単純化することで、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの演算を制御する、態様１乃至５いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様７〕
前記ベースレイヤデコーダ及び１つ以上のエンハンスメントレイヤデコーダはそれぞれ、残差復号モジュール及びインループフィルタリングモジュールを含み、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの単純化は、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの１つ以上の前記残差復号モジュール及びインループフィルタリングモジュールを単純化又は除去することで行われる、態様６記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様８〕
前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算は、１つ以上の画像、画像の部分、スライス、画像系列、及びピクチャのグループ（ＧＯＰ）に関して制御される、態様１乃至７いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様９〕
前記復号アダプタは、非参照画像及び／又は参照画像の演算を制御する、態様８記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１０〕
前記復号アダプタは、複雑度の推定値に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、態様１乃至９いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１１〕
前記復号アダプタは、平均復号時間に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、態様１乃至１０いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１２〕
前記復号アダプタは、復号された品質推定値に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、態様１乃至１１いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１３〕
前記復号アダプタは、メタデータ情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算をさらに制御する態様１０、１１又は１２のいずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１４〕
マルチ−レイヤビデオシステムの適応的な復号方法であって：
ビデオ情報を読み込む段階と；
前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から１つの復号モードを選択する段階と；
前記選択された復号モードに従ってマルチ−レイヤシステムの１つ以上のレイヤの前記ビデオ情報を復号する段階と；
それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と；
次のビデオ情報が利用可能であれば、前記読み出す段階、選択する段階、及び復号する段階を繰り返す段落とを含む、方法。
〔態様１５〕
前に復号されたビデオ情報の前記復号時間は、平均復号時間である態様１４記載の方法。
〔態様１６〕
前記複数の復号モードは、最速の復号モードを含み、
前記最速の復号モードが選択されるとき、前記最速の復号モードの復号の複雑度を推定する段階をさらに含む、態様１４又は１５記載の方法。
〔態様１７〕
前記マルチ−レイヤシステムのどのレイヤを前記最速の復号モードで復号するかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、態様１６記載の方法。
〔態様１８〕
前記マルチ−レイヤシステムの１つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、態様１７記載の方法。
〔態様１９〕
前記決定は、画像品質の推量にさらに基づく、態様１８記載の方法。
〔態様２０〕
前記ビデオ情報は、非参照ピクチャ情報及び参照ピクチャ情報を含み、
参照ピクチャ情報を含むビデオ情報の復号モードが選択されるとき、前記復号モードの復号の複雑度を推定する段階をさらに含む、態様１４又は１５記載の方法。
〔態様２１〕
前記マルチ−レイヤシステムのどのレイヤを前記復号モードで復号するかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、態様２０記載の方法。
〔態様２２〕
前記マルチ−レイヤシステムの１つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、態様２１記載の方法。
〔態様２３〕
前記決定は、画像品質の推量にさらに基づく、態様２２記載の方法。
〔態様２４〕
前記ビデオ情報は、ピクチャ、ピクチャの部分、又は一連のピクチャ群を含む、態様１４乃至２３いずれか一項に記載の方法。
〔態様２５〕
前記ピクチャの部分はスライスであり、前記一連のピクチャ群はピクチャのグループ（ＧＯＰ）である、態様２４記載の方法。
〔態様２６〕
前記マルチ−レイヤシステムは、ベースレイヤ及び１つ以上のエンハンスメントレイヤを含む、態様１４乃至２５いずれか一項に記載の方法。
〔態様２７〕
前記マルチ−レイヤシステムは、前記ベースレイヤから１つ以上のエンハンスメントレイヤに復号情報を通信するために適した参照プロセッサを含む、態様２６記載の方法。
〔態様２８〕
前記複数の復号モードは、前記マルチ−レイヤシステムの１つ以上で実行される復号演算の単純化の量に基づいてそれぞれ異なり、
前記復号モードの選択は、以前に行われた復号演算の平均復号時間を対象閾値と比較することで行われる、態様１４記載の方法。
〔態様２９〕
前記復号モードの選択は、以前に選択された復号モードを維持すること、最速の復号モードを選択すること、及びより遅い復号モードを選択することの中から選択される、態様２８記載の方法。
〔態様３０〕
前記復号モードの選択は、画像品質の推量にも依存する、態様２８又は２９記載の方法。
〔態様３１〕
ネットワーク上のクライアントにビデオパケットを送るのに適した適応的なマルチ−レイヤビデオサーバであって：
ベースレイヤビデオパケット化器と；
１つ以上のエンハンスメントレイヤパケット化器と；
前記ベースレイヤパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器に接続されるパケット化アダプタとを含み、
前記パケット化アダプタは、前記ベースレイヤパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器の演算を制御する、ビデオサーバ。
〔態様３２〕
前記ベースレイヤビデオパケット化器及び１つ以上のエンハンスメントレイヤビデオパケット化器の演算は、前記ベースレイヤビデオパケット化器及び前記１つ以上のエンハンスメントレイヤビデオパケット化器を通してネットワーク上にどのパケットを送信する、又は送信しないかについての決定を制御する態様３１記載のビデオサーバ。
〔態様３３〕
前記パケット化アダプタの制御は、サーバにより生成された情報に基づく、態様３１又は３２記載のビデオサーバ。
〔態様３４〕
前記パケット化アダプタの制御は、クライアントにより生成された情報に基づく、態様３１又は３２記載のビデオサーバ。
〔態様３５〕
態様１の前記復号システムと態様３１の前記ビデオサーバを含む、ビデオ処理アーキテクチャ。

Claims

適応的に復号するマルチ−レイヤビデオシステムであって：
ベースレイヤデコーダと；
１つ以上のエンハンスメントレイヤデコーダと；
前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタと；
ポスト処理モジュールとを含み、
前記ポスト処理モジュールは、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに接続され、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの各デコーダの出力は前記ポスト処理モジュールの入力として与えられ、
前記ポスト処理モジュールは、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの各デコーダの出力を組み合わせるよう構成され、
前記復号アダプタは、前記ポスト処理モジュールから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御し、
前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの各デコーダについて、前記復号アダプタは、複数の復号モードの中から当該デコーダにおいて実行されるべき復号モードを選択することによって当該デコーダの演算を制御する、システム。
前記ベースレイヤデコーダからフィルタ処理される予測を前記１つ以上のエンハンスメントレイヤデコーダに提供する１つ以上の処理モジュールをさらに含み：
前記復号アダプタは、さらに前記１つ以上の処理モジュールの演算を制御する、請求項１記載のシステム。
前記復号アダプタは、１つ以上の前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する、請求項１又は２記載のシステム。
前記復号アダプタは、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの演算を単純化することで、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの演算を制御する、請求項１乃至３いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
前記ベースレイヤデコーダ及び１つ以上のエンハンスメントレイヤデコーダはそれぞれ、残差復号モジュール及びインループフィルタリングモジュールを含み、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの単純化は、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの１つ以上の前記残差復号モジュール及びインループフィルタリングモジュールを単純化又は除去することで行われる、請求項４記載の適応的に復号するマルチ−レイヤビデオシステム。
前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算は、１つ以上の画像、画像の部分、スライス、画像系列、及びピクチャのグループ（ＧＯＰ）に関して制御される、請求項１乃至５いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
前記復号アダプタは、非参照画像及び／又は参照画像の演算を制御する、請求項６記載の適応的に復号するマルチ−レイヤビデオシステム。
前記復号アダプタは、複雑度の推定値に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項１乃至７いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
前記復号アダプタは、平均復号時間に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項１乃至８いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
前記復号アダプタは、復号された品質推定値に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項１乃至９いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
前記復号アダプタは、メタデータ情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算をさらに制御する請求項８、９又は１０のいずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
マルチ−レイヤビデオシステムの適応的な復号方法であって：
ビデオ情報を読み込む段階と；
前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から１つの復号モードを選択する段階と；
前記選択された復号モードに従ってマルチ−レイヤシステムの１つ以上のレイヤの前記ビデオ情報を復号する段階と；
それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と；
次のビデオ情報が利用可能であれば、前記読み出す段階、選択する段階、及び復号する段階を繰り返す段落とを含む、方法。
前に復号されたビデオ情報の前記復号時間は、平均復号時間である請求項１２記載の方法。
前記複数の復号モードは、最速の復号モードを含み、
前記最速の復号モードが選択されるとき、前記最速の復号モードの復号の複雑度を推定する段階をさらに含む、請求項１２又は１３記載の方法。
前記マルチ−レイヤシステムのどのレイヤを前記最速の復号モードで復号するかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、請求項１４記載の方法。
前記マルチ−レイヤシステムの１つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、請求項１５記載の方法。
前記決定は、画像品質の推量にさらに基づく、請求項１６記載の方法。
前記ビデオ情報は、非参照ピクチャ情報及び参照ピクチャ情報を含み、
参照ピクチャ情報を含むビデオ情報の復号モードが選択されるとき、前記復号モードの復号の複雑度を推定する段階をさらに含む、請求項１２又は１３記載の方法。
前記マルチ−レイヤシステムのどのレイヤを前記復号モードで復号するかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、請求項１８記載の方法。
前記マルチ−レイヤシステムの１つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、請求項１９記載の方法。
前記決定は、画像品質の推量にさらに基づく、請求項２０記載の方法。
前記ビデオ情報は、ピクチャ、ピクチャの部分、又は一連のピクチャ群を含む、請求項１２乃至２１いずれか一項に記載の方法。
前記ピクチャの部分はスライスであり、前記一連のピクチャ群はピクチャのグループ（ＧＯＰ）である、請求項２２記載の方法。
前記マルチ−レイヤシステムは、ベースレイヤ及び１つ以上のエンハンスメントレイヤを含む、請求項１２乃至２３いずれか一項に記載の方法。
前記マルチ−レイヤシステムは、前記ベースレイヤから１つ以上のエンハンスメントレイヤに復号情報を通信するために適した参照プロセッサを含む、請求項２４記載の方法。
前記複数の復号モードは、前記マルチ−レイヤシステムの１つ以上で実行される復号演算の単純化の量に基づいてそれぞれ異なり、
前記復号モードの選択は、以前に行われた復号演算の平均復号時間を対象閾値と比較することで行われる、請求項１２記載の方法。
前記復号モードの選択は、以前に選択された復号モードを維持すること、最速の復号モードを選択すること、及びより遅い復号モードを選択することの中から選択される、請求項２６記載の方法。
前記復号モードの選択は、画像品質の推量にも依存する、請求項２６又は２７記載の方法。
ネットワーク上のクライアントにビデオパケットを送るのに適した適応的なマルチ−レイヤビデオサーバであって：
ベースレイヤビデオパケット化器と；
１つ以上のエンハンスメントレイヤパケット化器と；
前記ベースレイヤパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器に接続されるパケット化アダプタとを含み、
前記パケット化アダプタは、前記ベースレイヤパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器の演算をクライアントにより生成された情報に基づいて制御する、ビデオサーバ。
前記ベースレイヤビデオパケット化器及び１つ以上のエンハンスメントレイヤビデオパケット化器の演算は、前記ベースレイヤビデオパケット化器及び前記１つ以上のエンハンスメントレイヤビデオパケット化器を通してネットワーク上にどのパケットを送信する、又は送信しないかについての決定を制御する請求項２９記載のビデオサーバ。
請求項１の前記復号システムと請求項２９の前記ビデオサーバを含む、ビデオ処理アーキテクチャ。