JP2008504750A5

JP2008504750A5 -

Info

Publication number: JP2008504750A5
Application number: JP2007518338A
Authority: JP
Filing date: 2005-06-24
Publication date: 2008-07-10
Anticipated expiration: 2025-06-24

Claims

複数のイメージを符号化する方法であって、
ａ）前記複数のイメージを符号化するための名目量子化パラメータを定義するステップと、
ｂ）前記名目量子化パラメータに基づいて、少なくとも１つのイメージのための、少なくとも１つのイメージ固有の量子化パラメータを導出するステップと、
ｃ）前記イメージ固有の量子化パラメータに基づいて、前記複数のイメージを符号化するステップと、
ｄ）前記定義するステップ、前記導出するステップ、および前記符号化するステップを繰り返して前記符号化を最適化するステップと、
を備えることを特徴とする方法。
ａ）前記名目量子化パラメータに基づいて、複数のイメージのための複数のイメージ固有の量子化パラメータを導出するステップと、
ｂ）前記複数のイメージ固有の量子化パラメータに基づいて、前記複数のイメージを符号化するステップと、
ｃ）前記定義するステップ、前記名目量子化パラメータに基づいて、複数のイメージのための複数のイメージ固有の量子化パラメータを導出するステップ、および前記複数のイメージ固有の量子化パラメータに基づいて、前記複数のイメージを符号化するステップを繰り返して前記符号化を最適化するステップと、
をさらに備えることを特徴とする請求項１に記載の方法。
符号化の動作が終了の基準のセットを満たすと前記繰り返すステップを停止するステップをさらに備えることを特徴とする請求項１に記載の方法。
前記終了の基準のセットは、前記複数のイメージに関して許容できる符号化に関する識別情報を含むことを特徴とする請求項３に記載の方法。
前記複数のイメージに関して許容できる符号化は、目標ビットレートに関して特定の範囲内に収まる、前記複数のイメージの符号化であることを特徴とする請求項４に記載の方法。
複数のイメージを符号化する方法であって、
ａ）各々の特定のイメージ属性が少なくとも特定のイメージの特定の一部分に関する複雑性を定量化する、複数のイメージ属性を特定するステップと、
ｂ）前記複数のイメージに関する複雑性を定量化する基準属性を特定するステップと、
ｂ）前記特定された複数のイメージ属性と、前記基準属性と、名目量子化パラメータとに基づいて、前記複数のイメージを符号化するための量子化パラメータを特定するステップと、
ｃ）前記特定された量子化パラメータに基づいて、前記複数のイメージを符号化するステップと、
ｄ）前記複数のイメージ属性を特定するステップと、前記基準属性を特定するステップと、前記量子化パラメータを特定するステップと、前記符号化するステップとを、繰り返し実行して前記符号化を最適化するステップと、
を備え、
前記繰り返すステップでの、複数の異なる繰り返しにおいて、複数の異なる基準属性が使用される
ことを特徴とする方法。
前記複数のイメージ属性は、各々のイメージの少なくとも一部分に関する視覚マスキング強度であり、
前記視覚マスキング強度は、ビデオシーケンスが前記方法に従って符号化され復号化された後に、前記ビデオシーケンスの視聴者にとって認識できない符号化アーチファクトの量を推定するためのものである
ことを特徴とする請求項６に記載の方法。
前記複数のイメージ属性は、各々のイメージの少なくとも一部分に関する視覚マスキング強度であり、
イメージの一部分に関する視覚マスキング強度は、前記イメージの前記一部分に関する複雑性を示し、
イメージの一部分に関する前記複雑性を定量化する際に、前記視覚マスキング強度は、前記符号化するステップの結果生じる圧縮アーチファクトであって、復号化された後の前記符号化されていたイメージにおいて見える歪みの無い圧縮アーチファクトの量に関する指標を提供する
ことを特徴とする請求項６に記載の方法。
複数のイメージを符号化するためのコンピュータプログラムを記憶しているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、以下に列挙する命令セットを含むことを特徴とするコンピュータ読み取り可能な記憶媒体。
ａ）前記複数のイメージを符号化するための名目量子化パラメータを定義すること。
ｂ）前記名目量子化パラメータに基づいて、少なくとも１つのイメージのための、少なくとも１つのイメージ固有の量子化パラメータを導出すること。
ｃ）前記イメージ固有の量子化パラメータに基づいて、前記複数のイメージを符号化すること。
ｄ）前記定義すること、前記導出すること、および前記符号化することを繰り返して前記符号化を最適化すること。
前記コンピュータプログラムは、以下に列挙する命令セットをさらに含むことを特徴とする請求項９に記載のコンピュータ読み取り可能な記憶媒体。
ａ）前記名目量子化パラメータに基づいて、複数のイメージのための複数のイメージ固有の量子化パラメータを導出すること。
ｂ）前記複数のイメージ固有の量子化パラメータに基づいて、前記複数のイメージを符号化すること。
ｃ）前記定義すること、前記名目量子化パラメータに基づいて、複数のイメージのための複数のイメージ固有の量子化パラメータを導出すること、および前記複数のイメージ固有の量子化パラメータに基づいて、前記複数のイメージを符号化することを繰り返して前記符号化を最適化すること。
前記コンピュータプログラムは、符号化の動作が終了の基準のセットを満たすと前記繰り返すことを停止する命令セットをさらに含むことを特徴とする請求項９に記載のコンピュータ読み取り可能な記憶媒体。
前記終了の基準のセットは、前記複数のイメージに関して許容できる符号化に関する識別情報を含むことを特徴とする請求項１１に記載のコンピュータ読み取り可能な記憶媒体。
前記複数のイメージに関して許容できる符号化は、目標ビットレートに関して特定の範囲内に収まる、前記複数のイメージの符号化であることを特徴とする請求項１２に記載のコンピュータ読み取り可能な記憶媒体。
ビデオイメージのシーケンスを符号化する方法であって、
ａ）前記ビデオイメージのシーケンスを受信するステップと、
ｂ）目標ビットレートを達成し、かつ、符号化されたビデオシーケンスをデコードする仮想参照デコーダの入力バッファを通る符号化されたデータの流れに関する制約のセットを満足しつつ、画質を最適化する符号化ソリューションを特定するために、前記ビデオイメージのシーケンスに対して複数の異なる符号化ソリューションを繰り返し試みるステップと、
を備えることを特徴とする方法。
前記繰り返し試みるステップは、各々の符号化ソリューションに関して、前記ビデオイメージのシーケンスにおけるあらゆるイメージセットに対して前記符号化ソリューションの処理を行っている間に前記仮想参照デコーダがアンダフローするか否かを判定するステップを備えることを特徴とする請求項１４に記載の方法。
前記複数の異なる符号化ソリューションを繰り返し試みるステップは、
ａ）前記仮想参照デコーダの入力バッファの状態をシミュレートするステップと、
ｂ）前記仮想参照デコーダにおける入力バッファの使用率を最大化しつつ画質を最適化するビット数を選択するために、前記シミュレートするステップを活用するステップと、
ｃ）前記最適化された入力バッファの使用率を達成するために前記符号化されたビデオイメージを再符号化するステップと、
ｄ）最適な符号化が特定されるまで、前記シミュレートするステップ、前記活用するステップ、および前記再符号化するステップを繰り返し実行するステップと、
を備えることを特徴とする請求項１４に記載の方法。
前記仮想参照デコーダの入力バッファの状態をシミュレートするステップは、前記仮想参照デコーダが符号化されたデータを受信する速度を考慮するステップをさらに備えることを特徴とする請求項１６に記載の方法。
前記仮想参照デコーダの入力バッファの状態をシミュレートするステップは、前記仮想参照デコーダの入力バッファのサイズを考慮するステップをさらに備えることを特徴とする請求項１６に記載の方法。
前記仮想参照デコーダの入力バッファの状態をシミュレートするステップは、前記仮想参照デコーダの入力バッファからの初期除去遅延を考慮するステップをさらに備えることを特徴とする請求項１６に記載の方法。
ａ）前記繰り返し試みるステップの前に、バッファの前記流れに関連する前記制約のセットに基づかない初期符号化ソリューションを特定するステップと、
ｂ）前記初期符号化ソリューションを使用して前記繰り返し試みるステップにおける最初の試みを開始するステップと、
をさらに備えることを特徴とする請求項１４に記載の方法。
入力バッファを有する仮想参照デコーダを備えるシステムにおいてビデオイメージのシーケンスを符号化するためのコンピュータプログラムを記憶しているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、以下に列挙する命令セットを含むことを特徴とするコンピュータ読み取り可能な記憶媒体。
ａ）前記ビデオイメージのシーケンスを受信すること。
ｂ）目標ビットレートを達成し、かつ、符号化されたビデオシーケンスをデコードする仮想参照デコーダの入力バッファを通る符号化されたデータの流れに関する制約のセットを満足しつつ、画質を最適化する符号化ソリューションを特定するために、前記ビデオイメージのシーケンスに対して複数の異なる符号化ソリューションを繰り返し試みること。
前記繰り返し試みる命令セットは、各々の符号化ソリューションに関して、前記ビデオイメージのシーケンスにおけるあらゆるイメージセットに対して前記符号化ソリューションの処理を行っている間に前記仮想参照デコーダがアンダフローするか否かを判定する命令セットを含むことを特徴とする請求項２１に記載のコンピュータ読み取り可能な記憶媒体。
前記複数の異なる符号化ソリューション繰り返し試みる命令セットは、以下に列挙する命令セットをさらに含むことを特徴とする請求項２１に記載のコンピュータ読み取り可能な記憶媒体。
ａ）前記仮想参照デコーダの入力バッファの状態をシミュレートすること。
ｂ）前記仮想参照デコーダにおける入力バッファの使用率を最大化しつつ画質を最適化するビット数を選択するために、前記シミュレートすることを活用すること。
ｃ）前記最適化された入力バッファの使用率を達成するために前記符号化されたビデオイメージを再符号化すること。
ｄ）最適な符号化が特定されるまで、前記シミュレートすること、前記活用すること、および前記再符号化することを繰り返し実行すること。
前記仮想参照デコーダの入力バッファの状態をシミュレートする命令セットは、前記仮想参照デコーダが符号化されたデータを受信する速度を考慮する命令セットをさらに含むことを特徴とする請求項２３に記載のコンピュータ読み取り可能な記憶媒体。
前記仮想参照デコーダの入力バッファの状態をシミュレートする命令セットは、前記仮想参照デコーダの入力バッファのサイズを考慮する命令セットをさらに含むことを特徴とする請求項２３に記載のコンピュータ読み取り可能な記憶媒体。
前記仮想参照デコーダの入力バッファの状態をシミュレートする命令セットは、前記仮想参照デコーダの入力バッファからの初期除去遅延を考慮する命令セットをさらに含むことを特徴とする請求項２３に記載のコンピュータ読み取り可能な記憶媒体。
前記コンピュータプログラムは、以下に列挙する命令セットをさらに含むことを特徴とする請求項２１に記載のコンピュータ読み取り可能な記憶媒体。
ａ）前記繰り返し試みることの前に、バッファの前記流れに関連する前記制約のセットに基づかない初期符号化ソリューションを特定すること。
ｂ）前記初期符号化ソリューションを使用して前記繰り返し試みることにおける最初の試みを開始すること。
ビデオを符号化する方法であって、
ａ）前記ビデオのシーケンスにおける第１のイメージの第１の部分に関して、前記第１の部分の複雑性が原因で視聴者にとって認識できない符号化アーチファクトの度合いを定量化する、第１の視覚マスキング強度を特定するステップと、
ｂ）前記特定された視覚マスキング強度に基づいて前記第１のイメージの少なくとも一部分を符号化するステップと、
を備えることを特徴とする方法。
前記視覚マスキング強度は、前記第１の部分の空間的複雑性を示すことを特徴とする請求項２８に記載の方法。
前記空間的複雑性は、前記イメージの一部分に関するピクセル値の関数として計算されることを特徴とする請求項２９に記載の方法。
前記第１の部分は、複数のピクセル、および各々のピクセルに対するイメージ値を有し、
前記第１の部分に関する前記視覚マスキング強度を特定するステップは、
ａ）前記第１の部分の前記ピクセルのイメージ値を推定するステップと、
ｂ）前記第１の部分の前記ピクセルの前記イメージ値から前記統計的な属性を減算するステップと、
ｃ）前記減算の結果に基づいて前記視覚マスキング強度を計算するステップと、
を備えることを特徴とする請求項３０に記載の方法。
前記推定されたイメージ値は、前記第１の部分のピクセルのイメージ値に関する統計的な属性であることを特徴とする請求項３１に記載の方法。
前記統計的な属性は、中央値であることを特徴とする請求項３２に記載の方法。
前記推定されたイメージ値は、前記第１の部分のピクセルの近隣にあるピクセルに部分的に基づいていることを特徴とする請求項３１に記載の方法。
前記視覚マスキング強度は、前記第１の部分の時間的複雑性を示すことを特徴とする請求項２８に記載の方法。
前記時間的複雑性は、前記第１のイメージの前記第１の部分内に定義されたピクセル領域に関する動き補償された誤差信号の関数として計算されることを特徴とする請求項３５に記載の方法。
前記時間的複雑性は、前記第１のイメージの前記第１の部分内に定義されたピクセル領域に関する動き補償された誤差信号と、他のイメージのセットにおける第２の部分のセット内に定義されたピクセルに関する動き補償された誤差信号と、の関数として計算されることを特徴とする請求項３５に記載の方法。
前記他のイメージのセットは、１つのイメージのみを含むことを特徴とする請求項３７に記載の方法。
前記他のイメージのセットは、複数のイメージを含むことを特徴とする請求項３７に記載の方法。
前記動き補償された誤差信号は、混合された動き補償された誤差信号であり、
前記方法は、
ａ）各々の他のイメージに関する重み係数を定義するステップと、
ｂ）前記第１のイメージ、および前記他のイメージのセットにおける各々のイメージに対して、個々の動き補償された誤差信号を計算するステップと、
ｃ）前記重み係数を使用して、前記個々の動き補償された誤差信号から前記混合された動き補償された誤差信号を生成するステップと、
をさらに備え、
前記ビデオのシーケンスにおいて、前記第１のイメージに対して第２のイメージが第３のイメージよりも近い場合に、前記第２のイメージの重み係数は、前記第３のイメージの重み係数よりも大きい
ことを特徴とする請求項３９に記載の方法。
前記第１のイメージを伴うシーンの一部ではない前記他のイメージのセットにおけるイメージのサブセットに関する重み係数が、前記イメージのサブセットを排除するために選択されることを特徴とする請求項４０に記載の方法。
前記他のイメージのセットは、前記第１のイメージを伴うシーンの一部であるイメージのみを含み、他のシーンに関連するいかなるイメージも含まないことを特徴とする請求項３７に記載の方法。
前記第２のイメージは、前記第１のイメージ以前に発生した過去のイメージのセット、および前記第１のイメージ以後に発生する将来のイメージのセットから選択されることを特徴とする請求項３７に記載の方法。
前記視覚マスキング強度は、空間的複雑性の成分および時間的複雑性の成分を含み、
前記方法は、
前記空間的複雑性の成分と前記時間的複雑性の成分とを相互に比較するステップと、
前記視覚マスキング強度に対する前記空間的複雑性の成分の寄与および前記時間的複雑性の成分の寄与をそれぞれ許容することができる範囲に維持するために、所定の基準に基づいて、空間的複雑性の成分および時間的複雑性の成分を変更するステップと、
をさらに備えることを特徴とする請求項２８に記載の方法。
前記時間的複雑性の成分は、所定のフレームに関するルックアヘッド範囲内の来るべきシーン変化を考慮に入れて調整されることを特徴とする請求項４４に記載の方法。
前記視覚マスキング強度は、前記第１の部分の輝度属性を示すことを特徴とする請求項２８に記載の方法。
前記輝度属性は、前記第１の部分の平均ピクセル輝度として計算されることを特徴とする請求項４６に記載の方法。
前記第１の部分は、前記第１のイメージ全体であることを特徴とする請求項２８に記載の方法。
前記第１の部分は、前記第１のイメージ全体よりも小さいことを特徴とする請求項２８に記載の方法。
前記第１の部分は、前記第１のイメージ内のマクロブロックであることを特徴とする請求項４９に記載の方法。
ビデオを符号化するためのコンピュータプログラムを記憶しているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、以下に列挙する命令セットを含むことを特徴とするコンピュータ読み取り可能な記憶媒体。
ａ）前記ビデオのシーケンスにおける第１のイメージの第１の部分に関する複雑性を定量化する第１の視覚マスキング強度を特定すること。
ｂ）前記特定された視覚マスキング強度に基づいて前記第１のイメージの少なくとも一部分を符号化すること。
前記視覚マスキング強度は、前記第１の部分の空間的複雑性が原因で視聴者にとって認識できない符号化アーチファクトの度合いを定量化することを特徴とする請求項５１に記載のコンピュータ読み取り可能な記憶媒体。
前記視覚マスキング強度は、前記第１の部分の前記ビデオにおける動きが原因で視聴者にとって認識できない符号化アーチファクトの度合いを示し、
前記動きは、前記第１のイメージ、および前記第１のイメージの前後のイメージのセットによって捕捉される
ことを特徴とする請求項５１に記載のコンピュータ読み取り可能な記憶媒体。
前記視覚マスキング強度は、空間的複雑性および時間的複雑性を含み、
前記コンピュータプログラムは、
前記空間的複雑性の成分と前記時間的複雑性の成分とを相互に比較する命令セットと、
前記視覚マスキング強度に対する前記空間的複雑性の成分の寄与および前記時間的複雑性の成分の寄与をそれぞれ許容することができる範囲に維持するために、基準のセットに基づいて、空間的複雑性の成分および時間的複雑性の成分を変更する命令セットと、
をさらに含むことを特徴とする請求項５１に記載のコンピュータ読み取り可能な記憶媒体。
前記視覚マスキング強度は、空間的複雑性および時間的複雑性を含み、
前記コンピュータプログラムは、前記空間的複雑性の時間的傾向、およびイメージのセット中の前記時間的複雑性を平滑化することによって、前記空間的複雑性、および前記時間的複雑性を変更する命令セットをさらに含むことを特徴とする請求項５４に記載のコンピュータ読み取り可能な記憶媒体。
前記時間的複雑性の成分は、所定のフレームに関するルックアヘッド範囲内の来るべきシーン変化を考慮に入れて調整されることを特徴とする請求項５４に記載のコンピュータ読み取り可能な記憶媒体。
前記視覚マスキング強度の属性は、前記第１の部分に関する輝度属性を示すことを特徴とする請求項５１に記載のコンピュータ読み取り可能な記憶媒体。
イメージのための前記イメージ固有の量子化パラメータは、フレーム内の平均ピクセル輝度に基づいて導出されることを特徴とする請求項１に記載の方法。
イメージのための前記イメージ固有の量子化パラメータは、フレーム内の平均ピクセル輝度のパワー関数に基づいて導出されることを特徴とする請求項１に記載の方法。
イメージは複数のピクセルセットを含み、
イメージのための前記イメージ固有の量子化パラメータは、イメージ内の全ピクセルセットに亘るピクセル値の絶対差分の総和（ＳＡＤ）の平均のパワー関数に基づいて導出される
ことを特徴とする請求項１に記載の方法。
イメージのための前記イメージ固有の量子化パラメータは、イメージ間の動きに起因する耐えられ得る歪みの量を示す時間的属性に基づいて導出されることを特徴とする請求項１に記載の方法。
イメージのための前記イメージ固有の量子化パラメータは、前記イメージ内に定義された複数のピクセル領域に関する動き補償された誤差信号の絶対値の総和に基づいて導出されることを特徴とする請求項１に記載の方法。
現在のイメージのための前記イメージ固有の量子化パラメータは、前記現在のイメージのピクセル値の絶対差分の総和（ＳＡＤ）の平均と、前記現在のイメージよりも時間的に前のイメージセットのピクセル値の絶対差分の総和（ＳＡＤ）の平均と、前記現在のイメージよりも時間的に後のイメージセットのピクセル値の絶対差分の総和（ＳＡＤ）の平均と、に基づいて導出されることを特徴とする請求項１に記載の方法。
前記複数のイメージ属性は、各々のイメージの少なくとも一部分に関する視覚マスキング強度であり、
特定の繰り返しにおける視覚マスキング強度は、ビットレートのセットにおける誤差と、以前の繰り返しのセットからの視覚マスキング強度の値のセットと、に基づいて導出される
ことを特徴とする請求項６に記載の方法。
前記複数のイメージ属性は、各々のイメージの少なくとも一部分に関する視覚マスキング強度であり、
特定の繰り返しにおける視覚マスキング強度は、前記特定の繰り返しにおける全イメージの量子化パラメータの平均に基づいて導出される
ことを特徴とする請求項６に記載の方法。
イメージのための前記イメージ固有の量子化パラメータは、フレーム内の平均ピクセル輝度に基づいて導出されることを特徴とする請求項９に記載のコンピュータ読み取り可能な記憶媒体。
イメージのための前記イメージ固有の量子化パラメータは、フレーム内の平均ピクセル輝度のパワー関数に基づいて導出されることを特徴とする請求項９に記載のコンピュータ読み取り可能な記憶媒体。
イメージは複数のピクセルセットを含み、
イメージのための前記イメージ固有の量子化パラメータは、イメージ内の全ピクセルセットに亘るピクセル値の絶対差分の総和（ＳＡＤ）の平均のパワー関数に基づいて導出される
ことを特徴とする請求項９に記載のコンピュータ読み取り可能な記憶媒体。
イメージのための前記イメージ固有の量子化パラメータは、イメージ間の動きに起因する耐えられ得る歪みの量を示す時間的属性に基づいて導出されることを特徴とする請求項９に記載のコンピュータ読み取り可能な記憶媒体。
イメージのための前記イメージ固有の量子化パラメータは、前記イメージ内に定義された複数のピクセル領域に関する動き補償された誤差信号の絶対値の総和に基づいて導出されることを特徴とする請求項９に記載のコンピュータ読み取り可能な記憶媒体。
現在のイメージのための前記イメージ固有の量子化パラメータは、前記現在のイメージのピクセル値の絶対差分の総和（ＳＡＤ）の平均と、前記現在のイメージよりも時間的に前のイメージセットのピクセル値の絶対差分の総和（ＳＡＤ）の平均と、前記現在のイメージよりも時間的に後のイメージセットのピクセル値の絶対差分の総和（ＳＡＤ）の平均と、に基づいて導出されることを特徴とする請求項９に記載のコンピュータ読み取り可能な記憶媒体。