JP2006516375A - 改良型符号化モード選択の方法および装置 - Google Patents

Abstract

Ｈ．２６４（ＭＰＥＧ−４／Ｐａｒｔ １０）の枠内のＢ画像内の直接モード拡張およびＰ画像内のスキップ・モード拡張の新規の方法が開示される。直接モードとスキップ・モードの拡張は、ラグランジアン値のクラスタ化と、アウトライアの除去と、符号化モード選択のための速度歪最適化の際のラグランジュ乗数のより小さい値の指定とによって達成される。高品質サンプル・ビデオ・シーケンスを用いた実験結果は、ピーク信号対雑音比（ＰＳＮＲ）のわずかな損失で本発明の方法を用いてビット・レートを低減できることを示している。２つの異なる実験を行うことで、ピーク信号対雑音比が変化してもいかなる主観的な画像損失も観察できないことが実証された。（非規範的）ＭＰＥＧ−４／Ｐａｒｔ １０エンコーダで現在採用されている既存の速度歪の最適化方法に関連して、本発明の方法は簡単で有用な拡張機能を表す。より重要なことには、復号化された画像に許容できないアーティファクトが混入するので量子化パラメータの値を増やすなどの他の解決策は適用できないが、本発明の方法は復号化ビデオ・シーケンス内に観察できる歪を混入させることなくビット・レート低減を達成する。さらに、本発明はＨ．２６４の枠組みを利用するという事実にも関わらず、本発明の符号化方法は符号化モード選択のために速度歪最適化を使用する任意のビデオ符号化システムに適用可能である。

Description

（関連出願）
本特許出願は、２００３年１月８日出願の「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｉｍｐｒｏｖｅｄ Ｃｏｄｉｎｇ Ｍｏｄｅ Ｓｅｌｅｃｔｉｏｎ」（改良型符号化モード選択の方法および装置）と題された米国仮特許出願第６０／４３９０６２号の利益を主張する。
（技術分野）
本発明は、マルチメディア圧縮システムの分野に関する。特に、本発明は、符号化モード選択を改良する方法およびシステムを開示する。

ディジタル・ベースの電子媒体フォーマットはついに大幅にアナログ電子媒体フォーマットに取って代わる段階に達した。ディジタル・コンパクト・ディスク（ＣＤ）はかなり以前にアナログのビニール製レコードに取って代わっている。アナログ磁気カセット・テープはますます稀になっている。ミニディスクおよびＭＰ３（ＭＰＥＧオーディオ・レイヤ３）などの第２世代および第３世代ディジタル・オーディオ・システムはコンパクト・ディスクの第１世代ディジタル・オーディオ・フォーマットから市場シェアを奪いつつある。
ビデオ媒体はオーディオ媒体と比較してディジタル記憶装置および伝送フォーマットへの移行が遅れている。このディジタルへの移行の遅さの理由は、主として画像をディジタル形式で正確に表現するのに必要な大量のディジタル情報が原因である。画像を正確に表現するのに必要な大量のディジタル情報は、極めて大容量のディジタル記憶システムおよび高帯域伝送システムを必要とする。
しかし、画像はディジタル記憶装置および伝送フォーマットに急速に移行しつつある。より高速のコンピュータ・プロセッサ、高密度記憶システム、および新しい効率的な圧縮および符号化アルゴリズムによって、ディジタル・ビデオ伝送および記憶装置は消費者価格にまで引き下げられた。ディジタル・ビデオ・システムであるＤＶＤ（デジタル多用途ディスク）は、数年にわたって最もよく売れている消費者向け電子製品の１つである。ＤＶＤは、その高品質の画像、極めて高品質の音響、利便性および他の特徴によって、好んで選ばれる事前録画されたビデオ再生システムとしてビデオカセット・レコーダ（ＶＣＲ）に急速に取って代わっている。古くなったアナログＮＴＳＣ（全米テレビジョン方式委員会）のビデオ伝送システムは現在、ディジタルＡＴＳＣ（高度テレビジョン方式委員会）のビデオ伝送システムに移行しつつある。

コンピュータ・システムは数年間、さまざまな異なるディジタル・ビデオ符号化フォーマットを使用してきた。コンピュータ・システムによって使用されてきた最良のディジタル・ビデオ圧縮および符号化システムには、頭字語ＭＰＥＧで一般に知られる動画映像専門家グループ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）が支援するディジタル・ビデオ・システムが含まれる。ＭＰＥＧの３つの最も知られ、使用されているディジタル・ビデオ・フォーマットは、ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４である。ビデオＣＤおよび消費者グレードのディジタル・ビデオ編集システムは初期のＭＰＥＧ−１フォーマットを使用する。デジタル多用途ディスク（ＤＶＤ）およびディッシュ・ネットワーク・ブランドの直接放送衛星（ＤＢＳ）テレビジョン放送システムはＭＰＥＧ−２ディジタル・ビデオ圧縮および符号化システムを使用する。ＭＰＥＧ−４符号化システムは、最新のコンピュータ・ベースのディジタル・ビデオ・エンコーダおよびそれに関連するディジタル・ビデオ・プレーヤに急速に採用されている。

符号化モード選択を改良する方法およびシステムが開示される。本開示では、Ｈ．２６４（ＭＰＥＧ−４／Ｐａｒｔ １０）の枠内のＢ画像の直接モード拡張およびＰ画像のスキップ・モード拡張の新規の方法が開示される。
直接モードおよびスキップ・モード拡張は、既存の圧縮方式にいくつかの変更を加えることで達成される。特に、本発明のシステムは歪値内のアウトライアを除去するステップと、符号化モード選択の速度歪最適化のラグランジュ乗数のより小さい値を指定するステップと、符号化モード選択の前にラグランジアン値をクラスタ化するステップとを導入する。一実施形態では、Ｈｕｂｅｒコスト関数を使用して異なる符号化モードでの歪を計算し、アウトライアを除去する。本発明の一実施形態では、システムはラグランジュ乗数を参考のＨ．２６４（ＭＰＥＧ−４／Ｐａｒｔ １０）の実施態様よりも量子化値Ｑの関数として緩やかに変化するように変更する。ラグランジアンのクラスタ化はビット・レート低減のためのモード０符号化モードを支持するために使用される。
高品質ビデオ・シーケンスを用いた実験結果は、ビット・レートの低減がピーク信号対雑音比（ＰＳＮＲ）のわずかな損失の犠牲を払って本発明の方法を用いて得られることを示している。２つの異なる実験を行うことで、ピーク信号対雑音比が変化したにも関わらず主観的な画像損失がないということが検証された。
（非規範的）ＭＰＥＧ−４／Ｐａｒｔ １０エンコーダで現在採用されている既存の速度歪の最適化方法に関連して、本発明の方法は簡単で有用な拡張機能を表す。より重要なことには、量子化パラメータの値をさらに増やすなどの他の解決策が適用できない時には、復号化された画像には許容不能のアーティファクトが混入するので、本発明の方法は復号化シーケンスに観察できる歪を導入することなくビット・レート低減を達成する。
本発明の他の目的、特徴および利点は、添付の図面および下記の詳細な説明を読めば明らかになるだろう。

（図面の簡単な説明）
本発明の目的、特徴および利点は、以下の詳細な説明を読めば当業者には明らかとなるであろう。
図１は、変数γのＨｕｂｅｒコスト関数を示すグラフである。
図２Ａは、対象範囲の量子化パラメータ（Ｑ）値の関数である元の、および修正ラグランジュ乗数λ_ｍｏｄｅの変化を示す図である。
図２Ｂは、対象範囲の量子化パラメータ（Ｑ）値の関数であるＢフレームの元の、および修正ラグランジュ乗数λ_ｍｏｄｅの変化を示す図である。
図２Ｃは、対象範囲の量子化パラメータ（Ｑ）値の関数である元の、および修正ラグランジュ乗数λ_{ｍｏｔｉｏｎ}の変化を示す図である。
図３は、符号化モードの選択方法を示す流れ図である。

符号化モード選択を改良する方法およびシステムスが開示される。以下の説明では、説明のために、本発明を十分に理解するための特定の用語を使用する。しかし、本発明を実施するために具体的な詳細は必要ないことは当業者には明らかであろう。
序論
ＭＰＥＧ−４／Ｐａｒｔ １０、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）としても知られる先進のＨ．２６４ビデオ符号化標準およびＨ．２６Ｌは、既存のＭＰＥＧ標準に準拠する最先端のビデオ符号化方式より高度な動画圧縮を提供する目標を掲げた動画映像専門家グループ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（ＭＰＥＧ）および国際電気通信連合（ＩＴＵ）によって共同開発されてきた。２００３年の国際標準になると思われるＨ．２６４の対象分野は、テレビ会議、ディジタル記憶媒体、テレビジョン放送、インターネット・ストリーム伝送および通信を含む（が、それに限定されない）。
他のビデオ符号化標準と同様に、（その本文または付属書で）Ｈ．２６４標準は速度歪（ＲＤ）決定の枠組みを採用する。特に、Ｈ．２６４標準は符号化モード選択および動き予測の速度歪最適化を採用する。この開示では、第１の焦点はＨ．２６４標準の枠内の符号化モード選択に向けられる。
大半のディジタル・ビデオ符号化方式では、ビデオ・シーケンスの各ビデオ・フレームは画素ブロックと呼ばれる画素のサブセットに分割される。Ｈ．２６４標準では、画素ブロックはさまざまなサイズを有する（１６×１６画素に等しいサイズの画素ブロックは従来マクロブロックとして知られる）。符号化モード選択の問題は、非公式には「ビデオ・フレーム内の各画素ブロックを符号化するすべての可能な符号化方法（または符号化モード）のうち最良のものを選択する手順」と定義できる。符号化モード選択の問題はいくつかの異なった方法でビデオ・エンコーダによって解決できる。符号化モード選択の問題を解決する１つの可能な方法は速度歪最適化の使用である。

Ｈ．２６４ビデオ符号化標準の枠内で各画素ブロックを符号化するために選択できる多数の異なる符号化モードがある。モード０はＢフレーム内の「直接モード」として、またＰフレーム内の「スキップ・モード」として知られる。別の符号化モードは、Ｂ画像またはＰ画像内の１６×１６、１６×８および８×１６画素、８×８、８×４、４×８、４×４画素に等しいサイズの画素ブロックを使用する。
直接モード（Ｂ画像のモード０）では、デコーダに動き情報は送信されない。その代わり、予測システムを用いて動き情報が生成される。したがって、直接モードは、隣接する空間または時間情報を用いる優れた動きベクトル予測を可能にするシーケンスのビット・レートの節約を提供できる。しかし、実験結果は、Ｈ．２６４の直接モード選択はビデオ・シーケンスによっては予測されただけの数の選択画素ブロックを生成しないことを示している。
本開示は、Ｈ．２６４標準の枠内の双方向予測画像（Ｂ画像またはＢフレームとして知られる）内の直接モード（モード０）の選択を拡張する方法を提案する。Ｐフレームに適用された場合、本発明の符号化方法はスキップ・モード（またはモード０）選択の拡張を達成する。直接モードとスキップ・モードの拡張は、ラグランジアン値のクラスタ化と、アウトライアの除去と、符号化モード選択のための速度歪最適化の際のラグランジュ乗数のより小さい値の指定とによって達成される。
高品質サンプル・ビデオ・シーケンスを用いた実験結果は、本発明の圧縮ビットストリームのビット・レートが参考のＨ．２６４コーデックを用いて得た圧縮ビットストリームより速度が低減していることを示す。このビット・レート低減はビットストリームのピーク信号対雑音比（ＰＳＮＲ）のわずかな損失に関連する。しかし、２つの実験は、ピーク信号対雑音比の変化にはいかなる主観的な画像損失も対応しないことを示している。より重要なことには、復号化された画像に許容できないアーティファクトが混入するので量子化パラメータの値をさらに増やすなどの他の可能な解決策は適用できないが、本発明の方法は復号化ビデオ・シーケンス内に観察できる歪を混入させることなくさらなるビット・レート低減を有意に達成する。さらに、本発明はＨ．２６４の枠組みを利用するという事実にも関わらず、本発明の符号化方法は速度歪最適化を使用する任意のビデオ符号化システムに適用可能である。
本明細書の残りの構成は以下の通りである。まず、ビデオ圧縮の概要の部で、Ｈ．２６４標準の速度歪最適化の枠組みに関連する基本概念を述べる。次いで、提案する直接モード拡張方法の部で本発明が提案する符号化方法を詳述する。最後に、実験結果の部と結論の部でそれぞれ実験結果と結論を述べる。

ビデオ圧縮の概要
本明細書で前述したように、各ビデオ・フレームはＨ．２６４標準の画素ブロックのセットに分割される。これらの画素ブロックは動き補償予測符号化を用いて符号化できる。予測画素ブロックは、その符号化のために前の画像からの情報を用いないイントラ（Ｉ）画素ブロック（Ｉ画素ブロック）、１つの前の画像の情報を用いる片方向予測（Ｐ）画素ブロック（Ｐ画素ブロック）、または１つの前の画像と１つの後の画像との情報を用いる双方向予測（Ｂ）画素ブロック（Ｂ画素ブロック）である。
Ｐ画像内のＰ画素ブロックごとに、１つの動きベクトルが計算される。（なお、各ビデオ画像内で画素ブロックは多くの方法で符号化できる。例えば、画素ブロックはより小さいサブブロックに分割して、各サブブロックごとに動きベクトルを計算し送信できる。サブブロックの形状は変わることがあり、正方形でなくてもよい。）コンピュータの動きベクトルを用いて、上述の前の画像内の画素を平行移動して予測画素ブロックを形成できる。次に、ビデオ画像内の実際の画素ブロックと予測画素ブロックとの差が送信のために符号化される。（この差を用いて予測画素ブロックと実際の画素ブロックの小さな差を修正する。）
各動きベクトルは、また予測符号化によって送信できる。すなわち、動きベクトルの予測はすでに送信済みの近くの動きベクトルを用いて形成でき、次いで実際の動きベクトルと予測動きベクトルとの差が送信のために符号化される。
各Ｂ画素ブロックで、２つの動きベクトルが通常計算され、１つの動きベクトルは上記前の画像、１つの動きベクトルは後の画像に使用される。（ただし、Ｐ画像またはＢ画像内で、一部の画素ブロックは動き補償がないほうが符号化がうまくいく。そのような画素はイントラ画素ブロックとして符号化できる。Ｂ画像内で、一部の画素ブロックは前方または後方片方向動き補償があったほうが符号化がうまくいく。そのような画素は、予測に前の画像を使うか後の画像を使うかによって前方予測または後方予測として符号化できる。）２つのＢ画素ブロック動きベクトルから、２つの予測画素ブロックが計算される。次いで２つの予測画素ブロックは組み合わされて最終予測画素ブロックを形成する。上記のように、ビデオ画像内の実際の画素ブロックと予測ブロックとの差が送信のために符号化される。

Ｐ画素ブロックの場合、Ｂ画素ブロックの各動きベクトルは予測符号化によって送信できる。すなわち、予測動きベクトルは送信済みの近くの動きベクトルを用いて形成できる。次いで、実際の動きベクトルと予測動きベクトルとの差が送信のために符号化される。
しかし、Ｂ画素ブロックでは、記憶された画像の同位置の、または近くの画素ブロック内の動きベクトルから動きベクトルを補間する余地がある。（動きベクトル予測が現在の画素ブロックの同位置のブロックの動きベクトルを用いて構成される時には、直接モード・タイプは時間的な直接モードとして知られる。動きベクトル予測が現在の画素ブロックの空間的に隣接する画素ブロックを用いて構成される時には、直接モード・タイプは空間的な直接モードとして知られる。）次に、補間された値は予測動きベクトルと、送信のために符号化された実際の動きベクトルと予測動きベクトルとの差として使用できる。そのような補間はエンコーダとデコーダの両方で実行される。（ただし、エンコーダは常にデコーダを有するので、エンコーダは再構成されたビデオ画像の表示状態を正確に認識できる。）
場合によっては、補間された動きベクトルはいかなる修正差もなしに十分に使用できる。その場合、全く動きベクトル・データを送信する必要はない。これはＨ．２６４（およびＨ．２６３）標準では直接モードと呼ばれている。直接モード選択は、記録用カメラが固定した背景を低速でパンする時に特に有効である。実際、動きベクトル補間はそのまま十分に使用できる。すなわち、これらのＢ画素ブロック動きベクトルについて差分情報を送信する必要がない。スキップ・モード（Ｐ画像のモード０）では、動きベクトル予測は１６×１６直接モードと同じに構成され、動きベクトル・ビットの送信は実行されない。
送信に先立って、画素ブロックまたはサブブロックの予測誤差（差）が、通常、変換され、量子化され、エントロピー符号化されてビット数が減らされる。予測誤差は、元の所望の画素ブロックと直接モードによる符号化後の復号化された予測画素ブロックとの平均平方誤差として計算され、直接モードで符号化される。しかし、予測誤差はスキップ・モードで符号化および送信されない。変換に使用されるサブブロックのサイズと形状とは動き補償に使用されるサブブロックのサイズと形状と同じではない。例えば、８×８の画素または４×４の画素は一般に変換に使用されるが、１６×１６の画素、１６×８の画素、８×１６の画素、またはそれより小さいサイズは動き補償に一般に使用される。動き補償および変換サブブロックのサイズおよび形状は画素ブロックによって変化する。
各画素ブロックを符号化する最良の符号化モードの選択は、圧縮ビットストリームのビット・レートＲと復号化されたビデオ・シーケンスの内の歪Ｄに極めて直接影響を与えるＨ．２６４標準の決定の１つである。符号化モードの選択の目標は、ビット・レート制約Ｒ（￣ｐ）≦Ｒ_ｍａｘ（￣ｐは調整可能な符号化パラメータのベクトル、Ｒ_ｍａｘは最大許容ビット・レート）を受ける歪Ｄ（￣ｐ）を最小限にする符号化モードＭ^＊を選択することである。制約つき最適化問題は、下式で与えられるラグランジュの方程式Ｊ（￣ｐ，λ）を用いて制約なし最適化問題に変換できる。

ただし、λは速度歪トレードオフを制御するラグランジュ乗数である。符号化モード決定問題はＪ（￣ｐ，λ）の最小化となる。これは下式で表される。

上記ラグランジュの方程式は、許容可能な符号化モードごとに以下のステップを実行することで評価できる。

（ａ）歪Ｄを元の画素ブロックと特定の符号化モードを用いた符号化および復号化後の再構成された画素ブロックとの間の誤差のＬ_２規範として計算する。
（ｂ）ビット・レートＲを、動きベクトルおよび変換係数を符号化するのに必要な総ビット数として計算する。
（ｃ）式（１）を用いてラグランジアンＪを計算する。
最後に、すべての符号化モードについてラグランジアンＪの値を計算した後に得られた最小ラグランジアンＪは、式（２）で表す最小化問題を解決する符号化モードＭ^＊を示す。
Ｈ．２６４ビデオ圧縮標準では、符号化モードの決定は８×８以下の画素ブロックを用いて実行され、次いでそれより大きいサイズについて符号化モードが決定される。さらに、最適化プロセスの複雑さを低減しようとして、最小化の決定は固定量子化値Ｑで実行され、ラグランジュ乗数はしばしば（例えば）０．８５×Ｑ／２または０．８５×２^Ｑ／３に等しい値に選択される。ただし、Ｑは量子化パラメータである。複数のＢ画像の場合、はるかに大きい値が選択されることが多い。もちろん、この複雑さの低減によって速度歪平面内のラグランジアンＪの最小値の検索も制約される。

提案する直接モード拡張方法
本発明のシステムは、Ｂフレーム内の直接モード選択およびＰフレーム内のスキップ・モード選択の拡張の方法を提案する。本発明のシステムは、コスト値のクラスタ化、アウトライアの低減、およびラグランジュ乗数の指定を使用する。一実施形態では、このシステムは４つのステップを用いる方法を実行する。以下、図３を参照しながらこれらの方法ステップについて詳述する。
第１に、現在の画素ブロックは各々の可能な符号化モードＭについて符号化および復号化され、歪Ｄ_Ｍはステップ３１０および３２０で述べたように計算される。一実施形態では、歪Ｄ_Ｍは元の画素ブロック内の画素と符号化された画素ブロック内の画素との誤差のＨｕｂｅｒ関数値の総計として計算される。Ｈｕｂｅｒ関数は、図１に示され、下式で与えられる。

ただし、ｘは画素ブロックの１つの画素の誤差、βはパラメータである。見て分かるように、βより小さい誤差値について、Ｈｕｂｅｒ関数の値は平方誤差によって与えられる値に等しい。βより大きい誤差値について、Ｈｕｂｅｒ関数の値は同じ誤差値の平方誤差の値より小さい。

第２に、ステップ３３０で述べたように、各符号化モードのビット・レートＲが計算される。一実施形態では、このシステムは、ビット・レートＲを、画素ブロックの動きベクトルおよび変換係数を符号化するのに必要な総ビット数として計算する。
第３に、本発明のシステムは、ステップ３４０で述べたように、式（１）を用いて符号化モードのラグランジアンを計算する。一実施形態では、システムは、ラグランジュ乗数λの値が、量子化パラメータの関数として、Ｈ．２６４標準バージョン４．１の非規範部で提案されている元のラグランジジアンλよりも緩やかに変化するようにこれを選択する。量子化値Ｑの関数であるラグランジアンλの提案された変化を図２Ａ、図２Ｂ、および図２Ｃに示す。ラグランジュ乗数λを参考実施態様のλよりも緩やかに変化させることで、本発明のシステムはラグランジュの方程式（１）のビット・レート構成要素Ｒよりも歪構成要素Ｄにより重点を置く。このラグランジュ乗数λへの移行の結果、ビット・レートＲがわずかに増加しても出力ラグランジアン値Ｊへの影響は少なくなる。（また、ビット・レートＲが以下の節で説明するラグランジアン・クラスタに与える影響は低減する。）
第４に、すべてのＪ_ＭについてＪ_Ｍ＊をＪの最小値とする（式（１）を用いて）（ただし、Ｍは可能な符号化モードの１つ）。Ｊ_Ｍ＊を生成する符号化モードと同じ符号化モード（Ｍ^＊）を選択する代わりに、システムは計算されたラグランジアンＪ_Ｍの値を以下のようにクラスタ化する。Ｓを、計算されたラグランジアン値が以下の条件を満たす符号化モードｋの集合とする。

ただし、イプシロン（「ε」）は選択された誤差値、Ｊ^＊はすべてのモードで最小のＪである。符号化モード０が集合Ｓの要素の場合、システムは画素ブロックを符号化するために使用する符号化モードとして符号化モード０を選択する。そうでない場合、システムはＪ_Ｍ＊（最小のＪ値を生成する符号化モードＭ^＊）に対応する符号化モードＭ^＊を選択する。

上記ステップは参考（非規範的）Ｈ．２６４エンコーダと比べて新規の構成要素を利用する。特に、本発明はＨｕｂｅｒコスト関数を用いて歪、修正ラグランジュ乗数、およびラグランジアン値のクラスタ化を計算する。
Ｈｕｂｅｒコスト関数は堅牢なＭ推定器（ｅｓｔｉｍａｔｏｒ）に属する。これらの関数の重要な特性はアウトライアの影響を低減する能力である。より詳細には、画素ブロック内にアウトライアが存在する場合、Ｈｕｂｅｒコスト関数がそれらを平均平方誤差関数の場合（二次式）よりも少なく重み付けし（一次式）、その画素ブロックについて選択された符号化モードをおそらく隣接マクロブロックの符号化モードと同じにする。
修正ラグランジュ乗数λは量子化パラメータＱの関数としてより緩やかに変化するため、ビット・レート構成要素ＲよりもラグランジアンＪの歪構成要素により重点を置く。（本明細書では、「ラムダ」またはラムダ記号「λ」は符号化モード決定プロセスで使用されるラグランジュ乗数を示す。動きベクトル選択プロセスで使用される乗数は異なる。）
最後に、前述したラグランジアン値のクラスタ化は符号化モード０を選択する。したがって、本発明のシステムによって、それぞれＢ画素ブロックおよびＰ画素ブロックについて直接モードまたはスキップ・モードを用いてより多くの画素ブロックを符号化することができる。

実験の結果
実験で使用したビデオ試験セットは映画シーケンス「エジプトの発見」、「風と共に去りぬ」、および「イングリッシュ・ペーシェント」から抜粋した９つのカラー・ビデオ・クリップからなる。これらのビデオ・シーケンスの具体的な特徴を表１に示す。

ビデオ・フレームはそれぞれＹＵＶフォーマットで表現され、ビデオ・フレーム速度はすべてのビデオ・シーケンスで２３．９７６フレーム／秒（ｆｐｓ）に等しい。本発明で提案する方法の有効性は圧縮ビデオ・シーケンスのビット・レートＲと復号化されたビデオ・シーケンスの画像品質とを用いて評価されている。後者はビデオ・シーケンスの目視点検とピーク信号対雑音比（ＰＳＮＲ）値によって評価されている。
提案する直接モード拡張方法の節に記載した本発明の符号化方法の新規の構成要素はその速度および歪への影響に関して互いに補う。本発明の方法は、ビット・レートの全面的な低減とピーク信号対雑音比のわずかな低減とを生成する。本発明のシステムは以下の節に述べる２つの実験を用いて評価されている。

全シーケンスについての固定量子化パラメータ
第１の実験は全てのビデオ・シーケンスで等しく、それぞれＩフレーム、Ｐフレーム、ＢフレームでＱ、Ｑ＋１、Ｑ＋３に等しい量子化パラメータＱを選択する。表２に示すように、ビット・レートの低減は本発明の符号化方法を使用すると９％であるが、ピーク信号対雑音比（ＰＳＮＲ）の損失は約０．１２ｄＢである。参考の方法を用いて符号化した場合とは対照的に、本発明の符号化方法を用いて符号化したビデオ・シーケンスには歪は見られない。

シーケンスごとの最大量子化パラメータ
本発明の符号化方法の有用性をさらに評価するために、第２の実験が設計され実行された。ビット・レートＲとピーク信号対雑音比の値が共に減少する時の一般的な説明は、ビデオ・シーケンスの事前フィルタリング、量子化値Ｑの値の増加など多数の方法が同じ結果を生むという説明である。この実験の目標は、これらの解決策がビデオ品質を大幅に損ねることなく適用できない時に、本発明の方法はビット・レートを低減できるということを示すことである。
第１に、各試験ビデオ・シーケンスで、ビット・レートは歪が観察できる状態になるＱ_ｍａｘ＋１になるまで量子化パラメータの値を増加させることで参考の方法を用いて最大限低減される。次に、本システムは、Ｑ_ｍａｘ（歪がまだ観察できる状態でない最大値）および参考の方法を用いてビデオ・シーケンスを符号化および復号化し、表３に示すビット・レートとピーク信号対雑音比（ＰＳＮＲ）値とを生成する。各シーケンスで、Ｑ_ｍａｘの値は異なり、それぞれＩフレーム、Ｐフレーム、Ｂフレームでも異なる。画像損失なしにビット・レートの低減をこうして最大限に達成したことで、本発明の符号化方法は同じ値Ｑ_ｍａｘのシーケンスの符号化に適用される。

表３に示すように、本発明の方法は、ビット・レートを最大１３．３％と大幅に低減でき、かつ、ピーク信号対雑音比（ＰＳＮＲ）の損失は約０．２９ｄＢである。フルフレーム速度でのシーケンスの目視点検（任意のＢフレーム関連のアーティファクトを評価するための）によって、このビット・レートの低減によって復号化されたビデオ・シーケンス内に可視アーティファクトが混入しないことが分かる。本発明の方法を使用する時には、量子化パラメータの値をＱ_ｍａｘより増やすことができ、画像損失なしにビット・レートを低減することができる。

結論
本発明は、Ｈ．２６４（ＭＰＥＧ−４／Ｐａｒｔ １０）ビデオ圧縮標準の枠内のＢ画像内の直接モード拡張およびＰ画像内のスキップ・モード拡張の方法を提案した。本発明のシステムはＨｕｂｅｒコスト関数を用いて歪、修正ラグランジュ乗数、およびラグランジアン値のクラスタ化を計算し、画素ブロックを符号化するための符号化モードを選択する。試験によって、本発明の方法を用いて、主観的な画像品質の低下を招くことなくピーク信号対雑音比（ＰＳＮＲ）のわずかな損失でビット・レートを大幅に低減することができることが分かった。これらの特徴によって、本発明の方法は、量子化パラメータの値をこれ以上増やすといったその他の解決策が適用できない場合に拡張機能として符号化モード決定の速度歪最適化の枠組みを採用する任意のビデオ符号化システムでのビット・レートの低減に特に有用である。
以上、ディジタル画像拡張を実行する方法および装置について説明した。本発明の範囲を逸脱することなしに、当業者は本発明の要素の材料および構成を変更し修正することができる。

変数γのＨｕｂｅｒコスト関数を示すグラフである。 対象範囲の量子化パラメータ（Ｑ）値の関数である元の、および修正ラグランジュ乗数λ_ｍｏｄｅの変化を示す図である。 対象範囲の量子化パラメータ（Ｑ）値の関数であるＢフレームの元の、および修正ラグランジュ乗数λ_ｍｏｄｅの変化を示す図である。 対象範囲の量子化パラメータ（Ｑ）値の関数である元の、および修正ラグランジュ乗数λ_{ｍｏｔｉｏｎ}の変化を示す図である。 符号化モードの選択方法を示す流れ図である。

符号の説明

３１０，３２０，３３０，３４０，３５０ ステップ

Claims (19)

1. ビデオ圧縮および符号化システムでモード選択を実行する方法であって、
   各々の可能な符号化モードで符号化および復号化するステップと、
   符号化モードごとにアウトライアの影響を低減する歪値を計算するステップと、
   符号化モードごとにビット・レート値を計算するステップと、
   前記歪値、前記ビット・レート値、およびラグランジュ乗数を用いて符号化モードごとにラグランジアン値を計算するステップと、
   前記ラグランジアン値を用いて符号化モードを選択するステップとを含む方法。
2. 前記歪値を計算するステップがＨｕｂｅｒ関数を使用するステップを含む請求項１に記載の方法。
3. 前記ビット・レートを計算するステップが動きベクトルのセットおよび変換係数のセットを符号化するのに必要な総ビット数を含む請求項１に記載の方法。
4. 前記ラグランジュ乗数が量子化値の関数としての緩やかに変化するラグランジュ乗数を含む請求項１に記載の方法。
5. 前記ラグランジアン値を使用する符号化モードを選択するステップが、前記ラグランジアン値をクラスタ化するステップと、モード０符号化方法が特定のクラスタ内にある場合に前記モード０符号化方法を選択するステップとを含む請求項１に記載の方法。
6. 前記特定のクラスタが最小ラグランジアン値を生成する符号化モードを含む請求項５に記載の方法。
7. ビデオ圧縮および符号化システムでモード選択を実行する方法であって、
   各々の可能な符号化モードで符号化および復号化するステップと、
   符号化モードごとに歪値を計算するステップと、
   符号化モードごとにビット・レート値を計算するステップと、
   前記歪値、前記ビット・レート値、およびラグランジュ乗数を用いて符号化モードごとにラグランジアン値を計算するステップであって、前記ラグランジュ乗数が量子化値の関数としての緩やかに変化するラグランジュ乗数を含むステップと、
   前記ラグランジアン値を用いて符号化モードを選択するステップとを含む方法。
8. 前記歪値がアウトライアの影響を低減する請求項７に記載の方法。
9. 前記歪値を計算するステップがＨｕｂｅｒ関数を使用するステップを含む請求項７に記載の方法。
10. 前記ビット・レート値を計算するステップが動きベクトルのセットおよび変換係数のセットを符号化するのに必要な総ビット数を含む請求項７に記載の方法。
11. 前記ラグランジアン値を使用する符号化モードを選択するステップが、前記ラグランジアン値をクラスタ化するステップと、モード０符号化方法が特定のクラスタ内にある場合に前記モード０符号化方法を選択するステップとを含む請求項７に記載の方法。
12. 前記特定のクラスタが最小ラグランジアン値を生成する符号化モードを含む請求項５に記載の方法。
13. ビデオ圧縮および符号化システムでモード選択を実行する方法であって、
    各々の可能な符号化モードで符号化および復号化するステップと、
    符号化モードごとに歪値を計算するステップと、
    符号化モードごとにビット・レート値を計算するステップと、
    前記歪値、前記ビット・レート値、およびラグランジュ乗数を用いて符号化モードごとにラグランジアン値を計算するステップと、
    前記ラグランジアン値をクラスタ化するステップと、
    モード０符号化方法が特定のクラスタ内にある場合に前記モード０符号化方法を選択することで前記ラグランジアン値を選択するステップとを含む方法。
14. 前記歪値がアウトライアの影響を低減する請求項１３に記載の方法。
15. 前記歪値を計算するステップがＨｕｂｅｒ関数を使用するステップを含む請求項１３に記載の方法。
16. 前記ビット・レート値を計算するステップが動きベクトルのセットおよび変換係数のセットを符号化するのに必要な総ビット数を含む請求項１３に記載の方法。
17. 前記ラグランジュ乗数が量子化値の関数として緩やかに変化するラグランジュ乗数を含む請求項１３に記載の方法。
18. 前記特定のクラスタが最小ラグランジアン値を生成する符号化モードを含む請求項１３に記載の方法。
19. 前記方法が、
    モード０符号化方法が特定のクラスタ内にない場合に最小ラグランジアン値を生成する符号化モードを選択するステップをさらに含む請求項１３に記載の方法。
    

Images