JP2009507440A - ハイブリッド符号化スキームのための符号化パラメータ決定法 - Google Patents

Abstract

ハイブリッド符号化スキームを用いるフレームシーケンスの符号化に使われる、フレームシーケンスの各フレームに対するハイブリッド符号化スキームの符号化パラメータの値のオーダーを決定する方法を説明する。ハイブリッド符号化スキームを用い、各フレームの符号化パラメータに対し可能な所定値のオーダーを使って、符号化フレームシーケンスの一式符号化と、フレームシーケンスの実部分シーケンスの不完全な符号化とに対し、フレームシーケンスのフレームについて得られた歪みおよび圧縮率を確率することにより、歪みおよび圧縮率のセットの実際のサブセット得ることができる。これにより、フレームシーケンスのフレーム群に対する歪みおよび圧縮率の見積もり算定（２０２）が行われ、次いで、算定により得られ、見積もられた歪みおよび圧縮率に基き、ハイブリッド符号化スキームの符号化パラメータに対する値のオーダーが決定される。
【選択図】図１

Description

本発明は、例えば、圧縮率―歪み（ｃｏｍｐｒｅｓｓｉｏｎ ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）挙動をできる限り最適化した符号化を達成するための、ハイブリッド符号化スキームを用いるフレームシーケンスの符号化に使われるハイブリッド符号化スキームの符号化パラメータの決定法に関する。

Ｈ．２６４／ＡＶＣなどのいわゆるハイブリッド符号化スキームは、映像圧縮設計の中では最も成功した部類であろう。動き保証予測およびその後の予測誤差ないし残差の符号化または変換は、これらの符号化スキームの基本的要素である。ハイブリッド映像符号器のオペレーションには、符号化の遅延と複雑性とに関する制約を考慮しながら、圧縮率ないしレートと、歪みないし画像劣化との間で可能な最善のトレードオフを実現するための多くの決定が含まれる。しかしながら、動き保証予測を使っているために、通常、これら全ての決定は、符号化シーケンスの多くの画像ないしフレームに亘って相互に依存し合っている。

これにより、ＭＰＥＧ−２、ＭＰＥＧ−４、またはＨ．２６４／ＡＶＣといった現在の映像コーディング規格全てに採用されているハイブリッド符号化のフレームワークが、時間を通してのコーディング決定、またはコーディング・パラメータの最適化を適用すること、すなわち、映像シーケンスのいくつかの連続するフレームまたは画像を一緒に検討する、あるいはこれらをまとめて最適化の対象にすることが非常に難しい作業となっている。現在のフレームにおける決定が、後続ないし将来のフレームのレート―歪み挙動（Ｒ−Ｄ挙動）に対し大きな影響を有するという事実は、指数関数的に拡大する探索空間に依存して作動する符号化スキームをもたらす。結果として、Ｒ−Ｄ最適化は、通常、フレーム毎のベースで行われる。こういったフレーム毎のＲ−Ｄ最適化については、例えば、Ａ．Ｏｒｔｅｇａ（オルテガ）、Ｋ．Ｒａｍｃｈａｎｄｒａｎ（ラムチャンドラン）、およびＭ．Ｖｅｔｔｅｒｌｉ（ベッターリ）、「Ｂｉｔ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ Ｄｅｐｅｎｄｅｎｔ Ｑｕａｎｔｉｚａｔｉｏｎ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ａｎｄ ＭＰＥＧ Ｖｉｄｅｏ Ｃｏｄｅｒｓ（多重分解能およびＭＰＥＧ映像コーダへの応用のための依存型量子化に対するビット割当て）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（映像処理のトランザクション）、巻３、Ｎｏ．５、１９９４年９月；および、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ（サリバン）およびＴ．Ｗｉｅｇａｎｄ（ウィーガント）、「Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ（映像圧縮のためのレート―変形最適化）」ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ誌７４〜９０頁、１９９８年１１月；に記載されている。

Ａ．Ｏｒｔｅｇａ（オルテガ）、Ｋ．Ｒａｍｃｈａｎｄｒａｎ（ラムチャンドラン）、およびＭ．Ｖｅｔｔｅｒｌｉ（ベッターリ）、「Ｂｉｔ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ Ｄｅｐｅｎｄｅｎｔ Ｑｕａｎｔｉｚａｔｉｏｎ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ａｎｄ ＭＰＥＧ Ｖｉｄｅｏ Ｃｏｄｅｒｓ（多重分解能およびＭＰＥＧ映像コーダへの応用のための依存型量子化に対するビット割当て）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（映像処理のトランザクション）、巻３、Ｎｏ．５、１９９４年９月 Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ（サリバン）およびＴ．Ｗｉｅｇａｎｄ（ウィーガント）、「Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ（映像圧縮のためのレート―変形最適化）」ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ誌７４〜９０頁、１９９８年１１月

現在のフレームだけでなく、シーケンスの全体的特質を考慮するアプローチの一つは、マルチパス符号化である。第１の符号化パスではフレームシーケンスの統計量データが収集され、次いでそれが分析されて第２パスが最適化される。次に、第２パスからの結果が第３パスに使われる、といったように続く。一般的に、マルチパス符号化スキームは、利用可能なビットをフレームシーケンス全体に亘ってより合理的に配分する助力となるが、通常これらはＲ−Ｄの最適化はされない。

本発明の目的は、妥当なコストでフレーム全体に亘ってＲ−Ｄ最適化ができるように、ハイブリッド符号化スキームを用いたフレームシーケンスの符号化に使われる、フレームシーケンスの各フレームに対するハイブリッド符号化スキームの符号化パラメータ値のオーダーを決定する方法および装置を提供することである。

この目的は、請求項１に記載の装置および請求項１４に記載の方法によって達成される。

本発明の発見は、映像符号化のためマルチパス符号化とＲ−Ｄ最適化とを組み合わせれば、妥当なコストでフレーム群を通してＲ−Ｄ最適化ないしレート―歪み最適化ができるということである。本発明のさらなる発見は、まず最初に、フレームシーケンスの符号化が、符号化パラメータに関する値のサポーティング・オーダーに対しハイブリッド符号化スキームを用いて前マルチパスにおいて実施されれば、前述の発見が実現可能であり、フレームシーケンスの各フレームの符号化のために、符号化パラメータに関する所定の値の所定のセットから選択された値を有するものである。符号化パラメータに関する所定の値の所定のセットの該所定値の数をＭで表し、フレームシーケンスのフレームの数をＮで表したとき、実際上は、可能な全てのＭ^Nのパスを実施する必要はない。それどころか、本発明の発見によれば、不完全で実際はＲ−Ｄ最適化に対しまだ適当でなくても、追加の符号化を、フレームシーケンスの第１フレームにおける開始部などのようなフレームシーケンスの実部分シーケンス（ｒｅａｌ ｐａｒｔｉａｌ ｓｅｑｕｅｎｃｅ）に限定しても十分である。本発明の前述のさらなる発見は、フレームシーケンスまたはしかるべく符号化されるフレーム群の将来ないし後続フレームのＲ−Ｄ挙動は、実際は、符号化の正確なシーケンスまたは先行フレームに使われる符号化パラメータ値にはそれほど大きく依存しておらず、主として、その前に再構築された参照フレームの品質または歪みに依存しているという観察がされたことによる。本発明によれば、継続してフレーム群の実部分シーケンスの符号化行うため、実際の歪みないし画像品質値、およびこの実部分シーケンスに対し、符号化パラメータの対応フラグメント・オーダーを使って得られる歪み値と類似したまたは同程度の歪み値を有する符号化からまたは前のフレームシーケンスの符号化に対する見積もりから得られる圧縮率値とを見積もることによって、この発見を活用する。

本発明の特定の実施形態によれば、フレームシーケンスの前処理符号化は、フレームシーケンスのフレームに対し、符号化パラメータに関する値のそれぞれ異なる一組の所定セットを常に含むサポーティング・オーダーを備えたハイブリッド符号化スキームを用い、フレームシーケンスの各フレームの符号化パラメータに関する値の異なるサポーティング・オーダーを使って実施される。これらの前処理符号化では、ツリー構造の根元からその葉部への主パスが規定される。符号化パラメータ値のサポーティング・オーダーを使ってフレームシーケンスを符号化する際、歪みおよび圧縮率の値の双方は、各々の現在フレームに対し、主パスの値とは別の、符号化パラメータ値の所定のセットからの値を使って算定されることになる。この結果、ツリー構造の根元からのパスは、主パス上の分岐点において主パスから末端に直接に分岐し、これにより該ツリー構造全体に亘り不完全なパスが生成される。これら不完全パスの末端における歪み値がツリー構造上の同一レベルの主パス沿いのノードにおける歪み値と対比され、これらは主パス上に「復帰」される。しかして、これらの不完全パスの末端は、移行分岐を介して、従前のツリー構造レベルから主パス上の現在のツリー構造レベルに復帰され、これにより状態移行図が得られ、これから、圧縮率と画像品質または画像歪みとの間の所望のトレードオフで、フレームシーケンスを符号化するための符号化パラメータの最適のオーダーが得られるように最適パスを設定することができる。

以降に、添付の図面を参照しながら、本発明の好適な実施形態を詳しく説明する。

以下に、図面を参照しながら本発明の実施形態を説明するが、これは、圧縮率／歪み率が所望の仕方で全体として最適化されるように、各フレームに対する最適量子化パラメータ（Ｑ）を選定することを対象としている。このような状況において、本発明を、ハイブリッド符号化スキームの他の符号化パラメータを最適化するためにも適用できることを理解すべきであり、これについては後記でさらに詳しく説明する。

全てのマルチパス符号化スキームと同様に、以下に説明する実施形態においても、ビットレートの変化の増大と複雑性の増加とを受け入れる必要があるが、これは、ＭＭＳ（マルチメディア・メッセージ・サービス）からＤＶＤ（ディジタル・ヴァーサタイル・ディスク）に亘る多くのアプリケーションに対して受容可能な制約である。というのは、本実施形態の符号化は、オフラインでまたは事前に、しかも一回行われるだけだからである。

量子化パラメータ決定のオペレーションの方法を実際に説明する前に、まず、実際上の問題を再度明確にする。次に、図１〜４を参照してアルゴリズムを説明し、その後、図１〜４による方法をＭＰＥＧ−４ ＳＰに適用して得られた符号化の結果、並びに、該結果とさらなる周知のマルチパス符号化スキームであるＤｉｖＸ５．２を使って得られた結果との比較を提示する。

ハイブリッド符号化スキームでは、フレームシーケンスの先行フレーム群の符号化およびそれに続く予測誤差の符号化からのそれぞれのフレームの動き補償予測によって、フレームシーケンスの特定のフレームの符号化を行うことになる。以下に記載する実施形態によれば、該それに続く符号化には、異なる画像のピクセル値の量子化、または異なる画像の変換係数の量子化といった量子化が含まれる。

さて、問題は、特定のフレームに対する量子化パラメータの変更は、該特定フレームの歪みおよび圧縮率の変化だけでなく、予測に起因して後続のフレームの歪みおよび圧縮率の変化をも引き起こすことである。しかして、個別のフレームに対する量子化パラメータは、相互に独立して選定または最適化することはできない。むしろ、依存型符号化のため、個別のフレームに対する量子化パラメータを決定するためには、相互の影響を考慮しながら依存型の最適化を用いなければならない。

簡明化のため、以下では、特に、予測フレームないしＰフレームの依存型符号化の問題について検討するものとし、双方向で予測するフレームないしＢフレームは簡素化のために無視し、さらにイントラ符号化されたまたはイントラ符号化可能なフレーム、ないしＩフレームは、符号化中に使用しないものとするが、当然、後者は可能である。言い換えれば、以下の説明は、ＩＰＰＰ…Ｐの符号化パターン、ないしは、最初のフレームはハイブリッド符号化スキームに従ってイントラ符号化されるが、フレームシーケンスのそれ以降のフレームはＰ符号化ないしＰフレームであり、しかしてフレームの予測および予測誤差の符号化を使って符号化される符号化パターンを有するハイブリッド符号化スキームをベースとして説明する。

以下の記載において、フレームｉにおけるレートないし圧縮率をＲ（Ｑ１，Ｑ２，…，Ｑｉ）で表し、フレームｉにおける歪みをＤ（Ｑ１，Ｑ２，…，Ｑｉ）で表すものとし、前記のＱｉは、フレームｉに用いられる量子化ステージの距離を表し、ｉは符号化対象のフレームシーケンス中の当該フレームの位置を示す。本実施形態によれば、Ｒはフレームｉ中のビットの数に対応し、Ｄは、平均平方誤差（ＭＳＥ）として測定される。言い換えれば、Ｒは、フレームｉを符号化するために必要なビットの数に対応し、Ｄは、フレームｉの符号化から得られる復号化フレームのピクセル全体を通しての平均平方誤差である。但し、圧縮率Ｒおよび歪みＤに対するほかの定義も可能なことを理解すべきである。

前述の予測に起因する依存性のため、ＲおよびＤの決定のためには、全ての先行Ｑｓすなわち先行フレームを符号化するのに使われる量子化値が既知となっているか特定されていることが必要であることを強調しておく。例えば、フレーム＃２において、Ｒ（１，Ｑ２）≠Ｒ（１０，Ｑ２）でありＤ（１，Ｑ２）≠Ｄ（１０，Ｑ２）であることを認識しなければならない。というのは、第１フレームまたは第１フレームの符号化の品質は、このフレームの符号化に使われる量子化パラメータ値Ｑ１に左右され、しかしてＱ１＝１に対してはＱ１＝１０に対するよりも高く、該品質は第２のフレームまたは符号化の圧縮率／歪みに大きな影響を与えるからである。

さらに、Ｒ値とＤ値を一緒に取り上げる場合、または符号化状態を一般的に示す場合には、（Ｑ１，Ｑ２，…，Ｑｉ）の表示を使うものとする。

しかして、解決すべき最適化の課題には、レート制約Ｒmaxの下で、各フレームｉに対する量子化値Ｑｉ*の最適選定が含まれ、これを次式で表すことができる。
Ｒ（Ｑ１）＋Ｒ（Ｑ１，Ｑ２）＋…＋Ｒ（Ｑ１，Ｑ２，…ＱＮ）＜Ｒmax
の二次条件の下で
ｍｉｎ［Ｄ（Ｑ１）＋Ｄ（Ｑ１，Ｑ２）＋…＋Ｄ（Ｑ１，Ｑ２，…ＱＮ）］
Ｑ１，Ｑ２，…ＱＮ

Ａ．Ｏｒｔｅｇａ（オルテガ）およびＫ．Ｒａｍｃｈａｎｄｒａｎ（ラムチャンドラン）、「Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ（画像および映像圧縮のためのレート―歪み方法）」、ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（信号処理）誌、２３〜５０頁、１９９８年１１月、に記載されているように、例えば、この制約付きの最適化問題を、制約条件なしの等価の問題によって解くことができる。
ｍｉｎ［ＪＱ１）＋Ｊ（Ｑ１，Ｑ２）＋…＋Ｊ（Ｑ１，Ｑ２，…ＱＮ）］
Ｑ１，Ｑ２，…ＱＮ （１）
上式の
Ｊ（Ｑ１，Ｑ２，…ＱＮ）＝Ｄ（Ｑ１，Ｑ２，…ＱＮ）＋λＲ（Ｑ１，Ｑ２，…ＱＮ）
は、ラグランジュ・コストであり、λ≧０は、所望の動作点、すなわち圧縮率と歪みとの間でのトレードオフを選択するために使うラグランジュ係数である。

式（１）を解く上での問題は、探索レベルの指数関数的な拡大にある。各フレームに対しＭヶの異なる量子化値を検討する場合、Ｎヶのフレームのシーケンスに対してはＭ^Nの組み合わせを評価しなければならない。具体的には、データ収集段階で、フレームシーケンスをＭ^N回符号化することになり、受け入れ難い複雑性が生じる。

量子化パラメータのオーダーの最適化に対する問題、これは後記の実施形態によってうまく処理されるのだが、これについて前記で説明したので、該実施形態の説明に先立って、以下に、フレーム・ベースで量子化パラメータＱの最適化をすることがなぜ望ましいかの直感的な説明を行うことにする。例として、ほとんど静的なシナリオまたはシーンのカットを考えてみる。シーンのカット後の第１フレームが非常に高い品質で符号化されている場合、引き続く全てのフレームがその符号化決定から利点を得る。というのは、これら後続フレームは、長期間に亘りこの高品質で符号化されたフレームから単にコピーすることができるからである。従って、非常に小さなあるいは細かな量子化パラメータＱが選定されるべきである。だが、カット後のシーンが複雑な動きときめ細かな構成とを含む場合、状況は全く異なってくる。この場合、第１フレームに使われるビットまたはその符号化は、後続ないし将来のフレームに対し、同じ程には有益な影響を持たないことになる。しかしながら、以下に述べる量子化パラメータ・オーダーの決定に対する実施形態は、長期のＲ−Ｄトレードオフを評価することによってそういった状況を自動的に検知し、各々のフレームに対する最適の量子化値を選定する。

以下に、本発明の実施形態による、フレームのシーケンスを符号化するためのハイブリッド符号化スキームで使う量子化パラメータの最適なオーダーを決定する方法を、図１を参照しながら説明する。量子化パラメータのオーダーないし量子化パラメータ値は、フレームシーケンスの各フレームを符号化するために使われる量子化パラメータ値を表す。以降、該方法を、場合によってＲ−Ｄ最適化マルチパス・アルゴリズム、またはＲＤＭアルゴリズムとも呼ぶ。

ＲＤＭアルゴリズムは、大まかに３つのステップに分けられ、これらステップもサブステップに分けられ、図１では後者は長方形枠内に示されており、これらは大括弧で前記３つの大まかなステップにまとめられている。第１ステップ１０は、データの収集であり、このステップでは、フレームシーケンスは固定の量子化パラメータ値Ｑを使って数回符号化されるが、但しそのＱ値は各々のパスで違っている。第１ステップ１０において、個々のフレームおよびその前のフレーム群に対し異なる量子化パラメータ・オーダーを適用してそれぞれのフレームの符号化を表現しその歪みと圧縮率とから、フレームシーケンスの各フレームに対して、異なる符号化状態ないし異なるタプルが得られる。第２ステップ２０において、このように収集されたＲ−Ｄデータから、格子図（ｔｒｅｌｌｉｓ）ないし状態移行図が構築され、これからコスト関数を使って、最適パスないし量子化パラメータ値Ｑｉ*の最適オーダーが選定される。しかして、ステップ２０は実際の最適化ステップを表している。次いで、最後のステップ３０において、最適化ステップ２０で得られた、各フレームに対する最適量子化パラメータ値Ｑｉ*を使って、フレームシーケンスの最終的な符号化が実施され、以下に説明するように、個別ケースにおける正確さに対する制限内で、最適のＲ−Ｄトレードオフによりフレームシーケンスの符号化が得られる。

言い換えれば、第１ステップ１０および第２ステップ２０の両方は、最適量子化パラメータ値のオーダーの実際上の決定を表しており、一方ステップ３０は、当該量子化パラメータ値オーダーを使った最終符号化のステップだけを表している。この理由で、ステップ１０および２０が以降の主な焦点となる。ステップ１０および２０のサブステップの説明については、説明目的のため大幅に単純化した例を用い、符号化対象フレームシーケンスのフレームの数をＮ＝３とし、求める最適化量子化パラメータ値オーダーＭ＝３の量子化パラメータ値の取り得る値として、異なる所定の量子化パラメータ値Ｑｉ∈｛２，４，６｝が許されるものとする。他の数のフレームおよび他の数の選択量子化パラメータ値が可能なのは当然のことである。

データ収集ステップ１０は、３つのサブステップに分かれ、そのうちの第１サブステップ１０２は、ハイブリッド符号化スキームを用いたフレームシーケンスの各フレームに対し、量子化パラメータＱｉに対する値の異なるサポーティング・オーダーを使って、符号化対象のフレームシーケンスを符号化することである。言い換えれば、ＮヶのフレームのフレームシーケンスがＭ回完全に符号化される。この処理では、固定の量子化パラメータ値Ｑｉを有する量子化パラメータ・オーダーが、各々が異なる量子化パラメータ値Ｑｉを有する量子化パラメータ値の異なるサポーティング・オーダーとして使われる。しかして、ステップ１０２において、フレームシーケンスに対し、該フレームシーケンスのＮヶのフレーム全てについて、固定の量子化パラメータ値Ｑｉ∈｛ｑ１，ｑ２，…ｑＭ｝を使ってＭ回の符号化が行われる。ステップ１０２は、各フレームに対し、それぞれの予測誤差の量子化変換係数などその符号化を得るだけではなく、さらに該符号化を復号することにより生じるフレームも得るように実施される。符号化で得られるステップ１０２のこのフレームに対し、サブステップ１０４において歪みＤおよび圧縮率Ｒがそれぞれ決定される。しかして、ステップ１０４では、フレームシーケンスの第１の一式符号化（ｃｏｍｐｌｅｔｅ ｅｎｃｏｄｉｎｇ）ないし第１パスから、Ｒ−Ｄデータポイント（ｑ１），（ｑ１，ｑ１）…が得られる。これを同様に他のパスに適用して、ステップ１０２とステップ１０４とによる第Ｍパスから、データポイント（ｑＭ），（ｑＭ，ｑＭ）…が得られる。

このように、ステップ１０２およびステップ１０４は、固定の量子化パラメータを使った符号化に対応し、マルチパス・アルゴリズム全体の土台を形成する。フレーム・ベースで量子化パラメータ値を最適化することにより、当然ではあるが、固定の量子化値を使ったＭ回の符号化のどれよりも良好な符号化が達成される。

フレーム毎の量子化パラメータ値の変更はフレーム毎に可能であるため、ステップ１０２と１０４とで測定されたデータだけでは十分でない。むしろ、追加のデータを測定することが必要で、これは、データ収集ステップ１０の第３サブステップ１０６で実施される。新規の量子化パラメータ値Ｑないし別の量子化パラメータ値Ｑに変更した方が、一定の量子化パラメータ値Ｑを続けるよりも良いかどうかを判定するためには、その変更がどのような圧縮率と歪みとをもたらすかを知る必要がある。このため、サブステップ１０６において、各フレーム２…Ｎに対し、固定のＱｉを使って符号化を変化させ、該固定の量子化パラメータ値Ｑｉを使って個々のフレームに至るまで符号化が行われ、｛ｑ１，…，ｑＭ｝以外の量子化パラメータ値を使って、それぞれのフレーム自体が符号化されて、その結果として歪みＤおよび圧縮率Ｒが決定され、これにより、ａ≠ｂの（ａ，ｂ）∈｛ｑ１，…，ｑＭ｝のさらなるデータポイント（ａ，ｂ）（ａ，ａ，ｂ）…（ａ，…，ａ，ｂ）が得られる。

サブステップ１０２と１０６とは、望ましくは相互にリンクまたはネストされる。符号化パス１０２は、固定量子化パラメータ値を使って行われる一方で、予測誤差は、ステップ１０２において必要に応じ個別の固定量子化パラメータ値Ｑｉを使って符号化されるだけでなく、ステップ１０４において、さらに他の量子化パラメータ値Ｑｊ≠ｉを使って符号化され、個々のフレームに対しそれぞれ得られた符号化に対してＲおよびＤの値が測定される。ステップ１０２における実際の符号化を、常に固定の量子化パラメータ値Ｑを使い、それぞれのパスに対してだけ実施することによって、符号化コストの指数関数的拡大が回避される。これには、サブステップ１０６において追加のＤおよびＲ値を取得するために比較的小さなコストだけが必要というさらなる利点がある。というのは、個別フレームのハイブリッド符号化からの動き見積もりないし動き保証予測はほとんどの場合ハイブリッド符号化のより複雑な部分を形成しているが、これを一回しか行う必要がなく、さらに、この予測は、ステップ１０２において、一式符号化ないし一式符号化パスに対して、とにかく一回は実施しなければならないものである。前記で説明したように、サブステップ１０６に残されているのは、他の量子化パラメータ値を使った予測誤差の符号化の実施だけである。

要約すると、ステップ１０２〜１０６において収集された全データポイントは次式で表現することができる。
（ａ，ｂ）∈｛ｑ１，ｑ２，…ｑＭ｝による（ａ，ａ，…，ａ，ｂ）

サブステップ１０２〜１０６の計算コストを再度説明するために図２を参照する。前記で示したように、ステップ１０２〜１０６において、対象フレームシーケンスの符号化は、実際上は、Ｍ^Nヶのパスが必要となるような、ｑ１，ｑ２，…，ｑＭからの量子化パラメータ値Ｑｉの可能な各々のシーケンスに対して実施されるわけではない。もし全てのパスを実施したとすれば、

のデータポイントないしＲ−Ｄ対、すなわち、Ｎヶのフレームの各フレームｎの可能な符号化毎に１対のＲ−Ｄが得られることになり、これについては、先行して用いられる量子化パラメータ値への依存性に起因して、Ｍヶの可能性があるだけでなく前記に応じこれより多くなる。

これら理論的に導き出せる全てのデータポイントを、図２に一般的に示したツリー構造１５０の中に配列することができる。このような状況において、Ｍヶの分岐は、それぞれ根元１５２および各分岐ノード１５４から分岐し、図２では、根元および分岐ノード１５２または１５４はそれぞれドットで表され、分岐はこれらドットの間の線として表されている。ツリー構造１５０はＮの階層ないしはツリー構造レベルを含み、例えば、根元１５２は０次を表す。根元１５２または分岐ノード１５４からのＭの分岐の各々は、Ｍの量子化パラメータ値Ｑｉの相異なる一つに関連付けられており、前述の可能なデータポイントを、このようなやり方でツリー構造の分岐ノード１５４および葉部１５６に関連付けることができる。

ここで、図２には、可能な全てのデータポイントがツリー構造１５０に太ドットでマークされているのでなく、ステップ１０２〜１０６で設定されたものだけが示されている。ステップ１０２〜１０６において設定される可能性はあったが設定されていないデータポイントにつながる分岐は、図２では破線で示されている。しかして、図２は、Ｎ＝３およびＭ＝３である上述の例の一式の指数関数的探索ツリーを示し、実際に測定されたデータのサブセットは太ドットで表されている。この図示例から、可能な全ての量子化パラメータ・オーダーに対し符号化を実施する計算の複雑性に比べて、ステップ１０２〜１０６の計算複雑性がＭ^NからＭ²に低減されているのを容易に見取ることができる。

図１に戻って参照しながら、データ収集ステップ１０に続く最適化ステップ２０について以下にさらに詳しく説明する。最適化ステップ２０は実質的に２つのサブステップ２０２および２０４から成る。第１サブステップ２０２において、収集されたデータポイントないしＤ／Ｒタプルから、状態移行図ないし格子図が構築される。このサブステップ２０２については、後記で図３および４を参照してさらに詳しく説明する。最適化ステップ２０の第２サブステップ２０４において、ビタビ・アルゴリズムおよびラグランジュ・コスト関数を使って、生成された状態移行図が探索される。このステップは、前述したＯｒｔｅｇａおよびＲａｍｃｈａｎｄｒａｎの論文に記載されているような最適化オペレーションを含む。ステップ２０２において構築された格子図ないし状態移行図は、ステップ１０２の固定量子化パラメータＱを使った符号化に対応する、Ｍの主分岐ないし主パスを含む。符号化されたフレームの数が増えるにつれ、状態移行図は左から右へ伸び、主分岐に沿った対応状態は、ａ ∈ ｛ｑ１，ｑ２，…，ｑＭ｝からの（ａ，ａ，…，ａ）として表される。状態移行図の２つの状態を結ぶ各分岐は、次の状態に到達するのに使われる量子化パラメータ値Ｑ、およびこのフレームに対し得られるＲおよびＤの値で特徴付けられる。

ステップ１０６の、ａ≠ｂの追加データポイント（ａ，ａ，…，ａ，ｂ）がさらに状態移行図に加えられる。したがって、主分岐上の各状態から、当該主分岐から外れて伸び出すＭ−１ヶの移行分岐がある。このことは、例えば、前述のＮ＝３およびＭ＝３の図２の例に対して図３に示されており、図３に示された状態移行図は、ステップ１０２〜１０６から得られたデータポイントに関わる図２のツリー構造の対応部分に等しいことを明確に理解すべきである。データポイントないしツリー構造の並べ方が違っているだけである。

前記で説明したように、図２のツリー構造、または対応する図３の状態移行図の構成は、データ収集ステップ１０のステップ１０２〜１０６の固有の結果を表している。この状況において、図２のツリー構造図は、各量子化パラメータのオーダーが「試行」される最適化方法に対する、図１の方法による計算コストの削減を例示する役割だけのものであった。図３は、図２のツリー構造の、データ収集ステップ１０で実際に得られたＤ−Ｒデータのデータポイントに関わる部分だけを示している。しかして、図３は、作成対象の状態移行図を構築するためのステップ２０２の開始ポイントを示す。前述したように、図２と図３との間の主な違いは、図３中のデータポイント１５４〜１５６の配置が図２のものとは異なることである。しかしながら、図２のツリー構造表現から、包括的に２５０として示された図３の状態移行図への移行におけるさらなる違いは、Ｄ−Ｒデータの関連付けはもはや行われず、これらは、状態移行図２５０の例では状態といわれるノード１５４または葉部１５６と関連付けられていることであり、この情報は、該ツリー構造図において一つの状態から次の状態に連結する分岐と関連付けられた量子化パラメータ値Ｑとともに、該状態移行図中の個々の状態につながる分岐に関連付けられることである。これについて以下にさらに詳しく説明する。前記の理由は、この最終的な状態移行図を構築の目的は、図２のツリー構造中の不完全パスの末端を、主分岐のいずれかの上に復帰させることであり、ステップ２０４で用いられた次の探索アルゴリズムを再使用し、量子化パラメータを変化させ量子化パラメータを最適化し、Ｄ−Ｒデータに関する情報を再度得て、不完全パスが再び主分岐の一つに到達することができるようにする。以下に、これがどのように行われるかを説明する。

図３では、主分岐は、状態１５２〜１５６の間の太線で示されている。第１主分岐２５２は、量子化パラメータ２に関連付けられており、根元ないし初期状態１５２から、２つの分岐ノードないし中間状態１５４を経て、葉部ないし最終状態１５６に導かれ、主分岐２５２上の中間状態１５４および最終状態１５６は、３つのフレームの符号化に対応している。初期状態１５２から最終状態１５６までをつなぐように、主分岐２５２は、初期状態１５２から最終状態１５６に至る主分岐２５２沿いの、個々の状態１５２〜１５６を相互に結ぶ３つの主分岐２５２ａ、２５２ｂ、および２５２ｃから成る。図３の主分岐２５２ｃに示されるように、各主分岐は、固定された量子化パラメータ値、この場合Ｑ＝２、およびこの量子化パラメータから導かれるＤ−Ｒ対、この場合（２，２，２）に関連付けられている。同様に、初期状態１５２からは、主分岐２５４および主分岐２５６も導き出されており、これらは、量子化パラメータ値４または６に関連付けられており、同様に３つの主分岐と２つの中間状態を経由して最終状態１５６に導かれており、これらの状態も同様にＮ＝３のフレームに対応している。

主パス２５２〜２５６から分かれて伸び出す移行分岐が、図３に細い線で示されている。これらの最終状態は１５４または１５６の白丸で示されている。図２から分かるように、全ての分岐が「行き止まり」である。すなわち、分岐群は、状態１５４から主分岐２５２〜２５６に沿って最終状態に導かれ、そこからは、次のフレームに関連する次に高位のレベルの状態に導かれるさらなる分岐はない。言い換えれば、これらの最終状態は他のどのような状態にも連結されていない。その結果、状態移行図ないし格子図は、ステップ１０２〜１０６から本質的に得られる現在の形では、量子化パラメータ値の変更ができないので、まだ最適化のための使用に適さない。前記で説明しており、以下にも説明するように、この理由により、ステップ２０２の目的は、これらの最終状態を主分岐２５２〜２５６上の状態に復帰させることである。

ステップ２０２の下にある考え方を説明するために、この時点でステップ２０２の基調となる主要な仮定を説明する。この主要な仮定により、近似状態移行図の構築が可能となる。具体的には、将来のフレームのＲ−Ｄ特性は、先行のフレームを符号化するため用いられる符号化ないし量子化パラメータ値の正確なシーケンスにはそれほど依存せず、主として、先行して再構築された参照フレームの品質ないし歪みに依存する、と仮定する。言い換えれば、図３の状態移行図中の２つの異なる符号化パスが類似した、特に同一レベルまたは同じフレームで終端する２つの異なる符号化パスＤを持つ場合、すなわち、

である場合、ｋ＞ｎである後続フレームのＲ−Ｄ挙動も同様に類似することになる。この仮定は直感的には成り立つと考えられるが、当然、この仮定が必ずしも一般的適用性を持つものでないことを理解しておくべきである。そうではあるが、通常の場合この仮説は成立する。本出願のいずれかの点で最適選択または最適化という用語が述べられた場合、それは、前記で論じた仮定の下での「最適」を意味するものと解釈されるべきである。

前記で説明したこの類似の歪みの仮定に基き、ステップ２０２において、類似の歪みを有する状態どうしを相互に併合して、結合状態移行図が得られる。この目的のため、特に、併合ステップ２０２の第１サブステップすなわちサブステップ２０２ａにおいて、最終状態すなわち行き止まり点に導かれる移行分岐のＤに対し設定された値が、それぞれの最終状態と同じレベルに位置し主分岐２５２〜２５６の一つの上の状態で終端する主分岐に関連付けられた、固定量子化パラメータ値を使った符号化から得られた対応するフレームのＤ値と比較される。この比較に基き、次のサブステップ２０２ｂにおいて、当該移行分岐は、同一のツリー・レベルに位置する、ないしは同一フレームに関連する、主分岐２５２〜２５６の一つの上の状態で終端するよう再配向され、該状態には主分岐２５２ｂがつながっており、該分岐は対応する移行分岐のＤ値に最も近いＤ値に関連付けられている。これは、図３に、点線と、主分岐２５２上のフレーム１の状態から最終状態（２，６）に導かれる移行分岐に対するクォテーションマークとによって例示的に表されており、これにより、該分岐には量子化パラメータＱ＝６およびＤ値、Ｄ＝Ｄ（２，６）が関連付けられている。前述したように、主分岐２５２〜２５６からの状態は、参照ポイントとして使われ、主分岐と離れた移行分岐は、歪みを類似性指標として使い、主分岐の一つの上にある最も近似した状態と併合される。図３で例示的に取り上げた、最終状態（２，６）に示す移行分岐の場合に関していえば、このことは、Ｄ（２，６）が、Ｄ（２，２）、Ｄ（４，４）、およびＤ（６，６）と比較され（２０２ａ）、最も近い値が判定され（２０２ｂ）、このうち最も近い値が、状態（２，６）につながる移行分岐が再配向されるべき位置、ないしは、図３の矢印点線が指し示すのと同じフレーム・レベルの主分岐２５２〜２５６の上のどの状態に対して最終状態（２，６）が併合されるのかを示す。この併合オペレーションが、各々の移行分岐に対して繰り返される。

図３の例に対するステップ２０２ａおよび２０２ｂの結果を図４に示す。しかして、図４は、移行分岐を、主分岐上の状態に向け再配向した後に構築された状態移行図を示す。ここで、図２のツリー構造とは対照的に、実際には、１を上回る分岐で１対の状態から連結されることを明確に理解すべきである。これらの分岐は、いろいろに関連付けられた量子化パラメータ値に対応し、さらにいろいろな関連Ｒ−Ｄ値も含む。一般に、状態移行図の構造は、信号依存性であり不規則である。前述したように、各分岐は、関連するＱ，ＲおよびＤ値を含む。

図４に示された、最終的に構築された状態移行図を参照すると、初期状態１５２から始めて次々と分岐を選択、すなわち主分岐または移行分岐を選択することが可能で、これらの分岐に関連する量子化パラメータ値Ｑは、量子化パラメータ値のＭ^Nヶの可能なオーダーの一部であることを理解すべきある。言い換えれば、図４の状態移行図は、初期状態１５２から一つの最終状態１５６に至るＭ^Nの異なったパスの間での選択を可能にし、これらは全て、異なる量子化パラメータ・オーダーを使って符号化されるフレームシーケンスの一式符号化に対応している。このような状況において使われる、移行に関連するＤまたはＲの値の合計から、対応するＱオーダーを使ったフレームシーケンス全体の符号化の歪みおよびレートの見積もりが得られる。

次に、ステップ２０４において、実際の最適化ステップが行われる。この最適化ステップにおいて、例えば、構築された状態移行図を通る最適パスを発見するために、ビタビ・アルゴリズムが使われる。最適化の基準として、フレームｉまでの累積ラグランジュ・コストを使うことができる。ビタビ・アルゴリズムは、事前に定めたラグランジュ係数λとともに演算しなければならないことを理解する必要がある。したがって、凸包（ｃｏｎｖｅｘ−ｈｕｌｌ）探索を使い、適したλの値に対して特定のレート制約Ｒmaxを満たさなければならない場合、ビタビ・アルゴリズムを数回適用する必要がある。しかしながら、データ収集ステップと比べると、些少な計算複雑性の増大がもたらされるだけである。最小値Ｊを見つけた後、後方追跡を使って、最適パス、すなわち量子化パラメータＱｉ*のオーダーが求められる。

前述したように、最後のステップ３０において、所望される場合、フレームシーケンスは量子化パラメータ値Ｑｉ*の最適オーダーを使って符号化が行われるが、前述のように状態移行図は見積もり結果なので、符号化されたフレームシーケンスの実際の歪みおよび実際の圧縮率は、例えばラグランジュ・コスト関数の最小値から予期されるものと異なることがあることを理解すべきである。

前記で説明したオペレーション方法の代替可能性を論ずる前に、可能な実装またはアプリケーションの手段を以下に取り上げる。まず、前記では最適量子化パラメータ・オーダーを決定する方法だけを説明したが、当然ながらこの方法は、ＡＳＩＣ、ＦＰＧＡまたは類似機器などの装置に容易に実装できることを特に理解すべきである。また、図１に示したブロックを、例えば、集積回路のサブ回路に実装し、ブロックに記載されたステップを実行できるように構成することができる。さらに、前述した方法を、図１の個々のステップを実行するよう構成されたサブプログラム・ルーチンを含むコンピュータ・プログラムとして実行することも可能である。従って、図１については、量子化パラメータ値の最適オーダーを決定する、または、量子化パラメータの最適化を行いながらフレームシーケンスを符号化するための対応装置を示すものでもある。

さらに、前記のＲＤＭアルゴリズムを、任意のハイブリッド映像符号化スキームに適用することができる。具体的には、ＭＰＥＧ−４単純プロファイル（ＳＰ）を使った実施結果が得られており、これらの実施結果について以下に説明する。

第１実験において、フォーマンシーケンス（ＱＣＩＦ、１５ｆｐｓ）の最初のＮ＝３のフレームが使われ、各フレームに対しＭ＝８の量子化パラメータ値が割り当てられた。この限定された事例に対し、それでも図５中のＲ−Ｄ点に図示されるように、全部でＭ^N＝５１２の組み合わせを符号化することが可能であり、図５では、圧縮率は水平軸沿いにフレームあたりｋＢｉｔ単位で表され、歪みは垂直軸沿いに平均平方誤差単位で表されている。５１２点のうちいくつかは四角で囲まれている。これらのポイントは、ＭＰＥＧ−４ ＳＰを使い、異なるλの値に対し、図１のＲＤＭアルゴリズムによって選定されたものである。図から分かるように、選定されたポイントは、データセットの凸包の端部に近く、従って最適解にも近い。

第２実験では、４つの標準テストシーケンス（フォーマン（Ｆｏｒｅｍａｎ）、パリ（Ｐａｒｉｓ）、フットボール（Ｆｏｏｔｂａｌｌ）、テンピート（Ｔｅｍｐｅｔｅ））および３つの追加シーケンス（ＣＮＮ、スパイダーマン（Ｓｐｉｄｅｒｍａｎ）、レッドオクトーバー（Ｒｅｄ−Ｏｃｔｏｂｅｒ））が、ＱＣＩＦ解像度の１５ｆｐｓないし秒あたりフレーム数で符号化された。該３つの追加シーケンスは、複雑性の違ったシーン・カットおよびシーン群を含み、マルチパス・アルゴリズムの実際の能力が示される。符号化法については、フラウンホッファーＩＩＳ ＭＰＥＧ−４ ＳＰ映像コーデックが使われ、これは、評価のためのベースライン・コーデックとして、ＭＰＥＧ−４および３ＧＰＰでも使用され、ＭＰＥＧ文書Ｎ６２３１「Ｒｅｐｏｒｔ ｏｆ ｔｈｅ Ｆｏｒｍａｌ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｔｅｓｔｓ ｏｎ ＡＶＣ（ＡＶＣに対する公式検証テストについての報告）」、ワイコロア、２００３年１２月、および３ＧＰＰ文書Ｓ４−０３０７１８「Ｔｅｓｔ Ｍａｔｅｒｉａｌ ａｎｄ Ｒｅｆｅｒｅｎｃｅ Ｒｅｓｕｌｔ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｃａｎｄｉｄａｔｅ Ｑｕａｌｉｆｉｃａｔｉｏｎ Ｃｒｉｔｅｒｉａ（映像コーデック候補適格性基準のための試験材料および参照結果）」タンペレ、２００３年１１月、が参考にされた。このコーデックないしこの符号化スキームでは、Ｒ−Ｄ最適化モード決定法が使われ、良好なＲ−Ｄパフォーマンスが示されており、さらなる詳細については、ｈｔｔｐ：／／ｗｗｗ.ｉｉｓ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ａｍｍ／ｄｏｗｎｌｏａｄ／ｗｐ＿ｉｉｓｍｐｅｇ４ｖｉｄｅｏｓｏｆｔｗａｒｅ．ｐｄｆを参照できる。

シーン・カットおよび時間変動する複雑性のあるシーケンスに対して、マルチパス符号化の有用性を実証することができる。こういったシーケンスの一つはＣＮＮシーケンスであり、図６の右側のグラフに見ることができるように、ＲＤＭアルゴリズムを使って０．７４ｄＢの平均ＰＳＮＲの向上を実現することができ、その水平軸には圧縮率がｋＢｉｔ単位で表され、垂直軸には平均輝度ＰＳＮＲ値がｄＢ単位で表されている。特に、図６の右図には、ＣＮＮシーケンスに対する３本のＤ−Ｒカーブが示されており、これらは、ＲＤＭアルゴリズム（*印）と、固定量子化パラメータ値（○印）および比較のためのマルチパス・アルゴリズムであるＤｉｖＸコーディック（＋印）による前記のフラウンホッファーの映像コーデックとを使った測定値から得られたものである。このような状況において、多くの場合、前記に提示されたＲＤＭアルゴリズムを使うことによって、ＰＳＮＲ利得で表されるよりも高い主観的品質の向上が得られることを理解すべきである。特に、シーン・カットおよびフェードにおいて、ＲＤＭアルゴリズムは、ビットを、例えば、今後の符号化処理においてそれらが役立つように、もっと合理的に使うことによって向上された主観的品質を提供する。これについて、シーケンス全体に亘って平均平方誤差を最小化することにより主観的品質に好ましい影響があることが判明している。

前述したように、図６は、ＲＤＭの結果（*）を、ＤｉｖＸ５．２コーデック（＋）により得られた結果と比較している。このような状況において、両方のコーデックとも同じ符号化ツールを用いており、具体的には、同じＭＰＥＧ−４ ＳＰに準拠した符号器を使って符号化できることを理解すべきである。その上に、両方の符号化法ともマルチパス符号化とＲ−Ｄ最適化モード決定とを使っている。フォーマンシーケンスおよびＣＮＮシーケンスに対する平均ＰＳＮＲ利得は、それぞれ０．８９ｄＢおよび１．９２ｄＢであり、フォーマンシーケンスについての比較が図６の左側のグラフに図示されている。前述した全てのテストシーケンスに対するさらなる結果が図７に示された表に要約されている。時間変動する複雑性を有するシーケンス、すなわち前記のシーケンスＣＮＮ、スパイダーマン、レッドオクトーバーに対する、典型的利得は０．４７ｄＢである。

さらに、ＤｉｖＸコーデックは、必ずしも、唯一の最適化基準として平均平方誤差だけを使って作動するものでないことを理解すべきである。従って、ここに提示された比較は、注意して取り扱う必要がある。しかしながら、高いＰＳＮＲ利得は主観的品質と非常によく相関することが判明している。従って、本発明の発明者らは、ＰＳＮＲ値が、同一の符号化スキームおよび同一シーケンスに関連して用いられる限りにおいて、客観的品質指標として非常にうまく機能すると考え、本事例において満たすべき対象条件としている。

しかして、前の実施形態は、マルチパス符号化によって改善されたＲ−Ｄ挙動を生成する、映像符号化のためのＲＤＭアルゴリズムを提供する。このＲＤＭアルゴリズムは、指数関数的な探索ツリーを線形の状態移行図に変換し、まず第一に、Ｒ−Ｄ最適化を可能にする。これは、類似のＲ−Ｄ挙動が将来のフレームに対し生ずるという仮定を用いて、類似の歪みを有する状態を束ねることによって達成される。ＲＤＭアルゴリズムのＭＰＥＧ−４への応用は、０．３ｄＢの典型的平均ＰＳＮＲ利得を示し、ＤｉｖＸ５．２と比較して、２ｄＢの利得上昇があった。

加えて、前記に提示されたＲＤＭ方法は、当然ながら、前記で説明した類似の歪みの仮定をマルチフレーム動き補償に拡張することによって、Ｈ．２６４／ＡＶＣ規格にも適用可能であることを理解すべきである。

さらに言い換えれば、前記では、例えばＭＰＥＧ−４に適用可能な符号化法であって、指数関数的に拡大する探索ツリーから状態移行図を構築ないし構成し、例えばラグランジュ・コスト関数を使ってそれを探索することによりハイブリッド符号化スキームにおける依存型量子化の問題に対処する、圧縮率―歪みマルチパス映像符号化方法について説明した。指数関数的な拡大を回避するため、類似の圧縮率―歪み挙動が将来のフレームに対して生ずるという仮定に基づき、似たように歪んだ参照フレームを持つ状態は併合ないし結合された。これにより、全体的圧縮率―歪み挙動が最適化されるように、各フレームに対する一つの量子化パラメータ値の最適のセットを選定するという目的は実質的に達成された。

前記の説明に関連して、前記で説明した量子化パラメータ値の決定についての実施形態は、当然ながら、多くの点を改変することができ一般化できることをさらに理解すべきである。例えば、本発明は、量子化パラメータ値の最適オーダーの決定に限定されない。むしろ、本発明により、動き補償予測の予測誤差の符号化に関連し、歪みおよび圧縮率に影響するパラメータなど、ハイブリッド符号化スキームの他の符号化パラメータを決定することもできる。例えば、これを、前記の符号化の中で行われる時間−周波数変換の変換精度を調整するパラメータとすることもできよう。

従って、ステップ１０または２０における符号化を、必ずしも固定の符号化パラメータを使って実施する必要はない。むしろ、実施される一式符号化を、符号化パラメータ値がフレーム毎に変化し相互に異なる、符号化パラメータ値のオーダーを使って行うこともできよう。

ステップ１０２で一式符号化された符号化パラメータすなわち量子化パラメータは、前記のステップ１０６において、各フレームごとに、いろいろな符号化パラメータに対するＤおよびＲ値を得るように変化された。本発明には、ステップ１０２において、符号化パラメータ値の異なるサポーティング・オーダーを使って一式符号化が実施され、ステップ１０６において、パラメータ値の他のオーダーに対するＤ／Ｒ対が確立されるというオペレーション・モードによる利点があるが、フレームシーケンスの第１部分に関してだけである。従って、図１のオペレーション・モードを変更し、主パスないし主分岐から分岐する際に、後続の２つのフレームに対する符号化パラメータを変化させ、対応して得られるＤおよびＲ値が確立されるようにすることも可能であろう。その後、前述したように主分岐への復帰を実施できよう。

さらに、前記では、ステップ２０２において状態移行図が構築され、これに従い、初期状態に基づき、状態移行により符号化パラメータ値の最適のセットを設定することができた。但し、他の表現の仕方も存在する。ステップ２０２ｂからの関連付け結果を使って、見積もられたデータをツリー構造表現の、現時点でまだ未達の部分に入力して、ステップ２０２の後で一式のツリー構造表現が得られるようにすることにより、ステップ２０２ａおよび２０２ｂの結果を２０２のツリー構造表現中に移し換えることができよう。

ステップ２０４に関連して、符号化パラメータ値のオーダーの決定は、当然ながらビタビ・アルゴリズム以外のアルゴリズムを使っても実施できることを理解すべきである。さらにコスト関数についても異なった選択ができようし、最適化和を他の態様に基づいて求めることができよう。効率上からいえば、特定のアプリケーションに対し、所定の基準に照らし十分な符号化を見出すことで足りるならば、ステップ２０４において最適化を行う必要はない。

最後に、前述したように、ステップ３０を省略し、該方法の出力ないしは対応する装置を、決定された符号化パラメータ値オーダーの出力だけから成るようにできることを理解すべきである。

特に、状況に応じ、本発明の方法を、前述したようにソフトウエア中に実装することもできる。このような実装を、デジタル記憶媒体、具体的には、プログラム可能なコンピュータ・システムと相互作動する電子的に可読の制御信号を備えたディスクまたはＣＤに行い、対応する方法を実施することができる。一般に、本発明はマシン可読の媒体に格納されたプログラム・コードを有し、コンピュータ・プログラム製品がコンピュータで実行されると本発明の方法を実施するコンピュータ・プログラム製品から成る。言い換えれば、本発明は、コンピュータ・プログラムがコンピュータ上で実行されたとき前記方法を実施するプログラム・コードを有する、コンピュータ・プログラムとして実現することができる。

本発明の実施形態による、量子化パラメータの最適オーダーを決定し、該最適オーダーを用いその後のフレームシーケンスの符号化を行う方法のフロー図である。 図１の方法で収集された、異なる量子化パラメータ・オーダーに対する歪みおよび符号化パラメータのデータを示すツリー構造である。 図２の、符号化ないし量子化パラメータ・オーダーに関するツリー構造のサブツリーであり、該符号化に対する歪みおよび圧縮率の値が確率されており、矢印マークは不完全パスの主パス上への復帰を示す。 不完全パスが主パスに復帰された後に得られた状態移行図ないし得られたパスの格子図である。 可能な全て量子化パラメータのオーダーに対し得られた圧縮率／歪みのタプルと、さらに図１による方法に従って決定されたオーダーとをプロットしたグラフである。 ２つの異なるテスト・シーケンス（左グラフ、右グラフ）に対し、全フレームに対し固定された量子化パラメータを使った場合と、図１による方法を使った場合と、ＤｉｖＸを使った場合とに得られたレート／歪みの対を比較した２つのグラフである。 他のテスト・シーケンスに対するさらなる比較結果をリストアップした表である。

Claims (15)

1. ハイブリッド符号化スキームによるフレームシーケンスの符号化に用いるために、前記フレームシーケンスの各フレームに対してハイブリッド符号化スキームの符号化パラメータの値のオーダーを決定するための装置であって、
   前記ハイブリッド符号化スキームを用い、前記フレームシーケンスの各フレームに対する前記符号化パラメータに関する値の異なるサポーティング・オーダー（ａ，ａ，…，ａ）を使って行う前記フレームシーケンスの一式符号化と、前記符号化パラメータに関する値のフラグメント・オーダー（ａ，ａ，…ａ，ｂ）を使って行う、前記フレームシーケンスの第１フレームからの前記フレームシーケンスの実部分シーケンスの前記符号化とに関し、前記フレームシーケンスのフレームに対して得られる歪みおよび圧縮率を設定するデータ設定手段（１０）であって、前記サポーティング・オーダーおよびフラグメント・オーダーの各値は、歪みおよび圧縮率のセットの実サブセットが得られるように、前記符号化パラメータに関する所定の値の所定のセットから選定され、前記サブセットは、各フレームに対する前記符号化パラメータに関する前記所定の値の可能なオーダーを用いた符号化によって得ることができるデータ設定手段（１０）と、
   前記サポーティング・オーダーを使って、それぞれの実部分シーケンスの最後のフレームに対して得られた歪みが、前記フラグメント・オーダーを使って、それぞれの実部分シーケンスの最後のフレームに対して得られた歪みに対してできるだけ小さな違いを含むような前記フラグメント・オーダーと前記サポーティング・オーダーとの関連性の下で、前記実部分シーケンスに沿った前記フレームシーケンスのフレームに対する歪みおよび圧縮率の見積もりを設定するデータ見積もり手段（２０２）と、
   前記設定結果と、見積もられた歪みおよび圧縮率に基づいて、前記ハイブリッド符号化スキームの前記符号化パラメータに対する値のオーダーを決定する決定手段（２０４）とを含む、装置。
2. 前記データ設定手段（１０）は、
   前記ハイブリッド符号化スキームを用い、前記フレームシーケンスの各フレームに対する前記符号化パラメータに関する値の前記異なるサポーティング・オーダー（ａ，ａ，…，ａ）を使って前記フレームシーケンスを符号化し、各サポーティング・オーダー（ａ，ａ，…，ａ）に対して符号化されたフレームのシーケンスを得る符号化手段（１０２）と、
   前記サポーティング・オーダー（ａ，ａ，…，ａ）の一つに対し得られる符号化フレームの各シーケンスの各符号化フレームに対する歪みおよび圧縮率を算定し、各サポーティング・オーダーが、それぞれのサポーティング・オーダーに対し得られる符号化フレームのシーケンスの前記符号化フレームの歪みおよび圧縮率に関連付けられるようにする算定手段（１０４）と、
   符号化フレーム群の最初のシーケンスの符号化フレームの歪みおよび圧縮率を設定する設定手段（１０６）であって、前記設定は、前記ハイブリッド符号化スキームを用い、第１フレームから所定のフレームまでに関して各サポーティング・オーダーのサブオーダーとは異なる部分シーケンスの各フレームに対し、前記符号化パラメータの値の前記フラグメント・オーダー（ａ，…，ａ，ｂ）の所定の一つを使って、前記第１フレームから前記フレームシーケンスの所定のフレームまで前記フレームシーケンスのフレームの実部分シーケンスを符号化することによって得られる設定手段（１０６）とを含む、請求項１に記載の装置。
3. 前記データ見積もり手段（２０２）は、
   前記設定手段によって設定された符号化フレームの最初のシーケンスの最後の符号化フレームの歪みを、前記サポーティング・オーダー（ａ，ａ，…，ａ）に対して得られた符号化フレームのシーケンスの対応する符号化フレームの歪みと比較し、比較結果を得る比較手段（２０２ａ）と、
   前記比較結果に基づき、前記フラグメント・オーダー（ａ，…，ａ，ｂ）を前記サポーティング・オーダーの一つと関連付け、前記フラグメント・オーダーに関連付けられる前記サポーティング・オーダーの一部によって補完された前記フラグメント・オーダーで構成される、前記符号化パラメータに対する見積もりサポーティング・オーダーを得る関連付け手段（２０２ｂ）であって、補完されたオーダーは、前記フレームシーケンスの所定のフレームから後のフレーム群に関連付けられており、前記設定手段により設定された最初のシーケンスに対する歪みおよび圧縮率と、所定のフレームに後続するフレーム群に対応する符号化フレームのシーケンスの符号化フレームに対し決定された歪みおよび符号化レートとに関連付けられている関連付け手段（２０２ｂ）とを含む、請求項２に記載の装置。
4. 前記決定手段（３０）は、
   それぞれに関連する歪みおよび圧縮率に基づいて、前記サポーティング・オーダーおよび見積もられたサポーティング・オーダーを含むセットから前記符号化パラメータに関する値のオーダーを選定する選定手段（２０４）を含む、請求項３に記載の装置。
5. 前記符号化手段（１０２）は、各フレームに対し、所定のセット以外の所定値を常に含むサポーティング・オーダーを使って、前記フレームシーケンスの符号化を実施するよう構成される、請求項４に記載の装置。
6. 前記設定手段（１０６）は、符号化フレームの最初のシーケンスの符号化フレームの歪みおよび圧縮率を設定するよう構成され、歪みおよび圧縮率は、前記ハイブリッド符号化スキームを用いて前記実部分シーケンスを符号化し、前記第１フレームから所定のフレームまでに関し、所定のサポーティング・オーダーのサブオーダーとは異なるフラグメント・オーダーを使って、このサブオーダーの最後の値だけを所定のセットの別の値と置換えることによって得られる、請求項４または５に記載の装置。
7. 前記設定手段は、符号化フレームの最初のシーケンスの最後の符号化フレームの歪みおよび圧縮率を設定する際に、所定のフレームの動き補償予測に対する残差を表す、前記ハイブリッド符号化スキームを用い所定のサポーティング・オーダーを使った前記符号化手段（１０２）による前記フレームシーケンスの符号化の中間結果を使用し、前記ハイブリッド符号化スキームを用い前記符号化パラメータに関する他の値を使って所定フレームの符号化を続けるよう構成される、請求項６に記載の装置。
8. 前記設定手段（１０６）、前記比較手段（２０２ａ）、および前記関連付け手段（２０２ｂ）は、複数の所定のサポーティング・オーダーの複数のフレームに対し、前記設定、前記比較、および前記関連付けを繰り返すよう構成される、請求項６または７に記載の装置。
9. 前記データ設定手段（１０）は、所定のセットからの、各フレームに対し相異なる所定値を常に含む異なるサポーティング・オーダー（ａ，ａ，…，ａ）を使った前記フレームシーケンスの一式符号化と、フラグメント・オーダーを使った第１フレームからの前記フレームシーケンスの実部分シーケンスの符号化とに関し、前記フレームシーケンスの前記フレームに対し得られる歪みおよび圧縮率の設定を行うよう設定され、前記フラグメント・オーダーは、個々のサポーティング・オーダーｊに対し、前記サポーティング・オーダーｊの第１値から開始され、前記フラグメント・オーダーは（ｉ−１）番目の値までは前記サポーティング・オーダーｊと同じであり、前記サポーティング・オーダーｊのｉ番目において前記符号化パラメータの別の所定値によって終了し、これにより状態移行図が得られ、
   前記状態移行図は、
   初期状態と、
   前記サポーティング・オーダーの各サポーティング・オーダーｊについて、
   前記サポーティング・オーダーｊの第１値とともに始まり、ｉ番目の値に至るまで前記サポーティング・オーダーｊと同一である、前記サポーティング・オーダーｊの可能な各々のサブオーダーに対する、さらに
   前記サポーティング・オーダーｊの第１値ｍとともに開始され、（ｉ−１）番目の値に至るまで前記サポーティング・オーダーと同一であり、前記サポーティング・オーダーｊのｉ番目の値において、ｍと異なる、前記符号化パラメータに対する別の所定値ｋとともに終了する各フラグメント・オーダーに対する
   状態（ｊ，ｉ，ｍ）と状態（ｊ，ｉ，ｋ）とを含み、
   前記状態移行図は、状態（ｊ，ｉ，ｍ）と状態（ｊ，ｉ＋１，ｍ）との各対の間における前記（ｉ＋１）番のフレームの歪みおよび圧縮率に関する状態の移行を含み、この符号化には、前記サポーティング・オーダーｊの第１値とともに始まり、ｍを含めた前記（ｉ＋１）番目の値に至るまで前記サポーティング・オーダーｊと同一である前記サブオーダーが使われ、さらに状態（ｊ，ｉ，ｍ）と状態（ｊ，ｉ＋１，ｋ）との各対の間における前記（ｉ＋１）番のフレームの歪みおよび圧縮率に関する状態の移行を含み、この符号化には、前記サポーティング・オーダーｊの第１の値ｍとともに始まり、前記（ｉ−１）番の値に至るまで前記サポーティング・オーダーと同一であり、前記サポーティング・オーダーｊのｋを含めたｉ番の値において、ｍと異なる、前記符号化パラメータに対する別の所定値ｋとともに終了する前記フラグメント・オーダーが使われる、請求項１ないし請求項８のいずれかに記載の装置。
10. 前記データ見積もり手段（２０２）は、（ｊ，ｉ，ｍ）から（ｊ，ｉ＋１，ｋ）への状態移行の歪みに対して違いが最小となる歪みに関連する前記サポーティング・オーダーの固定値ｘに対応するように、（ｊ，ｉ，ｍ）から（ｊ，ｉ＋１，ｋ）への各々の状態移行を、前記可能なサポーティング・オーダーの下で自由選択可能なｘと所定値ｙとを使った移行（ｘ，ｉ＋１，ｙ）に関連付け、前記初期状態および前記所定セットの所定値ごとの状態を有する状態をフレーム毎に順繰りに得るよう構成される、請求項９に記載の装置。
11. 前記ハイブリッド符号化スキームはＩＰＰＰ…Ｐの符号化パターンを含む、請求項１ないし請求項１０のいずれかに記載の装置。
12. 前記符号化パラメータは、前記ハイブリッド符号化スキームにおける予測誤差値の量子化に用いる量子化パラメータを規定する、請求項１ないし請求項１１のいずれかに記載の装置。
13. 前記ハイブリッド符号化スキームを用い、前記符号化パラメータに関する値の決定されたオーダーを使って前記フレームシーケンスを符号化する手段（３０）をさらに含む、請求項１ないし請求項１２のいずれかに記載の装置。
14. ハイブリッド符号化スキームによるフレームシーケンスの符号化に使われるフレームシーケンスの各フレームに対するハイブリッド符号化スキームの符号化パラメータの値のオーダーを決定するための方法であって、
    前記ハイブリッド符号化スキームを用い、前記フレームシーケンスの各フレームに対する前記符号化パラメータ値の異なるサポーティング・オーダー（ａ，ａ，…，ａ）を使って行う前記フレームシーケンスの一式符号化と、前記符号化パラメータに対する値のフラグメント・オーダー（ａ，ａ，…，ａ，ｂ）を使って行う、前記フレームシーケンスの第１フレームから前記フレームシーケンスの実部分シーケンスの符号化とに対し、前記フレームシーケンスの前記フレームに対して得られる歪みおよび圧縮率を設定（１０）する工程であって、前記サポーティング・オーダーおよびフラグメント・オーダーの各値は、前記符号化パラメータに対する所定の値の所定のセット（｛２，４，６｝）から選定され、歪みおよび圧縮率のセットの実サブセットは、各フレームに対する前記符号化パラメータの所定値の可能なオーダーを使って符号化することにより得られる設定工程と、
    前記サポーティング・オーダーを使ってそれぞれの実部分シーケンスの最後のフレームに対応して得られた歪みが、前記フラグメント・オーダーを使って前記それぞれの実部分シーケンスの最後のフレームに対して得られた変形とできるだけ小さな違いを含むようなフラグメント・オーダーと前記サポーティング・オーダーとの関連性の下で、前記実部分シーケンスに沿った前記フレームシーケンスのフレームに対する歪みおよび圧縮率の見積もりを設定する（２０２）設定工程と、
    前記設定、生成され見積もられた歪みおよび圧縮率に基づいて、前記ハイブリッド符号化スキームの前記符号化パラメータに対する値の前記オーダーを決定する（３０）工程とを含む、方法。
15. コンピュータ・プログラムが実行されたとき、請求項１４による前記方法を実施するためのプログラム・コードを有する、コンピュータ・プログラム。

Images