JP2010507339A - 映像動作中に瞬間復号化リフレッシュを信号で送るようにネットワーク抽象レイヤを用いる方法 - Google Patents

Abstract

メモリ管理技術は、マルチビュー符号化映像画像システムに関連する参照画像を記憶するために用いるメモリのためのメモリ管理を規定される。瞬間リフレッシュ復号化画像（６２０）の符号化画像情報と共に受信される情報に基づいて、特定にビュー（６２５）に関連する参照画像を削除する判定が行われ、そのような画像はメモリ（６３０）から削除されるようになっている。

Description

本発明は、動画像の分野に関し、特に、動画像を符号化するために用いられる参照画像の記憶の問題に関する。

多くのフレーム間符号化システムは参照画像を使用し、その場合、参照画像の使用は符号化ビットストリームのサイズを減少させる。この種類の結果として、符号化効率は、フレーム間符号化技術自体を用いることに比べてより良好になる。多くの符号化基準は、それ故、動画像のシーケンスからビットストリームを符号化するように、フレーム内符号化技術及びフレーム間符号化技術の両方を組み込んでいる。当該技術分野で知られているように、異なる種類の参照画像が、画像自体（フレーム内）における要素を用いることのみにより符号化される“Ｉ”画像、画像自体からの要素及び／又は２つの先行して符号化された参照画像（フレーム間）からの要素を用いることにより符号化される“Ｂ”画像、並びに画像自体からの要素及び／又は１つの先行する参照画像（フレーム間）からの要素を用いることにより符号化される“Ｐ”画像のような参照を符号化するように用いられる。“Ｂ”画像及び“Ｐ”画像の両方は複数の参照画像を用いることが可能であるが、それらの種類の画像の両方の間の差は、“Ｂ”画像が、ブロック毎に多くても２つの動き補償予測信号を用いるインター予測の使用を可能にする一方、“Ｐ”画像は、予測ブロック毎に１つのみの予測の使用を可能にすることである。

“Ｂ”画像又は“Ｐ”画像が符号化される及び／又は復号化されるとき、それらの画像は、それ故、それらの画像が復号化動作中に適切に符号化又は構成されることが可能であるように、他の参照フレームに依存する。符号化／復号化システムは、参照画像が記憶されることが可能である一方、他の画像はそのような参照画像を考慮して符号化又は復号化されるように、ある種類のメモリ場所を備える必要がある。明らかに、しばらくして、将来の符号化動作の間に参照画像を用いる符号化されるべき更なる画像は存在しないために、符号化動作のために参照画像を用いることはできない。

記憶装置に永久に参照画像全てを記憶することが可能であるが、そのような解決方法は、メモリ資源を非効率的に使用するものである。それ故、当該技術分野で知られているように、先入れ先出し（ＦＩＦＯ）メモリ動作又は後入れ先出し（ＬＩＦＯ）メモリ動作のようなメモリ技術が、そのような参照画像を必要とする空間を減少させる（不必要な参照画像を捨てることにより）ように支援する参照画像を記憶することによりメモリ装置を動作させる場合に用いられる。そのようなメモリ動作は、しかしながら、符号化及び／又は復号化される画像が時間的関係及びビュー相互関係の両方を有するマルチビュー符号化システムの使用を考慮するとき、不所望の結果をもたらす可能性がある。即ち、マルチビュー符号化システムは、動画像の複数のビューを有する特徴を有し、各々のビューは、それぞれのオブジェクト／シーンの異なるビューを表す。ここで、参照画像は、２つの異なるビューに関連する画像の符号化又は復号化で用いられることが可能である。

例えば、図１は、マルチビュー符号化システムで用いられる参照画像構造の例示としての実施例を示している。特に、示されている構造については、文献“Ｊｏｉｎｔ Ｍｕｌｔｉｖｅｗ Ｖｉｄｅｏ Ｍｏｄｅｌ（ＪＭＶＭ）１．０”，ｂｙ Ａ．Ｖｅｔｒｏ，Ｙ．Ｓｕ，Ｈ．Ｋｉｍａｔａ，Ａ．Ｓｍｏｌｉｃ，ＪＶＴ−Ｔ２０８．ｄｏｃ，Ｋｌａｇｅｎｆｕｒｔ，Ａｕｓｔｒｉａ，Ｊｕｌｙ，２００６に記載されている。このマルチビュー符号化規格は、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）Ｓｔａｎｄａｒｄ（“Ｄｒａｆｔ ｏｆ Ｖｅｒｓｉｏｎ ４ ｏｆ Ｈ．２６４／ＡＶＣ（ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ ａｎｄ ＩＳＯ／ＩＥＣ １４４９６−１０（ＭＰＥＧ−４ ｐａｒｔ １０） Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）”，Ｐａｌｍａ ｄｅ Ｍａｌｌｏｒｃａ，ＥＳ １８−２２，Ｏｃｔｏｂｅｒ ２００４）における符号化に基づいている。両方の規格間の大きい差は、ＡＶＣが符号化マルチビュー画像をアドレス指定することができない一方、ＭＶＣはそれができることである。

図１を再び参照するに、例えば、Ｔ１においてビューＳ１に関連する画像を符号化するとき、符号化される画像は同じビュー（Ｔ０におけるＳ１及びＴ２におけるＳ１）からの画像（参照画像）に関連し、符号化されるべき画像は異なるビュー（Ｔ１におけるＳ０及びＴ１におけるＳ２）からの画像に関連することが理解できる。それ故、Ｓ１、Ｔ１に関連する画像を符号化するとき、バッファ、レジスタ、ＲＡＭ等のようなメモリ装置に参照画像（Ｔ０におけるＳ１、Ｔ２におけるＳ１、Ｔ１におけるＳ０及びＴ１におけるＳ２）を維持することは理解できることであり、その場合、そのような復号化画像は、復号化画像バッファ（ＤＰＢ）と呼ばれる装置に記憶される。

ＤＰＢにおいて参照画像を管理する一方法は、外部で生成され、ＤＰＢの一部をクリアする命令に対して通信されることが可能である構文要素（コマンド）を用いるようになっている。ＡＶＣ仕様においては、ＤＰＢにおいて記憶されている参照画像の全てが“参照のために用いられないもの”であることを示すように用いられる瞬時復号化リフレッシュ（ＩＤＲ：Ｉｎｓｔａｑｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）を示すようにコマンドがＮＡＬに挿入されるネットワーク抽象化レイヤ（ＮＡＬ）を用いることが可能である。これは、ＩＤＲが受信された後にＤＰＢにおける参照画像の全てが最終的に削除される必要があることを意味する。ＩＤＲ画像は、フレーム間符号化（フレーム間符号化ではない）に依存する“Ｉ”画像（スライス）または“ＳＩ”画像（スライス）に関連するために、それを行うことが可能である。それ故、典型的には、符号化画像における第１画像のシーケンスはＩＤＲ画像である。

しかしながら、現在のＩＤＲの実施は、複数のビューが符号化される必要があるＭＶＣ符号化状態の問題に対処するとき、効果的ではない。例えば、ビューＳ０はＡＶＣ対応ビューであることを前提にする。ＡＶＣ対応ＩＤ画像がビューＳ０において時間Ｔ１６に存在する場合、ビューＳ０における参照画像のみが“参照のために用いられないもの”としてマーキングされる必要があるかどうかは明らかでない。即ち、ＡＶＣ及びＭＶＣについてＩＤＲ画像に関連する現在の原理の下では、ＤＰＢにおける何れかのビューの全ての記憶されている参照画像が、“参照のために用いられないもの”としてマーキングされ、ＤＰＢから削除され、そのことは好ましい結果ではない。

"Ｊｏｉｎｔ Ｍｕｌｔｉｖｅｗ Ｖｉｄｅｏ Ｍｏｄｅｌ（ＪＭＶＭ）１．０"，ｂｙ Ａ．Ｖｅｔｒｏ，Ｙ．Ｓｕ，Ｈ．Ｋｉｍａｔａ，Ａ．Ｓｍｏｌｉｃ，ＪＶＴ−Ｔ２０８．ｄｏｃ，Ｋｌａｇｅｎｆｕｒｔ，Ａｕｓｔｒｉａ，Ｊｕｌｙ，２００６ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）Ｓｔａｎｄａｒｄ（"Ｄｒａｆｔ ｏｆ Ｖｅｒｓｉｏｎ ４ ｏｆ Ｈ．２６４／ＡＶＣ（ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ ａｎｄ ＩＳＯ／ＩＥＣ １４４９６−１０（ＭＰＥＧ−４ ｐａｒｔ １０） Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）"，Ｐａｌｍａ ｄｅ Ｍａｌｌｏｒｃａ，ＥＳ １８−２２，Ｏｃｔｏｂｅｒ ２００４）

上記の及び他の従来技術の短所及び不利点は、映像符号化についての動き推定予測値として有効な動き情報をもたらす方法及び装置を提供する。

本発明の特徴に従って、復号化画像バッファにおいてメモリ管理動作を実行するマルチビュー映像符号化環境で用いる符号が提供され、そのようなメモリ管理動作は、制御情報に基づいて特定のビューに関連する参照画像を除去する。

本発明の原理についての上記の及び他の特徴、側面及び有利点は、添付図に関連付けて読むようになっている例示としての実施形態についての以下の詳述から明らかになる。

本発明の原理は、以下の例示としての図により更に理解することが可能である。

異なる時間の映像画像ビューの例示としての実施形態のマルチビュー符号化であって、そのような映像画像は示している方式で参照画像を用いて符号化される、マルチビュー符号化を示す図である。 本発明の原理に従ったＮＡＬユニットを指定するために用いられる符号の実施形態を示す図である。 本発明の原理に従って用いられる構文要素ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ（）についての擬似符号の実施形態を示す図である。 本発明の原理に従って用いられる構文要素Ｍｍａｒｋ＿ｖｉｅｗ＿ｏｎｌｙ（）についての擬似符号の実施形態を示す図である。 本発明の原理に従って用いられる符号化システムの例示としての実施形態を示す図である。 本発明の原理に従ってＩＤＲ画像を用いる符号化の例示としての実施形態を示す図である。

本発明の原理は、フレーム内ベースの符号化規格及びフレーム間ベースの符号化規格に適用されることが可能である。本明細書を通して用いている用語“画像”は、当該技術分野において“フレーム”、“フィールド”及び“スライス”並びに用語“画像”自体として知られている映像画像情報の種々の形式を表現する総称として用いられる。用語“画像”は種々の要素の映像情報を表すように用いられているが、ＡＶＣとは、“参照画像”と同じ画像からのスライスを用いることが可能であるスライスの使用のことをいい、画像がどのように副分割されているかに拘わらず、本発明の原理を適用することが可能である。

本発明の原理については、典型的には、ＡＶＣにおいて規定されるネットワーク抽象レイヤとして知られている要素に関連して説明される。本発明の原理はまた、ヘッダ及びペイロード、データ及び制御パケットをインターリーブするビットストリーム等を有するデータパケットのようなデータを送信するように用いられる複数のフォーマットに適用されることが理解できる。

本発明の説明においては、参照画像は、画像を符号化するように用いられる符号化映像画像情報として定義されている。多くの映像符号化システムにおいては、参照画像は、ＤＰＢのようなメモリに記憶される。どの参照画像が維持されるべきか又は削除されるべきかを十分に管理するように、ＤＰＢは、メモリ管理コマンド動作（ＭＭＣＯ）として知られているコマンドを用い、そのＭＭＣＯは、記憶されている参照画像にメモリ状態（典型的には、符号化器により）を割り当てるように用いられる。例えば、ＡＶＣ／ＭＶＣ符号化器のために用いられるメモリ状態は、期間であって、短い期間の参照画像、長い期間の参照画像、又は参照画像として用いられないときにマーキングされない画像の期間を有する。（その場合、メモリがＤＰＢから必要とされる場合に、参照画像は削除される。記憶されている参照画像の状態は、より多くの画像が符号化されるときに、変えられることが可能であり、例えば、一画像が符号画像であるとき、短い期間であるように指定される参照画像は、第２画像が符号化されるときに、長い期間の参照画像であるように指定されることが可能である。

また、本発明の説明においては、フォーマット化の種類のＣ言語を用いる種々のコマンド（構文要素）は、そのようなコマンドについて次の名称を用いる図において詳述されている。
ｕ（ｎ）：ｎビットを用いる符号のない整数。ｎが構文テーブルにおいて“ｖ”であるとき、ビット数は、他の構文要素の値に依存する方式で変化する。この記述子についての解析処理は、最初に書き込まれた最も重要なビットを有する符号のない整数の２進数表現として解釈される関数ｒｅａｄ−ｂｉｔｓ（ｎ）の戻り値により特定される。
ｕｅ（ｖ）：最初に左ビットを有する符号のない整数Ｅｘｐ−Ｇｏｌｏｍｂ符号化構文要素。
ｓｅ（ｖ）：最初に左ビットを有する符号のある整数Ｅｘｐ−Ｇｏｌｏｍｂ符号化構文要素。
Ｃ：構文要素を適用する、即ち、どのレベルに特定フィールドが適用される必要があるカテゴリを表す。

本明細書において、本発明の原理を示している。それ故、当業者は、ここでは明示的に記載及び図示していないが、本発明の原理を実施し、本発明の範囲及び主旨の範囲内に包含される種々の構成を案出することができることが可能であることを理解することができる。

ここで列挙する全ての実施例及び条件言語は、当該技術の促進に対して本発明者が寄与している本発明の原理及び概念を理解する上で読者を支援する教育的目的のために意図され、そのように具体的に列挙された実施例及び条件に対する制限の範囲内にあるとして解釈することができる。

更に、本明細書において本発明の原理、特徴及び実施形態並びに本発明の特定の実施例を挙げている全ての記載が、本発明と同等の構造及び機能の両方を包含するように意図されている。更に、そのような同等なものは、現在の同等なもの及び将来開発される同等なものを、即ち、構造に関係なく、同様の機能を実行するように開発される何れかの要素を包含するように意図されている。

図２は、ＡＶＣで用いられるＮＡＬのために用いられる構文を開示していて、ここでは、ＡＶＣ対応ビットストリームは、示しているように、ＮＡＬユニットの種類１又は５を用いる符号化画像を有する。ＭＶＣ符号化画像は、符号化画像についてＮＡＬユニットの種類２０及び２１を用いる。両方のＮＡＬユニットの種類１及び２０は、参照映像符号化規格について非ＩＤＲ画像（スライス）を表す一方、ＮＡＬユニットの種類５及び２１はＩＤＲ画像を表す。符号化器がＮＡＬにおける５又は２１のユニットの種類を受信する（例えば、ビットストリームにおいて）とき、符号化器は、“参照のために用いられないもの”に変化されたＤＢＰに記憶される参照画像の状態を有する。

本発明の実施形態においては、サフィックスＮＡＬユニットと呼ばれるＮＡＬユニットをＮＡＬと共に用いることを提供している。サフィックスＮＡＬユニットは、復号化順序にある他のＮＡＬユニットに後続するＮＡＬユニットとして規定され、関連ＮＡＬユニットと呼ばれる先行ＮＡＬユニットについての記述情報を有する。好適には、サフィックスＮＡＬユニットの後続するものは、関連ＮＡＬユニットにすぐに後続する。

更に規定されるように、サフィックスＮＡＬユニットは、２０又は２１に等しいｎａｌ＿ｒｅｆ＿ｉｄｃを有する。ｓｖｃ＿ｍｖｃ＿ｆｌａｇが０に等しいとき、サフィックスＮＡＬは０に等しいｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの両方を有するが、符号化スライスを有さない。ｓｖｃ＿ｍｖｃ＿ｆｌａｇが１に等しいとき、サフィックスＮＡＬは０に等しいｖｉｅｗ＿ｌｅｖｅｌを有し、符号化画像情報（スライスを有さないが、制御情報を含むことが可能である。サフィックスＮＡＬユニットは、関連ＮＡＬユニットと同じ符号化画像に属す。

サフィックスＮＡＬユニットについての構文は、図３に示すように、ｓｌｉｃｅ＿ｌａｙｅｒ＿ｉｎ＿ｓｖｃ＿ｍｖｃ＿ｅｘｔｅｎｓｉｏｎ＿ｒｂｓｐ（）ｆｕｎｃｔｉｏｎの構造を規定する。このサフィックスＮＡＬユニットは、関連ＮＡＬユニットに関する情報を得て、適切なアクションをとるように、ＮＡＬユニットに存在する情報を抽出するようにＭＶＣ対応符号化器により用いられることが可能である。

それ故、サフィックスＮＡＬユニットにおいて、どのビューがＩＤＲコールにより影響される必要があるかを示す情報が存在する新しい構文が提供される。即ち、その新しい構文は、関連ビューについてのものである記憶されている参照画像（ＤＰＢにおける）が“参照のために用いられないもの”としてマーキングされる一方、他のビューについて記憶されている参照画像はそれらのメモリ状態のまま保たれるようにする。

構文要素ｍａｒｋ＿ｖｉｅｗ＿ｏｎｌｙは本発明の実施形態において提案され、図４に示されていて、そのことは、ＩＤＲ画像がＤＰＢにおいて有する挙動を特定する。ｍａｒｋ＿ｖｉｅｗ＿ｏｎｌｙがサフィックスＮＡＬユニットにおいて１に等しいとき、同じサフィクスＮＡＬユニットにおいて存在するｖｉｅｗ＿ｉｄに関連するビューに関連するＤＰＢに存在する参照画像の全てが“参照のために用いられないもの”としてマーキングされる。ｍａｒｋ＿ｖｉｅｗ＿ｏｎｌｙが０に等しいとき、ＤＰＢに存在する参照画像の全てが“参照のために用いられないもの”としてマーキングされる。

本発明の任意の実施形態においては、ＩＤＲ画像がＭＶＣ ＮＡＬユニット（種類２１）に存在するとき、このＩＤＲ画像は参照として用いられないものとしてそれ自体のビューにおける画像のみをマーキングする制限を改善することを提案している。

更なる任意の実施形態においては、プレフィックスＮＡＬユニットが作成されることが可能であり、ここでは、そのようなユニットは、関連ＮＡＬユニットの前に送信される。更なる任意の実施形態においては、関連ＩＤＲに対して特定のビューを選択する上記のコマンドの種類は、本発明の原理に従ったコマンドを付けるように、ユーザデータが規定されることが可能であるＮＡＬユニットによりどこかでカプセル化されることが可能である。本発明の代替の実施形態において、制御パケットがそれ自体でビット内に配置され、そのようなパケットは、どの参照画像が“参照のための用いられないもの”としてマーキングされる必要があるかを示すように用いられることを提案していることをまた、理解することができる。特に、制御パケットは、Ｒｒｅｍｏｖｅ＿ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗのような構文（又は、この提案されたコマンドに類似するコマンド）を有し、そのコマンドに関連する値は、どの記憶されている参照画像が（関連ビューを介して）ＤＰＢから削除されるべきかを示す。

この構文は、同時に、どのビューがＤＰＢから削除されるべきかを示す制御語を与えるようにされることが可能である。例えば、映像シーケンスがそれに関連する８つのビュー（ビュー０から始まる）を有する場合、ビュー１、４及び５（０から始まる）に関連する参照画像を削除するように用いられる値は、（１１００１１０１）のような８ビットの値に従って規定される。そのような値は、左側から始まり右側に進む場合に、即ち、ビュー０には値“１”が与えられ、ビュー０に関連する参照画像はそのまま保たれるようになっている場合に、もたらされる。ビュー１について右側に移動する場合、そのようなビューには値“０”が与えられる。それ故、本発明の実施形態においては、ＤＰＢは、ビュー１に関連するＤＰＢにおける参照画像の全てを削除する。他のコマンド及び値は、本実施形態の原理に従って、当業者が実施することが可能であることが理解できる。

図５は、本発明の原理に従って用いられる符号化システムの例示としての実施形態を開示している。図５における簡略化されたバージョンのブロック図５００においては、符号化器５０５、符号化バッファ５１０及び復号化画像バッファ５１５、並びにデータフォーマッタ５２０間の動作について示している。符号化動作（符号化か又は復号化のどちらか）中、符号化器５０５により現在符号化されている画像は符号化バッファ５１０に存在している一方、先行して符号化された参照画像は復号化画像バッファ５１５に記憶されている。上記のように、ＡＶＣは、復号化画像バッファ５１５における参照画像がどのように維持される必要があるかを符号化器が特定するようにするメモリ管理制御動作（ＭＭＣＯ）として知られているコマンドを用いることが開示されている。即ち、画像が符号化されているとき、ＭＭＣＯは、その画像の前にくる参照画像により何が実行される必要があるかを特定するように、現在符号化されている画像のヘッダに入力されるこの動作は“マーキング”として知られている。それらのコマンドは、その場合、復号化画像バッファ５１５に存在する参照画像により何が行われる必要があるかを判定するように、将来、符号化器５０５により用いられることが可能である。用語“画像”は種々の要素の映像情報を表すように用いられているが、ＡＶＣは、そのような参照画像が“参照画像”と同じ画像からのスライスを用いることができるスライスの使用を参照し、画像がどのように副分割されるかに拘わらず、本発明の原理が適用されることに留意する必要がある。

一旦、画像が符号化されると、それらの画像はビットストリームの一部として送信されることが可能であり、そのようなデータは、データフォーマッタ５２０を用いてデータネットワークにおける送信のためのビットストリームにおいてフォーマットされる。好適には、データは、トランスポートストリーム（ＩＰパケット、ＭＰＥＧ−２トランスポートストリーム等）において更に送信されるＮＡＬユニットの形式で送信され、データフォーマッタ５２０は、送信パケットにおいてＮＡＬユニットを送信する。データフォーマッタ５２０は、それ故、符号化画像情報及びＮＡＬユニットと上記されているコマンドの両方を送信することが可能であり、そのようなＮＡＬユニットは、プレフィックス及び／又はサフィックスＮＡＬユニットであることが可能である。更に、データフォーマッタ５２０は、ＮＡＬユニットの何れかのユーザ定義可能部分にＩＤＲ情報コマンドを付加することが可能である。データフォーマッタ５２０はまた、データパケットのヘッダ、データパケットのペイロード又はトランスポートパケットのそれらの組み合わせにおいて上記のデータコマンドを入れることが可能である。

本発明の例示としての実施形態においては、データフォーマッタ５２０は、トランスポートパケットの符号化ビットストリームを受信する、及び（動画のシーケンスを構成するように）復号化映像画像データの形式に符号化器５０５により復号化されることができるＮＡＬユニットにその受信されたデータをフォーマットすることができる。即ち、データフォーマッタ５２０は、どの画像がＩＤＲ画像を表し、どの符号化器が“参照のために用いられないもの”として特定のビューに関連して参照画像をマーキングするようにＮＡＬデータを読み出すように用いられるユニットであるかを判定するように、ＮＡＬユニットを読み出すことが可能である。符号化器５０５は、その場合、この任意の実施形態において動作し、符号化器５０５は受信されたビットストリームを復号化するように用いられ、符号化画像バッファ５１０及び復号化画像バッファ５１５は、ＡＶＣ及びＭＶＣ映像符号化規格に関して規定される方式に従って用いられるようになっている。

図６は、ＩＤＲ画像を用いる方法であるフローチャート６００に開示されている本発明の例示としての実施形態である。ステップ６０５においては、符号化されるようになっている画像についての画像データが符号化器５０５により処理される。画像データが符号化されるとき、ステップ６１０における符号化器５０５は、符号化される画像が瞬間復号化リフレッシュ画像を表すかどうかを指定するコマンドを付加する。このコマンドの一部は、その画像が（ＩＤＲである場合に）記憶されている（又は、ＤＰＢ５１５に記憶されるようになっている）参照画像の全てに影響するか又は、特定のビューに関連する記憶されている参照画像が“参照として用いられないもの”としてマーキングされるようになっているかを示す。

データフォーマッタ５２０は、ステップ６１０において符号化器により構築されたコマンドを用い、ステップ６１５のＮＡＬにおいてＩＤＲコマンド（好適には、上記のようにサフィックスＮＡＬとして（本発明の原理に従って、他の送信フォーマットを用いることが可能であるが））を送信する。

ステップ６２０においては、類似するデータフォーマッタ５２０が符号化データストリームを受信し、そのデータフォーマッタは、どの受信されたＮＡＬがＩＤＲを表すか、及びどの記憶されている参照画像がＩＤＲ動作により影響されるかを判定するように、ＮＡＬを読み出す。ステップ６２５においては、符号化器５０５は、受信された関連ＮＡＬから符号化画像情報を復号化する（好適な実施形態において）とき、サフィックスＮＡＬにおいて特定される“参照として用いられないもの”として記憶されている参照画像をマーキングするＩＤＲコマンドを実行する。ステップ６３０においては、ＤＰＢ５１５がそのようなコマンドを実施し、“参照として用いられないもの”としてＩＤＲコマンドにおいて選択される記憶されている参照画像をマーキングし、ＤＰＢ５１５は、最終的には、そのような参照画像を削除する。

それ故、例えば、ここで示しているブロック図が本発明の原理を実施する例示としての回路の概念的様子を表していることを当業者は理解することができる。同様に、何れのフローチャート、フロー図、状態遷移図、擬似コード等は、コンピュータ読み出し可能媒体において実質的に表されることが可能であり、それ故、種々の処理がコンピュータ又はプロセッサにより実行されることが可能であり、そのことは、コンピュータ又はプロセッサが明示的に示されているか否かには関係ない。

上記図に示している種々の要素の機能は、専用のハードウェア及び適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを用いることにより与えられることが可能である。プロセッサにより提供されるとき、それらの機能は、単独の専用プロセッサ、単独の共有プロセッサ、又は複数の別個のプロセッサであって、それらの一部は共有されることが可能である、別個のプロセッサにより提供されることが可能である。更に、用語“プロセッサ”又は“制御器”の明示的使用は、ソフトウェアを実行することができるハードウェアに対して明示的に表される必要はなく、ディジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶する読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）及び不揮発性記憶装置を暗示的に含むことが可能であるが、それらに限定されるものではない。

従来の及び／又は特別の他のハードウェアも含むことが可能である。同様に、図に示す何れかのスイッチのみが概念化されることが可能である。それらの機能は、プログラム論理の実行、専用論理、プログラム制御及び専用論理の相互作用により、又は手動操作によってさえ、実行可能であり、それらの特定の技術は、前後の関連からより具体的に理解できるように、実施者によって選択可能である。

請求項においては、特定の機能を実行する手段として表現される要素は、例えば、ａ）その機能を実行する複数の回路要素の組み合わせ、又はｂ）その機能を実行するようにソフトウェアを実行する適切な回路と組み合わされたファームウェア、マイクロコード等を含む何れかの形式にあるソフトウェアを含むその機能を実行する何れかの方法を包含するとして意図されている。そのような請求項に記載している本発明の原理は、種々の記載している手段により提供される機能がそれらの請求項が請求する方式で組み合わされ、一緒にされるということにある。それ故、それらの機能を提供することができる何れかの手段はここに示されているものと同等であるとみなれる。

本明細書において本発明の原理の“一実施形態”又は“実施形態”を参照することは、その実施形態に関連して説明している特定の特徴、構造、特性等が本発明の原理の少なくとも一実施形態に含まれることを意味している。それ故、本明細書と通して種々の場所に記載されている“一実施形態においては”又は“実施形態においては”の表現の出現は、必ずしも全てが同様の実施形態を表していない。

本発明の原理の上記の及び他の特徴及び有利点は、本明細書の教示に基づいて当該適切な技術における熟達者により容易に確かめることが可能である。本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、又はそれらの組み合わせの種々の方式で実行されることが可能である。

好適には、本発明の原理の教示は、ハードウェア及びソフトウェアの組み合わせとして実行される。更に、ソフトウェアは、プログラム記憶装置において具体的に実施されるアプリケーションプログラムとして実行されることが可能である。アプリケーションプログラムは、何れかの適切なアーキテクチャを有する機械に対して更新され、その機械により実行されることが可能である。好適には、その機械は、１つ又はそれ以上の中央演算処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）及び入力／出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータプラットフォームにおいて実施される。そのコンピュータプラットフォームはまた、オペレーションシステム及びマイクロ命令コードを有することが可能である。本明細書で述べている種々の処理及び機能は、ＣＰＵで実行されることが可能であるマイクロ命令コードの一部、アプリケーションプログラムの一部、又は何れかのそれらの組み合わせであることが可能である。更に、種々の他の周辺装置が、付加的データ記憶装置及び印刷装置等のコンピュータプラットフォームに接続されることが可能である。

添付図に示している構成システムの構成要素及び方法の一部はソフトウェアにおいて好適に実行することができるため、システムの構成要素間又は処理機能ブロック間の実際の接続は、本発明の原理がプログラムされる方式に依存して異なる可能性がある。本明細書の教示において、当業者は、それらの教示及び本発明の原理の同様の実施又は構成について検討することができる。

例示としての実施形態については、添付図を参照しながら説明しているが、本発明の原理はそれらの的確な実施形態に限定されるものではなく、種々の変形及び秀才が、本発明の原理の範囲又は主旨から逸脱することなく、当業者により達成されることが可能である。全てのそれらの変形及び修正は、同時提出の特許請求の範囲に記載している本発明の原理の範囲内に包含されるように意図されている。

Claims (17)

1. 動画のシーケンスに対応する映像データを符号化する方法であって：
   映像画像に対応する映像情報を符号化するステップであって、前記映像画像は少なくとも１つのビューに対応する、ステップ；及び
   第２ビューの少なくとも１つの記憶されている参照画像が削除されるようになっているかどうかを示す情報を生成するステップ；
   を有する方法。
2. 請求項１に記載の方法であって：
   前記符号化された映像情報、及び記憶されている参照画像が削除される必要があることを示す前記情報を送信するステップ；
   を更に有する、方法。
3. 請求項２に記載の方法であって、前記送信するステップは、第１ネットワーク抽象レイヤ（ＮＡＬ）ユニットにおける前記符号化された映像情報及び第２ＮＡＬとしてユニットにおける前記生成された情報を送信する、方法。
4. 請求項３に記載の方法であって、前記第１ＮＡＬユニットは関連ＮＡＬユニットであり、前記第２ＮＡＬユニットはサフィックスＮＡＬユニットである、方法。
5. 請求項２に記載の方法であって、前記送信するステップはトランスポートパケットのペイロードにおける前記符号化された映像情報を送信し、第２ビューの少なくとも１つの記憶されている参照が示された前記情報は削除されるようになっている、方法。
6. 請求項１乃至５の何れか一項に記載の方法であって、前記第１ビュー及び前記第２ビューは異なるビューである、方法。
7. 請求項１乃至５の何れか一項に記載の方法であって、前記第１ビュー及び前記第２ビューは同じビューである、方法。
8. 請求項１乃至７の何れか一項に記載の方法であって、前記情報は、削除されるようになっている第２ビューの記憶されている参照画像が“参照のために用いられないもの”である参照画像としてマーキングされるかどうかを示す、方法。
9. 請求項１乃至８の何れか一項に記載の方法であって、前記第１ビュー及び前記第２ビューと異なる第３ビューの記憶されている参照画像が削除される必要があることを示す更なる情報が生成され、送信される、方法。
10. 請求項１乃至９の何れか一項に記載の方法であって、前記符号化された画像は瞬間リフレッシュ復号化画像である、方法。
11. 映像画像のマルチビューシーケンスを示す受信されたビットストリームを復号化する方法であって：
    第１ビューに関連する符号化された映像画像情報を復号化するように前記ビットストリームにおける情報を処理するステップ；及び
    前記情報が第２ビューに関連する少なくとも１つの記憶されている参照画像の削除を必要とする前記ビットストリームに存在するかどうかを判定するステップ；
    を有する方法。
12. 請求項１１に記載の方法であって：
    メモリからの第２ビューに関連する前記少なくとも１つの参照画像を削除するステップ；
    を更に有する、方法。
13. 請求項１２に記載の方法であって、前記削除するステップは、前記少なくとも１つの参照画像が“参照のために用いられないもの”であると示されたために実行される、方法。
14. 請求項１２に記載の方法であって：
    メモリからの第３ビューに関連する少なくとも１つの参照画像を前記メモリに維持するステップであって、前記第２ビュー及び前記第３ビューは異なるビューを示す、ステップ；
    を有する、方法。
15. 請求項１４に記載の方法であって、前記メモリは復号化画像バッファである、方法。
16. 請求項１１に記載の方法であって、前記情報は、前記符号化された画像が瞬間リフレッシュ符号化画像であることを表す、方法。
17. 請求項１１乃至１６の何れか一項に記載の方法であって、前記第１ビュー及び前記第２ビューは同じビューである、方法。

Images