JP2009533002A - ビデオ圧縮におけるエンハンストフレーム補間の装置及び方法 - Google Patents

Abstract

【課題】
【解決手段】側面は、マルチメディア送信システムの符号器における処理を改善する方法とシステムを備える。他の側面は、マルチメディア送信システムの復号器における処理の方法とシステムを備える。例えば、１つの側面は、挿間フレームの観点から符号化することにより符号器における削減された符号化サイズの装置及び方法を備える。他の側面は、挿間フレームを参照して符号化されたビデオ信号を復号するように構成された復号器を備える。
【選択図】 図４

Description

本願発明は、マルチメディア信号処理に関し、特に、ビデオ符号化及びビデオ復号化に関する。

ビデオエンコーダといったマルチメディア処理システムは、ＭＰＥＧ−ｘやＨ．２６ｘ標準のような国際標準に基づいた符号化方法を用いて、マルチメディアデータを符号化し得る。そのような符号化方法は、一般的にマルチメディアデータを送信用及び／又は記憶用に圧縮することを対象としている。圧縮とは、広義にはデータから冗長性を除去する処理である。

ビデオ信号は、フレーム（画像全体）又はフィールド（例えば、インタレースビデオストリームは、画像の互い違いの奇数ライン又は偶数ラインのフィールドを備える）を含む一連の画像の観点から説明し得る。本明細書では、「フレーム」という用語を、画像、フレーム、又はフィールドを言及するのに広く用いる。ビデオエンコーダといったマルチメディアプロセッサは、フレームを例えば１６×１６ピクセルの「マクロブロック」又はブロックに分割することで符号化し得る。エンコーダは更に、各マクロブロックをサブブロックに分割してもよい。各サブブロックは更に、付加的なサブブロックを含んでもよい。例えば、マクロブロックのサブブロックは、１６×８個のサブブロックと８×１６個のサブブロックを含み得る。８×１６個のサブブロックのサブブロックは、８×８個のサブブロックを含んでもよく、以下同様である。本明細書において、「ブロック」という用語は、マクロブロック又はサブブロックをいう。

ビデオ符号化方法は、ロスレス又はロッシー圧縮アルゴリズムを用いて、各フレーム又は当該フレームのブロックを圧縮することにより、ビデオ信号を圧縮する。フレーム内符号化とは、フレームを当該フレームからのデータを用いて符号化することをいう。フレーム間符号化とは、フレームを他の「参照」フレームに基づいて符号化することを含む仕組みといった予測符号化の仕組みをいう。例えば、ビデオ信号はしばしば、フレームの時間的な系列において互いに近接するフレームが、少なくとも一致する部分を有するか、少なくとも互いに部分的に一致する、時間的な冗長性を示す。エンコーダは、この時間的な冗長性を利用して、符号化されたデータのサイズを削減することができる。

エンコーダは、フレームを、当該フレームと１つ又は複数の参照フレームとの間の差異の観点から符号化することで、この時間的な冗長性を利用し得る。例えば、ビデオエンコーダは、符号化されつつあるフレームのブロックを１つ又は複数の他のフレームの一部に一致させる、動き補償に基づくアルゴリズムを使用してもよい。符号化されたフレームのブロックは、参照フレームの一致する部分に関連してフレーム内でシフトされてもよい。このシフトは、動きベクトルによって特徴づけられる。ブロックと、参照フレームの部分的に一致する部分との間の如何なる差異も、残余（residual）の観点から特徴づけられ得る。従って、エンコーダは、フレームを、当該フレームの特定の部分（partitioning）についての１つ又は複数の動きベクトルと残余を含むデータとして符号化し得る。フレームを符号化するためのブロックの特定の部分は、例えば、符号化サイズと、符号化の結果得られるフレームのコンテンツに対する歪みとのバランスをとる費用関数をほぼ最小化することによって選択されてもよい。

参照フレームは、ビデオ信号の１つ又は複数の先行するフレーム、又は出力順序の観点からビデオ信号のフレームに続く１つ又は複数のフレームを含んでもよい。例えば、Ｈ．２６４標準は、最も一致するブロックを検索する際に５つの参照フレームを用いる構成を備える。一般に、より多くの参照フレームを検索することは、エンコーダが、符号化されつつあるフレームのブロックに厳密に一致する参照フレームのうちの一つの部分を見つける能力を高める。より一致すれば符号化する差異が小さくなり、このことは一般に、よりコンパクトな符号化につながる。しかし、そのような一致を符号化することはなお、有意な量の帯域幅を必要とし得る。従って、ビデオデータを符号化する、より良い方法の必要性がある。

[概要]
本特許出願は、本願の譲受人に譲渡され、本明細書に参照することにより明白に組み込まれる、２００６年４月４日に出願され、"Encoder Assisted Frame Rate Up Conversion"と題された米国仮特許出願第６０／７８９，３１９号の優先権を主張する。

本願発明のシステム、方法及び装置は、それぞれ幾つかの側面を有し、そのいずれも単独でその望ましい属性を担うわけではない。添付の特許請求の範囲によって表されるような本願発明の範囲を限定することなく、その卓越した特徴を簡単に論じる。この議論を検討した後、特に「詳細な説明」と題されたセクションを読んだ後、当業者は、本願発明の特徴が、ビデオ信号についての削減された帯域幅要件を含む利点をどのようにして提供するかを理解するであろう。

１つの側面は、マルチメディアデータを処理する方法を備える。この方法は、少なくとも１つの挿間フレームを生成することを含む。この方法は更に、前記挿間フレームを含む複数の参照フレームを識別することを含む。この方法は更に、少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化することを含む。

別の側面は、マルチメディアデータを処理する装置を備える。この装置は、少なくとも１つの挿間フレームを生成するように構成された生成器を備える。この装置は更に、前記挿間フレームを含む複数の参照フレームを識別するように構成された識別器を備える。この装置は更に、少なくともフレームの一部を少なくとも前記複数の参照フレームに基づいて符号化するように構成された符号器を備える。

別の側面は、マルチメディアデータを処理する装置を備える。この装置は、少なくとも１つの挿間フレームを生成する手段を備える。この装置は更に、前記挿間フレームを含む複数の参照フレームを識別する手段を備える。この装置は更に、少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化する手段を備える。

別の側面は、少なくとも１つの挿間フレームを生成し、前記挿間フレームを含む複数の参照フレームを識別し、少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化する構成を備える、マルチメディアデータプロセッサを備える。

別の側面は、マルチメディアデータを処理する命令を備える機械読み取り可能な媒体を備える。前記命令は実行時に機械に対して、少なくとも１つの挿間フレームを生成させ、前記挿間フレームを含む複数の参照フレームを識別させ、少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化させる。

１つの側面は、マルチメディアデータを処理する方法を備える。この方法は、少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信することを含む。この方法は更に、少なくとも前記挿間された参照フレームの一部を生成することを含む。この方法は更に、少なくとも前記フレームの一部を前記挿間された参照フレームの前記生成された部分に少なくとも部分的に基づいて復号することを含む。

別の側面は、マルチメディアデータを処理する装置を備える。この装置は、少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信するように構成された受信器を備える。この装置は更に、少なくとも前記挿間された参照フレームの一部を生成するように構成された生成器を備える。この装置は更に、前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて少なくとも前記フレームの一部を復号するように構成された復号器を備える。

別の側面は、マルチメディアデータを処理する装置を備える。この装置は、少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信する手段を備える。この装置は更に、少なくとも前記挿間された参照フレームの一部を生成する手段を備える。この装置は更に、前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて少なくとも前記フレームの一部を復号する手段を備える。

別の側面は、少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信し、少なくとも前記挿間された参照フレームの一部を生成し、前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて少なくとも前記フレームの一部を復号する構成を備える、マルチメディアデータプロセッサを備える。

別の側面は、マルチメディアデータを処理する命令を備える機械読み取り可能な媒体を備える。この命令は実行時に機械に対して、少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信させ、少なくとも前記挿間された参照フレームの一部を生成させ、前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて少なくとも前記フレームの一部を復号させる。

以下の詳細な説明は、本願発明の一部の特定の側面を対象とする。しかしながら、本願発明は、特許請求の範囲で定義され網羅されるように、多くの異なる方法で具現化することができる。本説明では、全体に渡って同様の部分は同様の符号で示される図面が参照される。以下の説明において、特定の詳細は、記載される側面を充分に理解するために与えられる。しかし、当業者には、これらの特定の詳細なしに、その側面が実施され得ることが理解されるであろう。例えば、電子部品は、その側面を不必要に詳述して不明確にしないようにブロック図で示され得る。他の例では、そのような部品、他の構造及び技術は、その側面を更に説明するために詳細に示され得る。

また、側面によっては、本明細書に記載される如何なる方法、処理、ブロック図、及びフローチャートの特定の動作や事象も、異なる順序で実施することができ、付加したり、併合したり、あるいは全体として省略したりしてもよい（例えば、記載される全ての動作や事象が方法の実施に必要とは限らない）ことが認識されるべきである。更に、特定の側面では、動作や事象は、例えば、マルチスレッド処理、割り込み処理、あるいはマルチプロセッサを通して、順次に実行するのではなく同時に実行されてもよい。更に、本明細書に記載される方法、処理、ブロック図、及びフローチャートは、全て又は部分的に繰り返されてもよい。

側面は、マルチメディア送信システムの符号器における処理を改善する方法及びシステムを備える。他の側面は、マルチメディア送信システムの復号器における処理のシステムと方法を備える。マルチメディアデータは、動画、音声、静止画像、又は任意の他の適当なタイプの音声映像データのうちの１つ又は複数を含み得る。例えば、１つの側面は、補間フレームの観点から符号化することによる、符号器における削減された符号化サイズ（reduced encoding size）の方法を備える。補間フレームとは、復号器（又は符号器）が近くのフレームからデータを補間することによって生成するフレームである。補間フレームの１つのタイプとして、ビデオ復号器の出力フレームレートを増加させるために生成されるフレームレートアップコンバージョンフレームがある。そのようなフレームは通常、符号器と復号器との間でやり取りされないが、時間的に近いフレームに基づいて復号器で生成される。符号器は、そのような補間フレームを参照してフレームを符号化することにより、ある一定の効率性を達成し得ることが分かっている。特に、符号器は、例えば、符号化された残りのデータの量を削減することによって、復号器がフレームを補間する際に動き補償データを生成するフレームについて符号化されたデータ中の動き補償データの量を減少させ得る。

別の側面は、標準的なマルチメディア符号化フォーマットを用いて、補間フレームへの参照を符号器から復号器へ通信することを備える。符号化フォーマットによっては、標準的な符号化データフォーマットを用いて補間フレームに対する参照を符号化することは、符号器から出力される符号化されたフレームデータのサイズを、例えばビットを用いて補間フレームに対する参照を伝えることによって、更に小さくすることができる。

図１は１つの側面によるマルチメディア通信システム１００を示すブロック図である。システム１００は、ネットワーク１４０を介して復号器装置１５０と通信する符号器装置１１０を備える。一例において、符号器装置はマルチメディア信号を外部ソース１０２から受け取り、当該信号をネットワーク１４０上での送信のために符号化する。

本例において、符号器装置１１０は、トランシーバ１１６とメモリ１１４に結合されたプロセッサ１１２を備える。プロセッサ１１２は、マルチメディアデータソースからのデータを符号化し、それをネットワーク１４０での通信のためにトランシーバ１１６に供給する。

本例において、復号器装置１５０は、トランシーバ１５６とメモリ１５４に結合されたプロセッサ１５２を備える。プロセッサ１５２は、汎用プロセッサ又はデジタル信号プロセッサのうちの１つ又は複数を備え得る。メモリ１５４は、１つ又は複数のソリッドステートストレージ又はディスクベースの記憶装置を備えてもよい。トランシーバ１５６は、ネットワーク１４０を介してマルチメディアデータを受信し、それをプロセッサ１５２に復号化のために供給するように構成されている。一例において、トランシーバ１５６は無線トランシーバを備える。ネットワーク１４０は、イーサネット（登録商標）、電話（例えば、ＰＯＴＳ）、ケーブル、電力線、及び光ファイバシステム、及び／又は、符号分割多元接続（ＣＤＭＡあるいはＣＤＭＡ２０００）通信システム、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭＡ）システム、ＧＳＭ／ＧＰＲＳ（General Packet Radio Service）／ＥＤＧＥ（enhanced data GSM environment）といった時分割多元接続（ＴＤＭＡ）システム、ＴＥＴＲＡ（Terrestrial Trunked Radio）携帯電話システム、広帯域符号分割多元接続（ＷＣＤＭＡ）システム、高データレート（１ｘＥＶ−ＤＯあるいは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、ＩＥＥＥ８０２．１１システム、ＭｅｄｉａＦＬＯシステム、ＤＭＢシステム、又はＤＶＢ−Ｈシステムを含む無線システムのうちの１つ又は複数を備える、有線通信システムあるいは無線通信システムのうちの１つ又は複数を備え得る。

図２は、図１に示されるようなシステムにおいてビデオフレームの一部を符号化する方法のある側面を図示している。フレームは、他のフレームへの参照なしに符号化されるイントラ（Ｉ）フレーム、時間的に先行するフレームを参照して符号化される予測（Ｐ）フレーム、並びに、時間的に先行するフレーム及び／又は未来のフレームに関して符号化される双方向予測（Ｂ）フレームを含み得る。

図２に示されるように、フレーム１７０は、多くのマクロブロック１７１ａに分割され得る。各マクロブロック１７１ａは、ピクセルの配列、例えば、フレーム１７０の１６×１６のピクセルの配列を含む。また、符号器１１０は、マクロブロック１７１を、例えば８×８のサブブロック１７１ｂあるいは４×４のサブブロック１７１ｃといった、任意の数のより小さなブロックに分割してもよい。随意で、符号器１１０は、サブブロックのサイズをフレーム１７０内で、及び／又は符号化されたフレーム１７０間で変えてもよい。マクロブロック１７１ａと、サブブロック１７１ｂといったマクロブロックを分割したものとを、本明細書ではまとめて「ブロック」と称し、図２のアイテム１７１を参照して集合的に言及される。

符号化されたビデオフレーム１７０（あるいはフレーム１７０のブロック１７１）は、他のフレームに依存せずに（例えば、イントラモードで）、又は他の符号化されたフレームに予測的に基づいて（例えば、インターモードで）符号化され得る。フレーム１７０の一部に用いられる符号化の特定の様式は、（符号化の）「モード」と称され得る。符号器１１０は、フレーム１７０の異なる部分、例えば、異なるブロック１７１又はサブブロック１７１を、異なるモードを用いて符号化してもよい。例えば、動き予測アルゴリズムを用いて、フレーム１７０、あるいはフレーム１７０の１つ又は複数のブロック１７１を符号化してもよい。一例による符号器１１０は、フレーム１７０を、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４（ただし、他のサイズを用いてもよい）といったサイズのブロックを含むブロックの観点から符号化する。符号化されたフレーム１７０は、フレーム１７０の実質的に全てのピクセルを符号化する、フレーム１７０を一組の符号化されたブロック１７１に分割したもの備え得る。符号化されたブロック１７１は、異なったサイズであってよく、符号化されたデータサイズや、結果として得られる画像の歪みといった要素の加重平均に基づいて、異なる符号化方法の比較を可能にする費用関数に基づいて選択されてよい。

上述したように、ビデオフレームを予測する一つの方法は、ビデオデータ中の時間的な冗長性を利用して、あるフレームから別のフレーム、例えば、参照フレームへと、少なくとも部分的には一致するブロック１７１に基づいてフレーム１７０を符号化する、動き予測アルゴリズムを用いることである。動き予測アルゴリズムは、フレーム１７０のブロック１７１に類似する（例えば、少なくとも部分的に一致する）が、符号化されたフレーム１７４内での位置をおそらくシフトされた、１つ又は複数の参照フレーム１７４のブロック１７６を識別する。あらゆる側面で、動き予測アルゴリズムは、現在のフレーム１７０に時間的に先行する参照フレーム１７４、フレーム１７０に続く参照フレーム１７４、又はその双方の参照フレーム１７４を用い得ることに留意されたい。フレーム１７０のブロック１７１は、ブロック１７１とブロック１７６との間の位置的な差異を示す動きベクトルと、１つ又は複数の参照フレーム１７４（例えば、参照フレーム１７４ａ、１７４ｂ、１７４ｃ、１７４ｄ、及び１７４ｅ）のリストから得られる参照ブロック（例えば、参照フレーム１７４ｃのブロック１７６）に関するフレーム１７０のブロック１７１のピクセル値間の差異を表す残余のデータの観点から符号化される。参照フレーム１７４は、ビデオ信号中のフレーム１７０に先行するフレーム又は後続するフレームの時間的に順序付けられたリスト１８０であってよい。図２に示されるように、符号器１１０は、フレーム１７０のブロック１７１ｂを参照フレーム１７４と比較して、フレーム１７４ｃのブロック１７６といった対応するブロックを識別し得る。

符号器１１０は、ブロック１７１の１６×１６、１６×８、８×１６、８×８、８×４、４×８、及び４×４ブロック（パーティション）といった一組のブロックの各々について、動き補償データ、例えば、動きベクトルと残余を計算してもよい。符号器１１０は、より大きなブロック１７１、例えば、１６×１６についての動き補償データを最初に計算し、その後より大きなブロックのサブブロック、例えば、１６×８、８×８等の各々について動き補償データを計算してもよい。符号器１１０は、フレーム１７０の実質的に全てを網羅する１つ又は複数のサイズの１組のブロック１７１又は特定のパーティションを選択することができる。符号器１１０は、例えば、フレームのブロックの特定の組についての動きベクトルと残余の特定の組と、結果として得られる画像の歪みに対応する予測値を用いて、フレーム又はフレームの一部の符号化データサイズに基づいて、符号化のサイズと歪みとをトレードオフする手段を有する、レート歪み（ＲＤ）関数といった費用関数に基づいて、フレーム１７０の各部分について特定のブロックとそれぞれの予測データを選択してもよい。符号器１１０は、従来から知られているものを含む、任意の適当な費用関数を用い得る。例えば、適当な費用関数は、IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, Vol. 13、NO. 7,688 (July 2003)の”Rate-Constrained Coder Control and Comparison of Video Coding Standards”に開示されている。費用関数は、例えば、レート歪み関数、最小の残余、及び／又は絶対差合計（ＳＡＤ）関数を含み得る。

図３は、補間フレームを用いて、システム１００においてビデオフレーム１７０の一部を符号化する方法の一部分を図示する。上述したように、フレームレートアップコンバージョン（ＦＲＵＣ）は、再構成されたビデオのフレームレートを高めるための、ビデオ復号器１５０におけるビデオ補間の処理である。そのようなフレームは、例えば、送信されたビデオ信号の受信品質を改善するために復号器１５０がフレームを生成するレートを高めるために用いることができる。図３に示されるように、ＦＲＵＣフレーム１７４ｆもまた、ビデオフレーム１７０を符号化するのに用いるべく符号器１１０によって生成されてもよい。例えば、ＦＲＵＣフレーム１７４ｆは、符号化されるべきフレームと同じタイムインデックスに対応するように生成され得る。ＦＲＵＣフレームは、例えば、ＢフレームやＰフレームといった種々のタイプのフレームに対して生成されてもよいことが認識されるべきである。

図３に示されるように、符号器１１０は、ＦＲＵＣフレーム１７４ｆを、フレーム１７０を符号化するための参照フレームのリストに加え得る。場合によっては、フレーム１７０の一部は、フレーム１７０と同じタイムインデックスの補間フレームを参照して、よりコンパクトに予測符号化され得ることが分かっている。符号化されたデータのサイズの削減を達成できるのは、ＦＲＵＣフレームの参照データが、符号化されるべきフレームデータにより近いことがあり得、従って、動きデータ（例えば、動きベクトル又は残余）は削減されるか、（正確に一致するもの、あるいは充分に近いものが突き止められる場合は）おそらく除去されるためである。その代わりに、復号器１５０は、ＦＲＵＣフレームを補間し、除去された動き補償データに代えてそのデータを用いることができる。

実施においては、１つの側面において、予測符号化のために考慮されるべき参照フレームの数（例えば、参照リスト１８０のサイズ）がＮ（例えば、５）である場合、符号化されたブロックは、符号化されたブロックについて符号化されたデータの、特定の参照フレーム番号、０．．Ｎ−１、を参照して符号化されてもよい。ブロックがＦＲＵＣフレーム１７４ｆを参照して符号化される場合、参照フレーム番号は、参照フレーム１７４の典型的なリストに見出されるであろうものよりも一つ大きいＮに設定され得る。従って、符号化されたデータの同一のフィールドは、補間された参照フレームに基づいた符号化を示すため、及び、補間されていない（non-interpolated）参照フレームに基づいた符号化を示すために用いられる。例えば、符号器１１０が、Ｈ．２６４ビットストリーム構文といった、標準的な構文に準拠したビットストリームを生成し、標準的なＨ．２６４の構成といった、符号化の仕様に従って参照フレームを３ビットフィールドの０からＮ−１と識別するように構成されている場合、符号器１１０は付加的な参照フレームの使用を、参照フレームフィールド値をＮに設定することで識別してもよく、これによって、参照フレーム０からＮ−１のうちの１つを識別するのに用いられるように、同じ標準的な符号化フィールド中の同じビットを用いる。従って、復号器１５０は、符号化されたデータに基づいてブロックを復号するときに、補間されたＦＲＵＣフレームの使用を識別し得る。更に、参照フレーム番号は標準的な符号化フォーマットで用いられるので、符号器１５０は、その出力符号化データ中に付加的なデータを含まずにＦＲＵＣフレームを参照して符号化してもよい。

また、ＦＲＵＣフレームを参照フレーム１７４のリスト１８０に加えることで、ＦＲＵＣフレームを符号化の参照として用いることから削減された符号化のサイズを得るときに、若干の付加的な複雑さが（参照リストのサイズの増加に起因して行われる付加的な検索以外に）参照フレーム検索アルゴリズムに付加される。また、符号化サイズの更なる削減は、符号化されたデータフォーマット中の既存のデータフィールドを用いて、ＦＲＵＣフレームの観点から符号化を識別することによって達成できることがわかっている。例えば、符号化されたデータフォーマットの動きベクトル（ＭＶ）と残余（又は符号化されたブロックパターン（ＣＢＰ））インジケータフィールドは、（上述したような）参照フレームリスト中の付加的な位置への参照と共に、ブロック又はフレームの符号化データにデータフィールドを追加することなく、ＦＲＵＣフレーム１７４ｆに基づいてブロックを符号化するのに用いることができる。以下の表１は、参照リスト１９０のＦＲＵＣフレーム１７４ｆの観点からブロックを符号化するための符号化されたデータ中のＭＶ及びＣＢＰフィールドを用いて符号化モードの４つの例を説明するものである。

図４は、システム１００のビデオストリームの一部を符号化する方法２００の一例を示すフローチャートである。方法２００は、フローチャート項目２２２から始まるが、ここで符号器１１０は少なくとも一つの補間フレーム、例えばフレーム１７４ｆを生成する。補間フレームはＦＲＵＣフレームを含み得る。次にフローチャート項目２２４で、符号器１１０は複数を、例えば、フレーム１７４ｆといった挿間フレームを含む、参照フレーム１７４のリスト１８０を識別する。ある側面において、同時発生する（contemporaneous）ＦＲＵＣフレームは、符号化されるべき予測フレームの各々について補間される。ある側面において、同時発生するＦＲＵＣフレーム１７４ｆが生成され、符号化されるＢフレームの各々についてリスト１８０に挿入される。ある側面において、フレームは、“ＩＢＰＢＰＢＰ”パターンといった、一定の画像のグループ（ＧＯＰ）パターン（各Ｉフレーム間で定義されるフレームのパターン）に従って生成される。そのようなＧＯＰの実施においてＢフレームを符号化するために、ＦＲＵＣフレームはＢフレームに隣接するＰフレームから補間され、参照フレームのリスト１８０に付加される。別の面では、符号器１１０は、ビデオコンテンツに基づいて調整する、適応的なＧＯＰ符号化に従ってフレームを生成してもよい。適応的なＧＯＰスキームの一例では、複数のＢフレームが、各Ｐフレーム間で符号化され得る。例えば、３つのＢフレームは、２つのＰフレームの間で符号化されてもよい。各Ｂフレームについて、独立したＦＲＵＣフレームは、特定のＢフレームと同時に生成され得る。ある面では、各Ｂフレームに対応するＦＲＵＣフレームは、各Ｂフレームについての参照フレームリスト１８０に挿入される。各Ｂフレームについて独立したＦＲＵＣフレームを生成するために、各隣接するＰフレームからのデータがしかるべくスケーリングされる（scaled）ことに留意されたい。

フローチャート項目２２８に進むと、符号器１１０は、フレームの少なくとも一部を、少なくとも複数の参照フレーム１７４に基づいて符号化する。任意の特定のフレーム１７０のブロック又は一部は、特定の参照フレーム１７４と符号化されるべき特定のフレーム１７０のコンテンツに応じて、補間フレーム１７４ｆを参照して符号化されても、参照しないで符号化されてもよいことが認識されるべきである。上述したように、符号器１１０は、参照リスト中の残りのフレームと比較して、補間フレームに基づいた符号化の費用関数を評価し、それに応じて参照フレームを選択する。方法２００は、フレーム１７０のブロック１７１の各部分について繰り返されてもよく、また、ビデオ信号中の予測符号化されたフレームの各々について繰り返されてもよい。

図５は、方法２００に従ってビデオデータを処理する符号器１１０の一例を示すブロック図である。符号器１１０は、補間フレームを生成するモジュール３０２といったブロック又はモジュールと、参照フレームを識別するモジュール３０４と、フレームを符号化するモジュール３０６を備える。補間フレームを生成するモジュール３０２は、少なくとも一つの補間フレーム、例えばフレーム１７４ｆを、図４のフローチャート項目２２２に従って生成するように構成されている。参照フレームを識別するモジュール３０４は、複数の参照フレーム１７４、例えば、フレーム１７４ｆといった補間フレームを含むリスト１８０を識別して、図４のフローチャート項目２２４に従ってフレーム１７０を符号化するように構成されている。フレームを符号化するモジュール３０６は、少なくとも参照フレーム１７４のリスト１８０に基づいてフレーム１７０の少なくとも一部を符号化するように構成されている。

図６は、方法２００によって符号化されるようなビデオデータを復号化する方法４００の一例を、より詳細に示すフローチャートである。この方法は、復号器１５０が挿間された参照フレームを示す符号化されたデータを受信する、フローチャート項目４０２から始まる。ある側面では、符号化されたデータは、補間されたフレーム参照が表１を参照しつつ上述したように符号化される、標準的な符号化データフォーマットを備える。ある側面において、復号器１５０は、参照フレームインデックスがＮに設定されていることに基づいて、参照フレームを補間されたものとして識別するが、補間されていない参照フレームは０からＮ−１と番号付けられる。フローチャート項目４０６に進むと、復号器１５０は少なくとも補間フレームの一部を生成する。ある側面では、補間フレームはＦＲＵＣフレームである。フレームは表示されないので、補間されたＦＲＵＣフレームの生成は簡略化されてもよい（他のＦＲＵＣフレームはなお、フレームレートアップコンバージョンのために生成され得るが、そのようなＦＲＵＣフレームは、画質を維持すべく、この簡略化された処理なしで生成され得る）。例えば、動きベクトルのマージング及びスケーリングは省略されてもよい。動きベクトルの平滑化もまた、例えば３×３メジアン平滑法（median soothing）の簡素化されたバージョンに簡略化されてもよい。フローチャート項目４０８に進むと、復号器１５０は、少なくとも予測フレームの一部を、少なくとも補間フレームに部分的に基づいて復号する。復号器１５０は、方法４００の動作をビデオ信号中のフレーム又はブロックごとに繰り返してもよい。また、復号器１５０は、他のブロック又はフレームを、補間フレームへの参照なしに復号してもよい。

図７は、方法４００に係る復号器１５０の一例を示すブロック図である。復号器１５０は、符号化されたデータを受信するモジュール４２０、補間フレームを生成するモジュール４２４、及び予測フレームを復号するモジュール４２６といった、モジュール又はブロックを備える。符号化されたデータを受信するモジュール４２０は、例えば図６のフローチャート項目４０２を参照して既述したように、少なくとも予測フレームの一部についての参照フレームを示す符号化されたデータを受信するように構成されている。補間フレームを生成するモジュール４２４は、少なくとも補間フレームの一部を生成するように構成されている。ある側面では、補間フレームは、例えば、図６のフローチャート項目４０６を参照しつつ既述したような、ＦＲＵＣフレームである。予測フレームを復号するモジュール４２６は、例えば、図６のフローチャート項目４０８を参照しつつ既述したように、少なくとも補間フレームに部分的に基づいて少なくとも予測フレームの一部を復号するように構成されている。

上記を鑑みるに、本願発明は、ビデオデータといったマルチメディアデータを符号化する課題を克服することが理解されるであろう。例えば、削減された帯域幅を有する符号化されたビデオ信号を生成することができる。あるいは、同じ帯域幅を、より改善したビデオ品質といった他の目的のために用いることができる。

当業者は、本明細書に開示される側面に関連して記載される、種々の例証となる論理ブロック、モジュール、回路、及びアルゴリズムのステップが、電子ハードウェア、コンピュータソフトウェア、又はその双方の組み合わせとして実施され得ることを認識するであろう。このハードウェアとソフトウェアの互換性を明確に説明するために、種々の例証となる部品、ブロック、モジュール、回路、及びステップは、一般的にそれらの機能性の観点から上述した。そのような機能性がハードウェアとして実施されるか、ソフトウェアとして実施されるかは、システム全体に課される設計制約や特定の応用例に依存する。熟達した熟練工は、記載された機能性を特定の応用例ごとに様々な方法で実施し得るが、そのような実施の決定は、本願発明の範囲からの逸脱をもたらすものとして解釈されるべきではない。

本明細書に開示される側面に関連して記載される、種々の例証となる論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいは他のプログラム可能な論理装置、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は、本明細書に記載された機能を実行すべく設計されたこれらの任意の組み合わせと共に実行又は実施され得る。汎用プロセッサはマイクロプロセッサでもよいが、代案では、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機械であってもよい。プロセッサはまた、例えばＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアに連動する１つ又は複数のマイクロプロセッサ、又は任意の他のそのような構成といった、コンピューティングデバイスの組み合わせとして実施してもよい。

本明細書に開示される側面に関連して記載されるアルゴリズムや方法のステップは、直接ハードウェアとして、プロセッサによって実行されるソフトウェアモジュールとして、又はこの２つの組み合わせとして具現化されてもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は、従来から知られている任意の他の形態の記憶媒体に存在し得る。例示的な記憶媒体は、プロセッサが当該記憶媒体から情報を読み出し、また当該記憶媒体に情報を書き込むことができるようにプロセッサに結合される。別の方法では、記憶媒体はプロセッサと一体であってもよい。プロセッサと記憶媒体は、ＡＳＩＣに存在してもよい。ＡＳＩＣは、ユーザターミナルに存在し得る。別の方法において、プロセッサと記憶媒体は、ユーザターミナル内の別個の構成要素として存在してもよい。

開示された側面についての先の説明は、いかなる当業者も本願発明を作成又は使用できるように提供される。これらの側面に対する種々の変形は、当業者には容易に明らかとなり、本明細書に定義される一般的な原理は、本願発明の範囲や精神から逸脱することなく他の側面にも応用し得る。従って、本願発明は、本明細書に示される側面に限定されることを意図するものではなく、本明細書に開示される新規な特徴や原理と一致する最も広い範囲に合致すべきものである。

上記の詳細な説明は、本願発明の新規な特徴が様々な側面に適用されるようすを示し、記載し、指摘したが、説明された処理や装置の詳細及び形態における、種々の省略、置換及び変更は、本願発明の精神から逸脱することなく当業者によってなされ得る。認識されるように、本願発明は、本明細書に示される利点及び特徴の全てを提供しない形態において具現化されてもよく、いくつかの特徴は他のものとは別個に実行又は使用され得る。本願発明の範囲は、前述した記載よりもむしろ添付の特許請求の範囲によって示される。

図１は、１つの側面によるマルチメディア通信システムを示すブロック図である。 図２は、図１に示されるようなシステムにおいてビデオフレームの一部を符号化する方法の一部を図示する。 図３は、図１に示されるようなシステムにおいて順方向アップコンバージョンフレーム（forward up conversion frame）を用いてビデオフレームの一部を符号化する方法の一部を図示する。 図４は、図１に示されるようなシステムにおいてビデオストリームの一部を符号化する方法の一例を示すフローチャートである。 図５は、図４に示される方法に従ってビデオデータを処理する装置の例を示すブロック図である。 図６は、図４に示される方法で符号化されたようなビデオデータを復号化する方法の例をより詳細に示すフローチャートである。 図７は、図７に示される方法に従ってビデオデータを処理する装置の例を示すブロック図である。

Claims (55)

1. マルチメディアデータを処理する方法であって、
   少なくとも１つの挿間フレームを生成し、
   前記挿間フレームを含む複数の参照フレームを識別し、
   少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化する
   ことを含む方法。
2. 前記複数の参照フレームは、少なくとも１つの参照フレームのリストを含み、前記少なくとも１つの挿間フレームは前記リストの特定の位置にあることを特徴とする、請求項１記載の方法。
3. 前記特定の位置は、前記少なくとも１つの参照フレームのリストの末端にあることを特徴とする、請求項２記載の方法。
4. 符号化することは、少なくとも前記挿間フレームに部分的に基づいて前記一部を予測することを特徴とする、請求項１記載の方法。
5. 予測することは、動きベクトル又は残余のうちの少なくとも１つを前記挿間フレームに基づいて生成することを含むことを特徴とする、請求項４記載の方法。
6. 符号化することは、標準準拠のビットストリーム構文に従って符号化データを生成することを含むことを特徴とする、請求項１記載の方法。
7. 前記標準準拠のビットストリーム構文は、Ｈ．２６４準拠のビットストリーム構文を含むことを特徴とする、請求項６記載の方法。
8. 符号化することは、挿間された参照フレーム又は挿間されていない参照フレームのいずれかを示すフィールドを有する符号化データを生成することを含むことを特徴とする、請求項１記載の方法。
9. 符号化することは、符号化モードと残余のパターンを示す符号化データを生成することを含み、前記符号化データは更に、前記一部が前記挿間フレームに基づいて符号化されているか否かを示すことを特徴とする、請求項１記載の方法。
10. 前記複数の参照フレームは、参照フレームの系列を備え、前記挿間フレームは前記系列の特定の位置にあり、前記符号化データは前記系列における前記特定の位置を示すことを特徴とする、請求項９記載の方法。
11. 生成することは、前記挿間フレームを少なくとも１つの予測フレームに基づいて生成することを含むことを特徴とする、請求項１記載の方法。
12. 生成することは、アップコンバージョンフレームを生成することを含むことを特徴とする、請求項１記載の方法。
13. 生成することは、前記挿間フレームを前記フレームの前記一部の前記符号化に実質的に関連付けられたときに生成することを含むことを特徴とする、請求項１記載の方法。
14. マルチメディアデータを処理する装置であって、
    少なくとも１つの挿間フレームを生成するように構成された生成器と、
    前記挿間フレームを含む複数の参照フレームを識別するように構成された識別器と、
    少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化するように構成された符号器と
    を備えることを特徴とする、装置。
15. 前記複数の参照フレームは、少なくとも１つの参照フレームのリストを含み、前記少なくとも１つの挿間フレームは前記リストの特定の位置にあることを特徴とする、請求項１４記載の装置。
16. 前記特定の位置は、前記少なくとも１つの前記参照フレームのリストの末端であることを特徴とする、請求項１５記載の装置。
17. 前記符号器は、前記挿間フレームに少なくとも部分的に基づいて前記一部を予測するように構成されたことを特徴とする、請求項１４記載の装置。
18. 前記符号器は、動きベクトル又は残余のうちの少なくとも１つを前記挿間フレームに基づいて生成するように構成されたことを特徴とする、請求項１７記載の装置。
19. 前記符号器は、標準準拠のビットストリーム構文に従って符号化データを生成するように構成されたことを特徴とする、請求項１４記載の装置。
20. 前記標準準拠のビットストリーム構文は、Ｈ．２６４準拠のビットストリーム構文を含むことを特徴とする、請求項１９記載の装置。
21. 前記符号器は、挿間された参照フレーム又は挿間されていない参照フレームのいずれかを示すフィールドを有する符号化データを生成するように構成されたことを特徴とする、請求項１４記載の装置。
22. 前記符号器は、符号化モードと残余のパターンを示す符号化データを生成するように構成され、前記符号化データは更に、前記一部が前記挿間フレームに基づいて符号化されているか否かを示すことを特徴とする、請求項１４記載の装置。
23. 前記複数の参照フレームは、参照フレームの系列を備え、前記挿間フレームは前記系列の特定の位置にあり、前記符号化データは前記系列における前記特定の位置を示すことを特徴とする、請求項２２記載の装置。
24. 前記生成器は、前記挿間フレームを少なくとも１つの予測フレームに基づいて生成するように構成されたことを特徴とする、請求項１４記載の装置。
25. 前記生成器は、アップコンバージョンフレームを生成するように構成されたことを特徴とする、請求項１４記載の装置。
26. 前記生成器は、前記挿間フレームを前記フレームの前記一部の前記符号化に実質的に関連付けられたときに生成するように構成されたことを特徴とする、請求項１４記載の装置。
27. マルチメディアデータを処理する装置であって、
    少なくとも１つの挿間フレームを生成する手段と、
    前記挿間フレームを含む複数の参照フレームを識別する手段と、
    少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化する手段と
    を備えることを特徴とする、装置。
28. 前記複数の参照フレームは、少なくとも１つの参照フレームのリストを含み、前記少なくとも１つの挿間フレームは前記リストの特定の位置にあることを特徴とする、請求項２７記載の装置。
29. 前記特定の位置は、前記少なくとも１つの前記参照フレームのリストの末端であることを特徴とする、請求項２８記載の装置。
30. 前記符号化する手段は、前記挿間フレームに少なくとも部分的に基づいて前記一部を予測するように構成されたことを特徴とする、請求項２７記載の装置。
31. 前記符号化する手段は、動きベクトル又は残余のうちの少なくとも１つを前記挿間フレームに基づいて生成するように構成されたことを特徴とする、請求項３０記載の装置。
32. 前記符号化する手段は、標準準拠のビットストリーム構文に従って符号化データを生成するように構成されたことを特徴とする、請求項２７記載の装置。
33. 前記標準準拠のビットストリーム構文は、Ｈ．２６４準拠のビットストリーム構文を含むことを特徴とする、請求項３２記載の装置。
34. 前記符号化する手段は、挿間された参照フレーム又は挿間されていない参照フレームのいずれかを示すフィールドを有する符号化データを生成するように構成されたことを特徴とする、請求項２７記載の装置。
35. 前記符号化することは、符号化モードと残余のパターンを示す符号化データを生成するように構成され、前記符号化データは更に、前記一部が前記挿間フレームに基づいて符号化されているか否かを示すことを特徴とする、請求項２７記載の装置。
36. 前記複数の参照フレームは、参照フレームの系列を備え、前記挿間フレームは前記系列の特定の位置にあり、前記符号化データは前記系列における前記特定の位置を示すことを特徴とする、請求項３５記載の装置。
37. 前記生成する手段は、前記挿間フレームを少なくとも１つの予測フレームに基づいて生成するように構成されたことを特徴とする、請求項２７記載の装置。
38. 前記生成する手段は、アップコンバージョンフレームを生成するように構成されたことを特徴とする、請求項２７記載の装置。
39. 前記生成する手段は、前記挿間フレームを前記フレームの前記一部の前記符号化に実質的に関連付けられたときに生成するように構成されたことを特徴とする、請求項２７記載の装置。
40. 少なくとも１つの挿間フレームを生成し、
    前記挿間フレームを含む複数の参照フレームを識別し、
    少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化する
    構成を備える、マルチメディアデータプロセッサ。
41. マルチメディアデータを処理する命令を備える機械読み取り可能な媒体であって、前記命令は実行時に機械に対して、
    少なくとも１つの挿間フレームを生成させ、
    前記挿間フレームを含む複数の参照フレームを識別させ、
    少なくとも前記複数の参照フレームに基づいて少なくともフレームの一部を符号化させる
    ことを特徴とする、機械読み取り可能な媒体。
42. マルチメディアデータを処理する方法であって、
    少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信し、
    少なくとも前記挿間された参照フレームの一部を生成し、
    少なくとも前記フレームの一部を前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて復号する
    ことを含むことを特徴とする、方法。
43. 受信することは、挿間された参照フレームを示す符号化されたデータフィールドを識別することを含むことを特徴とする、請求項４２記載の方法。
44. 生成することは、少なくともフレームレートアップコンバージョンフレームの一部を生成することを含むことを特徴とする、請求項４２記載の方法。
45. 生成することは、少なくとも１つの予測フレームに基づいて生成することを含むことを特徴とする、請求項４２記載の方法。
46. マルチメディアデータを処理する装置であって、
    少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信するように構成された受信器と、
    少なくとも前記挿間された参照フレームの一部を生成するように構成された生成器と、
    前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて少なくとも前記フレームの一部を復号するように構成された復号器と
    を備えることを特徴とする、装置。
47. 前記受信器は更に、挿間された参照フレームを示す符号化されたデータフィールドを識別するように構成されたことを特徴とする、請求項４６記載の装置。
48. 前記生成器は、少なくともフレームレートアップコンバージョンフレームの一部を生成するように構成されたことを特徴とする、請求項４６記載の装置。
49. 前記生成器は、前記挿間フレームを少なくとも１つの予測フレームに基づいて生成するように構成されたことを特徴とする、請求項４６記載の装置。
50. マルチメディアデータを処理する装置であって、
    少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信する手段と、
    少なくとも前記挿間された参照フレームの一部を生成する手段と、
    前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて少なくとも前記フレームの一部を復号する手段と
    を備えることを特徴とする、装置。
51. 前記受信する手段は更に、挿間された参照フレームを示す符号化されたデータフィールドを識別するように構成されたことを特徴とする、請求項４６記載の装置。
52. 前記生成する手段は、少なくともフレームレートアップコンバージョンフレームの一部を生成するように構成されたことを特徴とする、請求項４６記載の装置。
53. 前記生成する手段は、前記挿間フレームを少なくとも１つの予測フレームに基づいて生成するように構成されたことを特徴とする、請求項４６記載の装置。
54. 少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信し、
    少なくとも前記挿間された参照フレームの一部を生成し、
    前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて少なくとも前記フレームの一部を復号する
    構成を備えることを特徴とする、マルチメディアデータプロセッサ。
55. マルチメディアデータを処理する命令を備える機械読み取り可能な媒体であって、前記命令は実行時に機械に対して、
    少なくともフレームの一部について挿間された参照フレームを示す符号化されたデータを受信させ、
    少なくとも前記挿間された参照フレームの一部を生成させ、
    前記挿間された参照フレームの前記生成された一部に少なくとも部分的に基づいて少なくとも前記フレームの一部を復号させる
    ことを特徴とする、機械読み取り可能な媒体。

Images