JP2006517362A - ビデオ符号化 - Google Patents
ビデオ符号化 Download PDFInfo
- Publication number
- JP2006517362A JP2006517362A JP2006500361A JP2006500361A JP2006517362A JP 2006517362 A JP2006517362 A JP 2006517362A JP 2006500361 A JP2006500361 A JP 2006500361A JP 2006500361 A JP2006500361 A JP 2006500361A JP 2006517362 A JP2006517362 A JP 2006517362A
- Authority
- JP
- Japan
- Prior art keywords
- disabled
- encoding
- tool
- image
- bitstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
所定の規格に従ったビデオ信号の符号化が提供される。所与の動作モードにおいて、前記所定の規格によって提供されているツールのいくつかが無効とされ、無効にされたツールの識別情報がビットストリームに含められ、無効にされるツールが、画像または画像部分の双方向予測符号化、デブロッキング・フィルタの使用、複数の参照画像の使用、の組のうちの一つ以上であることを特徴とする。
Description
本発明はビデオ符号化に関する。
ここ数年の間、ビデオ符号化のための新たなITU−T仕様H.26Lが開発されてきて、既存の規格と比べ優れた符号化効率をもたらすことが広く認識されるに至っている(「最大50%少ないビット数で同じ信号対雑音比」)。H.26Lの利点は一般に画像サイズが大きくなるにつれて減じるが、幅広い応用分野において実用される可能性については疑いはない。この可能性は、H.26Lを新しい統合ITU−T/MPEG工業規格として最終的なものにする任務を担う、いわゆる統合ビデオチーム(JVT)が形成されたことを通じて認識されている。新しい規格は2003年にITU−T H.264またはISO/IEC MPEG−4 AVC(Advance Video Coding[先進ビデオ符号化])として正式に承認される見通しである。その間、H.264をベースとする技術はDVB、DVDフォーラム、ブルーレイディスク・コンソーシアムなど他の標準化団体でも検討されており、その一方、H.264エンコーダ/デコーダのソフトウェア・ハードウェアでの実装はすでに利用可能となりつつある。H.264の開発については、2002年8月10日に作成された「統合ビデオ仕様の統合最終委員会草案(JFCD)(ITU−T Rec.H.264|ISO/IEC 14496−10AVC)」JVT−D157のような公に利用できるJVT文書に反映されている。
H.264はMPEG−2のような定着している規格でも知られている、ブロックベースの動き補償されたハイブリッド式変換符号化の同じ原理を使っている。したがって、H.264の構文は、ピクチャー・ヘッダ、スライス・ヘッダおよびマクロブロック・ヘッダといったヘッダならびに動きベクトル、ブロック変換係数、量子化スケールなどといったデータからなる通常の階層構造をなしている。それでも、ヘッダレベルにおいてもデータレベルにおいても、新しい構文および符号化方法が導入されている。H.264の詳細について若干の主要な点を以下に簡単にまとめておく。本発明を理解するために最も重要な詳細についてはその後別個の節でJVT−D157を参考文献としてより詳しく説明する。H.264の符号化と復号を説明する典型的なブロック図を図1および図2に示す。ここで、MEは動き予想(Motion Estimation)部、MCは動き補償(Motion Compensation)部、Qは量子化部、Q−1は逆量子化部、Tは変換部、T−1は逆変換部、「フィルタ」はデブロッキング・フィルタ、Fi−1はインター予測〔フレーム間予測〕のためのi番目の参照画像、NALはネットワーク抽出層(Network Abstraction Layer)である。
H.264は、ビデオデータの内容を効率的に表現するために定義されるビデオ符号化層(VCL:Video Coding Layer)とデータのフォーマットを整え、上位のシステムによる伝達に適するようにヘッダ情報を提供するネットワーク抽出層(NAL)とを分離している。ビデオデータのレベルでのH.264の詳細の主要な点の一つは、16×16マクロブロックを分割・操作するより巧妙な方法である。H.264では、前記動き補償のプロセスは、サンプル格子の4分の1または8分の1の動きベクトル精度を使い、マクロブロックの4×4まで小さいブロックへの分割を行うことができる。また、サンプルブロックの動き補償された予測のために参照画像を選択するプロセスは、直前直後の画像だけではなく、保存されている復号済み画像を複数枚用いることができる。イントラ符号化〔フレーム内符号化〕においてさえも、復号済みのサンプル―この場合は同一画像内のもの―を使ってブロックの予測を行うことができる。この空間領域での予測の規則は、いわゆるイントラ予測モード〔フレーム内予測モード〕によって記述される。動き補償された、あるいは空間領域の予測ののち、結果として得られる予測誤差は、伝統的な8×8のブロックサイズではなく4×4のブロックサイズをベースとして普通に変換され、量子化される。可変ブロック変換(Adaptive Block Transform)と呼ばれるさらなる規約も検討されてきた。これは予測ブロックの可能ないくつかのサイズに適合するよう複数の変換を用いることを認めるものである。しかし、このツールが最終的なH.264仕様に採用されるかどうかはまだ不透明である。H.264はまた他の符号化段においても新たなコンセプトを使っている。たとえば、H.264はMPEG−2のような先行規格で使われていたDCT(Discrete Cosine Transform[離散コサイン変換])の使用をやめている。また、エントロピー符号化やVLC(Variable Length Coding[可変長符号化])、量子化などのような処理についても異なる規則や設計を規定している。しかし、先に説明したコンセプトとは対照的に、これらのコンセプトの大半は固定的な実装を認めるのみであり、それを記述する構文要素はシーケンス、GOP〔ピクチャーグループ〕またはピクチャーのレベルより下では設定することができない。
動き補償
定着しているビデオ符号化規格のほとんどは(たとえばMPEG−2)、ブロックベースの動き補償を、動画中の連続する画像間での相関を利用する実用的な方法として使っている。この方法はある画像中の各マクロブロックを隣接する参照画像中で「最良一致したもの」によって予測しようとするものである。この予測は通例16×16の輝度ブロックのみを使って実行され、その結果がその後対応する色度ピクセルにも適用される。もしマクロブロックとその予測との間のピクセルごとの差が十分小さければ、マクロブロックそのものを符号化するのではなく、予測誤差、すなわちマクロブロックとその予測との間の差が符号化の対象とされる。実際のマクロブロックの座標に対する予測ブロックの相対的な変位は動きベクトルによって示され、この予測ベクトルは別途符号化される。図3は双方向(bi−directional)予測の場合を図示しており、ここでは過去に一枚、未来に一枚という二つの参照画像が使われている。このようにして予測される画像をB画像という。他方、過去の画像からのみ予測される(predicted)画像をP画像という。B画像中の各マクロブロックの予測は、過去のP画像のブロックから、あるいは未来のP画像中のブロックから、あるいはそれぞれ異なるP画像中にある二つのブロックの平均によってできる。H.264によってもたらされるビットレートの節約の多くは、実は動き補償の方法の改善に帰されるものである。このことについて、以下の各項でより詳しく説明する。
定着しているビデオ符号化規格のほとんどは(たとえばMPEG−2)、ブロックベースの動き補償を、動画中の連続する画像間での相関を利用する実用的な方法として使っている。この方法はある画像中の各マクロブロックを隣接する参照画像中で「最良一致したもの」によって予測しようとするものである。この予測は通例16×16の輝度ブロックのみを使って実行され、その結果がその後対応する色度ピクセルにも適用される。もしマクロブロックとその予測との間のピクセルごとの差が十分小さければ、マクロブロックそのものを符号化するのではなく、予測誤差、すなわちマクロブロックとその予測との間の差が符号化の対象とされる。実際のマクロブロックの座標に対する予測ブロックの相対的な変位は動きベクトルによって示され、この予測ベクトルは別途符号化される。図3は双方向(bi−directional)予測の場合を図示しており、ここでは過去に一枚、未来に一枚という二つの参照画像が使われている。このようにして予測される画像をB画像という。他方、過去の画像からのみ予測される(predicted)画像をP画像という。B画像中の各マクロブロックの予測は、過去のP画像のブロックから、あるいは未来のP画像中のブロックから、あるいはそれぞれ異なるP画像中にある二つのブロックの平均によってできる。H.264によってもたらされるビットレートの節約の多くは、実は動き補償の方法の改善に帰されるものである。このことについて、以下の各項でより詳しく説明する。
・複数の予測ブロックサイズ
H.264では、マクロブロックのインター予測〔フレーム間予測〕、すなわち時間的な予測について可変ブロックサイズを使うことができる。したがって、マクロブロックはいくつかのより小さなブロックに分割でき、これらの各サブ・ブロックを別個に予測することができる(予測はやはりルーマ(luma[輝度])ブロックのみを使って実行される)。よって、異なるサブ・ブロックは異なる動きベクトルをもつことができ、さらには異なる参照画像から引き出すこともできる(後述)。予測ブロックの数、大きさ、向きは「インター予測モード〔フレーム間予測モード〕」の定義によって一意的に決定される。これは、マクロブロックの8×8サブ・ブロックへの可能な分割の仕方、そしてその各8×8サブ・ブロックのさらなる分割の仕方を記述するものである。これは図4にも示してある。H.264の構文は、あるマクロブロックに関してインター予測〔フレーム間予測〕にどの分割が用いられたかをデコーダに示す、mb_typeおよびsub_mb_typeのような要素を含んでいる。これはJVT−D157の7.4.5節(表7−12、7−13、7−16、7−17)においてより詳細に説明されている。
H.264では、マクロブロックのインター予測〔フレーム間予測〕、すなわち時間的な予測について可変ブロックサイズを使うことができる。したがって、マクロブロックはいくつかのより小さなブロックに分割でき、これらの各サブ・ブロックを別個に予測することができる(予測はやはりルーマ(luma[輝度])ブロックのみを使って実行される)。よって、異なるサブ・ブロックは異なる動きベクトルをもつことができ、さらには異なる参照画像から引き出すこともできる(後述)。予測ブロックの数、大きさ、向きは「インター予測モード〔フレーム間予測モード〕」の定義によって一意的に決定される。これは、マクロブロックの8×8サブ・ブロックへの可能な分割の仕方、そしてその各8×8サブ・ブロックのさらなる分割の仕方を記述するものである。これは図4にも示してある。H.264の構文は、あるマクロブロックに関してインター予測〔フレーム間予測〕にどの分割が用いられたかをデコーダに示す、mb_typeおよびsub_mb_typeのような要素を含んでいる。これはJVT−D157の7.4.5節(表7−12、7−13、7−16、7−17)においてより詳細に説明されている。
・複数の参照画像
H.264では、あるマクロブロックに関するインター予測〔フレーム間予測〕は、直前直後の画像からでなく、未来または過去でより遠くにある先に復号された画像からブロックを取ってきて行うこともできる。このことは、「複数参照画像」と呼ばれ、図5に示してある。マクロブロック中のサブ・ブロックの予測(前節参照)のためにある参照画像を選択したことは、ビットストリーム中では構文要素ref_idx_10およびref_idx_11の値によって示される。JVT−D157の7.4.5.1節参照。
H.264では、あるマクロブロックに関するインター予測〔フレーム間予測〕は、直前直後の画像からでなく、未来または過去でより遠くにある先に復号された画像からブロックを取ってきて行うこともできる。このことは、「複数参照画像」と呼ばれ、図5に示してある。マクロブロック中のサブ・ブロックの予測(前節参照)のためにある参照画像を選択したことは、ビットストリーム中では構文要素ref_idx_10およびref_idx_11の値によって示される。JVT−D157の7.4.5.1節参照。
デブロッキング・フィルタ
H.264では、画像のすべてのマクロブロックに条件付フィルタリングが適用される。第一段階として、ルーマについては、図6に示すように、4×4ラスタの4つの垂直エッジの16のサンプルが左のエッジから始まってフィルタリングされていく。4つの水平エッジのフィルタリング(垂直方向フィルタリング)も上端のエッジから始まって同様にして行われる。クロマのフィルタリングについても同じ順番が適用されるが、フィルタリングされるのは各方向ともそれぞれ8つのサンプルの2つのエッジである。4×4のルーマブロックどうしの境界の一つ一つについて、「境界強度」Bsが割り当てられる。もしBs=0なら、その特定のエッジについてはフィルタリングはスキップされる。それ以外の場合にはすべて、フィルタリングは、局所的なサンプルの属性およびこの特定の境界セグメントについてのBsの値に依存して行われる。JVT−D157の8.7節参照。デブロッキング・フィルタが現スライス内のマクロブロックによって制御されるエッジに対して適用されるべきかどうか、そして適用する場合のパラメータをビットストリーム中で示すのに使われる構文要素がいくつかある。たとえばdisable_deblocking_filter_flagおよびslice_alpha_c0_offset_div2である。JVT−D157の7.4.3節参照。
H.264では、画像のすべてのマクロブロックに条件付フィルタリングが適用される。第一段階として、ルーマについては、図6に示すように、4×4ラスタの4つの垂直エッジの16のサンプルが左のエッジから始まってフィルタリングされていく。4つの水平エッジのフィルタリング(垂直方向フィルタリング)も上端のエッジから始まって同様にして行われる。クロマのフィルタリングについても同じ順番が適用されるが、フィルタリングされるのは各方向ともそれぞれ8つのサンプルの2つのエッジである。4×4のルーマブロックどうしの境界の一つ一つについて、「境界強度」Bsが割り当てられる。もしBs=0なら、その特定のエッジについてはフィルタリングはスキップされる。それ以外の場合にはすべて、フィルタリングは、局所的なサンプルの属性およびこの特定の境界セグメントについてのBsの値に依存して行われる。JVT−D157の8.7節参照。デブロッキング・フィルタが現スライス内のマクロブロックによって制御されるエッジに対して適用されるべきかどうか、そして適用する場合のパラメータをビットストリーム中で示すのに使われる構文要素がいくつかある。たとえばdisable_deblocking_filter_flagおよびslice_alpha_c0_offset_div2である。JVT−D157の7.4.3節参照。
可変ブロック変換
H.264では、残差の符号化はデフォルトでは4×4の整数変換を使って行われる。これはMPEG−2で使われているDCT(離散コサイン変換)と似ているが互換性はない。そこで、予測誤差、すなわちマクロブロックとその予測との間のピクセルごとの差は、図7に示すように、16個の4×4ルーマブロックおよび8個の4×4クロマブロックに分割される。変換後、各4×4ブロックについて一つのDC係数が得られる。これは、ルーマについては16個のDC係数を、クロマの各成分については4つのDC係数を与える。その後クロマのDC係数はまとめられ、別の2×2変換を用いて再び変換される。H.264の最近の草案では、デフォルトの4×4変換に加えてサイズ4×8、8×4、8×8の変換が規定されている。この特徴は可変ブロック変換(ABT:Adaptive Block Transform)と呼ばれ、ルーマ残差に適用される(したがって、クロマ残差についての符号化処理は上述したままである)。ABTの使用は、ビットストリーム中では、adaptive_block_size_transform_flagというパラメータによって示される。JVT−D157の12節参照。インター符号化〔フレーム間符号化〕の場合、ある特定の変換のサイズは予測に使われたブロックサイズ(前述)と一致する。イントラ・マクロブロック〔フレーム内予測マクロブロック〕については、イントラ予測〔フレーム内予測〕に使われるブロックサイズが変換のブロックサイズと結びついている。ABT機能を使った場合にマクロブロックを該マクロブロックのサブ・ブロックに符号化することで得られるルーマの複数の構文要素を割り当てる順番を図8に示している。8×8ブロックは1、2または4個の変換ブロックを含むことができる。8×8ブロックが係数を含んでいるという指示は、その8×8変換ブロックまたはその8×8ブロック中の2または4個の変換ブロックのうちの一つ以上が係数を含んでいる、という意味である。ABTの構文および意味についてのさらなる詳細はJVT−D157の12節に見られる。
H.264では、残差の符号化はデフォルトでは4×4の整数変換を使って行われる。これはMPEG−2で使われているDCT(離散コサイン変換)と似ているが互換性はない。そこで、予測誤差、すなわちマクロブロックとその予測との間のピクセルごとの差は、図7に示すように、16個の4×4ルーマブロックおよび8個の4×4クロマブロックに分割される。変換後、各4×4ブロックについて一つのDC係数が得られる。これは、ルーマについては16個のDC係数を、クロマの各成分については4つのDC係数を与える。その後クロマのDC係数はまとめられ、別の2×2変換を用いて再び変換される。H.264の最近の草案では、デフォルトの4×4変換に加えてサイズ4×8、8×4、8×8の変換が規定されている。この特徴は可変ブロック変換(ABT:Adaptive Block Transform)と呼ばれ、ルーマ残差に適用される(したがって、クロマ残差についての符号化処理は上述したままである)。ABTの使用は、ビットストリーム中では、adaptive_block_size_transform_flagというパラメータによって示される。JVT−D157の12節参照。インター符号化〔フレーム間符号化〕の場合、ある特定の変換のサイズは予測に使われたブロックサイズ(前述)と一致する。イントラ・マクロブロック〔フレーム内予測マクロブロック〕については、イントラ予測〔フレーム内予測〕に使われるブロックサイズが変換のブロックサイズと結びついている。ABT機能を使った場合にマクロブロックを該マクロブロックのサブ・ブロックに符号化することで得られるルーマの複数の構文要素を割り当てる順番を図8に示している。8×8ブロックは1、2または4個の変換ブロックを含むことができる。8×8ブロックが係数を含んでいるという指示は、その8×8変換ブロックまたはその8×8ブロック中の2または4個の変換ブロックのうちの一つ以上が係数を含んでいる、という意味である。ABTの構文および意味についてのさらなる詳細はJVT−D157の12節に見られる。
H.264開発の主要目的の一つは、ビデオ会議、インターネットでのストリーム利用や通信などの応用のために動画像の従来よりかなり高率の圧縮の必要性が増していることに応えることであった。したがって、H.264に含まれているのは、そのような応用に特徴的な比較的小さな画像フォーマットおよび低ビットレートに適するいくつかの符号化ツールであるが、それらは画像サイズが大きくなると効率が低下する。このことは、高精細度(HD:High Definition)ビデオを用いた実験によっても確認されている。その実験によると、H.264の特徴的な符号化ツールをすべて有効にした場合では、ある点に達すると、ビットレートを増加させてもそれに比例した画質の向上が得られないことが一般に観測されている。換言すると、H.264の符号化ツールのいくつかは著しく低いビットレートでは高画質を達成するのに与っているが、高ビットレートではそれほど寄与しない、あるいは画質を乱しさえするように思われる。デブロッキング・フィルタの場合と同じように、H.264構文はいくつかの符号化ツールの条件付動作を許容している。しかしながら、現実の自動符号化においては、これらの条件はローカルの低レベル計算によって決定され、それは通常画質を保つよりはビットレートを最小にすることを目指す。このことは、ビットレートの制約が厳しくなく、事実上ビデオであることを感じさせない透明な画質が実現できるはずの応用分野については、典型的なH.264の動作では不十分であることを示唆している。そのような応用分野とは、ブルーレイ・ディスク(25GB、記録層の深さ0.1mm)またはブルーDVD(15GB、記録層の深さ0.6mm)のような記憶容量の大きなディスクでHD映画を頒布することである。この応用分野において、H.264の特に重要な問題は、それがフィルムのきめを消してしまう傾向があるということである。この効果は、典型的なH.264符号化の設定を使う状況では、ビットレートをかなり上げてもほとんど改善することができない。ここでいうフィルムのきめとは、撮影機材や環境の不完全性のためにフィルムに導入される(かすかに目に見える)ノイズのことであるが、あまりに一般的となっており、概してあるものと期待されている。映画監督は自然な「フィルムらしさ」を実現する手段としてしばしば好ましいものとさえみなしているほどなのである。
本発明の目的の一つは、所与の符号化規格のビットレートを上げたときにより高画質を与えることである。この目的のため、本発明は、独立請求項に定義されているように、符号化の方法、エンコーダ、符号化されたビットストリーム、記録担体、およびデコーダを提供する。有益な実施形態は従属請求項において定義されている。
本発明の第一の側面によれば、所与の動作モードにおいて当該符号化は、所与の符号化規格によって提供されているツールのいくつかを無効にし、無効にされたツールの識別情報がビットストリームに含められ、無効にされるツールは:
・画像または画像部分の双方向予測符号化
・デブロッキング・フィルタの使用
・複数の参照画像の使用
の組のうちの一つ以上である。
・画像または画像部分の双方向予測符号化
・デブロッキング・フィルタの使用
・複数の参照画像の使用
の組のうちの一つ以上である。
無効にされたツールの識別情報を提供することによって、エンコーダはデコーダに、その無効にされたツールが使われていないことを伝達する。当該符号化規格が無効にされたツールを示すのに使えるパラメータまたは指示子を用意している場合には、符号化されたビットストリームは、当該規格と互換なまま実装できる。
好ましくは、前記所与の動作モードはプロファイルである。プロファイルは、符号化されたデータを復号するのに必要とされる機能、すなわちエンコーダによって使われたり使われなかったりする諸ツールを指定し、それによりビットストリームの構文への制限も指定する。プロファイルは典型的には、映画のような符号化されたビデオコンテンツ作品一つに対して一定である。
好ましい実施形態においては、可変ブロック変換が有効にされる。
本発明の実施形態は、H.264規格に関連して記述されるが、本発明は他の符号化規格にも適応可能である。
これから本発明の実施形態をさらに付属の図面を参照しながら説明する。
本発明のある実施形態によれば、「ブルーレイ・ディスク」のような大容量デジタル担体に乗せたHD映画を発売するなどの応用分野向けに、高画質の(事実上透明な)HDビデオ圧縮のために使うことのできるH.264のHQ−HDプロファイルが提案される。H.264規格によって認められている可能な多くのツールのうち、ごく限られた組み合わせのみが、比較的高ビットレートにおいて事実上透明なHDTV画質を実現するのを可能にする。このプロファイルは標準的なH.264符号化ツールまたはモードのうち、本発明の発明者が高ビットレートにおいて事実上透明な画質を保つのにあまり寄与しない、あるいは画質を乱しさえすることを見出したいくつかを選択的に排除することによって得られる。この排除は、H.264ビットストリーム中では、H.264構文要素のいくつかについてある値を強制したり制約したりすることによって簡単に指示することができる。H.264のそのような制限の恩恵は、H.264を使いつつ透明な画質に近づくための一意的な条件を作り出すということのみならず、この目的のためにより簡素なH.264エンコーダおよびデコーダを構築することを可能にするということにもある。この実施形態では、標準的な符号化ツールを次のように排除・制限することを必須とすることによってプロファイルが一意的に定義される。
・B画像・Bスライスの排除(JVT−D157の10節)
・デブロッキング・フィルタの排除(JVT−D157の1.2.3節)
・インター予測について、8×8よりも小さいブロックサイズのうち少なくとも一つの排除(JVT−D157の1.2.2.1節)
・予測に使われる参照画像の数を1に限定(JVT−D157の1.2.2.2節)
JVT−D157ではABTが記述されているが(12.4節参照)、最終的なH.264仕様からは除外する方向で検討されている。にもかかわらず、本発明のある好ましい実施形態においては、ABTもH.264のこのHQ−HDプロファイルに含められている。
・B画像・Bスライスの排除(JVT−D157の10節)
・デブロッキング・フィルタの排除(JVT−D157の1.2.3節)
・インター予測について、8×8よりも小さいブロックサイズのうち少なくとも一つの排除(JVT−D157の1.2.2.1節)
・予測に使われる参照画像の数を1に限定(JVT−D157の1.2.2.2節)
JVT−D157ではABTが記述されているが(12.4節参照)、最終的なH.264仕様からは除外する方向で検討されている。にもかかわらず、本発明のある好ましい実施形態においては、ABTもH.264のこのHQ−HDプロファイルに含められている。
標準的なH.264符号化ツールおよびモードを無効にすることに加えて、本発明の発明者は、H.264エンコーダのJVT試験ソフトウェアにおいて実装されているエンコーダのレート−ひずみ最適化のような、H.264におけるレート−ひずみ関係の最適化は、いかなる種類であれ実装しないことを推奨する。
本発明の実施形態は図1に示すH.264エンコーダのような標準的なエンコーダにおいて直接的に実装できる。さらに、エンコーダが無効とされたツールを(たとえば別の動作モード用に)使う機能は必要ないから、ツールを減らした簡素なエンコーダを、無効とされたツールを同定するためにビットストリーム中に適切なパラメータを含める何らかの手段と組み合わせる形で、提供することができる。無効にされたツールが、規格上、そのツールが使用されていないことを示す指示子が用意されているツールである限り、前記簡素なエンコーダのつくるビットストリームは互換性を保つ。
実用的な実施形態
H.264のツールを次のように選択的に使うことによって、15Mbps程度のビットレートでのほとんど透明な画質を提供することができる。
H.264のツールを次のように選択的に使うことによって、15Mbps程度のビットレートでのほとんど透明な画質を提供することができる。
図9Bおよび図9Cは参照基準(9B)と好ましい実施例(9C)との比較を示すものである。これによると、好ましい実施例は著しい画質向上をもたらすことが示される。図9Aはもとのコンテンツ作品を示す。
上記の実施例は、本発明を解説するものであって、限定するものではなく、当業者であれば付属の特許請求の範囲から外れることなく多くの代替実施例を考案することができるであろうことを注意しておく。特許請求の範囲においては、括弧内に参照符号を示したものがあったとしても、それが請求を限定するものと解釈してはならない。「有する」の語は請求項に挙げられている以外の要素やステップの存在を排除するものではない。本発明は、いくつかの別個の要素を有するハードウェアによって、および好適にプログラミングされたコンピュータによって実装することができる。いくつかの手段を列挙している装置請求項においては、これらの手段のいくつかが同一のハードウェア要素によって具体化されることもある。ある方策が互いに異なる付属の請求項に記載されているというだけのことで、これらの方策を組み合わせて用いることが有益となりうることを除外しているわけではない。
Claims (13)
- 所定の規格に従ってビデオ信号を符号化する方法であって、所与の動作モードにおいて、前記所定の規格によって提供されているツールのいくつかが無効とされ、無効にされたツールの識別情報がビットストリームに含められ、無効にされるツールが:
・画像または画像部分の双方向予測符号化
・デブロッキング・フィルタの使用
・複数の参照画像の使用
の組のうちの一つ以上であることを特徴とする方法。 - 前記所与の動作モードがプロファイルであることを特徴とする、請求項1記載の方法。
- 前記プロファイルが高精細度映画のような高精細度ビデオコンテンツを符号化するのに用いられることを特徴とする、請求項2記載の方法。
- 双方向予測符号化される画像もしくはスライスまたはその両方が無効にされ、デブロッキング・フィルタが無効にされ、インター予測のための8×8ピクセルよりも小さなブロックサイズの少なくとも一つが排除され、予測のために使われる参照画像の数が1に限定されることを特徴とする、請求項1ないし3のうちいずれか一項記載の方法。
- インター予測のための8×8ピクセルよりも小さなブロックサイズがすべて排除されることを特徴とする、請求項4記載の方法。
- 符号化においてレート−ひずみ最適化が使用されないことを特徴とする、請求項1ないし5のうちいずれか一項記載の方法。
- 可変ブロックサイズ変換が使用されることを特徴とする、請求項1ないし6のうちいずれか一項記載の方法。
- ピクチャーグループ(group of picture)の長さが12に固定されることを特徴とする、請求項1ないし7のうちいずれか一項記載の方法。
- 符号化がH.264規格に準拠して実行されることを特徴とする、請求項1ないし8のうちいずれか一項記載の方法。
- 所与の動作モードにおいて、所定の規格によって提供されているツールのいくつかが無効とされるような、所定の規格に従ってビデオ信号を符号化する手段と、
無効にされたツールの識別情報をビットストリームに含める手段とを有するエンコーダであって、無効にされるツールが:
・画像または画像部分の双方向予測符号化
・デブロッキング・フィルタの使用
・複数の参照画像の使用
の組のうちの一つ以上であることを特徴とするエンコーダ。 - ビデオ信号を表す符号化されたビットストリームであって、該ビットストリームが無効にされたツールの識別情報を有しており、該無効にされたツールが前記符号化されたビットストリームの符号化において無効とされており、前記無効にされたツールが:
・画像または画像部分の双方向予測符号化
・デブロッキング・フィルタの使用
・複数の参照画像の使用
の組のうちの一つ以上であることを特徴とするビットストリーム。 - 請求項11記載の符号化されたビットストリームが保存されている記録担体。
- 請求項11記載の符号化されたビットストリームを復号するデコーダであって、前記無効にされたツールを提供しないことによって制限されている点を除けば所定の規格に準拠していることを特徴とするデコーダ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03075199 | 2003-01-20 | ||
PCT/IB2004/050035 WO2004066634A1 (en) | 2003-01-20 | 2004-01-19 | Video coding |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006517362A true JP2006517362A (ja) | 2006-07-20 |
Family
ID=32748892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006500361A Withdrawn JP2006517362A (ja) | 2003-01-20 | 2004-01-19 | ビデオ符号化 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20060104357A1 (ja) |
EP (1) | EP1588565A1 (ja) |
JP (1) | JP2006517362A (ja) |
KR (1) | KR20050098251A (ja) |
CN (1) | CN1739298A (ja) |
BR (1) | BRPI0406808A (ja) |
RU (1) | RU2005126424A (ja) |
WO (1) | WO2004066634A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010150465A1 (ja) * | 2009-06-25 | 2010-12-29 | パナソニック株式会社 | AV(Audio Visual)データ再生回路、AVデータ再生装置、集積回路およびAVデータ再生方法 |
US8625924B2 (en) | 2006-07-14 | 2014-01-07 | Sony Corporation | Image deblocking based on complexity |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1766986A1 (en) * | 2004-07-15 | 2007-03-28 | Samsung Electronics Co., Ltd. | Temporal decomposition and inverse temporal decomposition methods for video encoding and decoding and video encoder and decoder |
US7636490B2 (en) * | 2004-08-09 | 2009-12-22 | Broadcom Corporation | Deblocking filter process with local buffers |
CN101095356B (zh) | 2004-10-21 | 2013-06-19 | 汤姆森许可贸易公司 | 基于块的胶片颗粒图案的自适应解块技术 |
KR100679035B1 (ko) * | 2005-01-04 | 2007-02-06 | 삼성전자주식회사 | 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 |
KR100751401B1 (ko) * | 2005-12-14 | 2007-08-22 | 엘지전자 주식회사 | 부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법 |
KR101366091B1 (ko) * | 2006-03-28 | 2014-02-21 | 삼성전자주식회사 | 영상 부호화 및 복호화 방법과 장치 |
WO2008153856A1 (en) * | 2007-06-08 | 2008-12-18 | Thomson Licensing | Methods and apparatus for in-loop de-artifacting filtering based on multi-lattice sparsity-based filtering |
TWI375470B (en) * | 2007-08-03 | 2012-10-21 | Via Tech Inc | Method for determining boundary strength |
US20090304085A1 (en) * | 2008-06-04 | 2009-12-10 | Novafora, Inc. | Adaptive Deblocking Complexity Control Apparatus and Method |
WO2010041857A2 (en) * | 2008-10-06 | 2010-04-15 | Lg Electronics Inc. | A method and an apparatus for decoding a video signal |
KR20100095992A (ko) | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
JP5625512B2 (ja) * | 2010-06-09 | 2014-11-19 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、および記録媒体 |
US8976856B2 (en) * | 2010-09-30 | 2015-03-10 | Apple Inc. | Optimized deblocking filters |
CN103621087B (zh) | 2011-06-23 | 2016-12-07 | Jvc建伍株式会社 | 图像解码装置及图像解码方法 |
US8929455B2 (en) * | 2011-07-01 | 2015-01-06 | Mitsubishi Electric Research Laboratories, Inc. | Method for selecting transform types from mapping table for prediction modes |
US20140098851A1 (en) * | 2012-10-04 | 2014-04-10 | Qualcomm Incorporated | Indication of video properties |
GB201405649D0 (en) * | 2014-03-28 | 2014-05-14 | Sony Corp | Data encoding and decoding |
GB2548578B (en) * | 2016-03-21 | 2020-10-07 | Advanced Risc Mach Ltd | Video data processing system |
KR20210091304A (ko) * | 2018-11-21 | 2021-07-21 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 화상 인코딩 및 디코딩을 위한 방법 및 디바이스 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07250328A (ja) * | 1994-01-21 | 1995-09-26 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
KR20010022752A (ko) * | 1998-06-11 | 2001-03-26 | 요트.게.아. 롤페즈 | 디지털 비디오 레코더용 트릭 플레이 신호 발생 |
US6925501B2 (en) * | 2001-04-17 | 2005-08-02 | General Instrument Corporation | Multi-rate transcoder for digital streams |
US6907079B2 (en) * | 2002-05-01 | 2005-06-14 | Thomson Licensing S.A. | Deblocking filter conditioned on pixel brightness |
-
2004
- 2004-01-19 WO PCT/IB2004/050035 patent/WO2004066634A1/en active Application Filing
- 2004-01-19 RU RU2005126424/09A patent/RU2005126424A/ru not_active Application Discontinuation
- 2004-01-19 KR KR1020057013288A patent/KR20050098251A/ko not_active Application Discontinuation
- 2004-01-19 BR BR0406808-4A patent/BRPI0406808A/pt not_active IP Right Cessation
- 2004-01-19 EP EP04703231A patent/EP1588565A1/en not_active Withdrawn
- 2004-01-19 US US10/542,836 patent/US20060104357A1/en not_active Abandoned
- 2004-01-19 JP JP2006500361A patent/JP2006517362A/ja not_active Withdrawn
- 2004-01-19 CN CNA2004800024354A patent/CN1739298A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8625924B2 (en) | 2006-07-14 | 2014-01-07 | Sony Corporation | Image deblocking based on complexity |
WO2010150465A1 (ja) * | 2009-06-25 | 2010-12-29 | パナソニック株式会社 | AV(Audio Visual)データ再生回路、AVデータ再生装置、集積回路およびAVデータ再生方法 |
Also Published As
Publication number | Publication date |
---|---|
BRPI0406808A (pt) | 2005-12-27 |
KR20050098251A (ko) | 2005-10-11 |
WO2004066634A1 (en) | 2004-08-05 |
RU2005126424A (ru) | 2006-01-10 |
US20060104357A1 (en) | 2006-05-18 |
CN1739298A (zh) | 2006-02-22 |
EP1588565A1 (en) | 2005-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10397572B2 (en) | Method and system for generating a transform size syntax element for video decoding | |
JP7269257B2 (ja) | フレームレベル超解像ベースビデオ符号化 | |
RU2751082C1 (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы | |
KR101572535B1 (ko) | 합성 비디오에서의 무손실 코딩 및 관련 시그널링 방법 | |
CN105379284B (zh) | 动态图像编码装置及其动作方法 | |
CN107295335B (zh) | 图像处理装置和图像处理方法 | |
JP2006517362A (ja) | ビデオ符号化 | |
EP1594320A1 (en) | Method and system for dynamic selection of transform size in a video decoder based on signal content | |
JP2013524669A (ja) | 高効率な動画像符号化のためのスーパーブロック | |
JP2006519565A (ja) | ビデオ符号化 | |
KR20070057254A (ko) | 화상 부호화 장치 및 화상 복호 장치 | |
JP2008503177A (ja) | 色差デブロッキングのための方法 | |
TW202131685A (zh) | 高層級資訊信令有關的視訊編碼或解碼方法及裝置 | |
CN114424571A (zh) | 编码器、解码器及对应方法 | |
KR20160129026A (ko) | 비디오 코딩에서 플리커 검출 및 완화 | |
Bansal et al. | VP8 Encoder—Cost effective implementation | |
Devaraju | A Study on AVS-M video standard |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070116 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20080827 |