JP2011061783A - 保留マクロブロックを使った画像エンコードの方法および装置ならびに保留マクロブロックを使った画像デコードの方法および装置 - Google Patents

保留マクロブロックを使った画像エンコードの方法および装置ならびに保留マクロブロックを使った画像デコードの方法および装置 Download PDF

Info

Publication number
JP2011061783A
JP2011061783A JP2010198005A JP2010198005A JP2011061783A JP 2011061783 A JP2011061783 A JP 2011061783A JP 2010198005 A JP2010198005 A JP 2010198005A JP 2010198005 A JP2010198005 A JP 2010198005A JP 2011061783 A JP2011061783 A JP 2011061783A
Authority
JP
Japan
Prior art keywords
macroblock
prediction
marked
macroblocks
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010198005A
Other languages
English (en)
Other versions
JP5750249B2 (ja
Inventor
Zhihong Yang
ヤン ジホン
Yumeng Li
リー ユ・モン
Hui Zhang
ジャン ホイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011061783A publication Critical patent/JP2011061783A/ja
Application granted granted Critical
Publication of JP5750249B2 publication Critical patent/JP5750249B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】マルチコア・プロセッサの最適化された使用のためにイントラ予測を改善する。
【解決手段】エンコードは、フレーム当たり複数のイントラ符号化されるシードMBから始まり、隣接MBへと続いていく。MB当たり二つ以上の隣接MBの同時予測を含む、あらかじめ定義された予測拡張パターン（成長パターン）が使用される。符号化コストが高い隣接MBは「ホールドMB〔保留マクロブロック〕」と呼ばれ、別の隣接エッジが予測のために利用可能になるまで処理から保留される。エンコードは、符号化コストの高いMBを、遅延予測のためにマークすることを含む。このMBは他のMBがエンコードされる間、スキップされる。さらなる隣接MBがエンコードされたときに、マークされたMBは隣接MBに基づいて予測される。デコーダは遅延マークを受信し、同じ成長パターンを使うので、デコーダはエンコーダに追随し、予測およびデコードを正しく行う。
【選択図】図５

Description

本発明は、画像エンコード方法、画像デコード方法、画像エンコード装置および画像デコード装置に関する。
H.264/AVCでは、一フレーム内のマクロブロック（MB）は、左上位置の開始マクロブロックからラスタ・スキャン順に符号化される。各MBは、符号化されたMBのレート‐歪み（R-D: rate-distortion）コストが何であろうと、一つ一つ逐次的に符号化される。図１は、イントラ予測を実装するためにH.264/AVCが用いるラスタ・スキャン順を示している。ボールド体のマクロブロックはH.264/AVCにおける開始マクロブロックである。開始MBは画像毎に一つだけある。
マルチコア処理アーキテクチャが利用可能になると、H.264/AVCにおいて使用されるイントラ予測アルゴリズムの並列性を改善し、ビデオ・フレームの最適予測経路を見出してイントラ・フレームの符号化および圧縮パフォーマンスを改善することが望ましくなる。
本発明は、H.264/AVCなどに好適なMB適応ベースのイントラ予測を提供する。
本発明のある側面によれば、フレームは、イントラ・エンコードされる少なくとも一つの開始マクロブロック（シードMB）から出発して、イントラ予測される後続マクロブロックに進んで、符号化されることができる。ここで、同時に現在MB当たり二つ以上の隣接MBの予測を含む、あらかじめ定義された予測拡散パターン（prediction spread pattern）（本稿では成長パターン（growth pattern）と称される）が使われる。
本稿では、「隣接（neighboring）」の用語は、現在MBの上、下、左または右のいずれかに関わらず、現在MBと共通のエッジを有するMBのみについて用いる。
さらに、ある側面によれば、R-Dコスト（符号化コスト）が高いマクロブロックは、少なくとももう一つの隣接エッジが準備完了になり予測のために利用可能になるまで、処理から保留〔ホールド〕されることができる。すると、これらのMBについての予測はより簡単になり、より低い符号化コストで達成できる。そのような型のMBは本稿では「ホールドMB（Hold-MB）〔保留マクロブロック〕」と呼ばれる。
エンコーダおよびデコーダは同じシードMBおよび予測順を使う必要があるので、両者があらかじめ定義される。それらはエンコーダおよびデコーダに暗黙的に、たとえば規格を通じて知られてもよい。ある実施形態では、成長パターンは、各現在MBについて、三つの隣接するMBが次の予測サイクルのために選択されるようなものである（画像のエッジの場合を除く）。
本発明のある側面によれば、エンコードは、少なくとも一つのMBについて、選択された予測方向に従う符号化コストが高い（たとえばある閾値より高い）ことを判別し、該判別がされると前記少なくとも一つのMBを遅延予測（deferred prediction）のためにマークするステップを含む。結果として、前記少なくとも一つのMBのエンコードは、他のMBがエンコードされる間、前記少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされるまで、スキップされる。次いで、前記少なくとも一つのマークされたMBが（今や少なくとも二つの）すでにエンコードされた隣接MBに基づいて予測される。
ホールドMBとは、通例はあらかじめ定義された成長パターンが良好な符号化効率を与えるのに対して、あらかじめ定義された成長パターンを使うことが最適でない、例外的なMBである。これらのMBをホールドMBとして遅延予測のためにマークすることによって、あらかじめ定義された成長パターンの発想をより柔軟にする柔軟性の要素が導入される。
本発明のある側面によれば、フレームは、複数のシード・マクロブロックから同時に符号化される。ここで、前記複数のシード・マクロブロックはイントラ予測されることができる。提案されるイントラ予測方法は、符号化されるフレーム内での諸マクロブロックの予測依存性を取り除くので、本方法は、多コアCPUプラットフォーム、GPGPU、セル（Cell）・プロセッサなどといった多コア・プラットフォーム上で効果的に実装できる。
提案される方法の利点は、符号化パフォーマンスにおいてずっと効率的であり、並列処理アーキテクチャ上での実装により好適であるということである。
本発明のある側面によれば、画像データをエンコードする方法が、MBをそれぞれの隣接MBから予測する段階であって、該予測は少なくとも一つの開始点MB（またはシードMB）から出発し、どの一つのMBについての予測方向もあらかじめ定義された成長パターンに従って左、右、上または下として選択される、段階と、少なくとも一つのMBについて、前記の選択された予測方向に従った符号化コストがある閾値よりも高いことを判別する段階と、前記判別がされると、前記少なくとも一つのMBを遅延予測のためにマークして、前記少なくとも一つのMBのエンコードをスキップする段階と、遅延予測のためにマークされた前記少なくとも一つのMBを除いて前記画像のMBをエンコードする段階であって、前記予測に基づいて残差データを決定するステップおよび前記残差データをエンコードするステップを含む、段階と、前記少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされたあとに、前記少なくとも一つのマークされたMBを予測する段階と、前記画像のマークされたMBをエンコードする段階であって、結果として得られるエンコード・データは前記マークを含む、段階とを含む。
別の側面によれば、エンコードされた画像データをデコードする方法が、
少なくとも一つの開始点MBについてのデータを抽出し、一つまたは複数のさらなるMBについて残差データを抽出し、前記さらなるMBのうち少なくとも一つについて、遅延予測のためのマークである指標を抽出する段階と、前記さらなるMBをデコードする段階とを有し、前記デコードは前記開始点MBから出発して、あらかじめ定義された左、右、上および下の予測方向を含む成長パターンの順番に進み、前記デコードは、前記さらなるMBを前記成長パターンに従って一つまたは複数のすでにデコードされた隣接MBから予測して前記残差データを加えるステップを含み、遅延予測のためにマークされた前記少なくとも一つのMBの予測はスキップされる、段階と、
遅延予測のためにマークされた前記少なくとも一つのMBについて、さらなる隣接MBがデコードされたことを判別し、該判別がされると、前記少なくとも一つのマークされたMBを、その残差データおよび前記の少なくとも二つの利用可能なデコードされた隣接MBに従ってデコードする段階とを含む。
あるさらなる側面によれば、画像データをエンコードする装置が、
MBをそれぞれの隣接MBから予測する第一予測手段であって、ここで、該予測は少なくとも一つの開始点MBから出発し、どの一つのMBについての予測方向も、左、右、上および下の方向の予測を含むあらかじめ定義された成長パターンに従って選択される、第一予測手段と、少なくとも一つのMBについて、前記の選択された予測方向に従ったエンコード・コストがある閾値よりも高いことを判別する第一判別手段と、前記判別がされると、前記少なくとも一つのMBを遅延予測のためにマークするマーク付け手段と、遅延予測のためにマークされた前記少なくとも一つのMBを除いて前記画像のMBをエンコードする第一エンコーダであって、前記予測に基づいて残差データを決定する残差決定手段および前記残差データをエンコードする第一エンコード手段を有し、遅延予測のためにマークされている前記少なくとも一つのMBをスキップする、第一エンコーダと、前記少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされたことを判別する第二判別手段と、前記少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされたあとに、前記少なくとも一つのマークされたMBを予測する第二予測手段と、前記画像のマークされたMBをエンコードする第二エンコード手段であって、結果として得られるエンコード・データは前記マークを含む、第二エンコード手段とを有する。
さらに別の側面によれば、エンコードされた画像データをデコードする装置が、
少なくとも一つの開始点MBのデータ、一つまたは複数のさらなるMBの残差データおよび前記さらなるMBのうち少なくとも一つについて、遅延予測のためのマークである指標を抽出する抽出手段と、前記さらなるMBをデコードする第一デコーダとを有し、前記デコードは前記開始点MBから出発して、あらかじめ定義された左、右、上および下の予測方向を含む成長パターンの順番に進み、前記デコーダは、
前記指標から、遅延予測のためにマークされた前記少なくとも一つのMBの予測および再構成が遅延されるべきであることを判別する第一判別手段と、
前記さらなるMBを、前記成長パターンに従って一つまたは複数のすでにデコードされた隣接MBから予測する予測手段および前記残差データを加える再構成手段を有する第一デコーダであって、前記判別手段からの信号に際して、遅延予測のためにマークされた前記少なくとも一つのMBの予測および再構成がスキップされる、第一デコーダと、
遅延予測のためにマークされた前記少なくとも一つのMBについて、前記第一デコーダがさらなる隣接MBをデコードしたことを判別する第二判別手段と、
該判別がされると、前記少なくとも一つのマークされたMBを、その残差データおよび前記の少なくとも二つの利用可能なデコードされた隣接MBに従ってデコードする第二デコーダとを有する。
ある側面によれば、エンコードされた画像またはビデオ信号は、MBの遅延されたイントラ予測のための少なくとも一つの指標を含む。
本発明の有利な実施形態が従属請求項、以下の記述および図面において開示される。
本発明の例示的な実施形態が付属の図面を参照して記述される。
イントラ予測においてH.264/AVCにおいて使われるラスタ・スキャン順を示す図である。 フレーム内の例示的な複数のシードMB（開始マクロブロック）の位置を示す図である。 シードMBから出発するイントラ予測のための例示的な成長パターンを示す図である。 複数のシードMBから出発する成長パターンによる画像部分の被覆を示す図である。 推定されたホールドMBの原理を示す図である。 エンコード方法のフローチャートである。 デコード方法のフローチャートである。 エンコード装置の例示的なブロック図である。 デコード装置の例示的なブロック図である。
本発明の一つの原理は、イントラ予測を実行するために、一度に一つのMBをエンコードするのではなく、画像（たとえばビデオ・フレーム）の複数のマクロブロックが同時に予測されるということである。符号化された各MBの（４つまでの）隣接MBが、共通のエッジを使って予測できる。高いR-Dコストをもって符号化される必要があるMBの予測を、さらなる隣接エッジが利用可能になるまで自動的に遅延させることを許容するホールドMB機構が導入される。したがって、よりよい圧縮効率が得られる。
ある実施形態では、イントラ予測を実行するために一つのシード・マクロブロックを使う代わりに、画像のシード・マクロブロックとして複数のマクロブロックが選ばれる。符号化された各シードMBの四つの隣接MBはその共通エッジを使って予測できる。「シードMB」「開始MB」「シード開始MB」および「シード開始点〔出発点〕」の用語は本稿では等価に使われていることを注意しておく。
H.264/AVCでは、各フレームの一つのMB（左上位置のMB）だけがシードMBとして使われる。本発明のある実施形態では、同時にイントラ予測を実行するために複数のシードMBが選ばれる。シードMBはフレーム内にランダムに分布していることができ、あるいは規則によって選択されることができ、あるいはあらかじめ定義されていることができる。より多くのシードMBが選ばれるほど、より高い並列性が導入される。図２では、W×H個のMBをもつ画像において、見本のシードMB設定が一例として示されている。斜線を付けたMBが見本のシードMBである。画像毎のシードMBの数は画像の大きさおよび並列処理のための利用可能な処理能力に依存する。今日一般的な画像の大きさおよび並列プロセッサについては、シードMBの例示的な数は15ないし25である。
エンコーダおよびデコーダは同じ予測順を使う必要があるので、成長パターンはあらかじめ定義されている。成長パターンはエンコーダおよびデコーダに暗黙的に知られるのでもよい。たとえば、標準化されているのでもよい。ある実施形態では、成長パターンは、各現在MBについて、次の予測サイクルのために三つの隣接MBが選択されるというものである。
ある実施形態では、さまざまな異なる成長パターンがあらかじめ定義され、エンコーダはそれらの成長パターンのうちの一つの特定のものを選択し、エンコードのためにどの成長パターンを使ったかを指示する指標をデコーダに送る。同じことは、シードMBおよびその位置についても当てはまる。
図３は、例示的な成長パターンを示している。成長パターンは、どの空間方向に予測が広がるかを定義する。図３に示される成長パターンにおいて、予測はシード・マクロブロックRの全方向（上下左右）に均等に広がる。成長パターンの第一段階が図３のａ）に示されている。シードMB Rから出発して、上下左右方向の四つの隣接MB（または隣り合うMB）A、B、C、Dがすべて予測される。並列処理の使用のため、それらのMBのすべてがシードMB Rから同時に予測される。（H.264/AVCにおけるのとは別に）上左予測を含め、方向性の予測が使用される。通例通り、予測された各MBはもとの（「親」または基準）MBと比較され、差分（残差）が決定され、残差がエンコードされる。さらなるMBを予測するための基準のはたらきをするため、それらのMBは次いで再構成される。
図３のｂ）に示される第二段階では、第一世代MB A〜D（もとのMBまたは再構成されたMB）のそれぞれは、第二世代のMBを予測するための基準のはたらきをする。各第二世代MBは、該第二世代MBとエッジを共有する第一世代MB（単数または複数）から予測される。エッジを共有する二つの第一世代MBがあれば、異なる符号化モードが可能である。それら異なるモードの符号化コストが比較され、符号化コストが最小の解決策が使われる。
この例示的な成長パターンでは、予測方向は好ましくは放射状である。すなわち、たとえばCの右にあるMB C1はCから予測される。Cの下でDの右にあるMB C2は、Cから、DからまたはCおよびDの両方から予測される。異なるイントラ符号化モードの比較によって、たとえばCからの予測が、Dからの予測より安価である（すなわち、結果として得られるデータがより小さくなる）ことが明らかになる。これは局所的な画像内容に依存する。よって、C2はCから予測され、残差が生成されてエンコードされ、イントラ符号化モード指標がエンコードに含められる。これは、そのMBの正しいデコードを保証する。多の第二世代MB A1、B1、D1、A2、B2、C2、D2はそれぞれの親MBから同じようにして予測される。一例として、二つの隣接する第一世代MB A、Bをもつ第二世代MB A2はその両者を予測のために使ってもよい。これは、空間的に対角線方向の（上左）イントラ予測につながる。こうして、図３のｂ）に示した第二段階では、前の世代の再構成された各MBが現在世代の二つ以上のMBを予測するために使われる。
図３のｃ）に示される第三段階では、第二世代MB A1、A2、B1、B2、D2が第三世代MB A11、A12、A13、B11、B12、B13を予測するために使われる。図３のｃ）では、単一のシード開始点Rの成長パターンの一部のみが示されており、いくつかの第二世代MB C1、C2、D1は省略されていることを注意しておく。
ここでもまた、各次世代MBは、該MBを予測するために利用可能な現在世代の一つまたは二つの隣接MBをもつ。よって、図３のｂ）に示された第三段階でも、そして図３のｄ）のようなその後の段階でも、前世代の再構成された各MBは、現在世代の二つ以上のMBを予測するために使われることができる。画像内容に依存して、前に再構成されたMBが一つのMBのみを予測するために使われる、あるいはMBを予測するために全く使われないことも可能である。
記載される方法の一般的な利点は、すべての次世代予測が互いに独立なので、同時に実行されうるということである。同時予測の数は、
an＝(4＋an-1)×S (1)
に従って増加する。ここで、nは世代、anは世代当たりに予測されるMBの数、Sはシード開始点の数である。表１に例を示す（たとえば、一つのシードMBの場合、４個の第一世代MB、８個の第二世代MB、１２個の第三世代MBがある、などである）。
Figure 2011061783
 表１：一つのシードMBについて（中央の列）およびS個のシードMBについて（右の列）の並列予測の数

特定のシード開始点の成長パターンは限られたエリアに制約されないものの、典型的には、原則として、菱形になりうる。成長パターンは、画像の端に到達したとき、あるいは別の成長パターンに出会ったときに終わる。画像内容に依存して、形の逸脱が可能である。これは、エンコード・アルゴリズムが柔軟であり、良好な符号化解決策のための予測方向を見出すことを許容する。複数のシード開始点が使われるとき、それらのシード開始点は、異なるシード開始点の菱形様の形が互いに補完するよう選択されうる。一例が図４に示されている。ここでは、１と記されている６個のMBがシードMBであり、それぞれの隣接MBは図のような順序で決定される。たとえば、第一段階では、第一世代予測のための隣接MB 2、……、5が（好ましくは同時に）決定され、上述したように（好ましくは同時に）予測される。第二段階では、第二世代予測のための新たな隣接MB 6、……、13が（好ましくは同時に）決定され、上述したように（好ましくは同時に）予測される。同時プロセスの数が現在利用可能な処理能力にとって大きくなりすぎる場合、いつでも同時処理を複数の逐次プロセスに分割することが可能である。たとえば、1000の同時プロセスの代わりに、2×500の同時プロセスのシーケンスを実行することが可能である、などである。
記載される成長パターンの一つの利点は、一般に、単独MBのイントラ予測モードを除いて、パターンが拡散するために追加的な方向情報が必要されないということである。しかしながら、時に、拡散をわずかに修正し、何らかの追加的なガイド情報を提供することが有利であることが見出されている。
本発明のある側面によれば、以下に述べるように、ホールドMBを使うことによって、拡散プロセスに追加的な自由度を加えることができる。（他のMBに比べて）比較的高い、たとえばある閾値より大きいR-DコストをもつMBに遭遇したとき、そのMBは処理を保留される。そのようなMBはホールドMBと呼ばれる。それらのMBの予測は、少なくとも一つのさらなる隣接MBが予測のために利用可能になるまで先送り〔遅延〕される。そのようなホールドMBをマークするために指標が使われる。ある実施形態では、各ホールドMBについてフラグがエンコードされ、そのようなホールドMBの予測は先送りされる。アルゴリズムは、他のMBについて上述したように通常通り進行する。デコーダはエンコーダに従う必要があるため、予測先送りマークもエンコーダ出力信号中にエンコードされる。ホールドMBに隣接する一つまたは複数の追加的なMBがエンコードされたとき（しがたって、デコードの際に、予測のために利用可能になるとき）、そのホールドMBは利用可能な隣接MBから予測される。通例、これはよりよい、より精密な予測につながる。MBはエンコードの順番にデコードされることを注意しておく。よって、ホールドMBのホールドを解決し、それを予測する時は、エンコーダおよびデコーダにおいて独立して検出できる。
ある実施形態では、ホールドMBとマークされたMBは、少なくとも一つの追加的な隣接MBが利用可能であるときに、符号化コストには関わりなく予測される。通例、その追加的な隣接MBは予測のために使われる。
別の実施形態では、符号化コストがまだ前記閾値より高く、そのホールドMBの別の隣接MBがまだエンコードされていない場合には、予測はさらに先送りされてもよい。この場合、予測が行われるのは、前記閾値未満の符号化コストでの予測を可能にする十分な数の隣接MBが利用可能であるときに、あるいは（最も遅くても）そのホールドMBのすべての隣接MBがエンコードされたときに、である。
ある実施形態では、前記少なくとも一つの追加的な隣接MBは、ホールドMBを予測するために常に使われる。
ある実施形態では、種々のイントラ符号化モードの予測品質および符号化コストが、新たに、それぞれの新しい追加的な隣接MBに関して比較され、R-D最適化を使って最良のイントラ符号化モードが決定される。
デコーダはエンコーダと同じモードを使う必要がある。上述したモードのうちの異なるモードが使われることができる場合、実際に使われたモードについての個別のモード指標がエンコーダにおいてエンコードされ、デコーダにおいて検出される。これはたとえば、ヘッダ情報、管理情報などとしてである。
ホールドMBについてのR-Dコストの閾値は、たとえば以下の方法の一つにおいて導出できる。ある実施形態では、初期値が全シードMBの平均R-Dコストに設定される。
ある実施形態では、前記閾値は固定値であり、その固定値は、フレームをエンコードする前に、経験的データ、統計的解析、入力フレーム毎のシードMBの事前解析などから得られる履歴情報からあらかじめ定義されるか導出されることができる。
別の実施形態では、閾値はMBレベル、フレーム・レベルまたはGOPレベルで適応的である。MBレベルの例では、MBの予測を先送りするためのR-Dコストの現在閾値（current threshold）thrcurは
thrcur＝w1×thrhis＋w2×rd_costlast （ここでw1＋w2＝1） (2)
として計算できる。ここで、thrcurは現在MBについてのR-Dコスト閾値、thrhisは最後に符号化されたMBについてのR-Dコスト閾値、rd_costlastは最後のMBを符号化するためにR-Dコストである。w1およびw2は重み係数であり、これらはカスタマイズによってまたはプリセットを使って定義できる。例としては、w1＝0.5／w2＝0.5、w1＝0.3／w2＝0.7またはw1＝0.9／w2＝0.1である。閾値計算および使用は、デコードについては行う必要はない。
図５に示されるようなある実施形態では、MBについての予測先送りを決定する進んだ方法が使われる。再構成されている隣接エッジが一つだけ利用可能である現在の未符号化MBについて、そのMBがホールドMBとしてマークされるか否かを、そのMBを実際にエンコードすることなく推定することができる。ホールドMBのその親MB（またはルート）への方向を示す変数「hold_direction〔ホールド方向〕」が導入される。現在MBについて、隣接MBがホールドMBであるか否かが検査される。隣接MBがホールドMBであり、現在のMBのそのルートへの方向が、その隣接するホールドMBの一つのホールド方向と同じであれば、現在のMBはホールドMBとしてマークされる。図５では、以前にエンコードされたマクロブロックSAが二つのマクロブロックAおよびSBのルートである。マクロブロックSBはマクロブロックBのルートである。マクロブロックAはホールドMBとして設定されており、ホールド方向は左である。すなわち、マクロブロックAだけからのその予測は、高価すぎると判定され、よって先送りにされたのである。マクロブロックBは、すでにホールドMBとしてマークされたその隣接マクロブロックAと同じ予測方向をもつので、ホールドMBであると推定される。
ある実施形態では、マクロブロックBは、マクロブロックBからそのルート・マクロブロックSBへの方向が隣接ホールドMB Aのホールド方向と同じであるというだけの理由で、追加的な計算なしでホールドMBであると推定される。この実施形態の利点は、ホールドMBが簡単に決定でき、予測の数が減らされ、追加的な計算動作またはモードが要求されないということである。別のエッジからのマクロブロックMBRが利用可能なときに、ホールドMBが予測され、ホールド条件が解決されてもよい。図５では、そのような解決するマクロブロックMBRは右のエッジから来るように示されているが、この場合、マクロブロックBの下のエッジから、あるいは上または右のエッジから来てもよい。同じまたは別の成長パターンから来てもよい。
もう一つの実施形態では、ホールドMBを決定するための上記の初期プロセスはマクロブロックBについて再び実行される。ある実施形態では、異なる閾値thrcurおよび／または修正された重みパラメータw1、w2が使用される。ホールド条件の解決が二つ以上のホールドMBが予測されることにつながるので、単独のホールドMBについてよりも高い符号化コストが受け容れ可能であってもよい。この実施形態の利点は、ホールド条件は比較的すぐ解決され、よってホールドMBはより早期に予測され、符号化されるということである。これは、同時に存在するホールドMBの量を減らす。
いくつかのMBがホールドMBであると推定するという概念は、先のエンコード結果に基づいて望ましくない予測元からの悪い予測結果を防止することである。ホールドMBについてのさらなる予測元を待つことが、よりよい予測性能に（よって改善されたエンコード性能に）つながる。
一般に、符号化されていないホールドMBのリストを維持することは必要でない。ある実施形態では、各現在MBの各隣接MBについて、すでにエンコードされているか否かが検査され、遅くとも隣接MBがエンコードされておらずその隣接MBの四つの隣接MBすべてが利用可能であるときにはその隣接MBはエンコードされる。これは、符号化コストに関わりなくであってもよいし、あるいはその隣接MBの隣接MBの一つ、一部または全部を使うモードのうちから最良の符号化モードを決定することによってでもよい。
ある実施形態では、エンコード・プロセスはツー・パスの手順である。第一のパスは各MBの予測、符号化および再構成を実行する。MBが予測から保留される場合、そのMBはのちに予測される。第二のパスは、フレームの全MBに対してエントロピー符号化を実行する。ホールドMBとしてマークされているMBに遭遇すると、ビットストリーム中に指標flag_hold_MB〔フラグ・ホールドMB〕が挿入される。これは、デコーダに、このMBへのエントロピー・デコードを実行するがまだ予測はしないよう告げる。このMBの予測は、より多くの隣接エッジが利用可能になったときに行われる。そのことは、デコーダによって自律的に監督され、エンコーダとの同期的な処理を保証する。ある実施形態では、エンコーダはビットストリームを固定順（あらかじめ定義された成長パターン順）で出力する。デコーダはそれと同じ順序に従う。ホールドMBについては、デコーダはエントロピー・デコードのみを実行し、このMBについてのデコード・プロセスを完了するためにより多くのエッジを待つ。したがって、ビットストリーム中のMB順は、マクロブロック型（ホールドMBか非ホールドMBか）によらず固定された順序である。
図６は、本発明のエンコード側面の一つの実施形態のフローチャートを示している。ここで、画像データをエンコードする方法が、MBをそれぞれの隣接MBから予測する段階（ｐ）であって、該予測は少なくとも一つの開始点MBから出発し、どの一つのMBについての予測方向もあらかじめ定義された成長パターンに従って左、右、上または下として選択される、段階と、少なくとも一つのMBについて、（前記予測方向を使うときの）符号化コストがある閾値よりも高いことを判別する段階（ｄｔ１）と、前記判別がされると、前記少なくとも一つのMBを遅延予測のためにマークして（ｍ）、前記少なくとも一つのMBのエンコードをスキップする段階とを有する。さらなる段階は、遅延予測のためにマークされた前記少なくとも一つのMBを除いて前記画像のMBをエンコードする段階（ｅ）である。エンコードする段階（ｅ）は、前記予測に基づいて残差データを決定するステップ（ｄｒ）および前記残差データをエンコードするステップ（ｅｒ）を含む。前記少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされたあとに、前記少なくとも一つのマークされたMBを予測する段階（ｐ′）と、前記画像のマークされたMBをエンコードする段階（ｅ）であって、結果として得られるエンコード・データは前記マークを含む、段階とを含む。初期段階（図示せず）において、隣接MBが決定される。予測する段階ｐおよびｐ′は上述したように同様だが同一ではない。ただし、簡単のために一つのブロックｐとしてのみ示されている。
本エンコード方法はさらに、現在MBについて、隣接MBが遅延予測のためにマークされたことを判別する段階（ｄｔ２）を含む。ある実施形態では、前記段階は（少なくとも一つのMBについて符号化コストがある閾値より高いことを判別する前記段階より前に）隣接MBが現在MBと同じ予測方向を使うことを判別（ｄｔ３）し、前記判別がされると、現在MBも遅延予測のためにマークする段階を含む。
ある実施形態では、本エンコード方法はさらに、上述したように、現在画像に従って前記符号化コスト閾値を計算する段階（ｃｃ）を含む（式(2)参照）。
ある実施形態では、ビデオまたは画像データをエンコードする方法は：
（ａ）複数のあらかじめ定義された開始点MBを現在MBとして選択し、すべての開始点MBについて同時に以下の段階、すなわち
（ｂ１）イントラ符号化モードを決定し、イントラ符号化を実行し、各開始点MBを再構成する段階と；
（ｂ２）第一のループを、以下の段階、すなわち、
（ｃ１）あらかじめ定義された成長パターンに従って、同時に各現在MBの少なくとも二つの隣接MBを選択する段階であって、各隣接MBは現在MBの上、下、左または右の方向にある、段階と；
（ｃ２）現在MBを解放し、選択されたMBを現在MBとして設定し；現在MBのうちの複数について、同時に以下の段階、すなわち
（ｄ１）現在MBについて、再構成された隣接MBに基づいて、複数の異なるイントラ符号化モードに従った符号化コストを推定し；
（ｄ２）少なくとも一つのエンコード・モードの推定された符号化コストが閾値未満であるかどうかを判定し；
（ｄ３）もしそうであれば（すなわち、少なくとも一つの推定された符号化コストが閾値未満であれば）、現在MBについてのイントラ符号化モードを選択し、該MBを選択されたエンコード・モードを使ってエンコードしてエンコードされたMBを再構成し；
（ｄ４）もしそうでなければ（すなわち、どの推定された符号化コストも閾値未満でなければ）、現在MBについて予測延期指標（flag_hold_mb）を記憶し、現在MBについての第一のループを打ち切ってリスタートし；
（ｄ５）現在MBの少なくとも一つの隣接MBについて、予測延期の指標（flag_hold_mb）が記憶されたかどうかを判定し、もしそうであれば、前記隣接MBについてのイントラ符号化モードを決定し、前記隣接MBを決定されたモードに従って符号化することによって、以前の予測延期を解決し；
（ｄ６）少なくとも一つの現在MBが、エンコードされておらず予測延期指標（flag_hold_mb）が記憶されていない少なくとも一つの隣接MBを有する場合、第一のループを打ち切ってリスタートし；そうでない場合には第一のループを終了する段階；
を実行する段階と、
を繰り返すことによって実行する段階と、
を実行し、
（ｅ）第一のループを終了後、各MBについてイントラ符号化されたMBデータのエントロピー・エンコードを実行し、予測延期指標（flag_hold_mb）がデコーダにおける使用のためにエンコードされたデータに含められる、
ことを含む。
図７は、本発明のデコード側面の一つの実施形態のフローチャートを示している。ここで、エンコードされた画像データをデコードする方法が、
少なくとも一つの開始点MBについてのデータを抽出する段階と（ｅｓ）；
一つまたは複数のさらなるMBについて残差データを抽出する段階と（ｅｆ）；
前記さらなるMBのうち少なくとも一つについて、遅延予測のためのマークのはたらきをする指標を抽出する段階（ｅｉ）と；
前記開始点MBおよびさらなるMBをデコードする段階（ｄｅｃ）とを有し、前記デコードは前記開始点MBから出発して（ｄｅｃｓ）、左、右、上および下の予測方向を含むあらかじめ定義された成長パターンの順番に進み、前記デコードは、前記さらなるMBを前記成長パターンに従って一つまたは複数のすでにデコードされた隣接MBから予測して（ｐｆ）前記残差データを加える（ｒｆ）ステップを含み、遅延予測のためにマークされた前記少なくとも一つのMBの予測はスキップされる（というより、実際には先送りされる）、段階と；
遅延予測のためにマークされた前記少なくとも一つのMBについて、さらなる隣接MBがデコードされたことを判別し（ｄｔｄ）、該判別がされると、前記少なくとも一つのマークされたMBを、その残差データおよび前記の少なくとも二つの利用可能なデコードされた隣接MBに従ってデコードする（ｐｄ、ｒｄ）段階とを含む。
エンコード方法またはデコード方法のある実施形態では、前記少なくとも一つのシードMBは画像のエッジ上にはない。ある実施形態では、複数のシードMBが画像上に均等に、すなわち互いから最大距離をもって分布される。
図８は、本発明のエンコード側面のある実施形態を示す。ここで、画像データをエンコードする装置（ＥＮＣ）が、MBをそれぞれの隣接MBから予測する第一予測手段Ｐ１であって、ここで、該予測は少なくとも一つの開始点MBから出発し、どの一つのMBについての予測方向も、左、右、上および下の方向の予測を含むあらかじめ定義された成長パターンに従って選択される、第一予測手段と、
少なくとも一つのMBについて、前記の選択された予測方向に従ったエンコード・コストがある閾値よりも高いことを判別する第一判別手段ＤＴ１と、
前記判別がされると、前記少なくとも一つのMBを遅延予測のためにマークするマーク付け手段Ｍと、
遅延予測のためにマークされた前記少なくとも一つのMBを除いて前記画像のMBをエンコードする第一エンコーダＥ１であって、前記予測に基づいて残差データを決定する残差決定手段ＤＴｒ，ｅおよび前記残差データをエンコードする残差エンコード手段Ｅｒを有し、遅延予測のためにマークされている前記少なくとも一つのMBをスキップする、第一エンコーダと、
前記少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされたことを判別する第二判別手段ＤＴ２と、
前記少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされたあとに、前記少なくとも一つのマークされたMBを予測する第二予測手段Ｐ２と、
前記画像のマークされたMBをエンコードする第二エンコード手段Ｅ２であって、結果として得られるエンコード・データは前記マークを含む、第二エンコード手段とを有する。
ある実施形態では、残差決定手段ＤＴｒ，ｅにおいて実行される残差決定は、予測されたMBともとのMBとの間の比較を含む。ある実施形態では、第二判別手段ＤＴ２が、現在エンコードされているMBについて、隣接MBがホールドMBとしてマークされたことを判別し、制御ユニットＣｔｒｌに信号を送る。制御ユニットＣｔｒｌは、メモリＭＥＭからホールドMBのデータを取得してそれを第二予測手段Ｐ２および第二エンコード手段Ｅ２に与えることを実施する。それによりホールドMBが予測され、符号化されることができる。第二予測手段Ｐ２および第二のエンコード手段Ｅ２は、ここでは別個に描かれているが、第一予測手段Ｐ１および第一のエンコード手段Ｅ１と同一であってもよいことを注意しておく。
ある実施形態では、エンコード装置はさらに、現在MBについて、同じ予測方向を使う隣接MBが遅延予測のためにマークされたことを判別する第三判別手段ＤＴ３と、前記判別がされると現在MBを遅延予測のためにマークする第二のマーク付け手段Ｍ２とを有する。
図９は、本発明のデコード側面のある実施形態を示している。ここで、エンコードされた画像データをデコードする装置が、
少なくとも一つの開始点MBのデータ、一つまたは複数のさらなるMBの残差データおよび前記さらなるMBのうち少なくとも一つについて、遅延予測のためのマークである指標を抽出する抽出手段Ｅｓ，Ｅｆ，Ｅｉと、
前記MBをデコードする第一デコーダＤＥＣ１とを有し、前記デコードは前記開始点MBから出発してＤｓ、左、右、上および下の予測方向を含むあらかじめ定義された成長パターンの順番に前記さらなるMBをデコードすることを進め、前記第一デコーダは、
前記指標から、前記少なくとも一つのMBの予測および再構成が遅延されるべきであることを判別する第一判別手段ＤＴｄと、前記さらなるMBを、前記成長パターンに従って一つまたは複数のすでにデコードされた隣接MBから予測する予測手段Ｐｆおよび前記残差データを加える再構成手段Ｒｆを有し、前記第一判別手段ＤＴｄからの信号ＳＫに際して、遅延予測のためにマークされた前記少なくとも一つのMBの予測および再構成がスキップされる、第一デコーダと、
遅延予測のためにマークされた前記少なくとも一つのMBについて、前記第一デコーダにおいてさらなる隣接MBがデコードされたことを判別する第二判別手段ＤＴｒ，ｄと、
該判別がされると、前記少なくとも一つのマークされたMBを、その残差データおよび少なくとも二つの利用可能なデコードされた隣接MBに従ってデコードする第二デコーダＤＥＣ２とを有する。
当業者には明白であるように、抽出手段Ｅｓ，Ｅｆ，Ｅｉは単一の手段であってもよく、あるいは二つまたは三つの別個の手段であってもよい。第二デコーダＤＥＣ２はホールドMBをデコードするために予測ユニットＰｄおよび再構成ユニットＲｄを有していてもよい。しかしながら、これらは上述した予測手段Ｐｆおよび再構成手段Ｒｆと同一であってもよい。
ある実施形態では、エンコード装置は前記エンコードされた画像データをエントロピー・エンコードするエントロピー符号化器を有する。
ある実施形態では、デコード装置は画像デコードの前に前記エントロピー・エンコードされた画像データをエントロピー・デコードするエントロピー・デコーダを有する。デコーダはメモリＭＥＭからそのデータを受け取り、メモリＭＥＭにそのデータを与えてもよい。
たとえば特にMPEG符号化またはH.264/AVCに使用可能なある実施形態では、マクロブロックがホールドMBとしてマークされているか否かを示すために、単一ビットのインジケータがmacroblock_layer〔マクロブロック層〕シンタックス・テーブル中に挿入される。
Figure 2011061783
 表２：H.264/AVCについてのシンタックス例
マクロブロック層シンタックスの一例が表２に示されている。イントラ符号化されたフレームにおいて、シンタックス要素flag_hold_mb、たとえばフラグが、現在MBがホールドMBとしてマークされているか（flag_hold_mb＝1）いないか（flag_hold_mb＝0）を示す。
本発明は純粋に例として記述してきたのであり、本発明の範囲から外れることなく細部の修正ができることは理解されるであろう。
好ましい実施形態に適用された本発明の基本的な新しい特徴について図示し、記述し、指摘してきたが、記述された装置および方法における、開示されたデバイスの形および詳細やその動作におけるさまざまな省略および置換および変更が、本発明の精神から外れることなく当業者によってなしうることは理解されるであろう。本発明はマクロブロックに関して開示されてきたが、当業者は、本稿に記載される方法および装置が他のブロック・サイズに適用されうることを認識するであろう。実質的に同じ仕方で実質的に同じ機能を実行して同じ結果を達成する要素のあらゆる組み合わせが本発明の範囲内であることが明示的に意図される。記載された実施形態から別のものへの要素の置換も完全に意図され、考えられている。
たとえば、エンコード手順における判別段階は、隣接MBの状態を判別するものと考えてもよい。隣接MBがホールドMBとしてマークされていれば、ホールド条件はある実施形態ではすぐ解除されてもよく、それにより、現在MBおよび隣接MBの両方がエンコードされる。別の実施形態では、ホールド条件は上記した条件のもとに現在MBについて推定されてもよく、それにより、現在MBおよび隣接MBが両方ともホールドMBとなる。後者の場合、推定は符号化コストに依存する条件付きであってもよく、符号化コスト閾値は軽減されてもよい。
本記載ならびに（適切な場合には）請求項および図面において開示される各特徴は、独立して、あるいは任意の適切な組み合わせにおいて提供されてもよい。諸特徴は、適宜、ハードウェア、ソフトウェアまたは両者の組み合わせにおいて実装されうる。接続は、適用可能な場合には、無線接続または有線の、必ずしも直接や専用でない接続として実装されてもよい。
請求項に現れる参照符号は単に例示のためであって、特許請求の範囲に対して限定する効果をもつものではない。
ｐ MBをそれぞれの隣接MBから予測する（predict）
ｄｔ１ 少なくとも一つのMBについて符号化コストが閾値よりも高いことを判別（determine）
ｍ 前記少なくとも一つのMBを遅延予測のためにマーク（mark）
ｅ マークされた前記少なくとも一つのMBを除いてMBをエンコード（encode）
ｄｒ 前記予測に基づいて残差（residual）データを決定（determine）
ｅｒ 残差データをエンコード
ｐ′ マークされたMBを予測
ｅ マークされたMBをエンコード
ｃｃ 符号化コスト閾値（coding cost threshold）を計算（calculate）

ｅｓ 少なくとも一つの開始点MB（starting point MB）についてのデータを抽出（extract）
ｅｆ 一つまたは複数のさらなるMB（further MB）について残差データを抽出
ｅｉ 遅延予測のためのマークのはたらきをする指標（indication）を抽出
ｄｅｃ 開始点MBおよびさらなるMBをデコード
ｄｅｃｓ 開始点MB（starting point MB）から出発
ｐｆ さらなるMB（further MB）を成長パターンに従って一つまたは複数のすでにデコードされた隣接MBから予測（predict）
ｒｆ 残差データを加える
ｄｔｄ 遅延予測のためにマークされた前記少なくとも一つのMBについて、さらなる隣接MBがデコードされた（decoded）ことを判別（determine）
ｐｄ、ｒｄ 少なくとも一つのマークされたMBを、その残差データおよび少なくとも二つの利用可能なデコードされた隣接MBに従ってデコード

ＥＮＣ 画像データをエンコードする装置
Ｐ１ MBをそれぞれの隣接MBから予測する（predict）第一予測手段
ＤＴ１ 少なくとも一つのMBについて、選択された予測方向に従ったエンコード・コストが閾値よりも高いことを判別する（determine）第一判別手段
Ｍ 少なくとも一つのMBを遅延予測のためにマークするマーク付け手段
Ｅ１ 遅延予測のためにマークされた少なくとも一つのMBを除いてMBをエンコードする第一エンコーダ
ＤＴｒ，ｅ 予測に基づいて残差データを決定する（determine）残差決定手段
Ｅｒ 残差（residual）データをエンコードする（encode）残差エンコード手段
ＤＴ２ 少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされたことを判別する第二判別手段
Ｐ２ 少なくとも一つのマークされたMBの少なくとも一つのさらなる隣接MBがエンコードされたあとに、前記少なくとも一つのマークされたMBを予測する第二予測手段
Ｅ２ マークされたMBをエンコードする第二エンコード手段
Ｃｔｒｌ 制御ユニット
ＭＥＭ メモリ
ＤＴ３ 同じ予測方向を使う隣接MBが遅延予測のためにマークされたことを判別する第三判別手段
Ｍ２ 現在MBを遅延予測のためにマークする第二のマーク付け手段

Ｅｓ，Ｅｆ，Ｅｉ 少なくとも一つの開始点MBのデータ、一つまたは複数のさらなるMBの残差データおよび前記さらなるMBのうち少なくとも一つについて、遅延予測のためのマークである指標を抽出する抽出手段
ＤＥＣ１ MBをデコードする第一デコーダ
Ｄｓ 開始点MBから出発
ＤＴｄ 少なくとも一つのMBの予測および再構成が遅延される（deferred）べきであることを判別する第一判別手段
Ｐｆ さらなるMBを、成長パターンに従って一つまたは複数のすでにデコードされた隣接MBから予測する予測手段
Ｒｆ 残差データを加える再構成手段
ＳＫ 信号
ＤＴｒ，ｄ さらなる隣接MBがデコードされたことを判別する第二判別手段
ＤＥＣ２ マークされたMBを、その残差データおよび少なくとも二つの利用可能なデコードされた隣接MBに従ってデコードする第二デコーダ
Ｐｄ 予測ユニット
Ｒｄ 再構成ユニット

Claims (17)

  1. 画像データをエンコードする方法であって、
    ・マクロブロックをそれぞれの隣接マクロブロックから予測する段階（ｐ）であって、複数のマクロブロックが同時に予測され、該予測は少なくとも一つの開始点マクロブロックから出発し、どの一つのマクロブロックについての予測方向も、予測がどの空間方向に広がるかを定義するあらかじめ定義された成長パターンに従って左、右、上または下として選択される、段階と；
    ・少なくとも一つのマクロブロックについて、選択された予測方向に従った符号化コストがある閾値よりも高いことを判別する段階（ｄｔ１）と；
    ・前記判別がされると、前記少なくとも一つのマクロブロックを遅延予測のためにマークして（ｍ）、前記少なくとも一つのマクロブロックのエンコードをスキップする段階と；
    ・遅延予測のためにマークされた前記少なくとも一つのマクロブロックを除いて前記画像のマクロブロックをエンコードする段階（ｅ）であって、前記予測に基づいて残差データを決定するステップ（ｄｒ）および前記残差データをエンコードするステップ（ｅｒ）を含む、段階と；
    ・前記少なくとも一つのマークされたマクロブロックの少なくとも一つのさらなる隣接マクロブロックがエンコードされたことを判別する段階と；
    ・前記少なくとも一つのマークされたマクロブロックの少なくとも一つのさらなる隣接マクロブロックがエンコードされたあとに、前記少なくとも一つのマークされたマクロブロックを予測する段階（ｐ）と；
    ・前記画像のマークされたマクロブロックをエンコードする段階（ｅ）であって、結果として得られるエンコード・データは前記マークを含む、段階とを含む、
    方法。
  2. 請求項１記載の方法であって、現在マクロブロックについて隣接マクロブロックがエンコードされたことを判別する前記段階の前に、前記隣接マクロブロックが遅延予測のためにマークされたことと、現在マクロブロックが前記隣接マクロブロックと同じ予測方向を使うこととを判別し、前記判別がされると、現在マクロブロックも遅延予測のためにマークする段階を含む、方法。
  3. 請求項１または２記載の方法であって、現在画像に従って前記の符号化コスト閾値を計算する段階（ｃｃ）をさらに含み、前記符号化コスト閾値がマクロブロック・レベルで導出される場合、前記符号化閾値は前の符号化コスト閾値と、前のマクロブロックのレート‐歪みコストから計算される、方法。
  4. エンコードされた画像データをデコードする方法であって、
    ・少なくとも一つの開始点マクロブロックについてのデータを抽出する段階と（ｅｓ）；
    ・一つまたは複数のさらなるマクロブロックについて残差データを抽出する段階と（ｅｆ）；
    ・前記さらなるマクロブロックのうち少なくとも一つについて、遅延予測のためのマークである指標を抽出する段階（ｅｉ）と；
    ・前記開始点マクロブロックおよびさらなるマクロブロックをデコードする段階（ｄｅｃ）であって、前記デコードは前記開始点マクロブロックから出発して、左、右、上および下の予測方向を含むあらかじめ定義された成長パターンの順序で進み、前記成長パターンは予測がどの空間方向に広がるかを定義するものであり、前記デコードは、複数の前記さらなるマクロブロックを前記成長パターンに従って一つまたは複数のすでにデコードされた隣接マクロブロックから同時に予測して（ｐｆ）前記残差データを加える（ｒｆ）ステップを含み、遅延予測のためにマークされた前記少なくとも一つのマクロブロックの予測はスキップされる、段階と；
    ・遅延予測のためにマークされた前記少なくとも一つのマクロブロックについて、さらなる隣接マクロブロックがデコードされたことを判別する段階と；
    ・該判別がされると、前記少なくとも一つのマークされたマクロブロックを、その残差データおよび前記の少なくとも二つの利用可能なデコードされた隣接マクロブロックに従ってデコードする（ｐｄ、ｒｄ）段階とを含む、
    方法。
  5. 請求項１ないし４のうちいずれか一項記載の方法であって、前記少なくとも一つの開始点マクロブロックは前記画像のエッジ上にはない、方法。
  6. 請求項１ないし５のうちいずれか一項記載の方法であって、前記エンコードされた画像データをエントロピー・エンコードする段階と、前記画像デコードの前に前記エントロピー・エンコードされた画像データをエントロピー・デコードする段階とをさらに含む、方法。
  7. 請求項１ないし６のうちいずれか一項記載の方法であって、エンコードまたはデコードが同時に二つ以上の開始点マクロブロックから開始される、方法。
  8. 請求項１ないし６のうちいずれか一項記載の方法であって、前にエンコードまたはデコードされたマクロブロックに対して上、下、左または右に隣接する少なくとも二つのマクロブロックの前記予測が同時に実行される、方法。
  9. 請求項１ないし６のうちいずれか一項記載の方法であって、前記あらかじめ定義された成長パターンが前記予測する段階のための次のマクロブロックを選択するために使われ、前記あらかじめ定義された成長パターンは、現在マクロブロックについて、上、下、左および右方向にある三つの隣接するマクロブロックを選択することを含む、方法。
  10. 画像データをエンコードする装置（ＥＮＣ）であって、
    ・同時に複数のマクロブロックをそれぞれの隣接マクロブロックから予測する第一予測手段（Ｐ１）であって、ここで、該予測は少なくとも一つの開始点マクロブロックから出発し、どの一つのマクロブロックについての予測方向も、左、右、上および下の方向の予測を含むあらかじめ定義された成長パターンに従って選択され、前記成長パターンは予測がどの空間方向に広がるかを定義するものである、第一予測手段と；
    ・少なくとも一つのマクロブロックについて、前記の選択された予測方向に従ったエンコード・コストがある閾値よりも高いことを判別する第一判別手段（ＤＴ１）と；
    ・前記判別がされると、前記少なくとも一つのマクロブロックを遅延予測のためにマークするマーク付け手段（Ｍ）と；
    ・遅延予測のためにマークされた前記少なくとも一つのマクロブロックを除いて前記画像のマクロブロックをエンコードする第一エンコーダ（Ｅ１）であって、前記予測に基づいて残差データを決定する残差決定手段（ＤＴｒ，ｅ）および前記残差データをエンコードする残差エンコード手段（Ｅｒ）を有し、遅延予測のためにマークされている前記少なくとも一つのマクロブロックをスキップする、第一エンコーダと；
    ・前記少なくとも一つのマークされたマクロブロックの少なくとも一つのさらなる隣接マクロブロックがエンコードされたことを判別する第二判別手段（ＤＴ２）と；
    ・前記少なくとも一つのマークされたマクロブロックの少なくとも一つのさらなる隣接マクロブロックがエンコードされたあとに、前記少なくとも一つのマークされたマクロブロックを予測する第二予測手段（Ｐ２）と；
    ・前記画像のマークされたマクロブロックをエンコードする第二エンコード手段（Ｅ２）であって、結果として得られるエンコード・データは前記マークを含む、第二エンコード手段とを有する、
    装置。
  11. 請求項１０記載の装置であって、現在マクロブロックについて、同じ予測方向を使う隣接マクロブロックが遅延予測のためにマークされたことを判別する第三判別手段（ＤＴ３）と、前記判別がされると前記現在マクロブロックを遅延予測のためにマークする第二のマーク付け手段（Ｍ２）とを有する、装置。
  12. 前記エンコードされた画像データをエントロピー・エンコードするエントロピー符号化器をさらに有する、請求項１０または１１記載の装置。
  13. エンコードされた画像データをデコードする装置であって、
    ・少なくとも一つの開始点マクロブロックのデータ、一つまたは複数のさらなるマクロブロックの残差データおよび前記さらなるマクロブロックのうち少なくとも一つについて遅延予測のためのマークである指標を抽出する抽出手段（Ｅｓ，Ｅｆ，Ｅｉ）と；
    ・前記マクロブロックをデコードする第一デコーダ（ＤＥＣ１）とを有し、デコードは前記開始点マクロブロックから出発して、左、右、上および下の方向の予測を含むあらかじめ定義された成長パターンの順序で同時に複数の前記さらなるマクロブロックをデコードすることを進め、前記成長パターンは予測がどの空間方向に広がるかを定義するものであり、前記デコーダは、
    ・前記指標から、遅延予測のためにマークされている前記少なくとも一つのマクロブロックの予測および再構成が遅延されるべきであることを判別する第一判別手段（ＤＴｄ）と、前記さらなるマクロブロックを、前記成長パターンに従って一つまたは複数のすでにデコードされた隣接マクロブロックから予測する予測手段（Ｐｆ）と、前記残差データを加える再構成手段（Ｒｆ）とを有し、前記第一判別手段（ＤＴｄ）からの信号（ＳＫ）に基づいて、遅延予測のためにマークされた前記少なくとも一つのマクロブロックの予測および再構成がスキップされ；
    ・遅延予測のためにマークされた前記少なくとも一つのマクロブロックについて、前記第一デコーダがさらなる隣接マクロブロックをデコードしたことを判別する第二判別手段（ＤＴｒ）と；
    ・該判別がされると、前記少なくとも一つのマークされたマクロブロックを、その残差データおよび少なくとも二つの利用可能なデコードされた隣接マクロブロックに従ってデコードする第二デコーダ（ＤＥＣ２、Ｐｄ、Ｒｄ）とを有する、
    装置。
  14. 前記画像デコードの前に前記エントロピー・エンコードされた画像データをエントロピー・デコードするエントロピー・デコーダをさらに有する、請求項１３記載の装置。
  15. エンコードまたはデコードが同時に二つ以上の開始点マクロブロックから開始される、請求項１０ないし１４のうちいずれか一項記載の装置。
  16. 請求項１０ないし１５のうちいずれか一項記載の装置であって、前にエンコードまたはデコードされたマクロブロックに対して上、下、左または右に隣接する少なくとも二つのマクロブロックの前記予測が同時に実行される、装置。
  17. 請求項１０ないし１５のうちいずれか一項記載の装置であって、前記あらかじめ定義された成長パターンが前記予測のための次のマクロブロックを選択するために使われ、前記あらかじめ定義された成長パターンは、現在マクロブロックについて、上、下、左および右方向にある三つの隣接するマクロブロックを選択することを含む、装置。
JP2010198005A 2009-09-10 2010-09-03 保留マクロブロックを使った画像エンコードの方法および装置ならびに保留マクロブロックを使った画像デコードの方法および装置 Expired - Fee Related JP5750249B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP09305827A EP2299717A1 (en) 2009-09-10 2009-09-10 Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs
EP09305827.9 2009-09-10

Publications (2)

Publication Number Publication Date
JP2011061783A true JP2011061783A (ja) 2011-03-24
JP5750249B2 JP5750249B2 (ja) 2015-07-15

Family

ID=42040355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010198005A Expired - Fee Related JP5750249B2 (ja) 2009-09-10 2010-09-03 保留マクロブロックを使った画像エンコードの方法および装置ならびに保留マクロブロックを使った画像デコードの方法および装置

Country Status (4)

Country Link
US (1) US9036702B2 (ja)
EP (2) EP2299717A1 (ja)
JP (1) JP5750249B2 (ja)
CN (1) CN102025986B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5594841B2 (ja) * 2011-01-06 2014-09-24 Ｋｄｄｉ株式会社 画像符号化装置及び画像復号装置
EP2719182B1 (en) * 2011-06-07 2018-05-02 Thomson Licensing Method for encoding and/or decoding images on macroblock level using intra-prediction
US9699456B2 (en) 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
GB2551088B (en) 2011-10-17 2018-09-19 Kt Corp Method and apparatus for encoding/decoding image
CN106650778B (zh) * 2016-10-14 2019-08-06 北京邮电大学 一种词袋模型优化和图像识别的方法及装置
US10373029B2 (en) 2017-07-31 2019-08-06 Kyocera Document Solutions Inc. Data processing method, data processing device that execute font processing efficiently using a plurality of cores of processor, and recording medium therefor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002466A1 (en) * 2004-06-01 2006-01-05 Samsung Electronics Co., Ltd. Prediction encoder/decoder and prediction encoding/decoding method
JP2006129285A (ja) * 2004-10-29 2006-05-18 Sony Corp 符号化及び復号装置並びに符号化及び復号方法
JP2006246524A (ja) * 2002-04-29 2006-09-14 Nokia Corp デジタル画像内の領域のサイズ、形状および位置を表示する方法、デジタル画像を符号化してビットストリームを生成するためのエンコーダ、ビットストリームを復号化するためのデコーダ、およびコンピュータ・プログラム製品
JP2009027693A (ja) * 2007-06-18 2009-02-05 Canon Inc 動画像圧縮符号化装置
JP2009055542A (ja) * 2007-08-29 2009-03-12 Toshiba Corp 動画像符号化装置および動画像符号化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972260A (en) * 1988-08-22 1990-11-20 Matsushita Electric Industrial Co., Ltd. Apparatus for coding a moving-picture signal
EP1061750A3 (en) * 1999-06-18 2010-05-05 THOMSON multimedia Picture compression process, especially of the MPEG2 type
FR2872665A1 (fr) * 2004-07-01 2006-01-06 Thomson Licensing Sa Dispositif et procede de compression video
JP4495580B2 (ja) 2004-12-13 2010-07-07 パナソニック株式会社 面内予測装置および面内予測方法
PL3306923T3 (pl) * 2005-11-08 2020-04-30 Sun Patent Trust Sposób kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów oraz urządzenia służące do tego celu
US20070195888A1 (en) * 2006-02-17 2007-08-23 Via Technologies, Inc. Intra-Frame Prediction Processing
US8649615B2 (en) 2007-06-18 2014-02-11 Canon Kabushiki Kaisha Moving picture compression coding apparatus
EP2211552A1 (en) 2009-01-22 2010-07-28 Thomson Licensing Method and device for video coding using macroblock groups

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246524A (ja) * 2002-04-29 2006-09-14 Nokia Corp デジタル画像内の領域のサイズ、形状および位置を表示する方法、デジタル画像を符号化してビットストリームを生成するためのエンコーダ、ビットストリームを復号化するためのデコーダ、およびコンピュータ・プログラム製品
US20060002466A1 (en) * 2004-06-01 2006-01-05 Samsung Electronics Co., Ltd. Prediction encoder/decoder and prediction encoding/decoding method
JP2006129285A (ja) * 2004-10-29 2006-05-18 Sony Corp 符号化及び復号装置並びに符号化及び復号方法
JP2009027693A (ja) * 2007-06-18 2009-02-05 Canon Inc 動画像圧縮符号化装置
JP2009055542A (ja) * 2007-08-29 2009-03-12 Toshiba Corp 動画像符号化装置および動画像符号化方法

Also Published As

Publication number Publication date
CN102025986B (zh) 2014-12-24
CN102025986A (zh) 2011-04-20
EP2299717A1 (en) 2011-03-23
EP2299718A1 (en) 2011-03-23
US9036702B2 (en) 2015-05-19
US20110058608A1 (en) 2011-03-10
JP5750249B2 (ja) 2015-07-15

Similar Documents

Publication Publication Date Title
US10218991B2 (en) Image encoding apparatus, method of image encoding, and recording medium, image decoding apparatus, method of image decoding, and recording medium
RU2762933C2 (ru) Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
JP5750249B2 (ja) 保留マクロブロックを使った画像エンコードの方法および装置ならびに保留マクロブロックを使った画像デコードの方法および装置
JP5620641B2 (ja) 適応型走査を用いる動画の符号化／復号化装置及びその方法
JP2022032027A (ja) クアッドツリー構造に基づく適応的量子化パラメータ符号化及び復号化方法及び装置
CN107071419B (zh) 图像编码设备和方法以及图像解码设备和方法
KR102355590B1 (ko) 비디오 인코딩의 속도 제어
JP5547301B2 (ja) 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法
CN1929611A (zh) 用于视频帧内预测编码和解码的方法和装置
US10178405B2 (en) Enhanced coding and decoding using intra block copy mode
JP2013541303A (ja) 改良されたイントラ予測モード符号化の方法及び装置
JP6327153B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20150172688A1 (en) Image encoding apparatus, image encoding method, and recording medium; and image decoding apparatus, image decoding method, and recording medium
KR101033769B1 (ko) 영상 데이터의 인트라 예측 모드 결정 방법
JP4762938B2 (ja) データ埋め込み装置、データ抽出装置、データ埋め込み方法およびデータ抽出方法
JPWO2018047952A1 (ja) イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム
JP2010016467A (ja) 画像符号化装置及び画像符号化方法
JP2009100125A (ja) 符号化装置
CN102036065A (zh) 用于视频编码的方法和系统
JP2005348280A (ja) 画像符号化方法、画像符号化装置、画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
TWI387349B (zh) 數位媒體資料的編碼方法、已編碼的數位媒體資料的解碼方法以及數位媒體資料的位元流的處理方法
JP7194539B2 (ja) 符号化装置、復号装置及びプログラム
JP2005260576A (ja) 画像符号化方法及び装置
US20210235095A1 (en) Video decoding method and apparatus, and video encoding method and apparatus
WO2014002445A1 (en) Image coding apparatus, image coding method, and recording medium, and image decoding apparatus, image decoding method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150518

R150 Certificate of patent or registration of utility model

Ref document number: 5750249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees