JP2019115061A - 符号化装置、符号化方法、復号装置、復号方法、及びプログラム - Google Patents

符号化装置、符号化方法、復号装置、復号方法、及びプログラム Download PDF

Info

Publication number
JP2019115061A
JP2019115061A JP2019040361A JP2019040361A JP2019115061A JP 2019115061 A JP2019115061 A JP 2019115061A JP 2019040361 A JP2019040361 A JP 2019040361A JP 2019040361 A JP2019040361 A JP 2019040361A JP 2019115061 A JP2019115061 A JP 2019115061A
Authority
JP
Japan
Prior art keywords
motion vector
block
motion
predictors
predictor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019040361A
Other languages
English (en)
Other versions
JP6821730B2 (ja
Inventor
ラロシュ ギローム
Laroche Guillaume
ラロシュ ギローム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2019115061A publication Critical patent/JP2019115061A/ja
Application granted granted Critical
Publication of JP6821730B2 publication Critical patent/JP6821730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】符号化対象のブロックのための動きベクトル予測子の候補を決定する符号化装置を提供する。【解決手段】取得手段は、符号化対象のブロックが含まれるフレームから取得される複数の第1の動きベクトル、及び、符号化対象のブロックが含まれるフレームとは異なるフレームから取得される第2の動きベクトルの内の少なくともいずれかを含むことが可能な複数の動きベクトルを取得する。処理手段は、取得手段によって取得される動きベクトルに係る処理を実行する。取得手段によって同一の動きベクトルが取得されたか判定し、同一の動きベクトルが取得された場合は、その同一の動きベクトルの内の一方を、符号化対象のブロックのための動きベクトル予測子の候補に含めない処理であり、処理手段は、取得手段によって取得された複数の第1の動きベクトルを対象とし、かつ、第2の動き動きベクトルを対象とせずに、処理を実行する。【選択図】図6

Description

本発明は、デジタル画像のシーケンスを符号化するための方法およびデバイス、および対応するビットストリームを復号するための技術に関する。本発明はさらに、少なくとも1つの参照画像部分に対する動き補償によって予測される画像の画像部分を予測するための少なくとも1つの動き情報予測子を含む、動き情報を導出するための技術に関する。
本発明は、デジタル信号処理の分野、特に、映像ストリームにおける空間的および時間的な冗長性を減じるために動き補償を使用する映像圧縮の分野に、応用され得る。
例えば、H.263、H.264、MPEG−1、MPEG−2、MPEG−4、SVCといった、多くの映像圧縮フォーマットが、空間的および時間的な冗長性を除去するためにブロックに基づいた離散コサイン変換(DCT)および動き補償を使用する。それらは、予測映像フォーマットと呼ばれ得る。映像信号の各フレームまたは画像は、独立して符号化され、かつ復号され得る、スライスに分割される。スライスは典型的に、フレームの矩形部分であるか、より一般的には、フレームの一部またはフレーム全体の部分である。さらに、各スライスは、マクロブロック(MB)に分割され、各マクロブロックはさらに、ブロック、典型的には8×8ピクセルのブロックに分割される。符号化されるフレームには、(P−フレームと呼ばれ、1つの参照フレームから予測されるか、B−フレームと呼ばれ、2つの参照フレームから予測されるか、のいずれかである)時間的に予測されるフレームと、(イントラフレームまたはI−フレームと呼ばれる)時間的に予測されないフレームの2つのタイプがある。
時間的な予測では、符号化するブロックに最も近い画像部分または参照エリアを、映像シーケンスの前または後のフレームのいずれかである参照フレーム中で探す。このステップは典型的に、動き推定として知られている。次に、ブロックが、典型的に動き補償と呼ばれるステップにおいて参照エリアを使用して予測され、符号化するブロックと参照部分との間の差分が、動き補償のために使用する参照エリアを示す動きベクトルに関する動き情報の項目とともに符号化される。INTRA予測では、予測方向が符号化される。
動き情報を符号化するコストをさらに減じるために、動きベクトルを、動きベクトルと、典型的には符号化するブロックを取り囲んでいるブロックの1つ以上の動きベクトルから計算される動きベクトル予測子との間の差分によって、符号化しても良い。
H.264では、動きベクトルは、符号化するブロックの因果的な近傍に位置する動きベクトルから、例えば、符号化するブロックの上および左に位置するブロックから計算されるメディアン予測子に対して、符号化される。メディアン予測子と現在のブロックの動きベクトルとの間の、残余動きベクトルとも呼ばれる差分が、符号化のコストを減じるために符号化される。
残余動きベクトルを使用して符号化することは、ビットレートをいくらか節約するが、デコーダが、復号するブロックの動きベクトルの値を復号するために、動きベクトル予測子の同一の計算を実行することを必要とする。
最近では、複数の可能な動きベクトル予測子の使用といった、コーディング効率のさらなる改良が提案されている。しばしば動きベクトル競合(MVCOMP)と呼ばれる、この方法では、いくつかの動きベクトル予測子または候補の中から、どの動きベクトル予測子が、残余動き情報の符号化コスト、典型的にはレート歪みコストを最小化するかを決定する。残余動き情報は、残余動きベクトル、すなわち、符号化するブロックの実際の動きベクトルと選択された動きベクトル予測子との間の差分と、選択された動きベクトル予測子を示す情報項目、例えば、選択された動きベクトル予測子のインデックスの符号化された値とを含む。選択された動きベクトル予測子のインデックスは、固定のリストサイズに基づき、単項最大符号を用いて、ビットストリームにおいてコーディングされる。
高効率映像コーディング(HEVC)では、空間動きベクトルおよび時間動きベクトルによって構成された予測子の所与のセットからの、最良の予測子の選択を可能にする同一のコンセプトの新たな実現が提案されている。この技法は、アドバンスト動きベクトル予測(AMVP)と呼ばれる。所与のセットのこれらの予測子の中からのいくつかの予測子が、そのセットにおける他の予測子の重複である場合、重複は除去されることができ、さらなる予測子が、予測子の新たな第2のセットを作成するためにそのセットに追加されることができる。追加される予測子は、すでにそのセット内にある空間および時間予測子の組み合わせ、これらの空間および時間予測子から導出される他の予測子、または固定値を有する予測子であることができる。最後に、予測子の第2のセットの重複する予測子が、予測子の第2のセットにおける冗長でない候補を得るために除去される。
生成された予測子の第2のセットは、導出処理の計算の複雑性を著しく増大させる。増大した計算の複雑性は、連鎖的に生じる予測子の生成に起因する。
現在のHEVCの実現は、インターモードのための多くて2つの予測子と、マージスキップモードおよびマージモードのための多くて5つの予測子とを含む動きベクトル予測子のセットを使用する。
現在のHEVC設計では、インター予測は、一方向または双方向であり得る。一方向とは、現在のブロックを予測するために1つの予測子ブロックが使用されることを言う。1つの予測子ブロックは、リストインデックス、参照フレームインデックス、および動きベクトルによって定義される。リストインデックスは、参照フレームのリストに対応する。例えば、2つのリスト、L0およびL1を使用することが考慮され得る。1つのリストは、少なくとも1つの参照フレームを含み、参照フレームは、両方のリストに含まれ得る。動きベクトルは、水平と垂直の2つの成分を有する。動きベクトルは、現在のブロックと参照フレームにおける時間予測子ブロックとの間のピクセルで表された空間的なずれに対応する。したがって、一方向予測のためのブロック予測子は、動きベクトルによって示された、リストの参照フレーム(参照インデックス)からのブロックである。
双方向インター予測では、2つのブロック予測子が考慮される。各リスト(L0およびL1)につき1つである。結果的に、2つの参照フレームインデックスだけでなく、2つの動きベクトルが考慮される。双予測のためのインターブロック予測子は、これらの2つの動きベクトルによって示された2つのブロックの、ピクセル毎の平均である。
インターブロック予測子専用の動き情報は、以下のパラメータによって定義することができる。
・方向のタイプ:一または双
・1つのリスト(一方向)または2つのリスト(双方向):L0、L1、L0およびL1
・1つ(一方向)または2つの参照フレームインデックス(双方向):RefL0、RefL1、(RefL0、RefL1)
・1つ(一方向)または2つ(双方向)の動きベクトル:各動きベクトルは2つの成分(水平mvxおよび垂直mvy)を有する。
双方向インター予測子はBタイプのスライスタイプのためにのみ使用され得る、ということに注意する必要があるだろう。Bスライスにおけるインター予測は、一または双方向であり得る。Pスライスでは、インター予測は、一方向のみである。
HEVCの現在の設計は、インターモードと、マージモードと、マージスキップモードの、3つの異なるインターモードを使用する。これらのモード間の主な違いは、ビットストリームにおけるデータシグナリングである。
インターモードでは、すべてのデータが明示的にシグナリングされる。これは、テクスチャ残余がコーディングされ、ビットストリームに挿入されることを意味する(テクスチャ残余は、現在のブロックとインター予測ブロックとの間の差分である)。動き情報のために、すべてのデータがコーディングされる。したがって、方向のタイプ(一または双方向)がコーディングされる。必要であれば、リストインデックスもコーディングされ、ビットストリームに挿入される。関連する参照フレームインデックスが明示的にコーディングされ、ビットストリームに挿入される。動きベクトルの値が、選択された動きベクトル予測子によって予測される。各成分に関する動きベクトル残余が次にコーディングされて、ビットストリームに挿入され、その後に予測子インデックスが続く。
マージモードでは、テクスチャ残余と予測子インデックスがコーディングされ、ビットストリームに挿入される。動きベクトル残余、方向のタイプ、リストまたは参照フレームのインデックスはコーディングされない。これらの動きパラメータは、予測子インデックスから導出される。したがって、予測子は、動き情報のすべてのデータの予測子である。
マージスキップモードでは、「モード」と予測子インデックス以外の情報はデコーダ側に送信されない。このモードにおいて、処理は、テクスチャ残余がコーディングまたは送信されないことを除き、マージモードと同様である。マージスキップブロックのピクセル値は、ブロック予測子のピクセル値である。
図1に表された動き情報予測子のセットでは、フレームNにおける、上隅のブロックおよび左隅のブロックを含む、符号化されるブロックの上および左にあるブロックの中から、インターモードの2つの空間動きベクトルが選ばれる。
左の予測子は、「左下」および「左」のブロックの中から選択される。動きベクトルの値が見つかるまで、以下の条件が指定された順序で評価される。
1.同一の参照リストおよび同一の参照ピクチャからの動きベクトル
2.他の参照リストおよび同一の参照ピクチャからの動きベクトル
3.同一の参照リストおよび異なる参照ピクチャからのスケーリングされた動きベクトル
4.他の参照リストおよび異なる参照ピクチャからのスケーリングされた動きベクトル
値が見つからなかった場合、左の予測子は利用不可能であると見なされる。このケースでは、それは、関連するブロックがイントラコーディングされたこと、またはそれらのブロックが存在しないことを示す。上の予測子は、上述したものと同一の条件を用いて、「右上」、「上」、「左上」の中から、この特定の順序で選択される。
低遅延構成では、時間動き予測子が最も近い参照フレームから得られる。Bフレームのケースでは、2つの動きベクトルが、フレームN−1における同一位置に配置されたブロックのために考慮される。1つは、第1のリスト「L0」におけるものであり、1つは、第2のリスト「L1」におけるものである。両方の動きベクトルが存在する場合、最短の時間距離を有する動きベクトルが選択される。両方の動きベクトル予測子が同一の時間距離を有する場合、第1のリスト「L0」からの動きが選択される。必要であれば、選択された同一位置の動きベクトルが次に、その時間距離と符号化される動きベクトルの時間距離とにしたがって、スケーリングされる。同一位置に配置された予測子が存在しない場合、予測子は利用不可能であると見なされる。
階層Bフレームコーディングでは、2つの同一位置の動きベクトルが考慮され得る。両者は、後の参照フレームから得られる。現在のフレームとクロスする動きベクトルが選択される。両方の予測子が現在のフレームとクロスする場合、最短の時間距離を有する動きベクトルが選択される。両方の予測子が同一の時間距離を有する場合、第1のリスト「L0」からの動きが次に選択される。必要であれば、選択された同一位置の動きベクトルが次に、その時間距離と符号化される動きベクトルの時間距離とにしたがって、スケーリングされる。同一位置に配置された予測子が存在しない場合、予測子は利用不可能であると見なされる。
低遅延のケースおよび階層のケースのために、同一位置に配置されたブロックが複数のパーティションに分割される(場合によっては、同一位置に配置されたブロックが複数の動きベクトルを含む)場合、選択されるパーティションは、左上中央のパーティションである。さらに、時間予測子は、同一位置に配置されたブロックの右下の位置(図1における位置H)にあるブロックの動きベクトルである。このブロックが存在しない場合、またはそれがイントラコーディングされる場合、同一位置に配置されたブロックの中央の位置にあるブロックが、導出される動きベクトルとして選択される。
動き予測子の値は次に、予測子のセットに追加される。
最後に、抑制処理が適用される。これによりは、選択された動きベクトル予測子のセットから重複する予測子を除去する。この処理の最後に、セットは、重複しない動きベクトル予測子を含む。このセットは、1、2、3、または4つの予測子を含み得る。現在の設計では、予測子のリストは、リストサイズを2に制限するために固定されている。結果的に、選択された予測子は、1ビットでコーディングされる。したがって、リストにおける予測子の数が3または4である場合、最後の予測子、または最後の2つの予測子がそれぞれ、除去される。
マージモード(「クラシカル」またはスキップ)の予測子は、すべての動き情報、すなわち、方向、リスト、参照フレームインデックス、および動きベクトルを表す。予測子インデックスは、表1に示す単項最大符号を用いてコーディングされる。
Figure 2019115061
リストサイズは、現在のHEVC設計では、すべてのマージブロックまたはマージスキップブロックについて5に固定されている。
図2は、インター予測のマージモードのための動きベクトル導出処理の例のフローチャートである(マージスキップおよびマージは、同一の動きベクトル予測子導出処理を有する)。この方法は、参照画像部分に対する画像の画像部分の符号化のための潜在的な動き情報予測子のセットを得るために適用される。導出の第1のステップでは、7つのブロック位置(601〜607)が考慮される。これらの位置は、図1に示した空間および時間位置である(各位置は、両図面において同様に表記されている)。モジュール608が、これらの動きベクトルの利用可能性をチェックし、最大5つの動きベクトルを選択する。ステップ608を実現するこのモジュールは、予測子が存在する場合、およびブロックがイントラコーディングされない場合、予測子が利用可能であると決定する。この選択および選択された5つの動きベクトルの検証は、以下の条件にしたがって実行される。
・「左」の動きベクトル(601)が利用可能である場合(すなわち、それが存在する場合、およびこのブロックがイントラコーディングされない場合)、「左」のブロックの動きベクトルが選択され、予測子1として使用される(610)。
・「上」の動きベクトル(602)が利用可能である場合、「上」のブロックの動きベクトルが選択され、予測子2として使用される(611)。
・「右上」の動きベクトル(603)が利用可能である場合、「右上」のブロックの動きベクトルが選択され、予測子3として使用される(612)。
・「左下」の動きベクトル(604)が利用可能である場合、「左下」のブロックの動きベクトルが選択され、予測子4として使用される(613)。
・前記先行する予測子のうちの1つ(またはそれ以上)が利用可能でない場合、および「左上」の動きベクトル(605)が利用可能である場合、「左上」のブロックの動きベクトルが、追加された空間予測子の後に動きベクトル予測子のセットに追加される。
・「H」の動きベクトルが利用可能である場合、「H」のブロックの動きベクトルが選択され、予測子5として使用される(614)。「H」のブロックが利用可能でない場合、「同一位置に配置された」動きベクトル(すなわち、現在のフレームにおける現在のブロックと、参照フレームにおいて同一の位置にあるブロックの動きベクトル)の利用可能性がチェックされ、それが存在する場合、それが時間予測子として使用される。モジュール608によって実行される利用可能性のチェックは、1サイクルを必要とする。
時間予測子は、必要であればスケーリングされるべきである。実際、時間動きベクトルに関し、方向と参照フレームインデックスは、Hまたは同一位置に配置されたブロックに依存しないが、現在のスライスのデータに依存する。現在のブロックがBスライスの中にある場合、時間予測子は常に双方向であり、Pスライスでは常に一方向である。参照フレームの各リスト(L0、L1)のための参照フレームインデックスは、左および上の予測子から導出される。リストのために、左と上のブロックの両方が参照フレームインデックスを有しない場合、時間予測子のための参照フレームインデックスはゼロに設定される。
時間予測子のための参照フレームインデックスは、「H」または「同一位置に配置された」ブロックの参照フレームインデックスに依存しないが、左および上の予測子の参照フレームに依存するので、その動きベクトルの値は、スケーリングされるべきである。これは、時間動きベクトルによってカバーされる時間距離が、現在のフレームと予測子の参照フレームとの間の差分と異なる場合、時間動きベクトルが、正しい時間距離をカバーするためにスケーリングされることを意味する。
モジュール608および609の最後に、予測子のセットは、多くて5つの予測子を含む(610〜614)。次に、抑制処理615が、予測子のセットから重複する候補を除去するために適用される。この処理は、そのセットの各予測子を、同一のセットにおけるすべての他の予測子と比較することと、そのセットにおける予測子の中に重複がないように、そのセットにおける別の予測子と同等の予測子を除去する(一方で、別の予測子を保持すること、なお、別の予測子の重複する候補はそのセットにおける重複である)こととを含む。Pスライスのための抑制処理は、動きベクトルおよびそれらの参照フレームインデックスの値を考慮に入れる。したがって、動きベクトルの2つの成分およびその参照インデックスが、他のすべてと比較され、これらの3つの値が等しい場合のみ、予測子がセットから除去される。Bフレームでは、この判定基準は、方向およびリストに拡張される。したがって、予測子は、それが、同一の方向、同一のリスト(L0、L1、または、L0およびL1)、参照フレームインデックス、動きベクトルの同一の値(双予測ではMV_L0およびMV_L1)を使用する場合に、重複する予測子と見なされる。抑制処理は、最大5つの予測子が比較される必要がある場合、1サイクル続く。実際、12回の比較が1サイクルにおいて計算され得ることが考慮され得る。最も複雑なケースにおける抑制処理のための比較の数は、0〜N−1の合計に等しい。結果的に、5つの予測子のために、10(すなわち、4+3+2+1=10)回の比較が必要とされる。
この抑制処理615の最後に、減じられた予測子のセットが生成される616。
次に、動きベクトル生成モジュール617が、減じられた動きベクトル予測子のセットに基づいて、新たな候補を生成する。この処理は典型的に、少なくとも1サイクルにわたって続き得る。現在のHEVC設計において、使用されるスキームは、最も複雑なケースにおいて最大20個の予測子をもたらすことがある、ということが注意する必要があるだろう。このモジュール617は、予測子の第2のセット618を形成する。
予測子の第2のセット618が予測子の減じられたセット616に追加され、抑制処理が適用されて、減じられたセットと第2のセットの両方と比較されたこの第2の予測子のセットの重複する候補が除去される。この抑制処理は、モジュール615の抑制処理と同様である。最後にまだ、リストが5つを超える予測子を含む場合、予測子のリストは、HEVC設計において定義された現在のリストサイズである5に切り捨てられる。この処理は少なくとも1サイクル続く可能性があることに注意する必要があるだろう。しかしながら、サイクルの継続時間は、予測子の第2のセット618において生成された予測子の数に依存する。HEVCの現在の実現では、この処理は、生成された予測子の量ゆえに3サイクル続く(最も複雑なケース:現在の設計で32回の比較)。
最後に、抑制処理619により、現在のブロックのための予測子が抽出される予測子の最終リスト620が形成される。
動きベクトルの導出は、符号化および復号の複雑性に著しい影響を及ぼす。
本発明は、上記の問題のうちの1つ以上に対処するために考案された。
本発明のある態様によると、符号化対象のブロックのための動きベクトル予測子の候補を決定する符号化装置であって、前記符号化対象のブロックと同じフレームに含まれる他のブロックの動きベクトルである第1の動きベクトルを複数取得する第1の取得処理と、前記符号化対象のブロックが含まれるフレームとは異なるフレームに含まれるブロックの動きベクトルである第2の動きベクトルを取得する第2の取得処理とを実行することが可能な取得手段と、前記取得手段によって取得される動きベクトルの一部に対して所定の処理を実行して、前記取得手段によって取得された動きベクトルに基づく前記動きベクトル予測子の候補を決定する決定手段と、を有し、前記符号化対象のブロックの右上のブロックの動きベクトルが利用可能である場合、前記取得手段によって取得される複数の第1の動きベクトルは、前記右上のブロックの動きベクトルを含むことが可能であり、前記所定の処理は、前記取得手段によって同一の動きベクトルが取得されたか判定し、同一の動きベクトルが取得された場合は、その同一の動きベクトルの内の一方を、前記符号化対象のブロックのための動きベクトル予測子の候補に含め、他方を前記符号化対象のブロックのための動きベクトル予測子の候補に含めない処理であり、前記決定手段は、前記取得手段によって取得された前記複数の第1の動きベクトルを対象として前記所定の処理を実行し、前記異なるフレームにおける前記符号化対象のブロックと同じ位置の領域の右下の位置のブロックの動きベクトルである前記第2の動きベクトルを前記符号化対象のブロックのための動きベクトル予測子の候補に含める場合、当該右下の位置のブロックの動きベクトルである第2の動きベクトルを対象とした前記所定の処理を行わずに前記符号化対象のブロックのための動きベクトル予測子の候補に、当該右下の位置のブロックの動きベクトルである前記第2の動きベクトルを含める。
また、本発明のある態様によると、復号対象のブロックのための動きベクトル予測子の候補を決定する復号装置であって、前記復号対象のブロックと同じフレームに含まれる他のブロックの動きベクトルである第1の動きベクトルを複数取得する第1の取得処理と、前記復号対象のブロックが含まれるフレームとは異なるフレームに含まれるブロックの動きベクトルである第2の動きベクトルを取得する第2の取得処理とを実行することが可能な取得手段と、前記取得手段によって取得される動きベクトルの一部に対して所定の処理を実行して、前記取得手段によって取得された動きベクトルに基づく前記動きベクトル予測子の候補を決定する決定手段と、を有し、前記復号対象のブロックの右上のブロックの動きベクトルが利用可能である場合、前記取得手段によって取得される複数の第1の動きベクトルは、前記右上のブロックの動きベクトルを含むことが可能であり、前記所定の処理は、前記取得手段によって同一の動きベクトルが取得されたか判定し、同一の動きベクトルが取得された場合は、その同一の動きベクトルの内の一方を、前記復号対象のブロックのための動きベクトル予測子の候補に含め、他方を前記復号対象のブロックのための動きベクトル予測子の候補に含めない処理であり、前記決定手段は、前記取得手段によって取得された前記複数の第1の動きベクトルを対象として前記所定の処理を実行し、前記異なるフレームにおける前記復号対象のブロックと同じ位置の領域の右下の位置のブロックの動きベクトルである前記第2の動きベクトルを前記復号対象のブロックのための動きベクトル予測子の候補に含める場合、当該右下の位置のブロックの動きベクトルである第2の動きベクトルを対象とした前記所定の処理を行わずに前記復号対象のブロックのための動きベクトル予測子の候補に、当該右下の位置のブロックの動きベクトルである前記第2の動きベクトルを含める。
また、本発明の他の態様によると、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出する方法が提供され、上記画像部分が符号化または復号されるために、この方法は、動き情報予測子の第1のセットの動き情報予測子の少なくとも2つの別個の第1および第2のサブセットを、処理のために提供することと、動き情報予測子の第1のサブセットを処理することと、動き情報予測子の第2のサブセットを処理することであって、動き情報予測子の第2のサブセットの処理の少なくとも一部は、動き情報予測子の第1のサブセットの処理の少なくとも一部と同時に実行されることと、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた動き情報予測子に基づいて、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セットを得ることとを含む。
したがって、現在のHEVC設計の計算の複雑性が、動きベクトルの導出を並行して処理することにより減らすことができる。
本発明の実施例において、動き情報予測子は、少なくとも1つの動きベクトル予測子を含む。さらなる実施例において、動き情報予測子はさらに、参照画像のインデックス、方向のタイプ:一または双、1つのリスト(一方向)または2つのリスト(双方向):L0、L1、L0およびL1、といった動き情報パラメータを含むことができる。いくつかの実施例において、各動きベクトル予測子は、2つの成分(水平および垂直)を有する。
本発明のいくつかの実施例において、第1のサブセットは、少なくとも1つの時間動き情報予測子を備え、第2のサブセットは、少なくとも1つの空間動き情報予測子を含む。
本発明の特定の実施例において、動き情報予測子の第1のサブセットは、時間動き情報予測子を含み、第1のセットの第1のサブセットの処理は、符号化される画像部分の画像と参照画像部分の画像との間の時間的な差分に基づいて、時間動き情報予測子を時間的にスケーリングすることを含む。
第2のサブセットの処理は、重複しない動き情報予測子のセットを生成することを含んでも良く、同セットの動き情報予測子の中には重複がない。
本発明の実施例において、動き情報予測子は、各動きベクトルの2つの成分および他の関連動き情報パラメータのそれぞれの値が互いに等しい場合、別の動き情報予測子の重複であると見なせる。
第2のサブセットの処理は、第2のサブセットの動き情報予測子に基づいて、1つ以上の追加の動き情報予測子を生成することを含んでも良い。例えば、1つ以上の追加の動き情報予測子を生成することは、第2のサブセットの1つ以上の動き情報予測子を組み合わせること、および/または、第2のサブセットの1つ以上の情報予測子にオフセットを加えることを含む。
スケーリングを必要としない予測子のみに基づいて追加の予測子を生成することにより、演算の複雑性が減じられ、スケーリング処理が予測子の新たな生成と並行して演算されることができる。マージモードの導出動きベクトルのために必要とされるサイクル数が減じられることができ、重複しない予測子のセットを提供するためにマージモードの動きベクトルのために必要とされる比較の数もまた減じられる。
実施例において、動き情報予測子の第1のセットの第2のサブセットの処理は、第2のサブセットが同一の1つ以上の動き情報予測子を含む場合、動き情報予測子の減じられたサブセットを提供するために、上記第2のサブセットの動き情報予測子の中から重複を除去することと、動き情報予測子のさらなる第2のサブセットを提供するために、動き情報予測子の減じられたサブセットに基づいて、さらなる動き情報予測子を生成することとを含む。
本発明の関連する態様では、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出する方法が、独立して提供されることができる。さらに、上記画像部分が符号化または復号されるために、この方法は、動き情報予測子の第1のセット(801〜807)の動き情報予測子の少なくとも2つの別個の第1および第2のサブセットを、処理のために提供すし、第1のサブセットは、少なくとも1つの時間動き情報予測子を備え、第2のサブセットは、少なくとも1つの空間動き情報予測子を備え、いかなる時間動き情報予測子も除外することと、動き情報予測子の第1のサブセットを処理すること(808、809)と、動き情報予測子の第2のサブセットを処理すること(808、815、817)と、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた動き情報予測子(818、814)に基づいて、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セット(820)を得ること(819)とを含み、第2のサブセットの処理は、第2のサブセットが同一の1つ以上の動き情報予測子を含む場合、動き情報予測子の減じられたサブセット(816)を提供するために、上記第2のサブセットの動き情報予測子の中からのみ重複を除去することを含む。
時間予測子が第2のサブセットのための選択から除外されるので、第2のサブセットの選択された予測子の中から重複を除去または抑制する処理は、空間予測子のみに適用されることができ、こうして時間動き情報予測子を処理することを含まない、ということが理解されるだろう。
こうして抑制処理から時間予測子を除外することにより、比較の全体数が減り、それによって計算の複雑性が下がる。
逆に、ある特定の実施例では、空間予測子が第1のサブセットのための選択から除外される。第1のセット(すなわち、時間動き予測子)の処理はいくつかの実施例では重複の除去を含まなくても良いが、以下においてさらに詳細に説明されるように、実施例は、最終セットを得るステージにおいて重複を除外するように、処理された第1および第2のサブセットを組み合わせた方が有利であろう。言い換えれば、第1のセットの処理は、したがって、最終セットを得る前に重複の除去を含まなくても良い。
実施例において、第1のサブセットの時間動き情報予測子のスケーリングが、重複を除去するステップおよび第2のサブセットのさらなる動き情報予測子を生成するステップと、同時に実行される。
実施例において、この方法は、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた1つ以上の動き情報予測子が同一である場合、上記画像部分を符号化するために使用可能な動き情報予測子の最終セットを、動き情報予測子の最終セットの中に重複がないように提供するために、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた動き情報予測子の中から重複を除去することを含む。
実施例において、動き情報予測子の第2のサブセットの処理はさらに、さらなる第2のサブセットが同一の1つ以上の動き情報予測子を含む場合、動き情報予測子の第2の減じられたサブセットを提供するために、動き情報予測子のさらなる第2のサブセットの動き情報予測子の中から重複を除去することを含む。
実施例において、さらなる第2のサブセットの動き情報予測子の中から重複を除去するステップは、第1のサブセットの時間動き情報予測子のスケーリングと同時に実行される。
実施例において、この方法は、動き情報予測子の最終セットを得るために、動き情報予測子の第2の減じられたサブセットの動き情報予測子のいずれの重複でもない、動き情報予測子の第1のサブセットの処理の結果としてもたらされた動き情報予測子を、動き情報予測子の第2の減じられたサブセットに追加することを含む。
実施例において、この方法は、動き情報予測子を減らしたサブセットの動き情報予測子のいずれの重複でもない、動き情報予測子の第1のサブセットの処理の結果としてもたらされた動き情報予測子を、動き情報予測子を減らしたサブセットに追加することを含み、動き情報予測子の最終セットは、動き情報予測子の減じられたサブセットおよび動き情報予測子のさらなる第2のサブセットの動きベクトル予測子の中からの重複しない動きベクトルを含む。
実施例において、第1のサブセットの処理と同時に実行される第2のサブセットの処理は、第1のサブセットの処理の継続時間の推定に基づく。
実施例において、動き情報予測子の最終セットを得るために、第1のサブセットの処理の結果としてもたらされた動き情報予測子に追加される、第2のサブセットの処理の結果としてもたらされた動き情報予測子は、第1のサブセットの処理の継続時間に基づく。
実施例において、この方法は、画像部分の画像と参照画像部分の画像との間の時間的な差分に基づいて、時間スケーリング処理が動き情報予測子の第1のサブセットに適用されるか否かを決定するステップを含み、時間スケーリング処理が適用されることが決定された場合、動き情報予測子の第1のサブセットの処理は、画像部分の画像と参照画像部分の画像との間の時間的な差分に基づいて、動き情報予測子の第1のサブセットの動き情報予測子を時間スケーリングするステップを含む。一方、時間スケーリング処理が適用されないことが決定された場合、動き情報予測子の第1のサブセットの処理は、動き情報予測子の第1のサブセットおよび動き情報予測子の第2のサブセットの動き情報予測子の中からの重複しない動き情報予測子を含む減じられたサブセットが、動き情報予測子の第1のサブセットの処理および動き情報予測子の第2のサブセットの処理によって提供されるように、動き情報予測子の第1のサブセットの動き情報予測子の中から重複を除去するステップを含む。
実施例において、時間スケーリング処理が適用されることが決定された場合、予測子の最終セットは、動き情報予測子の第1のサブセットおよび動き情報予測子の第2のサブセットの同時処理の結果としてもたらされた動き情報予測子の中から重複を除去することによって得られる。一方、時間スケーリング処理が適用されないことが決定された場合、予測子の最終セットは、動き情報予測子のさらなる第2のサブセットを提供するために、減じられたサブセットに基づいてさらなる動き情報予測子を生成することと、動き情報予測子のさらなる第2のサブセットの中から重複を除去することとによって得られる。
実施例において、この方法は、動き情報予測子の第1のサブセットを時間的にスケーリングする処理の複雑性を決定することを含み、時間スケーリング処理が所定の継続時間のしきい値よりも長い継続時間にわたって続くと決定された場合、動き情報予測子の最終セットは、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた動き情報予測子の中から重複を除去することによって得られる。一方、時間スケーリング処理が所定の継続時間のしきい値よりも短い継続時間にわたって続くと決定された場合、予測子の最終セットは、動きベクトル予測子の第2のサブセットから得られた動き情報予測子の減じられたサブセットに、動き情報予測子の減じられたサブセットの動き情報予測子のいずれの重複でもない、動き情報予測子の第1のサブセットの処理の結果としてもたらされた動き情報予測子を追加することによって得られ、動き情報予測子の最終セットは、動き情報予測子の減じられたサブセットおよび動き情報予測子のさらなる第2のサブセットの動き情報予測子の中からの重複しない動き情報予測子を含む。
実施例において、動き情報予測子の第1のセットの第2のサブセットの処理は、動き情報予測子の減じられたサブセットを提供するために、上記第2のサブセットの動き情報予測子の中から重複を除去することと、上記第2のサブセットの動き情報予測子のうちの1つに基づいて動き情報予測子のさらなるセットを生成し、上記第2のサブセットの動き情報予測子のうちの上記1つを含むことであって、動き情報予測子のさらなるセットの中には重複がないこととを含み、その方法はさらに、動き情報予測子の重複しないセットを提供するために、動き情報予測子の減じられたサブセットおよび動き情報予測子のさらなるセットの中から重複を除去することを含む。
実施例において、動き情報予測子の第1のセットの第2のサブセットの処理はさらに、動き情報予測子のさらなる第2のサブセットを提供するために、動き情報予測子の減じられたサブセットに基づいて、さらなる動き情報予測子を生成することと、動き情報予測子の第2の重複しないセットを提供するために、動き情報予測子のさらなる第2のサブセットおよび動き情報予測子の重複しないセットの動き情報予測子の中から重複を除去することとを含む。
実施例において、この方法は、動き情報予測子の最終セットを得るために、動き情報予測子の第2の重複しないセットの動き情報予測子のいずれの重複でもない、動き情報予測子の第1のサブセットの処理の結果としてもたらされた動き情報予測子を、動き情報予測子の第2の重複しないセットに追加することを含む。
本発明の第2の態様によると、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出するためのデバイスが提供され、このデバイスは、動き情報予測子の第1のセットの動き情報予測子の少なくとも2つの別個の第1および第2のサブセットを得るための手段と、動き情報予測子の第1のサブセットを処理するための第1の処理手段と、動き情報予測子の第2のサブセットを処理するための第2の処理手段であって、動き情報予測子の第2のサブセットの処理の少なくとも一部を、第1の処理手段によって実行される動き情報予測子の第1のサブセットの処理の少なくとも一部と同時に実行するように動作可能な第2の処理手段と、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた動き情報予測子に基づいて、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セットを得るための手段とを備える。
実施例において、第1のサブセットは、少なくとも1つの時間動き情報予測子を備え、第2のサブセットは、少なくとも1つの空間動き情報予測子を含む。
実施例において、第1の処理手段は、符号化される画像部分の画像と参照画像部分の画像との間の時間的な差分に基づいて、上記または各時間動き情報予測子を時間的にスケーリングするように動作可能である。
実施例において、第2の処理手段は、重複しない動き情報予測子のセットを生成するように動作可能であり、同セットの動き情報予測子の中には重複がない。
実施例において、第2の処理手段は、第2のサブセットの動き情報予測子に基づいて、1つ以上の追加の動き情報予測子を生成するように動作可能である。
実施例において、第2の処理手段は、第2のサブセットの1つ以上の動き情報予測子を合成し、および/または、第2のサブセットの1つ以上の情報予測子にオフセットを加えるように動作可能である。
実施例において、第2の処理手段は、第2のサブセットが同一の1つ以上の動き情報予測子を含む場合、動き情報予測子の減じられたサブセットを提供するために、上記第2のサブセットの動き情報予測子の中から重複を除去し、動き情報予測子のさらなる第2のサブセットを提供するために、動き情報予測子の減じられたサブセットに基づいて、さらなる動き情報予測子を生成するように動作可能である。
関連する態様において、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出するためのデバイスが、独立して提供でき、このデバイスは、動き情報予測子の第1のセット(801〜807)の動き情報予測子の少なくとも2つの別個の第1および第2のサブセットを得るための手段であって、第1のサブセットは、少なくとも1つの時間動き情報予測子を含み、第2のサブセットは、少なくとも1つの空間動き情報予測子を含み、いかなる時間動き情報予測子も除外する手段と、動き情報予測子の第1のサブセットを処理するための第1の処理手段(808、809)と、動き情報予測子の第2のサブセットを処理するための第2の処理手段(808、815、817)と、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた動き情報予測子(818、814)に基づいて、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セット(820)を得るための手段(819)とを備え、第2の処理は、第2のサブセットが同一の1つ以上の動き情報予測子を含む場合、動き情報予測子の減じられたサブセット(816)を提供するために、上記第2のサブセットの動き情報予測子の中からのみ重複を除去するように動作可能である。
実施例において、第1の処理手段は、第1のサブセットの時間動き情報予測子のスケーリングを、第2の処理手段によって実行される重複を除去する動作および第2のサブセットのさらなる動き情報予測子を生成する動作と、同時に実行するように動作可能である。
実施例において、デバイスは、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた1つ以上の動き情報予測子が同一である場合、上記画像部分を符号化するために使用可能な動き情報予測子の最終セットを、動き情報予測子の最終セットの中に重複がないように提供するために、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた動き情報予測子の中から重複を除去するための抑制手段を含む。
実施例において、第2の処理手段は、さらなる第2のサブセットが同一の1つ以上の動き情報予測子を含む場合、動き情報予測子の第2の減じられたサブセットを提供するために、動き情報予測子のさらなる第2のサブセットの動き情報予測子の中から重複を除去するように動作可能である。
実施例において、第2の処理手段は、第1の処理手段によって実行される第1のサブセットの時間動き情報予測子のスケーリングと同時に、さらなる第2のサブセットの動き情報予測子の中から重複を除去するように動作可能である。
実施例において、デバイスは、動き情報予測子の最終セットを得るために、動き情報予測子の第2の減じられたサブセットの動き情報予測子のいずれの重複でもない、動き情報予測子の第1のサブセットの処理の結果としてもたらされた動き情報予測子を、動き情報予測子の第2の減じられたサブセットに追加するように動作可能な手段を含む。
実施例において、デバイスは、動き情報予測子の減じられたサブセットの動き情報予測子のいずれの重複でもない、動き情報予測子の第1のサブセットの処理の結果としてもたらされた動き情報予測子を、動き情報予測子の減じられたサブセットに追加するための手段を備え、動き情報予測子の最終セットは、動き情報予測子の減じられたサブセットおよび動き情報予測子のさらなる第2のサブセットの動きベクトル予測子の中からの重複しない動きベクトルを含む。
実施例において、デバイスは、第1のサブセットの処理の継続時間を推定するための手段を含み、第1の処理手段によって実行される第1のサブセットの処理と同時に第2の処理手段によって実行される第2のサブセットの処理は、第1のサブセットの処理の継続時間の推定に基づく。
実施例において、デバイスは、第1のサブセットの処理の継続時間を推定するための手段を備え、動き情報予測子の最終セットを得るために、第1のサブセットの処理の結果としてもたらされた動き情報予測子に追加される、第2のサブセットの処理の結果としてもたらされた動き情報予測子は、第1のサブセットの処理の継続時間に基づく。
実施例において、デバイスは、画像部分の画像と参照画像部分の画像との間の時間的な差分に基づいて、時間スケーリング処理が動き情報予測子の第1のサブセットに適用されるか否かを決定するための手段を含み、時間スケーリング処理が適用されることが決定された場合、第1の処理手段は、画像部分の画像と参照画像部分の画像との間の時間的な差分に基づいて、動き情報予測子の第1のサブセットの動き情報予測子の時間スケーリングを実行するように動作可能である。一方、時間スケーリング処理が適用されないことが決定された場合、第1の処理手段は、動き情報予測子の第1のサブセットおよび動き情報予測子の第2のサブセットの動き情報予測子の中からの重複しない動き情報予測子を含む減じられたサブセットが第1の処理手段および第2の処理手段により実行される処理によって提供されるように、動き情報予測子の第1のサブセットの動き情報予測子の中から重複を除去するように動作可能である。
実施例において、デバイスは、動き情報予測子の最終セットを得るための抑制手段を含み、時間スケーリング処理が適用されることが決定された場合、抑制手段は、動き情報予測子の第1のサブセットおよび動き情報予測子の第2のサブセットの同時処理の結果としてもたらされた動き情報予測子の中から重複を除去することによって、予測子の最終セットを得るように動作可能である。一方、時間スケーリング処理が適用されないことが決定された場合、第1または第2の処理手段は、動き情報予測子のさらなる第2のサブセットを提供するために、減じられたサブセットに基づいてさらなる動き情報予測子を得るように動作可能であり、抑制手段は、動き情報予測子のさらなる第2のサブセットの中から重複を除去するように動作可能である。
実施例において、デバイスは、動き情報予測子の第1のサブセットを時間的にスケーリングする処理の複雑性を決定するための手段と、重複しない動き情報予測子の最終セットを得るための抑制手段とを備え、時間スケーリング処理が所定の継続時間のしきい値よりも長い継続時間にわたって続くと決定された場合、抑制手段は、動き情報予測子の第1のサブセットの処理と動き情報予測子の第2のサブセットの処理との結果としてもたらされた動き情報予測子の中から重複を除去するように動作可能である。
一方、時間スケーリング処理が所定の継続時間のしきい値よりも短い継続時間にわたって続くと決定された場合、抑制手段は、動きベクトル予測子の第2のサブセットから得られた動き情報予測子の減じられたサブセットに、動き情報予測子の減じられたサブセットの動き情報予測子のいずれの重複でもない、動き情報予測子の第1のサブセットの処理の結果としてもたらされた動き情報予測子を追加するように動作可能であり、動き情報予測子の最終セットは、動き情報予測子の減じられたサブセットおよび動き情報予測子のさらなる第2のサブセットの動き情報予測子の中からの重複しない動き情報予測子を含む。
実施例において、第2の処理手段は、動き情報予測子の減じられたサブセットを提供するために、上記第2のサブセットの動き情報予測子の中から重複を除去するための手段と、上記第2のサブセットの動き情報予測子のうちの1つに基づいて動き情報予測子のさらなるセットを生成し、上記第2のサブセットの動き情報予測子のうちの上記1つを含むための手段であって、動き情報予測子のさらなるセットの中には重複がない手段とを備え、デバイスはさらに、動き情報予測子の重複しないセットを提供するために、動き情報予測子の減じられたサブセットおよび動き情報予測子のさらなるセットの中から重複を除去するための抑制手段を備える。
実施例において、第2の処理手段はさらに、動き情報予測子のさらなる第2のサブセットを提供するために、動き情報予測子の減じられたサブセットに基づいて、さらなる動き情報予測子を生成するための手段と、動き情報予測子の第2の重複しないセットを提供するために、動き情報予測子のさらなる第2のサブセットおよび動き情報予測子の重複しないセットの動き情報予測子の中から重複を除去するための手段とを備える。
実施例において、抑制手段は、動き情報予測子の最終セットを得るために、動き情報予測子の第2の重複しないセットの動き情報予測子のいずれの重複でもない、動き情報予測子の第1のサブセットの処理の結果としてもたらされた動き情報予測子を、動き情報予測子の第2の重複しないセットに追加するように動作可能である。
本発明の第3の態様によると、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出する方法が提供され、上記画像部分が符号化または復号されるために、この方法は、動き情報予測子の第1のセットの動き情報予測子の少なくとも2つの別個の第1および第2のサブセットを、処理のために提供することと、動き情報予測子の第1および第2のサブセットのうちの少なくとも1つを処理するための継続時間を、少なくとも1つのサブセットを表すデータに基づいて推定することと、推定された処理の継続時間に依存して、第1のセットの動き情報予測子を処理することであって、動き情報予測子の第1のサブセットを処理することおよび動き情報予測子の第2のサブセットを処理することであって、動き情報予測子の第2のサブセットの処理の少なくとも一部は、動き情報予測子の第1のサブセットの処理の少なくとも一部と同時に実行されること、または動き情報予測子の第1および第2のサブセットを一緒に処理することのいずれかを含む、第1のセットの動き情報予測子を処理することと、第1のセットの動き情報予測子の処理の結果としてもたらされた動き情報予測子に基づいて、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セットを得ることとを含む。
実施例において、この方法は、動き情報予測子の第1のサブセットを処理するための時間の継続時間を動き情報予測子の第2のサブセットを処理するための時間の継続時間と比較することを含み、動き情報予測子の第1のセットの処理はこの比較に基づく。
実施例において、この方法は、第1のサブセットを処理するための時間の継続時間および/または第2のサブセットを処理するための時間の継続時間を所定のしきい値と比較することを含み、動き情報予測子の第1のセットの処理はこの比較に基づく。
実施例において、方法は、第1のサブセットの1つのまたは動き情報予測子の時間スケーリング処理を含む、第1のサブセットの処理を含む。
実施例において、この方法は、第1のサブセットおよび/または第2のサブセットの各動き情報予測子のデータを含む、第1のサブセットおよび/または第2のサブセットを表すデータを含む。
実施例において、方法は、時間スケーリング処理のための時間距離を含む、各動き情報予測子のデータを含む。
実施例において、この方法は、上記または各サブセットの動き情報予測子の数を含む、第1のサブセットおよび/または第2のサブセットを表すデータを含む。
実施例において、方法は、第1のサブセットおよび/または第2のサブセットを処理するための演算の最大数を含む、第1のサブセットおよび/または第2のサブセットを表すデータを含む。
本発明の第4の態様によると、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出するためのデバイスが提供され、このデバイスは、
動き情報予測子の第1のセットの動き情報予測子の少なくとも2つの別個の第1および第2のサブセットを得るための手段と、
動き情報予測子の第1および第2のサブセットのうちの少なくとも1つを処理するための継続時間を、少なくとも1つのサブセットを表すデータに基づいて推定するための手段と、
動き情報予測子の第1のサブセットを処理するための第1の処理手段、および動き情報予測子の第2のサブセットを処理するための第2の処理手段と、を備え、推定された処理の継続時間に依存して、第2の処理手段は、
第1の処理手段予測子によって実行される動き情報の第1のサブセットの処理の少なくとも一部と同時に、動き情報予測子の第2のサブセットの処理の少なくとも一部を実行するか、または、
動き情報予測子の第1および第2のサブセットを一緒に処理するか、
のいずれかをするように動作可能であり、
デバイスはさらに、第1のセットの動き情報予測子の処理の結果としてもたらされた動き情報予測子に基づいて、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セットを得るための手段を備える。
実施例において、このデバイスは、動き情報予測子の第1のサブセットを処理するための時間の継続時間を動き情報予測子の第2のサブセットを処理するための時間の継続時間と比較するための比較手段を備え、第1の処理手段によって実行される動き情報予測子の第1のセットの処理はこの比較に基づく。
実施例において、デバイスは、第1のサブセットを処理するための時間の継続時間および/または第2のサブセットを処理するための時間の継続時間を所定のしきい値と比較するための比較手段を備え、第1の処理手段によって実行される動き情報予測子の第1のセットの処理はこの比較に基づく。
実施例において、第1の処理手段は、第1のサブセットの1つのまたは動き情報予測子の時間スケーリング処理を実行するように動作可能である。
実施例において、第1のサブセットおよび/または第2のサブセットを表すデータは、第1のサブセットおよび/または第2のサブセットの各動き情報予測子のデータを含む。
実施例において、各動き情報予測子のデータは、時間スケーリング処理のための時間距離を含む。
実施例において、第1のサブセットおよび/または第2のサブセットを表すデータは、上記または各サブセットの動き情報予測子の数を含む。
実施例において、第1のサブセットおよび/または第2のサブセットを表すデータは、第1のサブセットおよび/または第2のサブセットを処理するための演算の最大数を含む。
本発明のさらなる態様は、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出する方法を提供し、上記画像部分が符号化または復号されるために、この方法は、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セットを得るために、動き情報予測子の第1のセットの動き情報予測子を処理することであって、第1のセットを動き情報予測子の少なくとも2つの別個の第1および第2のサブセットに細分化することを含む、動き情報予測子の第1のセットを処理することと、動き情報予測子の第1および第2のサブセットのうちの少なくとも1つを処理するための継続時間を、少なくとも1つのサブセットを表すデータに基づいて推定することと、推定された処理の継続時間に依存して、動き情報の第2のサブセットの処理の少なくとも一部が動き情報予測子の第1のサブセットの処理の少なくとも一部と同時に実行されるように細分化を使用して動き情報予測子の第1のセットの処理を実行すること、または、細分化を使用せずに動き情報予測子の第1のセットの処理を実行することのいずれかをすること、とを含む。
本発明のさらなる別の態様は、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出するためのデバイスを提供し、このデバイスは、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セットを得るために、動き情報予測子の第1のセットの動き情報予測子を処理するための処理手段であって、第1のセットを動き情報予測子の少なくとも2つの別個の第1および第2のサブセットに細分化するための手段を備える処理手段と、動き情報予測子の第1および第2のサブセットのうちの少なくとも1つを処理するための継続時間を、少なくとも1つのサブセットを表すデータに基づいて推定するための手段とを備え、処理手段は、推定された処理の継続時間に依存して、動き情報の第2のサブセットの処理の少なくとも一部が動き情報予測子の第1のサブセットの処理の少なくとも一部と同時に実行されるように細分化を使用して動き情報予測子の第1のセットの処理を実行すること、または、細分化を使用せずに動き情報予測子の第1のセットの処理を実行することのいずれかをするように動作可能である。
本発明のさらなる別の態様は、少なくとも1つの参照画像部分に対する動き補償による画像の画像部分の符号化または復号のための少なくとも1つの動き情報予測子を導出する方法を提供し、上記画像部分が符号化されるために、この方法は、動き情報予測子の第1のセットを得ることと、動き情報予測子の第1のセットの動き情報予測子の少なくとも2つの別個のサブセットを同時処理することとを含み、この同時処理は、参照画像部分から上記画像部分を予測するために使用可能な動き情報予測子の最終セットを提供する。
本発明の第5の態様は、デジタル画像のシーケンスをビットストリームの中に符号化する方法を提供し、画像の少なくとも1つの部分が、参照画像部分に対する動き補償によって符号化され、符号化する少なくとも1つの画像部分のために、この方法は、本発明の第1または第3の態様の実施例のいずれかの方法によって、少なくとも1つの参照画像部分に対する画像部分の動き予測のために使用可能な動き情報予測子のセットを得ることと、画像部分を符号化するために情報予測子のセットから少なくとも1つの動き情報予測子を選択することと、選択された少なくとも1つの動き情報予測子を使用して画像部分を符号化すること、とを含む。
この方法は、選択された動き情報予測子を識別する情報項目を符号化することを含んでも良い。
本発明の第6の態様は、画像のシーケンスをビットストリームの中に符号化するための符号化デバイスを提供し、画像の少なくとも1つの部分が、参照画像部分に対する動き補償によって符号化され、この符号化デバイスは、本発明の第2または第4の態様の実施例のいずれかによって、少なくとも1つの動き情報予測子を導出するためのデバイスと、画像部分を符号化するために情報予測子のセットから少なくとも1つの動き情報予測子を選択する選択手段と、選択された少なくとも1つの動き情報予測子を使用して画像部分を符号化するための符号化手段と、を備える。
本発明の第7の態様は、符号化された画像のシーケンスを備えるビットストリームを復号する方法を提供し、画像の少なくとも1つの部分は、参照画像部分に対する動き補償によって符号化されていて、この方法は、少なくとも1つの画像部分が復号されるために、本発明の第1または第3の態様の実施例のいずれか1つの方法によって、少なくとも1つの参照画像部分に対する画像部分の動き予測のために使用可能な動き情報予測子のセットにおいて得ることと、画像部分を復号するために情報予測子のセットから少なくとも1つの動き情報予測子を選択することと、選択された少なくとも1つの動き情報予測子を使用して画像部分を復号することとを含む。
本発明の第8の態様は、符号化された画像のシーケンスを備えるビットストリームを復号するための復号デバイスを提供し、画像の少なくとも1つの部分は、参照画像部分に対する動き補償によって符号化されていて、この復号デバイスは、
本発明の第2または第4の態様の実施例のいずれか1つのデバイスによって、少なくとも1つの動き情報予測子を導出するためのデバイスと、画像部分を復号するために情報予測子のセットから少なくとも1つの動き情報予測子を選択するための選択手段と、選択された少なくとも1つの動き情報予測子を使用して画像部分を復号するための復号手段とを備える。
本発明の異なる態様の実施例は、PおよびBスライスのために、および、一および双方向のインター予測の両方のために使用され得る、ということが理解されるだろう。
本発明に係る方法の少なくとも一部は、コンピュータ実装されることができる。したがって、本発明は、完全にハードウェアの実施例、完全にソフトウェアの実施例(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、または本明細書においてはすべてが一般的に「回路」、「モジュール」、または「システム」と呼ばれ得る、ソフトウェアおよびハードウェアの態様を組み合わせた実施例の形をとることができる。さらに、本発明は、媒体に組み込まれたコンピュータ使用可能なプログラムコードを有する表現の任意の有形媒体に組み込まれたコンピュータプログラム製品の形をとることができる。
本発明はソフトウェアで実現されることができるので、本発明は、プログラム可能な装置への供給のためのコンピュータ読取可能なコードとして、任意の適切な搬送媒体に組み込まれて実現できる。有形の搬送媒体は、フロッピーディスク、CD−ROM、ハードディスクドライブ、磁気テープデバイス、またはソリッドステートメモリデバイス、等といった記憶媒体を備えることができる。一時的な搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または電磁気信号、例えば、マイクロウェーブまたはRF信号といった信号を含むことができる。
本発明の実施例がここで、例としてのみ、以下の図面に関連して説明される。
図1は、本発明の実施例のコンテキストにおける動きベクトル予測処理において使用される動きベクトル予測子のセットの模式図である。 図2は、動きベクトル予測子のセットを導出するための従来技術の処理のステップを示すフローチャートである。 図3は、本発明の実施例が実現され得る処理デバイスのコンポーネントを示すブロック図である。 図4は、本発明の実施例に係るエンコーダデバイスのコンポーネントを示すブロック図である。 図5は、本発明の実施例に係るデコーダデバイスのコンポーネントを示すブロック図である。 図6は、本発明の第1の実施例に係る動き情報予測子のセットを得るための方法のステップを示すフローチャートである。 図7は、本発明の第2の実施例に係る動き情報予測子のセットを得るための方法のステップを示すフローチャートである。 図8は、本発明の第3の実施例に係る動き情報予測子のセットを得るための方法のステップを示すフローチャートである。 図9は、本発明の第4の実施例に係る動き情報予測子のセットを得るための方法のステップを示すフローチャートである。 図10の(a)は、本発明の1つ以上の実施例に係る動きベクトル予測子の生成のためのスキームを模式図的に示した図である。 図10の(b)は、本発明の1つ以上の実施例に係る動きベクトル予測子の生成のためのスキームを模式図的に示した図である。 図10の(c)は、本発明の1つ以上の実施例に係る動きベクトル予測子の生成のためのスキームを模式図的に示した図である。 図11は、本発明の実施例において使用される時間予測子のスケーリングの処理を示す模式図である。
図3は、本発明の少なくとも1つの実施例を実現するように構成された処理デバイス200を模式図的に示す。処理デバイス200は、マイクロコンピュータ、ワークステーション、または軽量のポータブルデバイスといったデバイスで良い。デバイス200は、好ましくは、
−CPUと示された、マイクロプロセッサのような中央処理装置211、
−ROMと示された、本発明を実現するためのコンピュータプログラムを記憶するための読み出し専用メモリ207、
−RAMと示された、本発明の実施例の方法の実行可能なコードを記憶するためのランダムアクセスメモリ212、ならびに本発明の実施例に係るデジタル画像のシーケンスを符号化する方法および/またはビットストリームを復号する方法を実現するのに必要な変数およびパラメータを記録するのに適応したレジスタ、
−処理されるデジタルデータが送信される通信ネットワーク203に接続された通信インターフェース202が接続された、通信バス213を備える。
任意で、装置200はまた、以下のコンポーネント、
−本発明の1つ以上の実施例の方法を実現するためのコンピュータプログラムおよび本発明の1つ以上の実施例の実現中に使用または生成されるデータを記憶するための、ハードディスクのようなデータ記憶手段204、
−ディスク206のためのディスクドライブ205であって、ディスク206からのデータの読み出し、または同ディスクへのデータの書き込みに適応したディスクドライブ、
−キーボード210または任意の他のポインティング手段によって、データを表示し、および/またはユーザとのグラフィカルインターフェースとしての役割を果たす、スクリーン209を含んでも良い。
装置200は、例えば、各々が装置200にマルチメディアデータを供給するように入力/出力カード(図示せず)に接続されている、デジタルカメラ200またはマイクロフォン208といった様々な周辺機器に接続されることができる。
通信バスは、装置200に含まれた、またはそれに接続された、様々なエレメント間の通信およびインターオペラビリティを提供する。バスの表現は限定的ではなく、特に、中央処理装置は、装置200の任意のエレメントに対し、直接的に、または装置200の別のエレメントによって、命令を伝達するように動作可能である。
ディスク206は、例えば、書き換え可能または不可能なコンパクトディスク(CD−ROM)、ZIPディスク、またはメモリカードといった任意の情報媒体によって、および、一般的な用語では、マイクロコンピュータまたはマイクロプロセッサによって読み出されることができ、装置と一体型または非一体型であることができ、場合によっては取り外し可能であることができ、その実行が本発明に係るデジタル画像のシーケンスを符号化する方法および/またはビットストリームを復号する方法の実現を可能にする1つ以上のプログラムを記憶するのに適応することができる、情報記憶手段によって、置き換えられることができる。
実行可能なコードが、読み出し専用メモリ207、ハードディスク204、または、取り外し可能なデジタル媒体、例えば、上述したディスク206のいずれかに記憶されることができる。変形例によると、プログラムの実行可能なコードは、実行される前に、ハードディスク204のような装置200の記憶手段の1つに記憶させるために、通信ネットワーク203によって、インターフェース202を介して、受信されることができる。
中央処理装置211は、本発明に係る1つのプログラムまたは複数のプログラムの命令またはソフトウェアコードの一部、上述した記憶手段の1つに記憶される命令の実行の制御および指示にするように構成されている。起動すると、不揮発性メモリ、例えば、ハードディスク204または読み出し専用メモリ207に記憶された1つのプログラムまたは複数のプログラムが、本発明を実現するために必要な変数およびパラメータを記憶するためのレジスタ、ならびにランダムアクセスメモリ212に転送されるとランダムアクセスメモリ212は、1つのプログラムまたは複数のプログラムの実行可能なコードを持つことになる。
この実施例では、装置は、本発明を実現するためのソフトウェアを使用するプログラム可能な装置である。しかしながら、あるいは本発明は、(例えば、特定用途向け集積回路、すなわちASICの形状の)ハードウェアに実装されていても良い。
図4は、本発明の少なくとも1つの実施例に係るエンコーダのブロック図を示す。このエンコーダは、接続されたモジュールによって表され、各モジュールは、例えば、デバイス200のCPU211によって実行されるプログラミング命令の形で、本発明の1つ以上の実施例に係る画像シーケンスの画像を符号化する少なくとも1つの実施例を実現する方法の少なくとも1つの対応するステップを実現するのに適応する。
デジタル画像の元のシーケンスi0〜in301がエンコーダ30により入力として受け取られる。各デジタル画像は、ピクセルとして知られているサンプルのセットによって表される。
ビットストリーム310が、符号化処理の実現の後にエンコーダ30により出力される。
ビットストリーム310は、複数の符号化ユニットまたはスライスを含み、各スライスは、そのスライスを符号化するために使用された符号化パラメータの符号化値を送信するためのスライスヘッダと、符号化された映像データを備えるスライスボディとを含む。
入力デジタル画像i0〜in301は、モジュール302によってピクセルのブロックに分割される。ブロックは、各画像部分に対応し、可変サイズ(例えば、4×4、8×8、16×16、32×32ピクセル)であっても良い。コーディングモードが各入力ブロックのために選択される。コーディングモードの2つのファミリが提供される。空間予測コーディング(イントラ予測)に基づいたコーディングモードと、時間予測に基づいたコーディングモード(インターコーディング、Bidir、SKIP)である。可能なコーディングモードがテストされる。
モジュール303は、イントラ予測を実現し、符号化される所与のブロックが、符号化される同ブロックの近傍のピクセルから計算された予測子によって予測される。イントラコーディングが選択された場合、選択されたイントラ予測子のインジケーションと、所与のブロックとその予測子との間の差分とが、残余を提供するために符号化される。
時間予測は、動き推定モジュール304および動き補償モジュール305によって実現される。まず、参照画像のセット316の中から参照画像が選択され、参照エリアまたは画像部分とも呼ばれ、符号化される所与のブロックに最も近いエリアである参照画像の部分が、動き推定モジュール304によって選択される。動き補償モジュール305が次に、選択されたエリアを使用して符号化されるブロックを予測する。残余ブロックとも呼ばれる、選択された参照エリアと所与のブロックとの間の差分が、動き補償モジュール305によって計算される。選択された参照エリアは、動きベクトルによって示される。
したがって、両方のケース(空間および時間予測)において、残余が、予測される元の予測されたブロックから予測を減算することによって計算される。
モジュール303によって実現されるINTRA予測では、予測方向が符号化される。時間予測では、少なくとも1つの動きベクトルが符号化される。
インター予測が選択された場合、動きベクトルと残余ブロックとに関連する情報が符号化される。ビットレートをさらに減じるために、動きベクトルが、動きベクトル予測子に対する差分によって符号化される。動き情報予測子のセットのうちの動きベクトル予測子が、動きベクトル予測およびコーディングモジュール317により、動きベクトルフィールド318から得られる。
現在の動きベクトルの符号化のための動きベクトル予測子がそこから選択される、動きベクトル予測子のセットは、図7〜図10のいずれか1つに関し以下により詳細に説明されるように生成される。符号化される所与の現在のブロックのために、本発明のいくつかの実施例では、動きベクトル予測子の数Nが決定され、次に、選択された動きベクトル予測子を表す情報項目である、選択された動きベクトル予測子のインデックスが、動きベクトル予測子の数Nに応じて所定数のビットを使用して符号化されることができる。この所定数のビットは、損失のケースであってもデコーダにより検索されることもできるので、デコーダは、誤りまたは損失のケースであってもビットストリームを確実に構文解析可能であり得る。N個の動きベクトル予測子は、本発明の様々な実施例によると、圧縮効率を高めるためにすべてが互いに異なるように選択される。
エンコーダ30はさらに、コーディングモードの選択のための選択モジュール306を備える。選択モジュール306は、空間予測モードと時間予測モードのうちのどちらが最良のモードであるかを決定するために、レート歪み判定基準のような符号化コスト判定基準を適用する。冗長性をさらに減じるために、変換が変換モジュール307により残余ブロックに適用され、得られた変換データは次に、量子化モジュール308により量子化され、エントロピー符号化モジュール309によりエントロピー符号化される。最後に、符号化されている現在のブロックの符号化された残余ブロックが、選択された動きベクトル予測子のインデックスのような、使用された予測子に関連する情報とともに、ビットストリーム310に挿入される。「SKIP」モードで符号化されたブロックでは、予測子への参照のみが、残余ブロックなしにビットストリームにおいて符号化される。
エンコーダ30はまた、後続画像の動き推定のための参照画像をもたらすために、符号化された画像の復号を実行する。これにより、エンコーダとビットストリームを受信するデコーダは、同一の参照フレームを有することが可能になる。逆量子化モジュール311が量子化されたデータの逆量子化を実行し、その後に逆変換モジュール312による逆変換が続く。逆イントラ予測モジュール313が、予測情報を使用して、所与のブロックのためにどの予測子を使用するかを決定し、逆動き補償モジュール314が実際に、参照画像のセット316から得られた参照エリアに、モジュール312により得られた残余を加算する。任意で、デブロッキングフィルタ315が、ブロッキング効果を除去し、復号された画像の視覚品質を高めるために適用される。同一のブロッキングフィルタがデコーダで適用されるので、伝送損失がない場合、エンコーダとデコーダは同一の処理を適用する。
図5は、本発明の少なくとも1つの実施例に係るデコーダ40のブロック図を示す。このデコーダは、接続されたモジュールによって表され、各モジュールは、例えば、デバイス200のCPU211によって実行されるプログラミング命令の形で、本発明の実施例を実現する方法の対応するステップを実現するのに適用される。
デコーダ40は、符号化ユニットを含むビットストリーム401を受信し、各符号化ユニットは、符号化パラメータについての情報を含むヘッダと符号化された映像データを含むボディとによって構成されている。図4に関連して説明したように、符号化された映像データはエントロピー符号化され、動きベクトル予測子のインデックスが所与のブロックのために所定数のビットで符号化される。受信された符号化映像データは、モジュール402によりエントロピー復号される。残余データが次に、モジュール403により逆量子化され、次に、逆変換がモジュール404により適用され、ピクセル値が得られる。
モードデータもまたエントロピー復号され、そのモードに基づいて、INTRAタイプの復号またはINTERタイプの復号が実行される。
INTRAモードのケースでは、INTRA予測子が、ビットストリームにおいて指定されたイントラ予測モードに基づきイントラ逆予測モジュール405により決定される。
モードがINTERである場合、動き予測情報が、エンコーダによって使用された参照エリアを見つけるためにビットストリームから抽出される。動き予測情報は、参照フレームインデックスおよび動きベクトル残余によって構成される。動きベクトル予測子が、動きベクトル復号モジュール410によって、動きベクトルを得るために、動きベクトル残余に加算される。
動きベクトル復号モジュール410は、動き予測によって符号化された現在のブロックの各々のために動きベクトル復号を適用する。現在のブロックのための動きベクトル予測子のインデックスが得られると、現在のブロックに関連づけられた動きベクトルの実際の値が復号され、モジュール406により逆動き補償を適用するために使用できる。復号された動きベクトルによって示された参照エリアが、逆動き補償406を適用するために参照画像408から抽出される。動きベクトルフィールドデータ411が、次の復号動きベクトルの逆予測に使用されるために、復号された動きベクトルにより更新される。
最後に、復号されたブロックが得られる。デブロッキングフィルタ407が、エンコーダで適用されたデブロッキングフィルタ315と同様に適用される。復号された映像信号409が最後に、デコーダ40により提供される。
図6は、参照画像部分に対する画像の画像部分の符号化に適した潜在的な動き情報予測子のセットを導出するための本発明の第1の実施例に係る方法のステップを示すフローチャートである。この方法の第1のステップでは、7つのブロック位置が考慮される(701〜707)。これらの位置は、図1に示した空間および時間位置に対応する。モジュール708は、7つのブロック位置の動きベクトルの利用可能性を検証し、動きベクトル予測子として4つの動きベクトルを選択する。このモジュールにおいて、動きベクトルは、それが存在する場合、および動きベクトルブロックがイントラコーディングされない場合に、予測子として利用可能である。4つの動きベクトル予測子の選択および検証は、以下の条件下で記述される。
・「左」の動きベクトル(701)が利用可能である場合(それが存在する場合、およびこのブロックがイントラコーディングされない場合)、「左」のブロックの動きベクトルが選択され、予測子1として使用される(610)。
・「上」の動きベクトル(702)が利用可能である場合、「上」のブロックの動きベクトルが選択され、予測子2として使用される(711)。
・「右上」の動きベクトル(703)が利用可能である場合、「右上」のブロックの動きベクトルが選択され、予測子3として使用される(712)。
・「左下」の動きベクトル(704)が利用可能である場合、「左下」のブロックの動きベクトルが選択され、予測子4として使用される(713)。
・これらの予測子のうちの1つ(または複数)が利用可能でない場合、および「左上」の動きベクトル(705)が利用可能である場合、「左上」のブロックの動きベクトルが、追加された空間予測子の後に、選択された動きベクトル予測子のセットに追加される。
・「H」の動きベクトルが利用可能である場合、「H」のブロックの動きベクトルが選択され、予測子5として使用される(714)。「H」のブロックが利用可能でない場合、「同一位置に配置された」動きベクトル(現在のブロックにおける同一の位置にあるブロックの動きベクトル)の利用可能性がチェックされ、同一位置の動きベクトルが利用可能である場合、それが時間予測子として使用される。モジュール708の利用可能性のチェックは、1サイクルを必要とする。
処理の開始時に選択される動きベクトル予測子のセットは空間予測子1、2、3、4のみを含むので、選択処理715の複雑性は、4つの空間予測子と1つの時間予測子と備える図2における従来技術の選択処理と比較して低い。
抑制処理は、選択された各々の予測子を、選択された他の予測子すべてと比較することと、予測子のいずれもが互いの重複でない予測子のセットを提供するために、選択された別の予測子と同等の選択された予測子を除去する(一方で、除去された予測子がその重複である、選択された他の予測子を保持する)ことにある。Pスライスのための抑制処理は、動きベクトルおよびそれらの参照フレームインデックスの値を考慮に入れる。したがって、動きベクトルの2つの成分およびその参照フレームインデックスが、他の動きベクトルの対応する成分すべてと比較され、これらの3つの値が等しい場合のみ、予測子がセットから除去される(または、追加されない)。Bフレームでは、この判定基準が方向およびリストに拡張することが可能である。したがって、予測子は、それが、選択された動きベクトルのセットにおいて、同一の方向、同一のリスト(L0、L1、または、L0およびL1)、同一の参照フレームインデックス、および動きベクトルの同一の値(双予測ではMV_L0およびMV_L1)を使用する場合に、重複する予測子と見なされる。抑制処理は、最大5つの予測子が比較される必要がある場合、1サイクル続く。実際、12回の比較が1サイクルにおいて計算できることが考えられる。最も複雑なケースにおける抑制処理のための比較の最大数は、0〜N−1の合計に等しい。抑制処理の開始時の予測子の最大数が5ではなく4であるので、実行される比較の最大数は、図2の従来技術の選択された5つの予測子についての10と比較すると、6(すなわち、3+2+1=6)である。この抑制処理715の最後には、予測子の減じられたセット716が生成される。減じられた動きベクトル予測子のセット716は、従来技術における5と比較すると、多くて4つの予測子を含む。
動きベクトル予測子の生成モジュール717が、減じられた動きベクトル予測子のセットの予測子に基づいて、新たな予測子の候補を生成する。そのような予測子を作成するためのいくつかのスキームが使用しても良く、そのようなスキームの1つが図10の(a)〜図10の(c)に関連して後述される。動きベクトル予測子の生成モジュールによって実行される処理は、少なくとも1サイクル続き、予測子の第2のセット718を生成することが考えられる。減じられた予測子のセット716は一般的に、平均して図2に示した従来技術の減じられた予測子のセット616よりも少ない予測子を含むので、従来技術の減じられた動きベクトル予測子のセットと比較してより少ない組み合わせられた予測子およびスケーリングされた予測子が、減じられた動きベクトル予測子のセット717において生成され、処理の複雑性が減じられる。
次に、抑制処理モジュール715と同様の手法で動作する抑制処理モジュール721が、第2の予測子のセット718および減じられた予測子のセット716から、重複する候補を、それぞれの動きベクトル成分および関連づけられた動き情報パラメータを比較することによって除去する。図2に示した従来技術では、この特定の処理の継続時間は、特に現在のHEVC設計の動きベクトル予測子生成が適用された場合、第2の予測子のセット718において生成される予測子の数に依存して、3サイクルに到達し得る。抑制処理721は、動きベクトル予測子の第2の減じられたセット722を生成する。
最後に、時間予測子714が、モジュール719において動きベクトル予測子の第2の減じられたセット722と比較される。モジュール719によって実行される抑制および再順序付け処理では、時間予測子が、時間予測子が重複する予測子であるかどうかを決定するために最大数で5つの予測子と比較される。それが重複しない予測子である場合、時間予測子は、重複しない最後の空間予測子のすぐ前に、予測子のリストに挿入される。時間位置は、抑制処理モジュール715によって決定され、処理モジュール719に送られていて、715における予測子の数に対応する。予測子のリストは、それが5つより多い予測子を含む場合、予測子の最終セット720をもたらすために、切り捨てられる。モジュール719によって実行される比較の最大数は、最も複雑なケースで5であり、それは、図2に示した従来技術の抑制モジュール619の比較の最大数と比較して減少である、ということに注意する必要がある。
代替の実施例では、抑制処理モジュール719は、従来技術の抑制処理モジュール619と同一の手法で動作しても良い。そのようなケースでは、時間予測子は、予測子の減じられたセット722が最大数で4つの予測子を含む場合に予測子のセットに追加されるのみである。そうでなければ、それは、予測子のリストの最後に追加される。
図7は、本発明の第2の実施例を示す。図6の実施例との主な違いは、モジュール817によって実行される動きベクトル予測子生成処理が、図6のモジュール717のケースにおけるように1サイクルではなく、2サイクルの継続時間にわたって続くことである。図7のケースでは、第2の予測子のセット818の重複する予測子を除去するための抑制処理が、時間スケーリング処理809と並行して実行されない。従って、図7では、抑制モジュール819において、時間予測子814が、動きベクトル予測子の減じられたセット816の予測子と第2の予測子のセット818の予測子の両方と比較される。この処理では、時間予測子814が減じられた動きベクトル予測子のセット816の動きベクトル予測子の重複しない予測子である場合、時間予測子814は、空間予測子の後に、動きベクトル予測子の減じられたセットに追加される。次に、第2の予測子のセット818の予測子が、動きベクトル予測子の減じられたセット816の予測子と、追加された場合には時間予測子814と、そして第2の予測子のセット818の他の予測子と比較される。
図6または図7の実施例の処理の利点は、第1の抑制処理715または815、および動きベクトル予測子生成処理717または817との、並行したスケーリング処理709の完全な実行の結果としてもたらされる。各処理の複雑性に応じて、追加の抑制処理721が、最終抑制処理719の複雑性を減じるために、重複しないセットをあらかじめ決定するために方法に含むことが可能である。したがって、本発明の第1の実施例では、抑制処理全体がモジュール721および719によって実現される2つの抑制処理に分けられることが考えられる。
並行したスケーリング処理は、コーディング効率に有利な影響を及ぼす。実際、時間予測子714または814は予測子の第2のセット718または818を生成するために使用されないので、これは、動きベクトル予測子の生成に影響を及ぼす。
本発明の第3の実施例に係る動きベクトル予測子のセットを生成する方法のステップが、図8のフローチャートに示される。本発明の第3の実施例に係る方法は、コーディング効率への影響をさらに減らす。
選択モジュール908は、本発明の第1および第2の実施例の対応する選択モジュール708および808と同様の手法で、4つの動きベクトル910〜913を、それらの利用可能性に基づいて、空間および時間ブロック位置901〜907から選択するように動作する。
主な違いは、スケーリング判定モジュール923の使用である。スケーリング判定モジュール923では、時間動きベクトルの時間距離と時間予測子(予測子番号5)の時間距離とが比較される。インター予測の一方向タイプでは、これは、時間フレーム(Hおよび同一位置に配置されたブロックのフレーム)と時間動きベクトル(Hまたは同一位置に配置された)によって示された参照フレームとの間のピクチャ順序カウント(POC)差分が、現在のフレームと時間予測子の参照フレームとの間の時間距離と比較されることを意味する。これらの時間距離が等しい場合、スケーリング判定モジュール923は、「いいえ」の値を戻す。そうでなければ、それはスケーリング処理が必要とされることを意味し、スケーリング判定モジュール923は、「はい」の値を戻す。双方向予測タイプでは、判定モジュール923は、各リストに関する時間距離を比較し、戻される判定は、両方のリストに関する判定に依存する。したがって、両方のリストに関しスケーリングが必要とされない場合、スケーリング判定モジュール923は、「いいえ」の値を戻し、少なくとも1つのスケーリング処理が1つのリストに関し必要とされる場合、スケーリング判定モジュール923は、「はい」の値を戻す。
スケーリング判定モジュール923が「いいえ」の値を戻した場合、時間予測子5(924)は、抑制処理915において使用される。結果的に、動きベクトル予測子の生成917は、予測子の第2のセット918を生成するために時間予測子5の値を使用する。そして、抑制処理921が、予測子の減じられたセット916および第2の予測子のセット918に適用される。次に、判定モジュール925が、スケーリング判定モジュール923の判定に基づいて、動きベクトル予測子の最終セットの供給についての判定を行う。すなわち、スケーリング判定モジュール923によって行われた判定が、抑制処理921によってもたらされた減じられた予測子のセットが最終予測子セットか否かを決定するために使用される。「いいえ」が判定モジュール923によって戻された場合、抑制処理921によってもたらされた減じられた予測子のセットが最終予測子セットであることが決定される。したがって、スケーリング判定モジュール923が、スケーリングが必要とされないことを示す「いいえ」を戻した場合、予測子のセットの導出は、図2に示した予測子のセットの導出と同様の手法で動作する。
一方、スケーリング判定モジュール923が、時間予測子が時間予測子番号5(914)をもたらすためにモジュール909においてスケーリングされることを示す「はい」の値を戻した場合、抑制処理921によってもたらされた減じられた予測子のセットが最終予測子セットでないことが決定される。このケースでは、抑制処理モジュール915は、抑制処理のために時間予測子を使用しておらず、動きベクトル予測子生成モジュール917は、新たな予測子を作成するために時間予測子を使用していない。従って、図6のフローチャートに示された処理と同様の手法で、時間予測子5のスケーリング処理909が、動きベクトル予測子917の生成と並行して実行される。スケーリング判定モジュール925は、第2の抑制処理の後、「はい」の値を戻す。したがって、スケーリングされた時間予測子914が、抑制処理919において予測子の第2の減じられたセット922の予測子と比較される。図6の抑制処理モジュール719のケースにおけるように、時間予測子914が予測子の第2の減じられたセットにおける予測子の重複しない予測子である場合、抑制および再順序付けモジュール919が、予測子の最終セット920を提供するために、第1の減じられた予測子のセット916の後に予測子のセットに時間予測子を挿入する。
この実施例を要約すると、スケーリング処理909は、時間予測子がスケーリングを必要とする場合のみ、第2のセット918の生成処理917と並行して実行される。
動きベクトル予測子の生成917が1サイクル続くことを考慮した場合、および時間予測子がスケーリング処理を必要としない場合、4サイクルがマージ予測子のセットを生成するために必要とされ、そうでなければ5サイクルが必要とされる。従って、処理は、第1の実施例におけるように、最も複雑なケースにおいて2サイクル減る。前の実施例と比較したこの実施例の主な利点は、時間予測子がスケーリングを必要としない場合のみ予測子の第2のセットの生成のために時間予測子を使用することである。結果的に、コーディング効率が第1の実施例と比較して改善されることができる。
追加の実施例では、スケーリング処理の複雑性を考慮することが可能である。例えば、スケーリング処理が1サイクルのみを必要とするかどうかを知ることが可能であろう。動きベクトル予測子の符号が変更される必要がある場合に1サイクルが必要とされるだけである。そのケースでは、時間予測子が、減じられた予測子のセット916と同時に利用可能である。したがって、時間予測子を、抑制処理921のために使用することができる。そのケースでは、スケーリング判定モジュール925が「はい」の値を戻し、モジュール922および919は予測子の最終セットを提供するために必要とされない。結果的に、抑制処理919は1サイクル続くので、導出処理の継続時間は1サイクル減じられる。
図9は、本発明の第4の実施例に係る動きベクトル予測子のセットを導出する方法を示すフローチャートである。図9のフローチャートは、図6のフローチャートに基づく。結果として、図9のモジュール1001〜1020および1022はそれぞれ、図6のモジュール701〜720および720と同一である。違いは、図10の(a)〜図10の(c)に関する動きベクトル予測子の生成において説明されるように、オフセットを加えることによる重複しない予測子の並行した使用である。第1の予測子1 1010が定義されると、モジュール1023が、リストの重複しない予測子を生成する。図10の(c)に関し説明されるように、この処理は、第1の予測子1010の1つまたは両方の動きベクトル成分にオフセットを加えることにある。重複しない予測子のセット1024は、すべてが互いに異なり、かつ選択処理モジュール1008によって実現された利用可能性のチェックの後に利用可能な第1の予測子1010と異なる、4つの予測子を含む。結果として、この実施例において、重複しない予測子のセット1024は、第1の予測子1010に追加されると、マージモードに関し固定されているように、重複しない予測子を5つ含む。重複しない予測子の生成は、抑制処理1015と並行して実行される。抑制処理モジュール1025は、5つの予測子のみを得るために、重複しない予測子のセット1024を減じられた予測子のセット1016と比較する。重複しない予測子のセット1026は、減じられた予測子のセット1016の後に1024において生成された重複しない予測子のセットを含む。抑制処理1025が一般的に最大6回の比較を必要とすることに注意する必要があるだろう。最も複雑なケースは、減じられた動きベクトル予測子のセット1016が4つの予測子を含む場合に生じる。重複しない予測子のセット1024は、4つの予測子を含む。理論的には、抑制処理は、最も複雑なケースにおいて16回の比較(減じられた動きベクトル予測子のセット1016の4つの予測子×重複しない予測子のセット1024の4つの予測子)を必要とする。しかしながら、重複しない予測子のセット1024における動きベクトル予測子は、第1の予測子とは異なるので、減じられた動きベクトル予測子のセット1016の第2、第3、および第4の予測子のみが、重複しない動きベクトル予測子のセット1024と比較される必要がある。結果として、12(4×3)回の比較が必要とされる。予測子は、重複しない予測子のセット1024においてすべてが互いに異なるので、最も複雑なケースにおいて、重複しない予測子1024の最初の3つの予測子が、減じられた動きベクトル予測子のセット1016の最後の3つの予測子と同等である場合、1024における最後の予測子は、減じられた動きベクトル予測子のセット1016の予測子と異なることが想定され得る。したがって、9(3×3)回の比較のみが必要とされる。
次に、動きベクトル予測子の第2のセット1018が、動きベクトル予測子の生成モジュール1017によって生成される。抑制および再順序付け処理1021は、第2の予測子のセット1018の動きベクトル予測子が、すでに5つの予測子を含む重複しないセット1026と比較して重複しないかどうかを、チェックする。第2の予測子のセット1018の予測子が他のすべてと異なる場合、それは、減じられた予測子のセット1016における予測子の番号の位置(リストにおける減じられた動きベクトル予測子のセット1016の予測子の後)に挿入される。後続のステップ1022、1019、および1020は、図6のモジュール722、719、および720の処理と同一の手法で動作する。
重複しない予測子の生成1023は、抑制処理1019の後、導出処理の最後に追加可能である、ということに注意する必要があるだろう。これは、もう1サイクルを必要とする追加の抑制処理を必要とし、同一の予測子のセットの順序という結果をもたらさないだろう。
第4の実施例は、いくつかの利点を有する。まず、この実施例では、各予測子の位置が値を有する。従って、この方法は、HEVCの現在の設計よりもロバストな処理を提供する。実際、エンコーダは、デコーダにおける値なしに予測子のインデックスを使用することができるがこれはデコーダにクラッシュをもたらし得る。これは、例えば、ネットワークエラーが生じた場合に起こり得る。
この実施例は、並行したスケーリングのコーディング効率の損失を補償する。さらに、この変更はまた、モジュールの動きベクトル予測子の生成1017において生成された候補の数の減少というコーディング効率の損失を補償する。重複しないこれらの予測子を用いると、2つの予測子が1021において生成されれば良い。結果的に、抑制処理1021は、最も複雑なケースにおいて10回比較すれば良い。したがって、図2に提示した現在のHEVC設計の最も複雑なケースのための3ではなく、1サイクルのみが必要とされる。この単純化により、現在のHEVC設計のための11ではなく、最も複雑なケースにおいて5サイクルのみが、マージ予測子のセットを導出するために必要とされる。
図9の第4の実施例が図8に提示した第3の実施例と容易に組み合わせることが可能なことが理解されるだろう。
図6、図7、図8、および図9のそれぞれの動きベクトル予測子生成モジュール717、817、917、および1017によって実現される、予測子としてのさらなる動きベクトルの生成のための処理の例がここで、図10の(a)〜図10の(c)を参照して説明される。現在のHEVC設計は、現在のセットの生成に基づいて新たな予測子を追加するために3つのスキームを使用する。第1のスキームは、Bスライスのために使用される。動きベクトル予測子の生成は、図6、図7、図8、および図9のそれぞれの減じられた予測子のセット716、816、916、1016の予測子を組み合わせることを含む。組み合わせられた予測子は、第1の予測子のリストL0の動きベクトルを選択することによって、および別の予測子からのリストL1の動きベクトルを選択することによって、生成される。例えば、第1の可能な組み合わせられた予測子は、716の第1の予測子のL0からの動きベクトル(および参照インデックス)と、716の第2の予測子のL1からの動きベクトル(および参照インデックス)とを有する。現在のHEVC設計では、12個の可能な組み合わせられた予測子が生成されることができる。図10の(a)は、この処理の例を示す。
第2のスキームは、Bスライスのためのみに使用しても良い。スケーリングされた予測子は、一方向の予測子を双方向の予測子に変えることを含む。716の予測子が一方向である場合、動きベクトルは、初期動きベクトルに基づいて反対のリストにおいて作成される。例えば、716の第1の予測子が一方向である場合、およびそれが参照インデックス0とともにL0を示す場合、その動きベクトルの値は、L1の参照インデックス0を示すようにスケーリングされる。構築された予測子は、L0のための参照インデックス0および動きベクトルの値と、リストL1のための参照インデックス0およびスケーリングされたベクトルとを含む。この新たな双方向の予測子が第2の予測子のセット(718)に追加される。この種の予測子の生成は、それが動きベクトルをスケーリングする必要があるので、非常に複雑であり、したがって、これは、モジュール717のためのサイクル数を増加させる(3サイクル)。したがって、スケーリング処理は、従来のスケーリング処理のための3ではなく、1サイクルで実行されることができる、動きベクトルの値の成分の符号を逆にすることに限られることができる。図10の(b)は、この生成の例を示す。
新たな動きベクトル予測子を生成する別の方法は、双方向の予測子を一方向の予測子に変えることによる。そのケースでは、予測子が双方向である場合、2つ(各リストにつき1つ)の新たな予測子が生成されることができる。これは、図10の(a)のスケーリングされた動きベクトルの処理と比較すると、複雑性の低い処理である。
HEVCの現在の設計では、リストの最後に、「ゼロ動きベクトル」の値が追加される。マージでは、ゼロの値が、L0およびL1の両方の動きベクトルのために設定される。そして、可能であれば、各リストの参照フレームインデックスが、他のゼロ予測子を作成するためにインクリメントされる。したがって、参照インデックスのみが変えられる。N個の参照インデックスが両方のリストにおいて使用される場合、N個のゼロベクトルが予測子のセットに追加さすることが可能である。図10の(c)は、動きベクトル予測子の生成のそのような処理の例を示す。
さらに、予測子の初期セットの利用可能な1つの予測子の成分またはいくつかの成分に1つ以上のオフセットを加えることによって、重複しない予測子を使用することが可能である。例えば、1つの予測子のみが予測子の初期セットにある場合、すべてが異なる4つの予測子を生成することが可能である。例えば、リストにおける予測子が一方向であることを考慮した場合、第1の予測子が、第1の動きベクトルの1つの成分にオフセット値を加えることによって生成される。第2の予測子は、第1の成分に逆のオフセットを加えることによって生成される。第3の予測子は、第2の成分にオフセットを加えることによって、第4は、第2の成分に逆のオフセットを加えることによって得られる。この処理は第1の候補に適用されることができるので、予測子が抑制処理715の前に導出されることができる、ということに注意する必要がある。
図11は、図6、図7、図8、および図9のそれぞれのスケーリングモジュール709、809、909、および1009に適用される時間予測子のためのスケーリングの例を示す。この図では、参照フレームRef0における同一位置の動きベクトルMVcolは、N−3に等しいPOC(ピクチャ順序カウント)を有するRef2を示している。時間予測子MVtの参照フレームは決定されていて、Ref0に等しい(POC番号はN−1に等しい)。同一位置の動きベクトルの時間距離iDiffPocDは、Ref2のPOCからRef0のPOCを引いたものに等しい。したがって、その時間距離は、
iDiffPocD=(N−3)−(N−1)=2
に等しい。
同一の手法で、時間予測子によってカバーされる必要のある時間距離iDiffPocBは、現在のフレームNのPOCからRef0のPOCを引いたものに等しく、
iDiffPocB=(N)−(N−1)=1
である。
理論的には、時間予測子のためのスケーリング動きベクトルは、
MVt=(iDiffPocB*MVcol)/iDiffPocD
に等しい。
したがって、この例において、各成分(水平および垂直)は、2で除算される。しかしながら、現在のHEVC設計では、動きベクトルのスケーリングは、以下の処理によって与えられる。
−スケーリングされた係数が、以下の式により決定される。
iScale=(iDiffPocB*iX+32)>>6
−ここで、iXは、
iX=(0x4000+abs(iDiffPocD/2))/iDiffPocDであり、
−MVtが次に、
MVt=(iScale*MVcol+127+(iScale*MVcol<0))>>8によって与えられる。
これらの式において、
「>>」は、シフト演算子を表し、
「abs」は、絶対値を戻す関数を表し、
「0x4000」は、値16384を表す。
このように、本発明の実施例は、コーディング効率に対するより少ない影響を有しながら、動きベクトル予測子のセットを導出するために必要とされるサイクル数を減じることを目的とする並行した導出処理を提供する。
本発明は特定の実施例に関連して上記のごとく説明されたが、本発明は、特定の実施例に限定されるものではなく、本発明の範囲内に含まれる変更が、当業者に明らかであろう。さらなる多くの変更および変形はそれら自体を、上述の例示的な実施例の参照により当業者に示唆し、それらの実施例は、例として与えられたものにすぎず、添付の特許請求の範囲によってのみ決定される本発明の範囲を限定することを意図したものではない。特に、異なる実施例からの異なる特徴は必要に応じて置き換えられることができる。
特許請求の範囲において、「comprising(備える/含む)」という語は、他のエレメントまたはステップを除外せず、不定冠詞の「a」または「an」は、複数を除外しない。異なる特徴が相互に異なる従属請求項において記載されている、という単なる事実は、これらの特徴の組み合わせが有利に使用されることができない、ということを示すものではない。

Claims (26)

  1. 符号化対象のブロックのための動きベクトル予測子の候補を決定する符号化装置であって、
    前記符号化対象のブロックと同じフレームに含まれる他のブロックの動きベクトルである第1の動きベクトルを複数取得する第1の取得処理と、前記符号化対象のブロックが含まれるフレームとは異なるフレームに含まれるブロックの動きベクトルである第2の動きベクトルを取得する第2の取得処理とを実行することが可能な取得手段と、
    前記取得手段によって取得される動きベクトルの一部に対して所定の処理を実行して、前記取得手段によって取得された動きベクトルに基づく前記動きベクトル予測子の候補を決定する決定手段と、
    を有し、
    前記符号化対象のブロックの右上のブロックの動きベクトルが利用可能である場合、前記取得手段によって取得される複数の第1の動きベクトルは、前記右上のブロックの動きベクトルを含むことが可能であり、
    前記所定の処理は、前記取得手段によって同一の動きベクトルが取得されたか判定し、同一の動きベクトルが取得された場合は、その同一の動きベクトルの内の一方を、前記符号化対象のブロックのための動きベクトル予測子の候補に含め、他方を前記符号化対象のブロックのための動きベクトル予測子の候補に含めない処理であり、
    前記決定手段は、
    前記取得手段によって取得された前記複数の第1の動きベクトルを対象として前記所定の処理を実行し、
    前記異なるフレームにおける前記符号化対象のブロックと同じ位置の領域の右下の位置のブロックの動きベクトルである前記第2の動きベクトルを前記符号化対象のブロックのための動きベクトル予測子の候補に含める場合、当該右下の位置のブロックの動きベクトルである第2の動きベクトルを対象とした前記所定の処理を行わずに前記符号化対象のブロックのための動きベクトル予測子の候補に、当該右下の位置のブロックの動きベクトルである前記第2の動きベクトルを含める
    ことを特徴とする符号化装置。
  2. 前記決定手段は、前記取得手段によって取得される複数の動きベクトルの内の少なくとも一部を、前記符号化対象のブロックのための動きベクトル予測子の候補として決定する
    ことを特徴とする請求項1記載の符号化装置。
  3. 前記決定手段は、前記所定の処理が行われた後の前記複数の第1の動きベクトルを含む複数の動き情報予測子の候補を、前記符号化対象のブロックのための動きベクトル予測子の候補として決定する
    ことを特徴とする請求項1又は2記載の符号化装置。
  4. 前記決定手段は、前記第2の動きベクトルを含む複数の動き情報予測子の候補を、前記符号化対象のブロックのための動きベクトル予測子の候補として決定する
    ことを特徴とする請求項1〜3のいずれか1項に記載の符号化装置。
  5. 動きベクトル予測子として、選択される動きベクトル予測子の候補を示すインデックスを符号化する符号化手段
    を有することを特徴とする請求項1〜4のいずれか1項に記載の符号化装置。
  6. 前記符号化対象のブロックのための動きベクトルは、動きベクトル残余に動きベクトル予測子を加算することによって導出される
    ことを特徴とする請求項1〜5のいずれか1項に記載の符号化装置。
  7. 前記符号化対象のブロックのための動きベクトル予測子の候補の数は2つである
    ことを特徴とする請求項1〜6のいずれか1項に記載の符号化装置。
  8. マージモードにおける、前記符号化対象のブロックのための動きベクトル予測子の候補の数は5つである
    ことを特徴とする請求項1〜7のいずれか1項に記載の符号化装置。
  9. マージモードにおいて、動きベクトル残余は符号化されない
    ことを特徴とする請求項1〜8のいずれか1項に記載の符号化装置。
  10. 前記符号化対象のブロックのための動きベクトル予測子の候補にベクトルを追加する追加手段
    を有することを特徴とする請求項1〜9のいずれか1項に記載の符号化装置。
  11. 前記追加手段は、前記符号化対象のブロックのための動きベクトル予測子の候補にゼロ動きベクトルを追加する
    ことを特徴とする請求項10記載の符号化装置。
  12. 復号対象のブロックのための動きベクトル予測子の候補を決定する復号装置であって、
    前記復号対象のブロックと同じフレームに含まれる他のブロックの動きベクトルである第1の動きベクトルを複数取得する第1の取得処理と、前記復号対象のブロックが含まれるフレームとは異なるフレームに含まれるブロックの動きベクトルである第2の動きベクトルを取得する第2の取得処理とを実行することが可能な取得手段と、
    前記取得手段によって取得される動きベクトルの一部に対して所定の処理を実行して、前記取得手段によって取得された動きベクトルに基づく前記動きベクトル予測子の候補を決定する決定手段と、
    を有し、
    前記復号対象のブロックの右上のブロックの動きベクトルが利用可能である場合、前記取得手段によって取得される複数の第1の動きベクトルは、前記右上のブロックの動きベクトルを含むことが可能であり、
    前記所定の処理は、前記取得手段によって同一の動きベクトルが取得されたか判定し、同一の動きベクトルが取得された場合は、その同一の動きベクトルの内の一方を、前記復号対象のブロックのための動きベクトル予測子の候補に含め、他方を前記復号対象のブロックのための動きベクトル予測子の候補に含めない処理であり、
    前記決定手段は、
    前記取得手段によって取得された前記複数の第1の動きベクトルを対象として前記所定の処理を実行し、
    前記異なるフレームにおける前記復号対象のブロックと同じ位置の領域の右下の位置のブロックの動きベクトルである前記第2の動きベクトルを前記復号対象のブロックのための動きベクトル予測子の候補に含める場合、当該右下の位置のブロックの動きベクトルである第2の動きベクトルを対象とした前記所定の処理を行わずに前記復号対象のブロックのための動きベクトル予測子の候補に、当該右下の位置のブロックの動きベクトルである前記第2の動きベクトルを含める
    ことを特徴とする復号装置。
  13. 前記決定手段は、前記取得手段によって取得される複数の動きベクトルの内の少なくとも一部を、前記復号対象のブロックのための動きベクトル予測子の候補として決定する
    ことを特徴とする請求項12記載の復号装置。
  14. 前記決定手段は、前記所定の処理が行われた後の前記複数の第1の動きベクトルを含む複数の動き情報予測子の候補を、前記復号対象のブロックのための動きベクトル予測子の候補として決定する
    ことを特徴とする請求項12又は13記載の復号装置。
  15. 前記決定手段は、前記第2の動きベクトルを含む複数の動き情報予測子の候補を、前記復号対象のブロックのための動きベクトル予測子の候補として決定する
    ことを特徴とする請求項12〜14のいずれか1項に記載の復号装置。
  16. 動きベクトル予測子として選択される動きベクトル予測子の候補を示すインデックスを取得するインデックス取得手段と、
    前記復号対象のブロックのための動きベクトルを、前記インデックスに基づいて導出する導出手段と
    を有することを特徴とする請求項12〜15のいずれか1項に記載の復号装置。
  17. 前記復号対象のブロックのための動きベクトルは、動きベクトル残余に動きベクトル予測子を加算することによって導出される
    ことを特徴とする請求項12〜16のいずれか1項に記載の復号装置。
  18. 前記復号対象のブロックのための動きベクトル予測子の候補の数は2つである
    ことを特徴とする請求項12〜17のいずれか1項に記載の復号装置。
  19. マージモードにおける、前記復号対象のブロックのための動きベクトル予測子の候補の数は5つである
    ことを特徴とする請求項12〜18のいずれか1項に記載の復号装置。
  20. マージモードにおいて、動きベクトル残余は符号化又は復号されない
    ことを特徴とする請求項12〜19のいずれか1項に記載の復号装置。
  21. 前記復号対象のブロックのための動きベクトル予測子の候補にベクトルを追加する追加手段
    を有することを特徴とする請求項12〜20のいずれか1項に記載の復号装置。
  22. 前記追加手段は、前記復号対象のブロックのための動きベクトル予測子の候補にゼロ動きベクトルを追加する
    ことを特徴とする請求項21記載の復号装置。
  23. 符号化対象のブロックのための動きベクトル予測子の候補を決定する符号化方法であって、
    複数の動きベクトルを取得する取得工程と、
    前記取得工程によって取得される動きベクトルの一部に対して所定の処理を実行して、前記取得工程によって取得された動きベクトルに基づく前記動きベクトル予測子の候補を決定する決定工程と、
    を有し、
    前記取得工程において、前記符号化対象のブロックと同じフレームに含まれる他のブロックの動きベクトルである第1の動きベクトルを複数取得する第1の取得工程と、前記符号化対象のブロックが含まれるフレームとは異なるフレームに含まれるブロックの動きベクトルである第2の動きベクトルを取得する第2の取得工程とを実行することが可能であり、
    前記符号化対象のブロックの右上のブロックの動きベクトルが利用可能である場合、前記取得工程によって取得される複数の第1の動きベクトルは、前記右上のブロックの動きベクトルを含むことが可能であり、
    前記所定の処理は、前記取得工程によって同一の動きベクトルが取得されたか判定し、同一の動きベクトルが取得された場合は、その同一の動きベクトルの内の一方を、前記符号化対象のブロックのための動きベクトル予測子の候補に含め、他方を前記符号化対象のブロックのための動きベクトル予測子の候補に含めない処理であり、
    前記決定工程において、
    前記取得工程によって取得された前記複数の第1の動きベクトルを対象として前記所定の処理を実行し、
    前記異なるフレームにおける前記符号化対象のブロックと同じ位置の領域の右下の位置のブロックの動きベクトルである前記第2の動きベクトルを前記符号化対象のブロックのための動きベクトル予測子の候補に含める場合、当該右下の位置のブロックの動きベクトルである第2の動きベクトルを対象とした前記所定の処理を行わずに前記符号化対象のブロックのための動きベクトル予測子の候補に、当該右下の位置のブロックの動きベクトルである前記第2の動きベクトルを含める
    ことを特徴とする符号化方法。
  24. 復号対象のブロックのための動きベクトル予測子の候補を決定する復号方法であって、
    複数の動きベクトルを取得する取得工程と、
    前記取得工程によって取得される動きベクトルの一部に対して所定の処理を実行して、前記取得工程によって取得された動きベクトルに基づく前記動きベクトル予測子の候補を決定する決定工程と、
    を有し、
    前記取得工程において、前記復号対象のブロックと同じフレームに含まれる他のブロックの動きベクトルである第1の動きベクトルを複数取得する第1の取得工程と、前記復号対象のブロックが含まれるフレームとは異なるフレームに含まれるブロックの動きベクトルである第2の動きベクトルを取得する第2の取得工程とを実行することが可能であり、
    前記復号対象のブロックの右上のブロックの動きベクトルが利用可能である場合、前記取得工程によって取得される複数の第1の動きベクトルは、前記右上のブロックの動きベクトルを含むことが可能であり、
    前記所定の処理は、前記取得工程によって同一の動きベクトルが取得されたか判定し、同一の動きベクトルが取得された場合は、その同一の動きベクトルの内の一方を、前記復号対象のブロックのための動きベクトル予測子の候補に含め、他方を前記復号対象のブロックのための動きベクトル予測子の候補に含めない処理であり、
    前記決定工程において、
    前記取得工程によって取得された前記複数の第1の動きベクトルを対象として前記所定の処理を実行し、
    前記異なるフレームにおける前記復号対象のブロックと同じ位置の領域の右下の位置のブロックの動きベクトルである前記第2の動きベクトルを前記復号対象のブロックのための動きベクトル予測子の候補に含める場合、当該右下の位置のブロックの動きベクトルである第2の動きベクトルを対象とした前記所定の処理を行わずに前記復号対象のブロックのための動きベクトル予測子の候補に、当該右下の位置のブロックの動きベクトルである前記第2の動きベクトルを含める
    ことを特徴とする復号方法。
  25. 請求項1〜11のいずれか1項に記載の符号化装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
  26. 請求項12〜22のいずれか1項に記載の復号装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
JP2019040361A 2011-08-17 2019-03-06 符号化装置、符号化方法、復号装置、復号方法、及びプログラム Active JP6821730B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1114184.3 2011-08-17
GB1114184.3A GB2493755B (en) 2011-08-17 2011-08-17 Method and device for encoding a sequence of images and method and device for decoding a sequence of images

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017039886A Division JP6494675B2 (ja) 2011-08-17 2017-03-02 符号化装置、符号化方法、復号装置、復号方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019115061A true JP2019115061A (ja) 2019-07-11
JP6821730B2 JP6821730B2 (ja) 2021-01-27

Family

ID=44800466

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2014525345A Active JP6109170B2 (ja) 2011-08-17 2012-08-16 画像のシーケンスを符号化するための方法およびデバイス、および画像のシーケンスを復号するための方法およびデバイス
JP2017039886A Active JP6494675B2 (ja) 2011-08-17 2017-03-02 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
JP2019040360A Active JP6679782B2 (ja) 2011-08-17 2019-03-06 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
JP2019040359A Active JP6679781B2 (ja) 2011-08-17 2019-03-06 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
JP2019040361A Active JP6821730B2 (ja) 2011-08-17 2019-03-06 符号化装置、符号化方法、復号装置、復号方法、及びプログラム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2014525345A Active JP6109170B2 (ja) 2011-08-17 2012-08-16 画像のシーケンスを符号化するための方法およびデバイス、および画像のシーケンスを復号するための方法およびデバイス
JP2017039886A Active JP6494675B2 (ja) 2011-08-17 2017-03-02 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
JP2019040360A Active JP6679782B2 (ja) 2011-08-17 2019-03-06 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
JP2019040359A Active JP6679781B2 (ja) 2011-08-17 2019-03-06 符号化装置、符号化方法、復号装置、復号方法、及びプログラム

Country Status (16)

Country Link
US (7) US10306256B2 (ja)
EP (5) EP3806468B1 (ja)
JP (5) JP6109170B2 (ja)
KR (6) KR101617740B1 (ja)
CN (7) CN107277544B (ja)
BR (2) BR112014002932B1 (ja)
ES (5) ES2875926T3 (ja)
GB (1) GB2493755B (ja)
HR (3) HRP20240008T1 (ja)
HU (5) HUE064678T2 (ja)
PL (5) PL3806469T3 (ja)
PT (3) PT3806469T (ja)
RS (3) RS64982B1 (ja)
RU (5) RU2643450C1 (ja)
TR (1) TR201908328T4 (ja)
WO (1) WO2013023785A2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2487197B (en) * 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
TWI511530B (zh) * 2014-12-09 2015-12-01 Univ Nat Kaohsiung 1St Univ Sc Distributed video coding system and decoder for distributed video coding system
US10368083B2 (en) * 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
CN109996081B (zh) 2017-12-31 2023-09-12 华为技术有限公司 图像预测方法、装置以及编解码器
EP3811624A1 (en) 2018-06-21 2021-04-28 Telefonaktiebolaget LM Ericsson (publ) Tile shuffling for 360 degree video decoding
SG11202011714RA (en) 2018-06-29 2020-12-30 Beijing Bytedance Network Technology Co Ltd Partial/full pruning when adding a hmvp candidate to merge/amvp
SG11202013028PA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Interaction between lut and amvp
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新:fifo、约束的fifo
TWI724442B (zh) 2018-06-29 2021-04-11 大陸商北京字節跳動網絡技術有限公司 用於查找表更新的編碼的運動信息的選擇
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Lut更新条件
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
CN111064959B (zh) 2018-09-12 2023-09-01 北京字节跳动网络技术有限公司 要检查多少个hmvp候选
US10958932B2 (en) 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
CN109274966A (zh) * 2018-09-21 2019-01-25 华中科技大学 一种基于运动矢量的监控视频内容去重方法和系统
TWI766214B (zh) 2018-12-28 2022-06-01 日商Jvc建伍股份有限公司 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN116156199B (zh) * 2019-06-07 2023-10-03 北京达佳互联信息技术有限公司 用于视频解码、视频编码的方法、计算设备和存储介质

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08129646A (ja) * 1994-11-02 1996-05-21 Matsushita Electric Ind Co Ltd 画像符号化方法、画像復号化方法、画像処理方法及びその装置
JPH1079949A (ja) 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
CA2255900C (en) * 1997-03-14 2002-08-06 Cselt - Centro Studi E Laboratori Telecommunicazioni S.P.A. Circuit for motion estimation in digitised video sequence encoders
KR100571687B1 (ko) 1999-02-09 2006-04-18 소니 가부시끼 가이샤 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
US7206448B2 (en) 2002-02-28 2007-04-17 At&T Corp. System and method for using pattern vectors for video and image coding and decoding
WO2003098939A1 (en) * 2002-05-22 2003-11-27 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化/復号化方法及び装置
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
CA2470717C (en) * 2002-11-01 2013-11-26 Matsushita Electric Industrial Co., Ltd. Moving picture coding method and moving picture decoding method
US7450642B2 (en) 2002-11-13 2008-11-11 Sony Corporation Fast motion vector prediction method
KR20050097936A (ko) * 2003-01-10 2005-10-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 효과적인 예측 이미지 파라미터 추정
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8000392B1 (en) * 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
KR100587561B1 (ko) * 2004-04-08 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 구현하는 방법 및 장치
KR100631768B1 (ko) * 2004-04-14 2006-10-09 삼성전자주식회사 비디오 코딩에서 프레임간 예측방법 및 비디오 인코더와,비디오 디코딩방법 및 비디오 디코더
KR101099884B1 (ko) 2004-04-23 2011-12-28 히또시 기야 동화상데이터의 부호화방법, 복호화방법, 이들을 실행하는단말장치, 및 쌍방향 대화형 시스템
CN101005620B (zh) * 2004-09-03 2011-08-10 微软公司 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
DE102004061906A1 (de) * 2004-12-22 2006-07-13 Siemens Ag Bildencodierverfahren, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung
CN101156451A (zh) * 2005-04-12 2008-04-02 皇家飞利浦电子股份有限公司 使用基于区域的多次通过运动估计和时间运动矢量候选更新的视频处理
RU2369038C1 (ru) 2005-11-30 2009-09-27 Кабусики Кайся Тосиба Способ кодирования изображения/декодирования изображения, устройство кодирования изображения/декодирования изображения
EP2011342B1 (en) * 2006-04-14 2017-06-28 Nxp B.V. Motion estimation at image borders
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
KR101712915B1 (ko) * 2007-10-16 2017-03-07 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
ES2812473T3 (es) * 2008-03-19 2021-03-17 Nokia Technologies Oy Vector de movimiento combinado y predicción de índice de referencia para la codificación de vídeo
JP4697275B2 (ja) * 2008-07-30 2011-06-08 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
US8675736B2 (en) * 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
WO2010137086A1 (ja) * 2009-05-26 2010-12-02 パナソニック株式会社 動画像処理装置および動画像処理方法
CN101931803B (zh) * 2009-06-26 2013-01-09 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
CN101605262B (zh) * 2009-07-09 2011-11-09 杭州士兰微电子股份有限公司 可变块尺寸运动预测方法和装置
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
TWI566586B (zh) * 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
EP2493195A1 (en) * 2009-10-20 2012-08-29 Sharp Kabushiki Kaisha Video encoding device, video decoding device, and data structure
CN105959688B (zh) * 2009-12-01 2019-01-29 数码士有限公司 用于解码高分辨率图像的方法
CN101860754B (zh) * 2009-12-16 2013-11-13 香港应用科技研究院有限公司 运动矢量编码和解码的方法和装置
KR101327636B1 (ko) 2010-02-03 2013-11-12 주식회사 팬택 무선통신 시스템에서 시스템 프레임 번호를 관리하는 장치 및 방법
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
GB2487200A (en) * 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
US8737480B2 (en) * 2011-01-14 2014-05-27 Motorola Mobility Llc Joint spatial and temporal block merge mode for HEVC
US9319716B2 (en) * 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US9131239B2 (en) * 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images

Also Published As

Publication number Publication date
US20230089360A1 (en) 2023-03-23
HUE063247T2 (hu) 2024-01-28
KR102038791B1 (ko) 2019-10-30
US11134265B2 (en) 2021-09-28
HRP20240008T1 (hr) 2024-03-29
PL3806469T3 (pl) 2024-03-18
CN107277544A (zh) 2017-10-20
JP6821730B2 (ja) 2021-01-27
RU2708440C1 (ru) 2019-12-06
KR20180108925A (ko) 2018-10-04
BR112014002932B1 (pt) 2022-06-07
US20200366926A1 (en) 2020-11-19
US20200366927A1 (en) 2020-11-19
RU2720560C1 (ru) 2020-05-12
HUE064678T2 (hu) 2024-04-28
KR20180110205A (ko) 2018-10-08
RU2684753C1 (ru) 2019-04-12
KR102027721B1 (ko) 2019-10-01
US11968390B2 (en) 2024-04-23
EP3806468B1 (en) 2023-07-19
ES2954263T3 (es) 2023-11-21
EP3474552B1 (en) 2021-05-05
PL3806468T3 (pl) 2024-01-15
PT3806468T (pt) 2023-09-12
CN107277543A (zh) 2017-10-20
US20190215529A1 (en) 2019-07-11
US20210392368A1 (en) 2021-12-16
PL3806470T3 (pl) 2024-03-18
JP2017143529A (ja) 2017-08-17
PT3806469T (pt) 2023-11-03
CN107277546B (zh) 2020-03-17
JP2019115060A (ja) 2019-07-11
EP3806470A2 (en) 2021-04-14
BR122020002131B1 (pt) 2023-08-15
PL3474552T3 (pl) 2021-10-25
JP2014527362A (ja) 2014-10-09
KR20160054027A (ko) 2016-05-13
KR101904404B1 (ko) 2018-10-05
WO2013023785A3 (en) 2013-05-23
EP3806470B1 (en) 2023-10-11
US11134264B2 (en) 2021-09-28
CN103748880A (zh) 2014-04-23
CN107277545A (zh) 2017-10-20
HRP20231270T1 (hr) 2024-02-02
RS64982B1 (sr) 2024-01-31
RU2014110037A (ru) 2015-09-27
GB201114184D0 (en) 2011-10-05
RU2589402C2 (ru) 2016-07-10
HUE054992T2 (hu) 2021-10-28
JP6679782B2 (ja) 2020-04-15
PT3806470T (pt) 2023-11-16
BR122020002131B8 (pt) 2023-10-10
US11134266B2 (en) 2021-09-28
EP2745515B1 (en) 2019-04-17
GB2493755B (en) 2016-10-19
CN107277546A (zh) 2017-10-20
KR102085498B1 (ko) 2020-03-05
RS64675B1 (sr) 2023-11-30
US20140321544A1 (en) 2014-10-30
RS65035B1 (sr) 2024-02-29
HRP20231726T1 (hr) 2024-03-15
EP3806469A2 (en) 2021-04-14
CN107197306A (zh) 2017-09-22
JP6109170B2 (ja) 2017-04-05
EP3806469A3 (en) 2021-04-21
ES2964571T3 (es) 2024-04-08
RU2643450C1 (ru) 2018-02-01
US11729415B2 (en) 2023-08-15
HUE064679T2 (hu) 2024-04-28
ES2875926T3 (es) 2021-11-11
ES2727629T3 (es) 2019-10-17
ES2962876T3 (es) 2024-03-21
WO2013023785A2 (en) 2013-02-21
CN107181960B (zh) 2020-10-30
GB2493755A (en) 2013-02-20
CN107197306B (zh) 2020-06-23
BR112014002932A2 (pt) 2017-03-28
EP3474552A1 (en) 2019-04-24
KR20190126463A (ko) 2019-11-11
KR101617740B1 (ko) 2016-05-18
US10771806B2 (en) 2020-09-08
CN107181960A (zh) 2017-09-19
HUE043598T2 (hu) 2019-08-28
KR20140047157A (ko) 2014-04-21
EP3806468A2 (en) 2021-04-14
TR201908328T4 (tr) 2019-06-21
PL2745515T3 (pl) 2019-09-30
EP2745515A2 (en) 2014-06-25
CN107277545B (zh) 2020-03-17
EP3806469B1 (en) 2023-10-11
EP3806470A3 (en) 2021-04-21
CN107277544B (zh) 2020-10-27
US10306256B2 (en) 2019-05-28
CN107277543B (zh) 2020-03-17
JP6679781B2 (ja) 2020-04-15
US20200366925A1 (en) 2020-11-19
EP3806468A3 (en) 2021-04-21
JP6494675B2 (ja) 2019-04-03
KR20180108924A (ko) 2018-10-04
JP2019134455A (ja) 2019-08-08
KR102042374B1 (ko) 2019-11-07
CN103748880B (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
JP6679782B2 (ja) 符号化装置、符号化方法、復号装置、復号方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210106

R151 Written notification of patent or utility model registration

Ref document number: 6821730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151