JP2016146667A - 参照ピクチャリスト管理方法及びその方法を使用する装置 - Google Patents

参照ピクチャリスト管理方法及びその方法を使用する装置 Download PDF

Info

Publication number
JP2016146667A
JP2016146667A JP2016076447A JP2016076447A JP2016146667A JP 2016146667 A JP2016146667 A JP 2016146667A JP 2016076447 A JP2016076447 A JP 2016076447A JP 2016076447 A JP2016076447 A JP 2016076447A JP 2016146667 A JP2016146667 A JP 2016146667A
Authority
JP
Japan
Prior art keywords
picture
unit
prediction
poc
dpb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016076447A
Other languages
English (en)
Other versions
JP6276319B2 (ja
Inventor
ジェヒュン リム
Jaehyun Lim
ジェヒュン リム
スンウク パク
Seung Wook Park
スンウク パク
ジュンスン キム
Jungsun Kim
ジュンスン キム
ジュンユン パク
Joonyoung Park
ジュンユン パク
ヨンヘ チェ
Younghee Choi
ヨンヘ チェ
ビョンムン ジョン
Byeongmoon Jeon
ビョンムン ジョン
ヨンジュン ジョン
Yong-Joon Jeon
ヨンジュン ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2016146667A publication Critical patent/JP2016146667A/ja
Application granted granted Critical
Publication of JP6276319B2 publication Critical patent/JP6276319B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】参照ピクチャリスト管理方法及びその方法を使用する装置を提供する。【解決手段】映像復号化方法は、階層的ピクチャ構造で最上位の次に上位の時間的階層ピクチャのうち一つのピクチャを復号化するステップと、最上位の次に上位の時間的階層ピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)を基準にＰＯＣ順序上前後に存在する最上位時間的階層ピクチャを復号化するステップと、を含むことができる。したがって、利用可能な参照ピクチャをＤＰＢに存在するようにすることで映像符号化効率を上げることができる。【選択図】図３

Description

本発明は、映像復号化方法及び装置に関し、より詳しくは、参照ピクチャリスト管理方法及びその方法を使用する装置に関する。
最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)映像及びＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)映像のような高解像度、高品質の映像に対する需要が多様な応用分野で増加している。映像データが高解像度、高品質になるほど、既存の映像データに比べて相対的にデータ量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信したり、既存の格納媒体を利用して格納したりする場合、送信費用と格納費用が増加するようになる。このように、映像データが高解像度、高品質化されるにつれて発生する問題を解決するためには高効率の映像圧縮技術を活用することができる。
映像圧縮技術として、現在ピクチャの以前又は以後ピクチャから現在ピクチャに含まれている画素値を予測する画面間予測技術、現在ピクチャ内の画素情報を利用して現在ピクチャに含まれている画素値を予測する画面内予測技術、出現頻度が高い値に短い符号を割り当て、出現頻度が低い値に長い符号を割り当てるエントロピー符号化技術など、多様な技術が存在し、このような映像圧縮技術を利用して映像データを効果的に圧縮して送信又は格納することができる。
本発明の目的は、映像符復号化効率を増加させるための参照ピクチャリスト管理方法を提供することである。
また、本発明の他の目的は、映像符復号化効率を増加させるための参照ピクチャリスト管理方法を実行する装置を提供することである。
前述した本発明の目的を達成するための本発明の一側面による映像復号化方法は、階層的ピクチャ構造で最上位の次に上位の時間的階層ピクチャのうち一つのピクチャを復号化するステップと、前記最上位の次に上位の時間的階層ピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)を基準にして前記ＰＯＣ順序上前後に存在する最上位時間的階層ピクチャを復号化するステップと、を含む。前記映像復号化方法は、前記復号化された最上位の次に上位の時間的階層のピクチャを含んでＤＰＢに格納された短期参照ピクチャ及び長期参照ピクチャを基準に合算されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値を有し、短期参照ピクチャの個数が０より大きいかどうかを判断するステップをさらに含む。前記映像復号化方法は、前記短期参照ピクチャ及び前記長期参照ピクチャの個数を算出するステップをさらに含む。前記映像復号化方法は、前記ＤＰＢに格納されたピクチャの数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じであり、短期参照ピクチャの個数が０より大きい場合、前記ＤＰＢに存在する前記短期参照ピクチャのうちＰＯＣが最も小さい短期参照ピクチャを前記ＤＰＢから除去するステップをさらに含む。前記階層的ピクチャ構造は、５個の時間的階層ピクチャを有し、８個のピクチャを含むＧＯＰ階層的ピクチャ構造である。前記最上位の次に上位の時間的階層ピクチャは、第３の時間的階層に存在するピクチャであり、前記最上位時間的階層ピクチャは、第４の時間的階層に存在するピクチャである。
前述した本発明の目的を達成するための本発明の一側面による映像復号化方法は、復号化された最上位の次に上位の時間的階層のピクチャを含んでＤＰＢに格納された短期参照ピクチャ及び長期参照ピクチャを基準に合算されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値を有するかどうかを判断するステップと、短期参照ピクチャの個数が０より大きいかどうかを判断するステップと、を含む。前記映像復号化方法は、前記短期参照ピクチャ及び前記長期参照ピクチャの個数を算出するステップをさらに含む。前記映像復号化方法は、前記ＤＰＢに格納されたピクチャの数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じであり、短期参照ピクチャの個数が０より大きい場合、前記ＤＰＢに存在する前記短期参照ピクチャのうちＰＯＣが最も小さい短期参照ピクチャを前記ＤＰＢから除去するステップをさらに含む。
前述した本発明の目的を達成するための本発明の一側面による映像復号化装置は、階層的ピクチャ構造で最上位の次に上位の時間的階層ピクチャのうち一つのピクチャを復号化し、前記最上位の次に上位の時間的階層ピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)を基準にして前記ＰＯＣ順序上前後に存在する最上位時間的階層ピクチャを復号化するようにピクチャ情報を判断するピクチャ情報判断部と、前記ピクチャ情報判断部により判断されたピクチャ情報に基づいて復号化された前記最上位の次に上位の時間的階層ピクチャを格納する参照ピクチャ格納部と、を含む。前記映像復号化装置は、前記復号化された最上位の次に上位の時間的階層のピクチャを含んで前記参照ピクチャ格納部に格納された短期参照ピクチャ及び長期参照ピクチャを基準に合算されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値を有し、短期参照ピクチャの個数が０より大きいかどうかを判断する参照ピクチャ情報更新部をさらに含む。前記参照ピクチャ情報更新部は、前記短期参照ピクチャ及び前記長期参照ピクチャの個数を算出する参照ピクチャ情報更新部である。前記参照ピクチャ更新部は、前記参照ピクチャ格納部に格納された短期参照ピクチャと長期参照ピクチャの数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じであり、短期参照ピクチャの個数が０より大きい場合、前記参照ピクチャ格納部に存在する前記短期参照ピクチャのうちＰＯＣが最も小さい短期参照ピクチャを前記参照ピクチャ格納部から除去する参照ピクチャ情報更新部である。前記階層的ピクチャ構造は、５個の時間的階層ピクチャを有し、８個のピクチャを含むＧＯＰ階層的ピクチャ構造である。前記最上位の次に上位の時間的階層ピクチャは、第３の時間的階層に存在するピクチャであり、前記最上位時間的階層ピクチャは、第４の時間的階層に存在するピクチャである。
前述した本発明の目的を達成するための本発明の一側面による映像復号化装置は、復号化された最上位の次に上位の時間的階層のピクチャを含んで参照ピクチャ格納部に格納された短期参照ピクチャ及び長期参照ピクチャを基準に合算されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値を有するかどうかを判断し、短期参照ピクチャの個数が０より大きいかどうかを判断する参照ピクチャ情報更新部と、前記参照ピクチャ情報更新部により生成された情報により参照ピクチャを更新する参照ピクチャ格納部と、を含む。前記参照ピクチャ情報更新部は、前記短期参照ピクチャ個数及び前記長期参照ピクチャの個数の和を算出する参照ピクチャ情報更新部である。前記参照ピクチャ情報更新部は、前記参照ピクチャ格納部に格納されたピクチャの数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じであり、短期参照ピクチャの個数が０より大きい場合、前記ＤＰＢに存在する前記短期参照ピクチャのうちＰＯＣが最も小さい短期参照ピクチャを前記参照ピクチャ格納部から除去するように参照ピクチャを更新する参照ピクチャ情報更新部である。
前述したように、本発明の実施例に係る参照ピクチャリスト管理方法及びその方法を使用する装置によると、参照ピクチャを復号化する順序を変更してＤＰＢに適用される参照ピクチャ除去方法を変化させることで、最適の参照ピクチャが可用しない場合を減らして映像の符復号化効率を上げることができる。
本発明の実施例に係る映像符号化装置を示すブロック図である。 本発明の実施例に係る映像復号化装置を示すブロック図である。 本発明の実施例に係る階層的符号化構造を示す概念図である。 本発明の実施例に係る階層的ピクチャ構造で復号化順序決定方法を示すフローチャートである。 本発明の実施例に係るスライディングウィンドウ方法を示すフローチャートである。 本発明の実施例に係る参照ピクチャ管理方法を示すフローチャートである。 本発明の実施例に係る映像復号化装置を示す概念図である。
本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定実施例を図面に例示して詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解しなければならない。各図面を説明しながら類似の参照符号を類似の構成要素に対して使用した。
第１、第２などの用語は、多様な構成要素の説明に使うことができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１の構成要素は第２の構成要素と命名することもでき、同様に、第２の構成要素も第１の構成要素と命名することもできる。及び/又はという用語は、複数の関連記載項目の組合せ又は複数の関連記載項目のうちいずれの項目をも含む。
一構成要素が他の構成要素に「連結されている」又は「接続されている」と言及された場合、該当他の構成要素に直接的に連結されている、又は接続されているが、中間に他の構成要素が存在することもできると理解しなければならない。反面、一構成要素が他の構成要素に「直接連結されている」又は「直接接続されている」と言及された場合、中間に他の構成要素が存在しないと理解しなければならない。
本出願で使用した用語は、単に特定の実施例を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本出願において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はそれらを組合せたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はそれらを組合せたものの存在又は付加可能性を予め排除しないと理解しなければならない。
以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面において、同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。
図１は、本発明の実施例に係る映像符号化装置を示すブロック図である。
図１を参照すると、映像符号化装置１００は、ピクチャ分割部１０５、予測部１１０、変換部１１５、量子化部１２０、再整列部１２５、エントロピー符号化部１３０、逆量子化部１３５、逆変換部１４０、フィルタ部１４５、及びメモリ１５０を含むことができる。
図１に示す各構成部は、映像符号化装置で互いに異なる特徴的な機能を示すために独立的に図示するものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位に構成されることを意味しない。即ち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも二つの構成部が統合されて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行することができ、このような各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除いた本発明の本質具現に必須な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的構成要素を除いた必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理単位に分割することができる。このとき、処理単位は、予測単位(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ)であってもよく、変換単位(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ)であってもよく、符号化単位(Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ)であってもよい。ピクチャ分割部１０５では一つのピクチャに対して複数の符号化単位、予測単位、及び変換単位の組合せに分割し、所定の基準(例えば、費用関数)に一つの符号化単位、予測単位、及び変換単位の組合せを選択してピクチャを符号化することができる。
例えば、一つのピクチャは、複数個の符号化単位に分割することができる。ピクチャで符号化単位を分割するためには、クアッドツリー構造(Ｑｕａｄ Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ)のような再帰的なツリー構造を使用することができ、一つの映像又は最大大きさ符号化単位をルートにして異なる符号化単位に分割される符号化ユニットは、分割された符号化単位の個数ほどの子ノードを有して分割することができる。一定の制限によってこれ以上分割されない符号化単位は、リーフノードとなる。即ち、一つのコーディングユニットに対して正方形分割のみが可能であると仮定する場合、一つの符号化単位は、最大４個の異なる符号化単位に分割することができる。
以下、本発明の実施例において、符号化単位は、符号化をする単位という意味だけでなく、復号化をする単位という意味として使用することができる。
予測単位は、一つの符号化単位内で同じ大きさの少なくとも一つの正四角形又は長方形などの形態を有して分割されたり、一つの符号化単位内で分割された予測単位のうち一つの予測単位の形態が異なる予測単位の形態と異なる形態を有して分割されたりすることができる。
符号化単位に基づいて画面内予測を実行する予測単位を生成時に最小符号化単位でない場合、複数の予測単位(Ｎ×Ｎ)に分割せずに、画面内予測を実行することができる。
予測部１１０は、画面間予測を実行する画面間予測部と、画面内予測を実行する画面内予測部と、を含むことができる。予測単位に対して画面間予測を使用するか、画面内予測を実行するかを決定し、各予測方法による具体的な情報(例えば、画面内予測モード、動きベクトル、参照ピクチャ等)を決定することができる。このとき、予測が実行される処理単位と予測方法及び具体的な内容が決まる処理単位は異なってもよい。例えば、予測の方法と予測モードなどは、予測単位に決定され、予測の実行は、変換単位に実行されることもできる。生成された予測ブロックと原本ブロックとの間の残差値(残差ブロック)は、変換部１１５に入力することができる。また、予測のために使用した予測モード情報、動きベクトル情報などは、残差値と共にエントロピー符号化部１３０で符号化されて復号化装置に伝達することができる。特定の符号化モードを使用する場合、予測部１１０を介して予測ブロックを生成せずに、原本ブロックをそのまま符号化して復号化部に送信することも可能である。
画面間予測部は、現在ピクチャの以前ピクチャ又は以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測単位を予測することができる。画面間予測部は、参照ピクチャ補間部、動き予測部、動き補償部を含むことができる。
参照ピクチャ補間部ではメモリ１５０から参照ピクチャ情報の提供を受け、参照ピクチャで整数画素以下の画素情報を生成することができる。輝度画素の場合、１/４画素単位に整数画素以下の画素情報を生成するためにフィルタ係数を異にするＤＣＴベースの８タッブ補間フィルタ(ＤＣＴ−ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ)を使うことができる。色差信号の場合、１/８画素単位に整数画素以下の画素情報を生成するためにフィルタ係数を異にするＤＣＴベースの４タッブ補間フィルタ(ＤＣＴ−ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ)を使うことができる。
動き予測部は、参照ピクチャ補間部により補間された参照ピクチャに基づいて動き予測を実行することができる。動きベクトルを算出するための方法として、ＦＢＭＡ(Ｆｕｌｌ ｓｅａｒｃｈ−ｂａｓｅｄ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ａｌｇｏｒｉｔｈｍ)、ＴＳＳ(Ｔｈｒｅｅ Ｓｔｅｐ Ｓｅａｒｃｈ)、ＮＴＳ(Ｎｅｗ Ｔｈｒｅｅ−Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ)等、多様な方法を使うことができる。動きベクトルは、補間された画素に基づいて１/２又は１/４画素単位の動きベクトル値を有することができる。動き予測部では動き予測方法を異にして現在予測単位を予測することができる。動き予測方法として、スキップ(Ｓｋｉｐ)方法、マージ(Ｍｅｒｇｅ)方法、ＡＭＶＰ(Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ)方法など、多様な方法を使うことができる。
以下、本発明の実施例において、ＡＭＶＰ方法を使用して画面間予測を実行する時、候補予測動きベクトルリストを構成する方法に対して開示する。
画面内予測部は、現在ピクチャ内の画素情報である現在ブロック周辺の参照ピクセル情報に基づいて予測単位を生成することができる。現在予測単位の周辺ブロックが画面間予測を実行したブロックであるため、参照ピクセルが画面間予測を実行したピクセルの場合、画面間予測を実行したブロックに含まれる参照ピクセルを周辺の画面内予測を実行したブロックの参照ピクセル情報に取り替えて使用することができる。即ち、参照ピクセルが使用可能でない場合、使用可能でない参照ピクセル情報を使用可能な参照ピクセルのうち少なくとも一つの参照ピクセルに取り替えて使用することができる。
画面内予測における予測モードは、参照ピクセル情報を予測方向によって使用する方向性予測モードと、予測実行時に方向性情報を使用しない非方向性モードと、を有することができる。輝度情報を予測するためのモードと色差情報を予測するためのモードが異なってもよく、色差情報を予測するために輝度情報を予測した画面内予測モード情報又は予測された輝度信号情報を活用することができる。
画面内予測を実行する時、予測単位の大きさと変換単位の大きさが同じ場合、予測単位の左側に存在するピクセル、左側上段に存在するピクセル、上段に存在するピクセルに基づいて予測単位に対する画面内予測を実行するが、画面内予測を実行する時、予測単位の大きさと変換単位の大きさが異なる場合、変換単位に基づく参照ピクセルを利用して画面内予測を実行することができる。また、最小符号化単位に対してのみＮ×Ｎ分割を使用する画面内予測を使用することができる。
画面内予測方法は、予測モードによって参照画素にＭＤＩＳ(Ｍｏｄｅ Ｄｅｐｅｎｄｅｎｔ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ)フィルタを適用した後、予測ブロックを生成することができる。参照画素に適用されるＭＤＩＳフィルタの種類は異なってもよい。画面内予測方法を実行するために現在予測単位の画面内予測モードは、現在予測単位の周辺に存在する予測単位の画面内予測モードから予測することができる。周辺予測単位から予測されたモード情報を利用して現在予測単位の予測モードを予測する場合、現在予測単位と周辺予測単位の画面内予測モードが同じであると、所定のフラグ情報を利用して現在予測単位と周辺予測単位の予測モードが同じであるという情報を送信することができ、もし、現在予測単位と周辺予測単位の予測モードが異なると、エントロピー符号化を実行して現在ブロックの予測モード情報を符号化することができる。
また、予測部１１０で生成された予測単位に基づいて予測を実行した予測単位と予測単位の原本ブロックとの差分値である残差値(Ｒｅｓｉｄｕａｌ)情報を含む残差ブロックを生成することができる。生成した残差ブロックは、変換部１１５に入力することができる。変換部１１５において、原本ブロックと予測部１１０を介して生成された予測単位の残差値(ｒｅｓｉｄｕａｌ)情報を含む残差ブロックをＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)又はＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)のような変換方法を使用して変換することができる。残差ブロックを変換するためにＤＣＴを適用するかＤＳＴを適用するかは、残差ブロックを生成するために使われた予測単位の画面内予測モード情報に基づいて決定することができる。
量子化部１２０は、変換部１１５から周波数領域に変換された値を量子化することができる。ブロックによって又は映像の重要度によって量子化係数を変えることができる。量子化部１２０で算出された値は、逆量子化部１３５と再整列部１２５に提供されることができる。
再整列部１２５は、量子化された残差値に対して係数値の再整列を実行することができる。
再整列部１２５は、係数スキャニング(Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ)方法を介して２次元のブロック形態係数を１次元のベクトル形態に変更することができる。例えば、再整列部１２５において、ジグザグスキャン(Ｚｉｇ−Ｚａｇ Ｓｃａｎ)方法を利用してＤＣ係数から高周波数領域の係数までスキャンして１次元ベクトル形態に変更することができる。変換単位の大きさ及び画面内予測モードによってジグザグスキャン方法でない、２次元のブロック形態係数を列方向にスキャンする垂直スキャン方法、２次元のブロック形態係数を行方向にスキャンする水平スキャン方法を使うことができる。即ち、変換単位の大きさ及び画面内予測モードによって、ジグザグスキャン、垂直方向スキャン、及び水平方向スキャンのうちいずれのスキャン方法を使うかを決定することができる。
エントロピー符号化部１３０は、再整列部１２５により算出された値に基づいてエントロピー符号化を実行することができる。エントロピー符号化は、例えば、指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＶＬＣ(Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)のような多様な符号化方法を使用することができる。
エントロピー符号化部１３０は、再整列部１２５及び予測部１１０から符号化単位の残差値係数情報及びブロックタイプ情報、予測モード情報、分割単位情報、予測単位情報及び送信単位情報、動きベクトル情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報など、多様な情報を符号化することができる。
エントロピー符号化部１３０では再整列部１２５に入力された符号化単位の係数値をエントロピー符号化することができる。
逆量子化部１３５及び逆変換部１４０において、量子化部１２０で量子化された値を逆量子化し、変換部１１５で変換された値を逆変換する。逆量子化部１３５及び逆変換部１４０で生成された残差値(Ｒｅｓｉｄｕａｌ)は、予測部１１０に含まれている動き推定部、動き補償部及びイントラ予測部を介して予測された予測単位と加えられて復元ブロック(Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｂｌｏｃｋ)を生成することができる。
フィルタ部１４５は、デブロッキングフィルタ、オフセット補正部、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)のうち少なくとも一つを含むことができる。
デブロッキングフィルタ１４５は、復元されたピクチャでブロック間の境界のため発生したブロック歪曲を除去することができる。デブロッキングを実行するかどうかを判断するために、ブロックに含まれているいくつかの列又は行に含まれているピクセルに基づいて現在ブロックにデブロッキングフィルタを適用するかどうかを判断することができる。ブロックにデブロッキングフィルタを適用する場合、必要なデブロッキングフィルタリング強度によって強いフィルタ(Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ)又は弱いフィルタ(Ｗｅａｋ Ｆｉｌｔｅｒ)を適用することができる。また、デブロッキングフィルタの適用において、垂直フィルタリング及び水平フィルタリングを実行する時、水平方向フィルタリング及び垂直方向フィルタリングが並行処理されるようにすることができる。
オフセット補正部は、デブロッキングを実行した映像に対してピクセル単位に原本映像とのオフセットを補正することができる。特定ピクチャに対するオフセット補正を実行するために映像に含まれているピクセルを一定数の領域に区分した後、オフセットを実行する領域を決定し、該当領域にオフセットを適用する方法又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使用することができる。
ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)は、フィルタリングした復元映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。映像に含まれているピクセルを所定のグループに分けた後、該当グループに適用される一つのフィルタを決定してグループ毎に差別的にフィルタリングを実行することができる。ＡＬＦを適用するかどうかに関連した情報は、輝度信号は符号化単位(Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ)別に送信されることができ、それぞれのブロックによって適用されるＡＬＦの大きさ及び係数は変わることができる。ＡＬＦは、多様な形態を有することができ、フィルタにより含まれる係数の個数も変わることができる。このようなＡＬＦのフィルタリング関連情報(フィルタ係数情報、ＡＬＦ Ｏｎ/Ｏｆｆ情報、フィルタ形態情報)は、ビットストリームで所定のパラメータセットに含まれて送信されることができる。
メモリ１５０は、フィルタ部１４５を介して算出された復元ブロック又はピクチャを格納することができ、格納された復元ブロック又はピクチャは、画面間予測を実行する時、予測部１１０に提供することができる。
図２は、本発明の実施例に係る映像復号化装置を示すブロック図である。
図２を参照すると、映像復号化装置２００は、エントロピー復号化部２１０、再整列部２１５、逆量子化部２２０、逆変換部２２５、予測部２３０、フィルタ部２３５、メモリ２４０を含むことができる。
映像符号化装置から映像ビットストリームが入力された場合、入力されたビットストリームは、映像符号化部と反対の手順に復号化されることができる。
エントロピー復号化部２１０は、映像符号化装置のエントロピー符号化部でエントロピー符号化を実行したことと反対の手順にエントロピー復号化を実行することができ、エントロピー復号化部でエントロピー復号化を実行した残差値は、再整列部２１５に入力されることができる。
エントロピー復号化部２１０において、符号化装置で実行された画面内予測及び画面間予測に関連した情報を復号化することができる。前述したように、映像符号化装置で画面内予測及び画面間予測を実行する時、所定の制約がある場合、このような制約に基づくエントロピー復号化を実行して現在ブロックに対する画面内予測及び画面間予測に関連した情報の提供を受けることができる。
再整列部２１５は、エントロピー復号化部２１０でエントロピー復号化されたビットストリームを符号化部で再整列した方法に基づいて再整列を実行することができる。１次元ベクトル形態に表現された係数を再び２次元のブロック形態の係数に復元して再整列することができる。再整列部において、符号化部で実行された係数スキャニングに関連した情報の提供を受け、該当符号化部で実行されたスキャニング順序に基づいて逆にスキャニングする方法を介して再整列を実行することができる。
逆量子化部２２０は、符号化装置で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することができる。
逆変換部２２５は、映像符号化装置で実行した量子化結果に対して変換部で実行したＤＣＴ及びＤＳＴに対して逆ＤＣＴ及び逆ＤＳＴを実行することができる。逆変換は、映像符号化装置で決定された送信単位に基づいて実行することができる。映像符号化装置の変換部において、ＤＣＴとＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行することができ、映像復号化装置の逆変換部２２５において、映像符号化装置の変換部で実行された変換情報に基づいて逆変換を実行することができる。
変換を実行する時、変換単位でない符号化単位を基準に変換を実行することができる。
予測部２３０は、エントロピー復号化部２１０で提供された予測ブロック生成関連情報とメモリ２４０で提供された以前に復号化されたブロック又はピクチャ情報に基づいて予測ブロックを生成することができる。
前述したように、映像符号化装置での動作と同様に、画面内予測を実行する時、予測単位の大きさと変換単位の大きさが同じ場合、予測単位の左側に存在するピクセル、左側上段に存在するピクセル、上段に存在するピクセルに基づいて予測単位に対する画面内予測を実行するが、画面内予測を実行する時、予測単位の大きさと変換単位の大きさが異なる場合、変換単位に基づく参照ピクセルを利用して画面内予測を実行することができる。また、最小符号化単位に対してのみＮ×Ｎ分割を使用する画面内予測を使用することができる。
予測部２３０は、予測単位判別部、画面間予測部及び画面内予測部を含むことができる。予測単位判別部は、エントロピー復号化部で入力される予測単位情報、画面内予測方法の予測モード情報、画面間予測方法の動き予測関連情報など、多様な情報の入力を受けて現在符号化単位で予測単位を区分し、予測単位が画面間予測を実行するか、画面内予測を実行するかを判別することができる。画面間予測部は、映像符号化装置で提供された現在予測単位の画面間予測に必要な情報を利用して現在予測単位が含まれている現在ピクチャの以前ピクチャ又は以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在予測単位に対する画面間予測を実行することができる。
画面間予測を実行するために符号化単位を基準に該当符号化単位に含まれている予測単位の動き予測方法がスキップモード(Ｓｋｉｐ Ｍｏｄｅ)、マージモード(Ｍｅｒｇｅ Ｍｏｄｅ)、ＡＭＶＰモード(ＡＭＶＰ Ｍｏｄｅ)のうちいずれの方法であるかを判断することができる。
以下、本発明の実施例において、ＡＭＶＰ方法を使用して画面間予測を実行する時、候補予測動きベクトルリストを構成する方法に対して開示する。
画面内予測部は、現在ピクチャ内の画素情報に基づいて予測ブロックを生成することができる。予測単位が画面内予測を実行した予測単位である場合、映像符号化装置で提供された予測単位の画面内予測モード情報に基づいて画面内予測を実行することができる。画面内予測部には、ＭＤＩＳフィルタ、参照画素補間部、ＤＣフィルタを含むことができる。ＭＤＩＳフィルタは、現在ブロックの参照画素にフィルタリングを実行する部分であり、現在予測単位の予測モードによってフィルタの適用の可否を決定して適用することができる。映像符号化装置で提供された予測単位の予測モード及びＭＤＩＳフィルタ情報を利用して現在ブロックの参照画素にＭＤＩＳフィルタリングを実行することができる。現在ブロックの予測モードがＭＤＩＳフィルタリングを実行しないモードの場合、ＭＤＩＳフィルタは適用されない。
参照画素補間部は、予測単位の予測モードが参照画素を補間した画素値に基づいて画面内予測を実行する予測単位の場合、参照画素を補間して整数値以下の画素単位の参照画素を生成することができる。現在予測単位の予測モードが参照画素を補間せずに、予測ブロックを生成する予測モードの場合、参照画素は補間されない。ＤＣフィルタは、現在ブロックの予測モードがＤＣモードの場合、フィルタリングを介して予測ブロックを生成することができる。
復元されたブロック又はピクチャは、フィルタ部２３５に提供することができる。フィルタ部２３５は、デブロッキングフィルタ、オフセット補正部、ＡＬＦを含むことができる。
映像符号化装置から該当ブロック又はピクチャにデブロッキングフィルタを適用するかどうかに対する情報及びデブロッキングフィルタを適用した場合には強いフィルタを適用するか弱いフィルタを適用するかに対する情報の提供を受けることができる。映像復号化装置のデブロッキングフィルタにおいて、映像符号化装置で提供されたデブロッキングフィルタ関連情報の提供を受け、映像復号化装置で該当ブロックに対するデブロッキングフィルタリングを実行することができる。映像符号化装置と同様に、まず、垂直デブロッキングフィルタリング及び水平デブロッキングフィルタリングを実行し、重なる部分においては垂直デブロッキング及び水平デブロッキングのうち少なくとも一つを実行することができる。垂直デブロッキングフィルタリング及び水平デブロッキングフィルタリングが重なる部分で以前に実行されない垂直デブロッキングフィルタリング又は水平デブロッキングフィルタリングを実行することができる。このようなデブロッキングフィルタリング過程を介してデブロッキングフィルタリングの並行処理(Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ)が可能である。
オフセット補正部は、符号化時、映像に適用されたオフセット補正の種類及びオフセット値情報などに基づいて復元された映像にオフセット補正を実行することができる。
ＡＬＦは、フィルタリングを実行した後、復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。符号化装置から提供されたＡＬＦ適用可否情報、ＡＬＦ係数情報などに基づいて符号化単位にＡＬＦを適用することができる。このようなＡＬＦ情報は、特定のパラメータセットに含めて提供することができる。
メモリ２４０は、復元されたピクチャ又はブロックを格納して参照ピクチャ又は参照ブロックとして使用することができ、また、復元されたピクチャを出力部に提供することができる。
前述したように、以下、本発明の実施例において、説明の便宜上、コーディングユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ)を符号化単位という用語として使用するが、符号化だけでなく、復号化を実行する単位として使用することもできる。
また、以下、本発明の実施例で後述する映像符号化方法及び映像復号化方法は、図１及び図２で前述した映像符号化装置及び映像復号化装置に含まれている各構成部で実行されることができる。構成部の意味は、ハードウェアで構成することができることを意味するだけでなく、アルゴリズムを介して実行することができるソフトウェア的な処理単位も含むことができる。
画面間予測部において、現在フレームでない復元された他のフレームの情報を利用して予測対象ブロックのピクセル値を予測する画面間予測(Ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)を実行することができ、予測に利用される映像を参照映像(Ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ、又は、参照フレーム、参照ピクチャも同じ意味として使うことができる)という。予測対象ブロックの予測に利用する画面間予測情報は、いずれの参照映像を使用するかを示すことができる参照ピクチャインデックス情報、及び参照映像のブロックと予測対象ブロックとの間のベクトルを示すモーションベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)情報などである。
予測対象ブロックの画面間予測のために使われる映像で参照映像リストを構成することができる。Ｂ ｓｌｉｃｅ（Ｂ−スライス）の場合には予測を実行するために二つの参照映像リストが必要である。以下の本発明の実施例において、二つの参照映像リストの各々を第１の参照映像リスト(Ｌｉｓｔ ０)、第２の参照映像リスト(Ｌｉｓｔ １)といい、また、Ｂ ｓｌｉｃｅのうち第１の参照映像リスト(ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ ０)と第２の参照映像リスト(ｒｅｆｅｒｅｎｃｅ ｌｉｓｔ １)が同じであるｓｌｉｃｅ（スライス）をＧＰＢ ｓｌｉｃｅ（ＧＰＢスライス）という。
以下の表１は、上位レベルシンタックスに含まれている参照ピクチャ情報と関連した構文要素を示す。以下、本発明の実施例で使われる構文要素及び構文要素が含まれる上位レベルシンタックス(ＳＰＳ)は任意であり、構文要素は同じ意味を有するが、異なるように定義することができる。該当構文要素が含まれる上位レベルシンタックスも他の上位レベルシンタックス(例えば、参照ピクチャ情報のみを別に分離したシンタックス又はＰＰＳ)に含まれることができる。以下、本発明の実施例では特定の場合を仮定して開示するが、構文要素の表現形態及び構文要素が含まれているシンタックス構造は多様であり、このような実施例は本発明の権利範囲に含まれる。
表１を参照すると、ＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)のような上位レベルシンタックスには画面間予測に使われる参照ピクチャと関連した情報を含むことができる。
ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅｓは、ＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)に格納することができる最大参照ピクチャの個数を示す。もし、現在ＤＰＢに格納されている参照ピクチャの個数がｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅｓで設定された参照ピクチャの個数と同じであると、ＤＰＢには追加の参照ピクチャを格納することができる空間がないため、追加の参照ピクチャが格納される場合、ＤＰＢに格納された参照ピクチャのうち一つの参照ピクチャをＤＰＢから除去しなければならない。
ＤＰＢからいずれの参照ピクチャを除去するかを決定するためにスライスヘッダー（ｓｌｉｃｅｈｅａｄｅｒ）に含まれているａｄａｐｔｉｖｅ_ｒｅｆ_ｐｉｃ_ｍａｒｋｉｎｇ_ｍｏｄｅ_ｆｌａｇのような構文要素を参照することができる。
ａｄａｐｔｉｖｅ_ｒｅｆ_ｐｉｃ_ｍａｒｋｉｎｇ_ｍｏｄｅ_ｆｌａｇは、ＤＰＢから除去する参照映像を決定するための情報であり、ａｄａｐｔｉｖｅ_ｒｅｆ_ｐｉｃ_ｍａｒｋｉｎｇ_ｍｏｄｅ_ｆｌａｇが１の場合、いずれのピクチャを除去するかに対する追加情報を送信することで、ＤＰＢから特定の参照ピクチャを除去することができる。ａｄａｐｔｉｖｅ_ｒｅｆ_ｐｉｃ_ｍａｒｋｉｎｇ_ｍｏｄｅ_ｆｌａｇが０の場合、ｓｌｉｄｉｎｇ ｗｉｎｄｏｗ（スライディングウィンドウ）方法により、例えば、ピクチャがデコーディングされてＤＰＢに格納された順序によってＤＰＢにある参照映像のうち一つの参照映像をＤＰＢから除去することができる。スライディングウィンドウによる参照ピクチャ除去方法は、下記のような方法を使用することができる。
(１)ｎｕｍＳｈｏｒｔＴｅｒｍを「短期参照映像」としてマーキングされた参照フレームの全体個数と定義し、ｎｕｍＬｏｎｇＴｅｒｍを「長期参照映像」としてマーキングされた参照フレームの全体個数と定義する。
(２)短期参照映像の個数(ｎｕｍＳｈｏｒｔＴｅｒｍ)と長期参照映像の個数(ｎｕｍＬｏｎｇＴｅｒｍ)を加えた値がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅｓ,１)の場合、短期参照映像が０より大きいという条件が満たされると、ＦｒａｍｅＮｕｍＷｒａｐが最も小さい値を有する短期参照ピクチャを「参照ピクチャとして使われない」と表示する。
即ち、前記のようなスライディングウィンドウ方法において、ＤＰＢに格納された短期参照ピクチャのうち最も早くデコーディングされた参照ピクチャを除去することができる。
本発明の実施例によると、ピクチャが階層的ピクチャ構造を有し、符号化及び復号化される場合、最上位のＴｅｍｐｏｒａｌ ｌｅｖｅｌ(時間的レベル)を有するピクチャを除いた残りの映像が参照ピクチャとして使われることができる。もし、ピクチャがＢスライスを含む場合、Ｂスライスに含まれているブロックは、Ｌ０リスト及びＬ１リストのうち少なくとも一つの参照ピクチャリストを介してブロックの予測値を生成することができ、Ｌ０リスト及びＬ１リストに含まれて参照ピクチャとして使われることができる参照ピクチャの個数は、メモリ帯域幅の問題のため制限されることができる。
ＤＰＢに格納することができる最大限の参照フレームの個数を示す構文要素であるｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅｓで設定された最大参照フレームの個数が十分に大きい場合、ＤＰＢに格納された参照映像が多くなるため、予測対象ブロックを生成するための参照ピクチャの大部分が使用できるが、映像の解像度が大きくなってメモリの必要量が増加するにつれてｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅｓに制限が発生するようになり、必要な参照ピクチャがＤＰＢから除去される場合が発生し、ＤＰＢに参照映像として使われるべきピクチャが格納されていなくて参照ピクチャを画面間予測に使用することができない。参照ピクチャがＤＰＢに格納されていない場合、予測ブロックの予測正確度が落ちることができ、このような問題のため符号化効率が低下することがありうる。本発明の実施例に係る参照ピクチャ管理方法ではＤＰＢに参照ピクチャが格納されておらず使用できない場合(ｕｎａｖａｉｌａｂｌｅ)を減らして画面間予測を実行する時に予測対象ブロックが参照する参照ピクチャが使用できる(ａｖａｉｌａｂｌｅ)ように設定する方法に対して開示する。
階層的ピクチャ構造で参照ピクチャとして使われるべき最適の参照ピクチャがＤＰＢに格納されていない場合、符号化効率は減少するが、他のピクチャを参照ピクチャとして使用することもできる。以下、本発明の実施例において、説明の便宜上、最適の参照ピクチャがＤＰＢに存在しない場合を参照ピクチャが使用できない場合(ｕｎａｖａｉｌａｂｌｅ)と説明し、これは最適の参照ピクチャが使用できずに次善の参照ピクチャを画面間予測に使用する場合を含む。
以下、本発明の実施例において、説明の便宜上、ＤＰＢで許容される最大参照映像の個数を示すｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅｓを４に設定し、Ｌ０リストに含まれることができる最大参照映像の個数(ｎｕｍ_ｒｅｆ_ｉｄｘ_ｌ０_ａｃｔｉｖｅ_ｍｉｎｕｓ１)を１に設定し、Ｌ１リストに含まれることができる最大参照映像の個数(ｎｕｍ_ｒｅｆ_ｉｄｘ_ｌ１_ａｃｔｉｖｅ_ｍｉｎｕｓ１)を１に設定し、ｎｕｍ_ｒｅｆ_ｉｄｘ_ｌｃ_ａｃｔｉｖｅ_ｍｉｎｕｓ１を３に設定すると仮定する。即ち、ＤＰＢで許容される最大参照映像の個数は４個となり、Ｌ０リストに含むことができる最大参照映像の個数は２個となり、Ｌ１リストに含むことができる最大参照映像の個数は２個となり、ＬＣリストに含むことができる最大参照映像の個数は４個となる。
ＬＣリストは、ｃｏｍｂｉｎａｔｉｏｎ ｌｉｓｔを示し、Ｌ１リストとＬ０リストを組合せて生成される参照ピクチャリストを示す。ＬＣリストは、予測対象ブロックがｕｎｉｄｉｒｅｃｔｉｏｎａｌ ｐｒｅｄｉｃｔｉｏｎ方法を介して画面間予測を実行する時に使うことができるリストである。ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｃｏｍｂｉｎａｔｉｏｎ_ｆｌａｇは、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｃｏｍｂｉｎａｔｉｏｎ_ｆｌａｇが１の場合、ＬＣリストを使用することを示し、ｒｅｆ_ｉｃ_ｌｉｓｔ_ｃｏｍｂｉｎａｔｉｏｎ_ｆｌａｇが０の場合、ＧＰＢ(Ｇｅｎｅｒａｌｉｚｅｄ Ｂ)であることを示す。ＧＰＢは、前述したように、予測を実行するための参照ピクチャリストであるＬ０リストとＬ１リストを構成する参照ピクチャが同じピクチャを示す。
本発明の実施例において、ＧＯＰ(Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ)構造が８の場合を仮定して説明するが、ＧＯＰを構成するピクチャの個数は変えることができ、このような実施例も本発明の権利範囲に含まれる。
図３は、本発明の実施例に係る階層的ピクチャ構造を示す概念図である。
図３を参照すると、ＧＯＰに含まれるピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)はディスプレイの順序を示し、ＦｒａｍｅＮｕｍはピクチャの符号化・復号化の順序を示す。階層的符号化構造では最上位のＴｅｍｐｏｒａｌ Ｌｅｖｅｌ（時間的階層レベル）を有するＰＯＣが１、３、５、７、９、１１、１３、１５の場合を除いた残りの時間的階層に存在する映像が参照映像として使うことができる。
本発明の実施例によると、階層的ピクチャ構造でピクチャの符復号化順序を変化させて使用できない(ｕｎａｖａｉｌａｂｌｅ)参照ピクチャの個数を減らして使用できる(ａｖａｉｌａｂｌｅ)参照ピクチャになるようにすることができる。
階層的ピクチャ構造は、ピクチャの時間的階層を基準に定義することができる。
任意のピクチャが特定のピクチャを参照する場合、任意のピクチャは、自分が参照するピクチャより高い（上位の）時間的階層に含まれることができる。
図３において、ＰＯＣを基準にし、第０の時間的階層はＰＯＣ(０)に該当し、第１の時間的階層はＰＯＣ(８)、ＰＯＣ(１６)に該当し、第２の時間的階層はＰＯＣ(４)、ＰＯＣ(１２)に該当し、第３の時間的階層はＰＯＣ(２)、ＰＯＣ(６)、ＰＯＣ(１０)、ＰＯＣ(１４)に該当し、第４の時間的階層はＰＯＣ(１)、ＰＯＣ(３)、ＰＯＣ(５)、ＰＯＣ(７)、ＰＯＣ(９)、ＰＯＣ(１１)、ＰＯＣ(１３)、ＰＯＣ(１５)に該当することができる。
本発明の実施例によると、最上位時間的レベルである第４の時間的階層(ＰＯＣ(１)、ＰＯＣ(３)、ＰＯＣ(５)、ＰＯＣ(７)、ＰＯＣ(９)、ＰＯＣ(１１)、ＰＯＣ(１３)、ＰＯＣ(１５))に存在するピクチャと最上位の次に上位の階層である第３の時間的階層に存在する時間的レベル(ＰＯＣ(２)、ＰＯＣ(６)、ＰＯＣ(１０)、ＰＯＣ(１４))を有する参照ピクチャの復号化順序(ＦｒａｍｅＮｕｍ)を新たに設定することで、使用できる参照映像が既存の階層的ピクチャ構造より多く存在するように変化させることができる。
復号化順序(ＦｒａｍｅＮｕｍ)を変化させるにあたって、階層的ピクチャ構造で最上位の次に上位の時間的階層の一つのピクチャを復号化した後、最上位の次に上位の階層のＰＯＣを基準にしてＰＯＣ順序上前後に存在する最上位時間的階層に存在するピクチャを順次復号することができる。即ち、復号化された最上位の次に上位の時間的階層ピクチャ周辺に存在する最上位時間的階層ピクチャを復号化された最上位の次に上位の時間的階層ピクチャよりＰＯＣが大きい残りの最上位の次に上位の時間的階層に存在するピクチャより先に復号化することで、階層的ピクチャ構造の復号化順序を変化させることができる。
図３を参照すると、第０の時間的階層乃至第４の時間的階層からなる階層的ピクチャ構造において、第３の時間的階層ピクチャのうち、一つのピクチャを先に復号化した後、第３の時間的階層ピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)を基準にＰＯＣ順序上前後に存在する第４の時間的階層に存在するピクチャを他の第３の時間的階層ピクチャより優先的に復号化することができる。例えば、ＰＯＣ(２)である第３の時間的階層ピクチャを復号した後、ＰＯＣ(２)であるピクチャの周辺に存在する第４の時間的階層ピクチャのうち、ＰＯＣ(１)ピクチャとＰＯＣ(３)ピクチャを順次に復号化する方法を介して最上位時間的階層に存在する参照ピクチャの復号化ステップと最上位の次に上位の時間的階層に存在する参照ピクチャを復号化するステップの順序を変えることで、ＤＰＢに存在するピクチャが使用できる参照ピクチャになる場合を増加させることができる。
以下の表２は、図３に開示した各ピクチャのＰＯＣを基準にしてＬ０、Ｌ１、ＬＣで使われるべき参照ピクチャのＰＯＣと階層的ピクチャ構造に基づいてＤＰＢに格納されたピクチャを示す。ＤＰＢでは前述したスライディングウィンドウ方法を使用してＤＰＢに含まれている参照ピクチャのうち少なくとも一つのピクチャを除去することができる。
表２を参照すると、ＰＯＣが０番〜１６番である場合とＰＯＣが１１番〜１５番である場合、Ｌ０リストに必要な参照ピクチャ、Ｌ１リストに必要な参照ピクチャ、及びＬＣリストに必要な参照ピクチャが全部ＤＰＢに格納されている参照ピクチャであるため、該当ＰＯＣのピクチャに対して画面間予測を実行する時に参照ピクチャの全てが使用できる。
例えば、ＰＯＣ(１)である場合、Ｌ０リストは優先的にＰＯＣ(１)の左側に存在し、且つＰＯＣ(１)より時間的階層が低いＰＯＣ(０)を優先的に含み、次に、ＰＯＣ(１)の右側に存在し、且つＰＯＣ(１)より時間的階層が低いＰＯＣ(２)を含ませることができる。Ｌ１リストは、優先的にＰＯＣ(１)の最も右側に存在し、且つＰＯＣ(１)より時間的階層が低いＰＯＣ(２)を優先的に含み、次に、ＰＯＣ(１)の２番目に右側に存在し、且つＰＯＣ(１)より時間的階層が低いＰＯＣ(４)を含ませることができる。
ＤＰＢにはＰＯＣ(０)、ＰＯＣ(８)、ＰＯＣ(２)、ＰＯＣ(４)が含まれており、ＰＯＣ(１)を予測するための全ての参照ピクチャであるＰＯＣ(０)、ＰＯＣ(２)、ＰＯＣ(４)が全部含まれているため、ＰＯＣ(１)を予測するための全ての参照ピクチャは使用できる。
図３の場合にも、ＰＯＣ(１２)、ＰＯＣ(１０)、ＰＯＣ(９)、ＰＯＣ(１１)ではＬ０予測に対して４回、Ｌ１予測に対して１回、ＬＣ予測に対して４回の参照映像が使用できない(ｕｎａｖａｉｌａｂｌｅ)場合が存在するが、既存の階層的ピクチャ構造で使われたＦｒａｍｅＮｕｍ割当方法と比較して参照映像に対して使用できない(ｕｎａｖａｉｌａｂｌｅ)回数が減って映像の符復号化効率を上げることができる。
図４は、本発明の実施例に係る階層的ピクチャ構造で復号化順序決定方法を示すフローチャートである。
図４を参照すると、最上位の次に上位の階層のピクチャのうち一つのピクチャを復号化する(ステップＳ４００)。
最上位の次に上位の階層のピクチャのＰＯＣ順序より一つ小さいＰＯＣを有する最上位階層ピクチャ及び一つ大きいＰＯＣを有する最上位階層ピクチャを復号化する(ステップＳ４１０)。
本発明の実施例によると、最上位の次に上位の階層のピクチャが復号化されてＤＰＢに格納された後、次に、最上位階層に存在する参照ピクチャのうち最上位の次に上位の階層を参照する最上位ピクチャを復号する。即ち、任意の最上位の次に上位の階層ピクチャが復号化された後、前記任意の最上位の次に上位の階層ピクチャを参照する最上位階層ピクチャが復号化され、次に、前記任意の最上位の次に上位の階層ピクチャよりＰＯＣが大きい最上位の次に上位の階層ピクチャが復号化される。
最上位の次に上位の階層のピクチャがＰＯＣ(ｎ)とする場合、次に復号化される最上位参照ピクチャは、ＰＯＣ(ｎ−１)及びＰＯＣ(ｎ＋１)にすることができる。
本発明の他の実施例によると、階層的符号化構造において、ＤＰＢで存在する参照ピクチャに対するＳｌｉｄｉｎｇ Ｗｉｎｄｏｗ方法を異なるように適用して参照ピクチャの使用可能性を高めることができる。
新たなＳｌｉｄｉｎｇ Ｗｉｎｄｏｗ方法は、下記のような方式に適用することができる。
(１)ｎｕｍＳｈｏｒｔＴｅｒｍを「短期参照映像」としてマーキングされた参照フレームの全体個数と定義し、ｎｕｍＬｏｎｇｔＴｅｒｍを「長期参照映像」としてマーキングされた参照フレームの全体個数と定義する。
(２)ｎｕｍＳｈｏｒｔＴｅｒｍとｎｕｍＬｏｎｇＴｅｒｍを加えた値がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)であり、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きい場合、ＰｉｃＯｒｄｅｒＣｎｔ(ｅｎｔｒｙＳｈｏｒｔＴｅｒｍ)が最も小さい値を有する短期参照映像を「参照映像として使われない」とマーキングする。
即ち、本発明の実施例によると、ＤＰＢに格納することができるピクチャのうち最も小さいＰＯＣ値を有するピクチャをＤＰＢから除去するスライディングウィンドウ方法を使用してＤＰＢに格納された参照ピクチャを管理することができる。
図５は、本発明の実施例に係るスライディングウィンドウ方法を示すフローチャートである。
図５を参照すると、短期参照映像の個数と長期参照映像の個数を算出する(ステップＳ５００)。
ＤＰＢに格納されている全体参照映像の個数を算出するために短期参照映像としてマーキングされている参照フレームの個数を算出し、長期参照映像としてマーキングされている参照フレームの個数を算出することができる。
ＤＰＢに格納されたピクチャを基準にＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)であり、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きいかどうかを判断する(ステップＳ５１０)。
ステップＳ５１０において、(１)復号化されたピクチャを含んでＤＰＢに格納された短期参照ピクチャ及び長期参照ピクチャを基準に合算されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値を有するかどうか、(２)ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きいかどうかのような二つの判断がそれぞれの判断手順又は一つの判断手順からなることができる。
ＤＰＢに格納されたピクチャを基準にＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)であり、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きいかどうかを判断し、ＤＰＢでピクチャを除去するかどうかを決定することができる。Ｍａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)であり、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きい場合は、現在ＤＰＢに既に許容することができる最大参照ピクチャの個数以上のピクチャが存在するということを意味し、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きいということは短期参照ピクチャが少なくても一つ存在するということを意味する。
Ｍａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)であり、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きい場合、ＤＰＢに存在する短期参照ピクチャのうちＰｉｃＯｒｄｅｒＣｎｔ(ｅｎｔｒｙＳｈｏｒｔＴｅｒｍ)が最も小さい、即ち、ＰＯＣが最も小さい短期参照ピクチャがＤＰＢから除去される(ステップＳ５２０)。
ＤＰＢに格納されたピクチャを基準にＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)でなく、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きくない場合、ＤＰＢからピクチャは除去されない。
以下の表３は、本発明の実施例に係る新たなスライディングウィンドウ方法を使用した場合、ＰＯＣ別参照ピクチャ可用性を示す。
表３を参照すると、ＰＯＣ(６)である場合、ＤＰＢに存在するピクチャが４個(ＰＯＣ(０)、ＰＯＣ(８)、ＰＯＣ(４)、ＰＯＣ(２))であり、追加的にＰＯＣ(６)が復号化された場合、最も小さいＰＯＣに該当するＰＯＣ(０)をＤＰＢから除去することで、ＤＰＢには(ＰＯＣ(８)、ＰＯＣ(４)、ＰＯＣ(２)、ＰＯＣ(６))が含まれることができる。
即ち、本発明の実施例において、ＤＰＢに存在する参照ピクチャがｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅｓに該当する数のフレームで全部満たされた場合、ＰＯＣのうち最も小さいＰＯＣナンバーを有する参照ピクチャがＤＰＢから除去される。
表３を参照すると、このようなＤＰＢ管理方法を使用することで、ＰＯＣ(１)、ＰＯＣ(３)、ＰＯＣ(９)、ＰＯＣ(１１)でＬ０リストが使用できない場合が４回、Ｌ１リストが使用できない場合が４回発生するようになって、既存の階層的ピクチャ構造を使用する場合と比較して参照ピクチャが使用できない場合が減るようになる。
本発明の他の実施例によると、前述した図４及び図５で開示した方法が共に使われることができる。
即ち、本発明の実施例によると、図４で開示した階層的ピクチャ構造でＦｒａｍｅＮｕｍを再配列する方法と図５で開示した新たなスライディングウィンドウ方法を同時に適用することができる。
図６は、本発明の実施例に係る参照ピクチャ管理方法を示すフローチャートである。
図６では図４及び図５の状況が共に適用される場合に対して説明する。
最上位の次に上位の階層のピクチャのうち一つのピクチャを復号化する(ステップＳ６００)。
復号化されたピクチャを含んでＤＰＢに格納された短期参照ピクチャ及び長期参照ピクチャを基準に合算されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値を有し、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きいかどうかを判断する(ステップＳ６１０)。
ステップＳ６１０の判断ステップでは(１)復号化されたピクチャを含んでＤＰＢに格納された短期参照ピクチャ及び長期参照ピクチャを基準に合算されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値を有するかどうか、(２)ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きいかどうかのような二つの判断方法がそれぞれの判断手順からなることもできる。
ＤＰＢに格納されたピクチャの数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じであり、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きい場合、ＤＰＢに存在する短期参照ピクチャのうちＰｉｃＯｒｄｅｒＣｎｔ(ｅｎｔｒｙＳｈｏｒｔＴｅｒｍ)が最も小さい、即ち、ＰＯＣが最も小さい短期参照ピクチャがＤＰＢから除去される(ステップＳ６２０)。
ＤＰＢに格納されたピクチャの数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)でなく、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きくない場合、ＤＰＢに格納されたピクチャを除去しない。
最上位の次に上位の階層のピクチャのＰＯＣ順序より一つ小さいＰＯＣを有する上位階層ピクチャ及び一つ大きいＰＯＣを有する上位階層ピクチャを復号化する(ステップＳ６３０)。
最上位階層ピクチャの場合、参照ピクチャで格納されないため、ＤＰＢに格納された参照ピクチャを管理する手順を実行しない。
以下の表４は、図３の方法と表３に開示した方法が共に適用された場合、ＤＰＢで参照ピクチャの使用可能性とＬ０リスト及びＬ１リストに含まれているピクチャの使用可能性に対して示す。
表４を参照すると、ＰＯＣ(９)において、Ｌ０リストを利用した予測に対して１回、ＬＣリストを利用した予測に対して１回の使用できない可能性（ｕｎａｖａｉｌａｂｉｌｉｔｙ）が発生することで、既存の階層的ピクチャ構造と比較して参照ピクチャの使用できない可能性（ｕｎａｖａｉｌａｂｉｌｉｔｙ）が減るようになる。
図７は、本発明の実施例に係る映像復号化装置を示す概念図である。
図７を参照すると、映像復号化装置のＤＰＢは、参照ピクチャ格納部７００、参照ピクチャ情報判断部７２０、参照ピクチャ管理部７４０を含むことができる。
各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも二つが統合されて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行することができ、このような各構成部の統合及び分離された実施例の場合も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成部ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除いた本発明の本質具現に必須な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的構成要素を除いた必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
例えば、以下本発明の実施例において、参照ピクチャ格納部７００、参照ピクチャ情報判断部７２０、参照ピクチャ情報更新部７４０を区分して説明するが、参照ピクチャ格納部７００、参照ピクチャ情報判断部７２０、参照ピクチャ情報更新部７４０のうち少なくとも一つの構成部を含むことをＤＰＢ又はメモリという用語で表現することができる。
参照ピクチャ格納部７００には短期参照ピクチャと長期参照ピクチャが格納されている。短期参照ピクチャと長期参照ピクチャは、参照ピクチャ格納部で格納されて除去される方式が異なる。例えば、短期参照ピクチャと長期参照ピクチャは、メモリに格納されて管理される方式が異なる。例えば、短期参照ピクチャは、メモリ内でＦＩＦＯ(Ｆｉｒｓｔ ｉｎ Ｆｉｒｓｔ ｏｕｔ)のような方式で運営することができ、長期参照ピクチャは、ＦＩＦＯにより開放が適しない参照ピクチャは、長期参照ピクチャとしてマーキングされて使うことができる。
参照ピクチャ情報判断部７２０は、階層的ピクチャ構造でピクチャの情報、例えば、ＰＯＣ、ＦｒａｍｅＮｕｍのようなピクチャ情報を判断し、参照しなければならないピクチャ情報、復号化を実行する順次的ピクチャ情報などを含むことができる。
参照ピクチャ情報判断部７２０において、階層的ピクチャ構造に基づいて最上位の次に上位の時間的階層ピクチャのうち一つのピクチャを復号化した後、最上位の次に上位の時間的階層ピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)を基準にして前記ＰＯＣ順序上前後に存在する最上位時間的階層ピクチャに対して復号化を実行することができるようにピクチャ情報を判断後、参照ピクチャ格納部７００に格納することができる。
また、参照ピクチャ情報更新部７４０において、階層的ピクチャ構造情報、ＧＯＰ構造情報なども判断し、復号化を実行し、参照ピクチャ格納部７００に格納されるピクチャ情報を判断することができる。
参照ピクチャ情報更新部７４０において、復号化された最上位の次に上位の時間的階層のピクチャを含んでＤＰＢに格納された短期参照ピクチャ及び長期参照ピクチャを基準に合算されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値を有するかどうかを判断することができ、また、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きいかどうかを判断することができる。このような判断結果に基づいて参照ピクチャ格納部７００に格納されたピクチャの数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じであり、ｎｕｍＳｈｏｒｔＴｅｒｍが０より大きい場合、ＤＰＢに存在する前記短期参照ピクチャのうちＰＯＣが最も小さい短期参照ピクチャを参照ピクチャ格納部から除去することができる。
以上で説明した映像符号化及び映像復号化方法は、図１及び図２で前述した各映像符号化装置及び映像復号化装置の各構成部で具現することができる。
以上、実施例を参照して説明したが、該当技術分野の熟練した当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更可能であることを理解することができる。

Claims (10)

  1. 現在ピクチャ以前に復号化され、前記現在ピクチャを復号化するために使用できる参照ピクチャで参照ピクチャリストを構成するステップと、
    前記現在ピクチャの時間的階層と等しいか又はより低い時間的階層の前記参照ピクチャで構成される前記参照ピクチャリストを用いて、階層的ピクチャ構造での前記現在ピクチャを復号化するステップと、
    を含み、
    前記参照ピクチャリストを構成するステップにおいて、前記ピクチャが前記参照ピクチャリストを構成するために使用されないとき、復号化されたピクチャを含む復号化ピクチャバッファ（ＤＰＢ）のピクチャは、ピクチャ・オーダー・カウント（ＰＯＣ）順序にしたがって参照されるピクチャとして使用されないとマーキングされる、
    映像復号化方法。
  2. 前記現在ピクチャの前記時間的階層と等しいか又はより低い前記時間的階層の前記復号化されたピクチャを含むように前記ＤＰＢに格納された短期参照ピクチャ及び長期参照ピクチャを基準に算出されたピクチャの個数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じ値かどうか、及び、前記短期参照ピクチャの個数が０より大きいかどうかを判断するステップをさらに含む、請求項１に記載の映像復号化方法。
  3. 前記短期参照ピクチャの個数及び前記長期参照ピクチャの個数を算出するステップをさらに含む、請求項２に記載の映像復号化方法。
  4. 前記ＤＰＢに格納されたピクチャの数がＭａｘ(ｍａｘ_ｎｕｍ_ｒｅｆ_ｆｒａｍｅ,１)と同じであり、前記短期参照ピクチャの個数が０より大きい場合、前記ＤＰＢに存在する前記短期参照ピクチャのうちＰＯＣが最も小さい短期参照ピクチャを前記ＤＰＢから除去するステップをさらに含む、請求項２に記載の映像復号化方法。
  5. 前記階層的ピクチャ構造は、５個の時間的階層と、８個のピクチャを含むＧＯＰ階層的ピクチャ構造である、請求項１に記載の映像復号化方法。
  6. 前記現在ピクチャを復号化するステップにおいて、前記現在ピクチャは、前記参照ピクチャリストに示されるピクチャを用いて復号化される、請求項１に記載の映像復号化方法。
  7. 参照のために使用されないとマーキングされた前記ピクチャは、前記ＤＰＢから除去される、請求項１に記載の映像復号化方法。
  8. 前記参照ピクチャリストを構成するステップは、
    ＰＯＣ順序にしたがって前記ＤＰＢのピクチャの中の前記現在ピクチャを復号化するために使用されないピクチャを検索するステップと、前記検索されたピクチャを参照に使用されないピクチャとしてマーキングするステップと、を含む、請求項６に記載の映像復号化方法。
  9. 前記ＤＰＢのピクチャは、最も小さいＰＯＣのピクチャから検索される、請求項８に記載の映像復号化方法。
  10. 参照のために使用されないピクチャとマーキングされた前記ピクチャは、前記ＤＰＢから除去される、請求項８に記載の映像復号化方法。
JP2016076447A 2011-04-26 2016-04-06 参照ピクチャリスト管理方法及びその方法を使用する装置 Active JP6276319B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161479369P 2011-04-26 2011-04-26
US61/479,369 2011-04-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014508284A Division JP5918354B2 (ja) 2011-04-26 2012-04-20 参照ピクチャリスト管理方法及びその方法を使用する装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018002659A Division JP6568242B2 (ja) 2011-04-26 2018-01-11 参照ピクチャリスト管理方法及びその方法を使用する装置

Publications (2)

Publication Number Publication Date
JP2016146667A true JP2016146667A (ja) 2016-08-12
JP6276319B2 JP6276319B2 (ja) 2018-02-07

Family

ID=47072877

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014508284A Active JP5918354B2 (ja) 2011-04-26 2012-04-20 参照ピクチャリスト管理方法及びその方法を使用する装置
JP2016076447A Active JP6276319B2 (ja) 2011-04-26 2016-04-06 参照ピクチャリスト管理方法及びその方法を使用する装置
JP2018002659A Active JP6568242B2 (ja) 2011-04-26 2018-01-11 参照ピクチャリスト管理方法及びその方法を使用する装置
JP2019142126A Active JP6867450B2 (ja) 2011-04-26 2019-08-01 参照ピクチャリスト管理方法及びその方法を使用する装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014508284A Active JP5918354B2 (ja) 2011-04-26 2012-04-20 参照ピクチャリスト管理方法及びその方法を使用する装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2018002659A Active JP6568242B2 (ja) 2011-04-26 2018-01-11 参照ピクチャリスト管理方法及びその方法を使用する装置
JP2019142126A Active JP6867450B2 (ja) 2011-04-26 2019-08-01 参照ピクチャリスト管理方法及びその方法を使用する装置

Country Status (8)

Country Link
US (1) US20140050270A1 (ja)
JP (4) JP5918354B2 (ja)
KR (5) KR101911012B1 (ja)
CN (1) CN103621091A (ja)
DE (1) DE112012001635T5 (ja)
ES (1) ES2489816B2 (ja)
GB (2) GB2548739B (ja)
WO (1) WO2012148139A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827172B2 (en) 2017-09-19 2020-11-03 Fujitsu Limited Information processing apparatus, information processing method, and information processing program

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948939B2 (en) * 2012-12-07 2018-04-17 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
EP2946558B1 (en) * 2013-01-15 2020-04-29 Huawei Technologies Co., Ltd. Method for decoding an hevc video bitstream
CN105284115B (zh) * 2013-04-05 2018-11-23 三星电子株式会社 用于对多层视频进行解码的方法和设备以及用于对多层视频进行编码的方法和设备
KR102222311B1 (ko) * 2013-07-09 2021-03-04 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
CN105379277B (zh) 2013-07-15 2019-12-17 株式会社Kt 用于编码/解码可伸缩视频信号的方法和装置
CN105379276A (zh) * 2013-07-15 2016-03-02 株式会社Kt 可伸缩视频信号编码/解码方法和装置
WO2015009022A1 (ko) * 2013-07-15 2015-01-22 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US9807407B2 (en) * 2013-12-02 2017-10-31 Qualcomm Incorporated Reference picture selection
KR20150075041A (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015102271A1 (ko) * 2014-01-02 2015-07-09 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
KR102294092B1 (ko) 2014-01-02 2021-08-27 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
KR20150110295A (ko) * 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9756355B2 (en) * 2014-06-20 2017-09-05 Qualcomm Incorporated Value ranges for syntax elements in video coding
US20170359577A1 (en) * 2014-10-07 2017-12-14 Samsung Electronics Co., Ltd. Method and device for encoding or decoding multi-layer image, using interlayer prediction
CN107925769B (zh) * 2015-09-08 2020-11-27 联发科技股份有限公司 管理已解码图像缓存器的方法及视频编码器或视频解码器
WO2017049518A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Techniques for video playback decoding surface prediction
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
US11595652B2 (en) 2019-01-28 2023-02-28 Op Solutions, Llc Explicit signaling of extended long term reference picture retention
CN106937168B (zh) * 2015-12-30 2020-05-12 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
CN106488227B (zh) * 2016-10-12 2019-03-15 广东中星电子有限公司 一种视频参考帧管理方法和系统
KR20180057563A (ko) * 2016-11-22 2018-05-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN110870307A (zh) * 2017-07-06 2020-03-06 佳稳电子有限公司 同步影像的处理方法及其装置
US11825117B2 (en) * 2018-01-15 2023-11-21 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, and decoding method and apparatus therefor
BR112021002832A2 (pt) * 2018-08-17 2021-05-04 Huawei Technologies Co., Ltd. gerenciamento de imagem de referência em codificação de vídeo
JP2022508244A (ja) * 2018-11-27 2022-01-19 オーピー ソリューションズ， エルエルシー 明示的信号伝達および暗黙的信号伝達を用いた、使用不可参照フレームの適応ブロック更新
US11196988B2 (en) * 2018-12-17 2021-12-07 Apple Inc. Reference picture management and list construction
WO2020159994A1 (en) * 2019-01-28 2020-08-06 Op Solutions, Llc Online and offline selection of extended long term reference picture retention
CN114205615B (zh) * 2021-12-03 2024-02-06 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274732A (ja) * 2003-02-19 2004-09-30 Matsushita Electric Ind Co Ltd 動画像符号化方法、及び、動画像復号化方法
US20080117985A1 (en) * 2006-10-16 2008-05-22 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
JP2009528715A (ja) * 2006-02-27 2009-08-06 トムソン ライセンシング Ｓｖｃデコーダにおけるパケットロス検出および仮想パケット生成のための方法および装置
JP2009296078A (ja) * 2008-06-03 2009-12-17 Victor Co Of Japan Ltd 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013318A1 (en) * 2004-06-22 2006-01-19 Jennifer Webb Video error detection, recovery, and concealment
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
EP1949701A1 (en) * 2005-10-11 2008-07-30 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR20070111968A (ko) * 2006-05-19 2007-11-22 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
WO2008125900A1 (en) * 2007-04-13 2008-10-23 Nokia Corporation A video coder
US20080253467A1 (en) * 2007-04-13 2008-10-16 Nokia Corporation System and method for using redundant pictures for inter-layer prediction in scalable video coding
US8855199B2 (en) * 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
US20090279614A1 (en) * 2008-05-10 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding
KR20090117863A (ko) * 2008-05-10 2009-11-13 삼성전자주식회사 계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US20120230409A1 (en) * 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274732A (ja) * 2003-02-19 2004-09-30 Matsushita Electric Ind Co Ltd 動画像符号化方法、及び、動画像復号化方法
JP2009528715A (ja) * 2006-02-27 2009-08-06 トムソン ライセンシング Ｓｖｃデコーダにおけるパケットロス検出および仮想パケット生成のための方法および装置
US20080117985A1 (en) * 2006-10-16 2008-05-22 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
JP2009296078A (ja) * 2008-06-03 2009-12-17 Victor Co Of Japan Ltd 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMAS WIEGAND FRAUNHOFER HHI / TU BERLIN: "WD3: Working Draft 3 of High-Efficiency Video Coding[online]", JCTVC-E JCTVC-E603, JPN6017012129, pages 55 - 61, ISSN: 0003537915 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827172B2 (en) 2017-09-19 2020-11-03 Fujitsu Limited Information processing apparatus, information processing method, and information processing program

Also Published As

Publication number Publication date
GB201319020D0 (en) 2013-12-11
KR20170085612A (ko) 2017-07-24
JP6276319B2 (ja) 2018-02-07
KR20170125122A (ko) 2017-11-13
JP2018057049A (ja) 2018-04-05
KR101581100B1 (ko) 2015-12-29
KR20150140849A (ko) 2015-12-16
JP6568242B2 (ja) 2019-08-28
GB2505344A (en) 2014-02-26
KR101759672B1 (ko) 2017-07-31
GB201709457D0 (en) 2017-07-26
ES2489816B2 (es) 2015-10-08
KR101911012B1 (ko) 2018-12-19
JP2014519223A (ja) 2014-08-07
GB2548739B (en) 2018-01-10
WO2012148139A2 (ko) 2012-11-01
JP5918354B2 (ja) 2016-05-18
GB2505344B (en) 2017-11-15
CN103621091A (zh) 2014-03-05
KR101852789B1 (ko) 2018-06-04
WO2012148139A3 (ko) 2013-03-21
US20140050270A1 (en) 2014-02-20
GB2548739A (en) 2017-09-27
ES2489816R1 (es) 2014-12-09
KR20180049130A (ko) 2018-05-10
JP2019208268A (ja) 2019-12-05
ES2489816A2 (es) 2014-09-02
JP6867450B2 (ja) 2021-04-28
DE112012001635T5 (de) 2014-02-27
KR20140029459A (ko) 2014-03-10
KR101794199B1 (ko) 2017-11-07

Similar Documents

Publication Publication Date Title
JP6568242B2 (ja) 参照ピクチャリスト管理方法及びその方法を使用する装置
JP7284137B2 (ja) クワッドツリーを用いるブロック情報の符号化／復号化方法及びその方法を使用する装置
CN112088533B (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
JP6129178B2 (ja) 予測モードを表す情報の符号化又は復号
CN113507603B (zh) 图像信号编码/解码方法及其设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180111

R150 Certificate of patent or registration of utility model

Ref document number: 6276319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250