JP2013058939A - 画像復号装置、および画像符号化装置 - Google Patents

画像復号装置、および画像符号化装置 Download PDF

Info

Publication number
JP2013058939A
JP2013058939A JP2011196545A JP2011196545A JP2013058939A JP 2013058939 A JP2013058939 A JP 2013058939A JP 2011196545 A JP2011196545 A JP 2011196545A JP 2011196545 A JP2011196545 A JP 2011196545A JP 2013058939 A JP2013058939 A JP 2013058939A
Authority
JP
Japan
Prior art keywords
prediction mode
prediction
conversion table
rank
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011196545A
Other languages
English (en)
Inventor
Tomoyuki Yamamoto
智幸 山本
Tomohiro Igai
知宏 猪飼
Masanobu Yasugi
将伸 八杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011196545A priority Critical patent/JP2013058939A/ja
Publication of JP2013058939A publication Critical patent/JP2013058939A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】予測モードの過去の発生状況や周囲の符号化状況の変換テーブルへの反映等による符号化効率向上を図る。
【解決手段】予測モード数N=18およびN=35で共通の単一変換テーブル153を、予測モード復元部が復元した予測モードに対し、該予測モードの発生確率に応じたランクが対応付けられるように更新する変換テーブル更新部115を備える。
【選択図】図1

Description

本発明は、画像を表す符号化データを復号する画像復号装置、および画像を符号化することによって符号化データを生成する画像符号化装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
具体的な動画像符号化方式としては、例えば、H.264/MPEG−4.AVC、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている方式、TMuC(Test Model under Consideration)ソフトウェアに採用されている方式や、その後継コーデックであるHEVC(High-Efficiency Video Coding)にて提案されている方式(非特許文献1)などが挙げられる。
これらの動画像符号化方式においては、通常、入力画像を符号化/復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像(原画像)から減算して得られる予測残差(「差分画像」または「残差画像」と呼ぶこともある)が符号化される。また、予測画像の生成方法としては、画面間予測(インター予測)、および、画面内予測(イントラ予測)が挙げられる。
インター予測においては、フレーム全体が復号された参照フレーム(復号画像)内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位(例えば、ブロック)毎に生成される。
一方、イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。具体的には、イントラ予測においては、通常、予測単位(例えば、ブロック)毎に、予め定められた予測方向(予測モード)群に含まれる予測方向から何れかの予測方向が選択されると共に、局所復号画像における参照画素の画素値を、選択された予測方向に外挿することによって、予測対象領域上の予測画素値が生成される。なお、非特許文献1では、予測方向に対応付けられている方向予測以外にも、DC予測や、Planar予測なども定義されている。
近年、イントラ予測において、予測モードの発生数に応じて、可変長符号化に利用する変換テーブルを更新する方式が提案されている(非特許文献2)。
また、非特許文献2では、発生頻度の高い予測モードを小さい値のランク値に対応付ける変換テーブルを用いて、予測モードに対応付けられているランク値を可変長符号化することで予測モードに関する情報の符号量の低減を図っている。
また、非特許文献2には、例えば、符号化対象ブロックのブロックサイズまたは利用可能な予測モード数に応じて異なる変換テーブルを用いることが記載されている。
「WD4: Working Draft 4 of High-Efficiency Video Coding (JCTVC-F803_d0)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011(2011年8月9日公開) 「Modified Intra Mode Coding(JCTVC-F269)」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, 14-22 July, 2011(2011年7月公開)
しかしながら、上述のような変換テーブルを更新する方式では、予測モードの発生の傾向を十分に反映できていなかった。
例えば、非特許文献2の方式では、ブロックサイズ間で共通または類似の予測モードが用いられていたとしても、符号化対象ブロックのブロックサイズごとに変換テーブルを保持しているため、あるブロックサイズのブロックの符号化における予測モードの発生確率を、別のブロックサイズの変換テーブルに反映できていなかった。すなわち、過去の予測モードの発生状況が十分に活用できていない場合があった。
さらに、非特許文献2に記載の変換テーブルでは、当該変換テーブルに対応付けられているブロックサイズのブロックにおける発生確率のみしか反映できておらず、周囲の状況に応じた発生確率が考慮されていなかった。
このような理由により、非特許文献2の方式では、予測モードに関する情報の符号量を十分に低減することができず、符号化効率が期待されるほど向上しないという問題を有していた。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、予測モードの過去の発生状況および周囲の符号化状況を変換テーブルに反映させたり、変換テーブルを予測モードの推定手法を指定する推定手法指定インデックスまたは色差予測モードの導出に適用したりすることによって、符号化効率を向上させることができる画像復号装置等を実現することにある。
本発明に係る画像復号装置は、上記課題を解決するために、複数の予測セットから選択した予測セットに含まれる予測モードを用いて予測画像を生成する画像復号装置において、上記選択した予測セットに含まれる少なくとも一部の予測モードと、該予測モードの順位とが対応付けられた変換テーブルであって、異なる予測セットの間で共通の変換テーブルを、該予測モードに該予測モードの発生確率に応じた順位が対応付けられるように更新する変換テーブル更新手段を備えることを特徴とする。
予測セットとは、処理の対象となるブロックにおいて選択することができる予測モードの集合である。例えば、引用文献1の技術においては、予測セットに含まれる予測モードは、処理対象ブロック、すなわちPUが4×4の場合、18種類であり、PUが、8×8〜32×32の場合、34種類である。
このように、予測セットは、ブロックサイズごとに異なるものが定義されていてもよい。
変換テーブルでは、予測モードと、該予測モードの順位とが対応付けられている。また、変換テーブルは、異なる予測セットの間で共通である。
なお、予測セットが、ブロックサイズごとに異なるものが定義されている場合、予測セットを、ブロックサイズによって特定することもできる。また、予測セットが、処理の対象となるブロックにおいて選択することができる予測モードの数ごとに定義されている場合、予測セットを、処理の対象となるブロックにおいて選択することができる予測モードの数により特定することもできる。
従って、予測セットを、予測モードの数、または、ブロックサイズによって特定できるのであれば、“変換テーブルは、異なる予測セットの間で共通である”とは、言い換えれば、“異なる予測モードの数の間で”または“異なるブロックサイズの間で”共通であるということである。
また、変換テーブルの更新とは、予測モードと、該予測モードの順位との関係を変更することである。変換テーブルの更新の例としては、復号されたn番目の順位の予測モードと、n−1番目の順位の予測モードとを入れ替えることが挙げられる。また、別の例としては、復号されたときにn番目の順位が対応付けられていた予測モードを、更新処理により、n−k番目の順位に対応付けるとともに、更新前にn−k番目からn−1番目の順位であった予測モードについては、順位を1つずつ繰り下げるようにすることが挙げられる。
また、このkを入れ替えの幅という。n番目の順位の予測モードと、n−1番目の順位の予測モードとを入れ替える場合、入れ替えの幅は、1である。入れ替えの幅は、2以上に設定することができる。なお、変換テーブルの更新は任意のタイミングで行うことができる。
上記構成によれば、異なる予測セットの間において、予測モードの選択結果に応じて共通の変換テーブルを更新することができる。更新は、例えば、より小さい順位に対して、より発生確率が高い予測モードが対応付けられるように実行することができる。
これにより、異なる予測セットの間で、予測モードの発生確率が相互に反映された変換テーブルを得ることができる。その結果、符号化効率が向上するという効果を奏する。
また、上記構成のように、共通の変換テーブルを用いることにより、複数の予測セットについて、予測セットごとに変換テーブルを設ける場合と比較して、メモリを削減することができる。
本発明に係る画像復号装置では、上記変換テーブルでは、上記複数の予測セットの積集合の部分集合に含まれる予測モードが、上記順位と対応付けられており、上記変換テーブル更新手段は、上記積集合に含まれる上記予測モードが復元された場合に上記変換テーブルを更新することが好ましい。
上記構成によれば、上記複数の予測セットに共通に含まれる予測モードについては、ブロックサイズに関わらず、予測モードの復号結果を変換テーブルに反映させることができる。また、上記部分集合以外の対応付け要素については、予測モードと、上記順位とが固定的に対応付けられていてもかまわない。
本発明に係る画像復号装置では、上記変換テーブルでは、上記複数の予測セットに共通に含まれる予測モードが、上記順位と対応付けられており、さらに、上記複数の予測セットに共通に含まれる予測モードでない予測モードを、上記複数の予測セットに共通に含まれる予測モードに変換する予測モード変換手段を備え、上記変換テーブル更新手段は、上記変換された予測モードについて上記変換テーブルを更新することが好ましい。
上記構成によれば、複数の予測セットに共通に含まれる予測モードでない予測モードを、複数の予測セットに共通に含まれる予測モードに変換して、変換された予測モードについて変換テーブルを更新する。
これにより、複数の予測セットに共通に含まれる予測モードでない予測モードであっても、複数の予測セットに共通に含まれる予測モードに近い性質を持つものであれば、変換テーブルにその復号結果を反映することができる。
この変換では、変換前の予測モードを、当該変換前の予測モードの予測方向と予測方向が近い予測モードに対応づけることが好ましい。
なお、複数の予測セットに共通に含まれる予測モードが構成する集合は、複数の予測セットの積集合であってもよい。また、予測セットのひとつが、当該積集合と一致していてもよい。
また、変換前の予測モードが上記複数の異なる予測モードの何れであるかを示す情報(例えば、インデックス)が、符号化データに含まれていてもよい。上記予測モードの変換により複数の異なる予測モードを同一の予測モードに変換するとき、上記情報に基づいて、予測モードを復元してもよい。
これにより、変換前の予測モードが上記複数の異なる予測モードの何れであるかを判断して、元の予測モードを復元することができる。
本発明に係る画像復号装置では、上記変換テーブルでは、上記複数の予測セットの和集合に含まれる予測モードが、上記順位と対応付けられており、復号対象ブロックにおいて選択した予測セットにおいて含まれる予測モードの数が上記和集合に含まれる予測モードの数未満であるとき、復号された順位を上記和集合に含まれる予測モードに対する順位に変換することが好ましい。
上記構成によれば、復号対象ブロックにおいて選択した予測セットにおいて含まれる予測モードの数が上記和集合に含まれる予測モードの数未満であるとき、復号された順位を上記和集合に含まれる予測モードに対する順位に変換することができる。
よって、単一に設ける変換テーブルを、上記和集合に合わせることができる。
本発明に係る画像復号装置では、上記変換テーブルにおけるある順位の発生回数と当該ある順位より1高い他の順位の発生回数とをカウントするカウンタ、または、ある順位の発生回数と、当該ある順位より1高い他の順位の発生回数との差分値または差分近似値をカウントするカウンタと、上記カウンタの値に基づいて、上記ある順位の発生回数が、上記他の順位の発生回数以上か否かを判定する判定手段とを備え、上記変換テーブル更新手段は、上記判定手段の判定結果に基づいて、上記変換テーブルを更新することが好ましい。
上記構成によれば、カウンタのカウント値に応じて変換テーブルの更新を抑止することができる。これによって過度に変換テーブルが更新されてしまうことを防ぐことができる。その結果、符号化効率を向上させることができる。
本発明に係る画像復号装置では、対象符号化単位のサイズが、符号化単位が取り得るサイズのうち、最も小さい場合、該対象符号化単位に含まれる一つの予測単位の予測モードのみに基づいて上記変換テーブルを更新することが好ましい。
対象符号化単位に含まれる予測単位の間では、空間相関性により、類似した予測モードが出現する傾向がある。よって、上記構成のように、一つの(代表的な)予測単位の予測モードのみに基づいて変換テーブルを更新すれば、変換テーブルの精度をある程度保ちつつ、変換テーブルの更新の処理負荷を減らすことができる。
一つの予測単位の例としては、予測単位の識別番号が最も小さいものが挙げられる。具体的には、最小の符号化単位である8×8サイズのCUに4個の4×4サイズの予測単位が含まれる場合、左上の予測単位である。
本発明に係る画像復号装置では、予測セットに含まれる予測モードのうち、推定された予測モード以外の予測モード(残余モード)に割り付けられた残余モードインデックスを示すバイナリを、コンテキスト適応的に算術符号化方式により復号する復号手段を備え、上記復号手段は、上記バイナリが、プレフィックス部およびサフィックス部から構成されているとき、上記プレフィックス部のみを、コンテキストを参照して復号することが好ましい。
上記構成によれば、プレフィックス部のバイナリのみをコンテキストを参照して復号することができる。プレフィックス部は残余モードインデックスの大まかな順位、サフィックス部は細かい順位に対応するため、プレフィックス部では局所的に同じ符号が連続して発生しやすいが、サフィックス部ではプレフィックス部に較べて同じ符号が連続して発生し難い。そのため、プレフィックス部にコンテキストを設定し、サフィックス部にコンテキストを設定しないことで符号化効率が向上する。
本発明に係る画像復号装置は、上記課題を解決するために、予測モードと、該予測モードの順位とが対応付けられた変換テーブルを参照して、画像の符号化データから復号した順位を予測モードに変換する画像復号装置において、復号済み領域における復号画像の画素値または復号した符号化パラメータの値に応じて、複数の変換テーブルの中から、参照する上記変換テーブルを選択する変換テーブル選択手段を備えることを特徴とする。
変換テーブルでは、予測モードと、該予測モードの順位とが対応付けられている。また、予測モードの順位とは、例えば、発生確率の高低の順位を示すものである。
復号画像の画素値または復号した符号化パラメータの値は、別の観点からいえば、動画像のコンテキストと表現することもできる。コンテキストとは、符号化/復号の状況(文脈)のことであり、関連シンタックスの過去の符号化/復号結果により定まるものである。関連シンタックスとしては、例えば、イントラ予測、インター予測に関する各種シンタックス、輝度(Luma)、色差(Chroma)に関する各種シンタックス、およびCU(Coding Unit 符号化単位)サイズに関する各種シンタックスなどがある。
また、復号済み領域における復号の処理状況は、例えば、復号済みの予測モードによって定まる。復号済みの予測モードとしては、例えば、隣接ブロックにおいて復号済みの予測モードや、直近に復号された予測モードなどが挙げられる。
また、予測モードの発生確率は、フレーム中の領域毎に異なる。よって、上記構成では、符号化/復号の状況に応じてフレーム中を複数の領域に分割し、複数の変換テーブルは、例えば、フレーム中の各領域における予測モードの発生確率に応じて用意されていればよい。
例えば、各領域に対応する変換テーブルにおいて、発生確率が高い予測モードに対して小さい順位が対応付けられていればよい。
上記構成によれば、復号済み領域における復号の処理状況に応じて、複数の変換テーブルの中から、参照する上記変換テーブルを選択するので、復号済み領域における復号の処理状況より、復号時に参照する変換テーブルを切り替えることができる。
これにより、上記復号の処理状況に応じて、符号化効率のよい変換テーブルを参照することができる。その結果、符号化効率が向上するという効果を奏する。
本発明に係る画像復号装置では、上記変換テーブル選択手段は、復号済みの近傍ブロックにおいて復元されている予測モードの予測方向に応じて変換テーブルを選択することが好ましい。
上記構成によれば、フレーム内の予測方向の傾向に応じて変換テーブルを選択することができる。自然画像では、垂直方向および水平方向のエッジが出現しやすいため、このような予測方向の傾向に基づいて復号を行うことで符号化効率の向上を図ることができる。
例えば、上記変換テーブル選択手段は、上記復号済みの近傍ブロックにおいて、水平方向に近い予測方向に対応する予測モードが多い場合と、垂直方向に近い予測方向に対応する予測モードが多い場合とで異なる変換テーブルを選択する構成であってもよい。
本発明に係る画像復号装置では、上記変換テーブル選択手段は、復号済みの複数の近傍ブロックにおいて復元されている予測モードが、互いに一致または類似しているか否かに応じて変換テーブルを選択することが好ましい。
上記構成によれば、近傍ブロックの予測モードが類似していない場合は、近傍ブロックの周辺の空間相関が低いといえる。
よって、復号済みの複数の近傍ブロックにおいて復元されている予測モードが、互いに一致または類似しているか否かに応じて変換テーブルを選択することで、相関の高い領域における予測モードの偏りを十分反映して相関の高い領域について用いられる変換テーブルを選択することができる。
本発明に係る画像復号装置は、上記課題を解決するために、処理対象である対象ブロックの周辺のブロックに割り付けられた予測モードに基づいて、該対象ブロックの予測モードを推定し、推定した予測モードを用いて予測画像を生成する画像復号装置において、予測モードの推定手法を指定する推定手法指定インデックスを復号する推定手法指定インデックス復号手段と、予測モードと、該予測モードの順位との対応付けを示す順位情報を参照して、より小さい上記推定手法指定インデックスに対して、上記複数の推定手法により推定される予測モードのうち、より高い順位の予測モードを選択する選択手段とを備えることを特徴とする。
上記構成において、順位の高低は、例えば、正の整数値で表すことができる。そして、より小さい値の順位がより高い順位であると定義することができる。
上記構成によれば、複数の予測モードの推定手法により予測モードを推定したときに、推定手法を指定する推定手法指定インデックスを復号する。
また、予測モードと、該予測モードの順位との対応付けを示す順位情報を参照して、より小さい上記推定手法指定インデックスに対して、上記複数の推定手法により推定される予測モードのうち、より高い順位の予測モードを選択する。
このため、より小さい推定手法指定インデックスに対して、より高い順位が対応付けられている予測モードを割り当てることができる。その結果、符号化効率を向上させることができる。
本発明に係る画像復号装置では、各予測モードには、互いに異なる複数の処理の何れかが対応付けられており、当該画像復号装置は、対象ブロックの予測モードの推定値として複数の推定予測モードを導出するものであり、導出された上記複数の推定予測モードの各々に対応付けられた処理は互いに異なっていることが好ましい。
上記構成において、予測モードに対応付けられる処理としては、例えば、変換処理、参照画像平滑化処理、変換係数スキャン処理等が挙げられる。
上記構成によれば、異なる処理に対応付けられた多様な予測モードを推定して複数の予測モードに含めることができる。これにより、符号化効率の向上を図ることができる。
本発明に係る画像復号装置は、上記課題を解決するために、処理対象である対象ブロックについて、輝度予測モードに基づいて輝度の予測画像を生成し、色差予測モードに基づいて色差の予測画像を生成する画像復号装置において、輝度予測モードと、該輝度予測モードの出現頻度の順位との対応付けを示す順位情報を参照して、最も高い順位を示す順位情報に対応付けられている輝度予測モードを、予測画像を生成するために選択可能な色差予測モードとして追加する追加手段を備えることを特徴とする。
上記構成によれば、輝度予測モードを、当該輝度予測モードに対応付けられている出現頻度の順位に応じて予測画像を生成するために選択可能な色差予測モードとして追加する。
ここで、上記輝度予測モードに対応付けられている順位は、最も高い順位である。順位の高低は、例えば、正の整数値で表すことができる。そして、より小さい値の順位がより高い順位であると定義することができる。
よって、最も高い順位が対応付けられている輝度予測モードが、色差予測モードとして選択可能になる。これにより、符号化効率の向上を図ることができる。
本発明に係る画像符号化装置は、上記課題を解決するために、複数の予測セットから選択した予測セットに含まれる予測モードに対応付けられた順位を符号化する画像符号化装置において、上記選択した予測セットに含まれる少なくとも一部の予測モードと、該予測モードの順位とが対応付けられた変換テーブルであって、異なる予測セットの間で共通の変換テーブルを、該予測モードに該予測モードの発生確率に応じた順位が対応付けられるように更新する変換テーブル更新手段を備えることを特徴とする。
本発明に係る画像符号化装置は、上記課題を解決するために、予測モードと、該予測モードの順位とが対応付けられた変換テーブルを参照して、予測モードを順位に変換して符号化する画像符号化装置において、復号済み領域における復号画像の画素値または復号した符号化パラメータの値に応じて、複数の変換テーブルの中から、参照する上記変換テーブルを選択する変換テーブル選択手段を備えることを特徴とする。
本発明に係る画像符号化装置は、上記課題を解決するために、処理対象である対象ブロックの周辺のブロックに割り付けられた予測モードに基づいて、該対象ブロックの予測モードを推定し、推定した予測モードを符号化する画像符号化装置において、予測モードと、該予測モードの順位との対応付けを示す順位情報を参照して、予測モードの推定手法を指定する推定手法指定インデックスが小さいほど、上記複数の推定手法により推定される予測モードのうち、より高い順位の予測モードを選択する選択手段とを備えることを特徴とする。
本発明に係る画像符号化装置は、上記課題を解決するために、処理対象である対象ブロックについて、輝度予測モードを符号化し、色差予測モードを符号化する画像符号化装置において、輝度予測モードと、該輝度予測モードの出現頻度の順位との対応付けを示す順位情報を参照して、最も高い順位を示す順位情報に対応付けられている輝度の予測モードを、色差の予測画像を生成するために選択可能な色差予測モードとして追加する追加手段を備えることを特徴とする。
なお、上記画像復号装置に対応する構成を備える画像符号化装置も本発明の範疇に入る。上記のように構成された画像符号化装置によれば、本発明に係る画像復号装置と同様の効果を奏することができる。
本発明に係る画像復号装置は、複数の予測セットから選択した予測セットに含まれる予測モードを用いて予測画像を生成する画像復号装置において、上記選択した予測セットに含まれる少なくとも一部の予測モードと、該予測モードの順位とが対応付けられた変換テーブルであって、異なる予測セットの間で共通の変換テーブルを、該予測モードに該予測モードの発生確率に応じた順位が対応付けられるように更新する変換テーブル更新手段を備える構成である。
本発明に係る画像符号化装置は、複数の予測セットから選択した予測セットに含まれる予測モードに対応付けられた順位を符号化する画像符号化装置において、上記選択した予測セットに含まれる少なくとも一部の予測モードと、該予測モードの順位とが対応付けられた変換テーブルであって、異なる予測セットの間で共通の変換テーブルを、該予測モードに該予測モードの発生確率に応じた順位が対応付けられるように更新する変換テーブル更新手段を備える構成である。
よって、異なる予測セットの間で、予測モードの発生確率が相互に反映された変換テーブルを得ることができる。その結果、符号化効率が向上するという効果を奏する。
また、上記構成のように、共通の変換テーブルを用いることにより、複数の予測セットについて、予測セットごとに変換テーブルを設ける場合と比較して、メモリを削減することができる。
本発明に係る画像復号装置は、予測モードと、該予測モードの順位とが対応付けられた変換テーブルを参照して、画像の符号化データから復号した順位を予測モードに変換する画像復号装置において、復号済み領域における復号画像の画素値または復号した符号化パラメータの値に応じて、複数の変換テーブルの中から、参照する上記変換テーブルを選択する変換テーブル選択手段を備える構成である。
本発明に係る画像符号化装置は、予測モードと、該予測モードの順位とが対応付けられた変換テーブルを参照して、予測モードを順位に変換して符号化する画像符号化装置において、復号済み領域における復号画像の画素値または復号した符号化パラメータの値に応じて、複数の変換テーブルの中から、参照する上記変換テーブルを選択する変換テーブル選択手段を備える構成である。
よって、上記復号の処理状況、すなわち復号画像の画素値または復号した符号化パラメータの値に応じて、符号化効率のよい変換テーブルを参照することができる。その結果、符号化効率が向上するという効果を奏する。
本発明に係る画像復号装置は、処理対象である対象ブロックの周辺のブロックに割り付けられた予測モードに基づいて、該対象ブロックの予測モードを推定し、推定した予測モードを用いて予測画像を生成する画像復号装置において、予測モードの推定手法を指定する推定手法指定インデックスを復号する推定手法指定インデックス復号手段と、
予測モードと、該予測モードの順位との対応付けを示す順位情報を参照して、より小さい上記推定手法指定インデックスに対して、上記複数の推定手法により推定される予測モードのうち、より高い順位の予測モードを選択する選択手段とを備える構成である。
本発明に係る画像符号化装置は、処理対象である対象ブロックの周辺のブロックに割り付けられた予測モードに基づいて、該対象ブロックの予測モードを推定し、推定した予測モードを符号化する画像符号化装置において、予測モードと、該予測モードの順位との対応付けを示す順位情報を参照して、予測モードの推定手法を指定する推定手法指定インデックスが小さいほど、上記複数の推定手法により推定される予測モードのうち、より高い順位の予測モードを選択する選択手段とを備える構成である。
よって、より小さい推定手法指定インデックスに対して、より高い順位が対応付けられている予測モードを割り当てることができる。その結果、符号化効率を向上させることができる。
本発明に係る画像復号装置は、処理対象である対象ブロックについて、輝度予測モードに基づいて輝度の予測画像を生成し、色差予測モードに基づいて色差の予測画像を生成する画像復号装置において、輝度予測モードと、該輝度予測モードの出現頻度の順位との対応付けを示す順位情報を参照して、最も高い順位を示す順位情報に対応付けられている輝度予測モードを、予測画像を生成するために選択可能な色差予測モードとして追加する追加手段を備える構成である。
よって、最も高い順位が対応付けられている輝度予測モードが、色差予測モードとして選択可能になる。これにより、符号化効率の向上を図ることができる。
本発明に係る画像符号化装置は、処理対象である対象ブロックについて、輝度予測モードを符号化し、色差予測モードを符号化する画像符号化装置において、輝度予測モードと、該輝度予測モードの出現頻度の順位との対応付けを示す順位情報を参照して、最も高い順位を示す順位情報に対応付けられている輝度予測モードを、色差の予測画像を生成するために選択可能な色差予測モードとして追加する追加手段を備える構成である。
以上に示したように、本発明に係る画像復号装置および画像符号化装置によれば、予測モードの過去の発生状況および周囲の符号化状況を変換テーブルに反映させたり、変換テーブルを予測モードの推定手法を指定する推定手法指定インデックスまたは色差予測モードの導出に適用したりすることによって、符号化効率を向上させることができる。
本発明の一実施形態に係る動画像復号装置が備える可変長復号部の構成例について示す機能ブロック図である。 上記動画像復号装置の概略的構成について示した機能ブロック図である。 本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図であり、(a)〜(d)は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびCUレイヤを示す図である。 イントラ予測モードと、当該イントラ予測モードに対応付けられている名前とを示す図である。 対象ブロックのサイズの対数値(log2TrafoSize)と、予測モード数(intraPredModeNum)との関係を示す図である。 上記動画像復号装置において利用可能なイントラ予測の方向について示す図である。 左隣接ブロックおよび上隣接ブロックの予測モードを参照して、MPM候補を導出する過程について示した図である。 イントラ色差予測モード指定情報および輝度の予測モードの組み合わせと、色差予測モードとを対応付ける色差予測モード定義情報の具体例を示す図である。 ランクと、予測モードとを対応付ける単一変換テーブルの一例について示す図である。 N=18の場合におけるランクと、予測モードとの対応付けの一例を示す図である。 N=35の場合におけるランクと、予測モードとの対応付けの一例を示す図である。 更新前の単一変換テーブルを示す図である。 更新後の単一変換テーブルを示す図である。 上記動画像復号装置における予測モード復元処理の概略的な流れの一例について示したフローチャートである。 上記予測モード復元処理における予測モード導出処理のより詳細な流れの一例について示したフローチャートである。 上記予測モード復元処理における単一変換テーブル更新処理のより詳細な流れの一例について示したフローチャートである。 上記単一変換テーブルの他の例について示す図である。 N=18の場合におけるランクと、予測モードとの対応付けの他の例を示す図である。 N=35の場合におけるランクと、予測モードとの対応付けの他の例を示す図である。 上記予測モード復元処理における予測モード導出処理のより詳細な流れの他の例について示したフローチャートである。 上記予測モード復元処理における単一変換テーブル更新処理のより詳細な流れの他の例について示したフローチャートである。 上記単一変換テーブルの別の例について示す図である。 上記単一変換テーブルに含まれない予測モードと、上記単一変換テーブルに含まれる類似の予測モードとを相互に変換するための類似予測モードテーブルについて例示する図である。 N=18の場合におけるランクと、予測モードとの対応付けの別の例を示す図である。 N=35の場合におけるランクと、予測モードとの対応付けの別の例を示す図である。 上記予測モード復元処理における予測モード導出処理のより詳細な流れの別の例について示したフローチャートである。 上記予測モード復元処理における単一変換テーブル更新処理のより詳細な流れの別の例について示したフローチャートである。 上記単一変換テーブルのさらに別の例について示す図である。 上記単一変換テーブルの具体例を示した図である。 N=18の場合におけるランクと、予測モードとの対応付けのさらに別の例を示す図である。 予測モードの導出処理を、表形式にて表した図である。 N=35の場合におけるランクと、予測モードとの対応付けのさらに別の例を示す図である。 上記予測モード復号処理における予測モード導出処理のより詳細な流れのさらに別の例について示したフローチャートである。 上記予測モード復元処理における単一変換テーブル更新処理のより詳細な流れのさらに別の例について示したフローチャートである。 回数カウンタおよびsumカウンタ付き変換テーブルについて示す図である。 差分値カウンタ付き変換テーブルについて示す図である。 復号履歴と隣接ブロックの予測モードを併用してMPMを生成する場合の例を示す図である。 可変長符号化/復号における、rem_idxとバイナリ(binary)との対応の一例について示す図である。(a)は、予測モード数が18個の場合について示しており、(b)は、予測モード数が35個の場合について示している。 可変長符号化/復号における、rem_idxとバイナリ(binary)との対応の他の例について示す図である。(a)は、予測モード数が18個の場合について示しており、(b)は、予測モード数が35個の場合について示している。 本発明の一実施形態に係る動画像符号化装置の一構成例について示す機能ブロック図である。 上記動画像符号化装置における予測モード符号化処理の概略的な流れの一例について示したフローチャートである。 上記予測モード符号化処理におけるランク導出処理のより詳細な流れの一例について示したフローチャートである。 上記予測モード符号化処理におけるランク導出処理のより詳細な流れの他の例について示したフローチャートである。 上記予測モード符号化処理におけるランク導出処理のより詳細な流れの別の例について示したフローチャートである。 上記予測モード符号化処理におけるランク導出処理のより詳細な流れのさらに別の例について示したフローチャートである。 本発明の他の実施形態に係る動画像復号装置が備える可変長復号部の構成例について示す機能ブロック図である。 垂直重視変換テーブルの初期化の具体例を示す図である。 上記動画像復号装置における予測モード復元処理の概略的な流れの他の例について示したフローチャートである。 4つの2×2の横長矩形の予測単位において予測モードを導出する場合の例について示す図である。 長方形のPUにおいて、短辺側の復号済み画素のみを用いてエッジ検出を行う場合の例を示す図である。 上記動画像復号装置においてremランク変換テーブルを用いる場合における、予測モード復元処理の流れについて例示するフローチャートである。 本発明の他の実施形態に係る動画像符号化装置における予測モード符号化処理の概略的な流れの一例について示したフローチャートである。 上記動画像復号装置においてremランク変換テーブルを用いる場合における、予測モードシンタックス値導出処理の流れの一例について示したフローチャートである。 上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。(a)は、動画像符号化装置を搭載した送信装置を示しており、(b)は、動画像復号装置を搭載した受信装置を示している。 上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。(a)は、動画像符号化装置を搭載した記録装置を示しており、(b)は、動画像復号装置を搭載した再生装置を示している。 図40に示す動画像符号化装置が備える可変長符号化部の一構成例について示す機能ブロック図である。 図52に示す動画像符号化装置が備える可変長符号化部の一構成例について示す機能ブロック図である。
〔1〕実施形態1
本発明の一実施形態について図1〜図45参照して説明する。まず、図2を参照しながら、動画像復号装置(画像復号装置)1および動画像符号化装置(画像符号化装置)2の概要について説明する。図2は、動画像復号装置1の概略的構成を示す機能ブロック図である。
図2に示す動画像復号装置1および動画像符号化装置2は、H.264/MPEG−4 AVC規格に採用されている技術、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている技術、TMuC(Test Model under Consideration)ソフトウェアに採用されている技術、および、その後継コーデックであるHEVC(High-Efficiency Video Coding)にて提案されている技術を実装している。
動画像符号化装置2は、これらの動画像符号化方式において、エンコーダからデコーダに伝送されることが規定されているシンタックス(syntax)の値をエントロピー符号化して符号化データ#1を生成する。
エントロピー符号化方式としては、コンテキスト適応型可変長符号化(CAVLC:Context-based Adaptive Variable Length Coding)、および、コンテキスト適応型2値算術符号化(CABAC:Context-based Adaptive Binary Arithmetic Coding)が知られている。
CAVLCおよびCABACによる符号化/復号においては、コンテキストに適応した処理が行われる。コンテキストとは、符号化/復号の状況(文脈)のことであり、関連シンタックスの過去の符号化/復号結果により定まるものである。関連シンタックスとしては、例えば、イントラ予測、インター予測に関する各種シンタックス、輝度(Luma)、色差(Chroma)に関する各種シンタックス、およびCU(Coding Unit 符号化単位)サイズに関する各種シンタックスなどがある。また、CABACでは、シンタックスに対応する2値データ(バイナリ列)における、符号化/復号対象となるバイナリの位置をコンテキストとして用いる場合もある。
CAVLCでは、符号化に用いるVLCテーブルを適応的に変更して、各種シンタックスが符号化される。一方、CABACでは、予測モードおよび変換係数等の多値を取り得るシンタックスに対して2値化処理が施され、この2値化処理によって得られた2値データが発生確率に応じて適応的に算術符号化される。具体的には、バイナリ値(0または1)の発生確率を保持するバッファを複数用意し、コンテキストに応じて一つのバッファを選択し、当該バッファに記録されている発生確率に基づいて算術符号化を行う。また、復号/符号化するバイナリ値に基づいて、当該バッファの発生確率を更新することで、コンテキストに応じて適切な発生確率を維持できる。
動画像復号装置1には、動画像符号化装置2が動画像を符号化した符号化データ#1が入力される。動画像復号装置1は、入力された符号化データ#1を復号して動画像#2を外部に出力する。動画像復号装置1の詳細な説明に先立ち、符号化データ#1の構成を以下に説明する。
〔符号化データの構成〕
図3を用いて、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1の構成例について説明する。符号化データ#1は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
符号化データ#1におけるピクチャレイヤ以下の階層の構造を図3に示す。図3の(a)〜(d)は、それぞれ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、ツリーブロック(Tree block)TBLKを規定するツリーブロックレイヤ、ツリーブロックTBLKに含まれる符号化単位(Coding Unit;CU)を規定するCUレイヤを示す図である。
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図3の(a)に示すように、ピクチャヘッダPH、及び、スライスS1〜SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライスS1〜SNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ#1に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダPHには、対象ピクチャの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置2が符号化の際に用いた可変長符号化のモードを示す符号化モード情報(entropy_coding_mode_flag)は、ピクチャヘッダPHに含まれる符号化パラメータの一例である。
entropy_coding_mode_flagが0の場合、当該ピクチャPICTは、CAVLC(Context-based Adaptive Variable Length Coding)によって符号化されている。また、entropy_coding_mode_flagが1である場合、当該ピクチャPICTは、CABAC(Context-based Adaptive Binary Arithmetic Coding)によって符号化されている。
なお、ピクチャヘッダPHは、ピクチャー・パラメーター・セット(PPS:Picture Parameter Set)とも称される。
(スライスレイヤ)
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図3の(b)に示すように、スライスヘッダSH、及び、ツリーブロックTBLK1〜TBLKNC(NCはスライスSに含まれるツリーブロックの総数)を含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、又は、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるBスライスなどが挙げられる。
また、スライスヘッダSHには、動画像復号装置1の備えるループフィルタ(不図示)によって参照されるフィルタパラメータが含まれていてもよい。
(ツリーブロックレイヤ)
ツリーブロックレイヤでは、処理対象のツリーブロックTBLK(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ツリーブロックTBLKは、ツリーブロックヘッダTBLKHと、符号化単位情報CU〜CUNL(NLはツリーブロックTBLKに含まれる符号化単位情報の総数)とを含む。ここで、まず、ツリーブロックTBLKと、符号化単位情報CUとの関係について説明すると次のとおりである。
ツリーブロックTBLKは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。
ツリーブロックTBLKの上記ユニットは、再帰的な4分木分割により分割されている。この再帰的な4分木分割により得られる木構造のことを以下、符号化ツリー(coding tree)と称する。
以下、符号化ツリーの末端のノードであるリーフ(leaf)に対応するユニットを、符号化ノード(coding node)として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位(CU)とも称する。
つまり、符号化単位情報(以下、CU情報と称する)CU〜CUNLは、ツリーブロックTBLKを再帰的に4分木分割して得られる各符号化ノード(符号化単位)に対応する情報である。
また、符号化ツリーのルート(root)は、ツリーブロックTBLKに対応付けられる。換言すれば、ツリーブロックTBLKは、複数の符号化ノードを再帰的に含む4分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード(すなわち、当該符号化ノードの1階層上位のノードのユニット)のサイズの縦横とも半分である。
また、各符号化ノードの取り得るサイズは、符号化データ#1のシーケンスパラメータセットSPSに含まれる、符号化ノードのサイズ指定情報および最大階層深度(maximum hierarchical depth)に依存する。例えば、ツリーブロックTBLKのサイズが64×64画素であって、最大階層深度が3である場合には、当該ツリーブロックTBLK以下の階層における符号化ノードは、4種類のサイズ、すなわち、64×64画素、32×32画素、16×16画素、および8×8画素の何れかを取り得る。
(ツリーブロックヘッダ)
ツリーブロックヘッダTBLKHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図3の(c)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TBLK、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
ツリーブロック分割情報SP_TBLKは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各CUの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報SP_TBLKは、CUの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報SP_TBLKは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各CUの形状やサイズを特定できる。
また、量子化パラメータ差分Δqpは、対象ツリーブロックにおける量子化パラメータqpと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータqp’との差分qp−qp’である。
(CUレイヤ)
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ここで、CU情報CUに含まれるデータの具体的な内容の説明をする前に、CUに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが1または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する1または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた1または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(prediction unit;PU)とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との2つがある。
イントラ予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)と、N×Nとがある。
また、インター予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)、2N×N、N×2N、および、N×Nなどがある。
また、変換ツリーにおいては、符号化ノードが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する1または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた1または複数の変換ブロックを含む。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(transform unit;TU)とも称する。
(CU情報のデータ構造)
続いて、図3の(d)を参照しながらCU情報CUに含まれるデータの具体的な内容について説明する。図3の(d)に示すように、CU情報CUは、具体的には、スキップフラグSKIP、PT情報PTI、および、TT情報TTIを含む。
スキップフラグSKIPは、対象のPUについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグSKIPの値が1の場合、すなわち、対象CUにスキップモードが適用されている場合、そのCU情報CUにおけるPT情報PTI、および、TT情報TTIは省略される。なお、スキップフラグSKIPは、Iスライスでは省略される。
PT情報PTIは、CUに含まれるPTに関する情報である。言い換えれば、PT情報PTIは、PTに含まれる1または複数のPUそれぞれに関する情報の集合であり、動画像復号装置1により予測画像を生成する際に参照される。PT情報PTIは、図3の(d)に示すように、予測タイプ情報PType、および、予測情報PInfoを含んでいる。
予測タイプ情報PTypeは、対象PUについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
予測情報PInfoは、予測タイプ情報PTypeが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報より構成される。以下では、イントラ予測が適用されるPUをイントラPUとも呼称し、インター予測が適用されるPUをインターPUとも呼称する。
また、予測情報PInfoは、対象PUの形状、サイズ、および、位置を指定する情報が含まれる。上述のとおり予測画像の生成は、PUを単位として行われる。予測情報PInfoの詳細については後述する。
TT情報TTIは、CUに含まれるTTに関する情報である。言い換えれば、TT情報TTIは、TTに含まれる1または複数のTUそれぞれに関する情報の集合であり、動画像復号装置1により残差データを復号する際に参照される。なお、以下、TUのことをブロックと称することもある。
TT情報TTIは、図3の(d)に示すように、対象CUの各変換ブロックへの分割パターンを指定するTT分割情報SP_TU、および、TU情報TUI1〜TUINT(NTは、対象CUに含まれるブロックの総数)を含んでいる。
TT分割情報SP_TUは、具体的には、対象CUに含まれる各TUの形状、サイズ、および、対象CU内での位置を決定するための情報である。例えば、TT分割情報SP_TUは、対象となるノードの分割を行うのか否かを示す情報(split_transform_unit_flag)と、その分割の深度を示す情報(trafoDepth)とから実現することができる。
また、例えば、CUのサイズが、64×64の場合、分割により得られる各TUは、32×32画素から4×4画素までのサイズを取り得る。
TU情報TUI1〜TUINTは、TTに含まれる1または複数のTUそれぞれに関する個別の情報である。例えば、TU情報TUIは、量子化予測残差を含んでいる。
各量子化予測残差は、動画像符号化装置2が以下の処理1〜3を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理1:符号化対象画像から予測画像を減算した予測残差をDCT変換(Discrete Cosine Transform)する;
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
(予測情報PInfo)
上述のとおり、予測情報PInfoには、インター予測情報およびイントラ予測情報の2種類がある。
インター予測情報には、動画像復号装置1が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、インター予測情報には、対象CUの各インターPUへの分割パターンを指定するインターPU分割情報、および、各インターPUについてのインター予測パラメータが含まれる。
インター予測パラメータには、参照画像インデックスと、推定動きベクトルインデックスと、動きベクトル残差とが含まれる。
一方、イントラ予測情報には、動画像復号装置1が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、イントラ予測情報には、対象CUの各イントラPUへの分割パターンを指定するイントラPU分割情報、および、各イントラPUについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラPUについてのイントラ予測方法(予測モード)を復元するためのパラメータである。
以下では、一例として、符号化データ#1において符号化されている予測モードを復元するためのパラメータには、非引用文献2に記載の技術のように、予測モードに対応付けられているランク(発生確率の順位)が含まれるものとする。
また、予測モードを復元するためのパラメータには、その他に、MPM(Most Probable Mode、以下同様)に関するフラグであるmpm_flag、MPMを選択するためのインデックスであるmpm_idx、および、MPM以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、MPMとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いDCモードやPlanarモードがMPMに含まれ得る。
また、以下において、単に“予測モード”と表記する場合、輝度予測モードのことを指す。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、輝度予測モードを指定するためのパラメータであるchroma_modeが含まれる。
なお、mpm_flag、mpm_idx、rem_idx、およびchroma_modeのパラメータの詳細については、後述する。
また、mpm_flagおよびrem_indexは、それぞれ、非特許文献1における“prev_intra_luma_pred_flag”および“rem_intra_luma_pred_mode”に対応している。また、chroma_modeは、“intra_chroma_pred_mode”に対応している。
〔動画像復号装置〕
以下では、本実施形態に係る動画像復号装置1の構成について、図1〜図39を参照して説明する。
(動画像復号装置の概要)
動画像復号装置1は、PU毎に予測画像を生成し、生成された予測画像と、符号化データ#1から復号された予測残差とを加算することによって復号画像#2を生成し、生成された復号画像#2を外部に出力する。
ここで、予測画像の生成は、符号化データ#1を復号することによって得られる符号化パラメータを参照して行われる。符号化パラメータとは、予測画像を生成するために参照されるパラメータのことである。符号化パラメータには、画面間予測において参照される動きベクトルや画面内予測において参照される予測モードなどの予測パラメータに加えて、PUのサイズや形状、ブロックのサイズや形状、および、原画像と予測画像との残差データなどが含まれる。以下では、符号化パラメータに含まれる情報のうち、上記残差データを除く全ての情報の集合を、サイド情報と呼ぶ。
また、以下では、上記PUおよびTUが、CUと同じサイズである場合を例に挙げ説明を行う。しかしながら、これに限定されるものではなく、PUおよびTUがCUよりも小さい単位である場合に対しても適用することができる。
また、以下では、復号の対象となるピクチャ(フレーム)、スライス、ツリーブロック、ブロック、および、PUをそれぞれ、対象ピクチャ、対象スライス、対象ツリーブロック、対象ブロック、および、対象PUと呼ぶことにする。
なお、ツリーブロックのサイズは、例えば64×64画素であり、PUのサイズは、例えば、64×64画素、32×32画素、16×16画素、8×8画素や4×4画素などである。しかしながら、これらのサイズは、単なる例示であり、ツリーブロックおよびPUのサイズは以上に示したサイズ以外のサイズであってもよい。
(動画像復号装置の構成)
再び、図2を参照して、動画像復号装置1の概略的構成について説明すると次のとおりである。図2は、動画像復号装置1の概略的構成について示した機能ブロック図である。
図2に示すように動画像復号装置1は、可変長復号部11、逆量子化・逆変換部13、予測画像生成部14、加算器15およびフレームメモリ16を備えている。
[可変長復号部]
可変長復号部11は、動画像復号装置1から入力された符号化データ#1に含まれる各種のパラメータを復号する。以下の説明では、可変長復号部11が、CABACおよびCAVLC等のエントロピー符号化方式により符号化されているパラメータの復号を適宜行うものとする。可変長復号部11は、具体的には、以下の手順により、1フレーム分の符号化データ#1を復号する。
まず、可変長復号部11は、1フレーム分の符号化データ#1を、逆多重化することで、図3に示した階層構造に含まれる各種情報に分離する。例えば、可変長復号部11は、各種ヘッダに含まれる情報を参照して、符号化データ#1を、スライス、ツリーブロックに順次分離する。
ここで、各種ヘッダには、(1)対象ピクチャのスライスへの分割方法についての情報、および(2)対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報が含まれる。
そして、可変長復号部11は、ツリーブロックヘッダTBLKHに含まれるツリーブロック分割情報SP_TBLKを参照して、対象ツリーブロックを、CUに分割する。また、可変長復号部11は、対象CUについて得られる変換ツリーに関するTT情報TTI、および、対象CUについて得られる予測ツリーに関するPT情報PTIを復号する。
なお、TT情報TTIには、上述のとおり、変換ツリーに含まれるTUに対応するTU情報TUIが含まれる。また、PT情報PTIには、上述のとおり、対象予測ツリーに含まれるPUに対応するPU情報PUIが含まれる。
可変長復号部11は、対象CUについて得られたTT情報TTIをTU情報復号部12に供給する。また、可変長復号部11は、対象CUについて得られたPT情報PTIを予測画像生成部14に供給する。なお、可変長復号部11の構成については、後ほど、より詳しく説明する。
[逆量子化・逆変換部]
逆量子化・逆変換部13は、対象CUに含まれる各ブロックについて、TT情報TTIに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部13は、各対象TUについて、対象TUに対応するTU情報TUIに含まれる量子化予測残差を逆量子化および逆直交変換することによって、画素毎の予測残差Dを復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交変換の例としては、逆DCT変換(Inverse Discrete Cosine Transform)、および逆DST変換(Inverse Discrete Sine Transform)等が挙げられる。逆量子化・逆変換部13は、復元した予測残差Dを加算器15に供給する。
[予測画像生成部]
予測画像生成部14は、対象CUに含まれる各PUについて、PT情報PTIに基づいて予測画像を生成する。具体的には、予測画像生成部14は、各対象PUについて、対象PUに対応するPU情報PUIに含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像P’から予測画像Predを生成する。予測画像生成部14は、生成した予測画像Predを加算器15に供給する。
[加算器]
加算器15は、予測画像生成部14より供給される予測画像Predと、逆量子化・逆変換部13より供給される予測残差Dとを加算することによって、対象CUについての復号画像Pを生成する。
[フレームメモリ]
フレームメモリ16には、復号された復号画像Pが順次記録される。フレームメモリ16には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック(例えば、ラスタスキャン順で先行する全てのツリーブロック)に対応する復号画像が記録されている。
なお、動画像復号装置1において、画像内の全てのツリーブロックに対して、ツリーブロック単位の復号画像生成処理が終わった時点で、動画像復号装置1に入力された1フレーム分の符号化データ#1に対応する復号画像#2が外部に出力される。
(可変長復号部の詳細)
次に、図1を用いて可変長復号部11の構成についてさらに詳しく説明する。図1は、可変長復号部11の構成例について示す機能ブロック図である。なお、図1では、可変長復号部11の構成のうち、予測モードを復号する構成について詳細に示している。
図1に示すように、可変長復号部11は、コンテキスト記憶部151、単一変換テーブル(変換テーブル、順位情報)153、色差予測モード定義情報記憶部154、予測セット決定部111、MPM導出部(推定手法指定インデックス復号手段、選択手段)112、MPM判定部113、予測モード復元部(予測モード変換手段)114、変換テーブル更新部(変換テーブル更新手段、判定手段)115、および色差予測モード復元部(追加手段)116を備える。
コンテキスト記憶部151は、復号処理におけるコンテキストを記憶する。コンテキストとは、符号化/復号の状況(文脈)のことであり、関連シンタックスの過去の符号化/復号結果によって定まるものである。
単一変換テーブル153は、ランクと予測モードとの対応付けを定義したテーブルである。また、単一変換テーブル153は、予測処理において、対象PUのサイズまたは対象PUにおいて利用可能な予測モードの数にかかわらず共通に利用される。すなわち、単一変換テーブル153は、各予測セットに共通に含まれる予測モードとランクとの対応付けが規定されている単一のテーブルである。
色差予測モード定義情報記憶部154は、色差予測モード指定情報と、予測モード(輝度)との組み合わせにより特定される色差予測モードを示す色差予測モード定義情報を記憶している。色差予測モード定義情報は、言い換えれば、色差の予測において選択可能な色差予測モードを含む定義情報である。
予測セット決定部111は、予測処理に用いる予測モードの集合である予測セットを決定する。予測セット決定部111は、一例として、対象ブロックのサイズに応じて予測処理に用いる予測モードの数を算出し、予測モードの定義から、算出した数だけ予測モードを選択することで予測セットを決定する。言い換えれば、予測セットは、対象ブロックのサイズごと、あるいは対象PUにおいて利用可能な予測モードの数ごとに定義されている。
より具体的には以下のとおりである。まず、図6を用いて、予測モードの定義について説明する。図6は、予測モードの定義を示している。同図に示すように、35種類の予測モードが定義されており、それぞれの予測モードは、「0」〜「34」の番号によって特定される。また、図4に示すように、各予測モードには次のような名称が割り当てられている。すなわち、「0」は、“Intra Vertical(イントラ垂直予測モード)”、「1」は、“Intra Horizontal(イントラ水平予測モード)”、「2」は、“Intra DC(イントラDC予測モード)”、「3」は、“Intra Planar”、「4」〜「34」は、“Intra Angular(方向予測)”である。
また、予測モードの数は、対象ブロックのサイズに依存して規定される。図5は、対象ブロックのサイズの対数値(log2TrafoSize)と、予測モード数(intraPredModeNum)との関係を示している。
図5に示すように、log2TrafoSizeが、「2」である場合、intraPredModeNumは、「18」である。また、log2TrafoSizeが、「3」、「4」、および、「5」である場合、いずれにおいてもintraPredModeNumは、「35」である。また、log2TrafoSizeが、「6」である場合、intraPredModeNumは、「4」である。
つまり、予測セット決定部111は、図5に示すlog2TrafoSizeとintraPredModeNumとの対応関係から、intraPredModeNum を決定し、intraPredModeNumに基づいて、図7に示す予測モードの定義から予測セットに含める予測モードを選択する。予測セット決定部111は、このようにして対象ブロックのサイズに基づいて予測処理に用いる予測セットを決定する。
具体例を示すと、4×4のブロックについては、番号「0」〜「17」の18種類の予測モードからなる予測セットが決定される。また、8×8、16×16、32×32のブロックについては、番号「0」〜「34」の35種類の予測モードからなる予測セットが決定される。
MPM導出部112は、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいてMPMを導出する。
MPM導出部112は、例示的に、2つのMPMを導出する。MPM導出部112は、第1のMPM候補(以下、MPM0と表記する)および第2のMPM候補(以下、MPM1と表記する)を、それぞれ以下のとおり導出する。
まず、MPM導出部112は、MPM0を、次の式(1)に従って導出する。
MPM0 = Min(pmA, pmB) … (1)
上記式(1)において、pmAは、対象PUの左に隣接する左隣接PUの予測モードであり、pmBは、対象PUの上に隣接する上隣接PUの予測モードである。また、Min(x,y)は、xおよびyのうち、値が小さい方を返す関数である。
図7を用いて、MPM0の導出過程について説明すると以下のとおりである。図7において、Rは、対象PUを示している。そして、Nは、復号済みである左隣接PUを示し、Nは、復号済みである上隣接PUを示している。Nについては予測モードpmAが割り付けられており、Nについては、予測モードpmBが割り付けられている。MPM導出部112は、予測モードpmAおよびpmBのうち、モード番号が小さい方を、MPM0として導出する。
また、MPM導出部112は、pmAと、pmBとが一致するか否かに応じて、MPM1を次のように導出する。pmAと、pmBとが一致しない場合、MPM導出部112は、MPM1を、次の式(2)に従って導出する。
MPM1 = Max(pmA, pmB) … (2)
上記式(2)において、Max(x,y)は、xおよびyのうち、値が大きい方を返す関数である。
一方、pmAと、pmBとが一致する場合、MPM導出部112は、pmAが“Intra_DC”ならば、“Intra_Planar”をMPM1に設定し、pmAが“Intra_DC”以外であれば、“Intra_DC”をMPM1に設定する。
MPM判定部113は、符号化データに含まれるmpm_flagに基づいて、対象PUの予測モードが、推定予測モードMPMと一致しているか否かを判定する。mpm_flagは、対象PUの予測モードが推定予測モードMPMと一致している場合、“1”であり、対象PUの予測モードが推定予測モードMPMと一致していない場合、“0”である。MPM判定部113は、判定結果を、予測モード復元部114に通知する。
なお、MPM判定部113は、コンテキスト記憶部151に記憶されているコンテキストに応じて、符号化データからmpm_flagを復号する。
予測モード復元部114は、対象PUについての予測モードを復元する。予測モード復元部114は、MPM判定部113から通知される判定結果に応じて、予測モードを復元する。
対象PUの予測モードが推定予測モードMPMと一致している場合、予測モード復元部114は、符号化データに含まれるmpm_idxに基づいて予測モードを復元する。mpm_idxは、対象PUの予測モードが、MPM0と一致する場合、“0”であり、対象PUの予測モードが、MPM1と一致する場合、“1”である。
対象PUの予測モードが推定予測モードMPMと一致していない場合、予測モード復元部114は、符号化データに含まれるrem_idxに基づいてランクを復元し、単一変換テーブル153を参照して、復元したランクに対応する予測モードを復元する。予測モード復元部114が、ランクに基づいて予測モードを導出する手法については、後ほど詳しく説明する。
また、予測モード復元部114は、コンテキスト記憶部151に記憶されているコンテキストに応じて、符号化データからmpm_idxおよびrem_idxを復号する。また、予測モード復元部114は、予測モードの復号結果に応じて、コンテキスト記憶部151に記憶されているコンテキストを更新する。
変換テーブル更新部115は、予測モードの復元結果に基づいて、より小さい値のランクに対して、より発生確率が高い予測モードが対応付けられるように単一変換テーブル153を更新するものである。
色差予測モード復元部116は、対象PUについての色差予測モードを復元する。より詳細には、色差予測モード復元部116は、以下のようにして色差予測モードを復元する。
まず、色差予測モード復元部116は、符号化データ#1に含まれるイントラ色差予測モード指定情報chroma_mode(intra_chroma_pred_mode)を復号する。
そして、色差予測モード復元部116は、復元したイントラ色差予測モード指定情報chroma_modeと、輝度の予測モード(IntraPredMode[xB][yB])とに基づいて、色差予測モード定義情報記憶部154に記憶されている色差予測モード定義情報を参照し、色差予測モードを復元する。
図8に、色差予測モード復元部116が参照する色差予測モード定義情報の具体例を示す。
図8に示すように、イントラ色差予測モード指定情報として、「0」〜「5」の6種類が定義されている。また、6種類のイントラ色差予測モード指定情報に対し、予測モード(輝度)の値に応じて色差予測モードが定義されている。
色差予測モードに割り当てられている番号は、例示的には、図6に示した予測モード(輝度)と同様である。なお、「35」については、色差予測モード固有のものであり、輝度の予測に基づいて色差の予測を行うモードである。言い換えれば、色差予測モード「35」は、輝度画素値と色差画素値との相関を利用した予測モードである。色差予測モード「35」はLMモードとも称する。
また、予測モード(輝度)の値が、4より小さい場合(0≦X<4)、色差予測モード指定情報「5」には、予測モード「4」が割り当てられている。
一方、予測モード(輝度)の値が、4以上である場合(4≦Y<35)、色差予測モード指定情報「5」には、予測モード「Y」が割り当てられている。予測モード「Y」は、輝度の予測モードを色差予測モードに再利用するモードであり、DMモードとも称する。また、DMモードは、短い符号で符号化される。
(単一変換テーブルおよび変換・更新処理の例)
以下に、単一変換テーブルおよび変換・更新処理の例1−1〜例1−4について説明する。
(例1−1)
図9〜図16を用いて、単一変換テーブル153および変換・更新処理の一例について説明する。例1−1では、予測セットの積集合に含まれる予測モードについて、単一変換テーブルを設け、復号された予測モードが当該単一変換テーブルに含まれる場合に、当該変換テーブルを更新する。
[単一変換テーブル]
まず、図9を用いて、単一変換テーブル153の一例について説明する。上述のとおり、4×4のブロックに対応する予測セットには、番号「0」〜「17」の18種類の予測モードが含まれる。また、8×8、16×16、32×32のブロックに対応する予測セットには、番号「0」〜「34」の35種類の予測モードが含まれる。
ここで、番号「0」〜「17」の予測モードは、4×4のブロックに対応する予測セットと、8×8等のブロックに対応する予測セットとの両方に共通に含まれる。
従って、単一変換テーブル153では、両方の予測セットに共通に含まれる番号「0」〜「17」の予測モードが、それぞれランクと対応付けられている。
なお、単一変換テーブル153において、pは、ランク“k”に対応付けられている予測モード番号を示しており、p=0〜17である。pの値は、予測モードの復号結果に応じて、より値が小さいランクに対して、より発生確率が高い予測モードが対応付けられるように更新される。更新処理の詳細については後述する。
また、単一変換テーブル153は、復号処理を開始する際に、k=pとなるように初期化されてもよい。言い換えれば、初期化では、ランクの値が、予測モード番号と一致させる処理を実行してもよい。
[予測モードの導出]
次に、図10および図11を用いて、予測モード復元部114における変換処理、すなわち、予測モード復元部114が、ランクに基づいて予測モードを導出する手法について説明する。
例えば、対象PUにおいて利用可能な予測モードの数(以下、予測モード数と表記する)N=18の場合、予測モード復元部114は、図10に示す対応付けに従ってランクから予測モードを導出する。また、N=35の場合、予測モード復元部114は、図11に示す対応付けに従ってランクから予測モードを導出する。
N=18の場合およびN=35の場合の導出処理について、順にその詳細を説明すると以下のとおりである。
まず、N=18の場合、図10に示すように、ランク“0”〜“17”に対して、p〜p17が対応付けられる。この対応付けは、図9に示した単一変換テーブル153における対応付けと同様である。
N=18の場合、予測モード復元部114が復元されたランクrankTから導出する予測モードpmTは、次の式(3)のように表現できる。
pmT = rank-1(rankT) … (3)
上記式(3)において、rankは、予測モードから、当該予測モードに対応付けられているランクを導出する関数である。また、rank-1は、rankの逆関数であり、ランクから、当該ランクに対応付けられている予測モードを導出する関数である。
続いて、N=35の場合、図11に示すように、ランク“0”〜“17”に対して、p〜p17が対応付けられるとともに、ランク“18”〜“34”に対して、それぞれ「18」〜「34」が対応付けられる。ランク“0”〜“17”の対応付けは、図9に示した単一変換テーブル153における対応付けと同様である。
つまり、N=35の場合、ランク“0”〜“17”については、対応付けられているp〜p17の値は単一変換テーブル153の更新により変動する一方で、ランク“18”〜“34”については、「18」〜「34」が固定的に対応付けられている。
N=35の場合、予測モード復元部114がrankTから導出する予測モードpmTは、次のように表すことが出来る。まず、rankTが“0”〜“17”である場合、予測モード復元部114は、上述の式(3)に従ってpmTを導出する。
また、rankTが“18”〜“34”である場合、予測モード復元部114は、次の式(4)に従ってpmTを導出する。
pmT = rankT … (4)
[単一変換テーブルの更新]
次に、図12および図13を用いて、変換テーブル更新部115が、単一変換テーブル153を更新する手法について説明する。
変換テーブル更新部115は、例示的には、復元した予測モードpmTが「0」〜「17」である場合、単一変換テーブル153において、ランクk=rank(pmT)に対応付けられている予測モードpの値と、ランク(k−1)に対応付けられている予測モードpk−1の値とをスワップする。以下、このようなスワップ処理を、ランクkの要素と、ランク(k−1)の要素とをスワップするとも称する。
例えば、図12に示すように、単一変換テーブル153において、ランク(k−1)=0に対して予測モードp=2が対応付けられており、ランクk=1に対して予測モードp=1が対応付けられている場合について説明すると次のとおりである。
ここで、復元された予測モードpmTが「1」であったとする。このとき、ランク“1”に対応付けられている予測モード「1」が復号されているので、変換テーブル更新部115は、ランク(k−1)=0に対応付けられている予測モードp=2と、ランクk=1に対応付けられている予測モードp=1とをスワップする。
これにより、図13に示すように、ランク(k−1)=0に対応付けられている予測モードは、p=1に更新され、ランクk=1に対応付けられている予測モードは、p=2に更新される。
なお、復元された予測モードpmTが「18」〜「34」であったときは、変換テーブル更新部115は、単一変換テーブル153を更新しなくてもよい。
[処理の流れ]
次に、図14〜図16を用いて、動画像復号装置1における予測モード復元処理の流れについて説明する。
[概略的な流れ]
まず、図14に示すフローチャートを用いて、動画像復号装置1における予測モード復元処理の概略的な流れの一例について説明する。
動画像復号装置1において予測モード復元処理が開始されると、MPM導出部112が、MPMを導出する(S11)。上述のとおり、MPM導出部112が導出するMPMは、例示的には、MPM0およびMPM1の2つである。
次に、MPM判定部113が、mpm_flagに基づいて、対象PUの予測モードが推定予測モードMPMと一致しているか否かを判定する(S12)。
対象PUの予測モードが推定予測モードMPMと一致している場合(S12においてYES)、予測モード復元部114が、mpm_idxに基づいて予測モードを復元する(S15)。予測モード復元部114は、mpm_idxが“0”であれば、MPM0を、対象PUの予測モードpmTとする一方で、mpm_idxが“1”であれば、MPM1を、対象PUの予測モードpmTとする。
一方、対象PUの予測モードが推定予測モードMPMと一致していない場合(S12においてNO)、予測モード復元部114は、rem_idxに基づいてランクを復元する。具体的には、予測モード復元部114は、まず、ランクrankTにrem_idxを設定する。続いて、予測モード復元部114は、MPMに応じてrankTを調整する(S13)。具体的には、rankTがMPM0以上であれば、予測モード復元部114は、rankTを1加算する。また、rankTがMPM1以上であれば、予測モード復元部114は、rankTを1加算する。
次に、予測モード復元部114は、単一変換テーブル153を参照し、復元したランクに基づいて予測モードを導出する(S14)。
S14またはS15の処理が終了すると、変換テーブル更新部115が、予測モードの復元結果に応じて、単一変換テーブル153を更新する(S16)。
[予測モード導出処理の詳細]
次に、図15を用いて、予測モード導出処理の詳細な流れについて説明する。図15は、図14に示す復号処理における予測モード導出処理(S14)の詳細について例示したフローチャートである。
予測モード導出処理では、まず予測モード復元部114が、復元されたランクrankTの値と、各予測セットの間で共通に含まれる予測モード数M(以下、共通予測モード数と表記する)との間で大小を比較する(S1411)。これまで説明してきた例においては、共通予測モード数M=18である。
復元されたランクrankTの値が、共通予測モード数Mよりも小さい場合(S1411においてYES)、予測モード復元部114は、単一変換テーブル153を参照して、rankTに対応する予測モードをpmTに設定する(S1412)。
一方、復元されたランクrankTの値が、共通予測モード数M以上である場合(S1411においてYES)、rankTの値をpmTに設定する(S1413)。
[単一変換テーブル更新処理の詳細]
次に、図16を用いて、単一変換テーブル更新処理の詳細な流れについて説明する。図16は、図14に示す復号処理における単一変換テーブル更新処理(S16)の詳細について例示したフローチャートである。
単一変換テーブル更新処理では、まず変換テーブル更新部115が、復元された予測モードpmTの値と、共通予測モード数Mとの間で大小を比較する(S1611)。
復元された予測モードpmTの値が、共通予測モード数Mよりも小さい場合(S1611においてYES)、変換テーブル更新部115は、単一変換テーブル153を参照して、予測モードpmTの値に対応付けられているランクを取得して、取得したランクをスワップ対象ランクrankSに設定する(S1612)。さらに、変換テーブル更新部115は、rankSの要素と、(rankS−1)の要素とをスワップし(S1613)、単一変換テーブル更新処理が終了する。
一方、復元された予測モードpmTの値が、共通予測モード数M以上である場合(S1611においてNO)には、単一変換テーブル153が更新されることなく、単一変換テーブル更新処理が終了する。
(例1−2)
次に、図17〜図21を用いて、単一変換テーブル153および変換・更新処理の他の例について説明する。例1−2では、予測セットの和集合に含まれる予測モードについて、単一変換テーブル153Aを設けて、共通予測モード数Mより小さい値のランクの要素と、共通予測モード数M以上の値のランクの要素とを独立にスワップする。
[単一変換テーブル]
まず、図17を用いて、単一変換テーブル153の他の例である単一変換テーブル153Aについて説明する。図17に示す単一変換テーブル153Aでは、4×4のブロックに対応する予測セットと、8×8等のブロックに対応する予測セットとの和集合に含まれる番号「0」〜「34」の予測モードが、それぞれランクと対応付けられている。
すなわち、単一変換テーブル153Aにおいて、ランク“0”〜“34”に対して、p〜p34が対応付けられている。ここで、pおよび共通予測モード数M(=18)は、次の関係にある。すなわち、k<Mの場合、p<Mであり、k≧Mの場合、p≧Mである。
なお、単一変換テーブル153Aの初期化については、図9に示した例と同様である。
[予測モードの導出]
次に、図18および図19を用いて、予測モード復元部114における変換処理について説明する。
例えば、予測モード数N=18の場合、予測モード復元部114は、図18に示す対応付けT18Aに従ってランクから予測モードを導出する。また、N=35の場合、予測モード復元部114は、図19に示す対応付けT35Aに従ってランクから予測モードを導出する。
N=18の場合およびN=35の場合の導出処理について、順にその詳細を説明すると以下のとおりである。
まず、N=18の場合、単一変換テーブル153Aのうち、ランク“0”〜“17”に関する対応付けが用いられる。すなわち、図18に示すように、ランク“0”〜“17”に対して、p〜p17が対応付けられる。この対応付けT18Aは、例1−1で図10に示した対応付けT18と同様である。
従って、N=18の場合、予測モード復元部114は、上記式(3)に従ってrankTから予測モードpmTを導出する。
続いて、N=35の場合、単一変換テーブル153Aに定義されている対応付けのすべてが用いられる。すなわち、図19に示す対応付けT35Aでは、ランク“0”〜“34”に対して、p〜p34が対応付けられる。
なお、単一変換テーブル153Aでは、pおよび共通予測モード数Mの間の関係が、k<Mの場合、p<Mとなり、k≧Mの場合、p≧Mとなるよう維持されている。すなわち、ランク“0”〜“17”に対応付けられているpは、p=「0」〜「17」の値を取り得る。また、ランク“18”〜“34”に対応付けられているpは、p=「18」〜「34」の値を取り得る。
また、N=35の場合においても、予測モード復元部114は、上記式(3)に従ってrankTから予測モードpmTを導出する。
[単一変換テーブルの更新]
次に、変換テーブル更新部115が、単一変換テーブル153Aを更新する手法について説明する。
変換テーブル更新部115は、例示的には、復元した予測モードpmTについて、ランクk=rank(pmT)の要素と、ランク(k−1)の要素とをスワップする。
より具体的には、変換テーブル更新部115は、k<Mの場合、p<Mとなり、k≧Mの場合、p≧Mとなるように単一変換テーブル153Aを更新する。
すなわち、k<Mの場合と、k≧Mの場合とで独立にスワップ処理を行う。このため、変換テーブル更新部115は、ランク18では、スワップ処理を行わない。これにより、p〜p17は、モード番号「0」〜「17」の値をとり、p18〜p34は、モード番号「18」〜「34」の値をとる。
以上のように変換テーブル更新部115を構成することで、p〜p17に対応付けられる予測モードと、p18〜p34に対応付けられる予測モードとが、混じり合わないようにすることができる。
[処理の流れ]
次に、図20および図21を用いて、動画像復号装置1における予測モード復元処理の流れについて説明する。復号処理の概略的な流れは、図14に示したとおりであるので、ここではその説明を省略する。以下では、復号処理における予測モード導出処理(S14Aとする)および単一変換テーブル更新処理(S16Aとする)の詳細について説明する。
[予測モード導出処理の詳細]
図20のフローチャートに示すように、予測モード導出処理S14Aでは、予測モード復元部114が、単一変換テーブル153Aを参照して、rankTに対応する予測モードをpmTに設定する(S1421)。
[単一変換テーブル更新処理の詳細]
次に、図21を用いて、単一変換テーブル更新処理S16Aの詳細な流れについて説明する。
単一変換テーブル更新処理では、まず変換テーブル更新部115が、単一変換テーブル153Aを参照して、予測モードpmTに対応するランクをスワップ対象ランクrankSに設定する(S1621)。
次に、スワップ対象ランクrankSの値と、共通予測モード数Mとが一致するか否かを判定する(S1622)。
スワップ対象ランクrankSの値と、共通予測モード数Mとが一致しない場合(S1622においてNO)、変換テーブル更新部115は、rankSの要素と、(rankS−1)の要素とをスワップし(S1613)、単一変換テーブル更新処理が終了する。
一方、スワップ対象ランクrankSの値と、共通予測モード数Mとが一致する場合(S1622においてYES)には、単一変換テーブル153Aが更新されることなく、単一変換テーブル更新処理が終了する。
[備考]
以上のように、動画像復号装置1は、変換テーブルは複数の予測セットの和集合を要素として含み、復号された予測モードが複数の予測セットの共通予測モードの部分集合に含まれる場合、当該部分集合に含まれる要素間の交換により変換テーブルを更新し、復号された予測モードが複数の予測セットの共通予測モードの部分集合に含まれない場合、当該部分集合に含まれない要素間の交換により変換テーブルを更新する構成であってもよい。
これにより共通予測モードの部分集合に含まれない要素と、部分集合に含まれない要素とが混じり合うことを防ぐことが出来る。
(例1−3)
図22〜図27を用いて、単一変換テーブル153および変換・更新処理の別の例について説明する。例1−3では、共通の予測モードを含む単一変換テーブル153Bを設けて、復号した予測モードに基づいて当該単一変換テーブル153Bを更新する。この更新では、復号した予測モードが単一変換テーブル153Bに含まれない場合、復号した予測モードを、当該単一変換テーブル153Bに含まれる類似の予測モードであるものとして単一変換テーブル153Bを更新する。
[単一変換テーブル]
まず、図22を用いて、単一変換テーブル153の別の例である単一変換テーブル153Bについて説明する。図22に示す単一変換テーブル153Bでは、図9と同様、4×4のブロックに対応する予測セットと、8×8等のブロックに対応する予測セットとの両方に共通に含まれる番号「0」〜「17」の予測モードが、それぞれランクと対応付けられている。
[類似予測モードテーブル]
次に、図23を用いて、類似予測モードテーブル155の例について説明する。類似予測モードテーブル155は、単一変換テーブル153Bに含まれない予測モードと、単一変換テーブル153Bに含まれる類似の予測モードとを相互に変換するためのテーブルである。
図23に示すように、類似予測モードテーブル155は、単一変換テーブル153Bに含まれない予測モードpmTと、単一変換テーブル153Bに含まれる予測モードpmT’とが対応付けられている。類似予測モードテーブル155では、予測モード「18」〜「34」のそれぞれに、予測方向が近い「0」〜「17」の予測モードpmT’が対応付けられている。
ある予測モードと他の予測モードとの予測方向が近いとは、具体的には、図6に示した予測モードの定義において、ある予測モードに対応する予測方向と、他の予測モードに対応する予測方向とのなす角が小さいという意味である。例えば、同図において「0」と「22」とは、互いに隣接する予測方向に対応する予測モードであるので、予測方向が近い。
このため、例えば、図23に示す類似予測モードテーブル155では、予測モードpmT’「0」に対して、予測モードpmT「22」が対応付けられている。
[予測モードの導出]
次に、図24および図25を用いて、予測モード復元部114における変換処理について説明する。
例えば、予測モード数N=18の場合、予測モード復元部114は、図24に示す対応付けT18Bに従ってランクから予測モードを導出する。また、N=35の場合、予測モード復元部114は、図25に示す対応付けT35Bに従ってランクから予測モードを導出する。
N=18の場合およびN=35の場合の導出処理について、順にその詳細を説明すると以下のとおりである。
まず、N=18の場合、図24に示すように、ランク“0”〜“17”に対して、p〜p17が対応付けられる。この対応付けは、図22に示した単一変換テーブル153Bにおける対応付けと同様である。
N=18の場合、予測モード復元部114は、上記式(3)に従ってrankTから予測モードpmTを導出する。
続いて、N=35の場合、図25に示すように、ランク“0”〜“34”に対して、p〜p17が対応付けられる。ただし、同図において、ランク“2k”には、pが対応付けられ、ランク“2k+1”には、S(p)が対応付けられる。また、S(p)は、予測モードpを、類似する予測モードp’(p’≧M)に変換する関数である。
この導出処理は次のように言い換えられる。すなわち、予測モード復元部114は、まず次の手順(i)〜(iii)を実行することで、rankTから予測モードpmTを導出する。
(i)まず、予測モード復元部114は、以下の式(5)から中間の予測モード(以下、中間予測モードと表記する)pmT’を導出する。
pmT’ = rank-1(rankT >> 1) … (5)
上記式(5)において、“>>”は、右シフト演算を示す演算子である。
(ii)予測モード復元部114は、復号したランクrankTが偶数である場合、予測モードpmT=pmT’とする。
(iii) 予測モード復元部114は、復号したランクrankTが偶数でない場合、類似予測モードテーブル155からpmTを導出する。具体的には、予測モード復元部114は、類似予測モードテーブル155を参照して、pmT’に対応付けられているpmTを取得する。
[単一変換テーブルの更新]
次に、変換テーブル更新部115が、単一変換テーブル153を更新する手法について説明する。
まず、変換テーブル更新部115は、復号した予測モードに応じて、中間予測モードpmT’を決定する。
復号した予測モードpmtが「0」〜「17」である場合、変換テーブル更新部115は、中間予測モードpmT’=pmTとする。
一方、復号した予測モードpmtが「18」〜「34」である場合、変換テーブル更新部115は、pmTを、「0」〜「17」の範囲の類似の予測モード(中間予測モード)pmT’に変換する。例えば、変換テーブル更新部115は、類似予測モードテーブル155を参照し、pmTに対応付けられているpmT’を取得する。
そして、変換テーブル更新部115は、このようにして得られたpmT’に基づいて、単一変換テーブル153Bのスワップ処理を行う。具体的には、変換テーブル更新部115は、単一変換テーブル153Bにおいて、rank(pmT’)の要素と、rank(pmT’)−1の要素とをスワップする。
[処理の流れ]
次に、図26および図27を用いて、動画像復号装置1における予測モード復元処理の流れについて説明する。復号処理の概略的な流れは、図14に示したとおりであるので、ここではその説明を省略する。以下では、復号処理における予測モード導出処理(S14Bとする)および単一変換テーブル更新処理(S16Bとする)の詳細について説明する。
[予測モード導出処理の詳細]
まず、図26を用いて、復号処理における予測モード導出処理S14Bの詳細について説明する。
予測モード導出処理S14Bでは、予測モード復元部114が、予測モード数Nと共通予測モード数Mとが一致するか否かを判定する(S1431)。なお、上述のとおり、予測モード数N=18または35であり、共通予測モード数Mは、18である。
予測モード数Nと共通予測モード数Mとが一致する場合(S1431においてYES)、予測モード復元部114は、中間ランクrankT’=rankTとする(S1433)。
一方、予測モード数Nと共通予測モード数Mとが一致しない場合(S1431においてNO)、予測モード復元部114は、rankTを、N=Mの場合のrankT’に変換する(S1432)。この変換処理は、具体的には、上記式(5)における(rank>>1)に相当する。
次に、予測モード復元部114は、単一変換テーブル153Bを参照して、中間ランクrankT’に対応付けられている予測モードを中間予測モードpmT’に設定する(S1434)。
さらに、予測モード復元部114は、予測モード数Nと共通予測モード数Mとが一致するか否かを判定する(S1435)。
ここで、予測モード数Nと共通予測モード数Mとが一致する場合(S1435においてYES)、予測モード復元部114は、予測モードpmT=pmT’とする(S1438)。
一方、予測モード数Nと共通予測モード数Mとが一致しない場合(S1435においてNO)、予測モード復元部114は、rankTからpmTの類似予測モードインデックスを導出する(S1436)。この導出処理において、予測モード復元部114は、具体的には、“rankT&1”の演算を実行する。“&”は、ビット和演算を示す演算子である。類似予測モードインデックスとは、上記演算により得られるものであり、類似予測モードインデックスが0か1かを判定することで、rankTが偶数か奇数かを判定する。
次に、予測モード復元部114は、類似予測モードインデックスを判定することでrankTが奇数であると判定できる場合、pmT’の類似予測モードを導出する(S1437)。予測モード復元部114は、具体的には、類似予測モードテーブル155を参照して、pmT’に対応する予測モードpmTを導出する。
なお、rankTが偶数である場合、予測モード復元部114は、予測モードpmT=pmT’とする。
以上のようにして、予測モードpmTが導出されると、処理は終了する。
[単一変換テーブル更新処理の詳細]
次に、図27を用いて、単一変換テーブル更新処理S16Bの詳細な流れについて説明する。
単一変換テーブル更新処理S16Bでは、まず変換テーブル更新部115が、予測モード数Nと共通予測モード数Mとが一致するか否かを判定する(S1631)。
ここで、予測モード数Nと共通予測モード数Mとが一致する場合(S1631においてYES)、変換テーブル更新部115は、中間予測モードpmT’=pmTとする(S1632)。
一方、予測モード数Nと共通予測モード数Mとが一致しない場合(S1631においてNO)、変換テーブル更新部115は、類似予測モードテーブル155を参照し、pmTの類似する中間予測モードpmT’を導出する(S1633)。
次に、変換テーブル更新部115は、単一変換テーブル153Bを参照して、中間予測モードpmT’に対応するランクを対象ランクrankSに設定する(S1634)。
次に、変換テーブル更新部115は、rankSの要素と、(rankS−1)の要素とをスワップする(S1635)。
以上の構成を別の表現で示すと、「変換テーブルは複数の予測セットの部分集合を要素として含」む。また、「複数の予測セットの部分集合は、予測セットの積集合」であってもよい。
また、「変換前の予測モードが上記複数の異なる予測モードの何れであるかを示す情報が符号化データに含まれる」構成であってもよい。また、変換テーブル更新部115は、「上記情報に従って、上記予測モードの変換により複数の異なる予測モードを同一の予測モードに変換する」構成であってもよい。上記情報は、例えば、類似予測モードインデックスである。
(例1−4)
図28〜図34を用いて、単一変換テーブル153および変換・更新処理のさらに別の例について説明する。例1−4は、すべての予測モードを含む単一変換テーブル153Cを設けて、復号した予測モードに基づいて当該単一変換テーブル153Cを更新する。
[単一変換テーブル]
まず、図28および図29を用いて、単一変換テーブル153のさらに別の例である単一変換テーブル153Cについて説明する。図28に示す単一変換テーブル153Cでは、図17に示した単一変換テーブル153Aと同様、4×4のブロックに対応する予測セットと、8×8等のブロックに対応する予測セットとの和集合に含まれる番号「0」〜「34」の予測モードが、それぞれランクと対応付けられている。
すなわち、単一変換テーブル153Cでは、ランク“0”〜“34”に対して、p〜p34が対応付けられている。単一変換テーブル153Cのより具体的な例を図29に示している。
なお、図17に示した単一変換テーブル153Aでは、ランクk=Mを境界として、単一変換テーブルが、Mの前後で2つのグループに区切られていたのに対して、単一変換テーブル153Cでは、そのような境界による区切りはない。
すなわち、単一変換テーブル153Cにおいて、ランク“0”〜“34”に対応付けられているpは、p=「0」〜「34」の値を取り得る。
例えば、単一変換テーブル153Aでは、ランク“0”〜“17”は、「0」〜「17」に対応付けられていた。これに対して、単一変換テーブル153Cでは、例えば、ランク“16”に対して「32」が対応付けられている。
[予測モードの導出]
次に、図30〜図32を用いて、予測モード復元部114における変換処理について説明する。
例えば、予測モード数N=18の場合、予測モード復元部114は、図30に示す対応付けT18Cに従ってランクから予測モードを導出する。また、N=35の場合、予測モード復元部114は、図32に示す対応付けT35Cに従ってランクから予測モードを導出する。
N=18の場合およびN=35の場合の導出処理について、順にその詳細を説明すると以下のとおりである。
まず、N=18の場合、図30に示す対応付けT18Cのように、ランク“0”〜“34”に対して、pR(0)〜pR(17)が対応付けられる。
ここで、R(k)は、N=18におけるランクkを、N=35におけるランクに変換した値である。復号したrankTは、N=18におけるランクを表すのに対して、単一変換テーブル153Cでは、N=35におけるランクに基づいて予測モードが定義されている。このため、予測モード復元部114は、単一変換テーブル153Cを参照できるように、N=18におけるランクkを、N=35におけるランクに変換する。
また、N=18の場合、予測モード復元部114は、以下の擬似コードにより、N=18におけるランクkを、N=35におけるランクに変換して、変換したランクに基づいて、pmTを導出する。
rankT’= rankT; … <1>
for(r = 0; r <= rankT; r++){if (rank-1(r)>=18){rankT’++}} … <2>
pmT = rank-1(rankT’); … <3>
上記擬似コードでは、まず、<1>では、中間ランクrankT’に復号したrankTの値を設定する。
そして、<2>では、ランク「0」から、ランクrankTの間で、ランクkに対応付けられている予測モードが「18」以上となるランクkの数だけ、中間ランクrankT’の値を1増加させている。
最後に、<3>では、図28に示す単一変換テーブル153Cを参照して、<2>の演算によって得られたrankT’に対応付けられている予測モードを、pmTに設定している。
この導出処理を、表形式で表したものが図31である。図31について具体的に説明すると次のとおりである。なお、同図では、ランク“6”以降は、省略している。
擬似コードの<1>:例えば、復号したrankTが、“3”であった場合、予測モード復元部114は、rankT’=4とする。
擬似コードの<2>:予測モード復元部114は、単一変換テーブル153Cを参照して、ランクk=0に対応付けられている予測モードが、18以上であるか否かを判定する。ランクk=0には、予測モード「2」が対応しており、予測モードが、18以上でないので、予測モード復元部114は、次のランクk=1についての判定処理を行う。
ランクk=1には、予測モード「19」が対応しており、予測モードが、18以上であるので、予測モード復元部114は、rankT’を1増加させる。rankT’が1増加されることで、rankT’=4となる。
なお、図31において、ランク(18)において“−”となっている箇所は、ランク(35)において、予測モードが、18以上であるため、ランク(18)と予測モードと対応付けが存在しないことを示す。
以下、k=3までにおいて、予測モードが、18以上であるのは、k=2のときであるので、最終的に、ランク(18)におけるk=3に対応付けられるのはランク(15)におけるrankT’=5となる。
擬似コードの<3>:rankT’=5であるので、予測モード復元部114は、ランク(35)の“5”に対応する「7」を取得する。
続いて、N=35の場合について説明する。N=35の場合、図28に示した単一変換テーブル153Cに定義されている対応付けのすべてが用いられる。すなわち、N=35の場合、図31に示す対応付けT35Cのように、ランク“0”〜“34”に対して、p〜p34が対応付けられる。また、予測モード復元部114は、上記(3)式に従って、rankから予測モードpmTを導出する。
[単一変換テーブルの更新]
変換テーブル更新部115は、例示的には、復元した予測モードpmTについて、ランクk=rank(pmT)の要素と、ランク(k−1)の要素とをスワップする。
[処理の流れ]
次に、図33および図34を用いて、動画像復号装置1における予測モード復元処理の例について説明する。復号処理の概略的な流れは、図14に示したとおりであるので、ここではその説明を省略する。以下では、復号処理における予測モード導出処理(S14Cとする)および単一変換テーブルの更新処理(S16Cとする)の詳細について説明する。
[予測モード導出処理の詳細]
図33を用いて、予測モード導出処理S14Cの詳細な流れについて説明する。図33は、図14に示す復号処理における予測モード導出処理の詳細について示したフローチャートである。
予測モード導出処理S14Cでは、まず予測モード復元部114が、予測モード数Nと共通予測モード数Mとが一致するか否かを判定する(S1441)。
予測モード数Nと共通予測モード数Mとが一致する場合(S1441においてYES)、予測モード復元部114は、N=18におけるランクrankTを、N=35におけるランクに変換した値であるR(rankT)を計算し、中間ランクrankT’=R(rankT)とする(S1442)。
一方、予測モード数Nと共通予測モード数Mとが一致しない場合(S1441においてNO)、予測モード復元部114は、復号したランクrankTを、中間ランクrankT’に設定する(S1443)。
中間ランクrankT’を設定した後、予測モード復元部114は、図28に示した単一変換テーブル153Cを参照し、中間ランクrankT’に対応付けられている予測モードを取得して、取得した予測モードをpmTに設定する(S1444)。
[単一変換テーブル更新処理の詳細]
次に、図34を用いて、単一変換テーブル更新処理S16Cの詳細な流れについて説明する。
単一変換テーブル更新処理S16Cでは、まず変換テーブル更新部115が、単一変換テーブル153Cを参照して復元したpmTに対応付けられているランクを、スワップ処理の対象となる対象ランクrankSに設定する(S1641)。
次に、変換テーブル更新部115は、rankSの要素と、(rankS−1)の要素とをスワップする(S1642)。
[例1−4の変形例]
以下において、例1−4の変形例について説明する。予測モードの導出は、以下に説明するように、単一変換テーブル153Cにおいて、復号したランクに対応する予測モードをサーチする手法を用いてもよい。
すなわち、N=35の場合、予測モード復元部114は、上記(3)式に従って、rankから予測モードpmTを導出する。
N=18の場合、予測モード復元部114は、pmTを以下の疑似コードにより導出する。
rankT' = 0; …<1>
for (r=0; r < 35; r++){if (rank-1(r) < N) rankT'++; if (rankT' == rankT) break;} …<2>
pmT = rank-1(r); … <3>
上記疑似コードの<1>〜<3>について具体的に説明すると次のとおりである。
<1>:中間ランクrankT’を0で初期化している。
<2>:単一変換テーブル153Cにおいて、復号したランクに対応する予測モードをランク0から順にサーチしている。
より具体的には、単一変換テーブル153Cにおいて、ランク0から順番に、ランクに対応付けられている予測モード番号がNより小さいか否かを判定する。
そして、予測モード番号がNより小さい場合、中間ランクrankT’を1増加させる。
このようにして中間ランクrankT’を、インクリメントしていき、中間ランクrankT’が、復号したランクに一致したとき、当該中間ランクrankT’を、復号したN=18におけるランクに対応するN=35の場合におけるランクとする。
<3>:単一変換テーブル153Cを参照して、<2>の演算によって得られたrankT’に対応付けられている予測モードを、pmTに設定している。
また、予測モードの導出は、単一変換テーブル153Cを用いずに行ってもよい。単一変換テーブル153Cを用いずに予測モードを導出する場合、予測モード=ランクとする。なお、この場合においても、単一変換テーブル153Cの更新は行ってもよい。
(変形例)
[変換テーブル更新部]
以上の説明では、変換テーブル更新部115は、変換テーブル更新処理において、復号した予測モードpmTのランクを1小さい値に設定することを説明した。すなわち、変換テーブル更新部115は、単一変換テーブル153(以下、単一変換テーブル153A〜Cについても同様である)においてrank(pmT)の要素と、rank(pmT)−1の要素とをスワップしていた。
しかしながら、これに限られず、以下の<A>、<B>、<C>、および<D>に示すようにしてスワップを行ってもよい。
A> カウンタまたは差分カウンタを用いてスワップする。
変換テーブル更新部115は、図35に示すカウンタ、または、図36に示す差分カウンタを用いてスワップを行ってもよい。
まず、図35を用いて、回数カウンタ(カウンタ)355およびsumカウンタ(カウンタ)356付きの変換テーブル153の構成について説明する。図35は、回数カウンタ355およびsumカウンタ356付き変換テーブル153について示す図である。
変換テーブル153は、ランクrankと、テーブルインデックスsとが対応付けられたテーブルである。図35では、rank=0〜rank=4に対して、テーブルインデックスs〜sが対応付けられている。なお、rank=5以降は省略している。
回数カウンタ355は、ランクrank=0、1、および2の発生回数をカウントするためのカウンタテーブルである。図35に示すように、回数カウンタ355では、ランクrank=0、1、および2について、それぞれカウンタc、c、およびcが設けられている。また、回数カウンタ355は、ランクrank=0、1、および2のように小さいランクにのみ設定されることが好ましい。
sumカウンタ356は、回数カウンタ355に含まれる各カウンタの値の合計を保持するカウンタである。図35では、sumカウンタ356が保持する値をsumと表記している。
変換テーブル更新部115は、復号されたランクrankの回数をカウントし、当該ランクrankに対応するカウンタの値に反映する。また、カウントアップにより、カウンタ番号nのカウンタcのカウンタの値が、カウンタ番号n−1のカウンタcn−1の値以上となったときに、変換テーブル更新部115は、テーブルインデックスsおよびsn−1をスワップするとともに、カウンタcの値およびcn−1の値をスワップする。
なお、ランクrank≧2の場合、テーブルインデックスsrank−1およびsrankをスワップしてもよい。
なお、各カウンタの値の合計値sumが所定の値(例えば、15)となった場合、変換テーブル更新部115は、カウンタをリセットする。この処理を正規化(Normalization)という。正規化は、カウンタ値の過度な増加を抑制する目的で行う。
このように回数カウンタ355およびsumカウンタ356付きの変換テーブル153を用いた場合の可変テーブル適応処理では、変換テーブル153に格納されるテーブルインデックスを所定の条件でスワップする。また、所定のカウントごとに、正規化を実行してカウンタ値の過度な増加を抑制する。
次に、図36を用いて、差分値カウンタ(カウンタ)354付き変換テーブル153の構成について説明する。図36は、差分値カウンタ354付き変換テーブル153について示す図である。
差分値カウンタ354は、あるランクrankの発生回数と、当該あるコード番号よりも1小さいランクrank−1の発生回数との差分近似値を保持するカウンタである。
図36に示すように、差分値カウンタ354は、ランクrank=0の発生回数と、cn=1の発生回数との差分近似値を保持する差分値カウンタc’、および、ランクrank=1の発生回数と、rank=2の発生回数との差分近似値を保持する差分値カウンタc’を備える。なお、以下では、差分値カウンタc’のことを、ランクrank=1に対応する差分値カウンタとも称する。差分値カウンタc’のことを、ランクrank=2に対応する差分値カウンタとも称する。
なお、差分値カウンタの値は、規定のタイミング(例えば、ピクチャの復号開始時やスライスの復号開始時)でリセットされる。差分値カウンタのリセットは、全ての差分値カウンタの値を0に設定する。差分値カウンタのリセットで、差分値カウンタの値を0以外の値に設定しても構わない。
変換テーブル更新部115は、ランクrank=1が復号されたときであって、差分値カウンタc’の値が0でないとき、差分値カウンタc’の値を1減少させるとともに、差分値カウンタc’の値を1増加させる。
また、変換テーブル更新部115は、ランクrank=1が復号されたときであって、差分値カウンタc’の値が0であるとき、差分値カウンタc’の値を1増加させるとともに、テーブルインデックスsおよびsをスワップする。
また、変換テーブル更新部115は、ランクrank=2が復号されたときであって、かつ差分値カウンタc’が0でないとき、差分値カウンタc’の値を1減少させる。
また、変換テーブル更新部115は、ランクrank=2が復号されたときであって、かつ差分値カウンタc’が0であるとき、テーブルインデックスsおよびsをスワップする。
なお、ランクrank≧3の場合、変換テーブル更新部115は、テーブルインデックスsrank−1およびsrankをスワップしてもよい。
<B> 小さいランクでのスワップを抑制する
変換テーブル更新部115は、小さいランクでのスワップを抑制する構成であってもよい。例えば、変換テーブル更新部115において、上記<A>に示した差分値カウンタを採用し、当該差分値カウンタの最大値を、小さいランクでは大きくするよう構成する。
小さいランクは発生頻度が高いため過度なスワップが発生しやすい。上記構成によれば、小さいランクにおいて過度なスワップが発生することを抑制することができる。
また、別の例として、上記<A>に示した回数カウンタを採用し、小さいランクでは、対応する回数カウンタ値と、スワップ対象となるランクに対応する回数カウンタ値に較べて一定の閾値以上の値となった場合にのみスワップを行ってもよい。
言い換えれば、変換テーブル更新部115は、「予測モードに対応するランクが小さい場合に更新頻度を減らす」構成であってもよい。
<C> 大きいランクでのスワップを促進する
変換テーブル更新部115は、大きいランクでのスワップを促進するような構成であってもよい。例えば、ランクが大きい場合、スワップの幅を増やすように、変換テーブル更新部115を構成する。変換テーブル更新部115は、対象ランクを、2以上小さいランクとスワップしてもよい。
大きいランクは発生頻度が低いので、1段階ずつのスワップでは適応の速度が不十分な場合がある。上記構成によれば、スワップの幅を適切に設定することで、十分な適応の速度を得ることができる。
以上の構成を別の表現で示すと、変換テーブル更新部115は、「予測モードに対応するランクが大きい場合にスワップによる更新幅を増やす」構成であってもよい。
<D> REM適応時のみスワップする
変換テーブル更新部115は、復号した予測モードがMPMに一致しない場合のみ単一変換テーブルを更新する構成であってもよい。
この構成によれば、単一変換テーブル153は、予測モードが、MPMに一致しない状況における予測モードの発生確率を反映したものとなる。特に残余予測モードを符号化する場合に上記の発生確率を反映した単一変換テーブルを用いることで、符号化効率を向上できる。
言い換えれば、変換テーブル更新部115は、「復号した予測モードがMPMに一致しない場合のみ変換テーブルを更新する」構成であってもよい。
[MPM導出部]
MPM導出部112は、以下の<A>、<B>、および<C>に示すようにしてMPMを導出してもよい。
<A> 変換テーブルの結果を利用する
MPM導出部112は、MPM0を、単一変換テーブル153において対応するランクの小さい予測モードとして選択する構成であってもよい。MPM導出部112は、具体的には、MPM0を、以下の式(6)に従って導出する。
MPM0 = (rank(pmA) < rank(pmB))? pmA : pmB … (6)
なお、上記式(6)における、x?y:z形式の表記は、以下のような論理演算を表している。
「xが“真”または“0でない”場合、yの値を評価し、さもなくばzの値を評価する。」
つまり、上記式(6)では、(rank(pmA) < rank(pmB))が評価され、これが“真”または“0でない”場合、pmAの値が、MPM0に代入され、さもなくばpmBの値が、MPM0に代入される。
上記構成によれば、隣接ブロックに割り付けられている予測モードのうち、発生確率の高い方の予測モードを、MPM0に設定する。よって、MPM0がMPM1に比べて選択されやすくなる。これにより、MPM0とMPM1との間の選択インデックス(mpm_idx)の値に偏りが生じる。その結果、符号量を削減する事ができ、符号化効率を向上させることができる。
また、MPM導出部112は、MPM0およびMPM1を、単一変換テーブル153を参照して、次のようにして導出してもよい。
まず、左隣接PUおよび上隣接PUのイントラ予測モードを、それぞれ、pmAおよびpmBとする。
MPM導出部112は、以下の式(7−1)および(7−2)に従って、pmAおよびpmBを適宜N未満の予測モードに変換する。
pmA = (pmA < N) ? pmA : GN(pmA) … (7−1)
pmB = (pmB < N) ? pmB : GN(pmB) … (7−2)
上記式(7−1)および(7−2)において、Nは、対象PUにおいて選択可能なイントラ予測モードの数を表している。また、G(pm)は、N以上の予測モードをN未満の予測モードに変換する関数である。
次に、MPM導出部112は、第1のMPM候補MPM0および第2のMPM候補MPM1を以下の式(8−1)および(8−2)に従って導出する。
MPM0 = Min(rank(pmA), rank(pmB)) … (8−1)
MPM1 = Max(rank(pmA), rank(pmB)) … (8−2)
上記式(8−1)および(8−2)において、rank(pm)は、予測モード導出処理により導出された予測モード(つまり復元された予測モードpm)に対応するランクである。
さらに、MPM導出部112は、MPM0とMPM1とが一致する場合(MPM0 == MPM1)、以下の式(9)に従ってMPM1を修正する。
MPM1 = (MPM0 == DC) ? Planar : DC … (9)
上記式(8−1)および(8−2)では、単一変換テーブル153を利用して導出されるランクが小さい、すなわち発生確率がより高いと推定される予測モードが、インデックスの小さいMPMであるMPM0に割り当てられている。これにより、MPM0の選択確率は、MPM1の選択確率に比べて高くなる。よって、MPMの選択インデックス(mpm_idx)に、例えば、CABACに代表される算術符号化を適用することで符号量を削減することができる。
なお、一般にMPM候補数が3以上のときでも、より小さいランクに対応する予測モードに対してより小さいインデックスのMPMを割り当てた上で、可変長符号化において小さいインデックスに対して短い符号を割り当てることが好ましい。
また、複数(L個)の予測モードのうちM個(M<L)をMPM候補として選択する場合、対応するランクの小さい予測モードを選択することが好ましい。
<B> 性質の異なる予測モードをMPMに含める
MPM導出部112は、予測モードに依存する処理が適用される場合に、性質の異なる予測モードをMPMに含める構成であってもよい。
予測モードに依存する処理としては、例えば、変換処理、参照画像平滑化処理、変換係数スキャン処理等が挙げられる。性質の異なる予測モードとは、予測モードに依存する処理が、互いに異なるような予測モードのことである。
具体的には、MPM導出部112は、予測モードに依存する変換処理、参照画像平滑化処理、変換係数スキャン処理等が適用される場合、性質の異なる変換処理、参照画像平滑化処理、変換係数スキャン処理が選択されるような予測モードをMPMに含める。
変換処理について、具体的に例示すると次のとおりである。MPM導出部112は、予測モードに依存する変換処理において、偶数の予測モードがDCT、奇数の予測モードがDSTに対応付けられている場合、MPM0に、偶数の予測モードの中から選択した予測モードを設定し、MPM1に、奇数の予測モードの中から選択した予測モードを設定する。
<C> 復号履歴と隣接ブロックの予測モードを併用してMPMを生成する
MPM導出部112は、隣接ブロックの予測モード(以下、隣接予測モードと称する)と関連性の高い予測モードをMPMに追加する構成であってもよい。関連性の高い予測モードは、予測モードの復号結果に基づいて決定する。
以下、図37を用いて、MPM導出部112のより具体的な構成について説明する。図37は、例示的に、上隣接ブロックの予測モードを隣接予測モードとしている。図37では、現在の復号対象PUをRT、隣接ブロックをNAで示し、過去の復号対象PUを、RT’、過去の復号対象PUに隣接するブロックをNA’で示している。また、NA’の予測モードは、pmA1であり、RT’の予測モードは、pmT1であるとする。
1:隣接予測モードと関連性の高い予測モードの対応を表す配列を用意する。
2:過去の復号結果において、RT’の予測モードが、pmT1であり、RT’に隣接するNA’の予測モードが、pmA1であることから、当該配列では、例えば、隣接予測モードpmA1に関連性の高い予測モードとしてpmT1を設定する。
3:現在の復号対象PUであるRTの隣接予測モードpmAが、pmA1であったとき、すなわち、NA’予測モードpmA1と一致するとき、上記配列においてpmA1に関連性の高い予測モードとして設定されているpmT1をMPMに追加する。
過去の復号結果において、RT’の予測モードが、pmT1であり、RT’に隣接するNA’の予測モードが、pmA1である場合、RTの復号において、隣接するブロックであるNAの予測モードが、pmA1であるときには、RTの予測モードもまた、pmT1である可能性が高い。このように、過去の復号結果に基づいて、発生確率の高い予測モードをMPMに追加することで、符号化効率を向上させることができる。
なお、隣接予測モードとして、上隣接予測モードと左隣接予測モードとを用いる場合、最大2個のMPMを追加することができる。また、この場合、上隣接予測モードと、左隣接予測モードとに対して、共通の配列を用意してもよいし、異なる配列を用意してもかまわない。
なお、上記過去の復号結果は、動画像復号装置1が備えるバッファ(不図示)に記憶しておくことができる。
以上の構成を別の表現にて示すと、次のとおりである。すなわち、動画像復号装置1が、「隣接予測モードと関連の高い予測モードを記録するバッファを備え、当該バッファを参照して導出した隣接予測モードと関連の高い予測モードをMPM候補に含める」構成であるということもできる。
[色差予測モード復元部]
色差予測モード復元部116は、以下の<A>および<B>のように構成することができる。
<A>変換テーブルを利用した予測モードの追加
色差予測モード復元部116は、小さいランクに対応する予測モードをMPMとして色差予測モード定義情報に追加してもよい。例えば、色差予測モードの数が、固定数(例えば6)となるように、単一変換テーブル153においてランクの小さい順に、他の予測モードと重複しないように、予測モードを色差予測モード定義情報に追加する。以下、ランクに基づいて追加された予測モードをrankモードと表記する。
さらにいえば、色差予測モード復元部116は、単一変換テーブル153において最もランクが小さい予測モードであって、色差予測モード定義情報に含まれていない予測モードを、当該色差予測モード定義情報に追加してもよい。
具体的に説明すると次のとおりである。まず、色差予測モードとして6種類の予測モードが選択可能であるとする。また、色差予測モードpmc=0が輝度画素値に基づく予測モード(LM)、pmc=1がイントラ垂直予測モード、pmc=2がイントラ水平予測モード、pmc=3がイントラDC予測モード、pmc=5がランクに基づく予測モード(rankモード)とする。
この場合、rankモードには、pmc=0〜4の予測モードと重複しない予測モードであって、対応するランクが最も小さい予測モードが設定される。すなわち、rankモードは、番号「3」以上の予測モードであり、かつ、輝度の予測モードとして選択された予測モードと一致しない予測モードのうち、ランクが最も小さい予測モードが選択される。
輝度の予測モードとして選択された予測モードと、色差の予測モードとして選択される予測モードとの間には相関があるため、輝度の予測モードとして選択される予測モードは、色差の予測モードとして選択される可能性が高い。従って、ランクの小さい(発生確率が高い)予測モードを色差予測モード定義情報に重複無く加えることで、ランクのより大きい他の予測モードを色差予測モードに加える場合に比べて符号化効率が向上する。
<B>複数のDMモードを用いる
色差予測モード復元部116は、DMモードとして輝度予測モードpm_Lumaに加えて、pm_Lumaと関連性の高い予測モードを色差予測モード定義情報に追加してもよい。関連性の高い予測モードとして、方向の近い予測モード、復号履歴に基づいて導出した予測モードなどを用いることができる。なお、復号履歴に基づいて関連性の高い予測モードを導出する手法には、MPM導出部112の変形例<C>で説明した技術を採用することができる。
以上の構成を言い換えれば、動画像復号装置1において、「対象予測単位に対応する輝度予測モードと関連性の高い予測モードを色差予測モードの候補に含める」構成ということができる。
[可変長復号部]
図38および図39を用いて、可変長復号部11のより具体的な構成例について説明する。
図38および図39は、可変長符号化/復号における、rem_idxとバイナリ(binary)との対応について例示している。
CABACでは符号化対象のシンタックス値を2値化してバイナリ列に変換した後、バイナリに含まれる各バイナリ値を算術符号化して符号化データを得る。2値化の方法としては、flag符号化、unary符号化、truncated unary符号化などがある。
可変長復号部11は、上述のようなCABACにより符号化された各種パラメータを復号することができる。しかしながら、これに限られず、例えば、CAVLCにより符号化を行うことも可能である。
例えば、符号化データ#1において、mpm_flagは、flag符号化、mpm_idxは、truncated unary符号化、chroma_modeは、値域0〜5のtruncated unary符号化によって符号化されていてもよい。
また、一例として、可変長復号部11は、rem_idxを、図38の(a)および(b)に示すようなテーブルを参照して復号してもよい。
図38の(a)は、予測モード数が18個である場合における、rem_idxとバイナリとの対応を示している。
予測モード数が18個である場合、図38の(a)に示すように、可変長復号部11は、4ビットの固定長のバイナリに符号化されたrem_idxを復号してもよい。すなわち、図38の(a)に示すテーブルでは、rem_idx“0”〜“15”に対して、それぞれバイナリ“0000”〜“1111”が対応付けられていてもよい。
このように、図38の(a)では、rem_idxに対して4ビット固定長のバイナリが対応付けられている。
また、図38の(b)は、予測モード数が35個である場合における、rem_idxとバイナリとの対応を示している。
予測モード数が35個である場合、図38の(b)に示すように、可変長復号部11は、5ビットまたは6ビットのバイナリに符号化されたrem_idxを復号してもよい。すなわち、図38の(b)に示すテーブルでは、rem_idx“0”〜“30”に対して、それぞれバイナリ“00000”〜“11110”が対応付けられていてもよい。また、上記テーブルでは、rem_idx“31”および“32”に対して、“111110”および“111111”が対応付けられていてもよい。
また、別の例として、可変長復号部11は、rem_idxを、図39の(a)および(b)に示すようなテーブルを参照して復号してもよい。
図39の(a)は、予測モード数が18個である場合における、rem_idxとバイナリとの対応を示している。
また、図39の(b)は、予測モード数が35個である場合における、rem_idxとバイナリとの対応を示している。
予測モード数が18個である場合、図39の(a)に示すように、可変長復号部11は、2ビット固定のプレフィックス部と、0〜3ビットのサフィックス部とから構成されるバイナリに符号化されたrem_idxを復号してもよい。
すなわち、図39の(a)に示すテーブルでは、rem_idxと、プレフィックス部およびサフィックス部との対応は、以下のように定義されている。
rem_idx“0”に対して、プレフィックス部“00”が対応する。また、rem_idx“0”の場合、サフィックス部は符号化されない。
図39の(a)では、rem_idxが小さいほど、サフィックス部のビット長も小さくなる傾向がある。
例えば、rem_idx“1”〜8”に対しては、2ビットのサフィックス部が対応し、rem_idx“9”〜“15”に対しては、3ビットのサフィックス部が対応する。
予測モード数が35個である場合、図39の(b)示すように、可変長復号部11は、2ビットまたは3ビットのプレフィックス部と、0〜3ビットのサフィックス部とから構成されるバイナリに符号化されたrem_idxを復号してもよい。
すなわち、図39の(b)に示すテーブルでは、rem_idxと、プレフィックス部およびサフィックス部との対応は、以下のように定義されている。
rem_idx“0”に対して、プレフィックス部“00”が対応する。また、rem_idx“0”の場合、サフィックス部は符号化されない。
図39の(b)では、rem_idxが小さいほど、プレフィックス部およびサフィックス部のビット長が小さくなる傾向がある。また、rem_idx“5”〜“8”の間で、プレフィックス部のほうが、サフィックス部よりもビット長が大きい。
なお、図39の(a)と(b)では共に、連続するrem_idxに対して同一のprefixが設定されている。すなわち、値の近いrem_idxが連続して発生する状況では、同一のprefix値が連続して発生しやすい。
また、可変長復号部11は、プレフィックス部のみをコンテキストを用いたCABACの算術復号により復号してもよい。すなわち、サフィックス部については、それ以外の方法、例えばコンテキストを用いないCABACの算術復号により復号してもよい。
ここで、コンテキストを用いたCABACの算術復号とは、バイナリの位置(コンテキスト)に応じてバイナリ値の発生確率(を示す状態)を記録・更新しておき、その発生確率(状態)に基づき算術復号を行う処理のことを言う。
コンテキストを用いないCABACの算術符号とは、バイナリ値の発生確率(状態)の更新を行わず固定確率に基づき算術符号を行うことを言う。
コンテキストを用いない場合には、符号化処理、復号処理における発生確率(状態)の更新が不要である分、処理負荷が低減されスループットが向上する。またコンテキストに応じた発生確率(状態)を蓄積するメモリが不要になる。
また、固定確率として、確率0.5を用いる場合は、EP符号化(当確率、Equal Probability符号化)もしくはBypass(バイパス)と呼ばれることがある。
一般的に類似のrem_idxの値が局所的に連続して発生する確率が高いため、プレフィックス部は同一のバイナリ値が連続して発生しやすいが、逆にサフィックス部は同一のバイナリ値が連続して発生し難い。そのため、プレフィックス部にのみ発生確率を記録して用いることが好ましい。
〔動画像符号化装置〕
以下において、本実施形態に係る動画像符号化装置2について、図40〜図45を参照して説明する。
(動画像符号化装置の概要)
動画像符号化装置2は、概略的に言えば、入力画像#10を符号化することによって符号化データ#1を生成し、出力する装置である。
(動画像符号化装置の構成)
まず、図40を用いて、動画像符号化装置2の構成例について説明する。図40は、動画像符号化装置2の構成について示す機能ブロック図である。図40に示すように、動画像符号化装置2は、符号化設定部21、逆量子化・逆変換部22、予測画像生成部23、加算器24、フレームメモリ25、減算器26、変換・量子化部27、および符号化データ生成部29を備えている。
符号化設定部21は、入力画像#10に基づいて、符号化に関する画像データおよび各種の設定情報を生成する。
具体的には、符号化設定部21は、次の画像データおよび設定情報を生成する。
まず、符号化設定部21は、入力画像#10を、スライス単位、ツリーブロック単位に順次分割することにより、対象CUについてのCU画像#100を生成する。
また、符号化設定部21は、分割処理の結果に基づいて、ヘッダ情報H’を生成する。ヘッダ情報H’は、(1)対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報、並びに、(2)各ツリーブロックに属するCUのサイズ、形状および対象ツリーブロック内での位置についてのCU情報CU’を含んでいる。
さらに、符号化設定部21は、CU画像#100、および、CU情報CU’を参照して、PT設定情報PTI’を生成する。PT設定情報PTI’には、(1)対象CUの各PUへの可能な分割パターン、および、(2)各PUに割り付ける可能な予測モード、の全ての組み合わせに関する情報が含まれる。
符号化設定部21は、CU画像#100を減算器26に供給する。また、符号化設定部21は、ヘッダ情報H’を符号化データ生成部29に供給する。また、符号化設定部21は、PT設定情報PTI’を予測画像生成部23に供給する。
逆量子化・逆変換部22は、変換・量子化部27より供給される、ブロック毎の量子化予測残差を、逆量子化、および、逆直交変換することによって、ブロック毎の予測残差を復元する。逆直交変換については、図1に示す逆量子化・逆変換部13について、既に説明したとおりであるので、ここではその説明を省略する。
また、逆量子化・逆変換部22は、ブロック毎の予測残差を、TT分割情報(後述)により指定される分割パターンに従って統合し、対象CUについての予測残差Dを生成する。逆量子化・逆変換部22は、生成した対象CUについての予測残差Dを、加算器24に供給する。
予測画像生成部23は、フレームメモリ25に記録されている局所復号画像P’、および、PT設定情報PTI’を参照して、対象CUについての予測画像Predを生成する。予測画像生成部23は、予測画像生成処理により得られた予測パラメータを、PT設定情報PTI’に設定し、設定後のPT設定情報PTI’を符号化データ生成部29に転送する。なお、予測画像生成部23による予測画像生成処理は、動画像復号装置1の備える予測画像生成部14と同様であるので、ここでは説明を省略する。
加算器24は、予測画像生成部23より供給される予測画像Predと、逆量子化・逆変換部22より供給される予測残差Dとを加算することによって、対象CUについての復号画像Pを生成する。
フレームメモリ25には、復号された復号画像Pが順次記録される。フレームメモリ25には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック(例えば、ラスタスキャン順で先行する全てのツリーブロック)に対応する復号画像が記録されている。
減算器26は、CU画像#100から予測画像Predを減算することによって、対象CUについての予測残差Dを生成する。減算器26は、生成した予測残差Dを、変換・量子化部27に供給する。
変換・量子化部27は、予測残差Dに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、逆直交変換の例としては、DCT変換(Discrete Cosine Transform)、およびDST変換(Discrete Sine Transform)等が挙げられる。
具体的には、変換・量子化部27は、CU画像#100、および、CU情報CU’を参照し、対象CUの1または複数のブロックへの分割パターンを決定する。また、決定された分割パターンに従って、予測残差Dを、各ブロックについての予測残差に分割する。
また、変換・量子化部27は、各ブロックについての予測残差を直交変換することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を量子化することによってブロック毎の量子化予測残差を生成する。
また、変換・量子化部27は、生成したブロック毎の量子化予測残差と、対象CUの分割パターンを指定するTT分割情報と、対象CUの各ブロックへの可能な全分割パターンに関する情報とを含むTT設定情報TTI’を生成する。変換・量子化部27は、生成したTT設定情報TTI’を逆量子化・逆変換部22および符号化データ生成部29に供給する。
符号化データ生成部29は、ヘッダ情報H’、TT設定情報TTI’、およびPT設定情報PTI’を符号化し、符号化したヘッダ情報H、TT設定情報TTI、およびPT設定情報PTIを多重化して符号化データ#1を生成し、出力する。
(符号化データ生成部の詳細)
次に、図56を用いて、符号化データ生成部29の詳細について説明する。図56は、符号化データ生成部29の構成例について示す機能ブロック図である。
なお、以下では、符号化データ生成部29が、TT設定情報TTI’に含まれるパラメータのうち、予測モード(輝度)および色差予測モードに関するパラメータを符号化するための構成について説明する。
しかしながら、これに限られず符号化データ生成部29は、TT情報TTI’に含まれる変換係数以外のデータ、例えば、サイド情報等を符号化することができる。
図56に示すように、符号化データ生成部29は、コンテキスト記憶部251、単一変換テーブル(変換テーブル、順位情報)253、色差予測モード定義情報記憶部254、予測セット決定部291、MPM導出部292、MPM判定部293、予測モード符号化部294、変換テーブル更新部295、および色差予測モード符号化部296を備える。
なお、例えば、動画像復号装置1では、変換テーブル153を用いてランクから予測モードへの変換を行うのに対して、動画像符号化装置2では、単一変換テーブル253を用いて予測モードからランクへの変換を行う点で異なる。
しかしながら、単一変換テーブル253は、図1に示した変換テーブル153と同様の構成を採用することができる。なぜならば、変換テーブル153によるランク−予測モードの間の変換が、動画像復号装置1および動画像符号化装置2の間では、1対1で対応しているからである。ランクおよび予測モード以外のシンタックス値の対応についても同様のことがいえる。
また、例えば、MPMの導出については、動画像復号装置1および動画像符号化装置2の間で相違しない。
このように、動画像復号装置1および動画像符号化装置2の間で対応している構成または同様の処理を行う構成については、動画像符号化装置2において、動画像復号装置1の構成を用いることができる。
従って、コンテキスト記憶部251、単一変換テーブル253、色差予測モード定義記憶部254、予測セット決定部291、MPM導出部292、変換テーブル更新部295は、それぞれ、図1に示したコンテキスト記憶部151、単一変換テーブル153、色差予測モード定義記憶部154、予測セット決定部111、MPM導出部112、および変換テーブル更新部115と同様である。よって、ここではその説明を省略する。
以下では、MPM判定部293、予測モード符号化部294、および色差予測モード符号化部296について説明する。
MPM判定部293は、MPMが予測モードと一致するか否かを判定し、判定結果に応じてmpm_flagを符号化する。符号化の処理については、図1に示した可変長復号部11について、既に説明済みであるので、ここではその説明を省略する。
予測モード符号化部294は、MPM判定部293の判定結果に応じて、予測モードに関する情報(mpm_idx、rem_idx)を符号化する。予測モード符号化部294は、MPMを用いる場合は、mpm_idxを符号化し、MPMを用いない場合は、rem_idxを符号化する。
mpm_idxの符号化については、図1に示した可変長復号部11について、既に説明済みであるので、ここではその説明を省略する。
rem_idxの符号化については後述する。
色差予測モード符号化部296は、対象PUについての色差予測モードを符号化する。より詳細には、色差予測モード符号化部296は、以下のようにして色差予測モードを符号化する。
まず、色差予測モード符号化部296は、予測モードおよび色差予測モードを用いて、色差予測モード定義情報記憶部254に記憶されている色差予測モード定義情報(図6参照)を参照して、イントラ色差予測モード指定情報chroma_mode(intra_chroma_pred_mode)の値を取得する。
そして、色差予測モード符号化部296は、取得したイントラ色差予測モード指定情報chroma_modeの値を符号化する。色差予測モード符号化部296が採用する符号化方式には、特に制限はない。採用する符号化方式は、CAVLC方式であってもよいし、CABAC方式であってもよい。
(単一変換テーブルおよび変換・更新処理の例)
以下に、単一変換テーブルおよび変換・更新処理の例2−1〜例2−4について説明する。なお、以下の例2−1〜例2−4は、それぞれ、動画像復号装置1について説明した“単一変換テーブルおよび変換・更新処理の例”の例1−1〜例1−4に対応している。
(例2−1)
単一変換テーブル253および変換・更新処理の一例について説明すると次のとおりである。例2−1では、予測セットの積集合に含まれる予測モードについて、単一変換テーブルを設け、符号化された予測モードが当該変換テーブルに含まれる場合に、当該変換テーブルを更新する。
[単一変換テーブル]
単一変換テーブル253として、図17に示した単一変換テーブル153を用いることができる。例1−1で説明済みであるので、ここではその説明を省略する。
[ランク導出]
予測モード符号化部294は、図17に示した単一変換テーブル153Aを参照して、pmTからランクを導出する。
[単一変換テーブルの更新]
例1−1と同様であるので、ここではその説明を省略する。
[処理の流れ]
次に、図41および図42を用いて、動画像符号化装置2における予測モード符号化処理の流れについて説明する。
まず、図41に示すフローチャートを用いて、動画像符号化装置2における予測モード符号化処理の概略的な流れの一例について説明する。
動画像符号化装置2において予測モード符号化処理が開始されると、MPM導出部292が、MPMを導出する(S21)。MPM導出部292は、動画像復号装置1のMPM導出部112と同様、MPM0およびMPM1を、MPMとして導出する。
次に、MPM判定部293が、予測モードと、MPM(MPM0またはMPM1)とが一致しているか否かを判定する(S22)。
ここで、予測モードと、MPMとが一致している場合(S22においてYES)、MPM判定部293が、mpm_flag=1を符号化する(S26)とともに、予測モード符号化部294が、MPM0およびMPM1のうち、予測モードと一致している方について、mpm_idxを導出する(S27)。
一方、予測モードと、MPMとが一致していない場合(S22においてNO)、MPM判定部293が、mpm_flag=0を符号化する(S23)。
また、予測モード符号化部294が、ランクを導出する(S24)とともに、rem_idxを導出する。
ランク導出処理については、後ほど詳しく説明する。また、rem_idxの導出は、具体的には、次のようにして行われる。まず、予測モード符号化部294は、rem_idxの値にrankTを設定する。続いて、予測モード符号化部294は、MPMに応じてrem_idxを調整する。具体的には、rankTがMPM0以上であれば、予測モード符号化部294は、rem_idxを1減算する。また、rankTがMPM1以上であれば、予測モード符号化部294は、rem_idxを1減算する。
S25またはS27の処理が終了すると、変換テーブル更新部295が、予測モードの符号化結果に応じて、単一変換テーブル153を更新する(S28)。
[ランク導出処理の詳細]
次に、図42を用いて、ランク導出処理の詳細な流れについて説明する。図42は、図41に示す符号化処理におけるランク導出処理(S24)の詳細について例示したフローチャートである。
ランク導出処理では、まず予測モード符号化部294が、予測モードpmTが、共通予測モード数Mよりも小さいか否かを判定する(S2411)。
予測モードpmTが、共通予測モード数Mよりも小さい場合(S2411においてYES)、単一変換テーブル253を参照してpmTに対応付けられているランクをrankTに設定する(S2412)。
一方、予測モードpmTが、共通予測モード数Mよりも小さい場合(S2411においてNO)、pmTの値をrankTに設定する(S2413)。
[単一変換テーブル更新処理の詳細]
例1−1と同様であるので、ここではその説明を省略する。
(例2−2)
図43を用いて、単一変換テーブル253および変換・更新処理の他の例について説明する。例2−2では、予測セットの和集合に含まれる予測モードについて、単一変換テーブルを設けて、共通予測モード数Mより小さい値のランクの要素と、共通予測モード数M以上の値のランクの要素とを独立にスワップする。
[単一変換テーブル]
単一変換テーブル253として、図17に示した単一変換テーブル153Aを用いることができる。例1−1で説明済みであるので、ここではその説明を省略する。
[ランク導出]
予測モード符号化部294は、単一変換テーブル153Aを参照して、予測モードからランクを導出する。
[単一変換テーブルの更新]
例1−1と同様であるので、ここではその説明を省略する。
[処理の流れ]
次に、図43を用いて、動画像符号化装置2における予測モード符号化処理の流れについて説明する。符号化処理の概略的な流れは、図41に示したとおりであるので、ここではその説明を省略する。以下では、符号化処理におけるランク導出処理(S24Aとする)の詳細について説明する。
[ランク導出処理の詳細]
図43のフローチャートに示すように、ランク導出処理S24Aでは、予測モード符号化部294が、単一変換テーブル253を参照して、pmTに対応する予測モードをrankTに設定する(S2421)。
[単一変換テーブル更新処理の詳細]
例1−2と同様であるので、ここではその説明を省略する。
(例2−3)
図44を用いて、単一変換テーブル253および変換・更新処理の別の例について説明する。例2−3では、共通の予測モードを含む単一変換テーブルを設けて、符号化した予測モードに基づいて当該単一変換テーブルを更新する。この更新では、符号化した予測モードが単一変換テーブルに含まれない場合、符号化した予測モードを、当該単一変換テーブルに含まれる類似の予測モードであるものとして単一変換テーブルを更新する。
[単一変換テーブル]
単一変換テーブル253として、図22に示した単一変換テーブル153Bを用いることができる。例1−3で説明済みであるので、ここではその説明を省略する。
[類似予測モードテーブル]
図23に示した類似予測モードテーブル155Bを用いることができる。例1−3で説明済みであるので、ここではその説明を省略する。
[ランク導出]
予測モード符号化部294は、予測モード数Nに応じて次のようにランクを導出する。
まず、N=18の場合、予測モード符号化部294は、単一変換テーブル153Bを参照し、予測モードからランクを導出する。すなわち、ランクrankT=rank(pmT)である。
一方、N=35の場合、予測モード符号化部294は、次の手順(i)〜(iii)を実行することで、予測モードpmTからrankTを導出する。
(i) 予測モードpmTが「0」〜「17」の場合、予測モード符号化部294は、pmT’=pmTとする。
(ii) 予測モードpmTが「0」〜「17」でない場合、予測モード符号化部294は、類似予測モードテーブル155Bを参照し、予測モードpmTからpmT’を導出する。
(iii) (i)および(ii)で得られたpmT’に基づいて、予測モード符号化部294は、以下の式(9)によりrankTを導出する。
rankT = (rank(pmT’) << 1) + ((pmT < M)? 0:1) … (9)
上記式(9)において、“<<”は、左シフト演算を示す演算子である。また、例示的には、M=18である。
[単一変換テーブルの更新]
例1−3と同様であるので、ここではその説明を省略する。
[処理の流れ]
次に、図44を用いて、動画像符号化装置2における予測モード符号化処理の流れについて説明する。符号化処理の概略的な流れは、図41に示したとおりであるので、ここではその説明を省略する。以下では、符号化処理におけるランク導出処理(S24Bとする)の詳細について説明する。
[ランク導出処理の詳細]
図44のフローチャートに示すように、ランク導出処理S24Bでは、予測モード符号化部294が、予測モード数Nと共通予測モード数Mとが一致するか否かを判定する(S2431)。なお、上述のとおり、予測モード数N=18または35であり、共通予測モードMは、18である。
予測モード数Nと共通予測モード数Mとが一致する場合(S2431においてYES)、予測モード符号化部294は、中間予測モードpmT’=pmTとする(S2432)。
一方、予測モード数Nと共通予測モード数Mとが一致しない場合(S2431においてNO)、予測モード符号化部294は、pmTに類似する類似予測モードを導出して、中間予測モードpmT’に設定する(S2433)。
次に、予測モード符号化部294は、単一変換テーブル153Bを参照して、中間予測モードpmT’に対応付けられているランクを中間ランクrankT’に設定する(S2434)。
さらに、予測モード符号化部294は、予測モード数Nと共通予測モード数Mとが一致するか否かを判定する(S2435)。
ここで、予測モード数Nと共通予測モード数Mとが一致する場合(S2435においてYES)、予測モード符号化部294は、ランクrankT=rankT’とする(S2436)。
一方、予測モード数Nと共通予測モード数Mとが一致しない場合(S2435においてNO)、予測モード符号化部294は、pmTの類似予測モードインデックスを導出する(S2437)。この導出処理において、予測モード符号化部294、具体的には、“(pmT<M)?0:1”の演算を実行する。つまり、類似予測モードインデックスとは、pmTがMより小さいか否かにより定まる。また、類似予測モードインデックスとは、動画像復号装置1において、rankTが偶数か奇数かを判定するために用いられる。
次に、予測モード符号化部294は、中間ランクrankT’をN>Mの場合のランクrankTに変換する(S2438)。この変換処理は、上記式(9)に従って行われる。
以上のようにして、rankTが導出されると、処理は終了する。
[単一変換テーブル更新処理の詳細]
例1−3と同様であるので、ここではその説明を省略する。
(例2−4)
図45を用いて、単一変換テーブル253および変換・更新処理のさらに別の例について説明する。例2−4は、すべての予測モードを含む単一変換テーブルを設けて、復号した予測モードに基づいて当該単一変換テーブルを更新する。
[単一変換テーブル]
図28に示した単一変換テーブル153Cを用いることができる。例1−4で説明済みであるので、ここではその説明を省略する。
[ランク導出]
予測モード符号化部294は、次の手順(i)〜(iii)を実行することで、予測モードからランクを導出する。
(i) まず、予測モード符号化部294は、単一変換テーブル153Cを参照し、予測モードから中間ランクrankT’を導出する。すなわち、中間ランクrankT’=rank(pmT)である。
続いて、予測モード符号化部294は、予測モード数Nに応じて、次の手順(i)〜(iii)を実行することで、中間ランクrankT’からrankTを導出する。
(ii) ここで、 N=18の場合、予測モード符号化部294は、rankT=rankT’とする。
(iii) 一方、N=35の場合、予測モード符号化部294は、以下の式(10)によりrankTを導出する。
rankT=rankT’ − M … (10)
上記式(10)において、Mは、rank(k)<rankT’かつk≧18を満たす予測モードの数kである。
rankT’は、予測モードkのN=35におけるランクを表す。上記式(10)では、rankT’を、N=18におけるランクに変換するためにN=18に含まれない予測モード(k≧18)によるランクの変動分(M)を除去している。
[処理の流れ]
次に、図45を用いて、動画像符号化装置2における予測モード符号化処理の流れについて説明する。符号化処理の概略的な流れは、図41に示したとおりであるので、ここではその説明を省略する。以下では、符号化処理におけるランク導出処理(S24Cとする)の詳細について説明する。
[単一変換テーブルの更新]
例1−4と同様であるので、ここではその説明を省略する。
[ランク導出処理の詳細]
図45のフローチャートに示すように、ランク導出処理S24Cでは、まず予測モード符号化部294が、単一変換テーブル153Cを参照して、予測モードpmTに対応付けられているランクをrankT’に設定する(S2441)。
次に、予測モード符号化部294は、予測モード数Nと共通予測モード数Mとが一致するか否かを判定する(S2442)。
予測モード数Nと共通予測モード数Mとが一致する場合(S2442においてYES)、予測モード符号化部294は、上記式(10)に従って、N=35におけるランクrankT’を、N=18におけるランクに変換した値であるR−1(rankT’)を計算し、ランクrankT=R−1(rankT’)とする(S2443)。
一方、予測モード数Nと共通予測モード数Mとが一致しない場合(S2442においてNO)、予測モード符号化部294は、中間ランクrankT’をランクrankTに設定する(S2444)。
[単一変換テーブル更新処理の詳細]
例1−4と同様であるので、ここではその説明を省略する。
[例2−4の変形例]
例1−4と同様であるので、ここではその説明を省略する。
(作用・効果)
以上に示したように、動画像復号装置1は、複数の予測セットから選択した予測セットに含まれる予測モードを用いて予測画像を生成する動画像復号装置1において、上記選択した予測セットに含まれる少なくとも一部の予測モードと、該予測モードの順位とが対応付けられた単一変換テーブル153を、該予測モードに該予測モードの発生確率に応じたランクが対応付けられるように更新する変換テーブル更新部115を備える構成である。
また、以上に示したように、動画像符号化装置2は、複数の予測セットから選択した予測セットに含まれる予測モードに対応付けられたランクを符号化する動画像符号化装置2において、上記選択した予測セットに含まれる少なくとも一部の予測モードと、該予測モードの順位とが対応付けられた単一変換テーブル253を、該予測モードに該予測モードの発生確率に応じたランクが対応付けられるように更新する変換テーブル更新部295を備える構成である。
上記構成において、単一変換テーブル153は、予測モード数N=18およびN=35の間で共通である。よって、異なる予測セットの間で、予測モードの発生確率が相互に反映された変換テーブルを得ることができる。その結果、符号化効率が向上するという効果を奏する。
また、上記構成のように、単一変換テーブル153を用いることにより、複数の予測セットについて、予測セットごとに変換テーブルを設ける場合と比較して、メモリを削減することができる。
〔2〕実施形態2
〔動画像復号装置〕
本発明の動画像復号装置1に関する他の実施形態について、図46〜図51に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施の形態1にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、図1に示した可変長復号部11の他の実施形態である可変長復号部11Aについて説明する。
可変長復号部11Aは、コンテキストに基づいて変換テーブルを切り替える構成である。
まず、図46を用いて、可変長復号部11Aの構成について説明する。図46は、可変長復号部11Aの構成例について示す機能ブロック図である。
図46に示すように、可変長復号部11Aは、可変長復号部11において、単一変換テーブル153、MPM導出部112、予測モード復元部114および変換テーブル更新部115を、それぞれ、変換テーブル156、MPM導出部112A、予測モード復元部114A、および変換テーブル更新部115Aに変更するとともに、変換テーブル選択部(変換テーブル選択手段)117を追加したものである。なお、可変長復号部11Aは、さらに色差予測モード復元部116、色差予測モード定義情報記憶部154を備える構成であってもよいし、備えない構成であってもよい。
以下、可変長復号部11Aと、可変長復号部11との間で異なる構成について説明する。すなわち、以下では、変換テーブル156、変換テーブル選択部117、MPM導出部112A、予測モード復元部114A、および変換テーブル更新部115Aについて説明する。
変換テーブル156は、ランクと予測モードとの対応付けを定義したテーブルである。また、変換テーブル156は、コンテキストに応じて定義されている。その詳細については後述する。
変換テーブル選択部117は、コンテキストに応じて変換テーブル156を選択する。
MPM導出部112Aは、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいてMPMを導出する。MPM導出部112AにおけるMPM導出手法については、後述する。
予測モード復元部114Aは、選択された変換テーブル156を参照して、対象PUについての予測モードを復元する。
変換テーブル更新部115Aは、選択された変換テーブル156を更新する。
(A.コンテキストに応じた変換テーブルの選択処理)
以下では、コンテキストに応じた変換テーブルの選択処理の具体例として、左隣接ブロックおよび上隣接ブロックの2つの隣接予測モードの組み合わせに応じた変換テーブルを用いた復号処理について説明する。
[A1]重視する方向に応じた変換テーブルの選択処理
[テーブルの規定]
変換テーブル156は、重視する方向ごとに規定されていてもよい。ある方向を重視する変換テーブルとは、当該方向または当該方向に近い方向に対応する予測モードに対応付けられているランクの値が、それ以外の方向に対応する予測モードに対応付けられているランクの値よりも小さく設定される傾向にある変換テーブルである。
例えば、垂直方向を重視する垂直重視変換テーブル、水平方向を重視する水平方向重視テーブル、および、それ以外の場合に用いる均等用変換テーブルを規定してもよい。
[変換テーブルの選択]
変換テーブル選択部117は、左隣接ブロックおよび上隣接ブロックの2つの隣接予測モードの組み合わせに応じて、重視する方向を判定し、変換テーブル156を選択する。
例えば、変換テーブル選択部117は、次の(1)〜(3)の手順にて変換テーブル156を選択する。なお、以下で使用するpmAおよびpmBという用語は、図7を用いて説明したものと同様である。なお、以下では、垂直方向は、垂直または垂直に近い方向のことを意味するものとし、水平方向は、水平または水平に近い方向のことを意味するものとする。
(1) pmAおよびpmBが共に垂直方向である場合、変換テーブル選択部117は、垂直重視変換テーブルを選択する。
(2) pmAおよびpmBが共に水平方向である場合、変換テーブル選択部117は、水平重視変換テーブルを選択する。
(3) 上記(1)および(2)のいずれにも該当しない場合、変換テーブル選択部117は、均等用変換テーブルを選択する。
すなわち、上記(1)では、垂直方向を重視する方向としており、上記(2)では、水平方向を重視する方向としている。
[変換テーブルの更新]
変換テーブル更新部115Aは、上記“変換テーブルの選択”で示した手法で選択された変換テーブルを更新する。すなわち、
(1) pmAおよびpmBが共に垂直方向である場合、変換テーブル更新部115Aは、垂直重視変換テーブルを更新する。
(2) pmAおよびpmBが共に水平方向である場合、変換テーブル更新部115Aは、水平重視変換テーブルを更新する。
(3) 上記(1)および(2)のいずれにも該当しない場合、変換テーブル更新部115Aは、均等用変換テーブルを更新する。
[作用・効果]
自然画像のテクスチャでは、水平方向または垂直方向のエッジが出現する確率は、他の方向のエッジが出現する確率に比べて高い。また、自然画像のテクスチャでは、水平方向または垂直方向のエッジが、集中して現れる傾向がある。
このため、隣接予測モードに水平方向が多い場合に水平方向に対応する予測モードを垂直方向に対応する予測モードに比べてより小さいランクに対応付ける変換テーブルを用いることが好ましい。
また、重視する方向ごとに規定された変換テーブルの初期値は任意に設定することができる。
上記のように、重視する方向に応じて変換テーブルを選択する場合、変換テーブルの初期値に関わらず、上記“変換テーブルの更新”により垂直重視変換テーブルおよび水平重視変換テーブルは次のように更新される。
まず、垂直重視変換テーブルでは垂直方向に対応する予測モードに小さいランク値が対応付けられる可能性が高くなる。
また、水平重視変換テーブルでは水平方向に対応する予測モードに小さいランク値が対応付けられる可能性が高くなる。
このため、変換テーブルの更新により垂直方向および水平方向のそれぞれについて、変換テーブルが最適化されていき、これにより予測モードの符号量を削減できるようになる。
[テーブル初期化]
水平重視変換テーブルでは初期値として水平方向に対応する予測モードにより小さいランクを対応付けておくことが望ましい。同様に、垂直重視変換テーブルでは初期値として垂直方向に対応する予測モードにより小さいランクを対応付けておくことが望ましい。
図47に、垂直重視変換テーブルの初期化の具体例を示している。図47において、上段では、図6において、上に向かう矢印にて示された予測モードのランクが規定されており、下段では、図6において、左に向かう矢印にて示された予測モードのランクが規定されている。
以上の構成を別の表現にて示すと、次のとおりである。すなわち、動画像復号装置1において、「水平方向に近い予測方向に対応する予測モードが多い場合に選択される変換テーブルが、水平成分が垂直成分より大きい予測方向に対応する予測モードに対して、垂直成分が水平成分より大きい予測方向に対応する予測モードに比べて、より小さいランクを割り当てるよう初期化されている」構成である。
なお、予測モードが水平方向に対応するのは、たとえば予測モードに対応する予測方向の水平成分が垂直成分に較べて一定の閾値(例えば0)より大きい場合であってもよい。
また、上記、変換テーブルの更新の(1)を、「pmAまたはpmBの少なくとも一方が垂直方向であり、かつ、pmAとpmBとが共に水平方向ではない場合、変換テーブル更新部115Aは、垂直重視変換テーブルを更新する。」のようにしても構わない。例えば、DCモードは水平方向でも垂直方向でもないため、pmAが垂直方向であって、pmBがDCモードである場合には垂直重視の変換テーブルが更新される。
[A2]2つの隣接ブロックの予測モードの一致、不一致に応じた変換テーブルの選択処理
[テーブルの規定]
変換テーブル156は、左隣接ブロックの予測モードおよび右隣接ブロックの予測モードが一致または類似している場合と、一致または類似していない場合とについて、それぞれ規定されていてもよい。
例えば、一致または類似している場合用の類似用変換テーブル、一致または類似していない場合用の非類似用変換テーブルを規定してもよい。以下、説明の便宜のため、“一致または類似している”状態のことを、単に、“類似している”と表現する。
[変換テーブルの選択]
変換テーブル選択部117は、左隣接ブロックおよび上隣接ブロックの2つの隣接予測モードの組み合わせに応じて、上記2つの隣接予測モードが類似しているか否かを判定し、変換テーブル156を選択する。
上記2つの隣接予測モードが類似している場合、変換テーブル選択部117は、類似用の変換テーブルを選択する。
一方、上記2つの隣接予測モードが類似していない場合、変換テーブル選択部117は、非類似用の変換テーブルを選択する。
[変換テーブルの更新]
変換テーブル更新部115Aは、上記“変換テーブルの選択”で示した手法で選択された変換テーブルを更新する。
すなわち、上記2つの隣接予測モードが類似している場合、変換テーブル更新部115Aは、類似用の変換テーブルを更新する。
一方、上記2つの隣接予測モードが類似していない場合、変換テーブル更新部115は、非類似用の変換テーブルを更新する。
なお、非類似用の変換テーブルは省略することも可能である。すなわち、類似用変換テーブルのみを用いてもかまわない。また、類似用と非類似用の変換テーブルを共に設けるが、類似用の変換テーブルのみを更新し、非類似用の変換テーブルは更新しない構成にしてもよい。
また、「上記2つの隣接予測モードが類似していない場合、変換テーブル更新部115Aが、変換テーブルを更新しない」構成としてもよい。
[備考]
なお、非類似用の変換テーブルを省略したときには、上記2つの隣接予測モードが類似していない場合、変換テーブル選択部117は、変換テーブル156を選択しなくてもよい。よって、このような場合、予測モード復元部114Aは、変換テーブル156を参照することなく、予測モード=ランクであるものとして、予測モードの復元処理を行ってもよい。
なお、2つの予測モードが類似するとは、例えば、両予測モードが共に方向予測モードであって、各予測モードに対応する方向が十分に近い(例えば15度以内)場合が挙げられる。また、両予測モードが共にDCモードまたはPlanarモードである場合が挙げられる。各モードの方向が十分に近いかどうかは、対応する方向を直接比較するのではなく、テーブルを用いて算出しても構わない。例えば、2つの予測モードに対して類似するか否かを記録したテーブルを引くことなどで算出しても構わない。また、2つのモードから2つの中間モードを算出し、2つの予測モードに対して類似するか否かを記録したテーブルを引くことで算出しても良い。また、予測モードを小数のグループ(例えば、垂直モードグループ、水平モードグループ、DCモードグループ)に分類した場合において、2つの予測モードが同一のグループに該当するか否かに応じて、2つの予測モードが類似するか否かを判定することもできる。
[作用・効果]
フレーム内には、エッジまたは勾配の空間相関の高い領域と低い領域とが存在する。一般的に、相関の高い領域では、エッジ方向や勾配の分布の偏りが大きい。これに対して、相関の低い領域では、上記分布の偏りが小さい。
以上の説明において、上記2つの隣接予測モードが類似している場合は、相関が高く、上記2つの隣接予測モードが類似していない場合は、相関が低いといえる。
相関の高い領域と相関の低い領域との間で異なる変換テーブルを用いることで、相関の高い領域について用いられる変換テーブルの更新を、相関の高い領域における上記分布のみを用いて、かつ相関の低い領域における上記分布の影響を受けないで、行うことができる。
これにより、相関の高い領域における予測モードの偏りを十分反映して相関の高い領域について用いられる変換テーブルを選択・更新することができる。
(B.処理の流れ)
図48に示すフローチャートを用いて、可変長復号部11における予測モード復元処理の概略的な流れの一例について説明する。
図48に示すように、予測モード復号処理が開始されると、変換テーブル選択部117が、コンテキストに応じて変換テーブルを選択する(S10)。
続く、S11〜S13、S15については、図14を用いて説明したとおりであるので、その説明を省略する。
S14Aでは、選択された変換テーブル156を参照して、予測モード復元部114Aが、ランクから予測モードを導出する。
また、続く、S16Aでは、変換テーブル更新部115Aが、選択された変換テーブル156を更新する。
(C.変形例)
[C−1]長方形予測単位
正方形のPUに加えて、横長または縦長矩形のPUを用いる場合、予測モードが選択について、次のような傾向がある。
まず、横長矩形では、水平方向の予測モードが選択されやすい。また、縦長矩形では、垂直方向の予測モードが選択されやすい。
よって、正方形、縦長矩形、および横長矩形の間で異なる変換テーブルを用いてもかまわない。すなわち、予測モード復元部114Aは、対象PUが、正方形、縦長矩形、および横長矩形の何れであるかに応じて、変換テーブルを選択してもよい。
また、横長矩形に用いる変換テーブルでは、水平方向に対応する予測モードが小さいランクに対応するように初期化し、縦長矩形に用いる変換テーブルでは、垂直方向に対応する予測モードが小さいランクに対応するように初期化してもよい。
なお、MPM導出部112Aは、長方形のPUについて、以下のとおりMPM0およびMPM1を導出してもよい。すなわち、MPM0は、長方形の短辺側に隣接する隣接PUの予測モードとする。また、MPM1は、DCモードとする。
図49を用いて具体的に説明すると次のとおりである。図49に4×2の横長矩形のPU0〜PU3を示している。PU0〜PU2は復号済みであるとする。対象PUを、R(PU3)とする。また、PU2およびPU3にかけて水平に近いエッジE1が存在する。
図49に示すように、画像内に、水平に近い横エッジがある場合、横長矩形のPUが選択されやすい。また、この場合、対象PUの左側(短辺側)に隣接する隣接PUに割り付けられている予測モードと、対象PUの予測モードとが一致する確率が高い。
図49において、Rの横長矩形の短辺側に隣接する隣接PUは、PU2である。よって、図49に示す例の場合、予測モード復元部114Aは、MPM0に、PU2に割り付けられている予測モードを設定する。
以上の構成を別の表現で示すと次のとおりである。すなわち、複数の変換テーブルを参照する動画像復号装置1において、「正方形のPUと横長矩形または縦長矩形のPUとでは異なる変換テーブルを選択する」構成である。
また、動画像復号装置1において、「横長矩形では水平成分が垂直成分より大きい予測方向に対応する予測モードに対して垂直成分が水平成分より大きい予測方向に対応する予測モードに較べて、より小さいランクを割り当てるよう変換テーブルが初期化されている」構成である。
また、動画像復号装置1において、「MPM候補は短辺側の隣接予測モードとDCモードとを含む」構成である。
[C−2]エッジベース予測
可変長復号部11Aにおいて、隣接領域の画素値に基づき導出したエッジ方向(およびその近傍方向)を予測方向とするエッジベース予測モードが、予測モードとして選択可能となっていてもよい。
変換テーブル更新部115Aは、エッジベース予測モードが選択された場合、変換テーブルを更新しなくてもよい。エッジベース予測は、図6に示したような予測モードと比較すると、処理量が多くなる傾向がある。このため、エッジベース予測モードが選択された場合、上記構成のように、変換テーブルの更新を省略することで、処理量の増加を抑制することができる。
例えば、8×8のCUが4つの4×4のPUを含むような領域について復号しなければならない最悪のケースのときは、他のケースのときよりも大きな処理負荷がかかることが想定される。このため、上記のような最悪のケースのときには、変換テーブルの更新を省略することにより、過度な処理負荷がかかることを防ぐことが好ましい。
なお、MPM導出部112Aは、エッジベース予測モードが選択された場合、以下のとおりMPM0〜MPM3を導出してもよい。
MPM0:エッジベース予測モードとする。
MPM1:DCモードとする。
MPM2:左隣接予測モードと上側隣接予測モードのうち小さい方の予測モードとする。
なお、MPM2を、左隣接予測モードと上側隣接予測モードのうち単一変換テーブルを用いて導出される対応するランクが高い予測モード、としてもよい。
以上の構成を別の表現で示すと次のとおりである。すなわち、変換テーブルを備える動画像復号装置1において、「エッジベース予測が適用された予測単位では予測モードを更新しない」構成である。
また、動画像復号装置1において、「MPM候補はエッジベース予測とDC予測モードを含む」構成である。
[C−3]エッジ検出とSDIP(Short Distance Intra Prediction)との併用
また、長方形のPUを用いる場合、当該長方形のPUにおいては、短辺側の復号済み画素のみを用いてエッジ検出を行ってもよい。図50を用いて具体的に説明すると次のとおりである。
図50に、8×2のPUが、4行2列に配置されている領域を示している。また、PU0〜PU3の4つのPUを含む8×8領域をR1にて示している。同図に示す領域において、エッジ検出は、次のとおり行うことができる。
すなわち、4つのPUを内包する8×8領域R1の左側に隣接する復号済み画素値(R2にて示す領域)に基づいてエッジ検出を行い、8×8領域R1に含まれる全PU(PU0〜PU3)に対して、エッジ検出結果を適用する。
以上の構成を別の表現で示すと次のとおりである。すなわち、動画像復号装置1において、「横長矩形のPUにおいて、当該PUを内包する正方形の単位の左辺に隣接する復号済画素を参照して導出したエッジ方向をエッジベース予測の予測方向とする」構成である。または、動画像復号装置1において、「縦長矩形のPUにおいて、当該PUを内包する正方形の単位の上辺に隣接する復号済画素を参照して導出したエッジ方向をエッジベース予測の予測方向とする」構成であってもよい。
一般に長方形のPUが選択される場合には、長方形の長辺方向に近い方向のエッジが存在する場合が多い。そのため、そのようなエッジの延長線上にある辺である長方形の短辺側の画素を用いてエッジ検出を行うことで、長辺側の画素を用いてエッジ検出を行う場合に較べてより正確なエッジの検出が可能である。さらに、正方形単位内の他のPUの画素値を使わずにエッジ検出が可能であるため、正方形単位内に含まれる各PUの予測画像生成処理を並列に実行できる。
[C−4]REMに対する変換テーブル
これまで説明してきたような変換テーブルの代わりに、rem_idxとrem_idxのランク(remランク)とを対応付けるremランク変換テーブルを用いてもよい。
すなわち、予測モードの復号処理において、MPMが選択されない場合のみremランク変換テーブルを用いることができる。
remランク変換テーブルの要素数(rem_idxとrem_idxのランクとの対応付けの数)は、「予測モード数」−「MPM数」となる。
remランク変換テーブルを、実施形態1に記載したような単一テーブルとして構成してもよい。また、remランク変換テーブルを、本実施形態に記載したようにコンテキストに応じて複数設ける構成としてもよい。
[処理の流れ]
図51を用いて、remランク変換テーブルを用いる場合における、予測モード復元処理について説明すると次のとおりである。
予測モード復元処理では、まず、MPM導出部112AがMPMを導出する(S31)。
次に、MPM判定部113が、mpm_flagに基づいてMPMによる予測モードの復元を行うか否かを判定する(S32)。
MPMによる予測モードの復元を行う場合(S32においてYES)、予測モード復元部114Aは、mpm_idxに基づく予測モード復元を行う(S33)。
一方、MPMによる予測モードの復元を行わない場合(S32においてNO)、予測モード復元部114Aは、remランク変換テーブルを設定する(S34)。
次に、予測モード復元部114Aは、設定したremランク変換テーブルを参照して、rem_idxに基づいてremランクを復元する(S35)。
次に、予測モード復元部114Aは、remランクに基づいて予測モードを復元する(S36)。
次に、変換テーブル更新部115Aが、復元したremランクに応じてremランク変換テーブルを更新する(S37)。
以上の構成を別の表現で示すと次のとおりである。すなわち、変換テーブルを参照する動画像復号装置1において、「変換テーブルはrem_idxの値とランクとの関係を表すテーブルであり、復号された予測モードがMPMに含まれない場合に当該変換テーブルを更新する」構成である。
[C−5]MPM利用有無の情報の利用
コンテキストとして、MPMが選択されやすい領域か否か、すなわち、イントラ予測の推定が的中しやすい領域か否かを利用して、変換テーブルを選択してもよい。具体的には、各パーティションにおいてMPMが選択されたか否かを記録しておき、対象パーティションの隣接パーティションでMPMが選択されたか否か応じて異なる変換テーブルを選択してもよい。イントラ予測の推定が的中しやすい領域とそれ以外の領域では予測モードの発生確率が異なるため、上記構成により符号化効率を向上できる。
また、対象パーティションのMPM選択時に、隣接パーティションのうちMPMが一致したパーティションの予測モードを優先的に選択してもよい。
[C−6]変換テーブルの更新省略
コンテキストに応じて変換テーブルを切り替える場合、必ずしも予測モードの復号結果に応じた変換テーブルの更新を行う必要はない。一般的には、更新を行う場合には符号化効率が向上するが、更新を省略することで更新に要する処理量を削減できる。また、複数の変換テーブルのうち、一部の変換テーブルの更新を省略してもよい。また、複数の変換テーブルのうち、一部の変換テーブルの更新頻度を他の変換テーブルの更新テーブルと異なるものに設定してもよい。
〔動画像符号化装置〕
以下において、本実施形態に係る動画像符号化装置2について、図52、図53、および図57を参照して説明する。なお、説明の便宜上、前記実施の形態1にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、図56に示した符号化データ生成部29の他の実施形態である符号化データ生成部29Aについて説明する。
符号化データ生成部29Aは、コンテキストに基づいて変換テーブルを切り替える構成である。
まず、図57に示すように、符号化データ生成部29Aは、図56に示した符号化データ生成部29において、単一変換テーブル253、MPM導出部(推定手法指定インデックス復号手段、選択手段)292、予測モード符号化部(予測モード変換手段)294、および変換テーブル更新部(変換テーブル更新手段、判定手段)295を、それぞれ、変換テーブル256、MPM導出部292A、予測モード符号化部294A、および変換テーブル更新部295Aに変更するとともに、変換テーブル選択部(変換テーブル選択手段)297を追加したものである。なお、符号化データ生成部29Aは、さらに色差予測モード符号化部(追加手段)296、色差予測モード定義情報記憶部254を備える構成であってもよいし、備えない構成であってもよい。
また、動画像復号装置1および動画像符号化装置2の間で対応している構成または同様の処理を行う構成については、動画像符号化装置2において、動画像復号装置1の構成を用いることができる。
変換テーブル256、変換テーブル選択部297、MPM導出部292A、予測モード符号化部294A、および変換テーブル更新部295Aについては、それぞれ、図46に示した変換テーブル156、変換テーブル選択部117、予測モード復元部114A、MPM導出部112A、変換テーブル更新部115Aと、対応している構成、または、同様の構成である。よって、以下ではその説明を省略する。
(a.コンテキストに応じた変換テーブルの選択処理)
可変長復号部11Aについて説明した“A.コンテキストに応じた変換テーブルの選択処理”は、符号化データ生成部29Aと可変長復号部11Aとの間で、対応している構成、または、同様の構成により実現できるので、その説明を省略する。
(b.処理の流れ)
図52に示すフローチャートを用いて、符号化データ生成部29Aにおける予測モード符号化処理の概略的な流れの一例について説明する。
図52に示すように、予測モード符号化処理が開始されると、変換テーブル選択部297が、コンテキストに応じて変換テーブルを選択する(S20)。
続く、S21〜S23、S26、S27については、図41を用いて説明したとおりであるので、その説明を省略する。
S23の処理が終わると、選択された変換テーブル256を参照して、予測モード符号化部294Aが、予測モードからランクを導出し(S24A)、導出したランクに基づいてrem_idxを導出する(S25)。
S25またはS27の処理が終了すると、変換テーブル更新部295Aが、選択された変換テーブル256を更新する。
(c.変形例)
[c−1]長方形予測単位、[c−2]エッジベース予測、および[c−3]エッジ検出とSDIP(Short Distance Intra Prediction)との併用
可変長復号部11Aについて説明した“C.変形例”の上記[C−1]長方形予測単位、[C−2]エッジベース予測、および[C−3]エッジ検出とSDIP(Short Distance Intra Prediction)との併用は、符号化データ生成部29Aにおいても適用可能である。すなわち、上記変形例は、符号化データ生成部29Aと可変長復号部11Aとの間で、対応している構成、または、同様の構成により実現できるので、その説明を省略する。
[c−4]REMに対する変換テーブル
符号化データ生成部29Aにおいても、可変長復号部11Aと同様、remランク変換テーブルを採用することができる。
すなわち、予測モードの符号化処理において、MPMが選択されない場合のみremランク変換テーブルを用いることができる。
remランク変換テーブルの要素数(rem_idxとrem_idxのランクとの対応付けの数)は、「予測モード数」−「MPM数」となる。
remランク変換テーブルを、実施形態1に記載したような単一テーブルとして構成してもよい。また、remランク変換テーブルを、本実施形態に記載したようにコンテキストに応じて複数設ける構成としてもよい。
[処理の流れ]
図53を用いて、remランク変換テーブルを用いる場合における、予測モード符号化処理について説明すると次のとおりである。
S41およびS42は、それぞれ、図41に示したS21および22と同様である。また、S43およびS44は、それぞれ、図41に示したS26およびS27と同様である。従って、ここでは、これらの説明については省略する。
以下、予測モードと、MPMとが一致していない場合(S42においてNO)の流れについて説明する。
まず、MPM判定部293が、mpm_flag=0を符号化する(S45)。続いて、予測モード符号化部294Aが、remランク変換テーブルを設定する(S46)。
次に、予測モード符号化部294Aが、設定されたremランク変換テーブルを参照して、予測モードからremランクを導出し(S47)、導出したremランクに基づいてrem_idxを導出する(S48)。
次に、変換テーブル更新部295Aが、導出したremランクに応じてremランク変換テーブルを更新する(S49)。
(作用・効果)
以上に示したように、動画像復号装置1は、予測モードと、該予測モードのランクとが対応付けられた変換テーブル156を参照して、画像の符号化データ#1から復号したランクを予測モードに変換する動画像復号装置1において、復号済み領域におけるコンテキストに応じて、複数の変換テーブル156の中から、参照するテーブルを選択する変換テーブル選択部157を備える構成である。
また、以上に示したように、動画像符号化装置2は、予測モードと、該予測モードのランクとが対応付けられた変換テーブル256を参照して、予測モードをランクに変換して符号化する動画像符号化装置2において、復号済み領域におけるコンテキストに応じて、複数の変換テーブル256の中から、参照するテーブルを選択する変換テーブル選択部297を備える構成である。
よって、復号の処理状況(コンテキスト)に応じて、符号化効率のよい変換テーブルを参照することができる。その結果、符号化効率が向上するという効果を奏する。
〔3〕 さらなる構成例の開示
以下において、本発明のさらなる構成例について開示する。なお以下では、実施形態1の単一変換テーブル153、実施形態2の変換テーブル156およびrem変換テーブルを、まとめて変換テーブルと表記している。
(変換テーブルの更新について)
[タイミング]
変換テーブルを更新するタイミングは、任意であり、必ずしも予測モードの復号ごとに更新しなくてもかまわない。
複数のPU復号後に、変換テーブルを更新してもよい。
例えば、LCU復号後に、当該LCUに含まれるPUに割り付けられた予測モードを用いて、変換テーブルを更新することで、当該LCUに含まれるPUに関して予測モードの復元を並列処理することができる。
また、CU復号後に、当該CUに含まれるPUに割り付けられた予測モードを用いて、変換テーブルを更新することで、当該CUに含まれるPUに関して予測モードの復元を並列処理することができる。
以上の構成を言い換えれば、変換テーブルを参照する動画像復号装置1において、「予測単位より大きい符号化単位において、該符号化単位に含まれる全ての予測単位に対して同一の要素値を持つ変換テーブルを用いて予測モードの復元を行う」構成である。
[最悪ケースの処理軽減]
8×8のCUに、4つの4×4のPUが含まれる場合、4×4PUのいずれか一つ(例えば8×8CU内の左上に位置する4×4PU)における予測モードのみを用いて変換テーブルを更新してもよい。これにより処理量の軽減を図ることができる。
また、64×64のLCUに含まれ、左上に位置するPU、または、スキャン順で始めに位置するCU内の左上に位置するPUにおける予測モードのみを用いて変換テーブルを更新してもよい。
なお、CU及びPUが該当サイズ(例えば8×8CU)であるか否かは、CU及びPUの幅や高さで判定することなく、当該CUが位置する深度(DEPTH)で判定を行うことも可能である。例えば、LCUのサイズがLCUW×LCUHで、当該CUの深度がDである場合には、当該CUの幅はLCUW/2のD乗で求められる。CUの幅がTWであるか否かは、深度DがLOG2(LCUW/TW)であるか否かで判定可能である。また、当該CUの上位CU(もしくは当該PUが属するCU)の深度とCU及びPUの分割タイプ(分割数と分割形状)で判定することも可能である。例えば、当該PUの属するCUが8×8でありPU分割数が4分割である場合にはPUサイズは4×4となり、CUサイズとPU分割数からPUサイズの判定が可能である。また、あるCUの左上に位置するか否かは、CU内の相対位置を示す番号を用いて判定可能である。多くの場合、左上は0の番号が振られる。
また、PUサイズに依存せず、(8k、8l)の位置のフレーム内の画素(ただし、k、lは0以上の整数)に対応するPUの予測モードに基づいて変換テーブルを更新してもよい。
また、スライス内に含まれるPUのうち、偶数番目に処理されるPUに対応する予測モードのみに基づいて変換テーブルを更新してもよい。
一般的には、所定の単位内に複数のPUを含む場合に、当該所定の単位内に含まれる一部のPUに基づいて変換テーブルを更新してもよい。
(MPMを用いない例)
隣接予測モードおよび変換テーブルに基づいて、一時的な変換テーブルである一時変換テーブルを作成して、予測モードと、ランクとのマッピングに用いてもよい。
なお、以下では、符号化時において、テーブル作成の対象となる予測モードに対応するランクが、小さいランクにより短い符号を割り当てる可変長符号化方式により符号化されているものとする。
局所変換テーブルは、変換テーブルを基準として作成する。具体的には、局所変換テーブルは、変換テーブルにおいて、隣接予測モードおよびDC予測モードに対して、より小さいランクが対応付けられるように修正することで作成する。
変換テーブルは、フレーム内の予測モードの分布を反映して生成される。そのため、局所的に発生確率が高いモード(隣接予測モード)およびシーケンスの種類によらず発生確率が高い予測モード(DCモード)も用いて修正することで、対象PUにおける予測モードの発生確率により適した変換テーブルを生成することができる。
以上の構成を言い換えれば、動画像復号装置1において、「隣接予測モードにより小さいランクが割り当てられるよう変換テーブルを修正することで局所変換テーブルを作成し、局所変換テーブルを参照して復号されたランクから予測モードを復元する」構成である。
(各実施形態の組み合わせ)
実施形態1に係る動画像復号装置1が備える可変長復号部11および実施形態2に係る動画像復号装置1が備える可変長復号部11Aを組み合わせることもできる。
例えば、動画像復号装置1において、複数の予測セットのうち、一部の予測セットについて単一変換テーブル153を規定し、当該一部以外の他の予測セットについてコンテキストに応じた変換テーブル156を規定する構成としてもよい。
また、実施形態1に係る動画像符号化装置2が備える符号化データ生成部29および実施形態2に係る動画像符号化装置2が備える符号化テータ生成部29Aを組み合わせることもできる。上記動画像復号装置1と同様の構成とすることができる。
〔応用例〕
上述した動画像符号化装置2及び動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像符号化装置2及び動画像復号装置1を、動画像の送信及び受信に利用できることを、図54を参照して説明する。
図54の(a)は、動画像符号化装置2を搭載した送信装置PROD_Aの構成を示したブロック図である。図54の(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図54の(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図54の(b)は、動画像復号装置1を搭載した受信装置PROD_Bの構成を示したブロック図である。図54の(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置1は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図54の(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
次に、上述した動画像符号化装置2及び動画像復号装置1を、動画像の記録及び再生に利用できることを、図55を参照して説明する。
図55の(a)は、上述した動画像符号化装置2を搭載した記録装置PROD_Cの構成を示したブロック図である。図55の(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部C6を更に備えていてもよい。図55の(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HD(Hard Disk)レコーダなどが挙げられる(この場合、入力端子PROD_C4又は受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5又は画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3又は受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図55の(b)は、上述した動画像復号装置1を搭載した再生装置PROD_Dの構成を示したブロックである。図55の(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置1は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図55の(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4又は送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(ハードウェア的実現およびソフトウェア的実現)
また、上述した動画像復号装置1および動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(Compact Disc Read-Only Memory)/MOディスク(Magneto-Optical disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)/CD−R(CD Recordable)/ブルーレイディスク(Blu-ray Disc:登録商標)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
1 動画像復号装置(画像復号装置)
11、11A 可変長復号部
112、112A MPM導出部(推定手法指定インデックス復号手段、選択手段)
113 MPM判定部
114、114A 予測モード復元部(予測モード変換手段)
115、115A 変換テーブル更新部(変換テーブル更新手段、判定手段)
116 色差予測モード復元部(追加手段)
117 変換テーブル選択部(変換テーブル選択手段)
151 コンテキスト記憶部
153、153A、153B、153C 単一変換テーブル(変換テーブル、順位情報)
154 色差予測モード定義情報記憶部
155、155B 類似予測モードテーブル
156 変換テーブル
2 動画像符号化装置(画像符号化装置)
29、29A 符号化データ生成部
251 コンテキスト記憶部
253 単一変換テーブル(変換テーブル、順位情報)
254 色差予測モード定義情報記憶部
256 変換テーブル
291 予測セット決定部
292、292A MPM導出部(推定手法指定インデックス復号手段、選択手段)
293 MPM判定部
294、294A 予測モード符号化部(予測モード変換手段)
295、295A 変換テーブル更新部(変換テーブル更新手段、判定手段)
296 色差予測モード符号化部(追加手段)
297 変換テーブル選択部(変換テーブル選択手段)
354 差分値カウンタ(カウンタ)
355 回数カウンタ(カウンタ)
356 sumカウンタ(カウンタ)

Claims (17)

  1. 複数の予測セットから選択した予測セットに含まれる予測モードを用いて予測画像を生成する画像復号装置において、
    上記選択した予測セットに含まれる少なくとも一部の予測モードと、該予測モードの順位とが対応付けられた変換テーブルであって、異なる予測セットの間で共通の変換テーブルを、該予測モードに該予測モードの発生確率に応じた順位が対応付けられるように更新する変換テーブル更新手段を備えることを特徴とする画像復号装置。
  2. 上記変換テーブルでは、上記複数の予測セットの積集合の部分集合に含まれる予測モードが、上記順位と対応付けられており、
    上記変換テーブル更新手段は、上記積集合に含まれる上記予測モードが復元された場合に上記変換テーブルを更新することを特徴とする請求項1に記載の画像復号装置。
  3. 上記変換テーブルでは、上記複数の予測セットに共通に含まれる予測モードが、上記順位と対応付けられており、
    さらに、上記複数の予測セットに共通に含まれる予測モードでない予測モードを、上記複数の予測セットに共通に含まれる予測モードに変換する予測モード変換手段を備え、
    上記変換テーブル更新手段は、上記変換された予測モードについて上記変換テーブルを更新することを特徴とする請求項1に記載の画像復号装置。
  4. 上記変換テーブルでは、上記複数の予測セットの和集合に含まれる予測モードが、上記順位と対応付けられており、
    復号対象ブロックにおいて選択した予測セットにおいて含まれる予測モードの数が上記和集合に含まれる予測モードの数未満であるとき、復号された順位を上記和集合に含まれる予測モードに対する順位に変換することを特徴とする請求項1に記載の画像復号装置。
  5. 上記変換テーブルにおけるある順位の発生回数と当該ある順位より1高い他の順位の発生回数とをカウントするカウンタ、または、ある順位の発生回数と、当該ある順位より1高い他の順位の発生回数との差分値または差分近似値をカウントするカウンタと、
    上記カウンタの値に基づいて、上記ある順位の発生回数が、上記他の順位の発生回数以上か否かを判定する判定手段とを備え、
    上記変換テーブル更新手段は、上記判定手段の判定結果に基づいて、上記変換テーブルを更新することを特徴とする請求項1に記載の画像復号装置。
  6. 対象符号化単位のサイズが、符号化単位が取り得るサイズのうち、最も小さい場合、該対象符号化単位に含まれる一つの予測単位の予測モードのみに基づいて上記変換テーブルを更新する請求項1から5のいずれか1項に記載の画像復号装置。
  7. 予測セットに含まれる予測モードのうち、推定された予測モード以外の予測モードに割り付けられた残余モードインデックスを示すバイナリを、コンテキスト適応的に算術符号化方式により復号する復号手段を備え、
    上記復号手段は、上記バイナリが、プレフィックス部およびサフィックス部から構成されているとき、上記プレフィックス部のみを、コンテキストを参照して復号することを特徴とする請求項1から6のいずれか1項に記載に画像復号装置。
  8. 予測モードと、該予測モードの順位とが対応付けられた変換テーブルを参照して、画像の符号化データから復号した順位を予測モードに変換する画像復号装置において、
    復号済み領域における復号画像の画素値または復号した符号化パラメータの値に応じて、複数の変換テーブルの中から、参照する上記変換テーブルを選択する変換テーブル選択手段を備えることを特徴とする画像復号装置。
  9. 上記変換テーブル選択手段は、復号済みの近傍ブロックにおいて復元されている予測モードの予測方向に応じて変換テーブルを選択することを特徴とする請求項8に記載の画像復号装置。
  10. 上記変換テーブル選択手段は、復号済みの複数の近傍ブロックにおいて復元されている予測モードが、互いに一致または類似しているか否かに応じて変換テーブルを選択することを特徴とする請求項8に記載の画像復号装置。
  11. 処理対象である対象ブロックの周辺のブロックに割り付けられた予測モードに基づいて、該対象ブロックの予測モードを推定し、推定した予測モードを用いて予測画像を生成する画像復号装置において、
    予測モードの推定手法を指定する推定手法指定インデックスを復号する推定手法指定インデックス復号手段と、
    予測モードと、該予測モードの順位との対応付けを示す順位情報を参照して、より小さい上記推定手法指定インデックスに対して、上記複数の推定手法により推定される予測モードのうち、より高い順位の予測モードを選択する選択手段とを備えることを特徴とする画像復号装置。
  12. 各予測モードには、互いに異なる複数の処理の何れかが対応付けられており、
    当該画像復号装置は、対象ブロックの予測モードの推定値として複数の推定予測モードを導出するものであり、
    導出された上記複数の推定予測モードの各々に対応付けられた処理は互いに異なっていることを特徴とする請求項11に記載の画像復号装置。
  13. 処理対象である対象ブロックについて、輝度予測モードに基づいて輝度の予測画像を生成し、色差予測モードに基づいて色差の予測画像を生成する画像復号装置において、
    輝度予測モードと、該輝度予測モードの出現頻度の順位との対応付けを示す順位情報を参照して、最も高い順位を示す順位情報に対応付けられている輝度予測モードを、予測画像を生成するために選択可能な色差予測モードとして追加する追加手段を備えることを特徴とする画像復号装置。
  14. 複数の予測セットから選択した予測セットに含まれる予測モードに対応付けられた順位を符号化する画像符号化装置において、
    上記選択した予測セットに含まれる少なくとも一部の予測モードと、該予測モードの順位とが対応付けられた変換テーブルであって、異なる予測セットの間で共通の変換テーブルを、該予測モードに該予測モードの発生確率に応じた順位が対応付けられるように更新する変換テーブル更新手段を備えることを特徴とする画像符号化装置。
  15. 予測モードと、該予測モードの順位とが対応付けられた変換テーブルを参照して、予測モードを順位に変換して符号化する画像符号化装置において、
    復号済み領域における復号画像の画素値または復号した符号化パラメータの値に応じてに応じて、複数の変換テーブルの中から、参照する上記変換テーブルを選択する変換テーブル選択手段を備えることを特徴とする画像符号化装置。
  16. 処理対象である対象ブロックの周辺のブロックに割り付けられた予測モードに基づいて、該対象ブロックの予測モードを推定し、推定した予測モードを符号化する画像符号化装置において、
    予測モードと、該予測モードの順位との対応付けを示す順位情報を参照して、予測モードの推定手法を指定する推定手法指定インデックスが小さいほど、上記複数の推定手法により推定される予測モードのうち、より高い順位の予測モードを選択する選択手段とを備えることを特徴とする画像符号化装置。
  17. 処理対象である対象ブロックについて、輝度予測モードを符号化し、色差予測モードを符号化する画像符号化装置において、
    輝度予測モードと、該輝度予測モードの出現頻度の順位との対応付けを示す順位情報を参照して、最も高い順位を示す順位情報に対応付けられている輝度予測モードを、色差の予測画像を生成するために選択可能な色差予測モードとして追加する追加手段を備えることを特徴とする画像符号化装置。
JP2011196545A 2011-09-08 2011-09-08 画像復号装置、および画像符号化装置 Withdrawn JP2013058939A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011196545A JP2013058939A (ja) 2011-09-08 2011-09-08 画像復号装置、および画像符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011196545A JP2013058939A (ja) 2011-09-08 2011-09-08 画像復号装置、および画像符号化装置

Publications (1)

Publication Number Publication Date
JP2013058939A true JP2013058939A (ja) 2013-03-28

Family

ID=48134417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011196545A Withdrawn JP2013058939A (ja) 2011-09-08 2011-09-08 画像復号装置、および画像符号化装置

Country Status (1)

Country Link
JP (1) JP2013058939A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015164328A (ja) * 2011-06-09 2015-09-10 クゥアルコム・インコーポレイテッドQualcomm Incorporated 隣接モードを使用したビデオコーディングのための拡張イントラ予測モードシグナリング
JP2015177295A (ja) * 2014-03-14 2015-10-05 三菱電機株式会社 端末装置及びデータ管理装置
CN105103547A (zh) * 2013-04-05 2015-11-25 三菱电机株式会社 彩色图像编码装置、彩色图像解码装置、彩色图像编码方法以及彩色图像解码方法
WO2018037896A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法
JP2018523372A (ja) * 2015-06-18 2018-08-16 クアルコム,インコーポレイテッド イントラ予測およびイントラモードコーディング
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
WO2022174659A1 (zh) * 2021-02-21 2022-08-25 腾讯科技(深圳)有限公司 视频编解码方法、装置、计算机可读介质及电子设备
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US11743509B2 (en) 2016-08-15 2023-08-29 Qualcomm Incorporated Intra video coding using a decoupled tree structure

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264280B2 (en) 2011-06-09 2019-04-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
JP2015164328A (ja) * 2011-06-09 2015-09-10 クゥアルコム・インコーポレイテッドQualcomm Incorporated 隣接モードを使用したビデオコーディングのための拡張イントラ予測モードシグナリング
CN105103547A (zh) * 2013-04-05 2015-11-25 三菱电机株式会社 彩色图像编码装置、彩色图像解码装置、彩色图像编码方法以及彩色图像解码方法
JPWO2014163200A1 (ja) * 2013-04-05 2017-02-16 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
US9774872B2 (en) 2013-04-05 2017-09-26 Mitsubishi Electric Corporation Color image encoding device, color image decoding device, color image encoding method, and color image decoding method
JP2015177295A (ja) * 2014-03-14 2015-10-05 三菱電機株式会社 端末装置及びデータ管理装置
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
JP2018523372A (ja) * 2015-06-18 2018-08-16 クアルコム,インコーポレイテッド イントラ予測およびイントラモードコーディング
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US11743509B2 (en) 2016-08-15 2023-08-29 Qualcomm Incorporated Intra video coding using a decoupled tree structure
WO2018037896A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
WO2022174659A1 (zh) * 2021-02-21 2022-08-25 腾讯科技(深圳)有限公司 视频编解码方法、装置、计算机可读介质及电子设备

Similar Documents

Publication Publication Date Title
US11627337B2 (en) Image decoding device
US10547861B2 (en) Image decoding device
US10630999B2 (en) Image decoding device, image decoding method, and image encoding device
JP2013058939A (ja) 画像復号装置、および画像符号化装置
JP6190361B2 (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
WO2016203881A1 (ja) 算術復号装置及び算術符号化装置
WO2014115283A1 (ja) 画像復号装置、および画像符号化装置
JP5995448B2 (ja) 画像復号装置、および画像符号化装置
JP2013192118A (ja) 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP2013118424A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造
WO2012090962A1 (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造、ならびに、算術復号装置、算術符号化装置
AU2015264943B2 (en) Image decoding device, image encoding device, and data structure of encoded data
JP6162289B2 (ja) 画像復号装置および画像復号方法
WO2012147947A1 (ja) 画像復号装置、および画像符号化装置
JP2016076904A (ja) Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141202