JP2016076904A - Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。 - Google Patents

Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。 Download PDF

Info

Publication number
JP2016076904A
JP2016076904A JP2014207788A JP2014207788A JP2016076904A JP 2016076904 A JP2016076904 A JP 2016076904A JP 2014207788 A JP2014207788 A JP 2014207788A JP 2014207788 A JP2014207788 A JP 2014207788A JP 2016076904 A JP2016076904 A JP 2016076904A
Authority
JP
Japan
Prior art keywords
flag
value
offset
prediction
bin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014207788A
Other languages
English (en)
Inventor
健史 筑波
Kenji Tsukuba
健史 筑波
知宏 猪飼
Tomohiro Igai
知宏 猪飼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014207788A priority Critical patent/JP2016076904A/ja
Publication of JP2016076904A publication Critical patent/JP2016076904A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】符号化効率を向上させつつ、復号処理を低減するDCオフセット情報復号装置、画像復号装置、およびDCオフセット情報符号化装置を提供する。【解決手段】DCオフセット情報のシンタックスのうち、DCオフセット情報有無フラグdepth_dc_flagを削除する。さらに、DCオフセット係数のBin列のプリフィックス部分のBinに対して、符号化パラメータ、又は、Bin位置に応じてコンテキストを切り替えて、DCオフセット係数のBin列を復号する。【選択図】図1

Description

本発明は、算術符号化された符号化データを復号する算術復号装置、および算術復号装置を備える画像復号装置に関する。また、算術符号化された符号化データを生成する算術符号化装置に関する。
複数視点の画像符号化技術には、複数の視点の画像を符号化する際に画像間の視差を予測することによって情報量を低減する視差予測符号化や、その符号化方法に対応した復号方法が提案されている。視点画像間の視差を表すベクトルを変位ベクトルと呼ぶ。変位ベクトルは、水平方向の要素(x成分)と垂直方向の要素(y成分)を有する2次元のベクトルであり、1つの画像を分割した領域であるブロック毎に算出される。また、複数視点の画像を取得するには、それぞれの視点に配置されたカメラを用いることが一般的である。複数視点の符号化では、各視点画像は、複数のレイヤにおいてそれぞれ異なるレイヤとして符号化される。複数のレイヤから構成される動画像の符号化方法は、一般に、スケーラブル符号化又は階層符号化と呼ばれる。スケーラブル符号化では、レイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間で予測を行わずに基準となるレイヤは、ベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。レイヤが視点画像から構成される場合のスケーラブル符号化を、ビュースケーラブル符号化と呼ぶ。このとき、ベースレイヤはベースビュー、拡張レイヤは非ベースビューとも呼ばれる。さらに、ビュースケーラブルに加え、テクスチャ(画像)からなるテクスチャレイヤ(画像レイヤ)と、デプスマップ(距離画像)からなるデプスレイヤ(距離画像レイヤ)から構成される場合のスケーラブル符号化は、3次元スケーラブル符号化と呼ばれる。
例えば、非特許文献1のHEVCベースの3次元スケーラブル符号化技術がある。非特許文献1では、効率良くデプスマップを符号化するために、DMM予測(Depth Modeling Mode;デプスイントラ予測もという)や、領域別DC符号化(SDC; Segment-wise DC Coding)というデプス符号化ツールがある。
DMM予測は、デプスマップ上の対象ブロック(デプスブロックとも称する)は、2つの非矩形の平坦領域から構成され、各平坦領域のデプス値は固定値で表現されるというデプスモデルに基づいている。また、デプスモデルは、各画素が属する領域を表わすパーティション情報(ウェッジレットパターンともいう)、及び各領域のデプス値情報から構成される。
領域別DC符号化は、デプスマップ上の対象ブロックにおいて、1又は複数の領域毎に、予測残差を周波数変換・量子化をせずに、予測残差の平均値(DC値)を表わす予測残差DC情報を符号化する技術である。なお、デプス値情報、及び予測残差DC情報を総称して、DCオフセット情報と称する。非特許文献1において、DCオフセット情報は、対象ブロック内の1又は複数の領域に対するDC情報の有無を示すDCオフセット有無フラグ(depth_dc_flag(図21のSYND1P))、各領域のDCオフセットの値の大きさを示すDCオフセット係数(depth_dc_abs(図21のSYND2P))、及び各領域のDCオフセット値の符号を示すサインフラグ(depth_dc_sign_flag(図21のSYND3P))のシンタックスから構成される。各々のシンタックスは、コンテキスト適応型2値算術符号化(CABAC; Context-based Adaptive Binary Arithmetic Coding)によって復号/符号化される。
CABACでは、処理対象のシンタックスの2値化データ列(Bin列とも呼ぶ)の各シンボル(1ビット, Binとも呼ぶ)を符号化する際、各シンタックスに関連付けられたコンテキストインデックスが参照され、当該コンテキストインデックスによって指定されるコンテキスト変数に含まれる確率情報インデックスの指し示す生起確率に応じた算術符号化が行われる。例えば、DCオフセット係数depth_dc_absは、DCオフセット係数depth_dc_absのBin列のうち、図22に示すように、プリフィックス部分(0ビット目から2ビット目まで(binIdx=0..2))のBinは、コンテキストを利用して符号化されるコンテキスト符号化Binであり、サフィックス部分(3ビット目以降(binIdx>=3))のBinは、コンテキストを用いない(0と1の生起確率を0.5に固定した)バイパスモードによって符号化(バイパス符号化)されるバイパス符号化Binである。
「3D-HEVC Draft Text 5 (JCT3V-I1001v3)」, Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Sapporo, JP, 3 - 9 July, 2014(2014年8月13日公開)
しかしながら、従来技術では、以下(1)〜(2)の課題あがある。
(1)対象ブロックにおいて、2以上の領域のDCオフセット値が共に0である場合、DCオフセット情報を、DCオフセット情報有無フラグdepth_dc_flagの値を0として符号化するか、又は、DCオフセット情報有無フラグdepth_dc_flagの値を1、かつ、各領域のDCオフセット係数depth_dc_absの値を0として符号化するかの2択がありえ、シンタックス構造に冗長性がある。
(2)さらに、DCオフセット係数depth_dc_absのBin列のプリフィックス部分のシンボルの発生確率を考慮したコンテキストモデルではないため、符号化効率が低いという課題がある。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、DCオフセット情報のシンタックス構造の簡素化、及びDCオフセット係数のコンテキストモデルの改良によって、符号化効率を向上させつつ、処理量を削減することが可能な算術復号装置等を実現することにある。
上記の課題を解決するために、本発明の態様1に係るDCオフセット情報復号装置は、コンテキストインデックスで指定されるコンテキスト、及びバイパスフラグを参照して、符号化データから1又は複数のBinからなるBin列を復号する算術符号復号部と、前記Bin列からDCオフセット係数のシンタックス値を復号する係数値復号部と、前記Bin列からサインフラグのシンタックス値を復号するサインフラグ復号部と、前記DCオフセット係数のシンタックス値、及び前記サインフラグのシンタックス値を参照してDCオフセット値を導出するDCオフセット値導出部を備える対象PUの分割領域毎にDCオフセット情報の符号化データを復号するDCオフセット情報復号装置であって、前記係数値復号部は、さらに、DCオフセット係数の各Binに対応するコンテキストインデックス、及びバイパスフラグをそれぞれ導出することを特徴とする。
上記の課題を解決するために、本発明の態様9に係る画像復号装置は、上記態様1に記載のDCオフセット情報復号装置を備えることを特徴とする。
上記の課題を解決するために、本発明の態様10に係るDCオフセット情報符号化装置は、DCオフセット値から、DCオフセット係数のシンタックス値、及びサインフラグのシンタックス値を導出するシンタックス値導出部と、前記DCオフセット係数のシンタックス値をBin列へ符号化する係数値符号化部と、前記サインフラグのシンタックス値をBin列へ符号化するサインフラグ符号化部と、コンテキストインデックスで指定されるコンテキスト、及びバイパスフラグを参照して、1又は複数のBinからなるBin列を符号化して符号化データを生成する算術符号符号化部とを備える対象PUの分割領域毎にDCオフセット情報の符号化データを生成するDCオフセット情報符号化装置であって、前記係数値符号化部は、さらに、DCオフセット係数の各Binに対応するコンテキストインデックス、及びバイパスフラグをそれぞれ導出することを特徴とする。
上記の課題を解決するために、本発明の態様17に係る画像符号化装置は、上記態様10に記載のDCオフセット情報符号化装置を備えることを特徴とする。
本発明の一態様によれば、DCオフセット情報のシンタックスのうち、DCオフセット情報有無フラグdepth_dc_flagを削除し、さらに、DCオフセット係数のBin列のプリフィックス部分のBinに対して、符号化パラメータ、又は、Bin位置に応じてコンテキストを切り替えて、DCオフセット係数のBin列を復号するため、符号化効率を向上させつつ、復号処理を低減する効果を奏する。
本発明の実施形態に係るDCオフセット情報復号部の詳細構成を示すブロック図である。 本発明の実施形態に係る画像伝送システムの構成を示す概略図である。 本実施例に係る動画像復号装置の概略的構成について示した機能ブロック図である。 本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図であって、(a)は、シーケンスSEQを既定するシーケンスレイヤ、(b)は、ピクチャPICTを規定するピクチャレイヤ、(c)は、スライスSを規定するスライスレイヤ、(d)は、スライスデータに含まれるツリーブロックを規定するツリーブロックレイヤ、(e)は、符号化ツリーに含まれる符号化単位(Coding Unit; CU)を規定するCUレイヤ(符号化ユニットレイヤ)を示す図である。 CUレイヤに含まれるシンタックスの例を示す図である。(a)は、イントラCUに係るシンタックステーブルの一例を示し、(b)は、イントラ予測モード拡張に係るシンタックステーブルの一例である。 本実施例に係るDCオフセット情報のシンタックスの一例である。 DCオフセット係数のシンタックス値とBin列の対応の一例を説明する図である。 本実施例に係るDCオフセット情報の各シンタックスのBin位置に対応するコンテキスト増分値の一例を説明する図である。 上記動画像復号装置で利用されるイントラ予測方式の分類と対応する予測モード番号の例を示す図である。 方向予測に属する33種類の予測モードについて、予測モードの識別子に対応する予測方向を示す図である。 上記動画像復号装置が備える予測画像生成部の構成例について示す機能ブロック図である。 本実施例に係るDMM予測部の詳細構成を示すブロック図である。 本実施例に係る領域毎のDC予測値導出時に利用する参照画素を説明するための図である。(a)は、(vertEdgeFlag,horEdgeFlag)=(0,0)、又は(vertEdgeFlag,horEdgeFlag)=(1,1)の時に利用する参照画素を示し、(b)は(vertEdgeFlag,horEdgeFlag)=(0,1)の時に利用する参照画素を示し、(c)は(vertEdgeFlag,horEdgeFlag)=(1,0)の時に利用する参照画素の一例である。 DMM予測の概略について説明する図である。(a)はブロック上のオブジェクトのエッジ境界を示す例であり、(b)は該ブロックを、オブジェクトのエッジ境界に沿って2つ領域(R0、R1)へ分割することを示す分割パターン(wedgePattern)の一例を示し、(c)上記各分割された領域へ予測値を割り当てた一例である。 DMM予測において、ウェッジレット分割(DMM1)に基づくウェッジレットパターンの生成方法を説明する図である。(a)はブロック上の始点S、及び終点Eの一例であり、(b)は、始点Sと終点Eを結ぶ線分の一例を示し、(c)線分の右下側上の上記動画像復号装置が備える可変長復号部の構成例について示す機能ブロック図である。 DMM1予測において、ウェッジレットパターンリスト生成部において生成されるウェッジ方向wedgeOri(wedgeOri=0..5)別のウェッジレットパターンの一例を説明するための図である。(a)は、wedgeOri=0のウェッジレットパターンの例を示し、(b)は、wedgeOri=1のウェッジレットパターンの例を示し、(c)は、wedgeOri=2のウェッジレットパターンをの例を示し、(d)は、wedgeOri=3のウェッジレットパターンの例を示し、(e)は、wedgeOri=4のウェッジレットパターンの例を示し、(f)はwedgeOri=5のウェッジレットパターンの例である。 本発明の一実施形態に係る動画像符号化装置の構成について示す機能ブロック図である。 本発明の実施形態に係るDCオフセット情報符号化部の詳細構成を示すブロック図である。 上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。(a)は、動画像符号化装置を搭載した送信装置を示しており、(b)は、動画像復号装置を搭載した受信装置を示している。 上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。(a)は、動画像符号化装置を搭載した記録装置を示しており、(b)は、動画像復号装置を搭載した再生装置を示している。 従来技術に係るDCオフセット情報のシンタックスの一例である。 従来技術に係るDCオフセット情報の各シンタックスの各Binに対応するコンテキスト増分値の一例である。
〔概要〕
以下、図面を参照しながら本発明の実施形態について説明する。
図2は、本実施形態に係る画像伝送システム5の構成を示す概略図である。
画像伝送システム5は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム5は、画像符号化装置2、ネットワーク3、画像復号装置2及び画像表示装置4を含んで構成される。
画像符号化装置2には、複数のレイヤ画像(テクスチャ画像ともいう)を示す信号Tが入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて3次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置2は、この信号のそれぞれを符号化して符号化データ#1を生成する。符号化データ#1の詳細については、後述する。視点画像とは、ある視点において観測される2次元画像(平面画像)である。視点画像は、例えば2次元平面内に配置された画素毎の輝度値、又は色信号値で示される。
以下では、1枚の視点画像又は、その視点画像を示す信号をピクチャ(picture)と呼ぶ。本実施形態では、複数のレイヤ画像として、少なくともベースレイヤ画像と、ベースレイヤ画像以外の画像(拡張レイヤ画像)を含む画像の符号化および復号を扱う。複数のレイヤのうち、画像もしくは符号化パラメータにおいて参照関係(依存関係)にある2つのレイヤについて、参照される側の画像を、第1レイヤ画像、参照する側の画像を第2レイヤ画像と呼ぶ。例えば、ベースレイヤを参照して符号化される(ベースレイヤ以外の)エンハンスレイヤ画像がある場合、ベースレイヤ画像を第1レイヤ画像、エンハンスレイヤ画像を第2レイヤ画像として扱う。なお、エンハンスレイヤ画像の例としては、ベースビュー以外の視点の画像やデプス画像などがある。
視点画像は、例えば2次元平面内に配置された画素毎の輝度値、又は色信号値で示される。また、デプスマップ(depth map、「デプス画像」、「深度画像」、「距離画像」とも言う)とは、被写空間に含まれる被写体や背景の、視点(撮影装置等)からの距離に対応する信号値(「デプス値」、「深度値」、「デプス」等と呼ぶ)であって、二次元平面に配置された画素毎の信号値(画素値)からなる画像信号である。デプスマップを構成する画素は、視点画像を構成する画素と対応する。従って、デプスマップは、被写空間を二次元平面に射影した基準となる画像信号である視点画像を用いて、三次元の被写空間を表すための手がかりとなる。
ネットワーク3は、画像符号化装置2が生成した符号化データ#1を画像復号装置1に伝送する。ネットワーク3は、インターネット(internet)、広域ネットワーク(WAN:Wide Area Network)、小規模ネットワーク(LAN:Local Area Network)又はこれらの組み合わせである。ネットワーク3は、必ずしも双方向の通信網に限らず、地上波デジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク3は、DVD(Digital Versatile Disc)、BD(Blu-ray Disc(登録商標))等の符号化データ#1を記録した記憶媒体で代替されても良い。
画像復号装置1は、ネットワーク3が伝送した符号化データ#1のそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Td(復号視点画像TexturePic、及び復号デプスマップDepthPic)を生成して出力する。
画像表示装置4は、画像復号装置1が生成した複数の復号レイヤ画像Tdの全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、3次元画像(立体画像)や自由視点画像が表示され、一部の場合、2次元画像が表示される。画像表示装置4は、例えば、液晶ディスプレイ、有機EL(Electro-luminescence)ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、SNRスケーラブル符号化では、画像復号装置1、画像表示装置4が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
視点画像は、例えば2次元平面内に配置された画素毎の輝度値、又は色信号値で示される。また、デプスマップ(depth map、「デプス画像」、「深度画像」、「距離画像」とも言う)とは、被写空間に含まれる被写体や背景の、視点(撮影装置等)からの距離に対応する信号値(「デプス値」、「深度値」、「デプス」等と呼ぶ)であって、二次元平面に配置された画素毎の信号値(画素値)からなる画像信号である。デプスマップを構成する画素は、視点画像を構成する画素と対応する。従って、デプスマップは、被写空間を二次元平面に射影した基準となる画像信号である視点画像を用いて、三次元の被写空間を表すための手がかりとなる。
以下では、図1〜図16を参照しながら、本発明の一実施形態に係る画像復号装置1および画像符号化装置2について説明する。図3は、画像復号装置1の概略的構成を示す機能ブロック図である。
動画像復号装置1には、動画像符号化装置2がレイヤ画像(1又は複数の視点画像TexturePic、及び視点画像TexturePicに対応する同時刻のデプスマップDepthPic)を符号化した符号化データ#1が入力される。動画像復号装置1は、入力された符号化データ#1を復号して、レイヤ画像#2(1又は複数の視点画像TexturePic、及び視点画像TexturePicに対応する同時刻のデプスマップDepthPic)を外部に出力する。動画像復号装置1の詳細な説明に先立ち、符号化データ#1の構成を以下に説明する。
〔符号化データの構成〕
図4を用いて、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1の構成例について説明する。符号化データ#1は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
符号化データ#1におけるシーケンスレイヤ以下の階層の構造を図4に示す。図4の(a)〜(e)は、それぞれ、シーケンスSEQを規定するシーケンスレイヤ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、符号化ツリーに含まれる符号化単位(Coding Unit; CU)を規定する符号化ユニットレイヤを示す図である。
(シーケンスレイヤ)
シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。シーケンスSEQは、図4の(a)に示すように、ビデオパラメータセット(Video Parameter Set)シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。ここで#の後に示される値はレイヤIDを示す。図4では、#0と#1、すなわちレイヤ0とレイヤ1の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置1が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用を示すフラグ(weighted_pred_flag)が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図4の(b)に示すように、スライスS1〜SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライスS1〜SNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ#1に含まれるデータであって、添え字を付している他のデータについても同様である。
(スライスレイヤ)
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する、スライスセグメント)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図4の(c)に示すように、スライスヘッダSH、及び、スライスデータSDATAを含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、又は、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるBスライスなどが挙げられる。
スライスデータSDATAには、1又は複数のツリーブロックTBLK〜TBLKNC(NCは、スライスデータSDATAに含まれるツリーブロックの総数)が含まれる。
(ツリーブロックレイヤ)
ツリーブロックレイヤでは、処理対象のツリーブロックTBLK(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ツリーブロックTBLKは、ツリーブロックヘッダTBLKHと、符号化単位情報CU〜CUNL(NLはツリーブロックTBLKに含まれる符号化単位情報の総数)とを含む。ここで、まず、ツリーブロックTBLKと、符号化単位情報CUとの関係について説明すると次のとおりである。
ツリーブロックTBLKは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。
ツリーブロックTBLKの上記ユニットは、再帰的な4分木分割により分割されている。この再帰的な4分木分割により得られる木構造のことを以下、符号化ツリー(coding tree)と称する。
以下、符号化ツリーの末端のノードであるリーフ(leaf)に対応するユニットを、符号化ノード(coding node)として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位(CU)とも称する。
つまり、符号化単位情報(以下、CU情報と称する)CU〜CUNLは、ツリーブロックTBLKを再帰的に4分木分割して得られる各符号化ノード(符号化単位)に対応する情報である。
また、符号化ツリーのルート(root)は、ツリーブロックTBLKに対応付けられる。換言すれば、ツリーブロックTBLKは、複数の符号化ノードを再帰的に含む4分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード(すなわち、当該符号化ノードの1階層上位のノードのユニット)のサイズの縦横とも半分である。
(ツリーブロックヘッダ)
ツリーブロックヘッダTBLKHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図4の(d)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TBLK、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
ツリーブロック分割情報SP_TBLKは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各CUの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
また、量子化パラメータ差分Δqpは、対象ツリーブロックにおける量子化パラメータqpと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータqp’との差分qp−qp’である。
(CUレイヤ)
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ここで、CU情報CUに含まれるデータの具体的な内容の説明をする前に、CUに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが1または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(prediction unit;PU)とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との2つがある。
イントラ予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)と、N×Nとがある。
また、インター予測の場合、分割方法は、2N×2N(符号化ノードと同一サイズ)、2N×N、N×2N、および、N×Nなどがある。
また、変換ツリーにおいては、符号化ノードが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(transform unit;TU)とも称する。
(CU情報のデータ構造)
続いて、図4の(e)を参照しながらCU情報CUに含まれるデータの具体的な内容について説明する。図4の(e)に示すように、CU情報CUは、具体的には、スキップフラグSKIP、PT情報PTI、および、TT情報TTIを含む。
スキップフラグSKIPは、対象のPUについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグSKIPの値が1の場合、すなわち、対象CUにスキップモードが適用されている場合、そのCU情報CUにおけるPT情報PTI、および、TT情報TTIは省略される。
PT情報PTIは、CUに含まれるPTに関する情報である。言い換えれば、PT情報PTIは、PTに含まれる1または複数のPUそれぞれに関する情報の集合であり、動画像復号装置1により予測画像を生成する際に参照される。PT情報PTIは、図4の(d)に示すように、予測タイプ情報PType、および、予測情報PInfoを含んでいる。
予測タイプ情報PType(又は、CuPredMode)は、CUに含まれる1又は複数のPUについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。例えば、イントラ予測を用いる場合には、予測タイプ情報CuPredModeは、イントラ予測を示すMODE_INTRAに設定され、インター予測を用いる場合には、インター予測を示すMODE_INTERに設定される。イントラ予測を適用するCUをイントラCUと呼び、インターCUを適用するCUをインターCUとも呼ぶ。
予測情報PInfoは、予測タイプ情報PTypeが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報より構成される。以下では、イントラ予測が適用されるPUをイントラPUとも呼称し、インター予測が適用されるPUをインターPUとも呼称する。
また、予測情報PInfoは、対象PUの形状、サイズ、および、位置を指定する情報が含まれる。上述のとおり予測画像の生成は、PUを単位として行われる。予測情報PInfoの詳細については後述する。
TT情報TTIは、CUに含まれるTTに関する情報である。言い換えれば、TT情報TTIは、TTに含まれる1または複数のTUそれぞれに関する情報の集合であり、動画像復号装置1により残差データを復号する際に参照される。なお、以下、TUのことを変換ブロックと称することもある。
TT情報TTIは、図4の(d)に示すように、対象CUの各変換ブロックへの分割パターンを指定するTT分割情報SP_TU、および、TU情報TUI1〜TUINT(NTは、対象CUに含まれる変換ブロックの総数)を含んでいる。
TT分割情報SP_TUは、具体的には、対象CUに含まれる各TUの形状、サイズ、および、対象CU内での位置を決定するための情報である。例えば、TT分割情報SP_TUは、対象となるノードの分割を行うのか否かを示す情報(split_transform_unit_flag)と、その分割の深度を示す情報(trafoDepth)とから実現することができる。
また、TU分割情報SP_TUには、各TUに非ゼロの変換係数が存在するか否かの情報が含まれる。例えば、個々のTUに対する非ゼロ係数の存否情報(CBF;Coded Block Flag)がり、色空間毎に、輝度lumaに関するCBFをcbf_luma、色差Cbに関するCBFをcbf_cb、色差Crに関するCBFをcbf_crと称する。また、複数のTUに対する非ゼロ係数の存否情報(rqt_root_flag, 又はno_residual_data_flagとも称する)がTU分割情報SP_TUに含まれる。また、各TUに対する非ゼロの変換係数を符号化する代わりに、TUにおいて、1又は複数の領域毎に、予測残差の平均(DC)値を表わす予測残差DC情報(DCオフセット情報)を符号化する(領域別DC符号化を行う)か否かを示すSDCフラグsdc_flagが含まれる。なお、領域別DC符号化は、Segment-wise DC Coding (SDC)とも呼ばれる。特に、イントラ予測における領域別DC符号化を、イントラSDCと呼び、インター予測における領域別DC符号化をインターSDCと呼ぶ。なお、領域別DC符号化が適用される場合、CUサイズ、PUサイズ、及びTUサイズは等しくてもよい。
TU情報TUI1〜TUINTは、TTに含まれる1または複数のTUそれぞれに関する個別の情報である。例えば、TU情報TUIは、量子化予測残差を含んでいる。
各量子化予測残差は、動画像符号化装置2が以下の処理A、又は処理Bを、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
(処理A:周波数変換・量子化を実施する場合)
処理A−1:符号化対象画像から予測画像を減算した予測残差をDCT変換(Discrete Cosine Transform)する;
処理A−2:処理A−1にて得られた変換係数を量子化する;
処理A−3:処理A−2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
(処理B:領域別DC符号化の場合(SDC; Segment-wise DC Coding))
処理B−1:符号化対象画像から予測画像を減算した予測残差の平均値(DC値)を算出する。
処理B−2:処理B−1にて得られたDC値を可変長符号化する。
特に、領域別にDC値を符号化することを、領域別DC符号化(SDC; Segment-Wise DC Coding)と呼び、平坦な領域の予測残差の符号化に有効である。例えば、デプスマップの符号化において、各デプスブロックにおいて、1又は複数に分割された領域の予測残差の符号化に利用される。
(予測情報PInfo)
上述のとおり、予測情報PInfoには、インター予測情報およびイントラ予測情報の2種類がある。
インター予測情報には、動画像復号装置1が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、インター予測情報には、対象CUの各インターPUへの分割パターンを指定するインターPU分割情報、および、各インターPUについてのインター予測パラメータが含まれる。
インター予測パラメータには、予測リスト利用フラグpredFlagLX(X=0,1)と、参照ピクチャインデックスrefIdxLX(X=0,1)と、動きベクトルmvLX(X=0,1)が含まれる。予測リスト利用フラグpredFlagLXは、LX(X=0,1)参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。2つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、1つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。
一方、イントラ予測情報には、動画像復号装置1が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、イントラ予測情報には、対象CUの各イントラPUへの分割パターンを指定するイントラPU分割情報、および、各イントラPUについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラPUについてのイントラ予測(予測モード)を復元するためのパラメータである。
デプスマップDepthPic、及びテクスチャTexturePicの符号化で共通に利用されるイントラ予測(DC予測、Planar予測、Angular予測)に関するパラメータ(イントラ予測パラメータ)には、MPM(Most Probable Mode、以下同様)に関するフラグであるmpm_flag、MPMを選択するためのインデックスであるmpm_idx、および、MPM以外の予測モードを指定するためのインデックス(残余予測モードインデックス)であるrem_idxが含まれる。また、以下において、単に“予測モード”と表記する場合、輝度予測モードのことを指す。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。なお、mpm_flagおよびrem_idxは、それぞれ、非特許文献1における“prev_intra_luma_pred_flag”(図5(a)のSYN02)および“rem_intra_luma_pred_mode”(図5(a)のSYN03)に対応している。また、chroma_modeは、“intra_chroma_pred_mode”(不図示)に対応している。
デプスマップの符号化に利用されるデプスイントラ予測(DMM予測)に関する予測モード(イントラ拡張モード(図5(a)のSYN01))を復元するためのパラメータ(デプスイントラ予測パラメータ, DMM予測モード情報)には、デプスイントラ予測の有無を示すフラグ(デプスイントラ予測有無フラグ)dim_not_present_flag(図5(b)のSYN01A)、デプスイントラ予測の方式(ウェッジレット分割に基づくDMM1予測(INTRA_DMM_WFULL)と輪郭分割に基づくDMM4予測(INTRA_DMM_CREDTEX))を選択するフラグ(デプスイントラモードフラグ)depth_intra_mode_flag(図5(b)のSYN01B)、及びDMM1予測において、PU内の分割パターンを表わすウェッジレットパターンを指定するインデックス(ウェッジレットパターンインデックス)wedge_full_tab_idex(図5(b)のSYN01C)がある。
また、イントラSDCや、インターSDC、及びデプスイントラ予測に関する予測パラメータには、さらに、PU内の分割された1又は2つの領域のデプス予測値を補正するためのDCオフセット情報がある。DCオフセット情報は、PU内の分割領域Ri(i=0..dcNumSeg-1)毎に、図6に示すように、DCオフセット値の絶対値の大きさに関わるシンタックス、すなわち、DCオフセット係数depth_dc_abs[i](図6のSYN02)と、DCオフセット値のサイン符号に関わるシンタックス、サインフラグdepth_dc_sign_flag[i](図6のSYN03)から構成される。DCオフセット係数depth_dc_abs[i]、及びサインフラグdepth_dc_sign_flag[i]は、領域RiのDCオフセット値DcOffset[i]の導出に使われるシンタックスである。なお、変数dcNumSegは、PUに含まれる分割領域数を表わし、Dmmフラグが1(真)のとき、2の値をとり、Dmmフラグが0(偽)の場合、1の値である。
〔動画像復号装置〕
以下では、本実施形態に係る動画像復号装置1の構成について、図1〜図16を参照して説明する。
(動画像復号装置の概要)
動画像復号装置1は、PU毎に予測画像を生成し、生成された予測画像と、符号化データ#1から復号された予測残差とを加算することによって復号画像#2を生成し、生成された復号画像#2を外部に出力する。
ここで、予測画像の生成は、符号化データ#1を復号することによって得られる符号化パラメータを参照して行われる。符号化パラメータとは、予測画像を生成するために参照されるパラメータのことである。符号化パラメータには、インター予測において参照される動きベクトルやイントラ予測において参照される予測モードなどの予測パラメータに加えて、PUのサイズや形状、ブロックのサイズや形状、および、原画像と予測画像との残差データなどが含まれる。以下では、符号化パラメータに含まれる情報のうち、上記残差データを除く全ての情報の集合を、サイド情報と呼ぶ。
また、以下では、復号の対象となるピクチャ(フレーム)、スライス、ツリーブロック、CU、ブロック、および、PUをそれぞれ、対象ピクチャ、対象スライス、対象ツリーブロック、対象CU、対象ブロック、および、対象PUと呼ぶことにする。
なお、ツリーブロックのサイズは、例えば64×64画素であり、CUのサイズは、例えば、64×64画素、32×32画素、16×16画素、8×8画素であり、PUのサイズは、例えば、64×64画素、32×32画素、16×16画素、8×8画素や4×4画素などである。しかしながら、これらのサイズは、単なる例示であり、ツリーブロック、CU、および、PUのサイズは以上に示したサイズ以外のサイズであってもよい。
(動画像復号装置の構成)
再び、図3を参照して、動画像復号装置1の概略的構成について説明すると次のとおりである。図3は、動画像復号装置1の概略的構成について示した機能ブロック図である。
図3に示すように動画像復号装置1は、可変長復号部11、逆量子化・逆変換部13、予測画像生成部14、加算器15およびフレームメモリ16を備えている。
[可変長復号部]
可変長復号部11は、動画像復号装置1から入力された符号化データ#1に含まれる各種のパラメータを復号する。以下の説明では、可変長復号部11が、CABAC等のエントロピー符号化方式により符号化されているパラメータの復号を適宜行うものとする。可変長復号部11は、具体的には、以下の手順により、1フレーム分の符号化データ#1を復号する。
まず、可変長復号部11は、1フレーム分の符号化データ#1を、逆多重化することで、図4に示した階層構造に含まれる各種情報に分離する。例えば、可変長復号部11は、各種ヘッダに含まれる情報を参照して、符号化データ#1を、スライス、ツリーブロックに順次分離する。
ここで、各種ヘッダには、(1)対象ピクチャのスライスへの分割方法についての情報、および(2)対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報が含まれる。
そして、可変長復号部11は、ツリーブロックヘッダTBLKHに含まれるツリーブロック分割情報SP_TBLKを参照して、対象ツリーブロックを、CUに分割する。また、可変長復号部11は、対象CUについて得られる変換ツリーに関するTT情報TTI、および、対象CUについて得られる予測ツリーに関するPT情報PTIを復号する。
可変長復号部11は、対象CUについて得られたTT情報TTIをTU情報復号部12に供給する。また、可変長復号部11は、対象CUについて得られたPT情報PTIを予測画像生成部14に供給する。なお、TT情報TTIには、上述のとおり、変換ツリーに含まれるTUに対応するTU情報TUIが含まれる。また、PT情報PTIには、上述のとおり、対象予測ツリーに含まれる各PUに対応するPU情報PUI(各PUの予測情報Pinfo)が含まれる。
例えば、可変長復号部11は、図5(a)のSYN01に示すイントラ予測モード拡張intra_mode_ext()のシンタックステーブル(図5(b))に従って、デプスイントラ予測に係る符号化パラメータ、デプスイントラ予測有無フラグdim_not_present_flag、デプスイントラモードフラグdepth_intra_mode_flag、PU内の分割パターンを示すウェッジレットパターンを指定するウェッジレットパターンインデックスwedge_full_tab_idxを復号する。
デプスイントラ予測有無フラグは、デプスイントラ予測の有無を示すフラグであり、該フラグの値が1の場合、対象PUに関するデプスイントラ予測モードフラグdepth_intra_mode_flagが符号化データ中になく、イントラ予測モード番号‘0’〜‘34’(DC予測、Planar予測、Angular予測)のいずれかのイントラ予測方式が対象PUに利用されることを示す。また、該フラグが0の場合は、デプスイントラ予測モードdepth_intra_mode_flagが符号化データ中にあることを示す。
デプスイントラモードフラグは、デプスイントラ予測方式の選択に係るフラグである。該フラグが0の場合、デプスイントラ予測は、DMM1予測であることを示す。該フラグが1の場合、デプスイントラ予測は、DMM4予測であることを示す。
また、可変長復号部11は、復号したデプスイントラ予測有無フラグdim_not_present_flagに基づいて、対象PUのDMMフラグDmmFlagを下記式により導出する。
DmmFlag = !dim_not_present_flag
すなわち、DMMフラグには、デプスイントラ予測有無フラグの論理否定の値が設定される。DMMフラグは1の場合、デプスイントラ予測が利用されることを示し、DMMフラグが0の場合、デプスイントラ予測が利用されないことを示す。
また、可変長復号部11は、デプスイントラ予測有無フラグdim_not_present_flagが0場合、対象PUのイントラ予測モード(非デプスイントラ予測)に係るシンタックスとして、MPMフラグprev_intra_luma_pred_flag、推定予測モードMPMを指定するMPMインデックスmpm_idx、及び残余モードインデックスrem_intra_luma_pred_modeを復号する。
ここで、MPMフラグが1の場合は、対象PUのイントラ予測モードが推定予測モードMPMと一致することを示す。該フラグが0の場合は、予測モード番号‘0’〜‘34’(DC予測、Planar予測、Angular予測のいずれか)の中で、推定予測モードMPMを除くいずれかの予測モードであることを示す。
また、可変長復号部11は、インター予測であれば、PUに関するシンタックステーブル(不図示)に従って各シンタックスを復号して、各PUのインター予測パラメータ、すなわち、予測リスト利用フラグpredFlagLX(X=0,1)と、参照ピクチャインデックスrefIdxLX(X=0,1)と、動きベクトルmvLX(X=0,1)等を導出する。
また、可変長復号部11は、対象レイヤにおいて、デプス符号化ツールにおいて、インターSDCの可否を示すフラグinter_sdc_flag(インターSDC可否モードフラグ)と、イントラSDC、又はDMM1予測の可否を示すフラグ(イントラSDCDMM1予測可否フラグ)intra_sdc_dmm_wfull_flagと、DMM4予測の可否を示すフラグ(DMM4予測可否フラグdmm_cpredtex_flagを、パラメータセット(ビデオパラメータセットVPS、シーケンスパラメータセットSPS、ピクチャパラメータセットPPS、スライスヘッダSH)等から復号する。ここで、インターSDC可否フラグが1の場合、対象レイヤにおいて、インターSDCが適用されうることを示し、0の場合、適用されないことを示す。また、イントラSDCDMM1予測可否フラグが1の場合、対象レイヤにおいて、イントラSDC、又は、DMM1予測が適用されうることを示し、0の場合は、適用されないことを示す。また、DMM4予測可否フラグdmm_cpredtex_flagが1の場合、対象レイヤにおいて、DMM4予測が適用されうるを示し、0の場合は、適用されないことを示す。
また、可変長復号部11は、復号したインターSDC可否フラグinter_sdc_flag、及びイントラSDCDMM1予測可否フラグintra_sdc_dmm_wfull_flagに基づいて、SDC可否フラグsdcEnableFlagを導出する。SDC可否フラグsdcEnableFlagが1(真)の場合、CUの符号化データに、SDCフラグsdc_flagが含まれることを示し、可変長復号部11は、符号化データより、SDCフラグを復号する。SDC可否フラグが0の場合には、可変長復号部11は、SDCフラグsdc_flagの値を0と推定する。
sdcEnableFlag = intra_sdc_dmm_wfull_flag || inter_sdc_flag
ここで、SDCフラグが1(真)の場合、対象CUにおいて、領域別DC符号化が利用されることを示し、該フラグが0(偽)の場合、利用されないことを示す。
以下では、本発明に関連の深い領域別DC符号化(イントラSDC、インターSDC)やデプスイントラ予測に利用されるDCオフセット情報の復号処理の詳細について説明する。
(DCオフセット情報復号部111)
可変長復号部11は、さらに、符号化データからDCオフセット情報を復号するDCオフセット情報復号部111を備える。DCオフセット情報復号部111は、図6に示すDCオフセット情報に係るシンタックステーブルに従って、各シンタックス(depth_dc_abs[i], depth_dc_sign_flag[i])を復号する。また、DCオフセット情報復号部111は、各パラメータ(分割領域数dcNumSeg、インターSDCフラグInterSDCFlag)を導出する。分割領域数dcNumSegは、下記式に示すように、DmmFlagが1の場合、2に設定され、DmmFlagが0の場合、1に設定される。
dcNumSeg = DmmFlag ? 2 : 1
図1は、DCオフセット情報復号部111の構成を示すブロック図である。図1に示すように、DCオフセット情報復号部111は、算術符号復号部115、係数復号部112、サインフラグ復号部113、及びDCオフセット値導出部114を備える。
(算術符号復号部115)
算術符号復号部115は、符号化データに含まれる各ビットを、コンテキストを参照して復号するための構成であり、図1に示すように、コンテキスト記録更新部296、及びビット復号部117を備えている。
(コンテキスト記録更新部116)
コンテキスト記録更新部116は、各シンタックスに関連付けられた各コンテキストインデックスctxIdxによって管理されるコンテキスト変数CVを記録及び更新するための構成である。ここで、コンテキスト変数CVには、(1)生起確率が高い優勢シンボルMPS(Most Probable Symbol)と、(2)その優勢シンボルMPSの生起確率を指定する確率状態インデックスpStateIdxとが含まれている。
コンテキスト記録更新部116は、供給されるバイパスフラグBypassFlagが0の場合、すなわち、コンテキストを参照して復号する場合には、DCオフセット情報復号部111が備える各部より供給されるコンテキストインデックスctxIdx及びビット復号部117によって復号されたBinの値を参照することによってコンテキスト変数CVを更新すると共に、更新されたコンテキスト変数CVを次回更新するまで記録する。なお、優勢シンボルMPSは0か1である。また、優勢シンボルMPSと確率状態インデックスpStateIdxは、ビット復号部117がBinを1つ復号する毎に更新される。
コンテキスト記録更新部116は、供給されるバイパスフラグBypassFlagが1の場合、すなわち、シンボル0と1の生起確率を0.5に固定したコンテキスト変数CVを用いて復号する場合(バイパスモードともいう)には、コンテキスト変数CVの値は、常に、シンボル0と1の生起確率を0.5の値に固定され、コンテキスト変数CVの更新は省略される。
なお、コンテキストインデックスctxIdxは、各シンタックスの各Binについてコンテキストを直接指定するものであってもよいし、あるいは、各シンタックス毎に設定されるコンテキストインデックスの開始値を示すオフセットからの増分値(コンテキスト増分値)ctxIncであってもよい。
(ビット復号部117)
ビット復号部117は、コンテキスト記録更新部116に記録されているコンテキスト変数CVを参照し、符号化データに含まれる各ビットを復号する。また、復号して得られたBinの値をDCオフセット情報復号部111の備える各部に供給する。また、復号して得られたBinの値は、コンテキスト記録更新部116にも供給され、コンテキスト変数CVを更新するために参照される。
(係数値復号部112)
係数値復号部112は、算術符号復号部115にてDCオフセット係数depth_dc_abs[i]のBinを復号するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdx、及びバイパスモードの適否を示すバイパスフラグBypassFlagを導出する(コンテキストインデックス導出手段、バイパスフラグ導出手段)。コンテキストインデックス、及びバイパスフラグの導出処理の詳細については、後述する。
係数値復号部112は、コンテキストインデックスctxIdx、及びバイパスフラグBypassFlagを算術符号復号部115へ供給するととに、符号化データに含まれる各ビットを復号するよう算術符号復号部115を指示する。
係数値復号部112は、ビット復号部117より供給される1以上のBinからなるBin列を解釈して、領域i(i=0,1)のDCオフセット係数depth_dc_abs[i]のシンタックス値を復号し、サイン符号復号部113、及びDCオフセット値復号部114へ供給する。
より具体的には、係数値復号部112は、図7に示す値とBin列の対応表に基づいて、Bin列からシンタックス値を復号(導出、変換)する(Bin列シンタックス値変換手段)。例えば、Bin列が”0”(prefix=”0”, suffix=”-”)であれば、図7から、シンタックス値として0を復号する。また、Bin列が”1110” (prefix=”111”, suffix=”0”)であれば、シンタックス値として4を復号する。なお、DCオフセット係数depth_dc_abs[i]のシンタックス値に対するBin列のうち、プリフィックス部分(図7のprefix)は、該シンタックス値と3の最小値をプリフィックス値prefixValとして、変数cRiceParam = 0, 変数cMax = 3とするトランケーティドライス二値化(Truncated Rice binarization, TR二値化, Truncated unary binarization)によって、二値化することで得られる。また、サフィックス部分(図7のsuffix)は、該シンタックス値が2より大きい場合に、”シンタックス値 - 3”の値をサフィックス値suffixValとして、0次指数ゴロム符号(0-th order Exp-Golomb Coding)によって、二値化することで得られる。なお、DCオフセット係数depth_dc_absの二値化は、上記に限定されず、実施可能な範囲で変更されうる。
(コンテキストインデックス、及びバイパスフラグの導出処理)
以下では、図8を参照しながら、DCオフセット係数depth_dc_abs[i]に係るコンテキストインデックス、及びバイパスフラグの導出処理をより具体的に説明する。なお、DCオフセット係数depth_dc_abs[i]のコンテキストインデックス、及びバイパスフラグの導出処理は、復号装置側と符号化装置側において共通である。図においてbinIdxは、係数値復号部112で復号されるシンタックス要素(Syntax Element)のバイナリ列(0か1の要素からなる列)の先頭からのビット位置を示す。binIdx=0は先頭ビット(1ビット目)、binIdx=1は先頭ビットの次のビット(2ビット目)、・・・、binIdx=MはMビット目でである。図中の数は、コンテストインデックスに用いらられるコンテキストインデックス(コンテキスト増分値)ctxIncを示し、表中naは、シンタックス要素の復号でその位置のビットが発生しないこと、bypassは、コンテストを用いずバイパスを用いて復号/符号化されることを示す。
図8(a)に示すように、係数値復号部112は、DCオフセット係数depth_dc_abs[i]のBin列のうち、binIdx = 0..N(例えば、N=2)のBin(プリフィックス部分のBinともいう)は、コンテキストを参照して復号/符号化されるBinとし、各Binについて、例えば、式(eq.1)を用いて、イントラSDCフラグIntraSDCFlagに応じたコンテキスト増分値ctxIncを導出する。すなわち、イントラSDCフラグが1(真)の場合には、コンテキスト増分値ctxIncを0とし、該フラグが0(偽)の場合には、コンテキスト増分値ctxIncを1とする。なお、係数値復号部112は、binIdx=0..2のBinについて、バイパスフラグBypassFlagは0に設定する。なお、ctxIncは、式(eq.1)の代わりに式(eq.1a)によって導出してもよい。すなわち、イントラSDCフラグの値を、コンテキスト増分値として設定する。
ctxInc = IntraSDCFlag ? 0 : 1 (eq.1)
ctxInc = IntraSDCFlag (eq.1a)
ここで、イントラSDCフラグIntraSDCFlagは、SDCフラグsdc_flag、及び予測タイプ情報CuPredModeに基づいて、式(eq.2)によって定める。
IntraSDCFlag = sdc_flag && (CuPredMode == MODE_INTRA) (eq.2)
すなわち、SDCフラグsdc_flagが1(真)、かつ、予測タイプ情報がイントラ予測である場合には、イントラSDCフラグを1(真)とし、それ以外の場合(sdc_flag==0 || CuPredMode != MODE_INTRA)には、イントラSDCフラグを0(偽)とする。すなわち、イントラSDCフラグが1とは、対象PUに関して、イントラSDC符号化を実施することを意味する。発明者の実験によれば、DCオフセット係数depth_dc_absのシンタックス値が0〜2の値をとる確率は、イントラSDCフラグが1の場合の方が、0の場合と比較して大きいことが明らかになっている。言い換えると、DCオフセット係数depth_dc_absのBin列のプリフィックス部分において、シンボルが0となる確率は、イントラSDCを実施する場合の方が、非イントラSDCの場合と比較して大きい。従って、DCオフセット係数depth_dc_absのBin列のプリフィックス部分のコンテキストを、イントラSDCの有無(適否)に基づいて切り替えることで、イントラSDCの有無によるシンボルの生起確率の偏りを考慮したCABACを適用することが可能となり、従来技術と比較して、符号化効率を向上させることができる。
導出したコンテキス増分値ctxIncへ所定オフセットctxIdxOffsetを加算した値を、各Binを復号する際に参照するコンテキストインデックスctxIdx(式(eq.3))として導出する。
ctxIdx = ctxInc + ctxIdxOffset (eq.3)
同様にして、図8(a)に示すように、係数値復号部112は、DCオフセット係数depth_dc_abs[i]のBin列のうち、binIdx >= (N+1)(例えば、N=2)であるBin(サフィックス部分のBinともいう)は、コンテキストを参照しないで復号/符号化する(バイパスモードで復号/符号化される)Binであるため(図8(a)では、エントリー値が”bypass”)、各Binについて、バイパスフラグBypassFlagを1と設定する。なお、各Binに対するコンテキストインデックスctxIdxは0と設定される。
以上、本実施例に係る係数値復号部112は、上述の(コンテキストインデックス、及びバイパスフラグの導出処理)に従って、コンテキストインデックスctxIdx、及びバイパスフラグBypassFlagを導出して、算術符号復号部115へ供給する。
以上、本実施例に係る係数値復号部112は、算術符号復号部115を指示して、DCオフセット係数depth_dc_abs[i]のBin列のうち、プリフィックス部分のBinを、符号化パラメータ(SDCフラグsdc_flag)、及び予測タイプ情報CuPredMode)に基づいてコンテキストを切り替えて復号し、サフィックス部分のBinを、バイパスモードによって復号する構成である。
一方、図22に示すように、従来技術では、DCオフセット係数depth_dc_absのBin列のプリフィックス部分に対して、符号化パラメータによらず、1つのコンテキストを割り当てる構成である。従って、本実施例に係る係数値復号部112は、従来技術と比較して、イントラSDCの有無によるシンボルの生起確率の偏りを考慮したCABACを適用することが可能となり、符号化効率を向上させることができる。
(サインフラグ復号部113)
サインフラグ復号部113は、復号されたDCオフセット係数depth_dc_absのシンタックス値と、符号化パラメータに基づいて導出されるインターSDCフラグInterSDCFlagを参照して(に基づいて)、サインフラグdepth_dc_sing_flag[i]のBinを符号化データより復号するか否かを算術符号復号部115へ指示する。
より具体的には、サインフラグ復号部113は、DCオフセット係数depth_dc_abs[i]のシンタックス値とインターSDCフラグの値の和(depth_dc_abs[i] + interSDCFlag)が0より大きい場合(depth_dc_abs[i] + interSDCFlag!=0, depth_dc_abs[i] + interSDCFlag>0)には、コンテキストインデックスctxIdx = 0、バイパスフラグBypassFlag = 1と設定して、算術符号復号部115を指示して、サインフラグdepth_dc_sing_flag[i]のBinを復号する。そして、サインフラグ復号部113は、復号されたサインフラグdepth_dc_sign_flag[i]のbinを解釈して、サインフラグdepth_dc_sign_flag[i]のシンタックス値を復号し、DCオフセット値復号部114へ供給する。
逆に、サインフラグ復号部113は、DCオフセット係数depth_dc_abs[i]とインターSDCフラグの値の和(depth_dc_abs[i] + interSDCFlag)が0に等しい場合、符号化データには、サインフラグが存在しないと判断し、depth_dc_sign_flag[i]のシンタックス値を0(又は1でもよい)と推定する。DCオフセット値DcOffset[i](あるいはDCオフセット値の絶対値(depth_dc_abs[i] + interSDCFlag))が0の場合には、サイン符号を示すサインフラグは不要であるため、サインフラグの復号を省略することができる。従って、サインフラグの復号に係る処理量を低減することができる。
ここで、インターSDCフラグは、下記式(eq.4)に示すように、符号化パラメータのうち、例えば、予測タイプ情報CuPredModeとSDCフラグを参照して導出される。
interSDCFlag = (CuPredMode == MODE_INTER) && sdc_flag (eq.4)
すなわち、予測タイプ情報CuPredModeがインター予測、かつ、SDCフラグが1(真)の場合に、インターSDCフラグを1(真)とし、それ以外の場合(非インター予測(イントラ予測)、又は、SDCフラグが0(非SDC))、インターSDCフラグを0(偽)とする。なお、インター予測であるかを判定する条件として、式(eq.4)の(CuPredMode==MODE_INTER)の代わりに、式(eq.4a)に示すように、(CuPredMode!=MODE_INTRA)を用いてもよい。また、式(eq.4)、式(eq.4a)の代わりに、予測タイプ情報CuPredModeのみを参照して式(eq.4b)や、式(eq.4c)によって、インターSDCフラグを導出してもい。なお、導出されたインターSDCフラグは、DCオフセット値復号部114へ供給される。
InterSDCFlag = (CuPredMode != MODE_INTRA) && sdc_flag (eq.4a)
InterSDCFlag = (CuPredMode == MODE_INTER) ? 1 : 0 (eq.4b)
InterSDCFlag = (CuPredMode != MODE_INTRA) ? 1 : 0 (eq.4c)
以上、サインフラグ復号部113は、DCオフセット係数depth_dc_abs[i]のシンタックス値とインターSDCフラグの値の和が0より大きい場合(depth_dc_abs[i]が1もしくはインターSDCフラグが1の場合)には、算術符号復号部115を指示して、符号化データよりサイン符号depth_dc_sign_flag[i]のBinを復号し、該binを解釈して、サインフラグdepth_dc_sign_flag[i]のシンタックス値を復号する。さらに、DCオフセット係数depth_dc_abs[i]のシンタックス値とインターSDCフラグの値の和が0に等しい場合(depth_dc_abs[i]が0かつインターSDCフラグが0の場合)には、符号化データには、サインフラグが存在しないと判断し、depth_dc_sign_flag[i]のシンタックス値を0と推定する。DCオフセット値の絶対値(depth_dc_abs[i] + interSDCFlag)が0の場合には、DCオフセット値DcOffset[i]0の場合となり、サインフラグの復号を省略することができ、サインフラグに係る符号量を低減する効果を奏する。
なお、サインフラグ復号部113は、インターSDCフラグの値の和(depth_dc_abs[i] + interSDCFlag)を用いた判定は、depth_dc_abs[i] || interSDCFlagに置き替えた判定でも上記と同じ処理を実現することができる。すなわち、depth_dc_abs[i]が1以上もしくはinterSDCFlagが1の場合に、depth_dc_sign_flag[i]を符号化データから復号し、それ以外の場合には、depth_dc_sign_flag[i]を符号化データから復号せず0を設定する。この場合、図6のSYND03の1行上の条件式として、if(depth_dc_abs[i] + interSDCFlag)の代わりに、if( depth_dc_abs[i] || interSDCFlag)としてもよい。すなわち、DCオフセット係数depth_dc_abs[i]のシンタックス値が非ゼロ(depth_dc_abs[i]>0)、又は、インターSDCフラグinterSDCFlagが1(真)の場合、サインフラグ復号部113は、算術符号復号部115を指示して、符号化データよりサイン符号depth_dc_sign_flag[i]のBinを復号し、該binを解釈して、サインフラグdepth_dc_sign_flag[i]のシンタックス値を復号する。それ以外の場合(depth_dc_abs[i] == 0 && interSDCFlag==0)、符号化データには、サインフラグが存在しないと判断し、depth_dc_sign_flag[i]のシンタックス値を0と推定する。従って、インターSDCフラグが0、かつ、DCオフセット係数depth_dc_abs[i]のシンタックス値が0のとき、サインフラグの復号を省略することができる。
(DCオフセット値導出部114)
DCオフセット値導出部114は、係数値復号部112より供給されるDCオフセット係数depth_dc_abs[i]のシンタックス値と、サインフラグdepth_dc_sign_flag[i]のシンタックス値、及びインターSDCフラグInterSDCFlagとに基づいて、各PU内の分割領域Ri(i=0..dcNumSeg-1)に対応するDCオフセット値DcOffset[i]を下記式(eq.5)により導出する。
DcOffset[i] =
( 1 - 2*depth_dc_sign_flag[i] ) * ( depth_dc_abs[i] + InterSDCFlag ) (eq.5)
式(eq.5)の右辺の( 1 - 2*depth_dc_sign_flag[i] )の項は、DCオフセット値のサイン符号の算出に係る項であり、サインフラグdetph_dc_sign_flag[0]が0のとき、1の値をとり、サインフラグdetph_dc_sign_flag[0]が1のとき、−1の値をとる。
式(eq.5)の右辺の( depth_dc_abs[i] + InterSDCFlag )は、DCオフセット値の絶対値の算出に係る項である。ここで、インターSDCフラグinterSDCFlagは、DCオフセット値の絶対値の開始値を示すオフセット値とも解釈ができる。従来技術では、DCオフセット値の絶対値は、図21のSYN03Pの1行上に示すように、DCオフセット係数depth_dc_abs[i]のシンタックス値と、領域分割数dcNumSegと、定数”―2”の和で表わされるDCオフセット値の絶対値(depth_dc_abs[i] + dcNumSeg - 2)で算出される。本実施例では、DCオフセット値の絶対値は、DCオフセット係数depth_dc_abs[i]のシンタックス値と、インターSDCフラグinterSDCFlagの和によって算出されるため、従来技術と比較して、より少ない演算量で、DCオフセット値の絶対値を導出することができる。
(コンテキストインデックス、及びバイパスフラグの導出処理の変形例1)
係数値復号部112は、上記とは別のコンテキスト増分値ctxIncを導出する構成でも良い(係数値復号部112の変形例1)。係数値復号部112の変形例1は、係数値復号部112は、図8(b)に示すように、符号化パラメータ(予測タイプ情報CuPredModeや、SDCフラグsfc_flagや、イントラSDCフラグIntraSDCFlag、インターSDCフラグinterSDCFlag)を参照せずに、Bin列の位置(binIdx)に応じてctxIncを割り当てる構成にしてもよい。図8(b)の例では、binIdx = 0のBin(プリフィックス部分の先頭のBin)のとき、コンテキスト増分値ctxIncに0を設定し、binIdx=1..N(例えば、N=2)のBin(先頭のBinを除く残りのプリフィックス部分のBin)のとき、コンテキスト増分値ctxIncに1を設定して導出する。
ここで、発明者の実験によれば、DCオフセット係数depth_dc_absのシンタックス値が0の値をとる確率は、depth_dc_absのシンタックス値が1以上の値をとる確率と比較して大きい。言い換えると、DCオフセット係数depth_dc_absのBin列のプリフィックス部分のうち、binIdx = 0のBinのシンボルが0となる確率は、binIdx = 1..N(例えば、N=2)の各Binのシンボルが0となる確率よりも大きいため、binIdx = 0のBinと、binIdx = 1..NのBinとで、異なるコンテキストを割り当てることは妥当である。また、binIdx = 1..Nの各Binのシンボル0が0となる確率は、ほぼ同等であるため、binIdx = 1..NのBinにおいて、コンテキストを共有することは妥当である。従って、DCオフセット係数depth_dc_absのBin列のプリフィックス部分のコンテキストを、Bin列の位置に応じて切り替えることで、DCオフセット係数depth_dc_absのBin列の位置によるシンボルの生起確率の偏りを考慮したCABACを適用することが可能となり、比較的容易な構成で、高い符号化効率を実現することができる。
なお、係数値復号部112は、式(eq.1)、式(eq.1a)において、イントラSDCフラグを、インターSDCフラグinterSDCFlagへ置き換えてもよい。この場合、インターSDCの有無によるシンボルの生起確率の偏りを考慮したCABACを適用することが可能となり、比較的容易な構成で、高い符号化効率を実現することができる。
(コンテキストインデックス、及びバイパスフラグの導出処理の変形例2)
係数値復号部112は、上記とは別のコンテキスト増分値ctxIncを導出する構成でも良い(係数値復号部112の変形例2)。DCオフセット係数depth_dc_abs[i]のBin列のうち、binIdx = 0..N(例えば、N=2)のBinは、図8(C)に示すように、イントラSDCフラグIntraSDCFlag、及びBin位置に応じたコンテキスト増分値ctxIncを導出する構成としてもよい。係数値復号部112の変形例2は、図8(c)の例に示すように、binIdx = 0のBinのとき、イントラSDCフラグに基づいて、式(eq.1)や式(eq.1a)によってコンテキスト増分値ctxIncに0か1を設定し、binIdx=1..N(例えば、N=2)のBinのとき、コンテキスト増分値ctxIncに2を設定して導出する。
以上、図8(c)に示すように、イントラSDCフラグintraSDCフラグ、及びBin位置に応じてコンテキストを切り替えることで、イントラSDCの有無、及びDCオフセット係数depth_dc_absのBin列の位置による、シンボルの生起確率の偏りを考慮したCABACを適用することが可能となり、従来技術と比較して、符号化効率を向上させることができる。
(コンテキストインデックス、及びバイパスフラグの導出処理の変形例3)
係数値復号部112は、上記とは別のコンテキスト増分値ctxIncを導出する構成でも良い(係数値復号部112の変形例3)。係数値復号部112の変形例3は、DCオフセット係数depth_dc_abs[i]のBin列のうち、binIdx = 0..N(例えば、N=2)のBinに対して、下記式(eq.1f)に示すように、分割領域数dcNumSegに応じたコンテキスト増分値ctxIncを導出する構成としてもよい。
ctxInc = dcNumSeg > 1 ? 0 : 1 (eq.1f)
すなわち、係数値復号部112の変形例3は、分割領域数dcNumSegが1より大きい(2以上)とき、コンテキスト増分値ctxIncに0(第1のコンテキスト増分値)を設定し、分割領域数dcNumSegが1に等しいとき、コンテキスト増分値ctxIncに1(第2のコンテキスト増分値)を設定する。
また、式(eq.1f)の代わりに、式(eq.1g)によってコンテキスト増分値ctxIncを導出してもよい。
ctxInc = (dcNumSeg > 1) (eq.1g)
以上、分割領域数dcNumSegによるシンボルの生起確率の偏りを考慮したCABACを適用することが可能となり、比較的容易に、高符号化効率を達成することができる。
[逆量子化・逆変換部]
逆量子化・逆変換部13は、対象CUに含まれる各ブロックについて、TT情報TTIに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部13は、各対象TUについて、対象TUに対応するTU情報TUIに含まれる量子化予測残差を逆量子化および逆直交変換することによって、対象TUに対応する画素毎の予測残差D(又はresSamples[x][y])を復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交変換の例としては、逆DCT変換(Inverse Discrete Cosine Transform)、および逆DST変換(Inverse Discrete Sine Transform)等が挙げられる。逆量子化・逆変換部13は、復元した予測残差Dを加算器15に供給する。なお、逆量子化・逆変換部13は、SDCフラグが1の場合、逆量子化・逆変換処理を省略し、対象TUの画素毎の予測残差D(又はresSamples[x][y])を0へ設定し、加算器15に供給する。
[予測画像生成部]
予測画像生成部14は、対象CUに含まれる各PUについて、PT情報PTIに基づいて予測画像を生成する。具体的には、予測画像生成部14は、各対象PUについて、対象PUに対応するPU情報PUI(予測情報Pinfo)に含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像P’から予測画像Predを生成する。予測画像生成部14は、生成した予測画像Predを加算器15に供給する。なお、予測画像生成部14の構成については、後ほど、より詳しく説明する。
[加算器]
加算器15は、予測画像生成部14より供給される予測画像Predと、逆量子化・逆変換部13より供給される予測残差Dとを加算することによって、対象CUについての復号画像Pを生成する。
[フレームメモリ]
フレームメモリ16には、復号された復号画像Pが順次記録される。フレームメモリ16には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック(例えば、ラスタスキャン順で先行する全てのツリーブロック)に対応する復号画像が記録されている。
また、対象CUを復号する時点において、当該対象CUよりも先に復号された全てのCUに対応する復号画像が記録されている。
なお、動画像復号装置1において、画像内の全てのツリーブロックに対して、ツリーブロック単位の復号画像生成処理が終わった時点で、動画像復号装置1に入力された1フレーム分の符号化データ#1に対応する復号画像#2が外部に出力される。
(予測モードの定義)
前述の通り、予測画像生成部14は、PT情報PTIに基づいて予測画像を生成して出力する。対象CUがインターCUの場合、予測画像生成部14に入力されるPU情報PTIは、例えば、動きベクトルmvLX(X=0,1)、及びフレームメモリ16に格納された復号済画像を参照画像として指定するための、参照画像インデックスrefIdxLX(X=0,1)、単予測(L0予測、L1予測)又は、双方向予測等のインター予測方式を指定するインター予測識別子inter_pred_idxを含む。
対象CUがイントラCUの場合、予測画像生成部14に入力されるPU情報PTIは、予測モード(IntraPredMode)と、色差予測モード(IntraPredModeC)を含む。以下、予測モード(輝度・色差)の定義について、図9〜図10を参照して説明する。
(概要)
図9は、動画像復号装置1で利用されるイントラ予測方式の分類と対応する予測モード番号の例を示している。Planar予測(INTRA_PLANAR)に‘0’、DC予測(INTRA_DC)に‘1’、Angular予測(INTRA_ANGULAR)に‘2’〜 ‘34’、DMM1予測(INTRA_DMM_WFULL)に‘35’、DMM4予測(INTRA_DMM_CREDTEX)に‘36’の予測モード番号がそれぞれ割り当てられている。また、DMM1予測、及びDMM4予測を総称して、デプスイントラ予測とも呼ぶ。デプスイントラ予測とは、デプスマップ上の対象ブロック(デプスブロックとも称する)は、2つの非矩形の平坦領域から構成され、各平坦領域のデプス値は固定値で表現されるというデプスモデルに基づいている。また、デプスモデルは、各画素が属する領域を表わすパーティション情報、及び各領域のデプス値情報から構成される。DMM予測において、デプスブロックの分割方法として、DMM1と呼ばれるウェッジレット分割 (Wedgelet Partition)、及びDMM4と呼ばれる輪郭分割(Contour Partition)がある。
また、図10には方向予測に属する33種類の予測モードについて、予測モードの識別子と対応する予測方向が図示されている。
(予測画像生成部の詳細)
次に、図11を用いて予測画像生成部14の構成についてさらに詳しく説明する。図11は予測画像生成部14の構成例について示す機能ブロック図である。
図11に示すように、予測画像生成部14は、予測単位設定部141、参照画素設定部142、スイッチ143、イントラ予測部145、インター予測部146、及び予測画像補正部147を備える。
予測単位設定部141は、対象CUに含まれるPUを規定の設定順序で対象PUに設定し、対象PUに関する情報(対象PU情報)を出力する。対象PU情報には、対象PUのサイズnS、対象PUのCU内の位置、対象PUの輝度または色差プレーンを示すインデックス(輝度色差インデックスcIdx)が少なくとも含まれる。
参照画素設定部142は、予測タイプ情報CuPredModeがイントラ予測を示す場合、入力される対象PU情報に基づいて、フレームメモリに記録されている対象PU周辺の復号画像の画素値(復号画素値)を読出し、予測画像生成時に参照される参照画素を設定する。参照画素値p[x][y]は復号画素値r[x][y]を利用して次式により設定される。
p[x][y]=r[xB+x][yB+y] x=-1, y=-1 .. (nS*2-1)、および、x=0..(nS*2-1),y=-1
ここで、(xB,yB)は対象PU内左上画素の位置、nSは対象PUのサイズを表し、対象PUの幅または高さのうち大きい方の値を示す。上式では、基本的には、対象PUの上辺に隣接する復号画素のラインおよび対象PUの左辺に隣接する復号画素のコラムに含まれる復号画素値を対応する参照画素値にコピーしている。なお、特定の参照画素位置に対応する復号画素値が存在しない、または、参照できない場合には、既定の値、例えば、1<<(BitDepth-1)を利用してもよい。ここで、BitDepthは、画素のビット深度である。また、既定の値の代わりに、対応する復号画素値の近傍に存在する参照可能な復号画素値を利用してもよい。
また、参照画素設定部142は、予測タイプ情報CuPredModeがインター予測を示す場合、入力される対象PU情報のうち、参照ピクチャインデックスrefIdxLX(X=0,1)で指定されるフレームメモリに記録されている参照ピクチャで、対象PU内左上画素の位置(xB,yB)に動きベクトルmvLX(X=0,1)を加算した座標を基準に、所定範囲の復号画像の画素値(復号画素値)を読み出し、インター予測時に参照される参照画素を設定する。
スイッチ143は、入力される対象PU情報のうち、予測タイプ情報CuPredModeに基づいて、参照画素を対応する出力先へ出力する。より具体的には、予測タイプ情報CuPredModeがイントラ予測を示す場合、参照画素をイントラ予測部145へ供給する。また、予測タイプ情報CuPredModeがインター予測を示す場合、参照画素をインター予測部146へ供給する。
インター予測部146は、入力されるPU情報(予測利用フラグpredFlagLX(X=0,1)、動きベクトルmvLX、PUサイズnS等)と参照画素p[x][y]に基づいて、動き補償を実行し、対象PUの予測画像predSamplesを生成して出力する。
イントラ予測部145は、入力されるPU情報(予測モードpredModeIntra、PUサイズnS等)と参照画素p[x][y]に基づいて、予測モードpredModeIntraに対応する予測処理を行い、対象PUの予測画像predSamplesを生成して出力する。イントラ予測部145の詳細な説明は後述する。
予測画像補正部147は、SDCフラグsdc_flagが0(偽)の場合、供給される予測画像predSamples[][]をそのまま補正予測画像predSamples’[][]として出力する。
predSamples’[x][y] = predSamples[x][y], with x,y=0..nS-1
一方、予測画像補正部147は、SDCフラグsdc_flagが1(真)の場合、供給される予測画像predSamples[][]へ、DCオフセット値DcOffset[0]を加算して、補正予測画像predSamples’[][]を出力する。
predSamples’[x][y] = predSamples[x][y] + DcOffset[0], with x,y=0..nS-1
以上、予測画像補正部147は、SDCフラグが1の場合、DCオフセット値DcOffset[0]を予測画像へ加算することで、DC値を補正した予測画像を生成することができる。
(イントラ予測部145の詳細)
続いて、イントラ予測部145の詳細について説明する。図12に示すように、予測画像導出部145は、さらに、DC予測部145D、Planar予測部145P、Angular予測部145A、及びDMM予測部145Tを備える。
予測画像導出部145は、入力される予測モードpredModeIntraに基づいて予測画像生成に用いる予測方式を選択する。予測方式の選択は、前述の図9の定義に基づいて、入力される予測モードpredModeIntraの予測モード番号に対応する予測方式を選択することで実現される。
さらに、予測画像導出部145は、予測方式の選択結果に応じた予測画像を導出する。より具体的には、予測画像導出部145は、予測方式が、Planar予測、DC予測、Angular予測、及びDMM予測の場合、それぞれ、Planar予測部145P、DC予測部145D、Angular予測部145A、及びDMM予測部145Tにより予測画像を導出する。
DC予測部145Dは、入力される参照画素の画素値の平均値に相当するDC予測値を導出し、導出されたDC予測値を画素値とする予測画像を出力する。
Planar予測部145Pは、予測対象画素との距離に応じて複数の参照画素を線形加算することで導出した画素値により予測画像を生成して出力する。
[Angular予測部145A]
Angular予測部145Aは、入力される予測モードpredModeIntraに対応する予測方向(参照方向)の参照画素を用いて対象PU内に対応する予測画像を生成して出力する。Angular予測による予測画像の生成処理では、予測モードpredModeIntraの値に応じて主参照画素を設定し、予測画像をPU内のラインまたはコラムの単位で主参照画素を参照して生成する。
[DMM予測部145T]
DMM予測部145Tは、入力される予測モードpredModeIntraに対応するDMM予測(Depth Modeling Mode,デプスイントラ予測ともいう)に基づいて、対象PU内に対応する予測画像を生成して出力する。
DMM予測部145Tの詳細な説明に先だって、図14を参照しながら、DMM予測の概略について説明する。図14は、DMM予測部145Tにおいて実行されるDMM予測の概念図である。デプスマップは、主に、図14(a)に示すように、オブジェクト境界を表わすエッジ領域、及びオブジェクトエリアを表わす平坦領域(ほぼデプス値が一定)を有するという特徴がある。まず、DMM予測では、基本的に、デプスマップの画像的特徴を利用し、対象ブロックを、オブジェクトのエッジに沿った2つの領域R0、R1に分割し、図14(b)に示すように、各画素が属する領域を表わすパターン情報であるウェッジレットパターンWedgePattern[x][y]を導出する。
ウェッジレットパターンWedgePattern[x][y]は、対象ブロック(対象PU)の幅×高さ分の大きさがあるマトリックスであり、要素(x,y)毎に0、又は1が設定され、対象ブロックの各画素が2つの領域R0、R1のどちらに属するかを示す。図14(b)の例では、要素の値が0であれば、領域R0に属し、1であれば、領域R1に属すこととなる。次に、図14(c)に示すように、各領域R0、及びR1を各々のデプス予測値を埋めることによって予測画像を生成する。
以下では、図12を参照しがら、DMM予測部145Tの構成について説明する。図12は、DMM予測部145Tの構成例のついて示す機能ブロック図である。
図12に示すように、DC予測画像導出部145T1、DMM1ウェッジレットパターン生成部145T2、及びDMM4ウェッジレットパターン生成部145T3を備える。
DMM予測部145Tは、入力される予測モードpredModeIntraに対応するウェッジレットパターン生成手段(DMM1ウェッジレットパターン生成部、DMM4ウェッジレットパターン生成部)を起動させ、対象PUの分割パターンを示すウェッジレットパターンwedgePattern[x][y]を生成する。より具体的には、予測モードpredModeIntraが、予測モード番号‘35’である場合、すなわち、INTRA_DMM_WEDGEFULLモードでは、DMM1ウェッジレットパターン生成部145T2を起動する。一方、予測モードpredModeIntraが、予測モード番号‘36’である場合、すなわち、INTRA_DMM_CPCREDTEXモードでは、DMM4ウェッジレットパターン生成部145T3を起動する。その後、DMM予測部145Tは、DC予測画像導出部145T1を起動して、対象PUの予測画像を取得する。
[DC予測画像導出部145T1]
DC予測画像導出部145T1は、概略的には、対象PUのウェッジレットパターンwedgePattern[x][y]に基づいて、対象PUを2つの領域に分割し(例えば、図14 (c)に示す領域R0、R1)、入力されたPT情報、及び参照画素p[x][y]に基づいて領域R0に関する予測値、及び領域R1に関する予測値を導出し、各領域に導出した予測値を予測画像predSamples[x][y]に設定して導出する。
DC予測画像導出部145T1は、入力されたウェッジレットパターンwedgePattern[x][y](x=0..nS-1, y=0..nS-1)の分割方向を判定するために、該ウェッジレットパターンの最左上要素wedgePattern[0][0](対象PUの最左上画素に対応)、最右上要素wedgePattern[nS-1][0](対象PUの最右上画素に対応)、最左下要素wedgePattern[0][nS-1](対象PUの最左下画素に対応)を参照して、それぞれ垂直エッジフラグvertEdgeFlag、及び水平エッジフラグhorEdgeFlagを下記式により導出する。
vertEdgeFlag = ( wedgePattern[0][0] != wedgePattern[nS-1][0] )
horEdgeFlag = ( wedgePattern[0][0] != wedgePattern[0][nS-1] )
すなわち、ウェッジレットパターンの最左上要素wedgePattern[0][0]と最右上要素wedgePattern[nS-1][0]の値が等しい場合、垂直エッジフラグvertEdgeFlagに0を設定し、等しくない場合、1を設定する。垂直エッジフラグvertEdgeFlagが1の場合、対象PUの上辺上に分割境界(垂直方向の境界)があることを意味し、0であれば、対象PUの上辺上に分割境界がないことを意味する。
同様にして、ウェッジレットパターンの最左上要素wedgePattern[0][0]と最左下要素wedgePattern[0][nS-1]の値が等しい場合、水平エッジフラグhorEdgeFlagに0を設定し、等しくない場合、1を設定する。水平エッジフラグhorEdgeFlagが1の場合、対象PUの左辺上に分割境界(水平方向の境界)があることを意味し、0であれば、対象PU(ブロック)の左辺上に分割境界がないことを意味する。
DC予測画像導出部145T1は、入力された垂直エッジフラグvertEdgeFlag、及び水平エッジフラグhorEdgeFlagに応じて、参照画素p[x][y]から分割された2領域に割り当てるDC予測値dcValLT、及びdcValBRを導出する。便宜上、ウェッジレットパターンの最左上要素wedgePattern[0][0]と同じ値を有する要素からなる領域を領域R0(第1の領域)、最左上要素wedgePattern[0][0]と異なる値を有する要素からなる領域を領域R1(第2の領域)とし、領域R0に関するDC予測値はdcValLT、領域R1に関するDC予測値はdcValBRであるとする。
(1)垂直エッジフラグvertEdgeFlagと水平エッジフラグhorEdgeFlagが等しい場合(vertEdgeFlag==horEdgeFlag, 図13(a)の分割パターン)、以下の手順で、各DC予測値を導出する。
DC予測画像導出部145T1は、図13(a)に示すように、下記式により、対象PUの最左上画素((x,y)=(0,0))の左、及び上に隣接する参照画素p[-1][0]と参照画素p[0][-1]の平均値をdcValLTへ設定する。
dcValLT = (p[-1][0] + p[0][-1]) >> 1
同様にして、下記式により、対象PUの最左上画素を基準にしてx方向へ-1、y方向へ(2*nS-1)にある参照画素p[-1][2*nS-1]と、対象PUの最左上画素を基準にしてx方向へ(2*nS-1)、y方向へ-1にある参照画素p[2*nS-1][-1]の平均値をdcValBRへ設定する。
dcValBR = (p[-1][2*nS-1] + p[2*nS-1][-1]) >> 1
(2)垂直エッジフラグvertEdgeFlagと水平ヘッジフラグhorEdgeFlagが異なる場合(vertEdgeFlag!=horEdgeFlag、図13上の(b)、及び(c)の分割パターン)、DC予測画像導出部145T1は、下記式(eq.5)〜(eq.6)により、各DC予測値を導出する。
dcValLT = horEdgeFlag ? p[(nS-1)>>1][-1] : p[-1][(nS-1)>>1] (eq.5)
dcValBR = horEdgeFlag ? p[-1][nS] : p[nS][-1] (eq.6)
すなわち、水平エッジフラグhorEdgeFlagが1の場合(垂直エッジフラグvertEdgeFlagが0)には、DC予測画像導出部145T1は、図13(b)に示すように、対象PUの上辺の中央画素の上に隣接する参照画素p[(nS-1)>>1][-1]を領域R0のDC予測値dcValLTとし、対象PUの最左下画素の左下に隣接する参照画素p[-1][nS]を領域R1のDC予測値dcValBRとする。
水平エッジフラグhorEdgeFlagが0の場合(垂直エッジフラグvertEdgeFlagが1)には、DC予測画像導出部145T1は、図13(c)に示すように、対象PUの左辺の中央画素の左に隣接する参照画素p[-1][(nS-1)>>1]を領域R0のDC予測値dcValLTとし、対象PUの最右上画素の右上に隣接する参照画素p[-1][nS]を領域R1のDC予測値dcValBRとする。
DC予測画像導出部145T1は、ウェッジレットパターンと、導出された各領域のDC予測値dcValBR、dcValLTと、DCオフセット情報復号部111より供給される対象PUの各領域のDCオフセット値DcOffset[i](i=0..dcNumSeg-1)に基づいて、対象PUの予測画像predSamples[x][y]を導出する。
まず、ウェッジレットパターンwedgePattern[x][y]を参照して、対象PU内画素位置(x,y)が領域R0に属する場合(wedgePattern[x][y] == wedgePattern[0][0])、対象画素DC予測値predDcValを、dcValLTへ設定し、対象画素が領域R1に属する場合(wedgePattern[x][y] != wedgePattern[0][0])、対象画素DC予測値predDCValを、dcValBRへ設定する。
predDcVal = (wedgePattern[x][y] == wedgePattern[0][0]) ? dcValLT : dcValBR
次に、DCオフセット値DcOffset[i](i=0..dcNumSeg-1)を参照して、対象画素DCオフセット値dcOffsetを設定する。
dcOffset = DcOffset[wedgePattern[x][y]]
すなわち、ウェッジレットパターンwedgePattern[x][y]の値に対応するDCオフセット値dcOffset[wedgePattern[x][y]]を、対象画素のDCオフセット値dcOffsetへ設定する。
導出した対象画素DC予測値predDcValと対象画素DCオフセット値dcOffsetの和を、対象画素の予測値とする。
predSamples[x][y] = predDcVal + dcOffset, with x=0..nS-1, y=0..nS-1
以上のようにして、DC予測画像導出部145T1は、対象PUの予測画像predSamples[x][y]を導出することができる。
[DMM1ウェッジレットパターン生成部145T2]
DMM1ウェッジレットパターン生成部145T2は、さらに、DMM1ウェッジレットパターン導出部145T6、バッファ145T5、及びウェッジレットパターンリスト生成部145T4を備える。概略的には、DMM1ウェッジレットパターン生成部145T2は、初回起動時のみ、ウェッジレットパターンリスト生成部145T4を起動させ、ブロックサイズ毎のウェッジレットパターンリストWedgePatternTableを生成する。次に、生成したウェッジレットパターンリストをバッファ145T5に格納する。続いて、DMM1ウェッジレットパターン導出部145T6は、入力される対象PUサイズnS、ウェッジレットパターンインデックスwedge_full_tab_idxに基づいて、バッファ145T5に格納されたウェッジレットパターンリストWedgePatternTableからウェッジレットパターンwedgePattern[x][y]を導出して、DC予測画像導出部145T1へ出力する。
[バッファ145T5]
バッファ145T5は、ウェッジレットパターンリスト生成部145T4より供給されるブロックサイズ別のウェッジレットパターンリストWedgePatternTableを記録する。
[DMM1ウェッジレットパターン導出部145T6]
DMM1ウェッジレットパターン導出部145T6は、入力される対象PUサイズnS、ウェッジレットパターンインデックスwedge_full_tab_idxに基づいて、バッファ145T5に格納されたウェッジレットパターンリストWedgePatternTableから、対象PUへ適用するウェッジレットパターンwedgePattern[x][y]を導出し、DC予測画像導出部145T1へ出力する。
wedgePattern[x][y] = WedgePatternTable[log2(nS)][wedge_full_tab_idx][x][y],
with x = 0..nS-1, y = 0..nS-1
ここで、log2(nS)は、対象PUサイズの2を底とする対数値である。
[ウェッジレットパターンリスト生成部145T6]
ウェッジレットパターンリスト生成部145T6におけるウェッジレットパターンリストの生成方法を、図15を参照して説明する。まず、全要素が0のウェッジレットパターンを生成する。次に、ウェッジレットパターン内に、始点S(xs,ys)と終点E(xe,ye)を設定する。図15の(a)の例では、始点S(xs,ys)=(3,blocksize-1)、終点E(xe,ye)=(blocksize-1,2)である。次に、始点Sと終点Eの間をBresenhamのアルゴリズムを用いて線分を引く(図15(b)の斜線の要素)。図15(c)の例では、続いて、図15(d)に示すように、例えば、その線分上及び線分より左側の座標に対応する要素を1に設定することで、ウェッジレットパターンwedgePattern[x][y]が生成される。ここで、blocksizeは、ウェッジレットパターンを生成するブロックのサイズ(縦幅、横幅)である。
ウェッジレットパターンリスト生成部145T6は、上述したウェッジレットパターンリストの生成方法に基づいて、図16に示すように、主に、6種類のウェッジ方向wedgeOri(wedgeOri=0..5)毎の各始点S(xs,ys), 終点E(xe,ye)に対応するウェッジレットパターンをブロックサイズ別に生成し、ウェッジレットパターンリストWedgePatternTableへ追加する。
以上、ウェッジレットパターンリスト生成部145T6は、log2BlkSizeを変数として、log2BlkSize=log2(nMinS)..log2(nMaxS)までの範囲で、ブロックサイズ毎に、(1<<log2BlkSize)×(1<<log2BlkSize)のウェッジレットパターンリストWedgePatternTableを生成することができる。
[DMM4ウェッジレットパターン生成部145T3]
DMM4ウェッジレットパターン生成部145T3は、対象PUの分割パターンを示すウェッジレットパターンwedgePattern[x][y]を、デプスマップDepthPic上の対象PUに対応する視点画像TexturePic上の輝度の復号画素値recTexPicに基づいて導出し、DC予測画像導出部145T1へ出力する。概略的には、DMM4ウェッジレットパターン生成部は、デプスマップ上の対象PUの2つの領域R0、R1を、対応する視点画像TexturePic上の対象ブロックの輝度の平均値によって、対象ブロックを二値化することで導出する。
まず、DMM4ウェッジレットパターン生成部145T3は、外部のフレームメモリ16より、対象PUに対応する視点画像TexturePic上の対応ブロックの輝度復号画素値recTextPicを外部のフレームメモリ16より読み出し、参照画素refSamples[x][y]へ下記式によって設定する。
refSamples[x][y] = recTexPic[xB + x][yB + y], with x=0..nS-1, y=0..nS-1
参照画素refSamples[x][y]に基づいて、対応ブロックの画素値の総和sumRefValsを下記式で導出する。
sumRefVals = ΣrefSamples[x][y], with x=0..nS-1, y=0..nS-1
次に、総和sumRefValsと対象PUサイズnSに基づいて、閾値threshValsを下記式で導出する。すなわち、対応ブロックの平均画素値を導出する。
threshVal = (sumRefVals >> (2 * log2(nS))
ここで、上記式の代わり、総和sumRefValsを対象PUサイズnSの二乗数nS*nSで除算した値を閾値threshValとしてもよい。
続いて、DMM4ウェッジレットパターン生成部145T3は、導出した閾値threshVal、及び参照画素refSamples[x][y]を参照して、対象PUの分割パターンを示すウェッジレットパターンwedgePattern[x][y]を下記式により導出して出力する。
wedgePattern[x][y] = (refSamples[x][y]>threshVal)
すなわち、参照画素refSamples[x][y]が、閾値threshValより大きい場合には、ウェッジパターンの要素(x,y)に1を設定する。参照画素refSamples[x][y]が、閾値threshVal以下の場合には、ウェッジレットパターンの要素(x,y)に0を設定する。
〔動画像符号化装置〕
以下において、本実施形態に係る動画像符号化装置2について、図17を参照して説明する。
(動画像符号化装置の概要)
動画像符号化装置2は、概略的に言えば、入力画像#10を符号化することによって符号化データ#1を生成し、出力する装置である。ここで、入力画像#10は、1又は複数の視点画像TexturePic、及び視点画像TexturePicに対応する同時刻のデプスマップDepthPicからなるレイヤ画像である。
(動画像符号化装置の構成)
まず、図17を用いて、動画像符号化装置2の構成例について説明する。図17は、動画像符号化装置2の構成について示す機能ブロック図である。図17に示すように、動画像符号化装置2は、符号化設定部21、逆量子化・逆変換部22、予測画像生成部23、加算器24、フレームメモリ25、減算器26、変換・量子化部27、および符号化データ生成部29を備えている。
符号化設定部21は、入力画像#10に基づいて、符号化に関する画像データおよび各種の設定情報を生成する。
具体的には、符号化設定部21は、次の画像データおよび設定情報を生成する。
まず、符号化設定部21は、入力画像#10を、スライス単位、ツリーブロック単位、CU単位に順次分割することにより、対象CUについてのCU画像#100を生成する。
また、符号化設定部21は、分割処理の結果に基づいて、ヘッダ情報H’を生成する。ヘッダ情報H’は、(1)対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報、並びに、(2)各ツリーブロックに属するCUのサイズ、形状および対象ツリーブロック内での位置についてのCU情報CU’を含んでいる。
さらに、符号化設定部21は、CU画像#100、および、CU情報CU’を参照して、PT設定情報PTI’を生成する。PT設定情報PTI’には、(1)対象CUの各PUへの可能な分割パターン、および、(2)各PUに割り付ける可能な予測モード、の全ての組み合わせに関する情報が含まれる。
符号化設定部21は、CU画像#100を減算器26に供給する。また、符号化設定部21は、ヘッダ情報H’を符号化データ生成部29に供給する。また、符号化設定部21は、PT設定情報PTI’を予測画像生成部23に供給する。
逆量子化・逆変換部22は、変換・量子化部27より供給される、ブロック毎の量子化予測残差を、逆量子化、および、逆直交変換することによって、ブロック毎の予測残差を復元する。逆直交変換については、図3に示す逆量子化・逆変換部13について、既に説明したとおりであるので、ここではその説明を省略する。
また、逆量子化・逆変換部22は、ブロック毎の予測残差を、TT分割情報(後述)により指定される分割パターンに従って統合し、対象CUについての予測残差Dを生成する。逆量子化・逆変換部22は、生成した対象CUについての予測残差Dを、加算器24に供給する。
予測画像生成部23は、フレームメモリ25に記録されている局所復号画像P’、および、PT設定情報PTI’を参照して、対象CUについての予測画像Predを生成する。予測画像生成部23は、予測画像生成処理により得られた予測パラメータを、PT設定情報PTI’に設定し、設定後のPT設定情報PTI’を符号化データ生成部29に転送する。なお、予測画像生成部23による予測画像生成処理は、動画像復号装置1の備える予測画像生成部14と同様であるので、ここでは説明を省略する。
加算器24は、予測画像生成部23より供給される予測画像Predと、逆量子化・逆変換部22より供給される予測残差Dとを加算することによって、対象CUについての復号画像Pを生成する。
フレームメモリ25には、復号された復号画像Pが順次記録される。フレームメモリ25には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック(例えば、ラスタスキャン順で先行する全てのツリーブロック)に対応する復号画像が記録されている。
減算器26は、CU画像#100から予測画像Predを減算することによって、対象CUについての予測残差Dを生成する。減算器26は、生成した予測残差Dを、変換・量子化部27に供給する。
変換・量子化部27は、予測残差Dに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への変換のことをさす。また、逆直交変換の例としては、DCT変換(Discrete Cosine Transform)、およびDST変換(Discrete Sine Transform)等が挙げられる。
具体的には、変換・量子化部27は、CU画像#100、および、CU情報CU’を参照し、対象CUの1または複数のブロックへの分割パターンを決定する。また、決定された分割パターンに従って、予測残差Dを、各ブロックについての予測残差に分割する。
また、変換・量子化部27は、各ブロックについての予測残差を直交変換することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を量子化することによってブロック毎の量子化予測残差を生成する。なお、変換部・量子化部27は、SDCフラグが1の場合、周波数変換・量子化を省略し、対象TUの画素毎の予測残差D(又はresSamples[x][y])を0とする。
また、変換・量子化部27は、生成したブロック毎の量子化予測残差と、対象CUの分割パターンを指定するTT分割情報と、対象CUの各ブロックへの可能な全分割パターンに関する情報とを含むTT設定情報TTI’を生成する。変換・量子化部27は、生成したTT設定情報TTI’を逆量子化・逆変換部22および符号化データ生成部29に供給する。
符号化データ生成部29は、ヘッダ情報H’、TT設定情報TTI’、およびPT設定情報PTI’を符号化し、符号化したヘッダ情報H、TT設定情報TTI、およびPT設定情報PTIを多重化して符号化データ#1を生成し、出力する。
(DCオフセット情報符号化部291)
符号化データ生成部29は、さらに、入力されたDCオフセット情報に係る符号化パラメータを符号化し、DCオフセット情報の符号化データを生成するDCオフセット情報符号化部291を備える。DCオフセット情報符号化部291は、図6に示すDCオフセット情報に係るシンタックステーブルに従って、各シンタックス(depth_dc_abs[i], depth_dc_sign_flag[i])を符号化する。
図18は、DCオフセット情報符号化部291の構成を示すブロック図である。図18に示すように、DCオフセット情報符号化部291は、算術符号符号化部295、係数値符号化部292、サインフラグ符号化部293、及びシンタックス値導出部294を備える。
(算術符号符号化部295)
算術符号符号化部295は、DCオフセット情報符号化部の各部より供給される各Binを、コンテキストを参照して符号化し、符号化した各ビットを出力するための構成であり、図18に示すように、コンテキスト記録更新部296、及びビット符号化部297を備えている。
(コンテキスト記録更新部296)
コンテキスト記録更新部296は、算術符号復号部115の備えるコンテキスト記録更新部116と対応する機能であり、各シンタックスに関連付けられた各コンテキストインデックスctxIdxによって管理されるコンテキスト変数CVを記録及び更新するための構成である。ここで、コンテキスト変数CVには、(1)生起確率が高い優勢シンボルMPS(Most Probable Symbol)と、(2)その優勢シンボルMPSの生起確率を指定する確率状態インデックスpStateIdxとが含まれている。
コンテキスト記録更新部296は、供給されるバイパスフラグBypassFlagが0の場合、すなわち、コンテキストを参照して符号化する場合には、DCオフセット情報符号化部291が備える各部より供給されるコンテキストインデックスctxIdx及びビット符号化部297によって符号化されたBinの値を参照することによってコンテキスト変数CVを更新すると共に、更新されたコンテキスト変数CVを次回更新するまで記録する。なお、優勢シンボルMPSは0か1である。また、優勢シンボルMPSと確率状態インデックスpStateIdxは、ビット符号化部297がBinを1つ符号化する毎に更新される。
コンテキスト記録更新部296は、供給されるバイパスフラグBypassFlagが1の場合、すなわち、シンボル0と1の生起確率を0.5に固定したコンテキスト変数CVを用いて符号化する場合(バイパスモードともいう)には、コンテキスト変数CVの値は、常に、シンボル0と1の生起確率を0.5の値に固定され、コンテキスト変数CVの更新は省略される。
なお、コンテキストインデックスctxIdxは、各シンタックスの各Binについてコンテキストを直接指定するものであってもよいし、あるいは、各シンタックス毎に設定されるコンテキストインデックスの開始値を示すオフセットからの増分値であってもよい。
(ビット符号化部297)
ビット符号化号部297は、算術符号復号部115の備えるビット復号部117の逆処理に対応し、コンテキスト記録更新部296に記録されているコンテキスト変数CVを参照し、DCオフセット情報符号化部291の備える各部から供給される各Binを符号化する。また、符号化されるBinの値は、コンテキスト記録更新部296にも供給され、コンテキスト変数CVを更新するために参照される。
(シンタックス値導出部294)
シンタックス値導出部294は、DCオフセット情報復号部111の備えるDCオフセット値復号部114の逆処理の対応し、入力される各PU内の分割領域Ri(i=0..dcNumSeg-1)に対応するDCオフセット値DcOffset[i]から、DCオフセット係数depth_dc_abs[i]、及びサインフラグdepth_dc_sign_flag[i]のシンタックス値を導出する。DCオフセット係数depth_dc_abs[i]のシンタックス値は、係数値符号化部292に供給され、サインフラグdepth_sign_flag[i]のシンタックス値は、サインフラグ符号化部293へ供給される。
より具体的には、シンタックス値導出部294は、式(eq.E1)によって、DCオフセット係数depth_dc_abs[i]のシンタックス値を導出する。すなわち、DCオフセット値DcOffset[i]の絶対値から、インターSDCフラグinterSDCFlagの値を減算した値を、DCオフセット係数のシンタックス値とする。
depth_dc_abs[i] = Abs ( DcOffset[i] ) - interSDCFlag (eq.E1)
ここで、演算子Abs(X)は、Xの絶対値を返す演算子である。また、インターSDCフラグinterSDCFlagは、既に説明済の式(eq.4)、式(eq.4a)、式(eq.4b)、式(eq.4c)のいずれかに式よって導出される。なお、インターSDCフラグの導出処理は、復号装置側と符号化装置側とで、同一の処理によって導出するように予め取り決めておくものとする。なお、導出されたインターSDCフラグは、サイン符号化部293に供給される。
続いて、シンタックス値導出部294は、例えば、式(eq.E2)によって、DCオフセット値のサイン符号に係るサインフラグdepth_dc_sign_flag[i]のシンタックス値を導出する。すなわち、DCオフセット値DcOffset[i]が0以上(0より大きい)の場合、サインフラグdepth_dc_sign_flag[i]のシンタックス値を0とし、DCオフセット値DcOffset[i]が0未満(0以下)の場合、サインフラグdepth_dc_sign_flag[i]のシンタックス値を1とする。
depth_dc_sign_flag [i] = DcOffset[i]>= 0 ? 0 : 1 (eq.E1)
従来技術では、DCオフセット係数のシンタックス値は、(Abs (DcOffset[i] - dcNumSeg + 2)で算出される。本実施例では、DCオフセット係数のシンタックス値は、DCオフセット値の絶対値(Abs( DcOffset[i])から、インターSDCフラグinterSDCFlagを減算することで算出されるため、従来技術と比較して、より少ない演算量で、DCオフセット係数のシンタックス値を導出することができる。
(係数値符号化部292)
係数値符号化部292は、DCオフセット情報復号部111の備える係数値復号部112の逆処理に対応する。
係数値符号化部292は、シンタックス値導出部294から供給されるDCオフセット係数depth_dc_abs[i]のシンタックス値を、図7に示す値とBin列の対応表に基づいて、シンタックス値に対応するBin列を導出する。例えば、シンタックス値が0であれば、Bin列として、”0”(prefix=”0”, suffix=”-”)を導出する。また、シンタックス値が4であれば、Bin列として、”1110” (prefix=”111”, suffix=”0”)を導出する。
係数値符号化部292は、算術符号符号化部295にてDCオフセット係数depth_dc_abs[i]のBin列を符号化するために用いられるコンテキストを決定するためのコンテキストインデックスctxIdx、及びバイパスモードの適否を示すバイパスフラグBypassFlagを、係数値復号部112において説明した(コンテキストインデックス、及びバイパスフラグの導出処理)と同一の処理よって導出する。なお、係数値復号部112を、係数値符号化部292へ置き換えて解釈するものとする。
係数値符号化部292は、導出したコンテキストインデックスctxIdx、及びバイパスフラグBypassFlag、及びBin列を算術符号符号化部295へ供給するととに、各Bin列の各Binを符号化するよう算術符号符号化部295を指示する。
以上、本実施例に係る係数値符号化部292は、算術符号符号化部295を指示して、DCオフセット係数depth_dc_abs[i]のBin列のうち、プリフィックス部分のBinを、符号化パラメータ(SDCフラグsdc_flag)、及び予測タイプ情報CuPredMode)に基づいてコンテキストを切り替えて符号化し、サフィックス部分のBinを、バイパスモードによって符号化する構成である。
一方、図22に示すように、従来技術では、DCオフセット係数depth_dc_absのBin列のプリフィックス部分に対して、符号化パラメータによらず、1つのコンテキストを割り当てる構成である。従って、本実施例に係る係数値符号化部292は、従来技術と比較して、イントラSDCの有無によるシンボルの生起確率の偏りを考慮したCABACを適用することが可能となり、符号化効率を向上させることができる。
(サインフラグ符号化部293)
サインフラグ符号化部293は、DCオフセット情報復号部111の備えるサインフラグ復号部113の逆処理に対応し、シンタックス値導出部294から供給されるサインフラグdepth_dc_sign_flag[i]のシンタックス値の2進数の値を、Binとして導出する。さらに、サインフラグ符号化部293は、インターSDCフラグInterSDCFlagを参照して(に基づいて)、サインフラグdepth_dc_sign_flag[i]のBinを符号化するか否かを算術符号符号化部295へ指示する。
より具体的には、サインフラグ符号化部293は、DCオフセット係数depth_dc_abs[i]のシンタックス値とインターSDCフラグの値の和(depth_dc_abs[i] + interSDCFlag)が0より大きい場合(depth_dc_abs[i] + interSDCFlag!=0, depth_dc_abs[i] + interSDCFlag>0)には、コンテキストインデックスctxIdx = 0、バイパスフラグBypassFlag = 1と設定して、算術符号符号化部295を指示して、サインフラグdepth_dc_sign_flag[i]のBinを符号化する。一方、DCオフセット係数depth_dc_abs[i]とインターSDCフラグの値の和(depth_dc_abs[i] + interSDCFlag)が0に等しい場合、サインフラグdepth_dc_sign_flag[i]のシンタックス値を0と推定し、サインフラグdetph_dc_sign_flag[i]のBinの符号化を省略する。DCオフセット値DcOffset[i](あるいはDCオフセット値の絶対値(depth_dc_abs[i] + interSDCFlag))が0の場合には、サイン符号を示すサインフラグは不要であるため、サインフラグの符号化を省略することができる。従って、サインフラグの符号化に係る処理量を低減することができる。
また、従来技術では、DCオフセット値の絶対値は、図21のSYN03Pの1行上に示すように、DCオフセット係数depth_dc_abs[i]のシンタックス値と、領域分割数dcNumSegと、定数”―2”の和(depth_dc_abs[i] + dcNumSeg - 2)で算出される。一方、本実施例では、DCオフセット値の絶対値は、DCオフセット係数depth_dc_abs[i]のシンタックス値と、インターSDCフラグinterSDCFlagの和によって表わされる。従って、従来技術と比較して、より少ない演算量で、DCオフセット値の絶対値を導出することができる。
なお、本実施例では、DCオフセット値の絶対値が非ゼロであるかに基づいて、サインフラグを符号化するか否かを制御したがこれに限定されない。例えば、図6のSYND03の1行上の条件式として、if(depth_dc_abs[i] + interSDCFlag)の代わりに、if( depth_dc_abs[i] || interSDCFlag)としてもよい。すなわち、DCオフセット係数depth_dc_abs[i]のシンタックス値が非ゼロ(depth_dc_abs[i]>0)、又は、インターSDCフラグinterSDCFlagが1(真)の場合、サインフラグ符号化部293は、算術符号符号化部295を指示して、サインフラグdepth_dc_sign_flag[i]のBinを符号化する、それ以外の場合(depth_dc_abs[i] == 0 && interSDCFlag==0)、depth_dc_sign_flag[i]のシンタックス値を0と推定し、符号化を省略する。従って、インターSDCフラグが0、かつ、DCオフセット係数depth_dc_abs[i]のシンタックス値が0のとき、サインフラグの符号化を省略することができる。
〔応用例〕
上述した動画像符号化装置2及び動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像符号化装置2及び動画像復号装置1を、動画像の送信及び受信に利用できることを、図19を参照して説明する。
図19の(a)は、動画像符号化装置2を搭載した送信装置PROD_Aの構成を示したブロック図である。図19の(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、及び、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図19の(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図19の(b)は、動画像復号装置1を搭載した受信装置PROD_Bの構成を示したブロック図である。図19の(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置1は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図19の(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
次に、上述した動画像符号化装置2及び動画像復号装置1を、動画像の記録及び再生に利用できることを、図20を参照して説明する。
図20の(a)は、上述した動画像符号化装置2を搭載した記録装置PROD_Cの構成を示したブロック図である。図20の(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置2は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc(登録商標))などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、及び、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部C6を更に備えていてもよい。図20の(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HD(Hard Disk)レコーダなどが挙げられる(この場合、入力端子PROD_C4又は受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3又は受信部PROD_C5又は画像処理部C6が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図20の(b)は、上述した動画像復号装置1を搭載した再生装置PROD_Dの構成を示したブロックである。図20の(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置1は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図20の(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4又は送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3又は送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(ハードウェア的実現およびソフトウェア的実現)
また、上述した動画像復号装置1および動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(Compact Disc Read-Only Memory)/MOディスク(Magneto-Optical disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)/CD−R(CD Recordable)/ブルーレイディスク(Blu-ray Disc(登録商標))等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(登録商標)(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係るDCオフセット情報復号装置は、コンテキストインデックスで指定されるコンテキスト、及びバイパスフラグを参照して、符号化データから1又は複数のBinからなるBin列を復号する算術符号復号部と、前記Bin列からDCオフセット係数のシンタックス値を復号する係数値復号部と、前記Bin列からサインフラグのシンタックス値を復号するサインフラグ復号部と、前記DCオフセット係数のシンタックス値、及び前記サインフラグのシンタックス値を参照してDCオフセット値を導出するDCオフセット値導出部を備える対象PUの分割領域毎にDCオフセット情報の符号化データを復号するDCオフセット情報復号装置であって、前記係数値復号部は、さらに、DCオフセット係数の各Binに対応するコンテキストインデックス、及びバイパスフラグをそれぞれ導出することを特徴とする。
本発明の態様2に係るDCオフセット情報復号装置は、上記態様1において、さらに、前記係数値復号部は、DCオフセット係数のBin列のプリフィックス部分のBinに対して、予測タイプ情報とSDCフラグとに基づいてコンテキスト増分値を導出し、前記コンテキスト増分値と所定オフセットの和をコンテキストインデックスとして導出することを特徴とする。
本発明の態様3に係るDCオフセット情報復号装置は、上記態様2において、さらに、前記係数値復号部は、予測タイプ情報がイントラ予測に等しい、かつ、SDCフラグが1のとき、前記コンテキスト増分値に0を設定し、予測タイプ情報がイントラ予測に等しくない、又は、SDCフラグが0のとき、前記コンテキスト増分値に1を設定することを特徴する。
本発明の態様4に係るDCオフセット情報復号装置は、上記態様1において、さらに、前記係数値復号部は、DCオフセット係数のBin列のプリフィックス部分のBinのうち、先頭のBin対して、第1のコンテキスト増分値を導出し、先頭のBinを除く残りプリフィックス部分にあるBinに対して、第2のコンテキスト増分値を導出し、0番目にあるBinに予測タイプ情報とSDCフラグとに基づいてコンテキスト増分値を導出し、前記コンテキスト増分値と所定オフセットの和をコンテキストインデックスとして導出することを特徴とする。
本発明の態様5に係るDCオフセット情報復号装置は、上記態様1から態様4において、さらに、前記サインフラグ復号部は、予測タイプ情報とSDCフラグに基づいて、インターSDCフラグを導出することを特徴とする。
本発明の態様6に係るDCオフセット情報復号装置は、上記態様5において、さらに、前記サインフラグ復号部は、予測タイプ情報がインター予測に等しい、かつ、SDCフラグが1のとき、前記インターSDCフラグに1を設定し、予測タイプ情報がインター予測に等しくない、または、SDCフラグが0のとき、前記インターSDCフラグに0を設定することを特徴とする。
本発明の態様7に係るDCオフセット情報復号装置は、上記態様6において、さらに、前記サインフラグ復号部は、前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和が0おり大きいとき、前記算術符号復号部を指示して、符号化データよりサインフラグのBin列を復号し、前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和が0に等しいとき、サインフラグのシンタックス値を0と推定することを特徴とする。
本発明の態様8に係るDCオフセット情報復号装置は、上記態様7において、さらに、前記DCオフセット値導出部は、前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和をDCオフセット値の絶対値として導出することを特徴する。
本発明の態様9に係る画像復号装置は、上記態様1から態様8の何れか一項に記載のDCオフセット情報復号装置を備えることを特徴とする。
本発明の態様10に係るDCオフセット情報符号化装置は、DCオフセット値から、DCオフセット係数のシンタックス値、及びサインフラグのシンタックス値を導出するシンタックス値導出部と、前記DCオフセット係数のシンタックス値をBin列へ符号化する係数値符号化部と、前記サインフラグのシンタックス値をBin列へ符号化するサインフラグ符号化部と、コンテキストインデックスで指定されるコンテキスト、及びバイパスフラグを参照して、1又は複数のBinからなるBin列を符号化して符号化データを生成する算術符号符号化部とを備える対象PUの分割領域毎にDCオフセット情報の符号化データを生成するDCオフセット情報符号化装置であって、前記係数値符号化部は、さらに、DCオフセット係数の各Binに対応するコンテキストインデックス、及びバイパスフラグをそれぞれ導出することを特徴とする。
本発明の態様11に係るDCオフセット情報符号化装置は、上記態様1において、さらに、前記係数値符号化部は、DCオフセット係数のBin列のプリフィックス部分のBinに対して、予測タイプ情報とSDCフラグとに基づいてコンテキスト増分値を導出し、前記コンテキスト増分値と所定オフセットの和をコンテキストインデックスとして導出することを特徴とする。
本発明の態様12に係るDCオフセット情報符号化装置は、上記態様11において、さらに、前記係数値符号化部は、予測タイプ情報がイントラ予測に等しい、かつ、SDCフラグが1のとき、前記コンテキスト増分値に0を設定し、予測タイプ情報がイントラ予測に等しくない、又は、SDCフラグが0のとき、前記コンテキスト増分値に1を設定することを特徴する。
本発明の態様13に係るDCオフセット情報符号化装置は、上記態様10において、さらに、前記係数値符号化部は、DCオフセット係数のBin列のプリフィックス部分のBinのうち、先頭のBin対して、第1のコンテキスト増分値を導出し、先頭のBinを除く残りプリフィックス部分にあるBinに対して、第2のコンテキスト増分値を導出し、0番目にあるBinに予測タイプ情報とSDCフラグとに基づいてコンテキスト増分値を導出し、前記コンテキスト増分値と所定オフセットの和をコンテキストインデックスとして導出することを特徴とする。
本発明の態様14に係るDCオフセット情報符号化装置は、上記態様10から態様13において、さらに、前記サインフラグ符号化は、予測タイプ情報とSDCフラグに基づいて、インターSDCフラグを導出することを特徴とする。
本発明の態様15に係るDCオフセット情報符号化装置は、上記態様14において、さらに、前記サインフラグ符号化部は、予測タイプ情報がインター予測に等しい、かつ、SDCフラグが1のとき、前記インターSDCフラグに1を設定し、予測タイプ情報がインター予測に等しくない、または、SDCフラグが0のとき、前記インターSDCフラグに0を設定することを特徴とする。
本発明の態様16に係るDCオフセット情報符号化装置は、上記態様15において、さらに、前記サインフラグ符号化部は、前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和が0おり大きいとき、前記算術符号符号化部を指示して、サインフラグのBin列を符号化し、前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和が0に等しいとき、サインフラグのシンタックス値を0と推定し、サインフラグのBin列の符号化をしないことを特徴とする。
本発明の態様17に係る画像符号化装置は、上記態様10から態様16の何れか一つに記載のDCオフセット情報符号化装置を備えることを特徴とする。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
1 動画像復号装置(画像復号装置)
11 可変長復号部
111 DCオフセット情報復号部(DCオフセット情報復号装置)
112 係数値復号部
113 サイン符号復号部
114 DCオフセット値導出部
115 算術符号復号部
116 コンテキスト記録更新部
117 ビット復号部
13 逆量子化・逆変換部
14 予測画像生成部
141 予測単位設定部
142 参照画素設定部
143 スイッチ
145 イントラ予測部
145D DC予測部
145P Planar予測部
145A Angular予測部
145T DMM予測部
145T1 DC予測画像導出部
145T2 DMM1ウェッジレットパターン生成部
145T3 DMM4ウェッジレットパターン生成部
145T5 ウェッジレットパターンリスト生成部
145T5 バッファ
145T6 DMM1ウェッジレットパターン導出部
146 インター予測部
15 加算器
16 フレームメモリ
2 動画像符号化装置
21 符号化設定部
22 逆量子化・逆変換部
23 予測画像生成部
24 加算器
25 フレームメモリ
26 減算器
27 変換・量子化部
29 符号化データ生成部
291 DCオフセット情報符号化部(DCオフセット情報符号化装置)
292 係数値符号化部
293 サインフラグ符号化部
294 シンタックス値導出部
295 算術符号符号化部
296 コンテキスト記録更新部
297 ビット符号化部

Claims (17)

  1. コンテキストインデックスで指定されるコンテキスト、及びバイパスフラグを参照して、符号化データから1又は複数のBinからなるBin列を復号する算術符号復号部と、
    前記Bin列からDCオフセット係数のシンタックス値を復号する係数値復号部と、
    前記Bin列からサインフラグのシンタックス値を復号するサインフラグ復号部と、
    前記DCオフセット係数のシンタックス値、及び前記サインフラグのシンタックス値を参照してDCオフセット値を導出するDCオフセット値導出部を備える対象PUの分割領域毎にDCオフセット情報の符号化データを復号するDCオフセット情報復号装置であって、
    前記係数値復号部は、さらに、DCオフセット係数の各Binに対応するコンテキストインデックス、及びバイパスフラグをそれぞれ導出することを特徴とするDCオフセット情報復号装置。
  2. 前記係数値復号部は、DCオフセット係数のBin列のプリフィックス部分のBinに対して、予測タイプ情報とSDCフラグとに基づいてコンテキスト増分値を導出し、前記コンテキスト増分値と所定オフセットの和をコンテキストインデックスとして導出することを特徴とする請求項1に記載のDCオフセット情報復号装置。
  3. 前記係数値復号部は、予測タイプ情報がイントラ予測に等しい、かつ、SDCフラグが1のとき、前記コンテキスト増分値に0を設定し、
    予測タイプ情報がイントラ予測に等しくない、又は、SDCフラグが0のとき、前記コンテキスト増分値に1を設定することを特徴する請求項2に記載のDCオフセット情報復号装置。
  4. 前記係数値復号部は、DCオフセット係数のBin列のプリフィックス部分のBinのうち、先頭のBin対して、第1のコンテキスト増分値を導出し、先頭のBinを除く残りプリフィックス部分にあるBinに対して、第2のコンテキスト増分値を導出し、0番目にあるBinに予測タイプ情報とSDCフラグとに基づいてコンテキスト増分値を導出し、前記コンテキスト増分値と所定オフセットの和をコンテキストインデックスとして導出することを特徴とする請求項1に記載のDCオフセット情報復号装置。
  5. 前記サインフラグ復号部は、予測タイプ情報とSDCフラグに基づいて、インターSDCフラグを導出することを特徴とする請求項1から請求項4に記載のDCオフセット情報復号装置。
  6. 前記サインフラグ復号部は、予測タイプ情報がインター予測に等しい、かつ、SDCフラグが1のとき、前記インターSDCフラグに1を設定し、予測タイプ情報がインター予測に等しくない、または、SDCフラグが0のとき、前記インターSDCフラグに0を設定することを特徴とする請求項5に記載のDCオフセット情報復号装置。
  7. 前記サインフラグ復号部は、前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和が0おり大きいとき、前記算術符号復号部を指示して、符号化データよりサインフラグのBin列を復号し、
    前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和が0に等しいとき、サインフラグのシンタックス値を0と推定することを特徴とする請求項6に記載のDCオフセット情報復号装置。
  8. 前記DCオフセット値導出部は、前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和をDCオフセット値の絶対値として導出することを特徴する請求項7に記載のDCオフセット情報復号装置。
  9. 上記請求項1から請求項8の何れか一項に記載のDCオフセット情報復号装置を備える画像復号装置。
  10. DCオフセット値から、DCオフセット係数のシンタックス値、及びサインフラグのシンタックス値を導出するシンタックス値導出部と、
    前記DCオフセット係数のシンタックス値をBin列へ符号化する係数値符号化部と、
    前記サインフラグのシンタックス値をBin列へ符号化するサインフラグ符号化部と、
    コンテキストインデックスで指定されるコンテキスト、及びバイパスフラグを参照して、1又は複数のBinからなるBin列を符号化して符号化データを生成する算術符号符号化部とを備える対象PUの分割領域毎にDCオフセット情報の符号化データを生成するDCオフセット情報符号化装置であって、
    前記係数値符号化部は、さらに、DCオフセット係数の各Binに対応するコンテキストインデックス、及びバイパスフラグをそれぞれ導出することを特徴とするDCオフセット情報符号化装置。
  11. 前記係数値符号化部は、DCオフセット係数のBin列のプリフィックス部分のBinに対して、予測タイプ情報とSDCフラグとに基づいてコンテキスト増分値を導出し、前記コンテキスト増分値と所定オフセットの和をコンテキストインデックスとして導出することを特徴とする請求項10に記載のDCオフセット情報符号化装置。
  12. 前記係数値符号化部は、予測タイプ情報がイントラ予測に等しい、かつ、SDCフラグが1のとき、前記コンテキスト増分値に0を設定し、
    予測タイプ情報がイントラ予測に等しくない、又は、SDCフラグが0のとき、前記コンテキスト増分値に1を設定することを特徴する請求項11に記載のDCオフセット情報符号化装置。
  13. 前記係数値符号化部は、DCオフセット係数のBin列のプリフィックス部分のBinのうち、先頭のBin対して、第1のコンテキスト増分値を導出し、先頭のBinを除く残りプリフィックス部分にあるBinに対して、第2のコンテキスト増分値を導出し、0番目にあるBinに予測タイプ情報とSDCフラグとに基づいてコンテキスト増分値を導出し、前記コンテキスト増分値と所定オフセットの和をコンテキストインデックスとして導出することを特徴とする請求項10に記載のDCオフセット情報符号化装置。
  14. 前記サインフラグ符号化は、予測タイプ情報とSDCフラグに基づいて、インターSDCフラグを導出することを特徴とする請求項10から請求項13に記載のDCオフセット情報符号化装置。
  15. 前記サインフラグ符号化部は、予測タイプ情報がインター予測に等しい、かつ、SDCフラグが1のとき、前記インターSDCフラグに1を設定し、予測タイプ情報がインター予測に等しくない、または、SDCフラグが0のとき、前記インターSDCフラグに0を設定することを特徴とする請求項14に記載のDCオフセット情報符号化装置。
  16. 前記サインフラグ符号化部は、前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和が0おり大きいとき、前記算術符号符号化部を指示して、サインフラグのBin列を符号化し、
    前記DCオフセット係数のシンタックス値と前記インターSDCフラグの和が0に等しいとき、サインフラグのシンタックス値を0と推定し、サインフラグのBin列の符号化をしないことを特徴とする請求項15に記載のDCオフセット情報符号化装置。
  17. 上記請求項10から請求項16の何れか一項に記載のDCオフセット情報符号化装置を備える画像符号化装置。
JP2014207788A 2014-10-09 2014-10-09 Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。 Pending JP2016076904A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014207788A JP2016076904A (ja) 2014-10-09 2014-10-09 Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014207788A JP2016076904A (ja) 2014-10-09 2014-10-09 Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。

Publications (1)

Publication Number Publication Date
JP2016076904A true JP2016076904A (ja) 2016-05-12

Family

ID=55950095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014207788A Pending JP2016076904A (ja) 2014-10-09 2014-10-09 Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。

Country Status (1)

Country Link
JP (1) JP2016076904A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671585B2 (en) 2019-03-23 2023-06-06 Lg Electronics Inc. Image coding method and apparatus based on intra prediction using MPM list

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671585B2 (en) 2019-03-23 2023-06-06 Lg Electronics Inc. Image coding method and apparatus based on intra prediction using MPM list

Similar Documents

Publication Publication Date Title
JP6441418B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
US10547861B2 (en) Image decoding device
US10142653B2 (en) Image decoding apparatus, image coding apparatus, and coded data transformation apparatus
US10136161B2 (en) DMM prediction section, image decoding device, and image coding device
WO2016203881A1 (ja) 算術復号装置及び算術符号化装置
CN112544084B (zh) 图像编码装置、编码流提取装置以及图像解码装置
KR101930896B1 (ko) 이미지 디코딩 장치 및 이미지 디코딩 방법
KR102606330B1 (ko) Aps 시그널링 기반 비디오 또는 영상 코딩
WO2014115283A1 (ja) 画像復号装置、および画像符号化装置
WO2017068856A1 (ja) 予測画像生成装置、画像復号装置および画像符号化装置
JP5995448B2 (ja) 画像復号装置、および画像符号化装置
TW202133613A (zh) 圖像解碼裝置及圖像編碼裝置
WO2019065488A1 (ja) 画像復号装置および画像符号化装置
JPWO2014104242A1 (ja) 画像復号装置、および画像符号化装置
CN113632475A (zh) 图像解码装置
JP2013118424A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造
JP2015167267A (ja) 画像復号装置、および画像符号化装置
JP2014176039A (ja) 画像復号装置、および画像符号化装置
JP2016076904A (ja) Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。
JP6162289B2 (ja) 画像復号装置および画像復号方法
JP2016072941A (ja) Dmm予測装置、画像復号装置、および画像符号化装置
JP2016143962A (ja) 領域分割画像生成装置、画像復号装置、および符号化装置。
JP2016066981A (ja) Dmm予測部、画像復号装置、および画像符号化装置
JP2013251827A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
JP2015076806A (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20161104