JP2021153214A - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
JP2021153214A
JP2021153214A JP2018189948A JP2018189948A JP2021153214A JP 2021153214 A JP2021153214 A JP 2021153214A JP 2018189948 A JP2018189948 A JP 2018189948A JP 2018189948 A JP2018189948 A JP 2018189948A JP 2021153214 A JP2021153214 A JP 2021153214A
Authority
JP
Japan
Prior art keywords
tile
unit
ctu
size
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018189948A
Other languages
English (en)
Inventor
将伸 八杉
Masanobu Yasugi
将伸 八杉
知宏 猪飼
Tomohiro Igai
知宏 猪飼
友子 青野
Tomoko Aono
友子 青野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2018189948A priority Critical patent/JP2021153214A/ja
Priority to US17/256,617 priority patent/US11652991B2/en
Priority to PCT/JP2019/025010 priority patent/WO2020004349A1/ja
Publication of JP2021153214A publication Critical patent/JP2021153214A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】タイルサイズをCTUの整数倍に制限しないタイル分割とCTUの有効領域が小さい場合に効率的なループフィルタ処理を提供する。【解決手段】画像をタイルに分割し、タイル単位に動画像を復号する動画像復号装置であって、符号化ストリームからヘッダ情報を復号し、タイル情報を算出するヘッダ情報復号部と、タイル毎の符号化データを復号し、タイルの復号画像を生成するタイル復号部と、前記タイル情報を参照して前記タイルの復号画像を合成し表示画像を生成する合成部とを備える。前記タイルは、隣接するタイルとオーバーラップする領域を含む。前記合成部は、タイルのオーバーラップ領域において、各画素の複数の画素値をフィルタ処理し、前記タイルの復号画像の画素値とフィルタ処理した画素値を用いて表示画像を生成する。【選択図】図5

Description

本発明の実施形態は、動画像復号装置、および動画像符号化装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC(High-Efficiency Video Coding)にて提案されている方式などが挙げられる。
このような動画像符号化方式においては、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット(CTU:Coding Tree Unit)、符号化ツリーユニットを分割することで得られる符号化単位(符号化ユニット(Coding Unit:CU)と呼ばれることもある)、及び、符号化単位を分割することより得られる変換ユニット(TU:Transform Unit)からなる階層構造により管理され、CU毎に符号化/復号される。
また、このような動画像符号化方式においては、通常、入力画像を符号化/復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像(原画像)から減算して得られる予測誤差(「差分画像」または「残差画像」と呼ぶこともある)が符号化される。予測画像の生成方法としては、画面間予測(インター予測)、および、画面内予測(イントラ予測)が挙げられる。
また、画面を複数の単位に分割し並列処理を行う方法としては、スライス、CTUライン(ウェーブフロントセグメント)、タイルに分割する方法が知られている。タイルに分割する方法では従来CTU単位での分割に限定されていた。
また、近年の動画像符号化及び復号の技術として非特許文献1が挙げられる。
"Algorithm Description of Joint Exploration Test Model 7", JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2017-08-19
上記で説明したように、タイルサイズがCTUの整数倍という制限があり、ロードバランスのために同じサイズに分割することや、360度動画のフェース(face)サイズに合わせたタイルを構成することが難しいという課題がある。
また、画面端やタイル端などに置いて、CTUの有効領域が小さい場合にループフィルタ処理をする場合、ループフィルタのための情報のオーバーヘッドが大きく、性能が向上しない、という課題がある。
そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的は、CTUの整数倍の制限がないタイル分割と効率的なループフィルタ処理を提供することである。
本発明の一態様に係る動画像復号装置は、画像をタイルに分割し、タイルをCTUに分割し、CTU単位に動画像を復号する動画像復号装置において、符号化ストリームのヘッダ情報からタイルの大きさの単位を示すタイルユニット情報を復号するヘッダ復号部と、タイルをCTUにするCT復号部を備え、上記ヘッダ復号部は、タイルユニット情報を用いてタイル左上位置とタイルサイズを導出することを特徴とする。
符号化ストリームのデータの階層構造を示す図である。 CTUの分割例を示す図である。 タイルを説明する図である。 タイル情報等に関するシンタックス表である。 動画像復号装置の構成を示す概略図である。 動画像復号装置の概略的動作を説明するフローチャートである。 CT情報復号部の動作を説明するフローチャートである。 CTUおよびQT情報のシンタックス表の構成例を示す図である。 MT(Multi Tree)情報のシンタックス表の構成例を示す図である。 MT(Multi Tree)情報のシンタックス表の構成例を示す図である。 非CTUサイズでのタイル分割を説明する図である。 非CTUサイズでのタイル分割を説明する図である。 符号化スライスデータのシンタックス構成である。 本実施形態のループフィルタ部の動作を示すフローチャートである。 ALFのシンタックスの一例である。 SAOを説明する図である。 SAOのシンタックスの一例である。 SAO及びALFのブロック図である。 動画像符号化装置の構成を示すブロック図である。 本実施形態に係る動画像符号化装置を搭載した送信装置、および、動画像復号装置を搭載した受信装置の構成について示した図である。(a)は動画像符号化装置を搭載した送信装置を示しており、(b)は動画像復号装置を搭載した受信装置を示している。 本実施形態に係る動画像符号化装置を搭載した記録装置、および、動画像復号装置を搭載した再生装置の構成について示した図である。(a)は動画像符号化装置を搭載した記録装置を示しており、(b)は動画像復号装置を搭載した再生装置を示している。 本実施形態に係る画像伝送システムの構成を示す概略図である。 タイル情報等に関するシンタックス表の別の例である。 タイル情報等に関するシンタックス表の別の例である。 タイル情報等に関するシンタックス表の別の例である。 タイル情報等に関するシンタックス表の別の例である。
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について説明する。
図22は、本実施形態に係る画像伝送システム1の構成を示す概略図である。
画像伝送システム1は、符号化対象画像を符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し画像を表示するシステムである。画像伝送システム1は
、動画像符号化装置(画像符号化装置)11、ネットワーク21、動画像復号装置(画像復号装置)31、及び動画像表示装置(画像表示装置)41を含んで構成される。
動画像符号化装置11には画像Tが入力される。
ネットワーク21は、動画像符号化装置11が生成した符号化ストリームTeを動画像復号装置31に伝送する。ネットワーク21は、インターネット(Internet)、広域ネットワーク(WAN:Wide Area Network)、小規模ネットワーク(LAN:Local Area Network)またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD(Digital Versatile Disc:登録商標)、BD(Blue-ray Disc:登録商標)等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
動画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した1または複数の復号画像Tdを生成する。
動画像表示装置41は、動画像復号装置31が生成した1または複数の復号画像Tdの全部または一部を表示する。動画像表示装置41は、例えば、液晶ディスプレイ、有機EL(Electro-luminescence)ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、動画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
<演算子>
本明細書で用いる演算子を以下に記載する。
>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。
x?y:zは、xが真(0以外)の場合にy、xが偽(0)の場合にzをとる3項演算子である。
Clip3(a,b,c)は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である(ただし、a<=b)。
abs(a)はaの絶対値を返す関数である。
Int(a)はaの整数値を返す関数である。
floor(a)はa以下の最大の整数を返す関数である。
ceil(a)はa以上の最大の整数を返す関数である。
a/dはdによるaの除算(小数点以下切り捨て)を表す。
<符号化ストリームTeの構造>
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
図1は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリ
ームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図1の(a)〜(f)は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図である。
(符号化ビデオシーケンス)
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図1(a)に示すように、ビデオパラメータセット(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用を示すフラグ(weighted_pred_flag)が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
(符号化ピクチャ)
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図1(b)に示すように、スライス0〜スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライス0〜スライスNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
(符号化スライス)
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図1(c)に示すように、スライスヘッダ、および、スライスデータを含んでいる。
スライスヘッダには、対象スライスの復号方法を決定するために動画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、または、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、または、イ
ントラ予測を用いるBスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。
なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照(pic_parameter_set_id)を含んでいても良い。
(符号化スライスデータ)
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図1(d)に示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば128x128)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
(タイル)
図3(a)はピクチャをN個のタイル(実線の矩形、図はN=9の例)に分割した例を示す図である。タイルはさらに複数のCTU(破線の矩形)に分割される。図3(a)の中央に示すように、タイルの左上座標を(xTile,yTile)、幅をwTile、高さをhTileと記す。またピクチャの幅をwPict、高さをhPictと記す。なお、タイルの分割数やサイズに関する情報をタイル情報と呼び、詳細は後述する。xTile、yTile、wTile、hTile、wPict、hPictの単位は画素である。ピクチャの幅、高さは図4(a)に示すsequence_parameter_set_rbsp()(SPSと称す)で通知される、pic_width_in_luma_samples、pic_height_in_luma_samplesをセットする。
wPict = pic_width_in_luma_samples
hPict = pic_height_in_luma_samples
図3(b)はピクチャをタイルに分割した時の、CTUの符号化、復号順序を示す図である。各タイルに記載されている番号はTileId(ピクチャ内のタイルの識別子)であり、ピクチャ内のタイルに対し左上から右下にラスタスキャン順で番号TileIdを割り当ててもよい。また、CTUは各タイル内を左上から右下へラスタスキャン順に処理され、1つのタイル内での処理が終わると、次のタイル内のCTUが処理される。
図3(c)は時間方向に連続するタイルを示す図である。図3(c)に示されるように、ビデオシーケンスは、時間方向に連続する複数のピクチャから構成されている。タイルシーケンスは、時間方向に連続する1つ以上の時刻のタイルから構成されている。図中wのTile(n,tk)は、時刻tkにおけるTileId=nのタイルを表す。なお、図中のCVS(Coded Video Sequence)は、あるイントラピクチャから復号順で別のイントラピクチャの直前のピクチャまでのピクチャ群である。
図4は、タイル情報等に関するシンタックスの例である。
図4(b)に示すPPS(pic_parameter_set_rbsp())で、タイルに関するパラメータtile_parameters()を通知する。以下、パラメータを通知するとは、パラメータを符号化データ(ビットストリーム)に含めることを意味し、動画像符号化装置では当該パラメータを符号化し、動画像復号装置では当該パラメータを復号する。tile_parameters()には、図4(c)に示すように、tileが存在するか否かを示すtile_enabled_flagが1の場合、タイル情報tile_info()を通知する。また、tile_enabled_flagが1の場合、タイルが時間的に連続する複数のピクチャにわたって独立に復号できるか否かを示すindependent_tiles_flag(independent_decoding_tile_flag)を通知する。independent_tiles_flagが0の場合、タイルは、参照ピクチャ中の隣接タイルを参照して復号する(独立に復号できない)。independ
ent_tiles_flagが1の場合、参照ピクチャ中の隣接タイルを参照せずに復号する。タイルを用いる場合、independent_tiles_flagの値によらず、対象ピクチャ中の隣接タイルを参照せずに復号するため、複数のタイルを並列に復号することができる。このindependent_tiles_flagフラグは、タイル単位など領域単位のフラグindependent_decoding_picture_region_flagであってもよい。
図4(c)に示すように、independent_tiles_flagが0の場合に参照ピクチャにかけるタイル境界でのループフィルタのオンオフを示す、loop_filter_across_tiles_enable_flagを伝送(present)する。independent_tiles_flagが1の場合において、loop_filter_across_tiles_enable_flagを伝送(present)せずに常に0としてもよい。
なお、シーケンスを通してタイルを独立に処理する場合、独立タイルフラグindependent_tiles_flagは図4(a)に示すようにSPSで通知してもよい。
タイル情報tile_info()は、例えば図4(d)に示すように、num_tile_columns_minus1、num_tile_rows_minus1、tile_unit_width_idc、tile_unit_height_idc、uniform_spacing_flag、column_width_in_unit_minus1[i]、row_height_in_unit_minus1[i]である。ここで、num_tile_columns_minus1、num_tile_rows_minus1は各々ピクチャ内の水平、垂直方向のタイル数M、Nから各々1を引いた値である。uniform_spacing_flagはピクチャが可能な限り均等にタイル分割されるか否かを示すフラグである。uniform_spacing_flagの値が1の場合、ピクチャの各タイルの幅、高さは所定のサイズを単位として可能な限り等しくなるよう、ピクチャ内の水平、垂直方向のタイル数と、タイルの最小単位を示す識別子(タイルユニット識別子)(tile_unit_width_idc、tile_unit_height_idc)から動画像符号化装置、動画像復号装置(ヘッダ復号部3020)において、タイルの幅、高さを導出する。
ヘッダ復号部3020は、タイルユニット識別子tile_unit_width_idc、tile_unit_height_idcからタイルの最小単位wUnitTile、hUnitTileを導出する(詳細は後述)。
wUnitTile = 1<<(log2CbSize+tile_unit_width_idc)
hUnitTile = 1<<(log2CbSize+tile_unit_height_idc)
ヘッダ復号部3020は、ピクチャ内の水平、垂直方向のタイル数M、Nを以下で導出する。MはnumTileColumns、NはnumTileRowsである。
M = num_tile_columns_minus1+1
N = num_tile_rows_minus1+1
numTileColumns = M = num_tile_columns_minus1+1
numTileRows = N = num_tile_columns_minus1+1
ヘッダ復号部3020は、タイルの最小サイズ(最小単位)wUnitTile、hUnitTileの倍数となるように、タイルサイズを以下で導出する。ここで、wPictInUnitTileとhPictInUnitTileは、それぞれ、wPictおよびhPictをwUnitTileおよびhUnitTileを単位として表した値である。
wPictInUnitTile = ceil(wPict/wUnitTile)
hPictInUnitTile = ceil(hPict/hUnitTile)
wTile[m] = ceil(wPictInUnitTile/M)*wUnitTile (0<=m<M)
hTile[n] = ceil(hPictInUnitTile/N)*hUnitTile (0<=n<N)
あるいはヘッダ復号部3020は、下式で導出してもよい。
wTile[m] = floor(wPict/M/wUnitTile)*wUnitTile (0<=m<M)
hTile[n] = floor(hPict/N/hUnitTile)*hUnitTile (0<=n<N)
あるいはヘッダ復号部3020は、下式で導出してもよい。
for(m=0;m<M;m++)
wTile[m] = ((m+1)*wPictInUnitTile/M-m*wPictInUnitTile/M)*wUnitTile
for(n=0;n<N;n++)
hTile[n] = ((n+1)*hPictInUnitTile/N-n*hPictInUnitTile/N)*hUnitTile
uniform_spacing_flagの値が0の場合、ピクチャの各タイルの幅、高さは個別に設定される。動画像符号化装置では、各タイルの幅column_width_in_unit_minus1[i](図3のwTileを、wUnitTileを単位として表現した値)、高さrow_height_in_unit_minus1[i](図3のhTileを、hUnitTileを単位として表現した値)をタイル毎に符号化する。動画像復号装置のヘッダ復号部3020では、符号化された(column_width_in_unit_minus1[],row_width_in_unit_minus1[])に基づいてタイル毎に、タイルサイズwTile[m]、hTile[n]を下記のように復号する。
wTile[m] = (column_width_in_unit_minus1[m]+1)*wUnitTile (0<=m<M-1)
hTile[n] = (row_height_in_unit_minus1[m]+1)*hUnitTile (0<=n<N-1)
wTile[M-1] = ceil((wPict-sum_m(wTile[m]))/wUnitTile)*wUnitTile
hTile[N-1] = ceil((hPict-sum_n(hTile[n]))/hUnitTile)*hUnitTile
ここで、sum_m(wTile[m])は、wTile(0<=m<M-1)の総和、sum_n(hTile[n])はhTile(0<=n<N-1)の総和を表す。
あるいは、画面端にあたるwTile[M-1]およびhTile[N-1]は、ピクチャサイズがタイルの最小単位の整数倍でない場合には、単に下記のようにしてもよい。
wTile[M-1] = wPict-sum_m(wTile[m])
hTile[N-1] = hPict-sum_n(hTile[n])
ただしこの場合は、処理単位がタイルの最小単位あるいは最小CUサイズに合致するように、パディングやクロッピングなどにより画面端が適切に処理されることが望ましい。
なお、位置(m,n)のタイルは識別子TileIdでも表され、TileIdは下記で算出してもよい。
TileId = n*M+m
あるいは、TileIdが既知の場合、TileIdからタイルの位置を示す(m,n)を算出してもよい。
m = TileId%M
n = TileId/M
ヘッダ復号部3020は、タイルの大きさの単位を示すタイルユニット情報を復号する。タイルの幅と高さの最小単位をwUnitTile、hUnitTileとする場合、タイルの幅と高さは、各々wUnitTile、hUnitTileの整数倍に設定される。
例えば、ヘッダ復号部3020は、符号化データからタイルユニット識別子としてtile_unit_width_idcとtile_unit_height_idcを復号する。タイルの大きさの単位は符号化ユニットCUの最小サイズの定数倍(1を含む)としてもよい。CTUの幅と高さが等しい正方形であれば、tile_unit_width_idcのみ復号して、tile_unit_height_idc=tile_unit_width_idcとし、タイルの大きさの単位を導出してもよい。このときtile_unit_height_idcをtile_unit_size_idcと呼んでも良い。
(設定方法1)
ヘッダ復号部3020は、タイルユニット識別子が0である場合には、タイルの大きさの単
位をCTU単位として設定する。具体的には、tile_unit_width_idc=0の場合にwUnitTile=ctuWidth、tile_unit_width_idc=0の場合にhUnitTile=ctuHeightに設定する。ここで、ctuWidthはCTUの幅、ctuHeightはCTUの高さである。
さらにヘッダ復号部3020は、以下のように、タイルユニット識別子が0以外である場合には、タイルの大きさの単位を符号化ユニットCUの最小サイズの定数倍になるように設定しても良い。
wUnitTile = (tile_unit_width_idc==0) ? ctuWidth : 1<<(log2CbSize+tile_unit_width_idc-1)
hUnitTile = (tile_unit_height_idc==0) ? ctuHeight : 1<<(log2CbSize+tile_unit_height_idc-1)
ここで、log2CbSize=log2(minCU)、minCUは符号化ユニットCUの最小サイズである。
なおCTUサイズctuSize=ctuWidth=ctuHeightは、以下のように、最小CUサイズを定めるシンタックス要素log2_min_luma_coding_block_size_minus3と、CUサイズを最小CUサイズとの差分との対数で示すシンタックス要素log2_diff_max_min_luma_coding_block_sizeを復号して導出しても良い。
log2CbSize = log2_min_luma_coding_block_size_minus3+3
log2CtuSize = log2CbSize+log2_diff_max_min_luma_coding_block_size
minCU = 1 << log2CbSize
ctuSize = 1 << log2CtuSize
なお、タイルユニット識別子!=0の場合には、タイル単位を符号化ユニットCUの最小サイズの定数倍(2の指数乗)に設定しても良い。
wUnitTile = (tile_unit_width_idc==0) ? ctuWidth : 1<<(log2CbSize+ Log2DiffTileUnitSize)
hUnitTile = (tile_unit_height_idc==0) ? ctuHeight : 1<<(log2CbSize+ Log2DiffTileUnitSize)
ここでLog2DiffTileUnitSizeは、タイル単位を定める定数である。例えば1、2、3に設定することで、タイル単位が最小CUサイズの4、8、16倍に設定される。例えば、CUサイズが4の場合には、8、16、32に設定される。さらに最大値をCTUサイズとなるようにクリップしても良い。
(設定方法2)
タイル情報は0から所定の範囲の数のタイルユニット識別子tile_unit_width_idcであり、タイルの大きさの単位を1<<(log2(minCU)+タイルユニット識別子)で設定してもよい。すなわち、ヘッダ復号部3020は、tile_unit_width_idc、tile_unit_height_idc(もしくはtile_unit_size_idc)を復号し、タイル単位を以下のように設定してもよい。
wUnitTile = 1<<(log2CbSize+tile_unit_width_idc)
hUnitTile = 1<<(log2CbSize+tile_unit_height_idc)
CTUの幅と高さが等しい正方形であれば、以上はtile_unit_size_idcを復号し以下のように設定することと同値である。以下、自明であるので、正方形のみの場合の説明は省略する。
wUnitTile = hUnitTile = ctuSize>>tile_unit_size_idc
なお、タイルユニット識別子を明示的に符号化せず、タイル単位を符号化ユニットCUの最小サイズの定数倍(2の指数乗)に設定しても良い。
wUnitTile = 1<<(log2CbSize+Log2DiffTileUnitSize)
hUnitTile = 1<<(log2CbSize+Log2DiffTileUnitSize)
ここでLog2DiffTileUnitSizeは、タイル単位を定める定数である。さらに最大値がCTUサイズにクリップしても良い。
wUnitTile = min(ctuWidth,1<<(log2CbSize+Log2DiffTileUnitSize))
hUnitTile = min(ctuHeight1<<(log2CbSize+Log2DiffTileUnitSize))
(設定方法3)
タイル情報は、0から所定の範囲の数のタイルユニット識別子であり、タイルの大きさの単位をCTUサイズの2の指数乗分の1となるように、1<<(log2(CTUサイズ)−タイルユニット識別子)で設定することを特徴とする。すなわち、ヘッダ復号部3020は、tile_unit_width_idc、tile_unit_height_idc(もしくはtile_unit_size_idc)を復号し、タイル単位を以下のように設定してもよい。
wUnitTile = 1<<(log2CtuWidthY-tile_unit_width_idc)
hUnitTile = 1<<(log2CtuHeightY-tile_unit_height_idc)
ここで、log2CtuWidthY=log2(ctuWidth)、log2CtuHeightY=log2(ctuHeight)である。
なお、CTUサイズの幅と高さを同じ値に設定しても良い。
wUnitTile = 1<<(log2CtuSize-tile_unit_width_idc)
hUnitTile = 1<<(log2CtuSize-tile_unit_height_idc)
ここで、log2CtuSize=log2(ctuWidth)=log2(ctuHeight)である。
この場合、差分の対数での表現になるのでtile_unit_width_idcをlog2_diff_luma_tile_unit_sizeと呼ぶのも適当である。
なお、以下のようにタイル単位が8の倍数の最小サイズとなるようにクリップしても良い。
wUnitTile = max(8, ctuWidth>>tile_unit_width_idc)
hUnitTile = max(8, ctuHeight>>tile_unit_height_idc)
これによって、常にタイル幅が8の倍数となるため(設定方法5)に示す効果も奏する。
また、以下のように単位サイズをminCTUサイズとなるようにクリップしても良い。
wUnitTile = max(minCTU, ctuWidth>>tile_unit_width_idc)
hUnitTile = max(minCTU, ctuHeight>>tile_unit_height_idc)
これによって、常にタイル幅がCTUの最小サイズの倍数となるため(設定方法5)に示す効果も奏する。
さらに、tile_unit_width_idcの取り得る範囲を制限しても良い。例えば、ctuWidth>>tile_unit_width_idcの最小値をminCTUとする場合、
ctuWidth>>tile_unit_width_idc >= minCTU
ctuWidth >= minCTU<< tile_unit_width_idc
ctuWidth >= minCTU * (1<<tile_unit_width_idc)
(1<<tile_unit_width_idc) <= ctuWidth/minCTU
tile_unit_width_idc <= log2(ctuWidth)-log2(minCTU)
であるから、tile_unit_width_idcを0以上log2(ctuWidth)-log2(minCTU)以下に制限する。すなわち、動画像復号装置は、0以上log2(ctuWidth)-log2(minCTU)以下に制限された符
号化データを復号することにより、minCTUの倍数であるタイル単位を用いることができる。
同様に、0以上log2(ctuWidth)-log2(8)=log2(ctuWidth)-3以下に制限された符号化データを復号することにより8の倍数であるタイル単位を用いることができる。8の倍数でなく16、32の倍数の場合には、上記の3(log2(8))を4、5とすればよい。
(設定方法4)
タイル情報は、0から所定の範囲の数のタイルユニット識別子であり、タイルの大きさの単位をCTUサイズの2の指数乗分の1となるように、CTUサイズ>>タイルユニット識別子で設定することを特徴とする。すなわち、ヘッダ復号部3020は、tile_unit_width_idc、tile_unit_height_idc(もしくはtile_unit_size_idc)を復号し、タイル単位を以下のように設定してもよい。
wUnitTile = ctuWidth>>tile_unit_width_idc
hUnitTile = ctuHeight>>tile_unit_height_idc
設定方法3と設定方法4は同値であるから、tile_unit_width_idc、tile_unit_height_idc(もしくはtile_unit_size_idc)の制限は(設定方法3)で説明した方法が利用できる。
(設定方法5)
ヘッダ復号部3020は、タイルユニット識別子(tile_unit_width_idc、tile_unit_height_idc)を復号せず、所定の値TileUnitをwUnitTile、hUnitTileに設定する。所定の値TileUnitは8の倍数、特に8、16、32の何れかであることが好ましい。タイル情報tile_info()は図4(d)に替えて図23(d)のように通知され、ヘッダ復号部3020はこのタイル情報を復号する。
wUnitTile = TileUnit
hUnitTile = TileUnit
ここで、TileUnitは8あるいは16、32のように8の倍数とする。タイル単位を8の倍数とすれば、画素のbitDepthが10bitなど8の倍数でない場合にも、タイル幅の画素データは8の倍数とすることができる。これによりメモリ配置する場合にもタイル境界が常にバイト(8bit)境界となり、タイルをメモリに配置する場合において、タイル間にメモリのギャップが不要である。ギャップがなければ、ギャップ分のメモリは不要で、連続的に転送可能であることから、メモリサイズを低減できるとともに高速転送が可能という効果を奏する。さらに16の倍数であれば、タイル幅のデータを常に128bitの倍数とすることができ(bitDepth=8bitの場合)、多くのメモリ(例えばDDR)のバーストアクセスで高速アクセスが可能となる。
さらに、16、32の場合には後述の最小CTUサイズと一致するという効果を奏する。
(設定方法6)
ヘッダ復号部3020は、タイルユニット識別子(tile_unit_width_idc、tile_unit_height_idc)を復号せず、所定の値TileUnitをwUnitTile、hUnitTileに設定する。所定の値TileUnitはCTUの最小サイズ(最小CTUサイズ)であることが好ましい。この場合、タイル情報tile_info()は図4(d)に替えて図23(d)のように通知され、ヘッダ復号部3020はこのタイル情報を復号する。
wUnitTile = TileUnit
hUnitTile = TileUnit
TileUnit = 1<<(log2_min_luma_coding_tree_block_size_minus4+4)
ここで、log2_min_luma_coding_block_size_minus4は、CTUの最小サイズの2のべき乗表現から4を引いた値である。例えば、0、1、2、3であれば各々最小CTUサイズは、16、32、64、128である。なお最小CTUサイズを定めるlog2_min_luma_coding_block_size_minus4はシンタックス要素として符号化データで符号化しても良いし定数でもよい。例えば定数の場合には、通例最小CTUサイズは、16、32であるため(設定方法5)と一致する。
最小CTUサイズは、動画像復号装置の機能や能力を規定するプロファイルやレベルで設定しても良い。プロファイルやレベルは、機器間のネゴーシエ―ションに用いられるため比較的上位のパラメータセットやヘッダ、例えば、SPSのシンタックス要素profile_idc、level_idcで伝送される。
タイル単位を最小CTUサイズの倍数とする場合、タイル幅は常に最小CTUサイズの倍数となる。通例、ピクチャをメモリに格納する場合にはCTUサイズの取り得る範囲が限定的である(例えば、16、32、64)であることに基づいてメモリ配置を最適化する。タイル幅がCTUサイズの整数倍(2の指数乗)であれば、ピクチャと同様の方法でタイルの場合もメモリ配置ができるので、画像を省メモリかつ高速アクセス可能となる効果を奏する。
(設定方法7)
タイル情報は、0から所定の範囲の数のタイルユニット識別子であり、タイルの大きさの単位を最小CTUサイズの整数倍(2の指数乗)となるように、1<<(log2(最小CTUサイズ)+タイルユニット識別子)で設定する。(設定方法7)では、タイルユニット識別子は最小CTUサイズの倍数を対数表現したものである。すなわち、ヘッダ復号部3020は、tile_unit_width_idcを復号し、タイル単位を以下のように設定してもよい。
wUnitTile = 1<<(log2CtuUnitSize+tile_unit_width_idc)
hUnitTile = 1<<(log2CtuUnitSize+tile_unit_height_idc)
ここで、CTUの最小サイズminCTU=ctuUnitSize=1<<(log2_min_luma_coding_tree_block_size_minus4+4)、log2CtuUnitSize=log2_min_luma_coding_tree_block_size_minus4+4であってもよい。
(設定方法8)
タイル情報は、0から所定の範囲の数のタイルユニット識別子であり、タイルの大きさの単位を最大CTUサイズ>>タイルユニット識別子で設定する。(設定方法8)では、タイルユニット識別子は最大CTUサイズの倍数(2のべき乗分の1倍)を対数表現したものである。すなわち、ヘッダ復号部3020は、tile_unit_width_idcを復号し、タイル単位を以下のように設定してもよい。
wUnitTile = ctuUnitSize>>tile_unit_width_idc
hUnitTile = ctuUnitSize>>tile_unit_height_idc
(設定方法9)
(設定方法9)では、図24(a)に示すように、tile_parameters()およびタイル情報tile_info()をPPSではなく、SPSで通知する。図24(c)に示すように、タイルの最小単位はlog2_min_unit_tile_size_minus3で通知される。ヘッダ復号部3020はこのタイル情報を復号し、タイルの最小単位(wUnitTile、hUnitTile)を導出する。
wUnitTile = 1<<(log2_min_unit_tile_size_minus3+3 hUnitTile = 1<<(log2_min_unit_tile_size_minus3+3ここでlog2_min_unit_tile_size_minus3は、タイルの最小単位の最小値の2のべき乗表現から3を引いた値であり、0以上の整数である。従ってタイルの最小単位は8以上である。
また別の例として、図25(a)に示すように、タイル情報としてlog2_diff_curr_min_unit_tile_sizeのみを通知してもよい。log2_diff_curr_min_unit_tile_sizeは、当該SPSでのタイルサイズの最小単位と、CTUの最小サイズとの差分である。ヘッダ復号部3020はこのタイル情報を復号し、タイルの最小単位(wUnitTile、hUnitTile)を導出する。
wUnitTile = 1<<( log2CtuSize+log2_diff_curr_min_unit_tile_size)
hUnitTile = 1<<( log2CtuSize+log2_diff_curr_min_unit_tile_size)
(設定方法10)
(設定方法10)では、(設定方法9)に対し、当該SPSでのタイルサイズの最小単位は当該SPSでのCTUサイズを超えない制約を設ける。従って、log2_diff_curr_min_unit_tile_sizeは下式を満たす値でなければならない。
0<=log2_diff_curr_min_unit_tile_size<=log2_diff_max_min_luma_coding_block_sizeここで、log2_diff_max_min_luma_coding_block_sizeは、CTUの最大および最小サイズの2のべき乗表現の差分である。
(設定方法11)
(設定方法11)では、図26に示すように、tile_parameters()およびタイル情報tile_info()をPPSで通知する。図26(a)および(d)に示すように、タイルの最小単位はSPSで通知されるCTUの最小サイズおよびPPSで通知されるタイル情報(log2_diff_curr_min_unit_tile_size)を用いて導出される。log2_diff_curr_min_unit_tile_sizeは、タイルサイズの最小単位とCTUの最小サイズとの差分である。ヘッダ復号部3020はこのタイル情報を復号し、wUnitTile、hUnitTileを導出する。
wUnitTile = 1<<(log2CtuSize+log2_diff_curr_min_unit_tile_size)
hUnitTile = 1<<(log2CtuSize+log2_diff_curr_min_unit_tile_size)
(設定方法12)
(設定方法12)では、independent_tiles_flagを参照してTileUnitをwUnitTile、hUnitTileを導出する。independent_tiles_flag=1、すなわち各タイルを独立(他のタイルを参照せず)に処理できる場合は、そうでない場合よりもタイルのタイル単位(最小単位)を小さく設定する。例えば、(設定方法5)において、independent_tiles_flag=1の場合は所定の値TileUnitを8に設定し、independent_tiles_flag=0の場合は所定の値TileUnitを16に設定する。
また別の例として、(設定方法6)において、independent_tiles_flag=1の場合は所定の値TileUnitをCTUの最小サイズ(最小CTUサイズ)以下の値に設定し、independent_tiles_flag=0の場合は所定の値TileUnitをCTUの最小サイズ(最小CTUサイズ)に設定する。
また別の例として、(設定方法6)において、independent_tiles_flag=1の場合は所定の値TileUnitをCTUサイズ以下の値に設定し、independent_tiles_flag=0の場合は所定の値TileUnitをCTUサイズに設定する。例えば、independent_tiles_flag=1の場合は所定の値TileUnitを8、16、32の何れか、0の場合にはCTUサイズを用いる。
あるいは、別の例として、(設定方法6)において、independent_tiles_flag=1の場合は所定の値TileUnitをCTUの最小サイズ(最小CTUサイズ)に設定し、independent_tiles_flag=0の場合は所定の値TileUnitをCTUサイズに設定する。
independent_tiles_flagが1、すなわち、互いに参照することなく、独立に復号されるタイルでは、タイル同士を独立にメモリ配置できる(すなわち、タイル間にメモリ上のギ
ャップが発生しても問題ない)ため、小さな値であってもメモリ配置に問題が生じない。これにより独立復号可能な領域の場合には、フレキシブルにタイルサイズを決定できるという効果を奏する。
(設定方法13)
(設定方法13)では、所定の値TileUnitを他の処理の単位に合わせて設定する。例えば予測の単位(サブCU)を所定の値TileUnitとして設定する。あるいはTMVP用に動きベクトルを格納する単位を所定の値TileUnitとして設定する。例えば、TMVP用の動きベクトル格納単位が8x8の場合、TileUnit=8に設定する。あるいは量子化パラメータを更新する単位を所定の値TileUnitとして設定する。例えば、差分量子化パラメータを通知する単位が16x16の場合、TileUnit=16に設定する。
(設定方法14)
(設定方法14)では、所定の値TileUnitを、タイルの水平方向については最小CTUサイズの整数倍ctuSize、垂直方向については8もしくは16に設定する。ヘッダ復号部3020はこのタイル情報を復号する。例えば下式でタイルの最小単位を設定する。
wUnitTile = ctuSize
hUnitTile = 8
(タイル情報設定部)
タイル情報設定部は、タイルの最小単位wUnitTile、hUnitTileに基づいて、タイルの左上座標(xTile, yTile)を設定する。さらに、タイル情報設定部は、タイルのCTU単位の幅tileWidthInCtusと高さtileHeightInCtusを設定する。
(ステップ1)
タイルの最小単位wUnitTile、hUnitTileと画面幅wPict、hPictから、タイル単位での画面幅wPictInUnitTile, hPictInUnitTileを導出する。
wPictInUnitTile = divRoundUp(wPict,wUnitTile)
hPictInUnitTile = divRoundUp(hPict,hUnitTile)
ここでdivRoundUp(x,y) = (x+y-1)/y
つまり、xをyで除算した値を超えない最大の整数を返す。すなわち、ceil(x/y)としてもよい。
(ステップ2)
タイル情報設定部は、タイル単位の位置(col, row)で示されるタイルの左上座標(xTile, yTile)を導出する。タイルのコラム位置colを0からタイルのコラム数numTileColumns-1までループし、最小単位wUnitTileを用いて、各colの各タイルのX座標tx[col]と幅tw[col]を導出する。同様に、タイルのrow位置rowを0からタイルのrow数numTileRows-1までループし、最小単位hUnitTileを用いて、各rowの各タイルのY座標ty[row]と高さth[row]を導出する。
タイル情報設定部は、uniform_spacing_flagが1の場合には、画面をnumTileColumns x
numTileRows (= M x N)にタイル分割し、タイルサイズtw[col]、th[row]とタイルのX座標tx[col]、Y座標ty[row]を導出する。具体的には、以下の擬似コードのように、ピクチャの幅wPict、タイルのコラム数numTileColumnsを用いて、tx[col]、tw[col]を導出し、ピクチャの幅hPict、タイルのコラム数numTileRowsを用いて、ty[row]、th[row]を導出する。tyおよびtwは、前出のhTileおよびwTileとして先に求めておいた値を用いてもよい。なお、wPict-tx[col]とtw[col]についてmin()を適用しているのは、タイルが画面端を超える大きさにならないようにするためである。
for(col=0;col<numTileColumns;col++)
{
tx[col] = wUnitTile*(col*wPictInUnitTile/numTileColumns)
tw[col] = wUnitTile*((col+1)*wPictInUnitTile/numTileColumns)-tx[col]
tw[col] = min(wPict-tx[col],tw[col])
}
for(row=0;row<numTileRows;row++)
{
ty[row] = hUnitTile*(row*hPictInUnitTile/numTileRows)
th[row] = hUnitTile*((row+1)*hPictInUnitTile/numTileRows)-ty[row]
th[row] = min(hPict-ty[row],th[row])
}
タイル情報設定部は、uniform_spacing_flagが0の場合には、タイルサイズwTile(col), hTile(row)を用いて画面を分割しタイルのX座標tx[col]、Y座標ty[row]を導出する。
具体的には、以下の擬似コードのように、ピクチャの幅wPictとタイルのコラム幅wTile[col]を用いて、tx[col]を導出し、ピクチャの高さhPict、タイルのロウ高さhTile[row]を用いて、ty[row]を導出する。
for(col=0;col<numTileColumns-1;col++)
{
tw[col] = wTile[col] = (column_width_in_unit_minus1[col]+1)*wUnitTile
tx[col+1] = tx[col]+tw[col]
}
tw[numTileColumns-1] = wPict-tx[numTileColumns-1]
for(row=0;row<numTileRows-1;row++)
{
th[row] = hTile[row] = (column_height_in_unit_minus1[row]+1)*hUnitTile
ty[row+1] = ty[row]+th[row]
}
th[numTileRows-1] = hPict-ty[numTileRows-1]
タイル情報設定部は、導出されたタイルサイズtw[col]、th[row]とタイルのX座標tx[col]、Y座標ty[row]を、タイルIDで示されるテーブルxTile[TileId]、yTile[TileId]、タイルサイズwTile[TileId]、hTile[TileId]に格納する。
for(row=0;row<numTileRows;row++)
{
for(col=0;col<numTileColumns;col++)
{
TileID = row*numTileColumns+col
xTile[TileId] = tx[col]
yTile[TileId] = ty[row]
wTile[TileId] = tw[col]
hTile[TileId] = th[row]
tileWidthInCtus[TileId] = divRoundUp(tw[col],ctuWidth)
tileHeightInCtus[TileId] = divRoundUp(th[row],ctuHeight)
}
}
for(PicWidthInCtbsY=0,i=0;i<=num_tile_columns_minus1;i++)
PicWidthInCtbsY += tileWidthInCtus[i]
for(PicHeightInCtbsY=0,j=0;j<=num_tile_rows_minus1;j++)
PicHeightInCtbsY += tileHeightInCtus[j*(num_tile_columns_minus1+1)]
なお、以下の表現でも一時変数は異なるが同じ動作であるのでタイル情報設定部は、以下の動作を行ってもよい。
if (uniform_spacing_flag) {
for (i=0;i<=num_tile_columns_minus1;i++)
colWidth[i] = ((i+1)*wPictInUnitTile)/(num_tile_columns_minus1+1)-(i*hPictInUnitTile)/(num_tile_columns_minus1+1))
for (j=0;j<=num_tile_rows_minus1;j++)
rowHeight[j] = ((j+1)*hPictInUnitTile)/(num_tile_rows_minus1+1)-(j*hPictInUnitTile)/(num_tile_rows_minus1+1))
else {
colWidth[num_tile_columns_minus1] = wPictInUnitTile
for (i=0;i<=num_tile_columns_minus1;i++) {
colWidth[i] = column_width_minus1[i]+1
colWidth[num_tile_columns_minus1]=colWidth[i]
}
rowHeight [num_tile_rows_minus1] = hPictInUnitTile
for (j=0;j<=num_tile_rows_minus1;j++) {
rowHeight [j] = row_height_minus1[j]+1
rowHeight[num_tile_rows_minus1]=rowHeight[j]
}
}
}
for (colX[0]=0,i=0;i<=num_tile_columns_minus1;i++)
colX[i+1] = colX[i]+colWidth[i]*wUnitTile
for (colY[0]=0,j=0;j<=num_tile_rows_minus1;j++)
colY[j+1] = colY[j]+colRow[j]*hUnitTile
for (colBd[0]=0,i=0;i<=num_tile_columns_minus1;i++)
colBd[i+1] = colBd[i]+Ceil(colWidth[i]*wUnitTile÷ctuWidth)
for (rowBd[0]=0,j=0;j<=num_tile_rows_minus1;j++)
rowBd[j+1] = rowBd[j]+Ceil(rowHeight[j]*hUnitTile÷ctuHeight)
for(PicWidthInCtbsY=0,i=0;i<=num_tile_columns_minus1;i++)
PicWidthInCtbsY += colBd[i]
for(PicHeightInCtbsY=0,j=0;j<=num_tile_rows_minus1;j++)
PicHeightInCtbsY += rowBd[j]
上記により、スライスデータ(slice_segment_data())では、図4(b)で示すPPSで通知したタイル情報を用いて、ピクチャ上の(xTile,yTile)の位置から始まるタイルの情報をCTU単位で通知する。具体的には、ピクチャ上の(xTile,yTile)から始まる各タイルの左上座標(0,0)として、タイルを、CTU(幅ctuWidth、高さctuHeight)に分割し、各CTUの符号化データcoding_quadtree()を通知してもよい。
ヘッダ復号部3020は、外部から入力され、NAL(network abstraction layer)ユニット単位で符号化された符号化ストリームTeからヘッダ情報を復号する。また、ヘッダ復号部3020は、外部から入力された、ディスプレイ等に表示すべき画像領域を示す制御情報から、表示に必要なタイル(TileId)を導出する。また、ヘッダ復号部3020は、符号化ストリームTeから表示に必要な符号化タイルを抽出する。符号化タイルは、符号化データ中のシンタックスに従って、CT情報復号部3021によってCTUに分割され処理される。タイル情報は、具体的には、num_tile_columns_minus1、num_tile_rows_minus1、uniform_spacing
_flag、column_width_in_unit_minus1[i]、row_height_in_unit_minus1[i]等のシンタックスから算出した、タイルの水平方向の個数M、垂直方向の個数N、タイルの幅wTile[m]と高さhTile[n]等である。
図11はCTUサイズの整数倍以外でタイルを分割する例である。図11(a)は、本実施形態の技術であって、1920x1080のHD画像を4x3のタイルに分割する図である。本実施形態では4x3のタイルに分割する時に、全タイルを等サイズに分割できる(480x360に分割される)ため、複数のプロセッサやハードウェアに等しくロードバランスできる効果を有する。タイルサイズはピクチャ境界にかかわらずCTUの整数倍以外のサイズをとることが可能である。図11(b)は各タイルのCTU分割を表す図である。CTUに分割する際、タイルサイズがCTUサイズの整数倍でない場合は、タイルの外側にクロップオフセット領域を設ける。特にTILE Bに示すように、CTUは各タイルの左上を基準として分割される。したがって、CTUの左上座標は、CTUサイズの整数倍に限定されない。
図12は、さらに各タイルをCTU分割する場合を示す図である。図ではピクチャを2x2のタイルに分割するが、各タイルはさらにCTUに分割される。本実施形態では図に示す通り、各タイルをCTUに分割するにあたって、タイルの左上からCTUを開始するように分割を行う。したがってタイルは右側及び下側において、CTUサイズの整数倍以外の位置で終端することがあるが、タイルの左側および上側においてはCTU境界とタイル境界は一致する。
(符号化ツリーユニット)
図1(e)には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)分割)により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
CTは、CT情報として、QT分割を行うか否かを示すQT分割フラグ(cu_split_flag)、MT分割の分割方法を示すMT分割モード(split_mt_mode)、MT分割の分割方向を示すMT分割方向(split_mt_dir)、MT分割の分割タイプを示すMT分割タイプ(split_mt_type)を含む。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type は符号化ノード毎に伝送される。
cu_split_flagが1の場合、符号化ノードは4つの符号化ノードに分割される(図2(b))。cu_split_flagが0の時、split_mt_flagが0の場合に符号化ノードは分割されず1つのCUをノードとして持つ(図2(a))。CUは符号化ノードの末端ノードであり、これ以上分割されない。CUは、符号化処理の基本的な単位となる。
split_mt_flagが1の場合に符号化ノードは以下のようにMT分割される。split_mt_typeが0の時、split_mt_dirが1の場合に符号化ノードは2つの符号化ノードに水平分割され(図2(d))、split_mt_dirが0の場合に符号化ノードは2つの符号化ノードに垂直分割される(図2(c))。また、split_mt_typeが1の時、split_mt_dirが1の場合に符号化ノードは3つの符号化ノードに水平分割され(図2(f))、split_mt_dirが0の場合に符号化ノードは3つの符号化ノードに垂直分割される(図2(e))。
また、CTUのサイズが64x64画素の場合には、CUのサイズは、64x64画素、64x32画素、32x64画素、32x32画素、64x16画素、16x64画素、32x16画素、16x32画素、16x16画素、64x8
画素、8x64画素、32x8画素、8x32画素、16x8画素、8x16画素、8x8画素、64x4画素、4x64画素、32x4画素、4x32画素、16x4画素、4x16画素、8x4画素、4x8画素、及び、4x4画素の何れかをとり得る。
(符号化ユニット)
図1(f)に示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。CUとサブCUのサイズが等しい場合には、CU中のサブCUは1つである。CUがサブCUのサイズよりも大きい場合、CUは、サブCUに分割される。たとえばCUが8x8、サブCUが4x4の場合、CUは水平2分割、垂直2分割からなる、4つのサブCUに分割される。
予測の種類(予測モード)は、イントラ予測と、インター予測の2つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間(例えば、表示時刻間、レイヤ画像間)で行われる予測処理を指す。
変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位でエントロピー符号化してもよい。
(予測パラメータ)
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
(動画像復号装置の構成)
本実施形態に係る動画像復号装置31(図5)の構成について説明する。
動画像復号装置31は、パラメータ復号部(予測画像復号装置)302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部(予測画像生成装置)308、逆量子化・逆変換部311、及び加算部312を含んで構成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。パラメータ復号部302は、さらに、エントロピー復号部301、ヘッダ復号部3020、CT情報復号部3021、及びCU復号部3022(予測モード復号部)を備えており、CU復号部3022はさらにTU復号部3024を備えている。
(復号モジュール)
以下、各モジュールの概略動作を説明する。パラメータ復号部302はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの復号処理を行う。
エントロピー復号部301は、バイナリデータからシンタックス要素を復号する。エントロピー復号部301は、より具体的には、供給元から供給されるシンタックス要素に基づいて、CABAC等のエントロピー符号化方式による符号化データから、シンタックス要素を復号して供給元に返す。以下に示す例では、シンタックス要素の供給元は、CT情報復号部3021、CU復号部3022である。
(基本フロー)
図6は、動画像復号装置31の概略的動作を説明するフローチャートである。
(S1100:パラメータセット情報復号)ヘッダ復号部3020は、符号化データからVPS、SPS、PPSなどのパラメータセット情報を復号する。
(S1200:スライス情報復号)ヘッダ復号部3020は、符号化データからスライスヘッダ(スライス情報)を復号する。
以下、動画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の処理を繰り返すことにより各CTUの復号画像を導出する。
(S1300:CTU情報復号)CT情報復号部3021は、符号化データからCTUを復号する。
(S1400:CT情報復号)CT情報復号部3021は、符号化データからCTを復号する。
(S1500:CU復号)CU復号部3022はS1510、S1520を実施して、符号化データからCUを復号する。
(S1510:CU情報復号)CU復号部3022は、符号化データからCU情報、予測情報、TU分割フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を復号する。
(S1520:TU情報復号)TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報(量子化補正値)と量子化予測誤差(residual_coding)を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値である。
(S2000:予測画像生成)予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。
(S3000:逆量子化・逆変換)逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。
(S4000:復号画像生成)加算器312は、予測画像生成部308より供給される予測画像と、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの復号画像を生成する。
(S5000:ループフィルタ)ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。
(タイルの場合のCTUの復号)
図13は、符号化スライスデータを示す図である。パラメータ復号部302のCT情報復号部3021は、スライス(タイル)を構成するCTUを順に処理する。さらに、CT情報復号部3021は、図示しない対象CTU座標導出部を用いて、対象CTUのラスタスキャンアドレスCtbAddrInRsから、CTUアドレステーブルCtbAddrToCtbX[]、CtbAddrToCtbY[]を参照して対象CTUの左上座標(xCtb, yCtb)を導出する。
xCtb = CtbAddrToCtbX[CtbAddrInRs]
yCtb = CtbAddrToCtbY[CtbAddrInRs]
CT情報復号部3021は対象CTUをルートとする符号化ツリーcoding_quadtree(xCtb,yCtb,log2CbSize,cqtDepth)を符号化データから再帰処理により復号する。
ここでCtbAddrToCtbX、CtbAddrToCtbYは、CTUアドレステーブル導出部で導出されるテ
ーブルである。
パラメータ復号部302は、スライスセグメントの終端か否かを示すフラグend_of_slice_segment_flagを復号し、次のCTUの処理の準備のためにCTUアドレスCtbAddrInTsを1だけインクリメントし(CtbAddrInTs++)、後続CTUのアドレスを導出する。さらに後続CTUに対応するCTUラスタスキャンアドレスを導出する(CtbAddrInRs = CtbAddrTsToRs[CtbAddrInTs])。ここでCtbAddrInTsは対象CTUのタイルスキャンアドレスである。
パラメータ復号部302は、スライスセグメントの終端ではなく(!end_of_slice_segment_flag)、タイルが有効であり(tiles_enabled_flag)、後続CTUのタイルID(TileId[CtbAddrInTs])と対象CTUのCTUのタイルID([CtbAddrInTs-1])が異なる場合、end_of_subset_one_bitを復号し、さらにバイトアライメント用のビット(byte_alignment())を復号する。
さらに、パラメータ復号部302は、タイルに加え、CTUライン単位に並列処理を行うウェーブフロントに対応し、ウェーブフロントフラグentropy_coding_sync_enabled_flagが1であり、後続CTUがCTUライン先頭の場合(CtbAddrInRs%PicWidthInCtbsY==0)、end_of_subset_one_bitを復号し、さらにバイトアライメント用のビット(byte_alignment())を復号してもよい。
ここで、本実施形態では、CTUサイズの整数倍に限定されないタイルを用いてPicWidthInCtbsYの導出する方法であることに特徴がある。PicWidthInCtbsYはピクチャの幅にCTUが何個含まれるかを意味するが、本実施形態のようにタイルの有効領域の大きさが最大CTUサイズの整数倍に限られない場合は、有効領域が最大CTUサイズに満たないCTUが複数個存在しうるため、PicWidthInCtbsYの値はceil(wPict/ctuWidth)に等しいとは限らない。上述のように、本実施形態のパラメータ復号部302は、PicWidthInCtbsYを、以下の方法で導出する。
for(PicWidthInCtbsY=0,i=0;i<=num_tile_columns_minus1;i++)
PicWidthInCtbsY += tileWidthInCtus[i]
PicHeightInCtbsYについても同様であり、以下の方法で導出する。
for(PicHeightInCtbsY=0,j=0;j<=num_tile_rows_minus1;j++)
PicHeightInCtbsY += tileHeightInCtus[j*(num_tile_columns_minus1+1)]
タイルがCTUサイズの整数倍に限定される場合には、以下の方法で導出しても良い。
PicWidthInCtbsY = Ceil(wPict/ctuWidth)
PicHeightInCtbsY = Ceil(hPict/ctuHeight)
ここでの除算(/)は小数画素精度とする。
(CTUアドレステーブル導出部)
CTUアドレステーブル導出部は、以下のステップにより、CTBラスタスキャンアドレス(CtbAddrInRs)からCTUの座標(xCtb, yCtb)を導出するCTUアドレステーブルCtbAddrToCtbX[]、CtbAddrToCtbY[]を導出する。
(ステップ1)
対象CTUのラスタスキャンアドレスCtbAddrInRsからタイルID(TileID)を導出する。
TileID = CtbAddrRsToTileID[CtbAddrInRs]
ここでCtbAddrRsToTileIDは、タイルIDテーブル導出部で導出されるテーブルである。
(ステップ2)
CTUアドレステーブル導出部は、対象CTUを含むタイルの先頭CTUラスタスキャンアドレスfirstCtbAddrInRs[TileID]を導出し、ピクチャの幅に含まれるCTUの個数を用いて、CTUを単位としたタイル内相対位置(xCtbInCtus, yCtbInCtus)を以下の式で導出する
xCtbInCtus = (CtbAddrInRs-firstCtbAddrInRs[TileId])%PicWidthInCtbsY
yCtbInCtus = (CtbAddrInRs-firstCtbAddrInRs[TileId])/PicWidthInCtbsY
ここでfirstCtbAddrInRsは、タイルIDで示されるタイルの先頭CTBアドレスを導出するテーブルであり、先頭タイルアドレス導出部で導出される。
CTUアドレステーブル導出部は、CTUサイズ(ctuWidth, ctuHeight)をかけて、画素単位のタイル内相対位置(xCtbInTile, yCtbInTile)を以下の式で導出する。
xCtbInTile = xCtbInCtus*ctuWidth
yCtbInTile = yCtbInCtus*ctuHeight
(ステップ3)
CTUアドレステーブル導出部は、タイル内座標(xCtbInTile, yCtbInTile)とタイル左上座標のピクチャ内座標(xTile[TileId],yTile[TileId])の和から、ピクチャ内におけるCTUの左上座標(xCtb, yCtb)を導出する。
xCtb = xTile[TileId]+xCtbInTile
yCtb = yTile[TileId]+yCtbInTile
(ステップ4)
CTUアドレステーブル導出部は、最後に導出されたCtbAddrInRsに関するCTUの左上座標(xCtb, yCtb)をテーブルに格納する
CtbAddrToCtbX[CtbAddrInRs] = xCtb
CtbAddrToCtbY[CtbAddrInRs] = yCtb
上記の処理は、タイル左上CTUの位置(xTileInCtus, yTileInCtu)を用いて、以下のようにも表現できる。
xTileInCtus = firstCtbAddrInRs[TileId]%PicWidthInCtbsY
yTileInCtus = firstCtbAddrInRs[TileId]/PicWidthInCtbsY
xCtb = ((CtbAddrInRs-xTileInCtus)%tileWidthInCtus[TileId])<<log2CtuWidthY+xTile[TileId]
yCtb = ((CtbAddrInRs-yTileInCtus)/tileWidthInCtus[TileId])<<log2CtuHeightY+yTile[TileId]
ここでlog2CtuWidthY=log2(ctuWidth)、log2CtuHeightY=log2(ctuHeight)である。タイル左上CTUの位置(xTileInCtus, yTileInCtu)やCTUの左上座標(xCtb,yCtb)はしばしば参照されるため、導出済みの値をテーブルに格納して用いてもよい。
上記処理の全体を擬似コードで示すと以下になる。
for (CtbAddrInRs=0;CtbAddrInRs<numCtusInFrame;CtbAddrInRs++)
{
TileID = CtbAddrToTileID[CtbAddrInRs]
xCtb = xTile[TileId]+((CtbAddrInRs-firstCtbAddrInRs[TileId])%PicWidthInCtbsY)* ctuUWidth
yCtb = yTile[TileId]+((CtbAddrInRs-firstCtbAddrInRs[TileId])/PicWidthInCtbsY) * ctuHeight
CtbAddrToCtbX[CtbAddrInRs] = xCtb
CtbAddrToCtbY[CtbAddrInRs] = yCtb
}
}
ここで、numCtusInFrameは1ピクチャ内のCTUの個数であり、numCtusInFrame=numTileColumns*numTileRowsである。
以上の構成により、画像をCTUに分割し、CTU単位に動画像を復号する動画像復号装置において、タイルをCTUに分割して再帰的に分割するCT情報復号部を備え、対象CTUのラスタスキャンアドレスから、1つ以上のタイルのサイズを参照して、対象CTUのピクチャ上の左上座標を導出するヘッダ復号部(対象CTU座標導出部)を備え、上記CT情報復号部は、導出された対象CTUのピクチャ上の左上座標に基づいて、対象CTUを符号化ツリーに分割し、分割されたCTの右下位置のタイル内相対位置がタイルサイズ以内である場合に、符号化ツリーを処理する手段を備える。
画像をタイルに分割し、タイル単位に動画像を復号する動画像復号装置において、
対象CTUのラスタスキャンアドレスから、対象CTUの左上座標を導出するCTUアドレステーブルを参照するヘッダ復号部(対象CTU座標導出部)を備え、上記CTUアドレステーブルを、1つ以上のタイルのサイズから導出するヘッダ復号部(CTUアドレステーブル導出部)を備える。
(タイルIDテーブル導出部)
タイルIDテーブル導出部は以下のステップでタイルIDテーブルCtbAddrToTileID[]を導出する。
(ステップ1)
画面内CTUアドレスCtbAddrInRsに対応するCTUのタイル座標(columnIdx,rowIdx)を導出する。
(ステップ2)
タイル座標(columnIdx, rowIdx)から画面内タイルIDを導出する。
TileID = rowIdx*numTileColumns+columnIdx
ここでnumTileColumnsはピクチャ内の水平方向のタイルの個数である。
(ステップ3)
導出したタイルIDをタイルIDテーブルCtbAddrToTileID[]に格納する。
CtbAddrToTileID[CtbAddrInRs] = TileID
上記の処理の擬似コードを以下に示す。
for(CtbAddrInRs=0;CtbAddrInRs<numCtusInFrame;CtbAddrInRs++)
{
for(col=0;col<numTileColumns;col++)
{
if(CtbAddrInRs%PicWidthInCtbsY<=rightEdgePosInCtus[col])
{
columnIdx = col
break
}
}
for(row=0;row<numTileRows;row++)
{
if(CtbAddrInRs/PicWidthInCtbsY<=bottomEdgePosInCtus[row*numTileColumns])
{
rowIdx = row
break
}
}
CtbAddrToTileID[CtbAddrInRs] = rowIdx*numTileColumns+columnIdx
}
(先頭タイルアドレス導出部)
先頭タイルアドレス導出部は以下のステップで先頭タイルアドレステーブルfirstCtbAddrInRs[]を導出する。
(ステップ1)
タイル単位の座標で(col, row)に対応するTileIdについて、col列までの各タイルi(0<=i<col)のCTU単位の幅tileWidthInCtus[i]を参照して、TileIdの示すタイルのCTU単位の右端位置rightEdgePosInCtus[TileId]を導出する。同様に、row列までの各タイルj(0<=j<row)のCTU単位の高さtileHeightInCtus[j]を参照して、TileIdの示すタイルのCTU単位の下端位置bottomEdgePosInCtus[TileId]を導出する。
(ステップ2)
TileIDで示すタイルのCTU単位の右端位置rightEdgePosInCtus[TileId]、および、TileIDで示すタイルのCTU単位の幅tileWidthInCtus[TileId]から、TileIDで示すタイルCTU単位の左端位置xCtbを導出する。
TileIDで示すタイルのCTU単位の下端位置bottomEdgePosInCtus[TileId]、および、TileIDで示すタイルのCTU単位の高さtileHeightInCtus[TileId]から、TileIDで示すタイルCTU単位の上端位置yCtbを導出する。
xCtbInCtus = rightEdgePosInCtus[TileId]-tileWidthInCtus[TileId]+1
yCtbInCtus = bottomEdgePosInCtus[TileId]-tileHeightInCtus[TileId]+1
TileIDで示すタイルのCTU単位位置(xCtbInCtus, yCtbInCtus)から、CTUラスタスキャンアドレスCtbAddrInRsを導出する。
CtbAddrInRs = yCtbInCtus*PicWidthInCtbsY+xCtbInCtus
ここで、tileWidthInCtus[]、tileHeightInCtus[]はタイル情報設定部が導出する。
(ステップ3)
導出したCTUアドレスを先頭タイルアドレステーブルfirstCtbAddrInRs[]に格納する
firstCtbAddrInRs[TileId] = CtbAddrInRs
上記の処理の擬似コードを以下に示す。
for(row=0;row<numTileRows;row++)
{
for(col=0;col<numTileColumns;col++)
{
TileIdx = row*numTileColumns+col;
rightEdgePosInCTU = 0;
for(i=0;i<=col;i++)
{
rightEdgePosInCTU += tileWidthInCtus[row*numTileColumns+i]
}
rightEdgePosInCtus[TileId] = rightEdgePosInCTU-1
bottomEdgePosInCTU = 0;
for(i=0;i<=row;i++)
{
bottomEdgePosInCTU += tileHeightInCtus[i*numTileColumns+col]
}
bottomEdgePosInCtus[tileId] = bottomEdgePosInCTU-1
xCtbInCtus = rightEdgePosInCtus[TileId]-tileWidthInCtus[TileId]+1
yCtbInCtus = bottomEdgePosInCtus[TileId]-tileHeightInCtus[TileId]+1
CtbAddrInRs = yCtbInCtus*PicWidthInCtbsY+xCtbInCtus
firstCtbAddrInRs[TileId] = CtbAddrInRs
}
}
(CT情報復号の処理)
以下、CT情報復号の処理を、図7、図8、図9を参照して説明する。図7は、本発明の一実施形態に係るCT情報復号部3021の動作を説明するフローチャートである。また、図8は、本発明の一実施形態に係るCTUおよびQT情報のシンタックス表の構成例を示す図であり、図9は、本発明の一実施形態に係るMT分割情報のシンタックス表の構成例を示す図である。
(CTU以下の復号)
CT情報復号部3021は符号化データからCT情報を復号し、再帰的に符号化ツリーCT(coding_quadtree)を復号する。具体的には、CT情報復号部3021はQT情報を復号し、対象CT coding_quadtree(x0,y0,log2CbSize,cqtDepth)を復号する。なお、(x0,y0)は対象CTの左上座標、log2CbSizeはCTのサイズであるCTサイズの2を底とした対数である対数CTサイズ、cqtDepthはCTの階層を示すCTデプス(QT深度)である。
(S1411)CT情報復号部3021は復号したCT情報にQT分割フラグがあるか否かを判定する。QT分割フラグがある場合にはS1421に遷移し、それ以外の場合にはS1422に遷移する。
(S1421)CT情報復号部3021は、対数CTサイズlog2CbSizeがMinCbLog2SizeYより大きいと判定された場合には、QT分割フラグ(split_cu_flag)を復号する。
ここで、下式のように、タイルを用いる場合にはCTUの左上座標(xCtb,yCtb)とタイルサイズを考慮して、さらなる四分木分割を実施するか否かを示すsplit_cu_flagを通知する。
if (x0+(1<<log2CbSize)-xTile<=wT && y0+(1<<log2CbSize)-yTile<=hT && log2CbSize>MinCbLog2SizeY)
split_cu_flag[x0][y0]
ここで、(x0,y0)はブロックの左上座標、(xTile,yTile)はタイルの左上座標、log2CbSizeはブロックサイズの対数値、wTとhTはタイル有効領域(もしくはタイル符号化領域)の幅と高さ、MinCbLog2SizeYはブロックの最小サイズの対数値である。
ブロックの右端の座標x0+(1<<log2CbSize)、下端の座標y0+(1<<log2CbSize)が、タイル有効領域の右端の座標xTile+wTと下端の座標yTile+hTよりも小さい場合、対象ブロックはタイル有効領域内に存在する。ブロックがタイル内に存在し、ブロックサイズが最小値よりも大きい場合(log2CbSize>MinCbLog2SizeY)、ブロックをさらに分割するか否かを示すフラグsplit_cu_flagを通知する。ブロックをさらに四分木分割する場合、split_cu_flagを1にセットし、ブロックを四分木分割しない場合、split_cu_flagを0にセットする。
(S1422)CT情報復号部3021は、それ以外の場合には、符号化データからのQT分割フラグsplit_cu_flagの復号を省略し、QT分割フラグsplit_cu_flagに0をセットする。
(S1450)QT分割フラグsplit_cu_flagが0以外である場合にはS1451に遷移し、それ以外の場合にはS1471に遷移する。
(S1451)CT情報復号部3021はQT分割を行う。具体的には、CT情報復号部3021は、CTデプスcqtDepth+1の位置(x0,y0)、(x1,y0)、(x0,y1)、(x1,y1)において、対数CTサイズlog2CbSize-1の4つのCTを復号する。タイル内での各CTの右下座標(xi-xTile[TileId], yi+yTile[TileId])がタイルサイズ(wTile[TileId], hTile[Tile])以下のCTを復号する。逆に、各CTの右下座標(xi-xTile[TileId], yi+yTile[TileId])の何れかがタイルサイズ(wTile[TileId], hTile[Tile])を超えているCTは復号しない。すなわち、CT情報復号部3021は、対象CTUを再帰的に符号化ツリーに分割し、分割されたCTの左上座標(x1, y0), (x0, y1), (x1, y1)が対象タイル内である場合に、符号化ツリーを処理する。
coding_quadtree(x0,y0,log2CbSize-1,cqtDepth+1)
if (x1-xTile[TileId] < wTile[TileId])
coding_quadtree(x1,y0,log2CbSize-1,cqtDepth+1)
if (y1-yTile[TileId] < hTile[TileId])
coding_quadtree(x0,y1,log2CbSize-1,cqtDepth+1)
if (x1-xTile[TileId] < wTile[TileId] && y1-yTile[TileId] < hTile[TileId])
coding_quadtree(x1,y1,log2CbSize-1,cqtDepth+1)
上記に置いて、例えば、4分木分割で得られた、(x1,y0)に位置するブロックであるcoding_quadtree(x1,y0,log2CbSize-1,cqtDepth+1,wTile,hTile,xTile,yTile)は、以下のようにx1がタイル内に位置する場合に符号化あるいは復号される。
if (x1-xTile[TileId]<wTile[TileId])
coding_quadtree(x1,y0,log2CbSize-1,cqtDepth+1)
ここで、(x0,y0)は対象CTの左上座標、(x1,y1)は以下の式のように(x0,y0)にCTサイズ(1<<log2CbSize)の1/2を加えて導出される。
x1 = x0+(1<<(log2CbSize-1))
y1 = y0+(1<<(log2CbSize-1))
1<<Nは2のN乗と同値である(以下同様)。
そして、CT情報復号部3021は、下式のように、CTの階層を示すCTデプスcqtDepthと対数CTサイズlog2CbSizeを更新する。
cqtDepth = cqtDepth+1
log2CbSize = log2CbSize-1
CT情報復号部3021は、下位のCTにおいても、更新された左上座標、対数CTサイズ、CTデプスを用いて、S1411から開始されるQT情報復号を継続する。
QT分割終了後、CT情報復号部3021は符号化データからCT情報を復号し、再帰的に符号化ツリーCT(MT、coding_multitree)を復号する。具体的には、CT情報復号部3021は、MT分割情報を復号し、対象CT coding_multitree(x0,y0,log2CbWidth,log2CbHeight,cbtDepth)を復号する。なお、log2CbWidthはCTの幅の対数値、log2CbHeightはCTの高さの対数値、cbtDepthはマルチツリーの階層を示すCTデプス(MT深度)である。
(S1471)CT情報復号部3021は、復号したCT情報にMT分割フラグ(分割情報)があるか否かを判定する。MT分割フラグがある場合にはS1481に遷移する。それ以外の場合にはS1482に遷移する。
(S1481)CT情報復号部3021はMT分割フラグsplit_mt_flagを復号する。
(S1482)CT情報復号部3021は符号化データからMT分割フラグsplit_mt_flagを復号せず、0に設定する。
(S1490)CT情報復号部3021は、MT分割フラグsplit_mt_flagが0以外の場合には、S1491に遷移する。それ以外の場合には、CT情報復号部3021は対象CTを分割せず、処理を終了する(CUの復号に移行する)。
(S1491)CT情報復号部3021はMT分割を行う。MT分割の方向を示すフラグsplit_mt_dirと、MT分割が2分木であるか3分木であるかを示すシンタックス要素split_mt_typeを復号する。CT情報復号部3021は、分割されたCTの左上座標が対象タイル内である場合に、符号化ツリーを処理する。CTの左上座標は2分木では、(x0, y1)もしくは(x1, y0)、3分木では(x0, y1), (x0, y2)もしくは(x1, y0), (x2, y0)。である。ここで先頭CTの左上座標(x0, y0)がタイル外になる場合には分割自体されないため、(x0, y0)は常にタイル内であると仮定する。
CT情報復号部3021は、MT分割タイプsplit_mt_typeが0(2分割)、かつ、MT分割方向split_dir_flagが1(水平分割)の場合は、以下の2つのCTを復号(BT分割情報復号)する。タイル内での各CTの下座標y1+yTile[TileId]がタイルサイズhTile[Tile]以下のCTを復号する。逆に、タイル内での各CTの下座標y1+yTile[TileId]がタイルサイズhTile[Tile]を超えているCTは復号しない
coding_multitree(x0,y0,log2CbWidth,log2CbHeight-1,cbtDepth+1)
if (y1-yTile[TileId] < hTile[TileId])
coding_multitree(x0,y1,log2CbWidth,log2CbHeight-1,cbtDepth+1)
一方、MT分割方向split_dir_flagが0(垂直分割)の場合は、以下の2つのCTを復号(BT分割情報復号)する。タイル内での各CTの下座標x1+yTile[TileId]がタイルサイズwTile[Tile]以下のCTを復号する。逆に、タイル内での各CTの下座標x1+xTile[TileId]がタイルサイズwTile[Tile]を超えているCTは復号しない
coding_multitree(x0,y0,log2CbWidth-1,log2CbHeight,cbtDepth+1)
if (x1-xTile[TileId] < wTile[TileId])
coding_multitree(x1,y0,log2CbWidth-1,log2CbHeight,cbtDepth+1)
ここで、(x1,y1)は以下の式で導出される。
x1 = x0+(1<<(log2CbWidth-1))
y1 = y0+(1<<(log2CbHeight-1))
さらに、log2CbWidth、または、log2CbHeightを下式のように更新する。
log2CbWidth = log2CbWidth-1
log2CbHeight = log2CbHeight-1
CT情報復号部3021は、MT分割タイプsplit_mt_typeが1(3分割)を示す場合には、3つのCTを復号(TT分割情報復号)する。
MT分割方向split_dir_flagが1(水平分割)の場合は、以下の3つのCTを復号する。タイル内での各CTの下座標yi+yTile[TileId]がタイルサイズhTile[Tile]以下のCTを復号する。逆に、タイル内での各CTの下座標yi+yTile[TileId]がタイルサイズhTile[Tile]を超
えているCTは復号しない。
coding_multitree(x0,y0,log2CbWidth,log2CbHeight-2,cbtDepth+1)
if (y1-yTile[TileId] < hTile[TileId])
coding_multitree(x0,y1,log2CbWidth,log2CbHeight-1,cbtDepth+1)
if (y2-yTile[TileId] < hTile[TileId])
coding_multitree(x0,y2,log2CbWidth,log2CbHeight-2,cbtDepth+1)
一方、MT分割方向split_dir_flagが1(垂直分割)の場合は、以下の3つのCTを復号(TT分割情報復号)する。タイル内での各CTの下座標xi+xTile[TileId]がタイルサイズwTile[Tile]以下のCTを復号する。逆に、タイル内での各CTの下座標xi+xTile[TileId]がタイルサイズwTile[Tile]を超えているCTは復号しない。
coding_multitree(x0,y0,log2CbWidth-2,log2CbHeight,cbtDepth+1)
if (x1-xTile[TileId] < wTile[TileId])
coding_multitree(x1,y0,log2CbWidth-1,log2CbHeight,cbtDepth+1)
if (x2-xTile[TileId] < wTile[TileId])
coding_multitree(x2,y0,log2CbWidth-2,log2CbHeight,cbtDepth+1)
ここで、(x1,y1)、(x2,y2)は、以下の式のように、導出される。
x1 = x0+(1<<(log2CbWidth-2))
y1 = y0+(1<<(log2CbHeight-2))
x2 = x0+(3<<(log2CbWidth-2))
y2 = y0+(3<<(log2CbHeight-2))
CT情報復号部3021は、下位のCTにおいても、更新された左上座標、CTの幅及び高さ、MT深度を用いて、S1471から開始されるBT分割情報復号、あるいは、TT分割情報復号を継続する。
また、CT情報復号部3021は、MT分割フラグsplit_mt_flagが0の場合、すなわちQT分割もMT分割も行われない場合には、CU復号部3022でCU(coding_unit(x0,y0,log2CbSize, cqtDepth))を復号する。
また、パラメータ復号部302は、図示しないインター予測パラメータ復号部303及びイントラ予測パラメータ復号部304を含んで構成される。予測画像生成部308は、図示しないインター予測画像生成部309及びイントラ予測画像生成部3021を含んで構成される。
エントロピー復号部301は、インター予測パラメータ(予測モードpredMode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX)をインター予測パラメータ復号部303に出力する。また、イントラ予測パラメータ(輝度予測モードIntraPredModeY、色差予測モードIntraPredModeC)をイントラ予測パラメータ復号部304に出力する。エントロピー復号部301は、量子化変換係数を逆量子化・逆変換部311に出力する。
ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット(SAO)、適応ループフィルタ(ALF)等のフィルタを施す。
参照ピクチャメモリ306は、加算部312が生成したCUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。
予測パラメータメモリ307は、復号対象のCTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及びエントロピー復号部301が分離した予測モードpredMode等を記憶する。
予測画像生成部308には、予測モードpredMode、予測パラメータ等が入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、予測パラメータと読み出した参照ピクチャ(参照ピクチャブロック)を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合(通常矩形であるのでブロックと呼ぶ)であり、予測画像を生成するために参照する領域である。
逆量子化・逆変換部311は、エントロピー復号部301から入力された量子化変換係数を逆量子化して変換係数を求める。この量子化変換係数は、符号化処理において、予測誤差に対してDCT(Discrete Cosine Transform、離散コサイン変換)、DST(Discrete Sine Transform、離散サイン変換)、KLT(Karyhnen Loeve Transform、カルーネンレーベ変換)等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部311は、求めた変換係数について逆DCT、逆DST、逆KLT等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。
加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
図14は、本実施形態のループフィルタ305(SAO部3052、ALF部3053)で用いられるヘッダ復号部3020の動作を示すフローチャートである。図14(a)に示すように、本実施形態のループフィルタ部は以下の動作を行う。
S30500:ヘッダ復号部3020は、ループフィルタの対象となるブロック(対象CTU)の有効領域が所定のサイズより小さいか否かを判定する。有効領域が所定のサイズ以上の場合に、S30501に進む。対象CTUの有効領域が所定のサイズ未満の場合には、以降のの処理を省略しブロック単位のブロックループフィルタ情報を復号せず、終了する。
S30501:ヘッダ復号部3020は、ブロック単位で処理を行うループフィルタの情報(ブロックループフィルタ情報)を復号する。なお、ループフィルタの情報はオンオフ情報を含んでいても良い。
S30502:ループフィルタ305は、ヘッダ復号部3020で復号されたオンオフフラグがオンか否かを判定する。オンの場合S30503に進み、オフの場合処理を終了する。
S30503:ループフィルタ305は、オンオフフラグがオンの場合に対象ブロックにブロックループフィルタ情報を用いたフィルタ処理を行う。
後述するSAO部3052は、図14(b)に示すように、対象ブロックの有効領域が小さい場合に、エッジオフセットの使用を制限しても良い。
S30520:ヘッダ復号部3020は、ループフィルタの対象となるブロック(対象CTU)の有効領域が所定のサイズより小さいか否かを判定する。有効領域が所定のサイズ以上
の場合に、S30501に進む。対象CTUの有効領域が所定のサイズ未満の場合には、以降の処理を省略し、終了する。
S30521:ヘッダ復号部3020は、SAOタイプがエッジオフセットの場合に、SAOエッジオフセット情報を復号する。
S30522:ループフィルタ305は、ヘッダ復号部3020で復号されたオンオフフラグがオンか否かを判定する。オンの場合S30523に進み、オフの場合処理を終了する。
S30523:ループフィルタ305は、オンオフフラグがオンの場合に対象ブロックにブロックループフィルタ情報を用いたフィルタ処理を行う。
上記により、フィルタ対象画素の周辺画素を用いるエッジオフセットの場合のみループフィルタの処理を省略することができる。周辺画素を用いないバンドオフセットの場合には、ループフィルタの処理を省略しないでもよい。
(SAO部3052)
ループフィルタ部305はSAO部(SAO部3052)を備えてもよい。SAOはCTU毎に通知されるSAOパラメータを用いた処理であり、リンギング歪や量子化歪を除去する効果がある。SAO部3052は、入力画像にSAO処理を施すことによって、SAO済復号画像P_SAOを生成する。
SAO部3052は、対象CTUの有効領域が所定のサイズ以上の場合に、CTU単位で処理を行うループフィルタの情報(SAOユニット)を復号する。対象CTUの有効領域が所定のサイズ未満の場合には、CTU単位のループフィルタ情報(SAOユニット)を復号せず、CTU単位のループフィルタ処理(ここではSAO処理)を行わない。
例えば、SAO部3052は、タイルを利用しない場合には画面サイズから対象CTUの有効領域(wActBlk, hActBlk)を導出する。
wActBlk = Min(ctuWidth,wPict-xCtb)
hActBlk = Min(ctuHeight,hPict-yCtb)
SAO部3052は、タイルを利用する場合には、タイルのサイズとタイルの左上座標と対象CTUの左上座標から、対象CTUの有効領域(wActBlk, hActBlk)を導出する。
wActBlk = Min(ctuWidth,xTile[TileId]+wTile[TileId]-xCtb)
hActBlk = Min(ctuHeight,yTile[TileId]+hTile[TileId]-yCtb)
SAO部3052は、対象領域の有効領域(wActBlk, hActBlk)が所定のサイズ以上(MinSaoSize)である場合に、SAOユニットを復号する。
wActBlk >= MinSaoSize && hActBlk>=MinSaoSize
なお、有効領域の判定式はwActBlk+hActBlk>=MinAlfSizeや、log2(wActBlk)+log2(hActBlk)>=MinAlfSize、wActBlk*hActBlk>=MinAlfSizeなどでもよい。
なお、MinSaoSizeの閾値は、量子化パラメータQPが大きくなるにつれてより大きい値を設定しても良い。また、以下のように閾値に上限と下限を設けてもよい。
MinSaoSize = Clip3(16,CtuSize/2,(QP+32)/2)
この場合、SAO部3052(ヘッダ復号部3020)は、対象CTUの有効領域の幅もしくは高さが所定の最小サイズ以上の場合に、CTU単位でフィルタ処理を行うか否かを示すCTUフィルタフラグであるsao_type_idxを復号し、最小サイズ未満の場合には、上記CTU
フィルタフラグの復号を省略し、フィルタを行わないことを示す値(0)に設定する。
(SAOユニット)
図17は、本実施形態に係る符号化ストリームのSAOユニット(図17においてsao_unit()と表記)のシンタックスを示す図である。SAOユニットはCTU毎に通知され、SAOオフセット情報sao_offset()、および、SAOオフセット情報のマージ制御情報(sao_merge_left_flag, sao_merge_up_flag)をシンタックス要素として含む。sao_merge_left_flagは、対象CTUのSAOオフセット情報を、対象CTUの左隣接CTUから複製するか否かを示すフラグである。sao_merge_up_flagは、対象CTUのSAOオフセット情報を、対象CTUの上隣接CTUから複製するか否かを示すフラグである。
(sao_type_idx)
sao_type_idxは、SAOのオンオフ及びSAOの種別を示すオフセットタイプを表す識別子である。オフセットタイプには、大きく分けてエッジオフセット(EO)とバンドオフセット(BO)の2種類がある。EOは、対象画素の画素値とその周辺画素の画素値との差分に応じて、対象画素の画素値に複数のオフセットの何れかを加算する処理である。また、BOは、対象画素値に応じて、対象画素の画素値に複数のオフセットの何れかを加算する処理である。
・sao_type_idx=0は、対象CTUにおけるSAO前復号画像に対して、SAOを行わないことを示す。
・sao_type_idx=2は、対象CTUにおけるSAO前復号画像に対して、EOを行うことを示す。EOでは、参照画素位置を示すsao_eo_classが符号化される。
・sao_type_idx=1は、対象CTUにおけるSAO前復号画像に対して、BOを行うことを示す。BOでは、処理を行う画素値帯の左端位置を指定するsao_band_positionが符号化される。
(SaoOffsetVal)
本実施形態におけるSAOの処理では、オフセットの絶対値sao_offset_absと符号sao_offset_signを符号化ストリームに含め、SAO部3052は、sao_offset_absとsao_offset_signから実際に用いられるオフセット値SaoOffsetValを導出して用いる。
SaoOffsetVal[cIdx][rx][ry][i+1] = (1-2*sao_offset_sign[cIdx][rx][ry][i])*sao_offset_abs[cIdx][rx][ry][i] << log2OffsetScale (式SAO-1)
ここでlog2OffsetScaleは、オフセットを量子化する場合に用いる量子化パラメータで通常0、1、2等の値を用いる。
また、導出された各画素に加算されるオフセットの値の符号を導出するためのパラメータとしてsao_offset_signが符号化される。sao_offset_signは、加算されるオフセット値が0以外のときに符号化する。
図18(a)にSAO部3052のブロック図を示す。SAO部3052は、カテゴリ設定部1001、オフセット情報格納部1002、オフセット加算部1003から構成される。
(カテゴリ設定部1001)
カテゴリ設定部1001は、オフセットタイプsao_type_idxに対応する各画素位置のカテゴリを設定する。また、オフセットSaoOffsetValを導出し、カテゴリとオフセットをオフセット加算部1003に出力する。なお、sao_type_idxが0の場合、カテゴリを算出しない。
sao_type_idxが2(EO)の場合、カテゴリ設定部1001は図16(a)に示す、エッジ分類を表すオフセットクラスclassにsao_eo_classをセットする。classは、対象画素からみた参照画素方向に対応し、参照画素の選択に用いられる。class=0の場合、参照画素a、bに対
象画素Xの左右の画素を設定し、class=1の場合、a、bに対象画素Xの上下の画素を設定し、class=2の場合、a、bに対象画素Xの左上、右下の画素を設定し、class=3の場合、a、bに対象画素xの左下、右上の画素を設定する。
次に対象画素xと、classによって指定された2つの参照画素a、bの画素値の差分sign(rec[x]-rec[a])、sign(rec[x]-rec[b])を用いてedgeIdxを導出する。
edgeIdx=sign(rec[x]-rec[a])+sign(rec[x]-rec[b])+2 (式SAO-5)
sign(x) = 1 (x>0)
= 0 (x=0)
=-1 (x<0)
ここで、rec[x]は画素xの復号画素値を表す。このedgeIdxからカテゴリcatを算出する。
cat =(edgeIdx==2)?0:edgeIdx+1 (edgeIdx<=2) (式SAO-6)
=edgeIdx (edgeIdx>2)
class=0の場合のカテゴリcatの示す対象画素値xと参照画素a、bの大小関係を図16(b)に示す。黒丸が対象画素x、xの左側の白丸が参照画素a、xの右側の白丸が参照画素bであり、縦方向は画素値の大小関係を表す。
sao_type_idxが1(BO)の場合、カテゴリ設定部1001は、図16(c)に示すように0〜2^bitDepth-1の画素値をバンドに分割する。カテゴリ設定部1001は、カテゴリcatの1〜4に、エントロピー復号部301で復号したバンドオフセット位置(sao_band_position)が示すバンドから連続する4バンドをセットする。
cat = (rec[x][y]>>bandShift)-sao_band_position+1 (式SAO-7)
if (cat<=0 || cat>4) cat=0
ここでrec[x][y]はSAO前復号画像の画素値、bandShiftはlog2(bandW)である。
さらに、(式SAO-1)のオフセットSaoOffsetValを導出し、カテゴリcatとオフセットSaoOffsetValをオフセット加算部1003に出力する。
(オフセット加算部1003)
オフセット加算部1003は、入力画像(デブロック済復号画像P_DBもしくは局所復号画像P)の画素値recPicture[][]にオフセットSaoOffsetValを加算して、フィルタ済復号画像P_FLの画素値として設定する。
saoPicture[x][y] = Clip3(0, (1<<bitDepth)-1,recPicture[x][y]+SaoOffsetVal[cIdx][rx][ry][edgeIdx or bandIdx])
(ALF部3053)
ループフィルタ部305はALF部(SAO部3052)を備えてもよい。ALFはCTU毎に通知されるALFパラメータを用いた処理であり様々な符号化ノイズを除去する効果がある。ALF部3053は、入力画像(例えば復号画像やDF済み復号画像やSAO済復号画像)にALF処理を施すことによって、ALF済復号画像P_ALFを生成する。
図18(b)にALF部3053のブロック図を示す。ALF部3053は、フィルタ情報格納部30531、ALFフィルタ処理部30532から構成される。
ALF部3053は、対象CTUの有効領域が所定のサイズ以上の場合に、CTU単位で処理を行うループフィルタの情報(ALFユニット)を復号する。対象CTUの有効領域が所定のサイズ未満の場合には、CTU単位のループフィルタ情報(ALFユニット)を復号せず、CTU単位のル
ープフィルタ処理(ここではALF処理)を行わない。
例えば、ALF部3053は、タイルを利用しない場合には画面サイズから対象CTUの有効領域(wActBlk, hActBlk)を導出する。
wActBlk = Min(ctuWidth,wPict-xCtb)
hActBlk = Min(ctuHeight,hPict-yCtb)
ALF部3053は、タイルを利用する場合には、タイルのサイズとタイルの左上座標と対象CTUの左上座標から、対象CTUの有効領域(wActBlk, hActBlk)を導出する。
wActBlk = Min(ctuWidth,xTile[TileId]+wTile[TileId]-xCtb)
hActBlk = Min(ctuHeight,yTile[TileId]+hTile[TileId]-yCtb)
ALF部3053は、対象ブロックの有効領域(wActBlk, hActBlk)が所定のサイズ(MinAlfSize)以上である場合に、ALFユニットを復号する。
wActBlk >= MinAlfSize && hActBlk>=MinAlfSize
なお、有効領域の判定式はwActBlk+hActBlk>=MinAlfSizeや、log2(wActBlk)+log2(hActBlk)>=MinAlfSize、wActBlk*hActBlk>=MinAlfSizeなどでもよい。
この場合、ALF部3053は、対象CTUの有効領域の幅もしくは高さが所定の最小サイズ以上の場合に、CTU単位でフィルタ処理を行うか否かを示すCTUフィルタフラグであるalf_ctu_flagを復号し、最小サイズ未満の場合には、上記CTUフィルタフラグalf_ctu_flagの復号を省略し、フィルタを行わないことを示す値(0)に設定する。
図15は、本実施形態に係る符号化ストリームのALFユニット(図15においてalf_unit()と表記)のシンタックスを示す図である。ALFユニットはCTU毎に通知され、ALFユニットalf_param()、および、ALFユニットのマージ制御情報(alf_merge_left_flag, alf_merge_up_flag)をシンタックス要素として含む。alf_merge_left_flagは、対象CTUのALFユニットを、対象CTUの左隣接CTUから複製するか否かを示すフラグである。alf_merge_up_flagは、対象CTUのALFユニットを、対象CTUの上隣接CTUから複製するか否かを示すフラグである。また、ALFユニットは、上隣接CTU及び左隣接CTUによらず他の位置のCTUのALFユニットや、別途設けたALFユニットを保持するALFデータベース(ALFテーブル)の情報をコピーしてもよい。
ALF部3053は、フィルタ処理を行う場合(alf_ctu_flag=1の場合)には、フィルタ係数を復号する。復号したフィルタ係数はフィルタ情報格納部30531に格納し、マージ制御情報に応じて再利用可能とする。alf_ctu_flag=1の場合もマージ制御情報がマージを行う場合には、フィルタ情報格納部30531に格納されたフィルタ係数を読みだして用いる。ここでは5x5のフィルタ係数としてi=0..24のフィルタ係数を復号する例を説明するが、フィルタ形状は5x5に限定されず、9x7、7x7ダイヤモンド、5x5ダイヤモンド、9x5クロス、9x7クロス+3x3菱形などでもよい。また、回転対称を利用して25/2+1=13個のフィルタ係数を伝送してもよい。
具体的には、絶対値を示すシンタックスalf_coeff_abs[cIdx][rx][ry][i]と符号を示すシンタックスalf_coeff_sign[cIdx][rx][ry][i]を復号し、(rx, ry)の位置で示されるフィルタ係数alf_coeff[cIdx][i]を導出する。
alf_coeff[cIdx][i] = alf_coeff_abs[cIdx][rx][ry][i]*(1-2*alf_coeff_sign[cIdx][rx][ry][i])
ALFフィルタ処理部30531は、積和演算によりフィルタ処理を行う。また下記のように積
和演算の後に加算やシフトやクリップを行ってもよい。
alfPicture[x][y] = Clip3(0,(1<<bitDepth)-1,Σ(recPicture[x+i%5-2][y+i/5-2]*alf_coeff[cIdx][i]+128)>>8)
ここでΣは、i=0..24までの加算である。また、128と8は、オフセットが8bit固定小数で伝送されている場合のオフセット及びシフト処理であり、オフセットの精度によって変更しても良い。
また、積和演算に加えオフセット項(バイアス項)をさらにALFパラメータとして伝送してもよい。例えばi=25のパラメータとしてバイアス項を伝送してもよい。
なお、MinAlfSizeの閾値は、量子化パラメータQPが大きくなるにつれてより大きい値を設定しても良い。また、以下のように閾値に上限と下限を設けてもよい。
MinAlfSize = Clip3(16,CtuSize/2,(QP+32)/2)
上記SA3052もしくはALF部3053によれば、タイルをCTU単位に分割し、CTU単位に動画像を復号する動画像復号装置において、CTU単位でフィルタ処理を行うCTUフィルタ処理部(ALF3052 or ALF部3053)を備え、CTUの幅もしくは高さが所定のCTUサイズ未満(ctuWidth, ctuHeight)のサイズで終端し、有効領域(wActBlk, hActBlk)が所定のCTUサイズ(ctuWidth, ctuHeight)と異なることがある場合において、対象CTUの有効領域(実CTUサイズ)の幅wActBlkもしくは高さhActBlkが所定の最小サイズ以上(MinSaoSize, MinAlfSize)の場合に、上記CTUフィルタ処理部はフィルタ処理を行い、上記最小サイズ未満の場合には、上記CTUフィルタ処理部はフィルタ処理を行わない。
なお、ヘッダ復号部3020は、CTU単位でフィルタ処理を行うか否かを示すCTUフィルタフラグを復号し、対象CTUの有効領域の幅もしくは高さが所定の最小サイズ以上の場合に、上記CTUフィルタフラグを復号し、上記最小サイズ未満の場合には、上記CTUフィルタフラグの復号を省略し、フィルタを行わないことを示す値(0)に設定する。
上記により、小さいCTUでは、SAOユニットやALFユニットを伝送せず、ループフィルタの符号量を減らすことができるので符号化効率が向上する。逆に言えば、ループフィルタは適用する面積に効果が比例するため、小さいCTUでは、SAOユニットやALFユニットを伝送しても、符号量のオーバーヘッド分の効果が見込めず、効果がマイナスとなることがあり、これを防ぐことができる。
(動画像符号化装置の構成)
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図19は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。
予測画像生成部101は画像Tの各ピクチャを分割した領域であるCU毎に予測画像を生成する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作であり、説明を省略する。
減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Tの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。
変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。
逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311(図5)と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112(予測モード符号化部)、エントロピー符号化部104、および図示しないインター予測パラメータ符号化部112とイントラ予測パラメータ符号化部113を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。
以下、各モジュールの概略動作を説明する。パラメータ符号化部111はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。
CT情報符号化部1111は、QT、MT(BT、TT)分割情報等を符号化する。
CU符号化部1112はCU情報、予測情報、TU分割フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を符号化する。
TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報(量子化補正値)と量子化予測誤差(residual_coding)を符号化する。
エントロピー符号化部104は、供給元から供給されるシンタックス要素をバイナリデータに変換し、CABAC等のエントロピー符号化方式により符号化データを生成し、出力する。図19に示す例では、シンタックス要素の供給元は、CT情報符号化部1111、CU符号化部1112である。シンタックス要素は、インター予測パラメータ(予測モードpredMode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX)、イントラ予測パラメータ(prev_intra_luma_pred_flag、mpm_idx、rem_selected_mode_flag、rem_selected_mode、rem_non_selected_mode、)、量子化変換係数等である。
加算部106は、予測画像生成部101から入力されたブロックの予測画像の画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記3種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。
参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。
符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、1つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメ
ータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部102において算出された予測誤差の二乗和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。
なお、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
本発明の一態様に係る動画像復号装置は、画像をタイルに分割し、タイルをCTUに分割し、CTU単位に動画像を復号する動画像復号装置であって、タイルの大きさの最小単位を所定の値に設定するヘッダ復号部と、符号化ストリームからCTUを復号するCT情報復号部を備え、上記ヘッダ復号部は、タイルの大きさの最小単位を用いてタイル左上位置とタイルサイズを導出することを特徴とする。
本発明の一態様に係る動画像復号装置において、前記所定の値は、最小CTUサイズであることを特徴とする。
本発明の一態様に係る動画像復号装置において、前記所定の値は、最小CTUサイズの整数倍であることを特徴とする。
本発明の一態様に係る動画像復号装置において、前記所定の値は、8もしくは16であることを特徴とする。
本発明の一態様に係る動画像復号装置において、前記所定の値は、水平方向は最小CTUサイズの整数倍、垂直方向は8もしくは16であることを特徴とする。
本発明の一態様に係る動画像復号装置において、前記タイルの大きさの最小単位は、最小CTUサイズと、タイルサイズの最小単位と最小CTUサイズとの差分値を用いて導出することを特徴とする。
本発明の一態様に係る動画像復号装置において、前記差分値はSPSの符号化データから復号されることを特徴とする。
本発明の一態様に係る動画像復号装置において、前記差分値はPPSの符号化データから復号されることを特徴とする。
本発明の一態様に係る動画像復号装置において、前記タイルの大きさの最小単位はタイルサイズの最小単位はCTUサイズを超えないことを特徴とする。
本発明の一態様に係る動画像復号装置において、前記所定の値は、各タイルを独立に処理できる場合は最小CTUサイズ未満の値に設定し、そうでない場合は最小CTUサイズに設定することを特徴とする。
本発明の一態様に係る動画像復号装置において、前記所定の値は、各タイルを独立に処理できる場合は、そうでない場合よりもタイルの最小単位を小さく設定することを特徴とする。
本発明の一態様に係る動画像復号装置において、前記所定の値は、サブCU、TMVP用の動きベクトル格納単位、差分量子化パラメータを通知する単位のいづれかに合わせて設定することを特徴とする。
本発明の一態様に係る動画像符号化装置は、画像をタイルに分割し、タイルをCTUに分割し、CTU単位に動画像を符号化する動画像符号化装置において、タイルの大きさの最小単位を所定の値に設定するヘッダ符号化部と、CTUを符号化して符号化ストリームを生成するCT情報符号化部を備え、上記ヘッダ符号化部は、タイルの大きさの最小単位を用いてタイル左上位置とタイルサイズを導出することを特徴とする。
〔応用例〕
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像符号化装置11及び動画像復号装置31を、動画像の送信及び受信に利用できることを、図20を参照して説明する。
図20(a)は、動画像符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図である。図20(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていてもよい。図20(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図20(b)は、動画像復号装置31を搭載した受信装置PROD_Bの構成を示したブロック図である。図20(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図20(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線または有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
次に、上述した動画像符号化装置11及び動画像復号装置31を、動画像の記録及び再生に利用できることを、図21を参照して説明する。
図21(a)は、上述した動画像符号化装置11を搭載した記録装置PROD_Cの構成を示したブロック図である。図21(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc:登録商標)やBD(Blu-ray Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図21(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5または画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図21(B)は、上述した動画像復号装置31を搭載した再生装置PROD_Dの構成を示したブロックである。図21(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置31は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図21(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型またはタブレット型PC(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(ハードウェア的実現およびソフトウェア的実現)
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random
Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピ
ー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM(Compact Disc Read-Only Memory)/MOディスク(Magneto-Optical disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)/CD-R(CD Recordable)/ブルーレイディスク(Blu-ray Disc:登録商標)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、BlueTooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance:登録商標)、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
11 動画像符号化装置
31 動画像復号装置
101、308 予測画像生成部
104 エントロビー符号化部(符号化部)
107、305 ループフィルタ
111 パラメータ符号化部
301 エントロピー復号部
302 パラメータ復号部(分割部)

Claims (8)

  1. 画像をタイルに分割し、タイルをCTUに分割し、CTU単位に動画像を復号する動画像復号装置において、
    タイルの大きさの最小単位を所定の値に設定するヘッダ復号部と、
    符号化ストリームからCTUを復号するCT情報復号部を備え、
    上記ヘッダ復号部は、タイルの大きさの最小単位を用いてタイル左上位置とタイルサイズを導出することを特徴とする動画像復号装置。
  2. 前記所定の値は、最小CTUサイズであることを特徴とする請求項1に記載の動画像復号装置。
  3. 前記所定の値は、8もしくは16であることを特徴とする請求項1に記載の動画像復号装置。
  4. 前記所定の値は、水平方向は最小CTUサイズの整数倍、垂直方向は8もしくは16であることを特徴とする請求項1に記載の動画像復号装置。
  5. 前記タイルの大きさの最小単位は、最小CTUサイズと、タイルサイズの最小単位と最小CTUサイズとの差分値を用いて導出することを特徴とする請求項1に記載の動画像復号装置。
  6. 前記タイルの大きさの最小単位はタイルサイズの最小単位はCTUサイズを超えないことを特徴とする請求項5に記載の動画像復号装置。
  7. 前記所定の値は、各タイルを独立に処理できる場合は最小CTUサイズ未満の値に設定し、そうでない場合は最小CTUサイズに設定することを特徴とする請求項1に記載の動画像復号装置。
  8. 画像をタイルに分割し、タイルをCTUに分割し、CTU単位に動画像を符号化する動画像符号化装置において、
    タイルの大きさの最小単位を所定の値に設定するヘッダ符号化部と、
    CTUを符号化して符号化ストリームを生成するCT情報符号化部を備え、
    上記ヘッダ符号化部は、タイルの大きさの最小単位を用いてタイル左上位置とタイルサイズを導出することを特徴とする動画像符号化装置。
JP2018189948A 2018-06-29 2018-10-05 動画像符号化装置および動画像復号装置 Pending JP2021153214A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018189948A JP2021153214A (ja) 2018-10-05 2018-10-05 動画像符号化装置および動画像復号装置
US17/256,617 US11652991B2 (en) 2018-06-29 2019-06-24 Video decoding apparatus with picture tile structure
PCT/JP2019/025010 WO2020004349A1 (ja) 2018-06-29 2019-06-24 動画像符号化装置および動画像復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018189948A JP2021153214A (ja) 2018-10-05 2018-10-05 動画像符号化装置および動画像復号装置

Publications (1)

Publication Number Publication Date
JP2021153214A true JP2021153214A (ja) 2021-09-30

Family

ID=77886780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018189948A Pending JP2021153214A (ja) 2018-06-29 2018-10-05 動画像符号化装置および動画像復号装置

Country Status (1)

Country Link
JP (1) JP2021153214A (ja)

Similar Documents

Publication Publication Date Title
US10136161B2 (en) DMM prediction section, image decoding device, and image coding device
JP7402016B2 (ja) 画像復号装置及び画像符号化装置
WO2020116376A1 (ja) 動画像復号装置および動画像符号化装置
JP2021034980A (ja) 画像符号化装置、および、画像復号装置
JP2020061701A (ja) 動画像符号化装置および動画像復号装置
WO2020241858A1 (ja) 画像復号装置
WO2020184366A1 (ja) 画像復号装置
US11652991B2 (en) Video decoding apparatus with picture tile structure
WO2020067440A1 (ja) 動画像符号化装置および動画像復号装置
JP2020141285A (ja) 画像復号装置
WO2021246284A1 (ja) 動画像復号装置及び動画像符号化装置
JP2021153213A (ja) 動画像符号化装置および動画像復号装置
JP2020107961A (ja) 動画像符号化装置および動画像復号装置
JP2021158546A (ja) 画像復号装置及び画像符号化装置
JP2021034848A (ja) 画像復号装置
JP2021034966A (ja) 動画像符号化装置、動画像復号装置
JP2021150703A (ja) 画像復号装置及び画像符号化装置
JP2021034887A (ja) 画像復号装置及び画像符号化装置
JP2021153214A (ja) 動画像符号化装置および動画像復号装置
JP2021153215A (ja) 動画像符号化装置および動画像復号装置
JP7444570B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
JP7425568B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
JP7397586B2 (ja) 画像復号装置及び画像符号化装置
JP7281890B2 (ja) 動画像符号化装置および動画像復号装置
WO2020045275A1 (ja) 画像復号装置および画像符号化装置