JP2020005199A - 画素サンプリングインターリーブ画像符号化／復号装置 - Google Patents

Abstract

【課題】伝送される分割前の画像と、分割後の画像とで、色差信号のサンプル位置が異なる場合に、画像を好適に復号する装置等を提供する。【解決手段】対象画像を符号化して得られた符号化データを復号する動画像復号装置（３１）であって、上記符号化データから、上記対象画像を構成する複数の部分画像の各々を復号する動画像復号部と、上記複数の部分画像が、上記対象画像を２サンプルインターリーブによって分割することにより得られたものであるか否かを示す分割フラグを復号する分割フラグ復号部と、を備える。動画像復号部は、複数の部分画像の少なくとも何れかを表す符号化データを復号する処理において、分割フラグの値を参照する。【選択図】図５

Description

本発明は画素サンプリングインターリーブ画像符号化／復号装置に関する。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。

具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られるブロックである予測ユニット（PU）、変換ユニット（TU）からなる階層構造により管理され、CUごとに符号化／復号される。

また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。

また、８Ｋ等のＵＨＤ映像を、ＳＤＩケーブルを複数用いて伝送する場合、分割方式は、２サンプルインターリーブ方式が用いられている。図８は、１２Ｇ−ＳＤＩ（非特許文献２）で２サンプルインターリーブによる画像の分割を示す図である。２サンプルインターリーブは、２画素（サンプル）を１組にして、対象画像を４分割する方式である。２サンプルインターリーブは、４本のケーブルによって伝送される４つの組それぞれがＵＨＤ解像度の左上から順番に伝送されることから、低遅延の映像処理を行うことができる。

また、高解像度の動画像信号を伝送するための伝送規格としては、Ｕ−ＳＤＩ（Ｕｌｔｒａｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｓｉｇｎａｌ／Ｄａｔａ Ｉｎｔｅｒｆａｃｅ）等の規格が知られている。図９及び図１０は、Ｕ−ＳＤＩによって、画像が４つの領域に分割されて4本のケーブルに分かれて伝送される様子を示す。図９は、入力画像の色差フォーマットが４：２：０の場合、図１０は、入力画像の色差フォーマットが４：２：２の場合である。図９及び図１０に示すように、Ｕ−ＳＤＩの伝送規格において、動画像信号は、複数の伝送ケーブルを用いて伝送するため、画素毎にサンプリングし、複数の領域毎の画像信号に分割する必要がある。Ｕ−ＳＤＩを用いて、画像信号を伝送する場合、入力画像の色差フォーマットが４：２：０であっても、４：２：２であっても分割前の画像における色差信号のサンプル位置と、分割後の画像における色差信号のサンプル位置とは異なる。Ｕ−ＳＤＩの技術として、非特許文献３が挙げられる。

"Algorithm Description of Joint Exploration Test Model 5", JVET-E1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 12-20 January 2017 12G-SDI Bit-Serial Interfaces -Overview for the SMPTE ST 2082 Document Suite ARIB STD-B58 超高精度テレビジョン信号スタジオ機器間インターフェース規格

伝送規格及び色差フォーマットによって、分割前の画像と、分割後の画像とで、色差信号のサンプル位置が異なる場合がある。

本発明の一態様は、分割前の画像と、分割後の画像とで、色差信号のサンプル位置が異なる場合であっても、画像を好適に復号する画像復号装置を提供することにある。

また、本発明の一態様は、分割前の画像と、分割後の画像とで、色差信号のサンプル位置が異なる場合であっても、画像を好適に符号化する画像符号化装置を提供することにある。

上記の課題を解決するために、本発明に係る画像復号装置は、対象画像を符号化して得られた符号化データを復号し、上記符号化データから、上記対象画像を構成する複数の部分画像の各々を復号する上記符号化データから、上記対象画像を構成する複数の部分画像の各々を復号する画像復号部と、上記複数の部分画像が、上記対象画像をサンプルインターリーブによって分割することにより得られたものであるか否かを示す分割フラグを復号する分割フラグ復号部と、を備え、上記画像復号部は、上記複数の部分画像の少なくとも何れかを表す符号化データを復号する処理において、上記分割フラグの値を参照する。

本発明の一態様によれば、分割前の画像と、分割後の画像とで、色差信号のサンプル位置が異なる場合であっても、画像を好適に復号する画像復号装置を提供できる。

また、本発明の一態様によれば、分割前の画像と、分割後の画像とで、色差信号のサンプル位置が異なる場合であっても、画像を好適に符号化する画像符号化装置を提供できる。

本実施形態に係る符号化ストリームのデータの階層構造を示す図である。 CTUの分割例を示す図である。 本実施形態に係る動画像符号化部の構成を示す概略図である。 本実施形態に係る動画像復号部の構成を示す概略図である。 本実施形態に係る動画像符号化装置と動画像復号装置の構成を示す概略図である。 本実施形態に係る画像伝送システム１の構成を示す概略図である。 本実施形態に係る動画像復号装置の概略的動作を説明するフローチャートである。 １２Ｇ−ＳＤＩによる２サンプルインターリーブ方式による画像の分割を示す図である。 Ｕ−ＳＤＩによる画像信号の伝送を示す図であり、（ａ）は、伝送前の８Ｋ画像、（ｂ）は、伝送される画像を示す。 Ｕ−ＳＤＩによる画像信号の伝送を示す図である。 ８Ｋ画像における輝度信号及び色差信号のサンプル位置を示す図であり、（ａ）は、分割前の画像、（ｂ）は、２サンプルインターリーブによって分割された後の画像を示す。 ＩＴＵ−Ｒ ＢＴ．７０９規格における画像の分割を示す図であり、（ａ）は、分割前の画像、（ｂ）は、分割後の画像を示す。 ＩＴＵ−Ｒ ＢＴ．２１００規格における画像の分割を示す図であり、（ａ）は、分割前の画像、（ｂ）は、分割後の画像を示す。 シーケンスパラメータセット内に含まれるシンタックス要素の一例を示す図であり、（ａ）は、色差信号のサンプル位置を暗黙的に指定するシンタックス要素、（ｂ）は、色差信号のサンプル位置を明示的に指定するシンタックス要素である。 輝度信号及び色差信号のサンプル位置を示す図である。 複数のタイルに分割された画像を示す図である。 ８Ｋ画像、色差フォーマット４：２：０の画像をＵ−ＳＤＩによって伝送した場合の分割後の画像を示す図である。 ８Ｋ画像、色差フォーマット４：２：２の画像をＵ−ＳＤＩによって伝送した場合の分割後の画像を示す図である。 シーケンスパラメータセット内に含まれるシンタックス要素の一例を示す図である。 本実施形態に係る動画像符号化装置を搭載した送信装置、および、動画像復号装置を搭載した受信装置の構成について示した図である。(a)は動画像符号化装置を搭載した送信装置を示しており、(b)は動画像復号装置を搭載した受信装置を示している。 本実施形態に係る動画像符号化装置を搭載した記録装置、および、動画像復号装置を搭載した再生装置の構成について示した図である。(a)は動画像符号化装置を搭載した記録装置を示しており、(b)は動画像復号装置を搭載した再生装置を示している。

〔第１の実施形態〕
以下、図面を参照しながら本発明の実施形態について説明する。

図６は、本実施形態に係る画像伝送システム１の構成を示す概略図である。

画像伝送システム１は、符号化対象画像を符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し画像を表示するシステムである。画像伝送システム１は、動画像符号化装置（画像符号化装置）11、ネットワーク21、動画像復号装置（画像復号装置）31、及び動画像表示装置（画像表示装置）41を含んで構成される。

動画像符号化装置11には画像Tが入力される。

ネットワーク21は、動画像符号化装置11が生成した符号化ストリームTeを動画像復号装置31に伝送する。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc）、BD（Blue-ray Disc）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。

動画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した１または複数の復号画像Tdを生成する。

動画像表示装置41は、動画像復号装置31が生成した１または複数の復号画像Tdの全部または一部を表示する。動画像表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、動画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。

＜演算子＞
本明細書で用いる演算子を以下に記載する。

>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。

x?y:zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。

Clip3(a,b,c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。

abs(a)はaの絶対値を返す関数である。

Int(a)はaの整数値を返す関数である。

floor(a)はa以下の最大の整数を返す関数である。

ceil(a)はa以上の最大の整数を返す関数である。

a/dはdによるaの除算（小数点以下切り捨て）を表す。

＜符号化ストリームTeの構造＞
本実施形態に係る動画像符号化部10および動画像復号部30の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。

図1は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図1の(a)〜(f)は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図である。

（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図1(a)に示すように、ビデオパラメータセット（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。

ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。

シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。

ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。また、本実施形態においては、SPSに、対象画像がサンプルインターリーブによって分割されているかを判定するためのフラグが含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図1(b)に示すように、スライス0〜スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）。

なお、以下、スライス0〜スライスNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。

（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図1(c)に示すように、スライスヘッダ、および、スライスデータを含んでいる。

スライスヘッダには、対象スライスの復号方法を決定するために動画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。

なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。

（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図1(d)に示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。

（符号化ツリーユニット）
図1(e)には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。

CTは、CT情報として、QT分割を行うか否かを示すQT分割フラグ（cu_split_flag）、MT分割の分割方法を示すMT分割モード（split_mt_mode）、MT分割の分割方向を示すMT分割方向（split_mt_dir）、MT分割の分割タイプを示すMT分割タイプ（split_mt_type）を含む。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type は符号化ノード毎に伝送される。

cu_split_flagが１の場合、符号化ノードは４つの符号化ノードに分割される（図2(b)）。cu_split_flagが０の時、split_mt_flagが０の場合に符号化ノードは分割されず１つのCUをノードとして持つ（図2(a)）。 CUは符号化ノードの末端ノードであり、これ以上分割されない。CUは、符号化処理の基本的な単位となる。

split_mt_flagが１の場合に符号化ノードは以下のようにMT分割される。split_mt_typeが０の時、split_mt_dirが１の場合に符号化ノードは２つの符号化ノードに水平分割され（図2(d)）、split_mt_dirが０の場合に符号化ノードは２つの符号化ノードに垂直分割される（図2(c)）。また、split_mt_typeが１の時、split_mt_dirが１の場合に符号化ノードは３つの符号化ノードに水平分割され（図2(f)）、split_mt_dirが０の場合に符号化ノードは３つの符号化ノードに垂直分割される（図2(e)）。

また、CTUのサイズが64x64画素の場合には、CUのサイズは、64x64画素、64x32画素、32x64画素、32x32画素、64x16画素、16x64画素、32x16画素、16x32画素、16x16画素、64x8画素、8x64画素、32x8画素、8x32画素、16x8画素、8x16画素、8x8画素、64x4画素、4x64画素、32x4画素、4x32画素、16x4画素、4x16画素、8x4画素、4x8画素、及び、4x4画素の何れかをとり得る。

（符号化ユニット）
図1(f)に示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。

予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。CUとサブCUのサイズが等しい場合には、CU中のサブCUは１つである。CUがサブCUのサイズよりも大きい場合、CUは、サブCUに分割される。たとえばCUが8x8、サブCUが4x4の場合、CUは水平２分割、垂直２分割からなる、４つのサブCUに分割される。

予測の種類（予測モード）は、イントラ予測と、インター予測の２つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。

変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位でエントロピー符号化してもよい。

（予測パラメータ）
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。

（動画像復号装置の構成）
次に、本実施形態に係る動画像復号装置31の構成について説明する。図4及び図５は、本実施形態に係る動画像復号装置31の構成を示す概略図である。動画像復号装置31は、動画像復号部30と、画素再配置部314からなる。動画像復号部30は、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部（予測画像生成装置）308、逆量子化・逆変換部311、加算部312を含んで構成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。パラメータ復号部302は、さらに、エントロピー復号部301、ヘッダ復号部3020、CT情報復号部3021、及びCU復号部3022（予測モード復号部）を備えており、CU復号部3022はさらにTU復号部3024を備えている。

（復号モジュール）
以下、各モジュールの概略動作を説明する。パラメータ復号部302はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの復号処理を行う。

エントロピー復号部301は、バイナリデータからシンタックス要素を復号する。エントロピー復号部301は、より具体的には、供給元から供給されるシンタックス要素に基づいて、CABAC等のエントロピー符号化方式による符号化データから、シンタックス要素を復号して供給元に返す。以下に示す例では、シンタックス要素の供給元は、CT情報復号部3021、CU復号部3022である。

（基本フロー）
図6は、動画像復号装置31の概略的動作を説明するフローチャートである。

（S1100：パラメータセット情報復号）ヘッダ復号部3020は、符号化データからVPS、SPS、PPSなどのパラメータセット情報を復号する。

（S1200：スライス情報復号）ヘッダ復号部3020は、符号化データからスライスヘッダ（スライス情報）を復号する。

以下、動画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の処理を繰り返すことにより各CTUの復号画像を導出する。

（S1300：CTU情報復号）CT情報復号部3021は、符号化データからCTUを復号する。

（S1400：CT情報復号）CT情報復号部3021は、符号化データからCTを復号する。

（S1500：CU復号）CU復号部3022はS1510、S1520を実施して、符号化データからCUを復号する。

（S1510：CU情報復号）CU復号部3022は、符号化データからCU情報、予測情報、TU分割フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を復号する。

（S1520：TU情報復号）TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値である。

（S2000：予測画像生成）予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。

（S3000：逆量子化・逆変換）逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。

（S4000：復号画像生成）加算器312は、予測画像生成部308より供給される予測画像と、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの復号画像を生成する。

（S5000：ループフィルタ）ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。

また、パラメータ復号部302は、図示しないインター予測パラメータ復号部303及びイントラ予測パラメータ復号部304を含んで構成される。予測画像生成部308は、図示しないインター予測画像生成部309及びイントラ予測画像生成部3021を含んで構成される。

本実施形態において、動画像復号装置31には、分割された画像（部分画像）に対応する符号化ストリームTeが入力される。

エントロピー復号部301は、インター予測パラメータ（予測モードpredMode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX）をインター予測パラメータ復号部303に出力する。また、イントラ予測パラメータ（輝度予測モードIntraPredModeY、色差予測モードIntraPredModeC）をイントラ予測パラメータ復号部304に出力する。エントロピー復号部301は、量子化変換係数を逆量子化・逆変換部311に出力する。

本実施形態において、パラメータ復号部302（分割フラグ復号部）は、符号化対象画像が部分画像に分割されたのか否かを示す分割フラグ、符号化対象画像がサンプルインターリーブによって複数の部分画像に分割されたのか否かを示す分割フラグを復号する。また、部分画像の色差サンプル位置を示す情報（画素配置情報）を復号する。

また、動画像復号装置31は、符号化データから、符号化対象画像を構成する複数の部分画像の各々を復号する動画像復号部30を備え、動画像復号部30は、各部分画像における色差サンプル位置を示す画素配置情報を参照して、各部分画像を復号する。

動画像復号装置31は、部分画像を表す符号化データを復号する処理において、パラメータ復号部302に含まれるヘッダ復号部3020において復号された分割フラグおよび画素配置情報を参照する。動画像復号装置31による分割フラグ等の具体的参照処理については後述する。

このように、分割フラグ復号部において復号された分割フラグ等を参照することで、サンプルインターリーブによって画像が分割された場合に正しい色差信号のサンプル位置を特定することができ、部分画像を好適に復号することができる。

インター予測パラメータ復号部303は、パラメータ復号部302から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してインター予測パラメータを復号する。

インター予測パラメータ復号部303は、復号したインター予測パラメータを予測画像生成部308に出力し、また予測パラメータメモリ307に記憶する。インター予測パラメータ復号部303の詳細については後述する。

イントラ予測パラメータ復号部304は、パラメータ復号部302から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、CUを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部304は、復号したイントラ予測パラメータを予測画像生成部308に出力し、また予測パラメータメモリ307に記憶する。

イントラ予測パラメータ復号部304は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部304は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、３５モードであり、プレーナ予測（０）、DC予測（１）、方向予測（２〜３４）が対応する。色差予測モードIntraPredModeCは、プレーナ予測（０）、DC予測（１）、方向予測（２〜３４）、LMモード（３５）の何れかを用いるものである。イントラ予測パラメータ復号部304は、IntraPredModeCは輝度モードと同じモードであるか否かを示すフラグを復号し、フラグが輝度モードと同じモードであることを示せば、IntraPredModeCにIntraPredModeYを割り当て、フラグが輝度モードと異なるモードであることを示せば、IntraPredModeCとして、プレーナ予測（０）、DC予測（１）、方向予測（２〜３４）、LMモード（３５）を復号しても良い。

ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。また、本実施形態において、ループフィルタ305は、パラメータ復号部302から、画素配置情報を取得し、該画素配置情報を参照して、対象画像に適用させるフィルタのオンオフを決定する。

参照ピクチャメモリ306は、加算部312が生成したCUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。

予測パラメータメモリ307は、復号対象のCTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及びエントロピー復号部301が分離した予測モードpredMode等を記憶する。

予測画像生成部308には、予測モードpredMode、予測パラメータ等が入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、予測画像を生成するために参照する領域である。

また、本実施形態において、予測画像生成部308は、パラメータ復号部302から取得した画素配置情報を参照して予測画像を生成する。例えば、色差信号のサンプル位置が異なる部分画像間の予測を禁止する。具体的な方法は後述する。

逆量子化・逆変換部311は、エントロピー復号部301から入力された量子化変換係数を逆量子化して変換係数を求める。この量子化変換係数は、符号化処理において、予測誤差に対してDCT（Discrete Cosine Transform、離散コサイン変換）、DST（Discrete Sine Transform、離散サイン変換）、KLT（Karyhnen Loeve Transform、カルーネンレーベ変換）等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部311は、求めた変換係数について逆DCT、逆DST、逆KLT等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。

加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。

（動画像符号化装置の構成）
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図3及び図5は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、画素配置部114と動画像符号化部10からなる。動画像符号化部10は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定部110、パラメータ符号化部111を含んで構成される。

予測画像生成部101は画像Ｔの各ピクチャを分割した領域であるCU毎に予測画像を生成する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作であり、説明を省略する。

減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。

変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。

逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311（図4）と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。

画素配置部114は、独立な単位として伝送される画素群を部分画像として配置された、1枚のピクチャを生成する。また、色差信号のサンプル位置を特定し、画素配置情報をエントロピー符号化部104へ供給する。画素配置情報とは、ピクチャ内での部分画像を配置するための情報であり、また、部分画像における色差信号のサンプル位置を示す情報である。

パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112（予測モード符号化部）、エントロピー符号化部104、および図示しないインター予測パラメータ符号化部112とイントラ予測パラメータ符号化部113を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。

以下、各モジュールの概略動作を説明する。パラメータ符号化部111はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。

CT情報符号化部1111は、符号化データからQT、MT（BT、TT）分割情報等を符号化する。

CU符号化部1112はCU情報、予測情報、TU分割フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を符号化する。

TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を符号化する。

エントロピー符号化部104は、供給元から供給されるシンタックス要素をバイナリデータに変換し、CABAC等のエントロピー符号化方式により符号化データを生成し、出力する。図３に示す例では、シンタックス要素の供給元は、CT情報符号化部1111、CU符号化部1112である。シンタックス要素は、インター予測パラメータ（予測モードpredMode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX）、イントラ予測パラメータ（prev_intra_luma_pred_flag、mpm_idx、rem_selected_mode_flag、rem_selected_mode、rem_non_selected_mode、）、量子化変換係数等である。

加算部106は、予測画像生成部101から入力されたブロックの予測画像の画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。

ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタのみの構成であってもよい。また、ループフィルタ107は、画素配置部114から取得した画素配置情報を参照して、対象画像に適用させるフィルタのオンオフを決定する。

予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。

参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。

符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。

符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部102において算出された予測誤差の二乗和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。

本実施形態において、エントロピー符号化部104は、画素配置情報の符号化部を備える。本実施形態の動画像符号化部10において、画素配置情報の符号化部は、符号化対象画像が部分画像に分割されたのか否かを示す分割フラグ、２サンプルインターリーブ方式で分割されたか否かを示すフラグ、画素配置情報（図１４に示すシンタックス）等を符号化する。

エントロピー符号化部104は、入力された量子化係数、符号化パラメータ、画素配置情報及び分割フラグをエントロピー符号化して符号化ストリームTeを生成し、生成した符号化ストリームTeを外部に出力する。符号化された部分画像のデータは、順次符号化ストリームTeとして外部に出力されてもよく、また、エントロピー符号化部で一度格納され、全ての部分画像が格納された後、まとめて出力されてもよい。

逆量子化・逆変換部105は、変換・量子化部103から入力された量子化係数を逆量子化して変換係数を求める。逆量子化・逆変換部105は、求めた変換係数について逆周波数変換を行い、残差信号を算出する。逆量子化・逆変換部105は、算出した残差信号を加算部106に出力する。

加算部106は、予測画像生成部101から入力されたPUの予測画像Ｐの信号値と逆量子化・逆変換部105から入力された残差信号の信号値を画素毎に加算して、復号画像を生成する。加算部106は、生成した復号画像を参照ピクチャメモリ109に記憶する。

（画面分割と分割フラグおよび画素配置情報のシンタックス例１）
図１１は、一例として８Ｋ画像における輝度信号及び色差信号のサンプル位置を示す図であり、図１１（ａ）は、通常の画素配置の画像を示しており、図１１（ｂ）は、２サンプルインターリーブ処理をした後の画像を示す。図１１（ａ）及び（ｂ）において、○（白抜きの○）は輝度信号のサンプル位置、□（白抜きの正方形）は色差信号のサンプル位置を示す。また、各数字１〜４は４枚の部分画像（同じケーブルで伝送される画素群）のうち、第何番目の部分画像に属する画素であるのかを識別するために付している。

動画像復号装置31の備える画素再配置部314は、図１１（ｂ）に示した部分画像を、画素配置情報を参照することによって統合し、図１１（ａ）に示した画像を生成する。一方、動画像符号化装置11の備える画素配置部114は、図１１（ｂ）に示すように１つのピクチャに部分画像を配置する。

図１４（ａ）は、本例の処理を行う動画像復号装置31が参照するシーケンスパラメータセットに含まれるシンタックスの一例を示している。

図１４（ａ）に示すように、シーケンスパラメータセットには、画素単位に画面が分割されていることを示す分割フラグsps_sample_interleave_division_flagが含まれており、ヘッダ復号部3020は、分割フラグsps_sample_interleave_division_flagの値が１である場合、画面が水平垂直に４分割された4つの部分画像に分割されていることを示す。このフラグが１の場合には、更に、シンタックスtwo_sample_interleave_division_flagを復号し、そうでない場合に、two_sample_interleave_division_flagを復号しない。分割フラグsps_sample_interleave_division_flagの値は、動画像復号装置31および画素再配置部314によって参照される。

なお、シンタックスtwo_sample_interleave_division_flagは、符号化対象画像が２サンプルインターリーブ方式で分割されたか否かを示している。このフラグがオンの場合は、４枚の部分画像のうち、上側の２枚の部分画像における色差サンプルの位置が互いに等しく、下側の２枚の部分画像における色差サンプルの位置が互いに等しく、上側の２枚の部分画像と、下側の２枚の部分画像とでは、色差サンプルの位置が等しくない。

two_sample_interleave_division_flagが0の場合は、符号化対象画像が２画素毎の２サンプルインターリーブではなく、１画素毎にサンプルインターリーブを行う。この場合は、４枚の部分画像のうち、上側の２枚の部分画像における色差サンプルの位置が互いに等しいとは限らず、下側の２枚の部分画像における色差サンプルの位置が互いに等しいとは限らない。

本実施の形態では、画素配置情報をシーケンスパラメータセットを用いる方法を示したが、より上位の情報であるVPS(Video Parameter Set)や、補助情報であるSEI(Supplemental Enhancement Information)を用いる方法でもよい。

符号化対象画像に関する情報には、VUI(Video Usability Information)に映像規格を示す情報、及び、４：２：０フォーマットの時の色差信号のサンプル位置等が含まれている。符号化対象画像が準拠する映像規格とは、例えば、ＩＴＵ−Ｒ ＢＴ．７０９及びＩＴＵ−Ｒ ＢＴ．２１００等の規格である。

この情報を用いることで、動画像復号装置31および画素再配置部314が、上記符号化対象画像に関する情報を参照して、部分画像を復号し、映像規格あるいは分割情報を参照して、色差信号のサンプル位置を再配置することで、部分画像を好適に統合することができる。

（画面分割と分割フラグおよび画素配置情報のシンタックス例２）
本例では、分割フラグが、上記符号化対象画像がサンプルインターリーブによって複数の部分画像に分割されたことを示している場合に、動画像復号装置31および画素再配置部314は、符号化ストリームTeに含まれる、各部分画像における色差信号のサンプル位置を示す情報（画素配置情報）を参照して、各部分画像における色差信号のサンプル位置を特定する。

また、上記符号化対象画像を水平及び垂直に複数枚に分割することによって得られた各部分画像には、色差サンプル位置が同じ部分の画像のあるセットが複数含まれており、画素配置情報は、上記あるセットに含まれる部分画像における色差サンプル位置を示す情報と、上記あるセットとは異なる他のセットに含まれる部分画像における色差サンプル位置を示す情報と、を含んでいる。セットに含まれる部分画像における色差サンプル位置を示す情報、及びあるセットとは異なる他のセットに含まれる部分画像における色差サンプル位置を示す情報の具体例については後述する。

本例では、色差信号のサンプル位置を、明示的に符号化ストリームTeで通知する。

図１４（ｂ）は、本例の処理を行う動画像復号装置31が復号するシーケンスパラメータセットに含まれるシンタックスの一例を示している。

図１４（ｂ）に示すように、シーケンスパラメータセットには、上述したサンプルインターリーブ分割フラグsps_sample_interleave_division_flagが含まれている。

ヘッダ復号部3020は、分割フラグsps_sample_interleave_division_flagの値が１である場合に、
・two_sample_interleave_division_flag、及び
・chroma_loc_info_present_flag
を復号し、そうでない場合に、これらのシンタックスを復号しない。分割フラグsps_sample_interleave_division_flagの値が、動画像復号装置31および画素再配置部314によって参照される点は、上述の例と同様である。

chroma_loc_info_present_flagは、部分画像における色差サンプル位置を示す情報（画素配置情報）が存在するのか否かを示す情報である。

chroma_loc_info_present_flagが真、かつ、two_sample_interleave_division_flagが真（画素配置情報が存在し、かつ、２サンプルインターリーブ方式で符号化対象画像が分割される）の場合、ヘッダ復号部3020は、更に、
・chroma_sample_loc_type_top_picture
・chroma_sample_loc_type_bottom_picture
を復号する。

本例において、セットに含まれる部分画像における色差サンプル位置を示す情報とは、後述するchroma_sample_loc_type_top_pictureである。また、上記あるセットとは異なる他のセットに含まれる部分画像における色差サンプル位置を示す情報とは、後述するchroma_sample_loc_type_bottom_pictureである。

ここで、chroma_sample_loc_type_top_pictureは、水平垂直に４分割した４枚の部分画像のうち、上側の２枚の部分画像における色差信号のサンプル位置を示している。また、chroma_sample_loc_type_bottom_pictureは、水平垂直に４分割した４枚の部分画像のうち、下側の２枚の部分画像における色差信号のサンプル位置を示している。chroma_sample_loc_type_top_picture、及び、chroma_sample_loc_type_bottom_pictureのことを画素配置情報とも呼ぶ。

また、画素配置情報は、分割された部分画像の各々について、当該部分画像における色差サンプル位置を示す情報を含んでいる。

two_sample_interleave_division_flagの値が１である場合、chroma_sample_loc_type_top_picture、及びchroma_sample_loc_type_bottom_pictureから特定された色差サンプル位置を用いて、動画像復号装置31は各部分画像を復号し、画素再配置部314はこれらの部分画像を統合することによって生成した出力動画像信号を外部に出力する。

一方で、chroma_loc_info_present_flagが真、かつ、two_sample_interleave_division_flagの値が０であれば、ヘッダ復号部3020は、
・chroma_sample_loc_type_top_left_picture
・chroma_sample_loc_type_top_right_picture
・chroma_sample_loc_type_bottom_left_picture
・chroma_sample_loc_type_bottom_right_picture
を復号する。これらのシンタックスも画素配置情報とも呼び、部分画像における色差サンプル位置を示す情報である。

ここで、chroma_sample_loc_type_top_left_picture、chroma_sample_loc_type_top_right_picture、chroma_sample_loc_type_bottom_left_picture、chroma_sample_loc_type_bottom_right_pictureは各々、４枚の部分画像のうち、左上の部分画像、右上の部分画像、左下の部分画像、右下の部分画像における色差サンプル位置を示している。

chroma_loc_info_present_flagが１、かつ、two_sample_interleave_division_flagの値が０である場合、chroma_sample_loc_type_top_left_picture、chroma_sample_loc_type_top_right_picture、chroma_sample_loc_type_bottom_left_picture、及び、chroma_sample_loc_type_bottom_right_pictureから各部分画像における色差サンプル位置を特定し、動画像復号装置31は部分画像を復号し、画素再配置部314はこれらの部分画像を統合することによって生成した出力動画像信号を外部に出力する。

図１５は、上述した画素配置情報chroma_sample_loc_type_xx（ここでxxはtop_left、top_right、bottom_left、bottom_rightを示す）をより具体的に説明するための図である。

図１５に示す例では、chroma_sample_loc_type_xxは、輝度サンプルを起点として、1/4画素精度（単位）で、右側に４単位、下側に４単位の、合計１６の配置情報を表現することができる。１単位は1/4画素である。例えば、chroma_sample_loc_type_xxの値が４であれば、当該部分画像における色差信号のサンプルが、輝度サンプルの1/4画素下に位置することを示している。

（画素配置情報の適用例その１）
図１１（ｂ）における２サンプルインターリーブによって分割された部分画像に、上述の（画面分割と分割フラグおよび画素配置情報のシンタックス例２）を適用した場合を説明する。図１１（ｂ）の分割後の左上の部分画像の色差サンプル位置は、図１５において「０」の位置として特定される。また、図１１（ｂ）の左下の部分画像の色差信号のサンプル位置は、図１５において「８」の位置として特定される。

（画素配置情報の適用例その２）
映像フォーマットには、例えば、ＩＴＵ−Ｒ ＢＴ．７０９及びＩＴＵ−Ｒ ＢＴ．２１００等が挙げられ、特にＩＴＵ−Ｒ ＢＴ．２１００は、広い色域を表現することができるという特徴がある。図１２は、ＩＴＵ−Ｒ ＢＴ．７０９規格における部分画像の輝度及び色差サンプル位置を示し、図１３は、ＩＴＵ−Ｒ ＢＴ．２１００規格における部分画像の輝度及び色差サンプル位置を示す。図１２及び図１３に示すように、２サンプルインターリーブによって分割される入力画像の色差フォーマットが４：２：０の場合、映像フォーマットの規格の種類に関わらず、分割前の画像における色差信号のサンプル位置と、分割後の画像における色差サンプル位置とは異なる。

上述の（画面分割と分割フラグおよび画素配置情報のシンタックス例２）をこれらの映像フォーマットに適用した場合、図１２の分割後の左上の部分画像において、色差信号のサンプル位置は、図１５において「４」の位置、分割後の左下の部分画像において、色差信号のサンプル位置は、図１５において「１２」の位置として特定される。また、図12の分割後の左上の部分画像において、色差サンプル位置は、図１５において、「０」の位置、分割後の左下の部分画像において、色差信号のサンプル位置は、図１５において「８」の位置として特定される。

以上のように、画素配置情報を符号化ストリームTeで通知することによって、各部分画像の色差サンプル位置を明示的に指定することができる。

本実施の形態では、画素配置情報をシーケンスパラメータセットを用いる方法を示したが、より上位の情報であるVPS(Video Parameter Set)や、補助情報であるSEI(Supplemental Enhancement Information)を用いる方法でもよい。

（動画像符号化部10および動画像復号部30における制約）
サンプルインターリーブによる分割フラグsps_sample_interleave_division_flagが１の場合、すなわち、符号化対象画像が、水平垂直４分割の４つの部分画像に分割されていることを示している場合、動画像符号化装置11および動画像復号装置31は、動画像符号化・復号処理において、以下の制約を課す。

（制約１ａ）
動画像符号化部10および動画像復号部30は、上下の部分画像境界を跨いでＣＴＵを設定しない。

（制約１ｂ）
動画像符号化部10および動画像復号部30は、上下の部分画像境界を跨いでスライスを設定しない。

（制約１ｃ）
動画像符号化部10および動画像復号部30は、上下の部分画像境界を跨いでタイルを設定しない。

（制約２ａ）
インター予測画像生成部309、イントラ予測画像生成部310、および、予測画像生成部101は、対象ピクチャと同じピクチャにおける、対象部分画像以外の部分画像の情報（予測パラメータ、画素値）を参照しない。

（制約２ｂ）
インター予測画像生成部309、及び、予測画像生成部101は、対象ピクチャとは異なるピクチャにおける、対象部分画像に対応する部分画像以外の部分画像の情報（予測パラメータ、画素値）を参照しない。

なお、（制約２ａ）及び（制約２ｂ）を実現するため、インター予測画像生成部309、イントラ予測画像生成部310、および、予測画像生成部101は、参照ブロックの一部が、対象部分画像とは異なる部分画像を含む場合、当該領域の画素を、対象部分画像の境界画素値から導出して参照ブロックを生成（パディング）した後、参照ブロックを参照する構成とすることができる。

（画素配置部114の処理例）
本実施形態の動画像符号化装置11において、画素配置部114は、１２Ｇ−ＳＤＩやＵ−ＳＤＩなどの方式で採用されているサンプルインターリーブ方式で分割されている入力動画像信号を、複数の部分画像として１つの画像に配置する。そして、動画像符号化部10は、上記画素配置部114によって配置された画像Tを符号化する。この時、サンプルインターリーブ方式で画素配置された画像であることを示す情報を画素配置情報に含ませて、動画像符号化部で符号化し、符号化ストリームTeとして、動画像復号装置31に伝送する。

このように、画素配置情報には、各部分画像がサンプルインターリーブ方式で画素配置された画像であることを示す情報が含まれ得る。

動画像符号化装置11が生成する各部分画像の一例として、上述した図１１に示す例が挙げられる。図１１（ａ）は、符号化対象画像を示し、図１１（ｂ）は、２サンプルインターリーブによって分割された部分画像を示す。

（色差信号のサンプル位置の特定）
色差信号のサンプル位置は、例えば、分割フラグをシーケンスパラメータセットSPSに格納することで、暗黙的に指定されてもよい。上述した図１４（ａ）は、色差サンプル位置を暗黙的に指定するシンタックス要素である。

また、色差信号のサンプル位置は、例えば、画素配置情報として、サンプルインターリーブによる分割フラグと共にシーケンスパラメータセットSPSで明示的に符号化してもよい。上述した図１４（ｂ）は、色差信号のサンプル位置を明示的に指定するシンタックス要素である。

〔第２の実施形態〕
本実施形態に係る動画像復号装置31及び動画像符号化装置11の概略的構成は、第１の実施形態の動画像装置31及び動画像符号化装置11の構成と同じである。第１の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（動画像符号化部10および動画像復号部30による処理例）
本実施形態において、分割フラグが、符号化対象画像が複数の部分画像に分割されたと判定されたことを示す場合に、動画像符号化装置11は、部分画像を、各部分画像毎、または色差サンプル位置が同じ部分画像群毎に符号化する。また、動画像復号装置31は、各部分画像毎、または部分画像群毎に復号する。ここで、部分画像群とは、１又は複数の部分画像のことを指す。より具体的な一例として、部分画像群とは、色差サンプル位置が同じである２つ以上の部分画像を指す。また、動画像符号化部10および動画像復号部30は、各部分画像をタイル又はサブピクチャとして扱い、各部分画像を符号化および復号する。

このように、各部分画像をタイル又はサブピクチャとして扱うことで、各部分画像を並列且つ独立に符号化および復号処理することが可能になり、短時間で処理することができる。

（タイルおよびサブピクチャ）
パラメータ符号化部111は、各部分画像をタイル、あるいは、サブピクチャに割り当てるためのシンタックスを符号化し、パラメータ復号部302は、ピクチャパラメータセットPPSに格納されている各部分画像をタイルに割り当てるための符号化パラメータを復号する。

図１６は、各部分画像がタイルに割り当てられた場合の画像を示す。それぞれのタイルには、タイルIdが割り振られ、ラスタスキャン順に左上のタイルから右下のタイルまでにTile1〜4のIdが割り振られる。Tile1、Tile2、Tile3、Tile4は、動画像符号化部10および動画像復号部30によって、それぞれ左上の画素から符号化および復号され、４つのTileは並列に符号化および復号される。また、各タイル内では、左上から右下に向かってラスタスキャン順に復号される。各タイル内では、色差信号のサンプル位置は全て同じである。

また、図１６においてTile1とTile２の組と、Tile3とTile4の組の色差サンプル位置は、それぞれ同じである。ここで、本実施形態に係る動画像符号化部10および動画像復号部30は、Tile1とTile2とを部分画像群として、お互いのタイルを参照して符号化および復号してもよい。また、動画像符号化部10および動画像復号部30は、Tile3とTile4も同様にこれらを部分画像群として、お互いのタイルを参照して復号してもよい。しかし、色差サンプル位置が異なるタイルを跨いでの符号化および復号処理は行われない。

具体的には、分割フラグ（sps_sample_interleave_division_flag、two_sample_interleave_division_flag）が１の場合、タイル、サブピクチャには以下の制約が課されている。

（制約２−１ａ）
動画像符号化部10および動画像復号部30は、タイルやサブピクチャの符号化の単位を、色差信号のサンプル位置が同じものに限定する。

（制約２−２ａ）
インター予測画像生成部309、イントラ予測画像生成部310、および、予測画像生成部101は、対象ピクチャと同じピクチャにおける、異なる色差信号のサンプル位置の部分画像の情報（予測パラメータ、画素値）を参照しない。

（制約２−２ｂ）
インター予測画像生成部309、及び、予測画像生成部101は、対象ピクチャとは異なるピクチャにおける、異なる色差信号のサンプル位置の部分画像の情報（予測パラメータ、画素値）を参照しない。

また、動画像符号化部10および動画像復号部30は、各部分画像をサブピクチャとして扱い、各部分画像毎、又は色差サンプル位置が同じである部分画像群毎に符号化および復号してもよい。サブピクチャとは、ピクチャを分割したものであり、より具体的には、ピクチャを互いに重複を許容せずに分割したものである。動画像符号化装置11のヘッダ符号化部1110は、サブピクチャシーケンスパラメータセットSSPSに各部分画像をサブピクチャに割り当てるためのシンタックスを符号化する。また、動画像復号装置31のパラメータ復号部302は、サブピクチャシーケンスパラメータセットSSPS（不図示）に格納されている各部分画像をサブピクチャに割り当てるための符号化パラメータを復号する。サブピクチャシーケンスパラメータセットSSPSは、シーケンスパラメータセットSPSの下位であり、ピクチャパラメータセットPPSの上位のパラメータセットである。

サブピクチャとして扱われる各部分画像内では、色差信号のサンプル位置は全て同じである。各サブピクチャ内では、左上から右下に向かってラスタスキャン順に符号化および復号される。また、異なるサブピクチャであっても、色差信号のサンプル位置が同じであるサブピクチャ同士を部分画像群として、部分画像群内のサブピクチャ同士を参照して符号化および復号されてもよい。しかし、色差信号のサンプル位置が異なるサブピクチャを跨いでの符号化および復号処理は行われない。

各部分画像をサブピクチャとして符号化および復号する場合、上述した（制約２−１ａ）〜（制約２−２ｂ）のうち少なくとも何れかの制約が課されてもよい。

〔第３の実施形態〕
本実施形態に係る動画像復号装置31及び動画像符号化装置11の概略的構成は、第１の実施形態の動画像復号装置31及び動画像符号化装置11の構成と同じである。第１の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

Ｕ−ＳＤＩによって、動画像を伝送する従来の場合、動画像は、画素毎に分割されて伝送される。図９は、Ｕ−ＳＤＩによって動画像が伝送される概要を示す図である。図９（ａ）は、伝送前の８Ｋ画像、図９（ｂ）は、伝送される画像を示し、図９（ｂ）のサブイメージは、図９（ａ）の画像を水平及び垂直方向共に１画素おきにサンプリングして得られる４Ｋ画像、図９（ｂ）のベーシックイメージは、サブイメージを更に１画素毎にサンプリングした２Ｋ画像である。図９（ａ）及び（ｂ）において、○（白抜きの○）は輝度信号のサンプル位置、□（白抜きの正方形）は色差信号のサンプル位置を示す。画素毎に振られている各数字は、１６画素分の配置情報を表現する。図９（ｂ）のベーシックイメージで示されるように、Ｕ−ＳＤＩによって動画像が伝送される場合、１６画素分に分割された画像の各々が一例として符号化されずに伝送される。具体的には、画素位置１の画素をまとめたベーシックイメージ、画素位置３の画素をまとめたベーシックイメージのように、画素位置毎に分割された画像が伝送される。以降、「画素位置１の画素をまとめたベーシックイメージ」のことを、単に「画素１画像」と称する。他の画素位置のベーシックイメージについても同様に称する。

図１７は、本実施の形態で、画素配置部114でが、入力動画像信号がＵ−ＳＤＩで８Ｋ画像、色差フォーマットが４：２：０の場合に、サンプルインターリーブされた画像信号をどのように部分画像として配置するかを示した図である。

図１８は、本実施の形態で、画素配置部114でが、入力動画像信号がＵ−ＳＤＩで８Ｋ画像、色差フォーマットが４：２：２の場合に、サンプルインターリーブされた画像信号をどのように部分画像として配置するかを示した図である。

本実施形態では、画素配置部114において、輝度サンプルについて、図９（ｂ）及び図１０（ｂ）で示すベーシックイメージ４つ分をまとめて１つの部分画像に統合する。より具体的には、当該画像処理装置において、図９（ｂ）及び図１０（ｂ）における画素１画像、画素３画像、画素９画像、画素１１画像の各輝度サンプルを、図１７又は図１８に示す部分画像１に統合する。同様に、画素２画像、画素４画像、画素１０画像、画素１２画像の各輝度サンプルを部分画像２に、画素５画像、画素７画像、画素１３画像、画素１５画像の各輝度のサンプルを部分画像３に、画素６画像、画素８画像、画素１４画像、画素１６画像の各輝度サンプルを部分画像４に統合する。

一方で、色差サンプルについては、上記画像処理装置において、画素１画像、画素３画像、画素９画像、及び画素１１画像に含まれる色差サンプルを、図１７及び図１８に示すように、部分画像１、部分画像２、部分画像３、及び部分画像４に分散して、各部分画像に同数の色差信号が含まれるように配置する。

このようにして生成された各部分画像を、本実施形態に係る動画像符号化部10によって符号化し、符号化された符号化データを動画像復号部30によって復号する。

このように、１つの部分画像の中で、共通の色差信号のサンプル位置を持つ部分画像を処理することで、低遅延の映像処理を行うことができる。４つの部分画像は、各々色差サンプル位置は異なるものの、色差の画素数は同じであり、１つの部分画像の中では同じ色差サンプル位置を持つ。従って、同じ処理能力を持つ複数の動画像符号化装置、動画像復号装置で処理することが可能である。

図１７において、部分画像同士の色差信号の位置を比較すると、部分画像１から部分画像４の色差信号のサンプル位置は、それぞれ異なる。また、図１７において、部分画像１及び部分画像３の色差信号のサンプル位置は同じであり、部分画像２及び部分画像４の色差信号のサンプル位置は同じである。

本実施形態では、動画像符号化部10および動画像復号部30は、ある部分画像を符号化および復号する際に、色差サンプル位置が同じである他の部分画像を参照しつつ当該ある部分画像を符号化および復号する。また、動画像符号化部10および動画像復号部30は、ある部分画像を符号化および復号する際に、色差サンプル位置が異なる他の部分画像を参照せずに当該ある部分画像を符号化および復号する。

（画面分割と分割フラグおよび画素配置情報のシンタックス例１）
本実施の形態では、Ｕ−ＳＤＩが、１画素毎のサンプルインターリーブであることから、画素配置部114は、図１４のシンタクスの、サンプルインターリーブの分割フラグsps_sample_interleave_division_flagを１にセットし、two_sample_interleave_division_flagを０にセットして画素配置情報として、動画像符号化部10に送る。

動画像符号化部10は、画素配置部114からの画素配置情報とともにエントロピー符号化部104で符号化する。ヘッダ復号部3020は符号化データから、画素配置情報を復号する。

（画面分割と分割フラグおよび画素配置情報のシンタックス例２）
また、本実施の形態で、図１４（ｂ）のシンタクスを用いて、明示的に色差信号のサンプル位置を送る場合には、サンプルインターリーブの分割フラグsps_sample_interleave_division_flagを１にセットし、two_sample_interleave_division_flagを０にセットし、chroma_loc_info_present_flagを１にセットして、明示的に色差信号のサンプル位置を送ることができる。

（動画像符号化部10および動画像復号部30における制約）
分割フラグsps_sample_interleave_division_flagが１の場合、すなわち、符号化対象画像が、４つの部分画像に分割されており、本実施の形態の色差フォーマットが４：２：０の場合、各部分画像の色差信号のサンプル位置が異なる場合、動画像符号化部10および動画像復号部30は、動画像符号化および復号処理において、以下の制約を課す。

（制約３−１ａ）
動画像符号化部10および動画像復号部30は、部分画像境界を跨いでＣＴＵを設定しない。

（制約３−１ｂ）
動画像符号化部10および動画像復号部30は、部分画像境界を跨いでスライスを設定しない。

（制約３−１ｃ）
動画像符号化部10および動画像復号部30は、部分画像境界を跨いでタイルを設定しない。

（制約３−２ａ）
インター予測画像生成部309、イントラ予測画像生成部310、および、予測画像生成部101は、対象ピクチャと同じピクチャにおける、対象部分画像以外の部分画像の情報（予測パラメータ、画素値）を参照しない。

（制約３−２ｂ）
インター予測画像生成部309、及び、予測画像生成部101は、対象ピクチャとは異なるピクチャにおける、対象部分画像に対応する部分画像以外の部分画像の情報（予測パラメータ、画素値）を参照しない。

なお、（制約３−２ａ）及び（制約３−２ｂ）を実現するため、インター予測画像生成部309、イントラ予測画像生成部310、および、予測画像生成部101は、参照ブロックの一部が、対象部分画像とは異なる部分画像を含む場合、当該領域の画素を、対象部分画像の境界画素値から導出して参照ブロックを生成（パディング）した後、参照ブロックを参照する構成とすることができる。

（タイルおよびサブピクチャ）
サンプルインターリーブによる分割フラグsps_sample_interleave_division_flagが１、すなわち、符号化対象画像が、水平垂直の４分割で４つの部分画像に分割されていることを示しており、かつ、部分画像の色差信号のサンプル位置が各々異なる場合、動画像符号化装置11は、部分画像を、さらにタイルあるいはサブピクチャに分割して、タイルあるいはサブピクチャごとに符号化してもよい。また、動画像復号装置31は、符号化ストリームTeに含まれる部分画像を、さらにタイルあるいはサブピクチャに分割して、タイルあるいはサブピクチャごとに復号してもよい。

このように、各部分画像をタイル又はサブピクチャとして扱うことで、各部分画像を並列且つ独立に符号化および復号処理することが可能になり、低遅延での映像処理ができる。

タイルおよびサブピクチャとしての符号化および復号処理は、〔第２の実施形態〕の（タイルおよびサブピクチャ）に記載の処理と同様である。

なお、色差フォーマットが４：２：２の場合は、部分画像１と部分画像３の組と、部分画像２と部分画像４の組は、色差信号のサンプル位置が同じであることから、同じ色差信号のサンプル位置の部分画像の組み合わせで、タイルやサブピクチャを設定することができる。また、異なる色差信号のサンプル位置の部分画像では、（制約３−１ａ）、（制約３−１ｃ）、（制約３−１ｃ）、（制約３−２ａ）、及び、（制約３−２ｂ）を設定してもよい。

〔第４の実施形態〕
本実施形態に係る動画像復号装置31及び動画像符号化装置11は、第１の実施形態の動画像装置31及び動画像符号化装置11の構成と同じである。第１の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（動画像符号化部10および動画像復号部30による処理例）
複数の部分画像毎に符号化された動画像は、各部分画像の境界において輝度信号および色差信号等の画素値が不連続に変化するブロック歪が発生することがある。しかし、複数の部分画像が、サンプルインターリーブによって分割されている場合は、輝度信号および色差信号等の画素値は、復号画像において交互配置されるため、各符号化対象画像のブロックはディスプレイに表示する画像のブロックとは異なり、各部分画像の境界においてブロック歪は現れない。

従って、本実施形態において、動画像符号化部10および動画像復号部30は、複数の部分画像がサンプルインターリーブによって分割された場合に、デブロッキングフィルタを強制的に適用させない。動画像符号化装置11においてはループフィルタ107、動画像復号装置31においてはループフィルタ305がデブロッキングフィルタを作用させない。

具体的な処理を、図１９を用いて説明する。図１９は、本例の処理を行う動画像復号装置31が参照するシーケンスパラメータセットに含まれるシンタックスの一例を示している。

図１９に示すように、シーケンスパラメータセットには、分割フラグsps_sample_interleave_division_flagが含まれている。また、pps_deblocking_filter_disabled_flag及びslice_deblocking_filter_disabled_flagは、デブロッキングフィルタを適用するか否かを指定するパラメータである。

ヘッダ復号部3020は、分割フラグsps_sample_interleave_division_flagの値が真である場合（すなわち値が１である場合）に、ピクチャパラメータセットレベルでデブロッキングフィルタを作用させるか否かを示すパラメータpps_deblocking_filter_disabled_flagをpps_deblocking_filter_disabled_flag=1に設定する。これにより、当該パラメータを参照するループフィルタ305は、ピクチャパラメータセットレベルで、デブロッキングフィルタを作用させない。

また、ヘッダ復号部3020は、分割フラグsps_sample_interleave_division_flagの値が真である場合（すなわち値が１である場合）に、スライスレベルでデブロッキングフィルタを作用させるか否かを示すパラメータslice_deblocking_filter_disabled_flagをslice_deblocking_filter_disabled_flag=1に設定する。これにより、当該パラメータを参照するループフィルタ305は、スライスレベルでデブロッキングフィルタを作用させない。

また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

〔応用例〕
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。

まず、上述した動画像符号化装置11及び動画像復号装置31を、動画像の送信及び受信に利用できることを、図２０を参照して説明する。

図２０(a)は、動画像符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図である。図２０(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。

送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２０(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図２０(b)は、動画像復号装置31を搭載した受信装置PROD_Bの構成を示したブロック図である。図２０(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。

受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図２０(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。

また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。

次に、上述した動画像符号化装置11及び動画像復号装置31を、動画像の記録及び再生に利用できることを、図２１を参照して説明する。

図２１(a)は、上述した動画像符号化装置11を搭載した記録装置PROD_Cの構成を示したブロック図である。図２１(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_C1として利用される。

なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図２１(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_Cの一例である。

図２１(b)は、上述した動画像復号装置31を搭載した再生装置PROD_Dの構成を示したブロックである。図２１(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置31は、この復号部PROD_D2として利用される。

なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図43(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。

（ハードウェア的実現およびソフトウェア的実現）
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

１１ 動画像符号化装置
３１ 動画像復号装置

Claims (11)

1. 対象画像を符号化して得られた符号化データを復号する動画像復号装置であって、
   上記符号化データから、上記対象画像を構成する複数の部分画像の各々を復号する動画像復号部と、
   上記複数の部分画像が、上記対象画像を分割することにより得られたものであるか否かを示す分割フラグを復号する分割フラグ復号部と、
   を備え、
   上記動画像復号部は、上記複数の部分画像の少なくとも何れかを表す符号化データを復号する処理において、上記分割フラグの値を参照する
   ことを特徴とする動画像復号装置。
2. 画素再配置部をさらに備え、
   上記分割フラグが、上記複数の部分画像が上記対象画像を２サンプルインターリーブによって分割することにより得られたものであることを示している場合に、
   上記画素再配置部は、上記符号化データに含まれる上記対象画像に関する情報を参照して、上記複数の部分画像の少なくとも何れかにおける色差信号のサンプル位置を再配置することを特徴とする請求項１に記載の動画像復号装置。
3. 上記対象画像に関する情報には、
   上記対象画像が準拠する映像規格を示す情報、及び
   上記対象画像における色差信号のサンプル位置
   の少なくとも何れかが含まれていることを特徴とする請求項２に記載の動画像復号装置。
4. 画素再配置部をさらに備え、
   上記分割フラグが、上記複数の部分画像が上記対象画像を２サンプルインターリーブによって分割することにより得られたものであることを示している場合に、
   上記画素再配置部は、上記符号化データに含まれる、各部分画像における色差信号のサンプル位置を示す情報を参照して、各部分画像における色差信号のサンプル位置を特定する
   ことを特徴とする請求項１に記載の動画像復号装置。
5. 対象画像を符号化して得られた符号化データを復号する動画像復号装置であって、
   上記符号化データから、上記対象画像を構成する複数の部分画像の各々を復号する動画像復号部を備え、
   上記動画像復号部は、各部分画像における色差サンプル位置を示す画素配置情報を参照して、各部分画像を復号する
   ことを特徴とする動画像復号装置。
6. 上記対象画像を水平及び垂直に複数枚に分割することによって得られた各部分画像には、色差サンプル位置が同じ部分画像のあるセットが複数含まれており、
   上記画素配置情報は、
   上記あるセットに含まれる部分画像における色差サンプル位置を示す情報と、
   上記あるセットとは異なる他のセットに含まれる部分画像における色差サンプル位置を示す情報と、
   を含んでいる
   ことを特徴とする請求項５に記載の動画像復号装置。
7. 上記画素配置情報は、
   上記複数の部分画像の各々について、当該部分画像における色差サンプル位置を示す情報を含んでいる
   ことを特徴とする請求項５に記載の動画像復号装置。
8. 上記動画像復号部は、上記部分画像を単位領域毎に復号するものであり、当該単位領域は、上記部分画像の境界を跨いでは設定されない
   ことを特徴とする請求項１〜７の何れか１項に記載の動画像復号装置。
9. 上記動画像復号部は、対象部分画像の復号処理において、
   同一フレームにおける、当該対象部分画像以外の部分画像、及び、
   他のフレームにおける、当該対象部分画像に対応する部分画像以外の部分画像
   を参照しない
   ことを特徴とする請求項１〜８の何れか１項に記載の動画像復号装置。
10. 上記動画像復号部は、
    サンプルインターリーブによる分割が用いられなかった場合に適用されるデブロッキングフィルタを復号済の複数の部分画像に適用させないようにする
    ことを特徴とする請求項１〜９の何れか１項に記載の動画像復号装置。
11. 対象画像を符号化することによって符号化データを生成する動画像符号化装置において、
    サンプルインターリーブ方式で分割されている入力動画像信号を、複数の部分画像として１つの画像に配置する画素配置部と、
    前記各部分画像と、前記サンプルインターリーブ方式で画素配置された画像であることを示す情報とを符号化する動画像符号化部と
    を備えていることを特徴とする動画像符号化装置。

Images