JP2021164005A - 画像復号装置、画像復号方法及びプログラム - Google Patents

Abstract

【課題】複数のビットストリームを結合するときに矩形とならない場合であっても、コンテンツの存在しないフィラーとなるサブピクチャ機能によってピクチャの復号することができない機能によって復号を行うこと。【解決手段】画像復号装置２００は、符号化データを復号してサブピクチャのレイアウト情報を導出するように構成されているサブピクチャレイアウト導出部２１１と、符号化データを復号してサブピクチャを構成する各スライスが充填スライスであるかを識別するように構成されている充填スライス識別部２１２と、レイアウト情報及び充填スライス識別部２１１による識別結果に基づいて符号化データを復号してスライスデータを再構築するように構成されているスライス復号部２１３とを備える。【選択図】図６

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

特許文献１に記載の次世代動画像符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）におけるサブピクチャは、ピクチャ内の１又は複数のスライスから構成される矩形領域であり、例えば、図１０に示すように、ピクチャは、複数の矩形領域であるサブピクチャによって重複無く完全に覆われる。

さらに、非特許文献1には、サブピクチャごとにビットストリームを取り出す手順が開示されている。かかる手順を利用すると、異なるビットストリームから所望の領域に対応するサブピクチャのビットストリームを抽出し、さらに、複数のサブピクチャをピクチャとなるように結合することで、新しいビットストリームを生成することができる。

例えば、キューブマップ方式の３６０°映像において、視野領域を含むサブピクチャと、それ以外のサブピクチャとで、異なる解像度のビットストリームを、再エンコードすること無く生成可能となる。

ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ８）

しかしながら、次世代動画像符号化方式であるＶＶＣでは、ピクチャ及びサブピクチャの形状が矩形であるという制約から、ビットストリームの分離及び結合を行いたい場合に、どのようにサブピクチャを配置しても重複無く完全に覆うピクチャとならない場合があるという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、複数のビットストリームを結合するときに矩形とならない場合であっても、コンテンツの存在しないフィラーとなるサブピクチャ機能によってピクチャの復号を行うことができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、符号化データを復号するように構成されている画像復号装置であって、記符号化データを復号して、サブピクチャのレイアウト情報を導出するように構成されているサブピクチャレイアウト導出部と、前記符号化データを復号して、前記サブピクチャを構成する各スライスが充填スライスであるかを識別するように構成されている充填スライス識別部と、前記レイアウト情報及び前記充填スライス識別部による識別結果に基づいて、前記符号化データを復号してスライスデータを再構築するように構成されているスライス復号部とを備えることを要旨とする。

本発明の第２の特徴は、画像復号方法であって、符号化データを復号して、サブピクチャのレイアウト情報を導出する工程と、前記符号化データを復号して、前記サブピクチャを構成する各スライスが充填スライスであるかを識別する工程と、前記レイアウト情報及び前記識別結果に基づいて、前記符号化データを復号してスライスデータを再構築する工程とを有することを要旨とする。

本発明の第３の特徴は、コンピュータを、符号化データを復号するように構成されている画像復号装置として機能させるプログラムであって、前記画像復号装置は、前記符号化データを復号して、サブピクチャのレイアウト情報を導出するように構成されているサブピクチャレイアウト導出部と、前記符号化データを復号して、前記サブピクチャを構成する各スライスが充填スライスであるかを識別するように構成されている充填スライス識別部と、前記レイアウト情報及び前記充填スライス識別部による識別結果に基づいて、前記符号化データを復号してスライスデータを再構築するように構成されているスライス復号部とを備えることを要旨とする。

本発明によれば、複数のビットストリームを結合するときに矩形とならない場合であっても、コンテンツの存在しないフィラーとなるサブピクチャ機能によってピクチャの復号を行うことができる画像復号装置、画像復号方法及びプログラムを提供することができる。

一実施形態に係る画像処理システム１の構成の一例を示す図である。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００のエントロピー符号化部１０４の機能ブロックの一例を示す図である。 一実施形態に係る画像処理システム１で用いられるシンタックスの一例を示す図である。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００のエントロピー復号部２０１の機能ブロックの一例を示す図である。 一実施形態に係る画像処理システム１で用いられるシンタックスの一例を示す図である。 一実施形態に係る符号化データ変換システム２の構成の一例を示す図である。 一実施形態において、６面から構成されるキューブマップ方式の３６０°映像を対象に符号化データを抽出・結合する場合の一例を説明するための図である。 従来技術を説明するための図である。

以下、本発明の実施の形態について図面を参照しながら、説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理システム１の機能ブロックの一例を示す図である。画像処理システム１は、動画像を符号化して符号化データを生成する画像符号化装置１００と、画像符号化装置１００により生成された符号化データを復号する画像復号装置２００とを備える。画像符号化装置１００と画像復号装置２００との間では、上述の符号化データが、例えば、伝送路を介して送受信される。

＜画像符号化装置１００＞
図２は、画像符号化装置１００の機能ブロックの一例を示す図である。図２に示すように、画像符号化装置１００は、インター予測部１０１と、イントラ予測部１０２と、変換・量子化部１０３と、エントロピー符号化部１０４と、逆変換・逆量子化部１０５と、減算部１０６と、加算部１０７と、インループフィルタ部１０８と、フレームバッファ１０９と、ブロック分割部１１０と、ブロック統合部１１１とを備える。

ブロック分割部１１０は、入力画像の画面全体を同一正方形に分割し、更に四分木等により再帰的に分割した画像（分割画像）を出力するように構成されている。

インター予測部１０１は、ブロック分割部１１０によって入力された分割画像及びフレームバッファ１０９から入力されるフィルタ後局所復号画像を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。

イントラ予測部１０２は、ブロック分割部１１０によって入力された分割画像及び後述のフィルタ前局所復号画像を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。

変換・量子化部１０３は、減算部１０６から入力される残差信号に対して直交変換処理を行い、かかる直交変換処理により得られる変換係数に対して量子化処理を行い、かかる量子化処理により得られる量子化されたレベル値を出力するように構成されている。

エントロピー符号化部１０４は、変換・量子化部１０３から入力される量子化されたレベル値、変換ユニットサイズ及び変換サイズをエントロピー符号化して符号化データとして出力するように構成されている。

逆変換・逆量子化部１０５は、変換・量子化部１０３から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた変換係数に対して逆直交変換処理を行い、かかる逆直交変換処理により得られる逆直交変換された残差信号を出力するように構成されている。

減算部１０６は、ブロック分割部１１０によって入力された分割画像とイントラ予測画像或いはインター予測画像との差分である残差信号を出力するように構成されている。

加算部１０７は、逆変換・逆量子化部１０５から入力される逆直交変換された残差信号とイントラ予測画像或いはインター予測画像とを加算して得られる分割画像を出力するように構成されている。

ブロック統合部１１１は、加算部１０７から入力される分割画像を統合することで得られたフィルタ前局所復号画像を出力するように構成されている。

インループフィルタ部１０８は、ブロック統合部１１１から入力されるフィルタ前局所復号画像に対して、デブロッキングフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。ここで、フィルタ前局所復号画像は、逆直交変換された残差信号とイントラ予測画像或いはインター予測画像とを加算して得られる信号である。

フレームバッファ１０９は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部１０１に供給する。

以下、図３を参照して、本実施形態に係る画像符号化装置１００のエントロピー符号化部１０４について説明する。図３は、本実施形態に係る画像符号化装置１００のエントロピー符号化部１０４の一部の機能ブロックの一例を示す図である。

エントロピー符号化部１０４は、充填スライスから構成されるサブピクチャを導出するように構成されている。具体的には、図３に示すように、エントロピー符号化部１０４は、サブピクチャレイアウト決定部１２１と、充填スライス判定部１２２と、スライス符号化部１２３とを備える。

サブピクチャレイアウト決定部１２１は、シーケンスレベルでシグナリングするサブピクチャのレイアウトを決定し、決定したレイアウトに係るレイアウト情報を出力するように構成されている。

充填スライス判定部１２２は、各サブピクチャを構成する各スライスが充填スライスであるかについて判定し、かかる判定結果を出力するように構成されている。

スライス符号化部１２３は、スライス単位でビットストリームを符号化して、スライスデータとして出力するように構成されている。

ここで、スライス符号化部１２３は、サブピクチャレイアウト決定部１２１によって決定されるレイアウト情報及び充填スライス判定部１２２による判定結果に基づいて、該当スライスが充填スライスでない場合には、該当スライスに対応するビットストリームを、非特許文献1に記載されたスライス復号処理に準拠して符号化してスライスデータとして出力するように構成されている。

一方、スライス符号化部１２３は、サブピクチャレイアウト決定部１２１によって決定されるレイアウト情報及び充填スライス判定部１２２による判定結果に基づいて、該当スライスが充填スライスである場合には、該当スライスにおいて充填スライス用のスライスデータとして符号化して出力するように構成されている。

充填スライス用のスライスデータとして、イントラスライスが最大ＣＵサイズから分割せず、イントラ予測モードがＩＮＴＲＡ＿ＰＬＡＮＡＲであり、残差信号がないことを示すビットストリームとしてもよい。また、充填スライス用のスライスデータとして、インタースライスが最大ＣＵサイズから分割せず、動きベクトルがマージモードのマージインデックス０であり、残差信号がないことを示すビットストリームとしてもよい。

図４に、サブピクチャレイアウト決定部１２１によって決定されるレイアウト情報及び充填スライス判定部１２２による判定結果を含むシンタックスの一例を示す。なお、かかるシンタックスは、エントロピー符号化部１０４（スライス符号化部１２３）によって符号化される。

図４において、ｓｕｂｐｉｃｓ_ｐｒｅｓｅｎｔ_ｆｌａｇは、ピクチャが１個以上のサブピクチャから構成されていることを示すフラグである。

図７において、ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃ_ｐｒｅｓｅｎｔ_ｆｌａｇは、シーケンス中に充填スライスから構成されるサブピクチャの有無を示すフラグである。例えば、ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃｓ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が「１」である場合（有効である場合）には、シーケンス中に充填スライスから構成されるサブピクチャが存在することを示し、ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃｓ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が「０」である場合（無効である場合）には、シーケンス中に充填スライスから構成されるサブピクチャが存在しないことを示す。

図４において、ｓｕｂｐｉｃ_ｃｔｕ_ｔｏｐ_ｌｅｆｔ_ｘ［ｉ］は、サブピクチャを構成する左上の水平方向のＣＴＵ単位における座標値であり、ｓｕｂｐｉｃ_ｃｔｕ_ｔｏｐ_ｌｅｆｔ_ｙ［ｉ］は、サブピクチャを構成する左上の垂直方向のＣＴＵ単位における座標値である。

図４において、ｓｕｂｐｉｃ_ｗｉｄｔｈ_ｍｉｎｕｓ_１［ｉ］は、サブピクチャを構成する水平方向のＣＴＵの個数であり、ｓｕｂｐｉｃ_ｈｅｉｇｈｔ_ｍｉｎｕｓ_１［ｉ］は、サブピクチャを構成する垂直方向のＣＴＵの個数である。

図４において、ｓｕｂｐｉｃ_ｔｒｅａｔｅｄ_ａｓ_ｐｉｃ_ｆｌａｇ［ｉ］は、ループフィルタ処理を除いて、サブピクチャをピクチャとして復号処理を適用するかどうかを示すフラグであり、ｌｏｏｐ_ｆｉｌｔｅｒ_ａｃｒｏｓｓ_ｓｕｂｐｉｃ_ｅｎａｂｌｅｄ_ｆｌａｇ［ｉ］は、ループフィルタ処理をサブピクチャ境界に適用するかもしれないことを示すフラグである。

図４において、ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃ_ｆｌａｇ［ｉ］は、各サブピクチャを構成する各スライスが充填スライスであるかについて示すフラグである。例えば、ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃ_ｆｌａｇ［ｉ］の値が「１」である場合は、該当スライスが充填スライスであることを示し、ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃ_ｆｌａｇ［ｉ］の値が「１」である場合は、該当スライスが充填スライスでないことを示す。

ここで、ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃ_ｆｌａｇ［ｉ］が、充填スライス判定部１２２による判定結果に対応する。

なお、図４におけるｓｕｂｐｉｃ_ｃｔｕ_ｔｏｐ_ｌｅｆｔ_ｘ［ｉ］、ｓｕｂｐｉｃ_ｃｔｕ_ｔｏｐ_ｌｅｆｔ_ｙ［ｉ］、ｓｕｂｐｉｃ_ｗｉｄｔｈ_ｍｉｎｕｓ_１［ｉ］及びｓｕｂｐｉｃ_ｈｅｉｇｈｔ_ｍｉｎｕｓ_１［ｉ］が、上述のレイアウト情報に対応する。

＜画像復号装置２００＞
図５は、本実施形態に係る画像復号装置２００のブロック図である。図５に示すように、本実施形態に係る画像復号装置２００は、エントロピー復号部２０１と、逆変換・逆量子化部２０２と、インター予測部２０３と、イントラ予測部２０４と、加算部２０５と、インループフィルタ部２０６と、フレームバッファ２０７と、ブロック統合部２０８とを備える。

エントロピー復号部２０１は、符号化データをエントロピー復号し、量子化されたレベル値や、画像符号化装置１００で生成された動き補償方式等を出力するように構成されている。

逆変換・逆量子化部２０２は、エントロピー復号部２０１から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた結果に対して逆直交変換処理を行って残差信号として出力するように構成されている。

インター予測部２０３は、フレームバッファ２０７から入力されるフィルタ後局所復号画像を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。

イントラ予測部２０４は、加算部２０５から入力されるフィルタ前局所復号画像を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。

加算部２０５は、逆変換・逆量子化部２０２から入力される残差信号と予測画像（インター予測部２０３から入力されるインター予測画像或いはイントラ予測部２０４から入力されるイントラ予測画像）とを加算して得られる分割画像を出力するように構成されている。

ここで、予測画像とは、インター予測部２０３から入力されるインター予測画像及びイントラ予測部２０４から入力されるイントラ予測画像のうち、エントロピー復号により得られた予測方法により算出された予測画像のことである。

ブロック統合部２０８は、加算部２０５から入力される分割画像を統合することで得られたフィルタ前局所復号画像を出力するように構成されている。

インループフィルタ部２０６は、ブロック統合部２０８から入力されるフィルタ前局所復号画像に対してデユニットフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。

フレームバッファ２０７は、インループフィルタ２０６から入力されるフィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部２０３に供給するとともに、復号済み画像として出力するように構成されている。

以下、図６を参照して、本実施形態に係る画像復号装置２００のエントロピー復号部２０１について説明する。

エントロピー復号部２０１は、充填スライスから構成されるサブピクチャを導出するように構成されている。図６に示すように、エントロピー復号部２０１は、サブピクチャレイアウト導出部２１１と、充填スライス識別部２１２と、スライス復号部２１３とを備える。

サブピクチャレイアウト導出部２１１は、シーケンスレベルでシグナリングされたシンタックスを復号して、かかるシンタックスに基づいて、サブピクチャのレイアウト情報を導出するように構成されている。

充填スライス識別部２１２は、サブピクチャレイアウト導出部２１１と同様に、シーケンスレベルでシグナリングされたシンタックスを復号して、かかるシンタックスに基づいて、各サブピクチャを構成する各スライスが充填スライスであるかを識別するように構成されている。

かかるシンタックスは、符号化データに含まれており、図４に示すシンタックスと同一である。

スライス復号部２１３は、サブピクチャレイアウト導出部２１１によって導出されたレイアウト情報及び充填スライス識別部２１２による識別結果に基づいて、符号化データを復号してスライスデータを再構築するように構成されている。

具体的には、スライス復号部２１３は、サブピクチャレイアウト導出部２１１によって導出されたレイアウト情報及び充填スライス識別部２１２による識別結果に基づいて、該当スライスが充填スライスでないと判断した場合には、非特許文献1に記載されたスライス復号処理に準拠して復号してスライスデータを再構築するように構成されている。

一方、スライス復号部２１３は、サブピクチャレイアウト導出部２１１によって導出されたレイアウト情報及び充填スライス識別部２１２による識別結果に基づいて、該当スライスが充填スライスであると判断した場合には、該当スライスにおいて充填スライス用のスライスデータとして復号して出力するように構成されている。

本実施形態によれば、複数のビットストリームを結合するときに矩形とならない場合においても、充填スライスから構成されるサブピクチャを導入することで、矩形のピクチャとして画像復号装置２００で復号可能となる。

また、本実施形態によれば、サブピクチャ単位で復号できる画像復号装置２００で復号すべき処理量を削減できる。

さらに、本実施形態によれば、ビットストリームの抽出及び結合において、多重化レイヤにおいて充填スライスの除去及び追加が可能となる。

（第２実施形態）
以下、本発明の第２実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。

本発明の第２実施形態に係るスライス復号部２１３は、サブピクチャレイアウト導出部２１１によって導出されたレイアウト情報及び充填スライス識別部２１２による識別結果に基づいて、該当スライスが充填スライスであると判断した場合には、当該スライスを以下の符号化データであるとみなして、非特許文献1に記載されたスライス復号処理に準拠して復号してスライスデータを再構築するように構成されている。

具体的には、スライス種別はイントラであり、ＣＵサイズは最大サイズである、イントラ予測モードはＩＮＴＲＡ＿ＰＬＡＮＡＲであり、残差信号は無しである、とする。

（第３実施形態）
以下、図７を参照して、本発明の第３実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。

本発明の第３実施形態に係る画像符号化装置１００において、サブピクチャレイアウト決定部１２１は、シーケンスにおいて充填スライス機能を利用するかどうかを決定し、かかる決定結果を出力するように構成されている。

充填スライス機能が利用されないと決定された場合には、充填スライス判定部１２２は、上述の判定を行わないように構成されている。

図７に、サブピクチャレイアウト決定部１２１による決定結果を含むシンタックスの一例を示す。

図７において、ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃ_ｐｒｅｓｅｎｔ_」ｆｌａｇは、シーケンスにおいて充填スライス機能を利用するかどうかを示すフラグである。ｆｉｌｌｅｒ_ｓｌｉｃｅ_ｓｕｂｐｉｃ_ｐｒｅｓｅｎｔ_」ｆｌａｇは、サブピクチャレイアウト決定部１２１による決定結果に対応する。

本発明の第３実施形態に係る画像復号装置２００において、サブピクチャレイアウト導出部２１１は、上述のシンタックスに基づいて、シーケンスにおいて充填スライス機能を利用するかどうかを導出するように構成されている。

充填スライス機能が利用されないと決定された場合には、充填スライス識別部２１２は、上述の識別を行わないように構成されている。

本実施形態によれば、充填スライスの有無をシグナリングするための符号化性能が改善する。

（第４実施形態）
以下、本発明の第４実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。

本実施形態に係る画像符号化装置１００において、スライス符号化部１２３は、サブピクチャレイアウト決定部１２１によって決定されるレイアウト情報及び充填スライス判定部１２２による判定結果に基づいて、該当スライスが充填スライスである場合には、特定の値で充填されたスライスデータとして符号化して出力するように構成されている。

本実施形態に係る画像復号装置２００において、スライス復号部２１３は、サブピクチャレイアウト導出部２１１によって導出されたレイアウト情報及び充填スライス識別部２１２による識別結果に基づいて、該当スライスが充填スライスであると判断した場合には、特定の値で充填されたスライスデータとして復号して出力するように構成されている。

本実施形態によれば、充填スライスの特性を反映した軽量な復号手順を提供可能となる。

（第５実施形態）
以下、図８を参照して、本発明の第５実施形態に係る符号化データ変換システム２について説明する。

符号化データ変換システム２は、複数の動画像の符号化データを入力してシステム外から指定されたサブピクチャに対応する符号化データを出力する符号化データ抽出装置２１と、出力された符号化データを入力してサブピクチャを組み合わせてピクチャとして符号化データを出力する符号化データ結合装置２２とを備える。

符号化データ結合装置２２は、ピクチャが矩形であり且つサブピクチャで完全に覆われており、且つ、サブピクチャ同士の重複がないという要件を実現した符号化データを出力するように構成されている。

ここで、符号化データ結合装置２２は、入力されたサブピクチャを組み合わせても上述の要件を満たせない場合、任意個数の充填スライスから構成されるサブピクチャを追加して、上述の要件を満たす符号化データを出力するように構成されている。

具体的には、図９に示すように、６面から構成されるキューブマップ方式の３６０°映像を対象に、符号化データを抽出・結合する場合がある。図９における文字は、キューブマップ方式の各面の位置と向きを表しており、Ｌは左面、Ｒは右面、Ｆは正面、Ｂｏｔは下面、Ｂａｃは背面、Ｔｏｐは上面を、それぞれ意味する。また、Ｆｉｌは、本発明による充填スライスである。

かかる場合、図９の左列に示すように、高解像度、中解像度及び低解像度の３種類の符号化データを予め生成しておけば、符号化データ変換システム２は、視野領域及び伝送帯域に応じて、図９の右列に示すように、動的に符号化データを抽出及び結合することができる。

例えば、図９における面ごとの解像度として、１０２４×１０２４画素、７６８×７６８画素、５１２×５１２画素とする。

ここで、図９右列上部に示すように、符号化データ結合装置２２は、視野領域に対応する２面については高解像度のサブピクチャから構成され、それ以外の４面については低解像度のサブピクチャから構成されるピクチャを生成すると、全体としては、２０４８×１５３６画素のピクチャを生成することになる。

また、ここで、図９右列下部に示すように、符号化データ結合装置２２は、視野領域に対応する２面についての中解像度のサブピクチャ、それ以外の４面についての低解像度のサブピクチャ、２５６×５１２画素の２個の充填スライス、５１２×２５６画素の充填スライスから構成されるピクチャを生成すると、全体としては、２０４８×１２８０画素のピクチャを生成することになる。

このように、充填スライスを導入することで、符号化データの抽出及び結合におけるサブピクチャ解像度の選択自由度を向上することができる。

上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上述の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。

１…画像処理システム
１００…画像符号化装置
１０１、２０３…インター予測部
１０２、２０４…イントラ予測部
１０３…変換・量子化部
１０４…エントロピー符号化部
１０５、２０２…逆変換・逆量子化部
１０６…減算部
１０７、２０５…加算部
１０８、２０６…インループフィルタ部
１０９、２０７…フレームバッファ
１１０…ブロック分割部
１１１、２０８…ブロック統合部
１２１…サブピクチャレイアウト決定部
１２２…充填スライス判定部
１２３…スライス符号化部
２００…画像復号装置
２０１…エントロピー復号部
２１１…サブピクチャレイアウト導出部
２１２…充填スライス識別部
２１３…スライス復号部
２…符号化データ変換システム
２１…符号化データ抽出装置
２２…符号化データ結合装置

Claims (6)

1. 符号化データを復号するように構成されている画像復号装置であって、
   前記符号化データを復号して、サブピクチャのレイアウト情報を導出するように構成されているサブピクチャレイアウト導出部と、
   前記符号化データを復号して、前記サブピクチャを構成する各スライスが充填スライスであるかを識別するように構成されている充填スライス識別部と、
   前記レイアウト情報及び前記充填スライス識別部による識別結果に基づいて、前記符号化データを復号してスライスデータを再構築するように構成されているスライス復号部とを備えることを特徴とする画像復号装置。
2. 前記サブピクチャレイアウト導出部は、シーケンス中に前記充填スライスから構成されるサブピクチャの有無を示すフラグを復号し、
   前記充填スライス識別部は、前記フラグが有効である場合にのみ、前記識別を行うように構成されていることを特徴とする請求項１に記載の画像復号装置。
3. 前記スライス復号部は、前記スライスが充填スライスであると判断した場合には、特定の値で充填されたスライスデータとして復号して出力するように構成されていることを特徴とする請求項１又は２に記載の画像復号装置。
4. 前記スライス復号部は、前記スライスが前記充填スライスであると判断した場合には、特定の符号化データとして復号して前記スライスデータを出力するように構成されていることを特徴とする請求項１又は２に記載の画像復号装置。
5. 符号化データを復号して、サブピクチャのレイアウト情報を導出する工程と、
   前記符号化データを復号して、前記サブピクチャを構成する各スライスが充填スライスであるかを識別する工程と、
   前記レイアウト情報及び前記識別結果に基づいて、前記符号化データを復号してスライスデータを再構築する工程とを有することを特徴とする画像復号方法。
6. コンピュータを、符号化データを復号するように構成されている画像復号装置として機能させるプログラムであって、
   前記画像復号装置は、
   前記符号化データを復号して、サブピクチャのレイアウト情報を導出するように構成されているサブピクチャレイアウト導出部と、
   前記符号化データを復号して、前記サブピクチャを構成する各スライスが充填スライスであるかを識別するように構成されている充填スライス識別部と、
   前記レイアウト情報及び前記充填スライス識別部による識別結果に基づいて、前記符号化データを復号してスライスデータを再構築するように構成されているスライス復号部とを備えることを特徴とするプログラム。

Images