JP2013034161A - 画像復号装置、画像符号化装置、および符号化データのデータ構造 - Google Patents
画像復号装置、画像符号化装置、および符号化データのデータ構造 Download PDFInfo
- Publication number
- JP2013034161A JP2013034161A JP2011196546A JP2011196546A JP2013034161A JP 2013034161 A JP2013034161 A JP 2013034161A JP 2011196546 A JP2011196546 A JP 2011196546A JP 2011196546 A JP2011196546 A JP 2011196546A JP 2013034161 A JP2013034161 A JP 2013034161A
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- image
- decoding
- parameter set
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】パラメータセットに複数のパラメータが含まれている場合に、一部のパラメータのみを更新することを可能にする。
【解決手段】動画像復号装置1は、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成するものであり、パラメータセットに含まれるパラメータの少なくとも一部の更新方法を示すパラメータ更新情報を、更新後のパラメータを用いて復号する復号単位に先行して取得し、取得したパラメータ更新情報にしたがって、パラメータを更新するPS情報復号部14と、PS情報復号部14がパラメータ更新情報を取得し更新した後は、更新後のパラメータを用いて復号画像を生成するTT情報復号部12、逆量子化・逆変換部13、予測画像生成部15とを備えている。
【選択図】図1
【解決手段】動画像復号装置1は、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成するものであり、パラメータセットに含まれるパラメータの少なくとも一部の更新方法を示すパラメータ更新情報を、更新後のパラメータを用いて復号する復号単位に先行して取得し、取得したパラメータ更新情報にしたがって、パラメータを更新するPS情報復号部14と、PS情報復号部14がパラメータ更新情報を取得し更新した後は、更新後のパラメータを用いて復号画像を生成するTT情報復号部12、逆量子化・逆変換部13、予測画像生成部15とを備えている。
【選択図】図1
Description
本発明は、符号化データを復号する画像復号装置、符号化データを生成する画像符号化装置、および該画像符号化装置によって生成され、上記画像復号装置によって復号される符号化データのデータ構造に関するものである。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置(画像符号化装置)、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置(画像復号装置)が用いられている。具体的な動画像符号化方式としては、例えば、H.264/MPEG−4.AVC、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソ
フトウェアに採用されている方式、TMuC(Test Model under Consideration)ソフトウェアに採用されている方式、およびその後継コーデックであるWorking Draft 3 of High-Efficiency Video Coding(非特許文献1、以下、HEVC WD3とも呼ぶ)に採用
されている方式などが挙げられる。
フトウェアに採用されている方式、TMuC(Test Model under Consideration)ソフトウェアに採用されている方式、およびその後継コーデックであるWorking Draft 3 of High-Efficiency Video Coding(非特許文献1、以下、HEVC WD3とも呼ぶ)に採用
されている方式などが挙げられる。
このような符号化方式において、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位(ツリーブロック、マクロブロック、またはコーディングユニット(CU:Coding Unit)と
呼ばれることもある)、および、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化される。
呼ばれることもある)、および、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化される。
また、このような符号化方式においては、通常、入力画像を符号化/復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像(原画像)から減算して得られる予測残差(「差分画像」または「残差画像」と呼ぶこともある)が符号化される。より詳細には、予測残差をDCT(Discrete Cosine Transform)
変換し、得られた変換係数を量子化したものを符号化する。
また、予測画像の生成方法としては、画面間予測(インター予測)、および、画面内予測(イントラ予測)が挙げられる。
変換し、得られた変換係数を量子化したものを符号化する。
また、予測画像の生成方法としては、画面間予測(インター予測)、および、画面内予測(イントラ予測)が挙げられる。
また、非特許文献2には、復号画像に対し符号化単位毎にフィルタ処理を行う適応的ループフィルタ(ALF: Adaptive Loop Filter)(以下、単に「適応フィルタ」とも呼ぶ)
が開示されている。この適応フィルタは、復号画像上のスライス毎に、フィルタ済復号画像と原画像との誤差が最小となるフィルタ係数を定め、当該スライスに含まれる各符号化単位に対して、当該フィルタ係数に基づいたフィルタリングを施すものである。このような適応フィルタを備えた符号化装置および復号装置は、フィルタリングにより符号化/復号画像の画質が向上することで、フィルタ済画像を参照して生成される予測画像の精度を上げることができるため、符号化効率の向上を図ることができる。
が開示されている。この適応フィルタは、復号画像上のスライス毎に、フィルタ済復号画像と原画像との誤差が最小となるフィルタ係数を定め、当該スライスに含まれる各符号化単位に対して、当該フィルタ係数に基づいたフィルタリングを施すものである。このような適応フィルタを備えた符号化装置および復号装置は、フィルタリングにより符号化/復号画像の画質が向上することで、フィルタ済画像を参照して生成される予測画像の精度を上げることができるため、符号化効率の向上を図ることができる。
そして、符号化データは、ピクチャ、スライス、ツリーブロックというようなレイヤ的に構成されており、同一レイヤで共通に用いられ、再利用可能なパラメータはパラメータセット(PS)に格納される。例えば、ピクチャで共通に用いられるパラメータはピクチャパラメータセット(PPS)に格納される。例えば、非特許文献3には、上記フィルタ係数をPPSに格納することが記載されている。また、H.264/MPEG−4.AVCでは、上記の変換係数の量子化に用いる量子化マトリクスをシーケンスパラメータセット(SPS)、およびPPSに格納している。
また、PPSに格納されているパラメータのうち、更新頻度の高いパラメータを分離してAPS(Adaptation parameter set)として格納する構成が非特許文献4に記載されている。
「JCTVC-E603」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011
「Test Model under Consideration JCTVC-B205 draft007」,Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,2nd Mee-ting:Geneva,CH,07/2010
「JCTVC-E045」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011
「JCTVC-F747」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011
パラメータセットに、同一レイヤで共通に用いられ、再利用可能なパラメータを格納することにより、符号化効率を向上させることができる。特に符号量の大きなパラメータは、共通化することにより符号化効率をより向上させることができる。
しかしながら、パラメータセットに複数のパラメータが格納されている場合、従来の構成ではパラメータの一部のみを更新することができず、更新不要なパラメータも符号化する必要が生じてしまう。
図28を参照して説明する。図28は、従来のパラメータセットを復号する場合のシンタクスの例を示す図である。図28のシンタクス2801に示すように、パラメータセットにパラメータAとパラメータBとが含まれている場合、「paramA_present_flag」、「paramB_present_flag」というようなフラグを設けることにより、それぞれを符号化するか、しないかを選択することができる。そして、符号化が省略された場合は、当該パラメータには初期値が代入される。
よって、従来技術においては、例えば、パラメータAだけ更新し、パラメータBはそのままにしたい場合であっても、パラメータAおよびパラメータBの両方を符号化して送付する必要がある。なぜならば、パラメータBの符号化を省略すると、パラメータBの値が初期値になってしまうためである。
したがって、従来の構成では、パラメータセットに複数のパラメータが含まれている場合に、一部だけを更新することができず、符号化効率が低下してしまう。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、パラメータセットに複数のパラメータが含まれている場合に、一部のパラメータのみを更新することが可能な復号装置等を実現することにある。
上記課題を解決するために、本発明に係る画像復号装置は、複数の復号単位からなる符
号化データから復号画像を生成する画像復号装置であって、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して該パラメータセットを復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成する復号画像生成手段を備えた画像復号装置において、上記パラメータセットに含まれるパラメータの少なくとも一部の更新方法を示すパラメータ更新情報を、更新後のパラメータを用いて復号する復号単位に先行して取得するパラメータ更新情報取得手段と、上記パラメータ更新情報取得手段が取得したパラメータ更新情報にしたがって、パラメータを更新するパラメータ更新手段と、を備え、上記復号画像生成手段は、上記パラメータ更新情報取得手段がパラメータ更新情報を取得した後は、該パラメータ更新情報にしたがって上記パラメータ更新手段が更新したパラメータを用いて復号画像を生成することを特徴としている。
号化データから復号画像を生成する画像復号装置であって、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して該パラメータセットを復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成する復号画像生成手段を備えた画像復号装置において、上記パラメータセットに含まれるパラメータの少なくとも一部の更新方法を示すパラメータ更新情報を、更新後のパラメータを用いて復号する復号単位に先行して取得するパラメータ更新情報取得手段と、上記パラメータ更新情報取得手段が取得したパラメータ更新情報にしたがって、パラメータを更新するパラメータ更新手段と、を備え、上記復号画像生成手段は、上記パラメータ更新情報取得手段がパラメータ更新情報を取得した後は、該パラメータ更新情報にしたがって上記パラメータ更新手段が更新したパラメータを用いて復号画像を生成することを特徴としている。
ここで、復号単位とは、符号化データを構成するシーケンスSequence、ピクチャPICT、スライスS、ツリーブロックTB、符号化単位CU、変換単位TU、予測単位PUのいずれであってもよい。
上記の構成によれば、パラメータセットに含まれるパラメータ更新情報にしたがってパラメータを更新し、パラメータを更新した後は、更新後のパラメータを用いて復号画像を生成する。そして、パラメータの更新は、パラメータごとに行われる。
これにより、パラメータごとにパラメータをどのように更新するかを決定することができるので、複数のパラメータが含まれているパラメータセットにおいて、一部のパラメータのみを更新することができる。
本発明に係る画像復号装置では、上記パラメータ更新情報には、該パラメータ更新情報に含まれているパラメータ値を復号し復号したパラメータ値を更新後のパラメータ値とするか、予め設定されているデフォルト値を更新後のパラメータ値にするか、または直近のパラメータ値を維持するかの何れかを示す情報が含まれていてもよい。
上記の構成によれば、パラメータセットに含まれるパラメータについて、符号化されているパラメータ値を復号してパラメータを設定するか、パラメータを初期化してデフォルト値をパラメータ値に設定するか、または、直近のパラメータ値をそのままパラメータ値として設定するかを選択することができる。
本発明に係る画像復号装置では、参照画像を用いずに復号可能なピクチャにおいては、上記パラメータ更新情報には、該パラメータ更新情報に含まれているパラメータ値を復号し復号したパラメータ値を更新後のパラメータ値とするか、予め設定されているデフォルト値を更新後のパラメータ値にするかの何れかのみを示す情報が含まれていてもよい。
上記の構成によれば、パラメータセットに含まれるパラメータについて、符号化されているパラメータ値を復号してパラメータを設定するか、パラメータを初期化してデフォルト値をパラメータ値に設定するか、のいずれかしか選択できない。よって、他のパラメータセットにより復号、または更新されたパラメータ値を用いることがないので、パラメータ値を更新する場合に、他のパラメータセットを参照する必要がない。これにより、ランダムアクセスに対し、当該パラメータセットから符号化データを読み込めば対応することができるので、ランダムアクセス時の処理負荷を軽くすることができる。
また、ランダムアクセスに好適なので、ランダムアクセス用ピクチャ(IDRピクチャ)が参照するパラメータセットに用いると、処理負荷を軽くすることができる。
本発明に係る画像復号装置では、予測単位ごとに予測画像を生成し、上記符号化データから復号した予測残差に上記予測画像を加算して復号画像を生成するものであって、上記パラメータセットに含まれるパラメータの少なくとも一部は、上記予測画像の生成に用いるフィルタのフィルタ係数を示すフィルタ係数情報であってもよい。
上記の構成によれば、予測画像の生成に用いるフィルタのフィルタ係数をパラメータセットに含まれるパラメータとすることができる。予測画像の生成に用いるフィルタとは、例えば、適応フィルタ(ALF:Adaptive Loop Filter)を挙げることができる。
本発明に係る画像復号装置では、上記パラメータセットには、さらに、上記予測画像の生成に用いるフィルタのフィルタ構造を示すフィルタ構造情報が含まれ、上記フィルタ係数情報には、フィルタ係数の配置パターンを示すフィルタ形状フラグが含まれ、上記フィルタ構造情報には、領域の使用方法を示す領域適応フラグが含まれているものであってもよい。なお、フィルタ構造およびフィルタ構造情報は、領域毎に使用するフィルタを割り当てることから、フィルタ割当およびフィルタ割当情報などと呼ばれることもある。
上記の構成によれば、フィルタ形状フラグにより、フィルタ係数の配置パターンを指定することができる。また、領域適応フラグにより領域の使用方法を指定できる。領域の使用方法を指定するとは、例えば、座標空間による分割と特徴空間による分割とのいずれを用いるのかを指定することである。
本発明に係る画像復号装置では、上記画像復号装置は、予測単位ごとに予測画像を生成し、上記符号化データから復号した予測残差に上記予測画像を加算して復号画像を生成するものであって、上記パラメータセットに含まれるパラメータの少なくとも一部は、上記予測画像の生成に用いるサンプル適応オフセット(SAO:Sample Adaptive Offset)のオフセット値であってもよい。
上記の構成によれば、予測画像の生成に用いるサンプル適応オフセットSAOのオフセット値をパラメータセットに含まれるパラメータとすることができる。
本発明に係る画像復号装置では、上記画像復号装置は、変換単位ごとに、原画像から予測画像を減算した予測残差が周波数領域に直交変換され、量子化された変換係数を逆量子化・逆変換することにより予測残差を復元し、復元した予測残差と生成した予測画像とを加算して復号画像を生成するものであって、上記パラメータセットに含まれるパラメータの少なくとも一部は、上記逆量子化・逆変換に用いる量子化マトリクスであってもよい。
上記の構成によれば、量子化・逆変換に用いる量子化マトリクスをパラメータセットに含まれるパラメータとすることができる。
上記課題を解決するために、本発明に係る画像復号装置は、複数の復号単位からなる符号化データから復号画像を生成する画像復号装置であって、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して該パラメータセットを復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成する復号画像生成手段を備えた画像復号装置において、上記符号化データには複数のパラメータセットが含まれており、1つの上記復号単位について、複数のパラメータセットからパラメータ値を取得するパラメータ取得手段を備え、上記画像生成手段は、1つの復号単位について、上記パラメータ取得手段が複数のパラメータセットから取得したパラメータ値を用いて、該復号単位を復号して復号画像を生成することを特徴としている。
上記の構成によれば、1つの復号単位について、複数のパラメータセットに含まれるパラメータを用いることができる。
1つのパラメータセットしか参照できない場合、パラメータセットに含まれるパラメータの何れかに更新があると、そのたびにパラメータセットを更新しなくてはならない。しかしながら、複数のパラメータセットを参照できれば、少なくともその複数分に対応するパラメータの更新については、パラメータセット自体を更新する必要がない。
よって、上記の構成により、1つのパラメータセットのみ参照できる場合と比較して、パラメータセットの更新回数を減らすことができる。
上記課題を解決するために、本発明に係る画像復号装置は、複数の復号単位からなる符号化データから復号画像を生成する画像復号装置であって、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して該パラメータセットを復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成する復号画像生成手段を備えた画像復号装置において、上記符号化データには複数のパラメータセットが含まれており、上記複数の復号単位のうちの或る復号単位について、上記複数のパラメータセットのうち、第1のパラメータセットから、該第1のパラメータセットに含まれるパラメータ値および該第1のパラメータセットが参照する第2のパラメータセットに含まれるパラメータ値を取得するパラメータ取得手段を備え、上記画像生成手段は、上記の或る復号単位について、上記パラメータ取得手段が取得したパラメータ値を用いて、該復号単位を復号して復号画像を生成することを特徴としている。
上記の構成によれば、第1のパラメータセットに含まれていないパラメータであっても、当該パラメータが、第1のパラメータセットが参照する第2のパラメータセットに含まれていれば、当該パラメータのパラメータ値を取得することができる。
1つのパラメータセットに、復号に必要な全てのパラメータが含まれている場合、パラメータセットに含まれるパラメータの何れかに更新があると、そのたびにパラメータセットを更新しなくてはならない。しかしながら、第1のパラメータセットが第2のパラメータセットを参照することにより、少なくとも第2のパラメータセットに含まれる分については、第1のパラメータセットを更新する必要がなくなる。
よって、上記の構成により、1つのパラメータセットに、復号に必要なパラメータが全て含まれている場合と比較して、パラメータセットの更新回数を減らすことができる。
また、ピクチャにて共通で使用されるパラメータの集合であるPPS(Picture Parameter Set)、またはPPSに含まれるパラメータのうち、更新頻度の高いパラメータの集
合であるAPS(Adaptation Parameter Set)を、上記パラメータセットとすることもできる。
合であるAPS(Adaptation Parameter Set)を、上記パラメータセットとすることもできる。
上記課題を解決するために、本発明に係る画像符号化装置は、復号されるときの単位である復号単位を複数含む符号化データに原画像を符号化した符号化データを出力する画像符号化装置であって、復号画像が生成されるときに用いられるパラメータのうち、複数の上記復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位よりも先行して出力する符号化データ出力手段を備えた画像符号化装置において、上記パラメータセットを作成するパラメータセット作成手段と、上記パラメータセット作成手段が作成したパラメータセットに含まれるパラメータの更新方法を指定するパラメータ更新情報を生成するパラメータ更新情報生成手段と、を備え、上記符号化データ出力手
段は、上記パラメータ更新情報生成手段が生成したパラメータ更新情報を、該パラメータ更新情報にしたがって更新されたパラメータを用いて復号される復号単位よりも先行して出力することを特徴としている。
段は、上記パラメータ更新情報生成手段が生成したパラメータ更新情報を、該パラメータ更新情報にしたがって更新されたパラメータを用いて復号される復号単位よりも先行して出力することを特徴としている。
上記の構成によれば、復号されるときに、複数の復号単位で用いられるパラメータをパラメータセットとして、用いられる復号単位よりも先行して出力するとともに、パラメータセットに含まれるパラメータの更新方法を指定するパラメータ更新情報を、パラメータ更新情報によって更新されたパラメータを用いて復号される復号単位よりも先行して出力する。
これにより、パラメータセットに含まれる各パラメータについて、更新する必要がある場合は、パラメータ更新情報によって更新されたパラメータを用いるようにすることができ、パラメータセットに含まれるパラメータについて、個別に更新することができる。よって、パラメータセットに含まれる一部のパラメータのみを更新させることができる。
上記課題を解決するために、本発明に係る符号化データのデータ構造は、複数の復号単位からなり、画像復号装置において復号されて復号画像が生成される符号化データのデータ構造であって、上記画像復号装置において復号画像が生成されるときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータからなるパラメータセットと、上記パラメータセットに含まれるパラメータの少なくとも一部の更新方法を示すパラメータ更新情報と、を含むことを特徴としている。
上記の構成によれば、原画像の符号化データに、複数の復号単位に用いられるパラメータからパラメータセットと、該パラメータセットに含まれるパラメータの更新方法を指定するパラメータ更新情報とが含まれる。
これにより、パラメータセットに含まれるパラメータそれぞれについて、その更新方法を指定することができる。よって、符号化データを取得した装置において、パラメータセットに含まれる一部のパラメータのみを更新することができる。
なお、上記の画像復号装置、および画像符号化装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記の画像復号装置、および画像符号化装置をコンピュータにて実現させる画像復号装置、および画像符号化装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
以上のように、本発明に係る画像復号装置は、パラメータセットに含まれるパラメータの少なくとも一部の更新方法を示すパラメータ更新情報を、更新後のパラメータを用いて復号する復号単位に先行して取得するパラメータ更新情報取得手段と、上記パラメータ更新情報取得手段が取得したパラメータ更新情報にしたがって、パラメータを更新するパラメータ更新手段と、を備え、上記復号画像生成手段は、上記パラメータ更新情報取得手段がパラメータ更新情報を取得した後は、該パラメータ更新情報にしたがって上記パラメータ更新手段が更新したパラメータを用いて復号画像を生成する構成である。
これにより、パラメータごとにパラメータをどのように更新するかを決定することができるので、複数のパラメータが含まれているパラメータセットにおいて、一部のパラメータのみを更新することができるという効果を奏する。
また、本発明に係る画像符号化装置は、パラメータセットを作成するパラメータセット
作成手段と、上記パラメータセット作成手段が作成したパラメータセットに含まれるパラメータの更新方法を指定するパラメータ更新情報を生成するパラメータ更新情報生成手段と、を備え、上記符号化データ出力手段は、上記パラメータ更新情報生成手段が生成したパラメータ更新情報を、該パラメータ更新情報にしたがって更新されたパラメータを用いて復号される復号単位よりも先行して出力する構成である。
作成手段と、上記パラメータセット作成手段が作成したパラメータセットに含まれるパラメータの更新方法を指定するパラメータ更新情報を生成するパラメータ更新情報生成手段と、を備え、上記符号化データ出力手段は、上記パラメータ更新情報生成手段が生成したパラメータ更新情報を、該パラメータ更新情報にしたがって更新されたパラメータを用いて復号される復号単位よりも先行して出力する構成である。
これにより、パラメータセットに含まれる各パラメータについて、更新する必要がある場合は、パラメータ更新情報によって更新されたパラメータを用いるようにすることができ、パラメータセットに含まれるパラメータについて、個別に更新することができる。よって、パラメータセットに含まれる一部のパラメータのみを更新させることができるという効果を奏する。
〔実施の形態1〕
本発明に係る実施の形態1について、図1〜16を参照して説明する。まず、本実施の形態に係る動画像復号装置(画像復号装置)1の説明に先立ち、本実施の形態に係る動画像符号化装置(画像符号化装置)2によって生成され、動画像復号装置1によって復号される符号化データ#1の構成について説明する。
本発明に係る実施の形態1について、図1〜16を参照して説明する。まず、本実施の形態に係る動画像復号装置(画像復号装置)1の説明に先立ち、本実施の形態に係る動画像符号化装置(画像符号化装置)2によって生成され、動画像復号装置1によって復号される符号化データ#1の構成について説明する。
(符号化データ#1の構成)
符号化データ#1の構成について図2を参照して説明する。図2は、符号化データ#1のデータ構造を示す図である。符号化データ#1は、シーケンス、およびシーケンスを構成する複数のピクチャを含むものであり、図2は、符号化データ#1におけるシーケンスレイヤ以下の階層の構造を示している。
符号化データ#1の構成について図2を参照して説明する。図2は、符号化データ#1のデータ構造を示す図である。符号化データ#1は、シーケンス、およびシーケンスを構成する複数のピクチャを含むものであり、図2は、符号化データ#1におけるシーケンスレイヤ以下の階層の構造を示している。
図2の(a)は、シーケンスSequenceを規定するシーケンスレイヤの構造を示す図である。図2の(b)は、ピクチャPICTを規定するピクチャレイヤの構造を示す図である。図2の(c)は、スライスSを規定するスライスレイヤの構造を示す図である。図2の(d)は、ツリーブロック(Tree block)TBを規定するツリーブロックレイヤの構造を示す図である。図2の(e)は、ツリーブロックTBに含まれる符号化単位(CU:Coding Unit)を規定するCUレイヤの構造を示す図である。
(シーケンスレイヤ)
シーケンスレイヤでは、処理対象のシーケンスを復号するために、動画像復号装置1が参照するデータの集合が規定されている。シーケンスSequenceは、図2の(a)に示すように、シーケンスパラメータセットSPS、ピクチャパラメータセットPPS、ピクチャPICTを含んでいる。また、シーケンスSequenceにはPPSの更新情報であるPPS´も含んでいる。なお、SPSの更新情報であるSPS´を含む構成であってもよい。
シーケンスレイヤでは、処理対象のシーケンスを復号するために、動画像復号装置1が参照するデータの集合が規定されている。シーケンスSequenceは、図2の(a)に示すように、シーケンスパラメータセットSPS、ピクチャパラメータセットPPS、ピクチャPICTを含んでいる。また、シーケンスSequenceにはPPSの更新情報であるPPS´も含んでいる。なお、SPSの更新情報であるSPS´を含む構成であってもよい。
ピクチャパラメータセットPPSには、ピクチャレイヤで共通し、再利用可能なパラメータが格納されている。例えば、適応ループフィルタ(ALF)のフィルタ係数、サンプル適応オフセット(SAO:Sample Adaptive Offset)のオフセット値、量子化マトリクス等が格納されている。
また、PPS(SPS)の符号化データにおける位置は、限定されず、当該PPS(SPS)を参照するデータよりも前に存在さえすればよい。
本実施の形態では、更新情報PPS´(または更新情報SPS´)を含むことにより、PPS(またはSPS)の一部の更新を可能とするものである。なお、更新の具体的な処理については後述する。
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図2の(b)に示すように、ピクチャヘッダPH、および、スライスS1〜
SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図2の(b)に示すように、ピクチャヘッダPH、および、スライスS1〜
SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライスS1〜SNSのそれぞれを区別する必要が無い場合、符号の添え字
を省略して記述することがある。また、以下に説明する符号化データ#1に含まれるデータであって、添え字を付している他のデータについても同様である。
を省略して記述することがある。また、以下に説明する符号化データ#1に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダPHには、対象ピクチャの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置2が符号化の際に用いた可変長符号化のモードを示す符号化モード情報は、ピクチャヘッダPHに含まれる符号化パラメータの一例である。
符号化モード情報が0の場合、当該ピクチャPICTは、CAVLC(Context-based Adaptive Variable Length Coding)によって符号化されている。また、符号化モード情
報が1である場合、当該ピクチャPICTは、CABAC(Context-based Adaptive Binary Arithmetic Coding)によって符号化されている。
報が1である場合、当該ピクチャPICTは、CABAC(Context-based Adaptive Binary Arithmetic Coding)によって符号化されている。
(スライスレイヤ)
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図2の(c)に示すように、スライスヘッダSH、および、ツリーブロックTB1〜TBNC(NCはスライスSに含まれるツリーブロックの総数)のシーケンスを含んでいる。
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図2の(c)に示すように、スライスヘッダSH、および、ツリーブロックTB1〜TBNC(NCはスライスSに含まれるツリーブロックの総数)のシーケンスを含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、または、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるBスライスなどが挙げられる。
なお、スライスSは、ピクチャPICTが分割されることによって形成されている。
(ツリーブロックレイヤ)
ツリーブロックレイヤでは、処理対象のツリーブロックTB(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ツリーブロックレイヤでは、処理対象のツリーブロックTB(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ツリーブロックTBは、ツリーブロックヘッダTBHと、符号化単位情報CU1〜CUNL(NLはツリーブロックTBに含まれる符号化単位情報の総数)とを含む。まず、ツリーブロックTBと、符号化単位情報CUとの関係について説明すると次のとおりである。
ツリーブロックTBは、イントラ予測またはインター予測、および、変換の各処理のためのブロックサイズを特定するためのユニットに分割される。
ツリーブロックTBの上記ユニットは、再帰的な4分木分割により分割されている。この再帰的な4分木分割により得られる木構造のことを以下、符号化ツリー(coding tree
)と称する。
)と称する。
以下、符号化ツリーの末端のノードであるリーフ(leaf)に対応するユニットを、符号化ノード(coding node)として参照する。また、符号化ノードは、符号化処理の基本的
な単位となるため、以下、符号化ノードのことを、符号化単位(CU)とも称する。
な単位となるため、以下、符号化ノードのことを、符号化単位(CU)とも称する。
つまり、符号化単位情報(以下、CU情報と称する)CU1〜CUNLは、ツリーブロックTBを再帰的に4分木分割して得られる各符号化ノード(符号化単位)に対応する情報である。
また、符号化ツリーのルート(root)は、ツリーブロックTBに対応付けられる。換言すれば、ツリーブロックTBは、複数の符号化ノードを再帰的に含む4分木分割の木構造の最上位ノードに対応付けられる。この定義により、ツリーブロックTBはLCU(largest coding unit)と呼称されることもある。
なお、各符号化ノードに対応する画像領域のサイズは、当該符号化ノードが直接に属する符号化ノード(すなわち、当該符号化ノードの1階層上位のノードのユニット)のサイズの縦横とも半分である。
また、各符号化ノードのとり得るサイズは、符号化データ#1のシーケンスパラメータセットSPSに含まれる、符号化ノードのサイズ指定情報および最大階層深度(maximum hierarchical depth)に依存する。例えば、ツリーブロックTBのサイズが64×64画素であって、最大階層深度が3である場合には、当該ツリーブロックTB以下の階層における符号化ノードは、4種類のサイズ、すなわち、64×64画素、32×32画素、16×16画素、および8×8画素の何れかをとり得る。
また、ブロック構造としては、スライスSが分割されて、ツリーブロックTBが形成され、ツリーブロックTBが分割されて符号化単位CUが形成されている。
(ツリーブロックヘッダ)
ツリーブロックヘッダTBHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図2の(d)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TB、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
ツリーブロックヘッダTBHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図2の(d)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TB、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
ツリーブロック分割情報SP_TBは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各CUの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報SP_TBは、CUの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報SP_TBは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグの集合であってもよい。この場合、ツリーブロックの形状やサイズを併用することで各CUの形状やサイズを特定できる。
また、量子化パラメータ差分Δqpは、対象ツリーブロックにおける量子化パラメータqpと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータqp’との差分qp−qp’である。
(CUレイヤ)
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
ここで、CU情報CUに含まれるデータの具体的な内容の説明をする前に、CUに含ま
れるデータの木構造について説明する。符号化ノードは、予測ツリーPTおよび変換ツリーTTのルートとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
れるデータの木構造について説明する。符号化ノードは、予測ツリーPTおよび変換ツリーTTのルートとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが1または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する1または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた1または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位(PU:prediction unit)とも称する。
また、変換ツリーにおいては、符号化ノードが1または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する1または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた1または複数の変換ブロックを含む。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位(TU:transform unit)とも称する。
(CU情報CUのデータ構造)
続いて、図2の(e)を参照しながらCU情報CUに含まれるデータの具体的な内容について説明する。図2の(e)に示すように、CU情報CUは、スキップフラグSKIP、対象CUの各予測単位への分割パターンを指定するPU分割情報SP_PU、予測タイプ情報PType、PT情報PTI、および、TT情報TTIを含んでいる。
続いて、図2の(e)を参照しながらCU情報CUに含まれるデータの具体的な内容について説明する。図2の(e)に示すように、CU情報CUは、スキップフラグSKIP、対象CUの各予測単位への分割パターンを指定するPU分割情報SP_PU、予測タイプ情報PType、PT情報PTI、および、TT情報TTIを含んでいる。
スキップフラグSKIPは、対象のCUについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグSKIPの値が1の場合、すなわち、対象CUにスキップモードが適用されている場合、スキップの対象となる各種情報は省略され、復号される際には、既定値または推定値が用いられる。また、スキップフラグSKIPは、Iスライスでは省略される。
PU分割情報SP_PUは、対象CUに含まれる各PUの形状、サイズ、および、対象CU内での位置を決定するための情報である。例えば、PU分割情報SP_PUは、対象CUから、イントラ分割を指定するイントラ分割フラグ、および、対象CUから、インター分割を指定するインター分割フラグの少なくとも何れか一方から実現することができる。
イントラ分割フラグは、対象CUに含まれる各イントラPU(イントラ予測が用いられるPU)の形状、サイズ、および、対象CU内での位置を指定する情報である。
インター分割フラグは、対象CUに含まれる各インターPU(インター予測が用いられるPU)の形状、サイズ、および、対象CU内での位置を指定する情報である。
予測タイプ情報PTypeは、対象PUについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
PT情報PTIは、対象CUに含まれるPTに関する情報である。言い換えれば、PT情報PTIは、PTに含まれる1または複数のPUそれぞれに関する情報の集合であり、動画像復号装置1により予測画像を生成する際に参照される。PT情報PTIは、予測タ
イプ情報PTypeが何れの予測方法を指定するのかに応じて、インター予測情報、または、イントラ予測情報より構成される。以下では、イントラ予測が適用されるPUをイントラPUとも呼称し、インター予測が適用されるPUをインターPUとも呼称する。
イプ情報PTypeが何れの予測方法を指定するのかに応じて、インター予測情報、または、イントラ予測情報より構成される。以下では、イントラ予測が適用されるPUをイントラPUとも呼称し、インター予測が適用されるPUをインターPUとも呼称する。
TT情報TTIは、対象CUに含まれるTTに関する情報である。言い換えれば、TT情報TTIは、TTに含まれる1または複数のTUそれぞれに関する情報の集合であり、動画像復号装置1により残差データを復号する際に参照される。
(TT情報TTI)
TT情報TTIは、変換サイズ、変換タイプ、変換係数、空間領域の変換係数の存在の有無、周波数領域の変換係数の存在の有無、量子化予測残差を、対象CUに含まれるTUの総数分含んでいる。
TT情報TTIは、変換サイズ、変換タイプ、変換係数、空間領域の変換係数の存在の有無、周波数領域の変換係数の存在の有無、量子化予測残差を、対象CUに含まれるTUの総数分含んでいる。
TUは、対象CUを階層的に四分木分割することにより形成されており、対象CUまたは対象CUの部分領域の分割を行うのか否かを示すTU分割情報により、サイズが決定する。TU分割情報は基本的には四分木の各ノードに対して符号化されるが、変換サイズに関する制約(最大変換サイズ、最小変換サイズ、四分木の最大階層深度)に応じて省略されて推定される場合もある。
量子化予測残差QDは、動画像符号化装置2が以下の処理1〜3を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理1:符号化対象画像から予測画像を減算した予測残差を周波数領域に直交変換(DCT変換(Discrete Cosine Transform)またはDST変換(Discrete sine Transform))する;
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
(パラメータセット)
次に、パラメータセットPSについて、図3、4を参照して説明する。図3は、パラメータセットPSとヘッダHとの違いを説明するための図であり、図3の(a)はヘッダHを説明するための図であり、図3の(b)はパラメータセットPSを説明するための図である。また、図4は、パラメータセットと符号化データのレイヤ構造との関係を示す図である。
次に、パラメータセットPSについて、図3、4を参照して説明する。図3は、パラメータセットPSとヘッダHとの違いを説明するための図であり、図3の(a)はヘッダHを説明するための図であり、図3の(b)はパラメータセットPSを説明するための図である。また、図4は、パラメータセットと符号化データのレイヤ構造との関係を示す図である。
パラメータセットPSは、或る符号化レイヤ全体に関わるパラメータをまとめて格納している。この点は、ヘッダHと似ているが、ヘッダHと比較してパラメータセットPSの方が、自由度が高い。これは、ヘッダHが、直後の符号化レイヤでのみ用いられるのに対し、パラメータセットPSは、ストリームに自由に配置され、idで指定されることにより用いられるためである。
図3を参照して説明すると、図3の(a)に示すように、ヘッダH(A)の場合、直後のデータAにおいて用いられるのみであるが、図3の(b)に示すように、パラメータセットPS(A)の場合、パラメータセットPS(A)を用いるヘッダBとの間に他のデータAや、他のパラメータセットPS(B)が存在していても問題ない。これは、上述したように、用いるパラメータセットPSをidにより指定しているためである。すなわち、ヘッダAに、パラメータセットPS(A)を指定するインデックス(id)が含まれることにより、パラメータセットPS(A)を参照することができる。このように、パラメー
タセットPSは、参照元のデータよりも先にあれば、ストリームのどの位置に配置されていても問題ない。
タセットPSは、参照元のデータよりも先にあれば、ストリームのどの位置に配置されていても問題ない。
次に、図4を参照して、パラメータセットと符号化データのレイヤ構造との関係を説明する。上述したように、符号化データはシーケンスレイヤ、ピクチャレイヤ、スライスレイヤというように階層的な構造となっており、シーケンスレイヤで共通するパラメータについては、シーケンスパラメータセットSPS401、402に格納され、ピクチャレイヤで共通するパラメータについては、ピクチャパラメータセットPPS403、404に格納されている。
そして、シーケンス411には複数のピクチャ412、413が含まれており、各ピクチャに複数のスライスが含まれている。
そして、各スライス406、408、410のスライスヘッダSH405、407、409が、idにより指定されたピクチャパラメータセットPPSを参照する。図4では、idにより参照するピクチャパラメータセットPPS、およびシーケンスパラメータセットSPSを破線で示している。すなわち、スライスヘッダSH405、407はピクチャパラメータセットPPS403を参照し、スライスヘッダ409はピクチャパラメータセットPPS404を参照している。
また、ピクチャパラメータセットPPS403はシーケンスパラメータセットSPS402を参照し、ピクチャパラメータセットPPS404はシーケンスパラメータセットSPS401を参照している。
上述したように、パラメータセットPSは同一レイヤに共通するパラメータを格納するものである。したがって、符号量の大きなパラメータが複数フレームにわたって用いられる場合に、パラメータセットPSを用いることにより、符号化効率を向上させることができる。
符号量の大きなパラメータとしては、例えば量子化マトリクス(スケーリングリスト)、適応フィルタ(ALF)の係数、サンプル適応オフセット(SAO)のオフセット値等が挙げられる。これらは、各々の符号化ツールに用いられる複数のパラメータが同一の符号化レイヤに存在しており、個別に管理・参照するよりも、パラメータセットPSとしてまとめて管理・参照する方が容易であり、符号化効率も向上する。
(本実施の形態の概要)
次に、本実施の形態の概要について、図5を参照して説明する。図5は、パラメータセットPSが更新される例を示す図である。図5に示す例では、スライスヘッダSH504がid=1で指定されるピクチャパラメータセットPPSを参照している。
次に、本実施の形態の概要について、図5を参照して説明する。図5は、パラメータセットPSが更新される例を示す図である。図5に示す例では、スライスヘッダSH504がid=1で指定されるピクチャパラメータセットPPSを参照している。
そして、本実施の形態では、ピクチャパラメータセットPPS501を送信後、ピクチャパラメータセットPPS501の更新情報であるピクチャパラメータセットPPS´502を送信することにより、ピクチャパラメータセットPPS501のうち、ピクチャパラメータセットPPS´502にて更新されたパラメータについては更新後のパラメータを参照する。すなわち、スライスヘッダSH504は、ピクチャパラメータセットPPS503をid=1のピクチャパラメータセットPPSとして参照する。
より具体的に説明すると、ピクチャパラメータセットPPS501のみが送信された時点では、id=1が示すピクチャパラメータセットPPSはフィルタ係数(ALFCoeff)がA1a、量子化マトリクス(ScalingList)がQ1、であった(PPS501)。しかし
ながら、フィルタ係数のみを「A1b」に更新するピクチャパラメータセットPPS´502が送信されることにより、ピクチャパラメータセットPPS501のうち、フィルタ係数のみが更新されたピクチャパラメータセットPPS503が、id=1によって指定されるピクチャパラメータセットPPSとなる。
ながら、フィルタ係数のみを「A1b」に更新するピクチャパラメータセットPPS´502が送信されることにより、ピクチャパラメータセットPPS501のうち、フィルタ係数のみが更新されたピクチャパラメータセットPPS503が、id=1によって指定されるピクチャパラメータセットPPSとなる。
従来であれば、ピクチャパラメータセットPPS501の一部を更新したい場合であっても、ピクチャパラメータセットPPS501に含まれる全てのパラメータ(フィルタ係数および量子化マトリクス)を符号化する必要があったが、本実施の形態によれば、更新したいパラメータ(フィルタ係数)のみを符号化することにより、更新が可能となる。よって、従来と比較して符号化効率を向上させることができる。
(動画像復号装置1)
次に、動画像復号装置1の構成について、図1を参照して説明する。図1は、動画像復号装置1の要部構成を示すブロック図である。動画像復号装置1は、受信した符号化データ#1から復号画像#2を復号するものであり、可変長符号逆多重化部11、TT情報復号部(復号画像生成手段)12、逆量子化・逆変換部(復号画像生成手段)13、PS情報復号部(パラメータ取得手段、パラメータ更新情報取得手段、パラメータ更新手段)14、予測画像生成部(復号画像生成手段)15、ピクチャメモリ16、および加算器17を含む構成である。
次に、動画像復号装置1の構成について、図1を参照して説明する。図1は、動画像復号装置1の要部構成を示すブロック図である。動画像復号装置1は、受信した符号化データ#1から復号画像#2を復号するものであり、可変長符号逆多重化部11、TT情報復号部(復号画像生成手段)12、逆量子化・逆変換部(復号画像生成手段)13、PS情報復号部(パラメータ取得手段、パラメータ更新情報取得手段、パラメータ更新手段)14、予測画像生成部(復号画像生成手段)15、ピクチャメモリ16、および加算器17を含む構成である。
可変長符号逆多重化部11は、動画像復号装置1に入力された1フレーム分の符号化データ#1を、逆多重化することで、階層構造に含まれる各種情報に分離する。例えば、可変長符号逆多重化部11は、各種ヘッダに含まれる情報を参照して、符号化データ#1を、パラメータセットPS、スライス、LCUに順次分離する。
ここで、各種ヘッダには、(1)対象フレームのスライスへの分割方法についての情報、および(2)対象スライスに属するTBのサイズ、形状および対象スライス内での位置についての情報が含まれる。
そして、可変長符号逆多重化部11は、符号化TBヘッダTBHに含まれるCU分割情報SP_TBを参照して、対象TBを、予測単位PU、および変換単位TUに分割し、TT情報TTI、およびPT情報PTIを取得する。
また、可変長符号逆多重化部11は、TT情報TTIをTT情報復号部12に供給し、PT情報PTIを予測画像生成部15に供給する。
さらに、可変長符号逆多重化部11は、符号化データ#1から分離したパラメータセットPS情報PSIをPS情報復号部14に供給する。
PS情報復号部14は、可変長符号逆多重化部11から供給されたパラメータセットPS情報PSIを復号して、復号したパラメータセットPS情報PSI´を用いる、TT情報復号部12、逆量子化・逆変換部13、および予測画像生成部15に供給する。PS情報復号部14の詳細な復号処理については後述する。
TT情報復号部12は、可変長符号逆多重化部11から供給されたTT情報TTIを、PS情報復号部14から供給されたパラメータセットPS情報PSI´を参照して復号し、逆量子化・逆変換部13に供給する。
逆量子化・逆変換部13は、各TUについて、PS情報復号部14から供給されたパラメータセットPS情報PSI´を参照して、量子化予測残差の逆量子化・逆変換を行う。
具体的には、逆量子化・逆変換部13は、まず、可変長符号逆多重化部11から供給される、各TUについてのTT情報TTIからTT分割情報SP_TUを復号する。そして、復号したTU分割情報SP_TUに従って、符号化単位CUを1または複数のブロックへと分割する。
その後、逆量子化・逆変換部13は、各ブロックについて、TT情報TTIから量子化予測残差QDを復号する。PS情報復号部14から供給されたパラメータセットPS情報PSI´に含まれている量子化マトリクスを参照して、逆量子化および逆直交変換(逆DCT変換(Inverse Discrete Cosine Transform)または逆DST変換(Inverse Discrete Sine Transform))を行い、各TUについて、画素毎の予測残差Dを復元する。そして、逆量子化・逆変換部13は、復元した予測残差Dを加算器17に供給する。
量子化マトリクスとは、量子化時に周波数成分に応じて量子化ステップを調節するために用いる係数の行列のことである。
予測画像生成部15は、各PUについての予測タイプ情報PTypeに基づいて、各PUがインター予測を行うべきPUであるのか、イントラ予測を行うべきPUであるのかを識別する。そして、前者の場合には、インター予測画像を生成するとともに、生成したインター予測画像を加算器17に供給する。一方、後者の場合には、イントラ予測画像を生成するとともに、生成したイントラ予測画像を加算器17に供給する。
また、予測画像生成部15は、予測画像を生成するにあたり、予測画像を生成するために用いる復号済み画像に対して、デブロッキングフィルタ処理、サンプル適応オフセット(SAO:Sample Adaptive Offset)処理、および適応フィルタ(ALF: Adaptive Loop Filter)処理を行い、予測画像を生成している。
なお、デブロッキングフィルタ処理とは、復号済み画像におけるブロック境界の周辺の画像の平滑化(デブロック処理)を行うフィルタをかける処理である。また、SAO処理とは、復号済み画像を画素毎に分類し、画素毎にオフセットを加算するフィルタをかける処理である。また、適応フィルタ処理とは、フィルタをかけた後の予測画像と原画像との誤差が最小となるフィルタ係数を定め、当該フィルタ係数に基づいたフィルタをかける処理である。
ピクチャメモリ16には、復号された復号画像Pが順次記録される。ピクチャメモリ16には、対象TBを復号する時点において、当該対象TBよりも先に復号された全てのTB(例えば、ラスタスキャン順で先行する全てのTB)に対応する復号画像が記録されている。
なお、動画像復号装置1において、画像内の全てのTBに対して、TB単位の復号画像生成処理が終わった時点で、動画像復号装置1に入力された1フレーム分の符号化データ#1に対応する復号画像#2が外部に出力される。
加算器17は、予測画像生成部15より供給される予測画像Predと、逆量子化・逆変換部13より供給される予測残差Dとを加算することによって、符号化単位CUについての復号画像Pを生成する。
(PS情報復号部14における処理)
(処理の流れ)
まず、PS情報復号部14の処理の概要について、図11を参照して説明する。図11
は、PS情報復号部14における処理の概要を説明するための図である。
(処理の流れ)
まず、PS情報復号部14の処理の概要について、図11を参照して説明する。図11
は、PS情報復号部14における処理の概要を説明するための図である。
図11に示すように、或るパラメータpについて、現在の値がp=p1の場合に(1101)、更新方法識別子(update_mode)を復号し(1102)、更新方法識別子の値が
「0」の場合は、パラメータpを初期化、すなわちパラメータpの値を初期値p=p0に戻す(1103)。また、更新方法識別子の値が「1」の場合は、符号化データを復号し(1104)、復号したパラメータの値p=p2をパラメータ値に設定する(1105)。また、更新方法識別子の値が「2」の場合は、何も行わない。これにより、パラメータ値はp=p1のままとなる(1106)。
「0」の場合は、パラメータpを初期化、すなわちパラメータpの値を初期値p=p0に戻す(1103)。また、更新方法識別子の値が「1」の場合は、符号化データを復号し(1104)、復号したパラメータの値p=p2をパラメータ値に設定する(1105)。また、更新方法識別子の値が「2」の場合は、何も行わない。これにより、パラメータ値はp=p1のままとなる(1106)。
このようなPS情報復号部14の処理について、図6、7を参照して説明する。図6、7は、PS情報復号部14の復号処理の流れを示すフローチャートである。ここでは、パラメータセットPS情報PSIが、ピクチャパラメータセットPPSの場合について説明する。
図6に示すように、PS情報復号部14は、可変長符号逆多重化部11からピクチャパラメータセットPPSを取得すると、まず、当該PPSのidを復号する(S1)。ここで復号されたidを「x」とする。
次に、PS情報復号部14は、id=xのピクチャパラメータセットPPSが既に保存されているか否かを確認する(S2)。そして、id=xのピクチャパラメータセットPPSが既に保存されている場合は(S2でYES)、ピクチャパラメータセットPPSに含まれている各パラメータの復号・保存処理に入る(S4)。
一方、id=xのピクチャパラメータセットPPSが、まだ保存されていない場合は(S2でNO)、当該ピクチャパラメータセットPPSの記憶領域を確保して(S3)、ピクチャパラメータセットPPSに含まれている各パラメータの復号・保存処理に入る(S4)。
そして、ピクチャパラメータセットPPSに含まれている各パラメータの復号・保存処理が終了すると、復号処理が終了する。
次に、図7を参照して、ピクチャパラメータセットPPSに含まれている各パラメータの復号・保存処理について説明する。なお、ここで示す処理の流れは、一例であり、後述するPS情報復号部14が実行するシンタクスに応じて、処理の流れは変わる。
図7に示すように、PS情報復号部14は、ピクチャパラメータセットPPSに含まれる各パラメータについて(S21)、更新方法識別子の値を判定する(S22)。
そして、更新方法識別子の値が「0」の場合は、当該パラメータを初期値に戻す(S23)。また、更新方法識別子の値が「1」の場合は、符号化されているパラメータを復号し、復号した値をパラメータに設定する(S24)。また、更新方法識別子の値が「2」の場合は、そのまま何もしない。よって、現行のパラメータの値がそのまま維持される。
これを、ピクチャパラメータセットPPSに含まれる各パラメータについて実行して(S25)、ピクチャパラメータセットPPSに含まれている各パラメータの復号・保存処理が終了する。
(シンタクス)
次に、図8〜10を参照して、PS情報復号部14における処理のシンタクスの一例に
ついて説明する。図8は、PS情報復号部14における処理のシンタクスの一例を示す図である。図9は、適応フィルタのフィルタ係数を復号する処理のシンタクスを示す図である。図10は、量子化マトリクスを復号する処理のシンタクスを示す図である。
次に、図8〜10を参照して、PS情報復号部14における処理のシンタクスの一例に
ついて説明する。図8は、PS情報復号部14における処理のシンタクスの一例を示す図である。図9は、適応フィルタのフィルタ係数を復号する処理のシンタクスを示す図である。図10は、量子化マトリクスを復号する処理のシンタクスを示す図である。
図8のシンタクス801に示すように、PS情報復号部14では、idを復号し、「pic_param_update_mode」(更新方法識別子、パラメータ更新情報)を復号して、更新方法
識別子の値が「1」の場合に、各種パラメータを復号している。「pic_param_update_mode」は、ピクチャパラメータセットPPSに属するいくつかのパラメータに対し、まとめ
て更新方法を指定する制御用パラメータである。
識別子の値が「1」の場合に、各種パラメータを復号している。「pic_param_update_mode」は、ピクチャパラメータセットPPSに属するいくつかのパラメータに対し、まとめ
て更新方法を指定する制御用パラメータである。
また、ALFのフィルタパラメータについて「alf_param_update_mode」(更新方法識
別子)を復号して、更新方法識別子の値が「1」の場合に、ALFのフィルタパラメータに関する各種パラメータ(図9のシンタクス901)を復号している。
別子)を復号して、更新方法識別子の値が「1」の場合に、ALFのフィルタパラメータに関する各種パラメータ(図9のシンタクス901)を復号している。
「alf_param_update_mode」は、ALFパラメータのうちピクチャで共通するいくつか
の値に対し、まとめて更新方法を指定するものである。パラメータの内容としては、ALF機能自体のon/off、onの時のフィルタサイズやフィルタ係数が挙げられる。
の値に対し、まとめて更新方法を指定するものである。パラメータの内容としては、ALF機能自体のon/off、onの時のフィルタサイズやフィルタ係数が挙げられる。
また、量子化マトリクスのパラメータについて「scaling_list_update_mode」(更新方法識別子)を復号して、更新方法識別子の値が「1」の場合に、量子化マトリクスのパラメータに関する各種パラメータ(図10のシンタクス1001、1002)を復号している。
「scaling_list_update_mode」は、量子化マトリクス(スケーリングリスト)に対し、まとめて更新方法を指定するものである。なお、スケーリングリストは、変換サイズ、イントラ/インター予測モード、輝度/色差の組合せ分だけ種類(=numList)があり、それ
ぞれについて、シンタクス1002が実行される。
ぞれについて、シンタクス1002が実行される。
なお、シンタクス801の「rbst_trailing_bits」は、終端ビット、および、符号化データの区切りを8ビット単位にするためのアライメント用ビットである。
(その他の処理例)
次に、PS情報復号部14における、上記以外の処理の例について、図12〜15を参照して説明する。図12、13は、その他の例におけるシンタクスを示す図であり、図14、15は、その他の例における概要を示す図である。
次に、PS情報復号部14における、上記以外の処理の例について、図12〜15を参照して説明する。図12、13は、その他の例におけるシンタクスを示す図であり、図14、15は、その他の例における概要を示す図である。
(処理例1)
まず、処理例1について、図12の(a)を参照して説明する。図12の(a)は、処理例1のシンタクスを示す図である。処理例1では、パラメータセットPSのシンタクス1201に「xxx_present_flag」が含まれており、「xxx_present_flag」の値が「1」の場合は、対応する符号化されたパラメータを復号し、復号した値をパラメータ値とする。一方「xxx_present_flag」の値が「0」の場合は、対応するパラメータが符号化データ中に存在しないため何も行わない。これにより、パラメータ値は維持される。
まず、処理例1について、図12の(a)を参照して説明する。図12の(a)は、処理例1のシンタクスを示す図である。処理例1では、パラメータセットPSのシンタクス1201に「xxx_present_flag」が含まれており、「xxx_present_flag」の値が「1」の場合は、対応する符号化されたパラメータを復号し、復号した値をパラメータ値とする。一方「xxx_present_flag」の値が「0」の場合は、対応するパラメータが符号化データ中に存在しないため何も行わない。これにより、パラメータ値は維持される。
xxx_present_flagは、xxxのプレフィックスで指定されるパラメータが符号化データに
存在するか否かを示すフラグである。
存在するか否かを示すフラグである。
図12では、xxx_present_flagなどプレフィックスxxxを用いて示されるシンタクスが
あるが、これはこのシンタクスが、特定のパラメータによらず、他のパラメータにも適用可能であることを示す。また、図12において、パラメータセットはxps_parameter_set_
rbspとxpsのプレフィックスで示されるが、これは、このシンタクス構造が、特定レイヤ
パラメータセットに制限されず、いずれのレイヤのパラメータセットPSにおいても適用可能であることを示す。なお、シーケンスパラメータセットに適用する場合であればxpx
をsps、ピクチャパラメータセットであればxpxをppsに読み替えれば良い。他の図面及び
明細書中のxxx及びxpsのプレフィックスも同様に、特定のシンタクスおよびレイヤ構造に制限しないことを示す。なお、説明にppsなどのプレフィックスを用いる場合もあるがピ
クチャパラメータセットに限定する必要はなく、別のピクチャパラメータセットにも適用可能である。
あるが、これはこのシンタクスが、特定のパラメータによらず、他のパラメータにも適用可能であることを示す。また、図12において、パラメータセットはxps_parameter_set_
rbspとxpsのプレフィックスで示されるが、これは、このシンタクス構造が、特定レイヤ
パラメータセットに制限されず、いずれのレイヤのパラメータセットPSにおいても適用可能であることを示す。なお、シーケンスパラメータセットに適用する場合であればxpx
をsps、ピクチャパラメータセットであればxpxをppsに読み替えれば良い。他の図面及び
明細書中のxxx及びxpsのプレフィックスも同様に、特定のシンタクスおよびレイヤ構造に制限しないことを示す。なお、説明にppsなどのプレフィックスを用いる場合もあるがピ
クチャパラメータセットに限定する必要はなく、別のピクチャパラメータセットにも適用可能である。
この構成では、更新を行いたいパラメータのみ、「xxx_present_flag」の値を「1」とし、それ以外のパラメータの「xxx_present_flag」の値を「0」とすることにより、一部のパラメータのみを更新することができる。
(処理例2)
次に、処理例2について、図12の(b)を参照して説明する。図12の(b)は、処理例2のシンタクスを示す図である。処理例2では、パラメータセットPSのシンタクス1202に、パラメータセットPS単位に「xxx_present_flag」の意味を変更する「xps_reuse_flag」が含まれている。xps_reuse_flagは、パラメータの値が指定されない場合に、既存のパラメータセットの値を引き続き利用することを示すためのフラグである。
次に、処理例2について、図12の(b)を参照して説明する。図12の(b)は、処理例2のシンタクスを示す図である。処理例2では、パラメータセットPSのシンタクス1202に、パラメータセットPS単位に「xxx_present_flag」の意味を変更する「xps_reuse_flag」が含まれている。xps_reuse_flagは、パラメータの値が指定されない場合に、既存のパラメータセットの値を引き続き利用することを示すためのフラグである。
そして、「xxx_present_flag」の値が「1」の場合は、符号化されたパラメータを復号し、復号した値をパラメータ値とする。一方「xxx_present_flag」の値が「0」の場合は、「xps_reuse_flag」の値が「1」であれば、何も行わない。すなわち、パラメータ値を維持する。また、「xps_reuse_flag」の値が「0」であれば、パラメータ値を初期化、すなわち初期値に戻す。
この構成では、パラメータ値を更新するか、初期値に戻すか、値を維持するかの3通りの中から選択することができる。また、「xps_reuse_flag」を用いることにより、PSに含まれるパラメータ値を変更(修正)することができる。
(処理例3)
次に、処理例3について、図13の(a)および図14を参照して説明する。図13の(a)は、処理例3のシンタクスを示す図である。また、図14は、処理例3の概要を示す図である。
次に、処理例3について、図13の(a)および図14を参照して説明する。図13の(a)は、処理例3のシンタクスを示す図である。また、図14は、処理例3の概要を示す図である。
図14に示すように、処理例3では、或るパラメータpについて、現在の値がp=p1の場合に(1401)、「update_flag」を復号し(1402)、「update_flag」の値が「0」(False)の場合は、パラメータpを初期化、すなわちパラメータpの値を初期値p=p0に戻す(1406)。
一方、「update_flag」の値が「1」(True)の場合は、「present_flag」を復号
する(1403)。そして、「present_flag」の値が「1」(True)の場合は、符号化データを復号し(1404)、復号したパラメータの値p=p2をパラメータ値に設定する(1405)。また、「present_flag」の値が「0」(False)の場合は、何もしない。すなわち、以前のピクチャパラメータセットPPSにより復号されたパラメータ値p=p1を維持する(1407)。
する(1403)。そして、「present_flag」の値が「1」(True)の場合は、符号化データを復号し(1404)、復号したパラメータの値p=p2をパラメータ値に設定する(1405)。また、「present_flag」の値が「0」(False)の場合は、何もしない。すなわち、以前のピクチャパラメータセットPPSにより復号されたパラメータ値p=p1を維持する(1407)。
処理例3のシンタクスは図13の(a)に示すシンタクス1301のようになる。シンタクス1301に示すように、処理例3では、2つのフラグ、「xxx_update_flag」およ
び「xxx_present_flag」を用い、(xxx_update_flag、xxx_present_flag)の値が(1、
1)の場合は復号した値を利用し、(1、0)の場合は値を維持し、(0、−)の場合は、初期化する。
び「xxx_present_flag」を用い、(xxx_update_flag、xxx_present_flag)の値が(1、
1)の場合は復号した値を利用し、(1、0)の場合は値を維持し、(0、−)の場合は、初期化する。
この構成でも、パラメータ値を更新するか、初期値に戻すか、値を維持するかの3通りの中から選択することができる。また、「update_flag」を用いることにより、パラメー
タ値の設定方法を個別に指定することができる。
タ値の設定方法を個別に指定することができる。
(処理例4)
次に、処理例4について、図13の(b)および図15を参照して説明する。図13の(b)は、処理例4のシンタクスを示す図である。また、図15は、処理例4の概要を示す図である。
次に、処理例4について、図13の(b)および図15を参照して説明する。図13の(b)は、処理例4のシンタクスを示す図である。また、図15は、処理例4の概要を示す図である。
図15に示すように、処理例4では、或るパラメータpについて、現在の値がp=p1の場合に(1501)、「present_flag」を復号し(1502)、「present_flag」の値が「1」(True)の場合は、符号化データを復号し(1503)、復号したパラメータの値p=p2をパラメータ値に設定する(1504)。
一方、「present_flag」の値が「0」(False)の場合は、「reset_flag」を復号する(1505)。そして、「reset_flag」の値が「1」(True)の場合は、パラメータpを初期化、すなわちパラメータpの値を初期値p=p0に戻す(1506)。また、「reset_flag」の値が「0」(False)の場合は、何もしない。すなわちパラメータ値p=p1を維持する(1507)。
処理例4のシンタクスは図13の(b)に示すシンタクス1302のようになる。シンタクス1302に示すように、処理例4では、2つのフラグ、「xxx_present_flag」および「xxx_reset_flag」を用い、(xxx_present_flag、xxx_reset_flag)の値が(1、−)の場合は復号した値を利用し、(0、1)の場合は初期化し、(0、0)の場合は値を維持する。
この構成でも、パラメータ値を更新するか、初期値に戻すか、値を維持するかの3通りの中から選択することができる。また、「xxx_reset_flag」を用いることにより、PSに含まれる各パラメータ値を変更(修正)することができる。
(処理例5)
次に、処理例5について、図13の(c)を参照して説明する。図13の(c)は、処理例5のシンタクスを示す図である。処理例5では、パラメータセットPSのシンタクス1303に「xxx_present_flag」と「xxx_reuse_flag」とが含まれている。そして、(xxx_present_flag、xxx_reuse_flag)の値が、(1、−)の場合は復号した値を利用し、(0、1)の場合は値を維持し、(0、0)の場合は初期化する。
次に、処理例5について、図13の(c)を参照して説明する。図13の(c)は、処理例5のシンタクスを示す図である。処理例5では、パラメータセットPSのシンタクス1303に「xxx_present_flag」と「xxx_reuse_flag」とが含まれている。そして、(xxx_present_flag、xxx_reuse_flag)の値が、(1、−)の場合は復号した値を利用し、(0、1)の場合は値を維持し、(0、0)の場合は初期化する。
この構成でも、パラメータ値を更新するか、初期値に戻すか、値を維持するかの3通りの中から選択することができる。
(動画像符号化装置2)
次に、動画像符号化装置2の構成について、図16を参照して説明する。図16は、動画像符号化装置2の要部構成を示すブロック図である。動画像符号化装置2は、概略的に言えば、入力画像#10を符号化することによって符号化データ#1を生成し、出力する装置であり、符号化設定部21、変換・量子化部(パラメータセット作成手段、パラメータ更新情報生成手段)22、可変長符号化部(符号化データ出力手段)23、逆量子化・逆変換部24、予測画像生成部(パラメータセット作成手段、パラメータ更新情報生成手
段)25、ピクチャメモリ26、加算器27、および減算器28を含む構成である。
次に、動画像符号化装置2の構成について、図16を参照して説明する。図16は、動画像符号化装置2の要部構成を示すブロック図である。動画像符号化装置2は、概略的に言えば、入力画像#10を符号化することによって符号化データ#1を生成し、出力する装置であり、符号化設定部21、変換・量子化部(パラメータセット作成手段、パラメータ更新情報生成手段)22、可変長符号化部(符号化データ出力手段)23、逆量子化・逆変換部24、予測画像生成部(パラメータセット作成手段、パラメータ更新情報生成手
段)25、ピクチャメモリ26、加算器27、および減算器28を含む構成である。
符号化設定部21は、入力画像#10に基づいて、符号化に関する画像データおよび画像データの各種設定情報を生成する。
具体的には、符号化設定部21は、入力画像#10を、スライス単位、TB単位に順次分割することにより、符号化単位CUについてのCU画像#100を生成する。また、符号化設定部21は、分割処理の結果に基づいて、ヘッダ設定情報H´を生成する。ヘッダ情報H´は、(1)対象スライスに属するTBのサイズ、形状および対象スライス内での位置についての情報、並びに、(2)各TBに属するCUのサイズ、形状および対象TB内での位置についてのCU情報CU´を含んでいる。
さらに、符号化設定部21は、CU画像#100、および、CU情報CU´を参照して、PT設定情報PTI´を生成する。PT設定情報PTI´には、(1)対象CUの各予測単位PUへの可能な分割パターン、および、(2)各PUに割り付ける予測モード、の全ての組み合わせに関する情報が含まれる。同様に、符号化設定部21は、CU画像#100、および、CU情報CU´を参照して、TT設定情報TTI´を生成する。TT設定情報TTI´には、(1)対象CUの各変換単位TUへの可能な分割パターンに関する情報が含まれる。
そして、符号化設定部21は、CU画像#100を減算器28に供給し、ヘッダ情報H´を可変長符号化部23に供給し、PT設定情報PTI´を予測画像生成部25に供給し、TT設定情報TTIを変換・量子化部22に供給する。
変換・量子化部22は、予測残差Dに対して、直交変換(DCT変換(Discrete Cosine Transform)またはDST変換(Discrete Sine Transform))および量子化を行うことで量子化予測残差を生成する。具体的には、変換・量子化部22は、CU画像#100、および、CU情報CU´を参照し、符号化単位CUの1または複数のブロックへの分割パターンを決定する。そして、決定された分割パターンに従って、予測残差Dを、各ブロックについての予測残差に分割する。
また、変換・量子化部22は、各ブロックについての予測残差を直交変換(DCT変換(Discrete Cosine Transform)またはDST変換(Discrete Sine Transform))することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を、量子化マトリクスを用いて、量子化することによってブロック毎の量子化予測残差を生成する。
また、変換・量子化部22は、生成したブロック毎の量子化予測残差と、CUの分割パターンを指定するTT分割情報に関する情報とを含むTT設定情報TTI´を生成し、可変長符号化部23、逆量子化・逆変換部24に供給する。
また、量子化に用いた量子化マトリクスに関する情報をパラメータセットPS情報PSI´−bを生成し、可変長符号化部23に供給する。
逆量子化・逆変換部24は、変換・量子化部22より供給される、ブロック毎の量子化予測残差を、逆量子化、および、逆直交変換(逆DCT変換(Inverse Discrete Cosine Transform)または逆DST変換(Inverse Discrete Sine Transform))することによって、ブロック毎の予測残差を復元する。また、逆量子化・逆変換部24は、ブロック毎の予測残差を、TT分割情報により指定される分割パターンに従って統合し、対象CUについての予測残差Dを生成する。そして、逆量子化・逆変換部24は、生成した対象CUに
ついての予測残差Dを、加算器27に供給する。
ついての予測残差Dを、加算器27に供給する。
予測画像生成部25は、ピクチャメモリ26に記録されている局所復号画像P´、および、PT情報PTI´を参照して、対象CUについての予測画像Predを生成する。また、予測画像生成部25は、予測画像生成処理により得られた予測パラメータを、PT情報PTI´に設定するとともに、予測画像生成に用いた適応フィルタのフィルタ係数、SAOオフセット値をパラメータセットPS情報PSI´−aに設定し、設定後のPT情報PTI´、およびパラメータセットPS情報PSI´−aを可変長符号化部23に転送する。なお、予測画像生成部25による予測画像生成処理は、動画像復号装置1の備える予測画像生成部15と同様である。
加算器27は、予測画像生成部25より供給される予測画像Predと、逆量子化・逆変換部24より供給される予測残差Dとを加算することによって、対象CUについての復号画像Pを生成する。
ピクチャメモリ26には、復号された復号画像Pが順次記録される。ピクチャメモリ26には、対象TBを復号する時点において、当該対象TBよりも先に復号された全てのTB(例えば、ラスタスキャン順で先行する全てのTB)に対応する復号画像が記録されている。
減算器28は、CU画像#100から予測画像Predを減算することによって、対象CUについての予測残差Dを生成する。減算器28は、生成した予測残差Dを、変換・量子化部22に供給する。
可変長符号化部23は、TT設定情報TTI´、PT設定情報PTI´、パラメータセットPS情報PSI´−(a、b)、ヘッダ情報H´に基づいて符号化データ#1を生成し、出力する。
〔実施の形態2〕
次に、本発明の他の実施の形態について図17〜20に基づいて説明すれば、以下のとおりである。本実施の形態において、上記実施の形態1と異なるのは、或るパラメータセットPSが、それ以前のパラメータセットPSを参照しない点である。
次に、本発明の他の実施の形態について図17〜20に基づいて説明すれば、以下のとおりである。本実施の形態において、上記実施の形態1と異なるのは、或るパラメータセットPSが、それ以前のパラメータセットPSを参照しない点である。
以前のパラメータセットPSを参照しないパラメータセットPSを設けることにより、当該パラメータセットPS以降の符号化データは、当該パラメータセットPSから読み込むことで復号可能となり、ランダムアクセス時の処理負荷を軽くすることができる。
本実施の形態では、パラメータセットPSが、それ以前のパラメータセットPSのパラメータ値を参照しないようにシンタクスを制限するように構成している。具体的に、図17〜20を参照して説明する。図17〜20は、ピクチャパラメータセットPPSにおけるシンタクス例を示す図である。
本実施の形態では、例えば、ピクチャパラメータセットPPSのシンタクスに、更新方法識別子「update_mode」の値の範囲を制限するシンタクス(「update_mode_restriction_flag」)を入れることにより、それ以前のパラメータセットPSのパラメータ値を参照
しないようにシンタクスを制限している。
しないようにシンタクスを制限している。
図17に示すシンタクス1701では、図8のシンタクス801に「pps_update_mode_restriction_flag」を追加している。そして、「pps_update_mode_restriction_flag」の値が「1」であれば、「update_mode」の値を、「1」(更新)、または「0」(初期化
)に制限し、「pps_update_mode_restriction_flag」の値が「0」であれば、制限しない構成、すなわち、「update_mode」の値を、「0」(初期化)、「1」(更新)、「−」
(保持)のままとしている。
)に制限し、「pps_update_mode_restriction_flag」の値が「0」であれば、制限しない構成、すなわち、「update_mode」の値を、「0」(初期化)、「1」(更新)、「−」
(保持)のままとしている。
これにより、パラメータの値の保持を行わないように制限する、すなわち、当該ピクチャパラメータセットPSより以前のピクチャパラメータセットPSのパラメータ値を参照させないように制限することができる。なお、このフラグは、ピクチャパラメータセット以外のレイヤ、例えばシーケンスパラメータセットで符号化することが可能である。この場合には、シーケンスパラメータレイヤ以下のレイヤのパラメータの範囲が制限される。
また、図18に示すシンタクス1801では、図13のシンタクス1301に、更新方法識別子制限フラグ「xps_update_mode_restriction_flag」を追加している。そして、「xps_update_mode_restriction_flag」の値が「1」の場合に、(update_flag、 present_flag)=(1、0)を禁止することにより、以前のパラメータ値を参照させないようにすることができる。このフラグは、同一レイヤおよび下位レイヤのシンタクスを制限するものであり、シーケンスパラメータで指定される場合には、シーケンスパラメータ以下のレイヤにおけるシンタクスの制限が行われる。下記のxps_present_type_flag、xps_reuse_enable_flagも同様である。
なお、更新方法識別子制限フラグと同様に、保持の使用を制限するパラメータは、図19、図20に示すシンタクスでも用いることができる。
また、図19に示すシンタクス1901では、図13のシンタクス1302に、更新方法識別子タイプ「xps_present_type_flag」を追加している。そして、「xps_present_type_flag」の値が「0」の場合に、(present_flag、 reset_flag)=(0、0)を禁止す
ることにより、以前のパラメータ値を参照させないようにすることができる。
ることにより、以前のパラメータ値を参照させないようにすることができる。
また、図20に示すシンタクス2001では、図13のシンタクス1303に、再利用識別子タイプ「xps_reuse_enable_flag」を追加している。そして、「xps_reuse_enable_flag」の値が「0」の場合に、(present_flag、 reuse_flag)=(0、1)を禁止する
ことにより、以前のパラメータ値を参照させないようにすることができる。
ことにより、以前のパラメータ値を参照させないようにすることができる。
なお、更新方法識別子制限フラグxps_update_mode_restriction_flag、更新方法識別子タイプxps_present_type_flag、再利用識別子タイプxps_reuse_enable_flagのように、保持を制限するフラグを総称して、更新方法識別子制限フラグと呼んでも良い。
〔実施の形態3〕
本発明のさらに他の実施の形態について図21、22に基づいて説明すれば、以下のとおりである。本実施の形態では、ランダムアクセス用ピクチャ(IDRピクチャ)が参照するパラメータセットPSについては、当該パラメータセットPS以前のパラメータセットPSを参照しない構成とするものである。
本発明のさらに他の実施の形態について図21、22に基づいて説明すれば、以下のとおりである。本実施の形態では、ランダムアクセス用ピクチャ(IDRピクチャ)が参照するパラメータセットPSについては、当該パラメータセットPS以前のパラメータセットPSを参照しない構成とするものである。
図21に、本実施の形態に係る符号化データのストリーム構造を示す。図21に示すように、例えば、非IDRピクチャ2104が参照するピクチャパラメータセットPPS2103は、それ以前のピクチャパラメータセットPPS2101を参照している。また、非IDRピクチャ2108が参照するピクチャパラメータセットPPS2107は、それ以前のピクチャパラメータセットPPS2105を参照している。
したがって、非IDRピクチャ2104から、画像再生を行う場合、ピクチャパラメータセットPPS2101から読み込む必要がある。
これに対し、IDRピクチャ2106が参照するピクチャパラメータセットPPS2105は、それ以前のピクチャパラメータセットPPSを参照していない。これにより、IDRピクチャ2106から画像再生を行う場合は、ピクチャパラメータセットPPS2105から読み込むだけで済む。特に、IDRピクチャは、ランダムアクセス用のピクチャであり、当該ピクチャから画像再生が行われる。よって、IDRピクチャについて、直前のピクチャパラメータセットPPSのみを読み込むことにより、画像再生を行うことができるようにすることで、画像再生の処理負荷を軽くすることができる。
IDRピクチャが参照するピクチャパラメータセットPPSが、それ以前のピクチャパラメータセットPPSを参照しないようにするためには、以下の方法が考えられる。
例えば、当該ピクチャパラメータセットPPSは、パラメータ値の更新か、初期化しか行わないようにする、すなわちパラメータ値の維持を行わないようにすることが考えられる。すなわち、当該ピクチャパラメータセットPPSについて、上述した実施の形態2の構成を適用すればよい。すなわち、特定のピクチャ(ここではランダムアクセス用ピクチャ)の場合に適用可能なパラメータ値の範囲を制限する。この制限は、他のパラメータ、例えば、符号化データが使用する可能性がある機能群を示すプロファイルや、プロファイルよりも細かい機能制限フラグに依存して行っても良い。また、この制限は、符号化データよりも上位構造のフラグ、すなわち、符号化データを格納するトランスポートストリームや、mp4などのコンテナ中のフラグに依存して行っても良い。
また、図12のシンタクス1202に示すような場合は、「xps_reuse_flag」を「0」に設定しておけばよい。すなわち、ランダムアクセス用ピクチャの場合には、シンタクスのxxx_present_flagの値が「0」の場合に、パラメータ値を初期化する。これにより、ランダムアクセス用ピクチャに参照されるピクチャパラメータセットPPSでは、パラメータ値の維持を行わず、以前のピクチャパラメータセットPPSの値を参照しないようにできる。
または、IDRピクチャは、上述した実施の形態2の構成のピクチャパラメータセットPPSのみを参照するように構成してもよい。
次に、IDRピクチャが参照するピクチャパラメータセットPPSの更新処理の概要について、図22を参照して説明する。図22は、IDRピクチャが参照するピクチャパラメータセットPPSの更新処理が、シンタクス1701に基づいて行われる場合の概要を示す図である。なお、ここでは、「pps_update_mode_restriction_flag」の値が「1」であったとする。
図22に示すように、IDRピクチャが参照するピクチャパラメータセットPPSでは、或るパラメータpについて、現在の値がp=p1の場合に(2201)、「update_mode」を復号し(2202)、「update_mode」の値が「0」の場合は、パラメータpを初期化、すなわちパラメータpの値を初期値p=p0に戻す(2203)。
一方、「update_mode」の値が「1」の場合は、符号化データを復号し(2204)、
復号したパラメータの値p=p2をパラメータ値に設定する(2205)。
復号したパラメータの値p=p2をパラメータ値に設定する(2205)。
〔実施の形態4〕
本発明のさらに他の実施の形態について図23〜27に基づいて説明すれば、以下のとおりである。上述した実施の形態1〜3では、同一レイヤのパラメータセットPSとして、参照するパラメータセットPSは1つであったが、本実施の形態では、参照可能なパラ
メータセットPSが2つあるものである。ピクチャパラメータセットPPSを2つ参照する場合が一例である。
本発明のさらに他の実施の形態について図23〜27に基づいて説明すれば、以下のとおりである。上述した実施の形態1〜3では、同一レイヤのパラメータセットPSとして、参照するパラメータセットPSは1つであったが、本実施の形態では、参照可能なパラ
メータセットPSが2つあるものである。ピクチャパラメータセットPPSを2つ参照する場合が一例である。
1つのパラメータセットPSの中に、更新周期の異なるパラメータがある場合、更新周期の短いパラメータにあわせて符号化を行う必要があるので、符号化効率が低下してしまう。また、依存関係が生じることにより、依存関係のあるパラメータセットPSを先頭から読み込む必要が生じる。
本実施の形態では、例えば、スライスヘッダが、2つのパラメータセットPSを参照可能とすることで、従来であれば、更新の度に必要であったパラメータセットPSの符号化を不要とするものである。また、参照対象の2つのパラメータセットPS以外に依存関係のあるパラメータセットPSが存在しないので、ランダムアクセスにも影響を及ぼさないものである。
参照する2つのパラメータセットPSを、PS1、PS2とすると、例えば、スライスヘッダは、PS1、PS2を参照して、PS1とPS2とから一時的なパラメータセットPS1´を生成し利用する。ここで、PS1は、ベースとなるパラメータセットPSである。また、PS2は、必要であれば更新分として指定される。すなわち、PS2の指定がなければPS1がそのまま使われる。また、PS1、PS2は変更されない。さらに、PS1´は少なくとも参照されうる間は保持されている。
本実施の形態では、全てのパラメータセットPSは、同じ構造を有しており、かつ、次の2つのいずれかの種類のフラグを備えている。1つは、2値フラグ「present_flag」であり、パラメータの有無を決定している。もう1つは、3値フラグ「update_mode」であ
り、図8のシンタクス801における「update_mode」と同様の役割を果たすものである
。
り、図8のシンタクス801における「update_mode」と同様の役割を果たすものである
。
なお、全てのパラメータセットPSは同じ構造を有しているため、3値フラグを有している場合、PS1もPS2も3値フラグを有していることになる。3値フラグは、パラメータ値について、初期化、更新、維持の3つの何れかを選択するものである。PS2として指定されているパラメータセットPSにおける維持とは、PS1の値を用いることを意味する。また、PS1として指定されているパラメータセットPSにおける維持とは、それまでに復号されているパラメータ値が存在していないため、初期化することを意味する。
次に、図23を参照して、本実施の形態に係るシンタクス例について説明する。図23は、スライスヘッダから2つのピクチャパラメータセットPPSを参照する場合で、上述した2値フラグ「present_flag」を備えるシンタクスを示す図である。
図23に示すように、シンタクス2301では、PPS1を復号するとともに、PPS2が必要か否かを判定するフラグ(pic_parameter_set_id2_present_flag)を復号し、必要な場合にのみPPS2を復号している。
次に、2つのピクチャパラメータセットPPSを参照する処理の概要を、図24を参照して説明する。図24は、2つのピクチャパラメータセットPPSを参照する処理の概要を示す図である。
図24に示すように、2つのピクチャパラメータセットPPSを参照する処理は、或るパラメータpについて、現在の値がp=p1の場合(2401)、「pps_present_flag」を復号し(2402)、「present_flag」の値が「0」(False)の場合は、PPS
1のパラメータ値p=p1を維持する(2403)。
1のパラメータ値p=p1を維持する(2403)。
一方、「present_flag」の値が「1」(True)の場合は、PPS2を復号し(2404)、PPS1とPPS2の値から、パラメータ値p´=p+p2を生成する(2405)。ここでは、p´をpからの差分値p2によって表現したが、これに限らず、p´の値を直接指定しても構わない。すなわち、p´=p2としても良い。
次に、2値フラグ「present_flag」を有した場合の、PS情報復号部14の復号処理の流れについて、図25、26を参照して説明する。図25、26は、2値フラグ「present_flag」を有した場合の、PS情報復号部14の復号処理の流れを示すフローチャートである。ここでは、パラメータセットPSがピクチャパラメータセットPPSの場合について説明する。
図25に示すように、PS情報復号部14は、可変長符号逆多重化部11からピクチャパラメータセットPPSを取得すると、まず、当該ピクチャパラメータセットPPSのPPS1のidを復号する(S101)。次に、PS情報復号部14は、PPS2のidが符号化されているか否か確認し(S102)、符号化されていなければ(S102でNO)、復号したPPS1のパラメータ値を用いる(S106)。
一方、PPS2のidが符号化されていれば(S102でYES)、PS情報復号部14は、PPS2のidを復号し(S103)、PPS1とPPS2とから生成するPPS1´の記憶領域を確保する(S104)。そして、確保した記憶領域に復号したPPS1の値をコピーする。そして、PPS2に含まれている各パラメータの復号・保存処理に入る(S105)。
各パラメータの復号・保存処理について、図26を参照して説明する。図26に示すように、PS情報復号部14は、PPS2に含まれる各パラメータについて(S111)、パラメータが存在するか否か、すなわち、パラメータの値が符号化されているか否かを判定する(S112)。そして、パラメータが存在していれば(S112でYES)、PPS2における値を復号し、パラメータ値を設定する(S113)。一方、パラメータが存在していなければ(S112でNO)、PPS1で復号した値をパラメータ値に設定する(S114)。これを、PPS2に含まれる各パラメータについて実行して(S115)、PPS2に含まれている各パラメータの復号・保存処理が終了する。
次に、3値フラグ「update_mode」を有した場合のPS情報復号部14の復号処理の流
れについて、図27を参照して説明する。図27は、3値フラグ「update_mode」を有し
た場合の、PS情報復号部14の復号処理の流れを示すフローチャートである。
れについて、図27を参照して説明する。図27は、3値フラグ「update_mode」を有し
た場合の、PS情報復号部14の復号処理の流れを示すフローチャートである。
なお、ステップS106(図25)までは、2値フラグ「present_flag」を有した場合の処理の流れと同様であるので、その説明を省略し、各パラメータの復号・保存処理の流れのみ説明する。
図27に示すように、PS情報復号部14は、PPS2に含まれる各パラメータについて(S121)、更新方法識別子の値を判定する(S122)。
そして、更新方法識別子の値が「0」の場合は、当該パラメータを初期値に戻す(S123)。また、更新方法識別子の値が「1」の場合は、PPS2で符号化されているパラメータを復号し、復号した値をパラメータ値に設定する(S124)。また、更新方法識別子の値が「2」の場合は、そのまま何もしない。よって、PPS1で復号された値がパラメータ値として維持される。
これを、PPS2に含まれる各パラメータについて実行して(S125)、PPS2に含まれている各パラメータの復号・保存処理が終了する。
〔APSについて〕
次に、APS(Adaptation Parameter Set)を用いた構成について、図29〜56を参照して説明する。APSとは、PPSに含まれるパラメータのうち、更新頻度の高いパラメータを分離して、新たにパラメータセット(PS)としたものである。より詳細には、ALF(Adaptive Loop Filter)のパラメータのうち、フィルタのオン/オフを示すツリー以外のパラメータや、SAO(Sample Adaptive Offset)のパラメータがAPSに格納されている。なお、これに限らず、例えば、量子化マトリクスや重み予測(Weighted Prediction)パラメータが格納されてもよい。
次に、APS(Adaptation Parameter Set)を用いた構成について、図29〜56を参照して説明する。APSとは、PPSに含まれるパラメータのうち、更新頻度の高いパラメータを分離して、新たにパラメータセット(PS)としたものである。より詳細には、ALF(Adaptive Loop Filter)のパラメータのうち、フィルタのオン/オフを示すツリー以外のパラメータや、SAO(Sample Adaptive Offset)のパラメータがAPSに格納されている。なお、これに限らず、例えば、量子化マトリクスや重み予測(Weighted Prediction)パラメータが格納されてもよい。
図29に、APSを含むパラメータセットPSと符号化データのレイヤ構造との関係を示す。図29に示すように、APSは、PPSと同様にピクチャレイヤに格納されている。図29に示す例では、APS2901、2902は、PPS403、404と同様にピクチャレイヤに格納されている。なお、APSをピクチャレイヤではなく、スライスレイヤに格納するものであってもよい。
APSを用いた場合のシンタクスの概要について、図30を参照して説明する。図30は、APSを用いた場合のシンタクスの概要である。図30のシンタクス3001に示すように、APSを用いた場合、APSを特定するための“aps_id”、SAOパラメータの有無を示す“aps_sample_adaptive_offset_flag”、ALFパラメータの有無を示す“aps_adaptive_loop_filter_flag”が符号化/復号される。
なお、ここでは、SAOパラメータおよびALFパラメータのみが含まれている場合を示しているが、これらに限られず、例えば、APSのエントロピー符号化方式を示すフラグ、バイトアライン用ビット等が含まれていてもよい。また、上述したように、符号化ツールのパラメータとして、量子化マトリクスや重み予測(Weighted Prediction)パラメ
ータが含まれてもよい。
ータが含まれてもよい。
符号ツールのパラメータが追加される場合、そのシンタクスは、例えば、“aps_符号化ツールの名称_flag”と、“if (aps_符号化ツールの名称_flag){符号化ツールの名称_param()}”とすることが考えられる。
また、APSは、スライスヘッダSHからID(aps_id)によって参照される。さらに、APSは常に存在しているわけではなく、APSに格納されるALFパラメータやSAOパラメータが使用される時のみ、存在する。
〔実施の形態1〜3にAPSを適用した場合〕
次に、上記実施の形態1〜3にAPSを適用した場合について、図31〜34を参照して説明する。上記実施の形態1〜3においても、APSを適用することが可能である。
次に、上記実施の形態1〜3にAPSを適用した場合について、図31〜34を参照して説明する。上記実施の形態1〜3においても、APSを適用することが可能である。
APS内で、個別に更新制御フラグで制御されるパラメータには、例えば、次のようなパラメータのグループが挙げられる。
(A)ALFのフィルタ構造(ALFStructure):ALFの特徴量空間をどう領域分割したのかをしめす情報(単位領域のマージ情報等)や、各領域が用いるフィルタを指定するインデックス情報を示す。
(B)ALFのフィルタ係数(ALFCoeff):複数の係数で1個のフィルタが構成されてい
る。なお、複数の係数をまとめて制御してもよいし、1個ずつ制御してもよい。
(C)SAOのオフセット値
(D)量子化マトリクス(量子化スケーリングリスト)
量子化マトリクスは、マトリクス単位毎に制御してもよい。
(A)ALFのフィルタ構造(ALFStructure):ALFの特徴量空間をどう領域分割したのかをしめす情報(単位領域のマージ情報等)や、各領域が用いるフィルタを指定するインデックス情報を示す。
(B)ALFのフィルタ係数(ALFCoeff):複数の係数で1個のフィルタが構成されてい
る。なお、複数の係数をまとめて制御してもよいし、1個ずつ制御してもよい。
(C)SAOのオフセット値
(D)量子化マトリクス(量子化スケーリングリスト)
量子化マトリクスは、マトリクス単位毎に制御してもよい。
なお、上記の他にも、上記の(A)と(B)とをまとめて1つのグループにして制御してもよいし、
更新制御フラグの符号量のオーバーヘッドが問題とならない限り、上記(A)〜(D)よりも細分化して制御するものであってもよい。
更新制御フラグの符号量のオーバーヘッドが問題とならない限り、上記(A)〜(D)よりも細分化して制御するものであってもよい。
次に、APSに格納される各パラメータについて、図31〜34を参照して説明する。図31は、ALFパラメータを説明するため図であり、図31の(a)はAPSで符号化されるALFパラメータを符号化/復号するときのシンタクス例を示し、図31の(b)は特徴量空間の領域毎に割り振られたフィルタのインデックスを示している。図32は、APSで符号化されるALFパラメータを説明するため図であり、図32の(a)は更新制御フラグを用いる場合にALFパラメータを符号化/復号するときのシンタクス例を示し、図32の(b)はALFパラメータのフィルタ構造についてのシンタクス例を示し、図32の(c)はALFパラメータのフィルタ係数についてのシンタクス例を示している。
また、図59もAPSで符号化されるALFパラメータを説明するため図であり、図59の(a)はALFパラメータのフィルタ係数についての別のシンタクス例を示し、図59の(b)はALFパラメータのフィルタ係数についてのさらに別のシンタクス例を示している。図59の(a)のシンタクス5901は、特徴量空間の切り替えフラグを含む場合の例である。“alf_region_adaptation_flag”は、適応処理の方法を選択するフラグであり、特徴量空間を選択する。例えば“alf_region_adaptation_flag”=1のときは特徴量を局所画像の活性度に基づいて決定し、“alf_region_adaptation_flag”=0のときは特徴量を処理対象画素の座標に基づいて決定する。また、図59の(b)のシンタクス5092は、図32(c)と同様であるが色差のフィルタ係数を含まない場合の例である。この場合、パラメータの更新は、輝度のフィルタ係数についてだけ可能である。
また、図33は、APSで符号化されるSAOパラメータを説明するための図であり、図33の(a)はSAOパラメータを符号化/復号するときのシンタクス例を示し、図33の(b)はSAOパラメータのうち、SAO分割パターンについてのシンタクス例を示し、図33の(c)はSAOパラメータのうち、SAOオフセット値についてのシンタクス例を示している。また、図34は、更新制御フラグを用いる場合のSAOパラメータのシンタクスを示している。
図31のシンタクス3101に示すように、APSで符号化されるALFパラメータは、フィルタ構造に関する部分(図31(a)の3102)とフィルタ係数に関する部分(図31(a)の3103)とを含む。“alf_length_luma_minus_5_div2”は1つのフィルタに含まれる係数の個数すなわちフィルタの大きさを表すが、代わりに“alf_shape_flag”といったフラグを用いて、フィルタの大きさや形状を切り替えることで係数の個数を切り替えてもよい。
特徴量ベースALFでは、特徴量空間における所定の領域毎に、算出された特徴量がフィルタと対応づけられている。そして、図31(b)のフィルタ構造3104に示すように、フィルタには、出現順にインデックスが振られる。図31(b)のフィルタ構造3104の「0」〜「3」はフィルタインデックスを示している。
そして、フィルタ構造(ALFStructure:3102)における主要なパラメータは、“al
f_filter_pattern[i]”である。シンタクス3101ではフラグ(u(1))で、「直前の
ブロックとフィルタインデックスが同じかどうか」を示し、フィルタインデクスが異なる場合は、初期値0から開始するフィルタインデックスを1増加する。これにより上述したフィルタ構造を表現している。なお、「直前のブロックとフィルタインデックスが同じかどうか」ではなく、ブロックごとに、直接フィルタインデックス(“alf_region_idx[i]
”ue(v))を格納する構成であってもよい。
f_filter_pattern[i]”である。シンタクス3101ではフラグ(u(1))で、「直前の
ブロックとフィルタインデックスが同じかどうか」を示し、フィルタインデクスが異なる場合は、初期値0から開始するフィルタインデックスを1増加する。これにより上述したフィルタ構造を表現している。なお、「直前のブロックとフィルタインデックスが同じかどうか」ではなく、ブロックごとに、直接フィルタインデックス(“alf_region_idx[i]
”ue(v))を格納する構成であってもよい。
また、フィルタ係数(ALFCoeff:3103)においては、係数の予測方法を示すフラグ
、色差ゴロム符号化のパラメータに続いて、ALFStructureで指定された個数分のフィルタについて、それぞれの係数をゴロム符号化して格納している。
、色差ゴロム符号化のパラメータに続いて、ALFStructureで指定された個数分のフィルタについて、それぞれの係数をゴロム符号化して格納している。
なお、ALFパラメータとしては他に、CU単位のALFオン/オフ制御フラグのツリーがあるが、これはピクチャで共通ではないため、APSに格納せず、スライスヘッダで符号化している。
次に、図32を参照して、更新制御フラグを用いる場合のALFパラメータのシンタクス例について説明する。図32の(a)に示すように、更新制御フラグを用いる場合、フィルタ構造の更新制御フラグである“alf_structure_param_present_flag”と、フィルタ係数の更新制御フラグである“alf_coeff_param_present_flag”とがシンタクス3201に含まれている。そして、これらの値が“True”であれば、フィルタ構造(図32の(b):3202)、およびフィルタ係数(図32の(c):3203)の各パラメータを符号化/復号する。
次に、図33を参照して、SAOパラメータのシンタクスについて説明する。図33(a)のシンタクス3301に示すように、SAOパラメータの場合は、SAO分割パターン“sao_split param(0,0,0)”と、SAOオフセット値“sao_offset_param(0,0,0)”と
を含む。また、SAO分割パターンについては、分割するか否かを四分木で再帰的に指定し(図33の(b):3302)、SAOオフセット値については、分割パターンにしたがって、四分木のリーフにSAOのタイプとオフセット値とを格納(図33の(c):3303)している。
を含む。また、SAO分割パターンについては、分割するか否かを四分木で再帰的に指定し(図33の(b):3302)、SAOオフセット値については、分割パターンにしたがって、四分木のリーフにSAOのタイプとオフセット値とを格納(図33の(c):3303)している。
また、更新制御フラグを用いる場合のSAOパラメータのシンタクスは、図34に示すようになる。図34のシンタクス3401に示すように、SAO分割パターンの更新制御フラグ“sao_split_param_present_flag”と、SAOオフセットの更新制御フラグ“sao_offset_param_present_flag”とを含み、これらの値が“True”のときに、それぞれのパ
ラメータを符号化/復号する。
ラメータを符号化/復号する。
次に、APSを用いた場合の概要について、図35を参照して説明する。図35は、APSが更新される例を示す図である。図35に示す例では、スライスヘッダSH3504がid=1(aps_id =1)で指定されるAPSを参照している。
そして、本実施の形態では、APS3501を送信後、APS3501の更新情報であるAPS3502を送信することにより、APS3501のうち、APS3502にて更新されたパラメータについては更新後のパラメータを参照する。すなわち、スライスヘッダSH3504は、APS3503をid=1のAPSとして参照する。
より具体的に説明すると、APS3501のみが送信された時点では、id=1が示すAPSはフィルタ構造(ALFStructure)がS1a、フィルタ係数(ALFCoeff)がA1aであった(APS3501)。しかしながら、フィルタ係数のみを「A1b」に更新するAPS3502が送信されることにより、APS3501のうち、フィルタ係数のみが更新
されたAPS3503が、id=1によって指定されるAPSとなっている。すなわち、id=1によって指定されるAPSは、フィルタ構造(ALFStructure)がS1a、フィルタ係数(ALFCoeff)がA1b(APS3503)となる。
されたAPS3503が、id=1によって指定されるAPSとなっている。すなわち、id=1によって指定されるAPSは、フィルタ構造(ALFStructure)がS1a、フィルタ係数(ALFCoeff)がA1b(APS3503)となる。
これにより、APSの場合も上述したPPSと同様に、APS3501の一部を更新したい場合に、APS3501に含まれる全てのパラメータ(フィルタ構造およびフィルタ係数)を符号化することなく、更新が可能となる。よって、従来と比較して符号化効率を向上させることができる。
〔実施の形態4にAPSを適用した場合〕
次に、図36〜41を参照して、上述した実施の形態4にAPSを適用した場合について説明する。実施の形態4の場合と同様に、スライスヘッダSHは、複数のAPSを参照することが可能である。
次に、図36〜41を参照して、上述した実施の形態4にAPSを適用した場合について説明する。実施の形態4の場合と同様に、スライスヘッダSHは、複数のAPSを参照することが可能である。
まず、図36、37を参照して、スライスヘッダSHが、複数のAPSを参照する場合のシンタクス例について説明する。図36は、スライスヘッダSHが2つのAPSを参照する場合のシンタクス例を示している。図37は、スライスヘッダSHが複数のAPSを参照する場合のシンタクス例を示しており、図37の(a)は、3つのAPSを参照する場合のシンタクス例を示し、図37の(b)は、不定個数のAPSを参照する場合のシンタクス例を示している。
スライスヘッダSHが、2つのAPSを参照する場合のシンタクスは、例えば図36のシンタクス3601のようになる。シンタクス3601では、“aps_id1”で1つの目の
APSを参照し、さらに、“aps_id2_present_flag”で2つ目のAPSを参照するか否かを判定し、2つ目のAPSを参照する場合は、“aps_id2”で参照している。
APSを参照し、さらに、“aps_id2_present_flag”で2つ目のAPSを参照するか否かを判定し、2つ目のAPSを参照する場合は、“aps_id2”で参照している。
すなわち、シンタクス3601では、“aps_id1”と“aps_id2”との2つのAPSを参照する。また、APSの参照は1個でもよいため、“aps_id2”の存在を示すフラグを符
号化している。
号化している。
また、シンタクス3601における“use_aps_flag”は、APSを用いるか否かを示すフラグである。APSにパラメータが格納される符号化ツールを用いる場合、SPSやPPSなどのパラメータセットにおいて、当該符号化ツールの使用を示すフラグの値が“True”に設定される。これらのフラグのうち、1つでも“True”であれば、“use_aps_flag”=“True”となる。
また、“use_aps_flag”という形式ではなく、符号化ツールそれぞれのオン/オフを示すフラグである“adaptive_loop_filter_enabled_flag”、および“aps_sample_adaptive_offset_enabled_flag” から成る論理式(adaptive_loop_filter_enabled_flag || aps_sample_adaptive_offset_enabled_flag)を用いてもよい。ここで記号 “||”は論理和を表す。
図37のシンタクス3701は、スライスヘッダSHが、APSを3つ参照する場合を示している。APSを3つ参照する場合は、シンタクス3601に、“aps_id3_present_flag”と“aps_id3”とが加えられた構成となっている。また、図37のシンタクス37
02に示すように、スライスヘッダSHが参照するAPSの数を固定しない場合は、“aps_id[i]”を構成に含めて、参照するAPSの数に応じて「i」を決定すればよい。
02に示すように、スライスヘッダSHが参照するAPSの数を固定しない場合は、“aps_id[i]”を構成に含めて、参照するAPSの数に応じて「i」を決定すればよい。
また、複数のAPSを参照可能とした場合、パラメータが重複する可能性がある。図38を参照して説明する。図38は、スライスヘッダSHが複数のAPSを参照する場合を
概念的に示す図であり、図38の(a)はスライスヘッダSHを示し、図38の(b)はスライスヘッダSHによって参照される1つめのAPSを示し、図38の(c)はスライスヘッダSHによって参照される2つめのAPSを示している。
概念的に示す図であり、図38の(a)はスライスヘッダSHを示し、図38の(b)はスライスヘッダSHによって参照される1つめのAPSを示し、図38の(c)はスライスヘッダSHによって参照される2つめのAPSを示している。
図38に示すように、スライスヘッダSH3801が2つのAPSを参照し、2つのAPSのうちの1つであるAPS1(3802)に含まれる“paramA”が「x」であり、も
う1つのAPSであるAPS2(3803)に含まれる“paramA”が「y」ということが
考えられる。
う1つのAPSであるAPS2(3803)に含まれる“paramA”が「y」ということが
考えられる。
この場合に、スライスヘッダSH3801が参照する“paramA”の値をどのようにするかについて、以下の方法が考えられる。
まず、更新制御フラグを用いる場合であれば、“paramA,paramB”に更新制御フラグを
付け、APS2の更新制御フラグに従ってAPS1を更新すればよい。
付け、APS2の更新制御フラグに従ってAPS1を更新すればよい。
この場合の処理の流れについて、図39、40を参照して説明する。図39、40は、更新制御フラグを用いる場合に、スライスヘッダSHがAPSを参照する場合の流れを示すフローチャートである。
図39に示すように、PS情報復号部14は、可変長符号逆多重化部11からAPSを取得すると、まず、当該APSのAPS1のidを復号する(S201)。次に、PS情報復号部14は、APS2のidが符号化されているか否か確認し(S202)、符号化されていなければ(S202でNO)、復号したAPS1のパラメータ値を用いる(S206)。
一方、APS2のidが符号化されていれば(S202でYES)、PS情報復号部14は、APS2のidを復号し(S203)、APS1とAPS2とから生成するAPS1´の記憶領域を確保する(S204)。そして、確保した記憶領域に復号したAPS1の値をコピーする。そして、APS2に含まれている各パラメータの生成・保存処理に入る(S205)。
各パラメータの生成・保存処理では、図40に示すように、PS情報復号部14は、APS2に含まれる各パラメータについて(S221)、更新制御フラグ(更新方法識別子)の値を判定する(S222)。
そして、更新方法識別子の値が「0」の場合は、当該パラメータを初期値に戻す(S223)。また、更新方法識別子の値が「1」の場合は、APS2で符号化されているパラメータを復号し、復号した値をパラメータ値に設定する(S224)。また、更新方法識別子の値が「2」の場合は、そのまま何もしない。よって、APS1で復号された値がパラメータ値として維持される。
これを、APS2に含まれる各パラメータについて実行して(S225)、APS2に含まれている各パラメータの生成・保存処理が終了する。
また、更新制御フラグを用いない場合であれば、複数のAPSからパラメータを取得する方法(優先順位等)を予め定めておき、その方法に従ってパラメータを設定すればよい。例えば、以下の方法が挙げられる。
(1)APS1、APS2それぞれに特定のパラメータを紐付け、相補的にパラメータ全体を構成する(例:APS1→フィルタ係数、APS2→フィルタ構造)。
(2)APS1に格納されたパラメータを優先的に用いる。すなわち、パラメータがAP
S1に無い場合にだけAPS2のパラメータが用いられる。
(3)APS1とAPS2とのうち、id(aps_id)が小さい(または、大きい)方のパラメータを優先する。
(4)APS1とAPS2のうち、後に復号された方を優先する。
(1)APS1、APS2それぞれに特定のパラメータを紐付け、相補的にパラメータ全体を構成する(例:APS1→フィルタ係数、APS2→フィルタ構造)。
(2)APS1に格納されたパラメータを優先的に用いる。すなわち、パラメータがAP
S1に無い場合にだけAPS2のパラメータが用いられる。
(3)APS1とAPS2とのうち、id(aps_id)が小さい(または、大きい)方のパラメータを優先する。
(4)APS1とAPS2のうち、後に復号された方を優先する。
なお、APSを復号して保存するときに、タイムスタンプや連番を付加しておいてもよい。
また、複数のAPSを参照する場合の優先順位は、パラメータごとに定めてもよい。例えば、優先順位の決定方法を、ALFパラメータでは上記(4)、SAOパラメータは上記(1)とするようにAPSの復号方法を定めておいてもよい。さらに、上述した方法によれば、参照するAPSがいくつあっても優先順位を決定して、パラメータを設定することができる。
次に、更新制御フラグを用いない場合の処理の流れについて、図41を参照して説明する。図41は、更新制御フラグを用いない場合に、スライスヘッダSHがAPSを参照する場合の流れを示すフローチャートである。なお、ステップS205(図39)のパラメータの生成・保存処理までは、図39と同様である。
そして、各パラメータの生成・保存処理では、図41に示すように、PS情報復号部14は、APS2に含まれる各パラメータについて(S241)、参照対象の複数のAPSのうち、最も優先度の高いAPSに含まれているパラメータ値を、パラメータに設定する(S242)。
これを、APS2に含まれる各パラメータについて実行して(S243)、APS2に含まれている各パラメータの生成・保存処理が終了する。
なお、パラメータごとに優先順位を設定しない場合は、各パラメータについてステップS242を実行すればよい。
また、スライスヘッダSHがAPS1およびAPS2を参照しても、パラメータが設定されない場合、すなわち、APS1にもAPS2にも当該パラメータの値が符号化されていない場合は、以下のいずれかの処理を行うことにより対応することができる。
(1)エンコーダ/デコーダ共通のデフォルト値を予め格納しておき、これを用いる。この場合は、当該パラメータを符号化する必要はない。
(2)所定の“aps_id”のAPSをデフォルト値として参照する。この場合、さらに以下の方法を挙げることができる。
(1)エンコーダ/デコーダ共通のデフォルト値を予め格納しておき、これを用いる。この場合は、当該パラメータを符号化する必要はない。
(2)所定の“aps_id”のAPSをデフォルト値として参照する。この場合、さらに以下の方法を挙げることができる。
(2−1)所定の“aps_id”(例えば“aps_id”=0)のAPSを他のAPSに先んじて符号化しておき、これを参照する。
(2−2)所定の“aps_id”のAPSを固定値として、エンコーダ/デコーダ共通で扱う。この場合、当該APSを符号化する必要はない。
(2−3)最初に復号されたAPSのid(“aps_id”)を記憶し、これをデフォルト値として用いる。
(2−4)APSのシンタクスに、参照されるため保存が必要であることを示すフラグを新たに設け、任意のAPSにおいて当該フラグをTrueと設定し、当該APSをデフォルト値として参照する。
このような方法により、APS1とAPS2との両方にパラメータが符号化されていない場合でも、パラメータを設定して処理を続けることが可能となる。
〔実施の形態5〕
次に、本発明のさらに他の実施の形態について、図42〜48に基づいて説明すれば、以下の通りである。本実施の形態において、上述した実施の形態と異なる点は、スライスヘッダSHが複数のAPSを参照する場合の参照の方法である。
次に、本発明のさらに他の実施の形態について、図42〜48に基づいて説明すれば、以下の通りである。本実施の形態において、上述した実施の形態と異なる点は、スライスヘッダSHが複数のAPSを参照する場合の参照の方法である。
本実施の形態における、APSの参照方法の概要について、図42を参照して説明する。図42は、スライスヘッダSHが複数のAPSを参照するときの参照方法の概要を示す図である。
図42に示すように、本実施の形態では、スライスヘッダSH(4201)自体は、1つのAPS2(4202)を参照しており(“aps_id”=1)、APS2(4202)が
さらにAPS1(4203)を参照している(“next_aps_id”=0)。
さらにAPS1(4203)を参照している(“next_aps_id”=0)。
これにより、図42に示すように、APS2(4202)には、“paramA”は符号化されているが、“paramB”は符号化されていない場合であっても、さらに、APS1(420
3)を参照することにより、“paramB”を取得することができる。
3)を参照することにより、“paramB”を取得することができる。
また、APS1の各パラメータの更新方法は、更新制御フラグで制御することができる。
なお、ここでは、APS1は他のAPSを参照していない(“next_aps_id”=(null))ので、これ以上他のAPSを参照することせずに処理は終了するが、APSの参照は2つに限られるものではない。また、APSの参照が終了したにもかかわらず、未設定のパラメータが存在する場合は、上記実施の形態4にAPSを適用した場合に記載した方法により設定することができる。
このように、APSが他のAPSを参照する構成によれば、スライスヘッダSHから1つのAPS、1つのAPSから他の1つのAPSというように参照しているので、依存関係の追跡処理が容易となる。また、ランダムアクセス時には、スライスヘッダSHから参照されたAPSから開始して必要なパラメータが取得できるAPSまでの最小限の参照を辿ればよいので、最古のAPSから更新履歴を全て処理する必要がなくなり、処理負荷を軽くすることができる。さらに、APS自体の上書きを行わないため、パラメータの再利用が容易となる。
次に、APSが他のAPSを参照する場合の具体的な使用例について、図43を参照して説明する。図43はAPSが他のAPSを参照する場合の具体的な使用例を示す図であり、図43の(a)はALFパラメータを固定し、SAOパラメータのみ変更する場合の使用例を示し、図43の(b)はALFパラメータのうちフィルタ係数を固定し、フィルタ構造を変更する場合の使用例を示す。
図43の(a)に示すように、ALFパラメータを固定し、SAOパラメータを随時変更する場合、最初に1回だけ、APS1(4301)でALFパラメータ(フィルタ係数とフィルタ構造)を指定する。そして、それ以降のAPS2(4302)、APS3(4303)では、SAOパラメータだけを指定し、ALFパラメータについてはAPS1(4301)を参照する。
また、図43の(b)に示すように、ALFパラメータのフィルタ係数だけを固定する場合(すなわち、フィルタを使い回す場合)、APS1(4304)ではフィルタ係数だけを指定する。そして、それ以降のALF2(4305)、ALF3(4306)では、フィルタ構造のみを指定し、フィルタ係数についてはALF1(4304)を参照する。
次に、図44を参照して、APSから他のAPSを参照する場合のシンタクス例について説明する。図44は、APSから他のAPSを参照する場合のシンタクスを示す図であり、図44の(a)はスライスヘッダSHのシンタクス例を示し、図44の(b)はAPSのシンタクス例を示している。
図44の(a)に示すように、スライスヘッダSHのシンタクス4401には、参照するAPSを特定するための“aps_id”が含まれている。また、図44の(b)に示すように、APSのシンタクス4402には、当該APSが参照するAPSを特定するための“next_aps_id”が含まれている。
次に、図45〜48を参照して、APSが他のAPSを参照する場合の処理の流れについて説明する。図45は、更新制御フラグを用いる場合の処理の流れを示すフローチャートである。図46は、APSを参照する処理の概要を示す図である。図47は、更新制御フラグを用いない場合の処理の流れを示すフローチャートである。
図45に示すように、APSが他のAPSを参照する場合、PS情報復号部14はまずスライスヘッダSHが参照しているAPSのid(“aps_id”)を復号し、参照する(S201)。ここで、参照しているAPSを「参照中APS」とする。
図46において、スライスヘッダSH4601が“aps_id”=1が示すAPS4602を参照することに対応する。ここでは、APS4602が参照中APSとなる。
次に、PS情報復号部14は、APS1´として記憶領域を確保し、参照中APSからパラメータをコピーする(S202)。そして、PS情報復号部14は、参照中APSが他のAPSを参照しているか否かを判定し(S203)、参照していれば(S203でYES)、参照先のAPSのid(“next_aps_id”)を復号し、参照中APSをこの新た
に参照先とされたAPSに変更する(S204)。なお、参照中APSが他のAPSを参照しているか否かは、“next_aps_id”の真偽を判定して行うことができる。
に参照先とされたAPSに変更する(S204)。なお、参照中APSが他のAPSを参照しているか否かは、“next_aps_id”の真偽を判定して行うことができる。
図46において、APS4602がid=0(“next_aps_id=0”)のAPS4603
を参照していることに対応し、APS4603が参照中APSとなる。
を参照していることに対応し、APS4603が参照中APSとなる。
そして、PS情報復号部14は、参照中APSにおける更新制御フラグに基づいてAPS1´のパラメータを更新する(S205)。
図46において、APS4604が示すように、“paramA”=y、“paramB”=wにパラメータが設定されることに対応する。なお、ここでは、更新制御フラグが「現在値維持」を示しているものとする。
その後、ステップS203に戻る。
一方、参照中APSが他のAPSを参照していない場合(S203でNO)、APS1´の未設定パラメータについてデフォルト値をコピーして(S206)、処理を終了する。以上が、更新制御フラグを用いた場合の処理の流れである。
なお、更新制御フラグを用いずに、全て上書きでパラメータを設定してもよいが、更新フラグを用いた方が、必要なパラメータのみを更新することができるので、効率が向上する。
次に、図47を参照して、更新制御フラグを用いない場合の処理の流れを説明する。更新制御フラグを用いる場合と同様に、PS情報復号部14は、まず、スライスヘッダSHが参照しているAPSのid(“aps_id”)を復号し、参照する(S221)。ここで、参照しているAPSを「参照中APS」とする。
次に、PS情報復号部14は、APS1´として記憶領域を確保し、参照中APSからパラメータをコピーする(S222)。そして、PS情報復号部14は、APS1´に未設定のパラメータが存在するか否かを判定する(S223)。未設定のパラメータが存在すれば(S223でYES)、次に、PS情報復号部14は、参照中APSが他のAPSを参照しているか否かを判定する(S224)。
そして、他のAPSを参照していれば(S224でYES)、参照先のAPSのid(“next_aps_id”)を復号し、参照中APSをこの新たに参照先とされたAPSに変更す
る(S225)。次に、PS情報復号部14は、参照中APSから、APS1´で未設定のパラメータをコピーする(S226)。その後、ステップS223に戻る。
る(S225)。次に、PS情報復号部14は、参照中APSから、APS1´で未設定のパラメータをコピーする(S226)。その後、ステップS223に戻る。
一方、APS1´に未設定のパラメータが存在しなければ(S223でNO)、そのまま処理を終了する。また、参照中APSが他のAPSを参照していない場合(S224でNO)、APS1´の未設定パラメータについてデフォルト値をコピーして(S227)、処理を終了する。以上が、更新制御フラグを用いない場合の処理の流れである。
更新制御フラグを用いない場合でも、未設定のパラメータについてのみ値をコピーするので、不要なコピーは生じない。
なお、参照中APSが他のAPSを参照しているか否かの判定は、参照の深さが所定階層に至っていれば、“next_aps_id”を「False」と見なして判定してもよい。例えば、参照を2、3階層で制限すれば、参照を何度も辿ることで処理負荷が増大してしまうことを防止できる。また、パラメータ毎に階層制限を異ならせてもよい。
また、参照するAPSをパラメータ毎に異ならせたり、一部のパラメータのみ、他のAPSを参照する構成であってもよい。
また、参照先は、同種(シンタクスが同一)のパラメータセットPSでなくともよい。例えば、更新周期がより長い他種のパラメータセットPSに同じパラメータを格納できるのであれば、当該他種のパラメータセットPSにパラメータを格納してもよい。これにより、より符号量を削減することが可能となる。
他種のパラメータセットを参照するには、例えば、以下のようにしてフラグによってidの意味を切り換えて行うことができる。
通常は“aps_id”によってAPSのみを参照する場合に、以下のようなシンタクスによって行うことができる。
if (aps_ref_flag) {
aps_id
} else {
other_ps_id (例えば“pps_id”)
}
また、参照先のパラメータセットPSのidを、明示的に符号化しないことも可能である。例えば、{参照中PSのid}−1を、参照先パラメータセットPSのidとしたり、固定のパラメータセットPSを示すidを用いる構成などであってもよい。
aps_id
} else {
other_ps_id (例えば“pps_id”)
}
また、参照先のパラメータセットPSのidを、明示的に符号化しないことも可能である。例えば、{参照中PSのid}−1を、参照先パラメータセットPSのidとしたり、固定のパラメータセットPSを示すidを用いる構成などであってもよい。
ここまでは、APSについて説明したが、APSが他のAPSを参照する構成をそのままPPSに適用することも可能である。
PPSに適用した場合のシンタクス例について、図48を参照して説明する。図48は、PPSが他のPPSを参照する場合のシンタクス例を示す図であり、図48の(a)はスライスヘッダSHのシンタクスを示し、図48の(b)はPPSのシンタクスを示す。
図48(a)のシンタクス4801に示すように、スライスヘッダは“pic_parameter_set id”で特定されるPPSを参照する。そして、図48(b)のシンタクス4802に示すように、PPSは、“next_ pps_ id”で特定されるPPSをさらに参照する。
〔実施の形態6〕
次に、本発明のさらに他の実施の形態について、図49〜56に基づいて説明すれば、以下の通りである。本実施の形態では、ALFパラメータのフィルタ係数とフィルタ構造とを分割して、また、SAOパラメータの分割パターンとオフセット値とを分割して送信するものである。換言すれば、本実施の形態では、APSをいくつかのパラメータ(またはパラメータ群)に分割するものである。
次に、本発明のさらに他の実施の形態について、図49〜56に基づいて説明すれば、以下の通りである。本実施の形態では、ALFパラメータのフィルタ係数とフィルタ構造とを分割して、また、SAOパラメータの分割パターンとオフセット値とを分割して送信するものである。換言すれば、本実施の形態では、APSをいくつかのパラメータ(またはパラメータ群)に分割するものである。
従来は、ALFパラメータのフィルタ係数とフィルタ構造を同時に、またSAOパラメータの分割パターンとオフセット値とを同時に送り、更新していた。よって、いずれか一方のみ更新(あるいは再利用)することはできず、符号化効率が低下していた。
しかしながら、本実施の形態によれば、ALFパラメータのフィルタ係数とフィルタ構造とを分割し、またSAOパラメータの分割パターンとオフセット値とを分割して送信するので、上記の弊害を防止して符号化効率を向上させることができる。
APSをパラメータ(群)に分ける方法としては、以下の3つを挙げることができる。
(1)更新制御フラグ(“present_flag”)を用いる方法。
APSの中に、複数のパラメータが存在(符号化)しているときに、パラメータ(群)ごとに更新制御フラグを備えることにより、それぞれのパラメータ(群)ごとに、存在の有無を切り換えることができる。
例えば、あるパラメータを再利用する場合、複数のAPSを、フラグを切り換えて格納するパラメータを変えて送る。すなわち、先に送ったAPSに含まれるパラメータは、後のAPSではフラグでオフ(存在しない)にして送る。
更新制御フラグを用いる場合のAPSのシンタクス例について、図51を参照して説明する。図51は、更新制御フラグを用いる場合のAPSのシンタクスを示す図である。更新制御フラグを用いる場合は、それぞれのパラメータについて“present_flag”が設けられている。図51のシンタクス5101では、“aps_alf_coeff_param_present_flag”“aps_alf_structure_param_present_flag”“aps_sao_split_param_present_flag”“aps_sao_offset_param_present_flag”が設けられている。
そして、従来のAPSにあった“aps_adaptive_loop_filter_flag”等は、存在せず、 更新制御フラグで代替している。なお、更新制御フラグは、ここでは2値フラグとしたが、上記実施の形態で記載したような3値フラグ(“update_mode”)でもよい。また、
ALFパラメータおよびSAOパラメータは、それぞれ2種類に分けたが、これらをそれぞれ1つのパラメータ群とするものであってもよい。
ALFパラメータおよびSAOパラメータは、それぞれ2種類に分けたが、これらをそれぞれ1つのパラメータ群とするものであってもよい。
(2)データタイプ(“data_type”)を用いる方法。
APSの中で、複数のパラメータから1つのパラメータを選択するデータタイプフラグ(“data_type”)を格納して、パラメータを指定する。また、例えば“num_aps_data_type”などのシンタクスを追加して必要数だけループすることで、1つのAPSに複数のパラメータを格納するものであってもよい。
図52〜54を参照してデータタイプ(“data_type”)を用いるときのAPSのシン
タクス例について説明する。
タクス例について説明する。
図52は、APSにおいて、ALFパラメータとSAOパラメータとを分ける例を示している。図52のシンタクス5201では、“aps_data_type”によりALFパラメータ
とSAOパラメータとの何れを当該APSに格納しているかを指定している。また、“APS_DATA_TYPE_ALF”、および“APS_DATA_TYPE_SAO”は、各パラメータと対応づけられた定数である。
とSAOパラメータとの何れを当該APSに格納しているかを指定している。また、“APS_DATA_TYPE_ALF”、および“APS_DATA_TYPE_SAO”は、各パラメータと対応づけられた定数である。
なお、SAOパラメータは、さらに、分割パターン(“APS_DATA_TYPE_SAO_SPLIT”)
とオフセット値(“APS_DATA_TYPE_SAO_OFFSET”)とに細分化してもよい。
とオフセット値(“APS_DATA_TYPE_SAO_OFFSET”)とに細分化してもよい。
また、“aps_data_type”は、従前の“aps_符号化パラメータ_flag”の機能を含むので、“aps_符号化パラメータ_flag”は含まれていない。
図53は、シンタクス5201よりも詳細に、具体的には、ALFをフィルタ係数とフィルタ構造とに分ける例を示している。
図53のシンタクス5301では、“aps_data_type”によりALFパラメータのフィ
ルタ係数と、フィルタ構造と、SAOパラメータとの何れを当該APSに格納しているかを指定している。
ルタ係数と、フィルタ構造と、SAOパラメータとの何れを当該APSに格納しているかを指定している。
図54は、“data_type”を複数個用いてAPS内に複数のパラメータを格納する例を
示している。
示している。
図54のシンタクス5401では、“data_type”の個数を、パラメータ“num_aps_data_type_minus1”で示している。また、“NumApsDataType”= “num_aps_data_type_minus1”+1である。
これにより、“data_type”の個数分のパラメータを格納することができる。
なお、上記[i]のループを、“aps_data_type[i]”のループとパラメータのループとに
分け、先に“data_type”を全て格納する構成であってもよい。
分け、先に“data_type”を全て格納する構成であってもよい。
(3)個別のパラメータセットPSを用いる方法
複数のパラメータそれぞれに個別のデータ構造を持たせることによって、それぞれのパ
ラメータを個別に送信する。例えば、APSをフィルタ係数のパラメータセットであるALFCPSと、フィルタ構造のパラメータセットであるALFSPSと、SAOパラメータのパラメータセットであるSAOPSとの3つのパラメータセットPSに分けて送信する。
複数のパラメータそれぞれに個別のデータ構造を持たせることによって、それぞれのパ
ラメータを個別に送信する。例えば、APSをフィルタ係数のパラメータセットであるALFCPSと、フィルタ構造のパラメータセットであるALFSPSと、SAOパラメータのパラメータセットであるSAOPSとの3つのパラメータセットPSに分けて送信する。
図55に具体的なシンタクス例を示す。図55は、複数のパラメータそれぞれに個別のデータ構造を持たせるシンタクス例であり、図55の(a)はフィルタ係数のパラメータセットのシンタクス例であり、図55の(b)はフィルタ構造のパラメータセットのシンタクス例であり、図55の(c)はSAOパラメータのパラメータセットのシンタクス例である。
フィルタ係数のみが独立したパラメータセットALFCPSは、図55(a)のシンタクス5501に示すようになる。なお、格納するフィルタには、上述したように先頭から0、1、2、…というようにIDを付与する。
フィルタ構造のみが独立したパラメータセットALFSPSは、図55(b)のシンタクス5502に示すようになる。基本的な構造は、ALFのシンタクスからフィルタ構造に関する部分が独立した形となっているが、“alfcps_id”によりALFCPSを参照す
ることで、フィルタ構造とフィルタとが対応付けられている。
ることで、フィルタ構造とフィルタとが対応付けられている。
また、シンタクス5502における“AlfNumOfFilters”=“alf_no_filters_minus1+1
”であり、このフィルタ構造に必要なフィルタの数を示している。
”であり、このフィルタ構造に必要なフィルタの数を示している。
また、シンタクス5502の部分5511にて、必要なフィルタの数だけ、フィルタインデックスに、定義済みのフィルタ(ここでは、ALFCPSのIdと当該ALFCPSにおけるフィルタidとで特定)を対応づけている。
また、シンタクス5502の部分5512にて、特徴量空間における(図31(b)参照)、フィルタインデックスごとに定義済みフィルタを指定している。
SAOパラメータのみが独立したパラメータセットSAOPSは、図55(c)のシンタクス5503に示すようになる。なお、シンタクス5503は、さらに、分割パラメータ“sao_split_param”とオフセット値“sao_offset_param”とに分ける構成(例えば、
SAOSPSとSAOOPS)であってもよい。
SAOSPSとSAOOPS)であってもよい。
次に、APSを、ALFCPS、ALFSPS、およびSAOPSに分割した場合のスライスヘッダSHのシンタクス例を図56に示す。図56のシンタクス5601に示すように、APSをALFCPS、ALFSPS、およびSAOPSの3つに分割した場合、“alfsps_id”と“saops_id”との2つのみを指定する。これは、フィルタ係数(ALF
CPS)はシンタクスの中でフィルタ構造と対応付けられているためである。
CPS)はシンタクスの中でフィルタ構造と対応付けられているためである。
次に、上述した3つの方法を実現するための構成について、図49、50を参照して説明する。図49、50は、APSを複数のパラメータ(群)に分割する場合のPS情報復号部14の概要を示す機能ブロック図である。
更新制御フラグを用いる場合は、図49に示すように、PS情報復号部14に、SPS復号部141、PPS復号部142、SH復号部143、APS復号部144を含み、APS復号部144に、更新制御フラグ151、ALF係数情報復号部152、ALF構造情報復号部153、およびSAO情報復号部154を含む構成となる。
SPS復号部141は、パラメータセット情報PSIに含まれるシーケンスパラメータセットSPSを復号するものである。PPS復号部142は、パラメータセット情報PSIに含まれるピクチャパラメータセットPPSを復号するものである。SH復号部143は、パラメータセット情報PSIに含まれるスライスヘッダSHを復号するものである。
APS復号部144は、パラメータセット情報PSIに含まれるAPSを復号するものである。更新制御フラグ151は、APSに含まれている更新制御フラグを抽出、復号し、その内容に応じて符号化データをALF係数情報復号部152、ALF構造情報復号部153、およびSAO情報復号部154のいずれかに出力するものである。
ALF係数情報復号部152は、符号化データに含まれるフィルタ係数を復号するものである。ALF構造情報復号部153は、符号化データに含まれるフィルタ構造を復号するものである。SAO情報復号部154は、符号化データに含まれるSAPパラメータを復号するものである。
なお、データタイプ(“data_type”)を用いる場合は、図49のブロック図において
、更新制御フラグ151の代わりにデータタイプ抽出部を設け、データタイプ抽出部がAPSに含まれているデータタイプ“data_type”を抽出、復号し、その内容に応じて符号
化データをALF係数情報復号部152、ALF構造情報復号部153、およびSAO情報復号部154のいずれかに出力すればよい。
、更新制御フラグ151の代わりにデータタイプ抽出部を設け、データタイプ抽出部がAPSに含まれているデータタイプ“data_type”を抽出、復号し、その内容に応じて符号
化データをALF係数情報復号部152、ALF構造情報復号部153、およびSAO情報復号部154のいずれかに出力すればよい。
次に、個別のパラメータセットを用いる場合について、図50を参照して説明する。個別のパラメータセットを用いる場合は、図49のAPS復号部144に代えて、適応PS抽出部161、ALF係数PS復号部162、ALF構造PS復号部163、およびSAOPS復号部164を設ける構成とすればよい。
適応PS抽出部161は、APSに含まれるパラメータがフィルタ係数、フィルタ構造、およびSAOパラメータのいずれであるのかを判定し、符号化データをALF係数PS復号部162、ALF構造PS復号部163、およびSAOPS復号部164のうち、対応する復号部へ出力するものである。
ALF係数PS復号部162は、フィルタ係数のパラメータセット(ALFCPS)を復号するものである。ALF構造PS復号部163は、フィルタ構造のパラメータセット(ALFSPS)を復号するものである。SAOPS復号部164は、SAOパラメータのパラメータセット(SAOPS)を復号するものである。
例えば、ALFパラメータにおいて、先にフィルタ係数を送り、後からフィルタ構造を随時更新する場合では、次のようの方法が考えられる。
(更新制御フラグを用いる場合)
まず、“alf_coeff_param_present_flag”=TRUE、“alf_structure_param_present_flag”=FALSEとしてAPSを符号化する。これにより、フィルタ係数だけが伝送される。
まず、“alf_coeff_param_present_flag”=TRUE、“alf_structure_param_present_flag”=FALSEとしてAPSを符号化する。これにより、フィルタ係数だけが伝送される。
次に、“alf_coeff_param_present_flag”=FALSE、“alf_structure_param_present_flag”=TRUEとしてAPSを符号化する。これにより、フィルタ構造だけが更新される。
(データタイプを用いる場合)
まず、“aps_data_type”= “APS_DATA_TYPE_ALF_COEFF”としてAPSにフィルタ係数を格納して伝送する。
まず、“aps_data_type”= “APS_DATA_TYPE_ALF_COEFF”としてAPSにフィルタ係数を格納して伝送する。
次に、“aps_data_type”=“APS_DATA_TYPE_ALF_STRUCTURE”としてAPSにフィルタ
構造を格納して伝送する。
構造を格納して伝送する。
(個別のパラメータセットを用いる場合)
まず、ALFCPSでフィルタ係数を伝送する。次に、ALFSPSでフィルタ構造を伝送する。
まず、ALFCPSでフィルタ係数を伝送する。次に、ALFSPSでフィルタ構造を伝送する。
以上のようにすることで、フィルタ係数とフィルタ構造とを分けて伝送することが可能となる。
次に、SAOパラメータにおいて、先に分割パターンを送り、後からオフセット値を随時更新する場合について説明する。先に分割パターンを送り、後からオフセット値を随時更新する場合のPS情報復号部14は、図60に示すように、図50のSAOPS復号部164に代えて、SAO分割PS復号部165、およびSAOオフセットPS復号部166を備える構成となる。
SAO分割PS復号部165は、SAOパラメータのパラメータセットから分割パターンを復号するものであり、SAOオフセットPS復号部166は、SAOパラメータのパラメータセットからオフセット値を復号するものである。
(更新制御フラグを用いる場合)
まず、“sao_split_param_present_flag”=TRUE、“sao_offset_param_present_flag”=FALSEとしてAPSを符号化する。これにより、分割パターンだけが伝送される。
まず、“sao_split_param_present_flag”=TRUE、“sao_offset_param_present_flag”=FALSEとしてAPSを符号化する。これにより、分割パターンだけが伝送される。
次に、“sao_split_param_present_flag”=FALSE、“sao_offset_param_present_flag
”=TRUEとしてAPSを符号化する。これにより、オフセット値だけが更新される。
”=TRUEとしてAPSを符号化する。これにより、オフセット値だけが更新される。
(データタイプを用いる場合)
まず、“aps_data_type” = APS_DATA_TYPE_SAO_SPLITとしてAPSに分割パターンを
格納して伝送する。
まず、“aps_data_type” = APS_DATA_TYPE_SAO_SPLITとしてAPSに分割パターンを
格納して伝送する。
次に、“aps_data_type” = APS_DATA_TYPE_SAO_OFFSETとしてAPSにオフセット値を格納して伝送する。
(個別のパラメータセット用いる場合)
まず、SAOSPSで分割パターンを伝送する。次に、SAOOPSでオフセット値を伝送する。
まず、SAOSPSで分割パターンを伝送する。次に、SAOOPSでオフセット値を伝送する。
以上のようにすることで、SAOパラメータの分割パターンとオフセット値とを分けて伝送することが可能となる。
なお、上記実施の形態では、APSの場合について説明したが、APSに限られず他のパラメータセット、例えばPPSに適用することも可能である。
〔付記事項1〕
上述した実施の形態では、フィルタ構造について、各領域にフィルタインデックスを割り当てる構成を説明したが、さらに、フィルタのオン/オフ情報が付加された構成であってもよい。なお、フィルタのオン/オフ情報が付加された場合で、フィルタがオフとされた領域については、フィルタインデックスは付与されない。
上述した実施の形態では、フィルタ構造について、各領域にフィルタインデックスを割り当てる構成を説明したが、さらに、フィルタのオン/オフ情報が付加された構成であってもよい。なお、フィルタのオン/オフ情報が付加された場合で、フィルタがオフとされた領域については、フィルタインデックスは付与されない。
また、フィルタのオン/オフ情報を、フィルタ構造から独立させたパラメータ群とする構成であってもよい。フィルタのオン/オフ情報を独立させることにより、フィルタ係数やフィルタ構造に依存することなく、上述した更新制御フラグ、データタイプ、個別のパラメータセットを用いて制御を行うことが可能となる。
〔付記事項2〕
フィルタ係数、フィルタ構造、SAO分割パターン、SAOオフセット値等の色差に関するパラメータの全部または一部を、輝度に関するパラメータセットと共用する構成であってもよい。
フィルタ係数、フィルタ構造、SAO分割パターン、SAOオフセット値等の色差に関するパラメータの全部または一部を、輝度に関するパラメータセットと共用する構成であってもよい。
例えば、フィルタ構造は輝度と同じパラメータセットを参照し、フィルタ係数は色差用の値を符号化するものであってもよい。また、SAO分割パターンは輝度と同じパラメータセットを参照し、SAOオフセット値は色差用の値を符号化するものであってもよい。
〔応用例〕
上述した動画像復号装置1および動画像符号化装置2は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
上述した動画像復号装置1および動画像符号化装置2は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像復号装置1および動画像符号化装置2を、動画像の送信及び受信に利用できることを、図57を参照して説明する。
図57(a)は、動画像符号化装置2を搭載した送信装置Aの構成を示したブロック図である。図57(a)に示すように、送信装置Aは、動画像を符号化することによって符号化データを得る符号化部A1と、符号化部A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部A2と、変調部A2が得た変調信号を送信する送信部A3と、を備えている。上述した動画像符号化装置2は、この符号化部A1として利用される。
送信装置Aは、符号化部A1に入力する動画像の供給源として、動画像を撮像するカメラA4、動画像を記録した記録媒体A5、動画像を外部から入力するための入力端子A6、および画像を生成または加工する画像処理装置A7を更に備えていてもよい。図57(a)においては、これら全てを送信装置Aが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体A5と符号化部A1との間に、記録媒体A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(不図示)を介在させるとよい。
図57(b)は、動画像復号装置1を搭載した受信装置Bの構成を示したブロック図である。図57(b)に示すように、受信装置Bは、変調信号を受信する受信部B1と、受信部B1が受信した変調信号を復調することによって符号化データを得る復調部B2と、復調部B2が得た符号化データを復号することによって動画像を得る復号部B3と、を備えている。上述した動画像復号装置1は、この復号部B3として利用される。
受信装置Bは、復号部B3が出力する動画像の供給先として、動画像を表示するディスプレイB4、動画像を記録するための記録媒体B5、及び、動画像を外部に出力するため
の出力端子B6を更に備えていてもよい。図57(b)においては、これら全てを受信装置Bが備えた構成を例示しているが、一部を省略しても構わない。
の出力端子B6を更に備えていてもよい。図57(b)においては、これら全てを受信装置Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部B3と記録媒体B5との間に、復号部B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置A/受信装置Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置A/受信装置Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービ
スなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置A/受信装置Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
スなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置A/受信装置Bの一例である(通常、LANにおいては伝送媒体として無線又は有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置A及び受信装置Bの双方として機能する。
次に、上述した動画像復号装置1および動画像符号化装置2を、動画像の記録及び再生に利用できることを、図58を参照して説明する。
図58(a)は、上述した動画像復号装置1を搭載した記録装置Cの構成を示したブロック図である。図58(a)に示すように、記録装置Cは、動画像を符号化することによって符号化データを得る符号化部C1と、符号化部C1が得た符号化データを記録媒体Mに書き込む書込部C2と、を備えている。上述した動画像符号化装置2は、この符号化部C1として利用される。
なお、記録媒体Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray Disc:登録商標)などのように、記録装置Cに内蔵されたドライブ装置
(不図示)に装填されるものであってもよい。
(不図示)に装填されるものであってもよい。
また、記録装置Cは、符号化部C1に入力する動画像の供給源として、動画像を撮像するカメラC3、動画像を外部から入力するための入力端子C4、動画像を受信するための
受信部C5、および、画像を生成または加工する画像処理装置C6を更に備えていてもよい。図58(a)においては、これら全てを記録装置Cが備えた構成を例示しているが、一部を省略しても構わない。
受信部C5、および、画像を生成または加工する画像処理装置C6を更に備えていてもよい。図58(a)においては、これら全てを記録装置Cが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部C5と符号化部C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置Cとしては、例えば、DVDレコーダ、BDレコーダ、HD(Hard
Disk)レコーダなどが挙げられる(この場合、入力端子C4又は受信部C5が動画像の
主な供給源となる)。また、カムコーダ(この場合、カメラC3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部C5または画像処理装置C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラC3又は受信部C5が動画像の主な供給源となる)なども、このような記録装置Cの一例である。
Disk)レコーダなどが挙げられる(この場合、入力端子C4又は受信部C5が動画像の
主な供給源となる)。また、カムコーダ(この場合、カメラC3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部C5または画像処理装置C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラC3又は受信部C5が動画像の主な供給源となる)なども、このような記録装置Cの一例である。
図58(b)は、上述した動画像復号装置1を搭載した再生装置Dの構成を示したブロックである。図58(b)に示すように、再生装置Dは、記録媒体Mに書き込まれた符号化データを読み出す読出部D1と、読出部D1が読み出した符号化データを復号することによって動画像を得る復号部D2と、を備えている。上述した動画像復号装置1は、この復号部D2として利用される。
なお、記録媒体Mは、(1)HDDやSSDなどのように、再生装置Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのように、再生装置Dに接続されるタイプのものであってもよいし、(3)DVDやBDなどのように、再生装置Dに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、再生装置Dは、復号部D2が出力する動画像の供給先として、動画像を表示するディスプレイD3、動画像を外部に出力するための出力端子D4、及び、動画像を送信する送信部D5を更に備えていてもよい。図58(b)においては、これら全てを再生装置Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部D2と送信部D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子D4が動画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイD3が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子D4又は送信部D5が動画像の主な供給先となる)、ラップトップ型又はタブレット型PC(この場合、ディスプレイD3又は送信部D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイD3又は送信部D5が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイD3又は送信部D5が動画像の
主な供給先となる)なども、このような再生装置Dの一例である。
主な供給先となる)なども、このような再生装置Dの一例である。
(ソフトウェアによる構成)
最後に、動画像復号装置1および動画像符号化装置2の各ブロック、特に可変長符号逆多重化部11、TT情報復号部12、逆量子化・逆変換部13、PS情報復号部14、予測画像生成部15、符号化設定部21、変換・量子化部22、可変長符号化部23、逆量子化・逆変換部24、および予測画像生成部25は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現していてもよいし、CPU(central processing unit)を用いてソフトウェア的に実現してもよい。
最後に、動画像復号装置1および動画像符号化装置2の各ブロック、特に可変長符号逆多重化部11、TT情報復号部12、逆量子化・逆変換部13、PS情報復号部14、予測画像生成部15、符号化設定部21、変換・量子化部22、可変長符号化部23、逆量子化・逆変換部24、および予測画像生成部25は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現していてもよいし、CPU(central processing unit)を用いてソフトウェア的に実現してもよい。
後者の場合、動画像復号装置1および動画像符号化装置2は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置1および動画像符号化装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記の動画像復号装置1および動画像符号化装置2に供給し、そのコンピュータ(またはCPUやMPU(micro processing unit))が記録媒体に記録されているプログラムコー
ドを読み出し実行することによっても、達成可能である。
ドを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(compact disc read-only memory)/MOディスク(magneto-optical disc)/MD(Mini Disc)/DVD(digital versatile disc)/CD−R(CD Recordable)等の光ディスクを含む
ディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/フラッシュROM等の半導体メモ
リ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
ディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/フラッシュROM等の半導体メモ
リ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、動画像復号装置1および動画像符号化装置2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(local area network)、ISDN(integrated services digital network)、VAN(value-added network)、CATV(community antenna television/cable television)通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(institute of electrical and electronic engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(asymmetric digital subscriber loop)回線等の有線でも、IrDA(infrared data association)やリモコンのような赤外線、Bluetoo
th(登録商標)、IEEE802.11無線、HDR(high data rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話
網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
th(登録商標)、IEEE802.11無線、HDR(high data rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話
網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、符号化データを復号する画像復号装置、および、符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
1 動画像復号装置(画像復号装置)
2 動画像符号化装置(画像符号化装置)
12 TT情報復号部(復号画像生成手段)
13 逆量子化・逆変換部(復号画像生成手段)
14 PS情報復号部(パラメータ取得手段、パラメータ更新情報取得手段、パラメータ更新手段)
15 予測画像生成部(復号画像生成手段)
22 変換・量子化部(パラメータセット作成手段、パラメータ更新情報生成手段)
23 可変長符号化部(符号化データ出力手段)
25 予測画像生成部(パラメータセット作成手段、パラメータ更新情報生成手段)
2 動画像符号化装置(画像符号化装置)
12 TT情報復号部(復号画像生成手段)
13 逆量子化・逆変換部(復号画像生成手段)
14 PS情報復号部(パラメータ取得手段、パラメータ更新情報取得手段、パラメータ更新手段)
15 予測画像生成部(復号画像生成手段)
22 変換・量子化部(パラメータセット作成手段、パラメータ更新情報生成手段)
23 可変長符号化部(符号化データ出力手段)
25 予測画像生成部(パラメータセット作成手段、パラメータ更新情報生成手段)
Claims (12)
- 複数の復号単位からなる符号化データから復号画像を生成する画像復号装置であって、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して該パラメータセットを復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成する復号画像生成手段を備えた画像復号装置において、
上記パラメータセットに含まれるパラメータの少なくとも一部の更新方法を示すパラメータ更新情報を、更新後のパラメータを用いて復号する復号単位に先行して取得するパラメータ更新情報取得手段と、
上記パラメータ更新情報取得手段が取得したパラメータ更新情報にしたがって、パラメータを更新するパラメータ更新手段と、を備え、
上記復号画像生成手段は、上記パラメータ更新情報取得手段がパラメータ更新情報を取得した後は、該パラメータ更新情報にしたがって上記パラメータ更新手段が更新したパラメータを用いて復号画像を生成することを特徴とする画像復号装置。 - 上記パラメータ更新情報には、該パラメータ更新情報に含まれているパラメータ値を復号し復号したパラメータ値を更新後のパラメータ値とするか、予め設定されているデフォルト値を更新後のパラメータ値にするか、または直近のパラメータ値を維持するかの何れかを示す情報が含まれていることを特徴とする請求項1に記載の画像復号装置。
- 参照画像を用いずに復号可能なピクチャにおいては、上記パラメータ更新情報には、該パラメータ更新情報に含まれているパラメータ値を復号し復号したパラメータ値を更新後のパラメータ値とするか、予め設定されているデフォルト値を更新後のパラメータ値にするかの何れかのみを示す情報が含まれていることを特徴とする請求項1に記載の画像復号装置。
- 予測単位ごとに予測画像を生成し、上記符号化データから復号した予測残差に上記予測画像を加算して復号画像を生成するものであって、
上記パラメータセットに含まれるパラメータの少なくとも一部は、上記予測画像の生成に用いるフィルタのフィルタ係数を示すフィルタ係数情報であることを特徴とする請求項1〜3のいずれか1項に記載の画像復号装置。 - 上記パラメータセットには、さらに、上記予測画像の生成に用いるフィルタのフィルタ構造を示すフィルタ構造情報が含まれ、
上記フィルタ係数情報には、フィルタ係数の配置パターンを示すフィルタ形状フラグが含まれ、
上記フィルタ構造情報には、領域の使用方法を示す領域適応フラグが含まれていることを特徴とする請求項4に記載の画像復号装置。 - 予測単位ごとに予測画像を生成し、上記符号化データから復号した予測残差に上記予測画像を加算して復号画像を生成するものであって、
上記パラメータセットに含まれるパラメータの少なくとも一部は、上記予測画像の生成に用いるサンプル適応オフセット(SAO:Sample Adaptive Offset)のオフセット値であることを特徴とする請求項1〜5のいずれか1項に記載の画像復号装置。 - 変換単位ごとに、原画像から予測画像を減算した予測残差が周波数領域に直交変換され、量子化された変換係数を逆量子化・逆変換することにより予測残差を復元し、復元した予測残差と生成した予測画像とを加算して復号画像を生成するものであって、
上記パラメータセットに含まれるパラメータの少なくとも一部は、上記逆量子化・逆変
換に用いる量子化マトリクスであることを特徴とする請求項1〜6のいずれか1項に記載の画像復号装置。 - 複数の復号単位からなる符号化データから復号画像を生成する画像復号装置であって、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して該パラメータセットを復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成する復号画像生成手段を備えた画像復号装置において、
上記符号化データには複数のパラメータセットが含まれており、1つの上記復号単位について、複数のパラメータセットからパラメータ値を取得するパラメータ取得手段を備え、
上記画像生成手段は、1つの復号単位について、上記パラメータ取得手段が複数のパラメータセットから取得したパラメータ値を用いて、該復号単位を復号して復号画像を生成することを特徴とする画像復号装置。 - 複数の復号単位からなる符号化データから復号画像を生成する画像復号装置であって、復号画像を生成するときに用いられるパラメータのうち、複数の復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位に先行して該パラメータセットを復号し、復号したパラメータセットに含まれるパラメータを用いて復号画像を生成する復号画像生成手段を備えた画像復号装置において、
上記符号化データには複数のパラメータセットが含まれており、上記複数の復号単位のうちの或る復号単位について、上記複数のパラメータセットのうち、第1のパラメータセットから、第1のパラメータセットに含まれるパラメータ値および該第1のパラメータセットが参照する第2のパラメータセットに含まれるパラメータ値を取得するパラメータ取得手段を備え、
上記画像生成手段は、上記の或る復号単位について、上記パラメータ取得手段が取得したパラメータ値を用いて、該復号単位を復号して復号画像を生成することを特徴とする画像復号装置。 - 上記パラメータセットは、ピクチャにて共通で使用されるパラメータの集合であるPPS(Picture Parameter Set)、またはPPSに含まれるパラメータのうち、更新頻度の
高いパラメータの集合であるAPS(Adaptation Parameter Set)であることを特徴とする請求項1〜9のいずれか1項に記載の画像復号装置。 - 復号されるときの単位である復号単位を複数含む符号化データに原画像を符号化した符号化データを出力する画像符号化装置であって、復号画像が生成されるときに用いられるパラメータのうち、複数の上記復号単位で共通して用いられるパラメータをパラメータセットとして、用いられる復号単位よりも先行して出力する符号化データ出力手段を備えた画像符号化装置において、
上記パラメータセットを作成するパラメータセット作成手段と、
上記パラメータセット作成手段が作成したパラメータセットに含まれるパラメータの更新方法を指定するパラメータ更新情報を生成するパラメータ更新情報生成手段と、を備え、
上記符号化データ出力手段は、上記パラメータ更新情報生成手段が生成したパラメータ更新情報を、該パラメータ更新情報にしたがって更新されたパラメータを用いて復号される復号単位よりも先行して出力することを特徴とする画像符号化装置。 - 複数の復号単位からなり、画像復号装置において復号されて復号画像が生成される符号化データのデータ構造であって、
上記画像復号装置において復号画像が生成されるときに用いられるパラメータのうち、
複数の復号単位で共通して用いられるパラメータからなるパラメータセットと、
上記パラメータセットに含まれるパラメータの少なくとも一部の更新方法を示すパラメータ更新情報と、を含むことを特徴とする符号化データのデータ構造。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011196546A JP2013034161A (ja) | 2011-06-28 | 2011-09-08 | 画像復号装置、画像符号化装置、および符号化データのデータ構造 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011143562 | 2011-06-28 | ||
JP2011143562 | 2011-06-28 | ||
JP2011196546A JP2013034161A (ja) | 2011-06-28 | 2011-09-08 | 画像復号装置、画像符号化装置、および符号化データのデータ構造 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013034161A true JP2013034161A (ja) | 2013-02-14 |
Family
ID=47789649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011196546A Withdrawn JP2013034161A (ja) | 2011-06-28 | 2011-09-08 | 画像復号装置、画像符号化装置、および符号化データのデータ構造 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013034161A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013108882A1 (ja) * | 2012-01-19 | 2013-07-25 | 三菱電機株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
JP2015515240A (ja) * | 2012-04-27 | 2015-05-21 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ビデオコーディングにおけるクリーンランダムアクセスピクチャからのフルランダムアクセス |
WO2020213867A1 (ko) * | 2019-04-15 | 2020-10-22 | 엘지전자 주식회사 | 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩 |
WO2020213866A1 (ko) * | 2019-04-15 | 2020-10-22 | 엘지전자 주식회사 | 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩 |
WO2020242145A1 (ko) * | 2019-05-24 | 2020-12-03 | 디지털인사이트주식회사 | 적응적 파라미터 셋을 사용하는 비디오 코딩 방법 및 장치 |
CN114333285A (zh) * | 2021-12-30 | 2022-04-12 | 广州安广电子科技股份有限公司 | 一种红外数据库编码分析系统及方法 |
-
2011
- 2011-09-08 JP JP2011196546A patent/JP2013034161A/ja not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013108882A1 (ja) * | 2012-01-19 | 2013-07-25 | 三菱電機株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
JP2015515240A (ja) * | 2012-04-27 | 2015-05-21 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ビデオコーディングにおけるクリーンランダムアクセスピクチャからのフルランダムアクセス |
US9736476B2 (en) | 2012-04-27 | 2017-08-15 | Qualcomm Incorporated | Full random access from clean random access pictures in video coding |
WO2020213867A1 (ko) * | 2019-04-15 | 2020-10-22 | 엘지전자 주식회사 | 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩 |
WO2020213866A1 (ko) * | 2019-04-15 | 2020-10-22 | 엘지전자 주식회사 | 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩 |
CN113711606A (zh) * | 2019-04-15 | 2021-11-26 | Lg 电子株式会社 | 基于缩放列表数据的信令的视频或图像编译 |
JP2022529461A (ja) * | 2019-04-15 | 2022-06-22 | エルジー エレクトロニクス インコーポレイティド | スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング |
WO2020242145A1 (ko) * | 2019-05-24 | 2020-12-03 | 디지털인사이트주식회사 | 적응적 파라미터 셋을 사용하는 비디오 코딩 방법 및 장치 |
US11190769B2 (en) | 2019-05-24 | 2021-11-30 | Digitalinsights Inc. | Method and apparatus for coding image using adaptation parameter set |
US11575898B2 (en) | 2019-05-24 | 2023-02-07 | Digitalinsights Inc. | Method and apparatus for coding image using adaptation parameter set |
CN114333285A (zh) * | 2021-12-30 | 2022-04-12 | 广州安广电子科技股份有限公司 | 一种红外数据库编码分析系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7001768B2 (ja) | 算術復号装置 | |
JP6441418B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法 | |
US10547861B2 (en) | Image decoding device | |
WO2017195555A1 (ja) | 画像復号装置および画像符号化装置 | |
WO2016203981A1 (ja) | 画像復号装置及び画像符号化装置 | |
JP2019126077A (ja) | 画像フィルタ装置、フィルタ方法および動画像復号装置 | |
JP6290088B2 (ja) | 画像復号装置、画像復号方法、および記録媒体 | |
WO2015163456A1 (ja) | 画像復号装置、画像符号化装置、および、符号化データ変換装置 | |
WO2014115283A1 (ja) | 画像復号装置、および画像符号化装置 | |
US10136161B2 (en) | DMM prediction section, image decoding device, and image coding device | |
WO2014162954A1 (ja) | 画像復号装置、および画像符号化装置 | |
WO2014050597A1 (ja) | 画像復号装置 | |
JP5995448B2 (ja) | 画像復号装置、および画像符号化装置 | |
JP2013236358A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造 | |
JP2013034161A (ja) | 画像復号装置、画像符号化装置、および符号化データのデータ構造 | |
TW202133613A (zh) | 圖像解碼裝置及圖像編碼裝置 | |
WO2019065488A1 (ja) | 画像復号装置および画像符号化装置 | |
JP2013192118A (ja) | 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置 | |
JP2017085586A (ja) | 画像復号装置および画像符号化装置 | |
JP2013141094A (ja) | 画像復号装置、画像符号化装置、画像フィルタ装置、および符号化データのデータ構造 | |
JP2013118424A (ja) | 画像復号装置、画像符号化装置、および符号化データのデータ構造 | |
JP2014176039A (ja) | 画像復号装置、および画像符号化装置 | |
WO2012077795A1 (ja) | 画像符号化装置、画像復号装置、およびデータ構造 | |
JP6162289B2 (ja) | 画像復号装置および画像復号方法 | |
JP2013251827A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |