JP2017055464A - 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム - Google Patents

画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム Download PDF

Info

Publication number
JP2017055464A
JP2017055464A JP2016251525A JP2016251525A JP2017055464A JP 2017055464 A JP2017055464 A JP 2017055464A JP 2016251525 A JP2016251525 A JP 2016251525A JP 2016251525 A JP2016251525 A JP 2016251525A JP 2017055464 A JP2017055464 A JP 2017055464A
Authority
JP
Japan
Prior art keywords
block
encoded
quantization parameter
image signal
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016251525A
Other languages
English (en)
Inventor
博哉 中村
Hiroya Nakamura
博哉 中村
福島　茂
Shigeru Fukushima
茂 福島
西谷　勝義
Katsuyoshi Nishitani
勝義 西谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of JP2017055464A publication Critical patent/JP2017055464A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】量子化により生じるブロック歪みを低減するためにはデブロッキングフィルタリングの強さを量子化パラメータに応じて適切に設定する必要があった。
【解決手段】量子化パラメータ導出部２０５は、ブロックの量子化パラメータを導出する。逆量子化・逆直交変換部２０９は、圧縮して符号化されたブロックの画像信号を量子化パラメータに基づき逆量子化して復号する。ＰＣＭ復号部２０７は、非圧縮で符号化されたブロックの画像信号を復号する。デブロッキングフィルタ部２１１は、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施す。デブロッキングフィルタ部２１１は、ブロックが非圧縮で符号化されたブロックであれば、フィルタリング前の入力信号をそのまま出力信号とする。
【選択図】図２

Description

本発明は、画像復号技術に関し、特にフィルタリングを利用した画像復号技術に関する。
動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−２ ビデオ、ＭＰＥＧ−４ ビジュアル、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４等の規格がある。これらの規格では、ピクチャを複数の矩形ブロックに分割してブロック単位で符号化／復号を行う。ブロック単位で、イントラ予測、インター予測、直交変換、量子化を行うことで符号化を行うために、ブロックの境界に歪が生じる。この歪はブロック歪と呼ばれている。ブロック歪は、ブロック境界を挟む上下、または左右の２つのブロック間のイントラ／インター等のモード、インター予測で参照する画像、インター予測で用いられる動きベクトル、量子化の際の量子化パラメータ等の差が原因となって発生する。復号後の画像に対して、このブロック歪を除去または減少する処理をデブロッキングフィルタ法と呼ぶ。
ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding
量子化により生じるブロック歪みを低減するためにはデブロッキングフィルタリングの強さを量子化パラメータに応じて適切に設定する必要があった。
本発明はこうした状況に鑑みてなされたものであり、その目的は、ブロック歪みを低減するためにフィルタリング強度を適切に設定することのできる画像符号化技術およびそれに対応する画像復号技術を提供することにある。
ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号装置であって、ブロックの量子化パラメータを導出する量子化パラメータ導出部と、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号部と、非圧縮で符号化されたブロックの画像信号を復号する第２の復号部と、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタ部とを含み、前記量子化パラメータ導出部は、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、前記デブロッキングフィルタ部は、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする画像復号装置を提供する。
ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号方法であって、ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとを含み、前記量子化パラメータ導出ステップは、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、前記デブロッキングフィルタステップは、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする画像復号方法を提供する。
ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号プログラムであって、ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとをコンピュータに実行させ、前記量子化パラメータ導出ステップは、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、前記デブロッキングフィルタステップは、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする画像復号プログラムを提供する。
画像が符号化された符号化ビット列を受信して復号する受信装置であって、ブロック単位で輝度信号を色差信号とを含む画像信号が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信部と、受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元部と、ブロックの量子化パラメータを導出する量子化パラメータ導出部と、復元された前記元の符号化ビット列から、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号部と、復元された前記元の符号化ビット列から、非圧縮で符号化されたブロックの画像信号を復号する第２の復号部と、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタ部とを含み、前記量子化パラメータ導出部は、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、前記デブロッキングフィルタ部は、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする受信装置を提供する。
画像が符号化された符号化ビット列を受信して復号する受信方法であって、ブロック単位で輝度信号を色差信号とを含む画像信号が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信ステップと、受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元ステップと、ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、復元された前記元の符号化ビット列から、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、復元された前記元の符号化ビット列から、非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとを含み、前記量子化パラメータ導出ステップは、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、前記デブロッキングフィルタステップは、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする受信方法を提供する。
画像が符号化された符号化ビット列を受信して復号する受信プログラムであって、ブロック単位で輝度信号を色差信号とを含む画像信号が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信ステップと、受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元ステップと、ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、復元された前記元の符号化ビット列から、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、復元された前記元の符号化ビット列から、非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとをコンピュータに実行させ、前記量子化パラメータ導出ステップは、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、前記デブロッキングフィルタステップは、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする受信プログラムを提供する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、フィルタリング強度を適切に設定してブロック歪みを低減することができる。
実施の形態の画像符号化装置の構成を示すブロック図である。 実施の形態の画像復号装置の構成を示すブロック図である。 本実施例で規定するツリーブロック、及び符号化ブロックを説明する図である。 本実施例で規定する分割モードを説明する図である。 量子化グループブロックの一例を説明する図である。 量子化パラメータの決定および符号化処理手順を説明するフローチャートである。 量子化パラメータの復号・導出処理手順を説明するフローチャートである。 図６のステップＳ１１０９、図７のステップＳ１２０６における量子化パラメータの予測値の導出処理の手順を説明するフローチャートである。 ブロック境界の画素の一例を説明する図である。 画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１が行う処理の手順を説明するフローチャートである。 符号化ブロック毎のデブロッキングフィルタ処理手順を説明するフローチャートである。 符号化ブロック内の変換ブロックの垂直境界と水平境界の一例を説明する図である。 符号化ブロック内の予測ブロックの垂直境界と水平境界の一例を説明する図である。 図１１のステップＳ２２０４の信号のフィルタリング処理手順を示すフローチャートである。 第１の実施例の図１４のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。 インデックスindexBと変数βを対応づけた表を説明する図である。 インデックスindexTcと変数ｔｃを対応づけた表を説明する図である。 第１の実施例の図１５のステップＳ３１１４におけるライン毎の信号のフィルタリング処理の手順を示すフローチャートである。 第２の実施例および第３の実施例の図１４のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。 第２の実施例の図１９のステップＳ３１１４におけるライン毎の信号のフィルタリング処理の手順を示すフローチャートである。 第３の実施例の図１９のステップＳ３１１４におけるライン毎の信号のフィルタリング処理の手順を示すフローチャートである。
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形に分割したブロック単位で、後述するイントラ予測、インター予測、直交変換、量子化を行うことで符号化を行う。
まず、本実施の形態において使用する技術、及び技術用語を定義する。
（ツリーブロック、符号化ブロックについて）
実施の形態では、図３に示されるように、ピクチャ内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、ピクチャ内での符号化／復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を再帰的に４分割（縦横に２分割ずつ）して、小さなサイズのブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。
図３においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに再帰的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。
実施の形態の説明においては、色差フォーマットが４：２：０で、ツリーブロックのサイズを輝度信号で６４×６４画素、色差信号で３２×３２画素と設定し、最小の符号化ブロックのサイズを輝度信号で８×８画素、色差信号で４×４画素と設定する。図３では、符号化ブロックＡのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素となり、符号化ブロックＢのサイズは輝度信号で３２×３２画素、色差信号で１６×１６画素となり、符号化ブロックＣのサイズは輝度信号で１６×１６画素、色差信号で８×８画素となり、符号化ブロックＤのサイズは輝度信号で８×８画素、色差信号で４×４画素となる。なお、色差フォーマットが４：４：４の場合、各符号化ブロックの輝度信号と色差信号のサイズが等しくなる。色差フォーマットが４：２：２の場合、符号化ブロックＡのサイズは色差信号で３２×６４画素となり、符号化ブロックＢのサイズは色差信号で１６×３２画素となり、符号化ブロックＣのサイズは色差信号で８×１６画素となり、最小の符号化ブロックである符号化ブロックＤのサイズは色差信号で４×８画素となる。
（予測モードについて）
符号化ブロック単位で、符号化／復号済み（符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。）のピクチャを用いずに符号化／復号対象ピクチャ内で符号化するイントラモード（MODE_INTRA）、及び符号化／復号済みのピクチャの復号画像信号を参照してインター予測を行うことにより符号化するインターモード（MODE_INTER）を切り替える。このイントラモード（MODE_INTRA）とインターモード（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラモード（MODE_INTRA）、またはインターモード（MODE_INTER）を値として持ち、選択して符号化できる。
（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測及びインター予測を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この必要に応じて分割されたブロックを予測ブロックと定義する。図４に示すように、符号化ブロックの輝度信号の分割方法に応じて８種類の分割モード（PartMode）を定義する。
図４（ａ）に示す符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなした分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）と定義する。図４（ｂ）、（ｃ）、（ｄ）に示す符号化ブロックの輝度信号を上下に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれ２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）と定義する。ただし、２Ｎ×Ｎ分割（PART_2NxN）は上下に１：１の比率で分割した分割モードであり、２Ｎ×ｎＵ分割（PART_2NxnU）は上下に１：３の比率で分割した分割モードであり、２Ｎ×ｎＤ分割（PART_2NxnD）は上下に３：１の比率で分割した分割モードである。図４（ｅ）、（ｆ）、（ｇ）に示す符号化ブロックの輝度信号を左右に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、ｎＲ×２Ｎ分割（PART_nRx2N）と定義する。ただし、Ｎ×２Ｎ分割（PART_Nx2N）は左右に１：１の比率で分割した分割モードであり、ｎＬ×２Ｎ分割（PART_nLx2N）は左右に１：３の比率で分割した分割モードであり、ｎＲ×２Ｎ分割（PART_nRx2N）は左右に３：１の比率で分割した分割モードである。図４（ｈ）に示す符号化ブロックの輝度信号を上下左右に４分割して、４つの予測ブロックとした分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。
なお、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
予測モード（PredMode）がインターモード（MODE_INTER）では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）を定義する。最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
予測モード（PredMode）がイントラモード（MODE_INTRA）では、最小の符号化ブロックである符号化ブロックＤ（本実施例は輝度信号で８×８画素）以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）だけを定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
（イントラ予測、イントラ予測モードについて）
イントラ予測では同じピクチャ内の周囲の復号済みのブロックの画素の値から処理対象ブロックの画素の値を予測する。本実施例の符号化装置及び復号装置では３４通りのイントラ予測モードから選択して、イントラ予測する。イントラ予測モード（intraPredMode）は、上の復号済みのブロックから垂直方向に予測する垂直予測（イントラ予測モードintraPredMode=0）、左の復号済みのブロックから水平方向に予測する水平予測（イントラ予測モードintraPredMode=1）、周囲の復号済みのブロックから平均値を算出することにより予測する平均値予測（イントラ予測モードintraPredMode=2）、周囲の復号済みのブロックから斜め４５度の角度で予測する平均値予測（intraPredMode=3）に加えて、周囲の復号済みのブロックから様々な角度で斜め方向に予測する３１通りの角度予測（イントラ予測モードintraPredMode=4…34）を定義する。
イントラモード（MODE_INTRA）で符号化／復号済みの周囲の画像信号から予測を行うイントラ予測の際に用いられるイントラ予測モードは、輝度信号、色差信号それぞれに用意し、輝度信号用のイントラ予測モードをイントラ輝度予測モード、色差信号用のイントラ予測モードをイントラ色差予測モードと定義する。イントラ輝度予測モードの符号化、および復号においては、周辺のブロックのイントラ輝度予測モードとの相関性を利用し、符号化側で周辺のブロックのイントラ輝度予測モードから予測できると判断された場合は参照するブロックを特定する情報を伝送し、周辺のブロックのイントラ輝度予測モードから予測するよりもイントラ輝度予測モードに別の値を設定した方が良いと判断された場合に、さらにイントラ輝度予測モードの値を符号化、または復号する仕組みを用いる。周辺のブロックのイントラ輝度予測モードから符号化・復号対象ブロックのイントラ輝度予測モードを予測することにより、伝送する符号量を削減できる。一方、イントラ色差予測モードの符号化、および復号においては、色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードとの相関性を利用し、符号化側でイントラ輝度予測モードから予測できると判断された場合はイントラ輝度予測モードの値からイントラ色差予測モードの値を予測し、イントラ輝度予測モードから予測するよりもイントラ色差予測モードに独自の値を設定した方が良いと判断した場合に、イントラ色差予測モードの値を符号化、または復号する仕組みを用いる。イントラ輝度予測モードからイントラ色差予測モードを予測することにより、伝送する符号量を削減できる。
（イントラＰＣＭ符号化について）
実施の形態では、イントラモード（MODE_INTRA）では、符号化／復号済みの周囲の画像信号から予測を行うイントラ予測を用いて符号化するイントラ予測符号化に加えて、イントラ予測、インター予測、直交変換、量子化等の圧縮処理を用いずに、画像信号を非圧縮でＰＣＭ信号としてそのまま符号化するイントラＰＣＭ符号化を定義する。イントラＰＣＭでは符号化ブロックのサイズとＰＣＭ信号のビット深度によって符号量が固定長となるため、所定単位の符号量を保証する緊急モードとして活用できる。また、細かな量子化をした際に符号量が大きくなる場合には、非圧縮のイントラＰＣＭ符号化を選択した方が、小さな符号量で符号化することができることもある。さらに、すべての画像信号をイントラＰＣＭ符号化することでロスレス符号化としても対応できる。イントラＰＣＭ符号化は符号化ブロック単位で行われる。
（変換ブロック）
従来と同様に、本実施の形態でもＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）等の、離散信号を周波数領域へ変換する直交変換とその逆変換を用いて、符号量の削減を図る。符号化ブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じて符号化ブロック内の輝度信号、及び色差信号を再帰的に４分割して、小さなブロック単位で、変換、または逆変換を行うことができる。この必要に応じて分割された直交変換または逆直交変換の対象となるブロックを変換ブロックと定義する。
（量子化パラメータ）
実施の形態では、直交変換された係数を量子化する際の量子化ステップの大きさを導出するための量子化パラメータを下記の量子化グループブロック単位で設定して伝送する。符号化側でこの量子化パラメータの値を制御することにより、量子化ステップの大きさを制御することができ、符号量を制御したり、主観画質を制御することが可能である。量子化パラメータの値を小さく設定することで、量子化ステップが小さくなり細い量子化が行われる。この場合、多くの符号量を要するが、画像の劣化を低く抑えることができ、ブロック歪やモスキート歪等の符号化歪が目立ちにくくなる。一方、量子化パラメータの値を大きく設定することで、量子化ステップが大きくなり粗い量子化が行われる。この場合、少ない符号量で符号化が可能となるが、画像の劣化は高くなり、ブロック歪やモスキート歪等の符号化歪が目立ちやすくなる。実施の形態では、量子化パラメータＱＰＹは-QpBdOffsetYから５１までの値をとることができる。ただし、変数QpBdOffsetYは符号化される映像信号のビット深度にもとづいて設定される変数であり、次式により導出される。
QpBdOffsetY = 6 * bit_depth_luma_minus8
ただし、変数bit_depth_luma_minus8は符号化される輝度信号のビット深度にもとづいて設定されるシンタックス要素であり、符号化される輝度信号のビット深度の値から８を減算した値を持つ。輝度信号のビット深度が８ビットでは、bit_depth_luma_minus8、QpBdOffsetYの値は共に０となり、１０ビットでは、bit_depth_luma_minus8の値は２、QpBdOffsetYの値は１２となる。
さらに、量子化、逆量子化の際に実際に用いられる輝度信号の量子化パラメータＱＰＹ’、色差信号Ｃｂ、Ｃｒの量子化パラメータＱＰＣｂ’、ＱＰＣｒ’は次式により導出される。
ＱＰＹ’= ＱＰＹ+ QpBdOffsetY
ＱＰＣｂ’= ＱＰＹ + cb_qp_offset + QpBdOffsetC
ＱＰＣｒ’= ＱＰＹ + cr_qp_offset + QpBdOffsetC
ただし、変数QpBdOffsetCは符号化される色差信号のビット深度にもとづいて設定される変数であり、次式により導出される。
QpBdOffsetC = 6 * bit_depth_chroma_minus8
ただし、変数bit_depth_chroma_minus8は符号化される色差信号のビット深度にもとづいて設定されるシンタックス要素であり、符号化される色差信号のビット深度の値から８を減算した値を持つ。色差信号のビット深度が８ビットでは、bit_depth_chroma_minus8、QpBdOffsetCの値は共に０となり、１０ビットでは、bit_depth_luma_minus8の値は２、QpBdOffsetCの値は１２となる。また、輝度信号の量子化パラメータＱＰＹ’は０から５１＋QpBdOffsetYまでの値をとることができる。また、色差信号Ｃｂ、Ｃｒの量子化パラメータＱＰＣｂ’、ＱＰＣｒ’は０から５１＋QpBdOffsetCまでの値をとることができる。
（量子化グループブロック）
実施の形態では、量子化パラメータの基本単位である量子化グループブロックを定義し、量子化グループブロック毎に１つの量子化パラメータを設定する。
（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号のピクチャの一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。実施の形態においては、色差フォーマットの種類やブロックの形状、大きさにかかわらず、定義した輝度信号のブロックの座標と色差信号のブロックの座標のｘ成分とｙ成分の値が共に同一の場合にだけ、これらのブロックは同じ位置にあると定義する。
図１は実施の形態に係る画像符号化装置の構成を示すブロックである。実施の形態の画像符号化装置は、画像メモリ１０１、量子化パラメータ決定部１０２、イントラ予測部１０３、ＰＣＭ符号化部１０４、インター予測部１０５、符号化方法決定部１０６、残差信号生成部１０７、直交変換・量子化部１０８、逆量子化・逆直交変換部１０９、復号画像信号重畳部１１０、デブロッキングフィルタ部１１１、符号化情報格納メモリ１１２、第１の復号画像メモリ１１３、第２の復号画像メモリ１１４、第１の符号化ビット列生成部１１５、第２の符号化ビット列生成部１１６、第３の符号化ビット列生成部１１７、符号化ビット列多重化部１１８、スイッチ１１９を備える。
画像メモリ１０１では、時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０１に格納された符号化対象の画像信号は符号化順序に並べ替えられて、設定に応じた複数の組み合わせでそれぞれの符号化ブロック単位に分割され、さらに、それぞれの予測ブロック単位に分割されて、イントラ予測部１０３、インター予測部１０５、残差信号生成部１０７に供給される。
量子化パラメータ決定部１０２では、符号量制御、適応量子化等の観点から量子化グループブロック単位で量子化パラメータを決定する。決定された量子化パラメータは符号化方法決定部１０６、直交変換・量子化部１０８、逆量子化・逆直交変換部１０９に供給されると共に、符号化情報格納メモリ１１２に格納される。
イントラ予測部１０３は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた予測ブロック単位で、第１の復号画像メモリ１１３に格納された復号済みの画像信号から符号化対象の予測ブロックの輝度信号、色差信号それぞれについて複数のイントラ輝度予測モード、及びイントラ色差予測モードに応じたそれぞれのイントラ予測を行い、イントラ予測信号を得る。
予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のイントラ予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を算出し、予測ブロック単位で、複数のイントラ予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのイントラ予測の候補として、選択されたイントラ予測モードに対応するイントラ予測情報、イントラ予測信号、及びイントラ予測の評価値を符号化方法決定部１０６に供給する。
ＰＣＭ符号化部１０４は符号化ブロック単位でＰＣＭ信号として符号化するためのＰＣＭ信号を配列する。ＰＣＭ符号化部１０４で生成されるＰＣＭ信号は符号化ブロックのサイズと信号のビット深度で符号量が一意に決まる。また、符号化劣化は無く、符号化歪は発生しないので、歪量を０とする。これら符号量と歪量をイントラＰＣＭ符号化の評価値として、ＰＣＭ信号と共に符号化方法決定部１０６に供給する。
インター予測部１０５は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた単位、即ち予測ブロック単位で、第２の復号画像メモリ１１４に格納された復号済みの画像信号から複数のインター予測モード（Ｌ０予測、Ｌ１予測、両予測）、及び参照画像に応じたそれぞれのインター予測を行い、インター予測信号を得る。その際、動きベクトル探索を行い、探索された動きベクトルに応じてインター予測を行う。なお、両予測の場合は、２つのインター予測信号を画素毎に平均、または重み付け加算することにより、両予測のインター予測を行う。予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のインター予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を算出し、予測ブロック単位で、複数のインター予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのインター予測の候補として、選択されたインター予測モードに対応するインター予測情報、インター予測信号、及びインター予測の評価値を符号化方法決定部１０６に供給する。
符号化方法決定部１０６は複数の符号化ブロック単位におけるそれぞれの予測ブロック毎に選択されたイントラ予測情報に対応するイントラ予測評価値、インター予測情報に対応するインター予測評価値に基づき、最適な符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）、ＰＣＭ信号として符号化するか否か、変換ブロックの分割方法を決定し、決定に応じた符号化ブロックの分割方法、ＰＣＭ信号として符号化するか否かを示す情報を含むイントラ予測情報、またはインター予測情報を含む符号化情報を第２の符号化ビット列生成部１１６に供給するとともに、符号化情報格納メモリ１１２に格納し、決定に応じたイントラ予測またはインター予測された予測信号を残差信号生成部１０７、及び復号画像信号重畳部１１０に供給する。さらに、決定に応じた量子化パラメータ、変換ブロックの分割方法を直交変換・量子化部１０８、逆量子化・逆直交変換部１０９、第３の符号化ビット列生成部１１７に供給するとともに、符号化情報格納メモリ１１２に格納する。また、イントラＰＣＭ符号化が選択された場合は、第２の符号化ビット列生成部１１６に供給する。
残差信号生成部１０７は、符号化方法決定部１０６でイントラ予測またはインター予測で符号化すると決定された際に、符号化する画像信号からイントラ予測またはインター予測された予測信号を画素毎に減じて残差信号を生成し、直交変換・量子化部１０８に供給する。
直交変換・量子化部１０８は、符号化方法決定部１０６でイントラ予測またはインター予測で符号化すると決定された際に、符号化方法決定部１０６から供給される残差信号に対して量子化パラメータ決定部１０２から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ’、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ’、ＱＰＣｒ’を用いて、ＤＣＴやＤＳＴ等の周波数領域に変換する直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第３の符号化ビット列生成部１１７、及び逆量子化・逆直交変換部１０９に供給する。
第１の符号化ビット列生成部１１５は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値を算出し、算出した各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第１の符号化ビット列を生成し、符号化された第１の符号化ビット列を符号化ビット列多重化部１１８に供給する。
第２の符号化ビット列生成部１１６は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、それぞれのツリーブロック毎に、符号化ブロックの分割情報、符号化ブロック単位の符号化情報に加えて、予測ブロック毎に符号化方法決定部１０６によって決定された符号化情報に関するシンタックス要素の値を算出する。具体的には、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）等の符号化ブロック単位の符号化情報に加えて、予測ブロック単位の符号化情報に関するシンタックス要素の値を算出する。予測モード（PredMode）がイントラモード（MODE_INTRA）でイントラ予測符号化の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを０とし、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに関するシンタックス要素の値を算出し、イントラモード（MODE_INTRA）でイントラＰＣＭ符号化の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを１とし、予測モード（PredMode）がインターモード（MODE_INTER）の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報に関するシンタックス要素の値を算出する。算出された各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第２の符号化ビット列を生成し、符号化された第２の符号化ビット列を符号化ビット列多重化部１１８に供給する。さらに、イントラＰＣＭ符号化の場合、ＰＣＭ信号を符号化する。
第３の符号化ビット列生成部１１７は、変換ブロックの分割情報、量子化パラメータ情報を符号化する。直交変換及び量子化された残差信号を規定のシンタックス規則に従って可変長符号化、算術符号化等によるエントロピー符号化を行い、第３の符号化ビット列を生成して、第３の符号化ビット列を符号化ビット列多重化部１１８に供給する。量子化パラメータ情報を符号化する詳細な処理については後述する。
符号化ビット列多重化部１１８で、第１の符号化ビット列と第２の符号化ビット列、及び第３の符号化ビット列を規定のシンタックス規則に従って多重化してビットストリームを生成し、多重化されたビットストリームを出力する。
逆量子化・逆直交変換部１０９は、直交変換・量子化部１０８から供給された直交変換・量子化された残差信号を量子化パラメータ決定部１０２から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ’、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ’、ＱＰＣｒ’を用いて、逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１１０に供給する。復号画像信号重畳部１１０は、符号化方法決定部１０６による決定に応じてイントラ予測またはインター予測された予測信号と逆量子化・逆直交変換部１０９で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、第１の復号画像メモリ１１３に格納する。
デブロッキングフィルタ部１１１は符号化情報格納メモリ１１２に格納された符号化情報に応じて第１の復号画像メモリ１１３に格納された復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、第２の復号画像メモリ１１４に格納される。デブロッキングフィルタ部１１１の詳細な処理については後述する。
図２は図１の画像符号化装置に対応した実施の形態に係る画像復号装置の構成を示すブロックである。実施の形態の画像復号装置は、符号化ビット列分離部２０１、第１の符号化ビット列復号部２０２、第２の符号化ビット列復号部２０３、第３の符号化ビット列復号部２０４、量子化パラメータ導出部２０５、イントラ予測部２０６、ＰＣＭ復号部２０７、インター予測部２０８、逆量子化・逆直交変換部２０９、復号画像信号重畳部２１０、デブロッキングフィルタ部２１１、符号化情報格納メモリ２１２、第１の復号画像メモリ２１３、第２の復号画像メモリ２１４、およびスイッチ２１５、２１６、２１７を備える。
符号化ビット列分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、シーケンス、ピクチャ、及びスライス単位の符号化情報を示す第１の符号化ビット列が第１の符号化ビット列復号部２０２に供給され、符号化ブロック単位の符号化情報を含む第２の符号化ビット列が第２の符号化ビット列復号部２０３に供給され、直交変換及び量子化された残差信号を含む第３の符号化ビット列が第３の符号化ビット列復号部２０４に供給される。
第１の符号化ビット列復号部２０２は、シンタックス規則に従って、供給された第１の符号化ビット列をエントロピー復号して、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、復号されたシーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値から、シーケンス、ピクチャ、及びスライス単位の符号化情報を算出する。第１の符号化ビット列復号部２０２は符号化側の第１の符号化ビット列生成部１１５に対応する符号化ビット列復号部であり、第１の符号化ビット列生成部１１５で符号化されたシーケンス、ピクチャ、及びスライス単位の符号化情報を含む符号化ビット列からそれぞれの符号化情報に戻す機能を有する。第１の符号化ビット列復号部２０２で得られるシーケンス、ピクチャ、及びスライス単位の符号化情報は符号化情報格納メモリ２１２に供給されると共に、図示していないがすべてのブロックで用いられる。
第２の符号化ビット列復号部２０３は、シンタックス規則に従って、供給された第２の符号化ビット列をエントロピー復号して、それぞれのツリーブロック毎に、符号化ブロックの分割情報、符号化ブロック、及び予測ブロック単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、供給された符号化ブロックの分割情報を復号し、符号化ブロック単位、及び予測ブロック単位の符号化情報に関するシンタックス要素の値から、符号化ブロック単位、及び予測ブロック単位の符号化情報を算出する。第２の符号化ビット列復号部２０３は符号化側の第２の符号化ビット列生成部１１６に対応する符号化情報算出部であり、第２の符号化ビット列生成部１１６で符号化された符号化ブロック、及び予測ブロック単位の符号化情報を含む第２の符号化ビット列からそれぞれの符号化情報に戻す機能を有する。具体的には、第２の符号化ビット列を規定のシンタックス規則に従って復号することにより得られる各シンタックス要素から、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）を復号する予測モード（PredMode）がイントラモード（MODE_INTRA）の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを復号する。pcm_flagが０ならイントラ予測符号化であり、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードを得る。pcm_flagが１ならイントラＰＣＭ符号化であり、ＰＣＭ信号を得る。一方、予測モード（PredMode）がインターモード（MODE_INTER）の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報を得る。予測モード（PredMode）がイントラモード（MODE_INTRA）でpcm_flagが０の場合、スイッチ２１５を通じて、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードをイントラ予測部２０６に供給し、予測モード（PredMode）がインターモード（MODE_INTER）の場合、スイッチ２１５を通じて、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報をインター予測部２０８に供給する。イントラＰＣＭ符号化ならＰＣＭ信号をＰＣＭ復号部２０７に供給する。
第３の符号化ビット列復号部２０４は、供給された符号化ビット列を復号して変換ブロックの分割情報、量子化パラメータ情報、直交変換・量子化された残差信号を取得し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０９に供給する。さらに、量子化パラメータ情報（後述するシンタックス要素cu_qp_delta）を量子化パラメータ導出部２０５に供給する。量子化パラメータ導出部２０５は、供給される量子化パラメータ情報（後述するシンタックス要素cu_qp_delta）、及び第１の符号化ビット列復号部２０２で得られる符号化情報から量子化パラメータＱＰＹを導出し、逆量子化・逆直交変換部２０９に供給されるとともに、符号化情報格納メモリ２１２に格納される。
イントラ予測部２０６は、供給されるイントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに応じて第１の復号画像メモリ２１３に格納されている復号済みの周辺ブロックからイントラ予測により予測画像信号を生成し、スイッチ２１６を介して、予測画像信号を復号画像信号重畳部２１０に供給する。また、本実施の形態ではイントラ輝度予測モードの値からイントラ色差予測モードの値を予測する際に、色差フォーマットに応じてイントラ色差予測モードの導出方法が異なる。この場合、色差フォーマットに応じて異なる方法により導出されたイントラ予測モードを用いてイントラ予測を行う。
ＰＣＭ復号部２０７は入力された信号の復号処理を行い、符号化ブロック単位のＰＣＭ信号を得る。得られた符号化ブロック単位のＰＣＭ信号をスイッチ２１７を通じて、第１の復号画像メモリ２１３に格納する。
インター予測部２０８は、供給されるインター予測モード、参照ピクチャを特定する情報、動きベクトル等のインター予測情報を用いて第２の復号画像メモリ２１４に格納されている復号済みの参照ピクチャから動き補償を用いたインター予測により予測画像信号を生成し、スイッチ２１６を介して、予測画像信号を復号画像信号重畳部２１０に供給する。なお、両予測の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を乗算して重畳し、最終的な予測画像信号を生成する。
逆量子化・逆直交変換部２０９は、量子化パラメータ導出部２０５から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ’、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ’、ＱＰＣｒ’を用いて、第３の符号化ビット列復号部２０４で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
復号画像信号重畳部２１０は、イントラ予測部２０６、またはインター予測部２０８で予測された予測画像信号と、逆量子化・逆直交変換部２０９により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、スイッチ２１７を介して、第１の復号画像メモリ２１３に格納する。
デブロッキングフィルタ部２１１は第１の復号画像メモリ２１３に格納された復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、第２の復号画像メモリ２１４に格納される。第２の復号画像メモリ２１４に格納された復号画像信号は、出力順で出力される。
次に、実施の形態のポイントの１つである量子化グループブロックについて詳細に説明する。
前述したように、本実施の形態では、量子化パラメータを符号化する単位である量子化グループブロックを定義し、量子化グループブロック毎に量子化パラメータを設定する。図５は量子化グループブロックの一例を説明する図である。図５では、実線で描かれたブロックＡ、Ｂ０、Ｂ１、Ｂ２、Ｃ０、Ｃ１、Ｃ２及びＤ０、Ｄ１、Ｄ２、Ｄ３は符号化ブロックであり、点線で描かれたブロックが量子化グループブロックである。図５に示す例においては、ツリーブロックのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素と設定する。符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものであり、符号化ブロックＡのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素である。符号化ブロックＢ０、Ｂ１、Ｂ２は、ツリーブロックを４分割してできた符号化ブロックであり、符号化ブロックＢ０、Ｂ１、Ｂ２のサイズは輝度信号で３２×３２画素、色差信号で１６×１６画素である。符号化ブロックＣ０、Ｃ１、Ｃ２は、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックであり、符号化ブロックＣ０、Ｃ１、Ｃ２のサイズは輝度信号で１６×１６画素、色差信号で８×８画素である。符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３は、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３のサイズは輝度信号で８×８画素、色差信号で４×４画素である。図５に示す例においては、量子化グループブロックのサイズを輝度信号で３２×３２画素、色差信号で１６×１６画素と設定する。
本実施の形態においては、量子化グループブロックと同じ位置に存在する符号化ブロックおよび変換ブロックの量子化パラメータは同一である。量子化グループブロックのサイズはツリーブロックのサイズと同じに設定しても良いし、小さく設定してもよい。さらに、量子化グループブロックのサイズは符号化ブロックのサイズと同じでも良いし、符号化ブロックのサイズより大きくてもよいし、小さくてもよい。
量子化グループブロックのサイズが符号化ブロックのサイズよりも大きい場合、量子化グループブロックには複数の符号化ブロックが含まれるが、これらの符号化ブロックの量子化パラメータは同じ値となる。図５に示す例においては、最も右上の量子化グループブロックより小さい４つの符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３の量子化パラメータは同じ値に設定される。
量子化グループブロックのサイズが符号化ブロックのサイズよりも小さい場合、符号化ブロックには複数の量子化グループブロックが含まれるが、これらの量子化グループブロックの量子化パラメータは同じ値とする。図５に示す例においては、符号化ブロックＡに含まれる１６個の量子化グループブロックの量子化パラメータは同じ値に設定され、符号化ブロックＢ０に含まれる４個の量子化グループブロックの量子化パラメータは同じ値に設定され、符号化ブロックＢ１に含まれる４個の量子化グループブロックの量子化パラメータは同じ値に設定され、Ｂ２に含まれる４個の量子化グループブロックの量子化パラメータは同じ値に設定される。
次に、実施の形態のポイントの１つである量子化パラメータの決定・符号化／復号・導出について詳細に説明する。
図６は量子化パラメータの決定および符号化処理手順を説明するフローチャートである。これらの処理は画像符号化装置の量子化パラメータ決定部１０２及び第３の符号化ビット列生成部１１７で行われる。ピクチャ内のスライス毎にステップＳ１１０２からＳ１１２２までの処理を行う（ステップＳ１１０１〜Ｓ１１２３）。さらに、スライス内の符号化ツリーブロック毎にステップＳ１１０３からＳ１１２１までの処理を行う（ステップＳ１１０２〜Ｓ１１２２）。
まず、符号化ツリーブロック内の量子化グループブロック毎に量子化パラメータＱＰＹ量子化を決定する（ステップＳ１１０３〜Ｓ１１０５）。これらの処理は画像符号化装置の量子化パラメータ決定部１０２で行われる。量子化パラメータＱＰＹは符号量制御において、発生符号量を下げる場合には、量子化パラメータＱＰＹに大きい値を設定し、発生符号量を上げる場合には、量子化パラメータＱＰＹに小さい値を設定する。主観画質を調整するための適応量子化の際には符号化劣化が目立ちやすい量子化グループブロックは量子化パラメータＱＰＹに大きい値を設定し、符号化劣化が目立ちやすい量子化グループブロックは量子化パラメータＱＰＹに小さい値を設定する。
続いて、符号化ツリーブロック内の符号化ブロック毎にステップＳ１１０７からＳ１１２０までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを符号化する（ステップＳ１１０６〜Ｓ１１２１）。これらの処理は画像符号化装置では第３の符号化ビット列生成部１１７で実施される。量子化パラメータＱＰＹを符号化する際には、シンタックス要素cu_qp_deltaを導出し、この導出されたシンタックス要素cu_qp_deltaを符号化する。
まず、対象となる符号化ブロックが符号化順で量子化グループブロックの先頭の場合（ステップＳ１１０７のＹＥＳ）、対象となる符号化ブロックに対応する量子化グループブロックのＱＰＹに対応するシンタックス要素cu_qp_deltaが符号化されたかどうかを示す変数IsCuQpDeltaCodedに０を設定し（ステップＳ１１０８）、量子化パラメータの予測値ＱＰPREDを導出する（ステップＳ１１０９）。ステップＳ１１０９の処理については図８を用いて詳細に説明する。
続いてステップＳ１１０９で導出した量子化パラメータの予測値ＱＰPREDの値を符号化情報格納メモリ１１２の量子化グループブロックのＱＰＹに設定する（ステップＳ１１１０）。この符号化情報格納メモリ１１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータの予測値ＱＰPREDの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。
一方、対象となる符号化ブロックが符号化順で量子化グループブロックの先頭でない場合（ステップＳ１１０７のＮＯ）、ステップＳ１１１１に進む。
続いて、符号化ブロックがイントラＰＣＭ符号化の場合（ステップＳ１１１１のＮＯ）、ステップＳ１１１２からＳ１２２０までの処理をスキップしてステップＳ１２２１に進む。符号化ブロックがイントラＰＣＭ符号化でない場合（ステップＳ１１１１のＹＥＳ）、符号化ブロック内の変換ブロック毎にステップＳ１１１３からＳ１１１９までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを符号化する（ステップＳ１１１２〜Ｓ１１２０）。まず、対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crの値を判定する（ステップＳ１１１３）。ここで、変数cbf_lumaは対象の輝度の変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_cbは対象の色差Ｃｂの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_crは対象の色差Ｃｒの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれかが１の場合（ステップＳ１１１３のＹＥＳ）、ステップＳ１１１４からＳ１１１９までの処理を行い、変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれも１でない場合、すなわちすべて０の場合（ステップＳ１１１３のＮＯ）、ステップＳ１１１４からＳ１１１９までの処理をスキップして、ステップＳ１１２０に進む。
ステップＳ１１１４では、変数IsCuQpDeltaCodedを判定し（ステップＳ１１１４）、変数IsCuQpDeltaCodedが０の場合（ステップＳ１１１４のＹＥＳ）、ステップＳ１１１５からＳ１１１８までの処理を行い、変数IsCuQpDeltaCodedが１の場合（ステップＳ１１１４のＮＯ）、ステップＳ１１１５からＳ１１１８までの処理をスキップして、ステップＳ１１１９に進む。
ステップＳ１１０４で設定された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ１１２の量子化グループブロックの量子化パラメータＱＰＹに設定する（ステップＳ１１１５）。この符号化情報格納メモリ１１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータＱＰＹの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。ステップＳ１１１０で符号化情報格納メモリ１１２に格納された量子化グループブロックの量子化パラメータＱＰＹに上書きされる。
ステップＳ１１１６では、次式によりシンタックス要素cu_qp_deltaを導出する（ステップＳ１１１６）。
ＱＰDIFF=ＱＰＹ−ＱＰPRED
cu_qp_delta = (ＱＰDIFF + 78 + QpBdOffsetY + (QpBdOffsetY/2)) % (52 + QpBdOffsetY) - 26 - (QpBdOffsetY/2);
ただし、変数QpBdOffsetYは映像信号のビット深度にもとづいて設定される変数であり、８ビットでは０、１０ビットでは１２となる。
続いて、シンタックス要素cu_qp_deltaをエントロピー符号化し（ステップＳ１１１７）、変数IsCuQpDeltaCodedに１を設定し（ステップＳ１１１８）、変換ブロックの係数を符号化する（ステップＳ１１１９）。
符号化ブロック内のすべての変換ブロックの処理が完了したら、ステップＳ１１２１に進み、次の符号化ブロックの処理を行う。
符号化ツリーブロック内のすべての符号化ブロックの処理が完了したら、ステップＳ１１２２に進み、次の符号化ツリーブロックの処理を行う。
スライス内のすべての符号化ツリーブロックの処理が完了したら、ステップＳ１１２３に進み、次のスライスの処理を行う。
ピクチャ内のすべてのスライスの処理が完了したら、本量子化パラメータ決定・符号化処理が終了する。
図７は量子化パラメータの復号・導出処理手順を説明するフローチャートである。これらの処理は画像復号装置の量子化パラメータ導出部２０５で行われる。ただし、ステップＳ１２１２のエントロピー復号処理は画像復号装置の第３の符号化ビット列復号部２０４で行われる。ピクチャ内のスライス毎にステップＳ１２０２からＳ１２１９までの処理を行う（ステップＳ１２０１〜Ｓ１２２０）。さらに、スライス内の符号化ツリーブロック毎にステップＳ１２０３からＳ１２１８までの処理を行う（ステップＳ１２０２〜Ｓ１２１９）。
続いて、符号化ツリーブロック内の符号化ブロック毎にステップＳ１２０４からＳ１２１７までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを復号し導出する（ステップＳ１２０３〜Ｓ１２１８）。これらの処理は画像復号装置では第３の符号化ビット列復号部２０４及び量子化パラメータ導出部２０５で実施される。量子化パラメータＱＰＹを導出する際には、量子化パラメータの予測値ＱＰPREDを導出し、シンタックス要素cu_qp_deltaを復号し、この復号されたシンタックス要素cu_qp_deltaを用いて量子化パラメータＱＰＹを導出する。
まず、対象となる符号化ブロックが復号順で量子化グループブロックの先頭の場合（ステップＳ１２０４のＹＥＳ）、対象となる符号化ブロックに対応する量子化グループブロックの量子化パラメータＱＰＹに対応するシンタックス要素cu_qp_deltaが復号されたかどうかを示す変数IsCuQpDeltaCodedに０を設定し（ステップＳ１２０５）、量子化パラメータＱＰＹの予測値ＱＰPREDを導出する（ステップＳ１２０６）。ステップＳ１２０６の処理については図８を用いて詳細に説明する。
続いて、ステップＳ１１０９で導出した量子化パラメータの予測値ＱＰPREDの値を符号化情報格納メモリ２１２の量子化グループブロックの量子化パラメータＱＰＹに設定する（ステップＳ１２０７）。この符号化情報格納メモリ２１２に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータの予測値ＱＰPREDの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。
一方、対象となる符号化ブロックが復号順で量子化グループブロックの先頭でない場合（ステップＳ１２０４のＮＯ）、ステップＳ１２０８に進む。
続いて、符号化ブロックがイントラＰＣＭ符号化の場合（ステップＳ１２１０のＮＯ）、ステップＳ１２０９からＳ１２１７までの処理をスキップしてステップＳ１２１８に進む。符号化ブロックがイントラＰＣＭ符号化でない場合（ステップＳ１２１０のＹＥＳ）、符号化ブロック内の変換ブロック毎にステップＳ１２１０からＳ１２１６までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを復号し、導出する（ステップＳ１２０９〜Ｓ１２１７）。まず、対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crの値を判定する（ステップＳ１２１０）。ここで、変数cbf_lumaは対象の輝度の変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_cbは対象の色差Ｃｂの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_crは対象の色差Ｃｒの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれかが１の場合（ステップＳ１２１０のＹＥＳ）、ステップＳ１２１１からＳ１２１６までの処理を行い、変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれも１でない場合、すなわちすべて０の場合（ステップＳ１２１０のＮＯ）、ステップＳ１２１１からＳ１２１６までの処理をスキップして、ステップＳ１２１７に進む。
ステップＳ１２１１では、変数IsCuQpDeltaCodedを判定し（ステップＳ１２１１）、変数IsCuQpDeltaCodedが０の場合（ステップＳ１２１１のＹＥＳ）、ステップＳ１２１２からＳ１２１５までの処理を行い、変数IsCuQpDeltaCodedが１の場合（ステップＳ１２１１のＮＯ）、ステップＳ１２１２からＳ１２１５までの処理をスキップして、ステップＳ１２１６に進む。
続いて、シンタックス要素cu_qp_deltaをエントロピー復号する（ステップＳ１２１２）。
続いて、次式により量子化グループブロックの量子化パラメータＱＰＹを導出する（ステップＳ１２１３）。
ＱＰＹ= ( ( (ＱＰPRED + cu_qp_delta + 52 + 2 * QpBdOffsetY )%( 52 + QpBdOffsetY ) ) - QpBdOffsetY
ただし、変数QpBdOffsetYは映像信号のビット深度にもとづいて設定される変数である。
ステップＳ１２１３で導出された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ２１２に量子化グループブロックの量子化パラメータＱＰＹに設定する（ステップＳ１２１４）。この符号化情報格納メモリ２１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータＱＰＹの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。ステップＳ１２０７で符号化情報格納メモリ２１２に格納された量子化グループブロックの量子化パラメータＱＰＹに上書きされる。
続いて、変数IsCuQpDeltaCodedに１を設定し（ステップＳ１２１５）、変換ブロックの係数を復号する（ステップＳ１２１６）。
符号化ブロック内のすべての変換ブロックの処理が完了したら、ステップＳ１２１８に進み、次の符号化ブロックの処理を行う。
符号化ツリーブロック内のすべての符号化ブロックの処理が完了したら、ステップＳ１２１９に進み、次の符号化ツリーブロックの処理を行う。
スライス内のすべての符号化ツリーブロックの処理が完了したら、ステップＳ１２２０に進み、次のスライスの処理を行う。
ピクチャ内のすべてのスライスの処理が完了したら、本量子化パラメータ復号・導出処理が終了する。
図８は図６のステップＳ１１０９、図７のＳ１２０６の量子化パラメータの予測値の導出処理手順を説明するフローチャートである。これらの処理は画像符号化装置の第３の符号化ビット列生成部１１７及び画像復号装置の量子化パラメータ導出部２０５で行われる。まず、画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納されている。
左に隣接する量子化グループブロックが利用できるかどうかを判定し、左に隣接する量子化グループブロックが利用できる場合（ステップＳ１３０１のＹＥＳ）、左に隣接する量子化グループブロックの量子化パラメータＱＰLEFTの値を量子化パラメータＱＰＡに設定し（ステップＳ１３０２）、利用できない場合（ステップＳ１３０１のＮＯ）、符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVの値を量子化パラメータＱＰＡに設定する（ステップＳ１３０３）。
上に隣接する量子化グループブロックが利用できるかどうかを判定し、上に隣接する量子化グループブロックが利用できる場合（ステップＳ１３０４のＹＥＳ）、上に隣接する量子化グループブロックの量子化パラメータＱＰLEFTの値を量子化パラメータＱＰＢに設定し（ステップＳ１３０５）、利用できない場合（ステップＳ１３０４のＮＯ）、符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVの値を量子化パラメータＱＰＢに設定する（ステップＳ１３０６）。
続いて、次式により、量子化パラメータＱＰＡと量子化パラメータＱＰＢの平均値を算出し、量子化パラメータの予測値ＱＰPREDとし（ステップＳ１３０７）、本量子化パラメータ導出処理を終了する。
ＱＰPRED = (ＱＰＡ + ＱＰＢ + 1) >> 1
イントラＰＣＭ符号化では量子化しないが、本実施の形態においては、デブロックフィルタの際に、量子化パラメータを用いる。そこで、イントラＰＣＭの符号化ブロックにも量子化パラメータを設定する。イントラＰＣＭ符号化でない符号化ブロックの量子化パラメータと同様に、イントラＰＣＭの符号化ブロックを含む量子化グループブロックの量子化パラメータをイントラＰＣＭの符号化ブロックの量子化パラメータとみなすこととする。
イントラＰＣＭブロックのサイズと量子化グループブロックのサイズの関係と量子化パラメータの値について説明する。
符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックのサイズ以上の場合、シンタックス要素cu_qp_deltaが符号化されることは無く、イントラＰＣＭブロックの量子化パラメータＱＰＹの値は量子化パラメータの予測値ＱＰPREDと等しくなり、その量子化パラメータの予測値ＱＰPREDと等しい量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックのサイズ未満の場合、同じ量子化グループブロック内のイントラＰＣＭ符号化でない符号化ブロックでシンタックス要素cu_qp_deltaが符号化される可能性があり、イントラＰＣＭ符号化の符号化ブロックの量子化パラメータＱＰＹの値は量子化パラメータの予測値ＱＰPREDの値と等しいとは限らず、符号化／復号される量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
なお、デブロックフィルタのフィルタリング強度をより適切に設定してブロック歪みを低減するために、符号化ブロックがイントラＰＣＭ符号化の場合においても、量子化パラメータＱＰＹの値を符号化／復号することにしてもよい。その場合、符号化／復号される量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
次に、実施の形態のポイントの１つであるデブロッキングフィルタの符号化／復号について詳細に説明する。本実施の形態においては、輝度信号において、ピクチャを８×８画素ブロックに区切った際の境界上にある変換ブロックおよび予測ブロックの境界を導出し、デブロッキングフィルタ処理を行う。図９はブロック境界の画素の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、図９（ａ）に示すように垂直境界を挟んで左側のブロックをブロックＰ、右側のブロックをブロックＱとする。さらに、ブロックＰに含まれるフィルタリング対象となる垂直境界の画素ｐをブロックの境界から左へ順に画素ｐ０、ｐ１、ｐ２、ｐ３とし、ブロックＱに含まれる画素ｑをブロックの境界から右へ順に画素ｑ０、ｑ１、ｑ２、ｑ３とする。最も上の１ラインのみを示したが、垂直境界を跨ぐ、垂直方向の各ラインについて水平方向にフィルタリングを行う。一方、水平エッジのフィルタリング処理を行う場合は、図９（ｂ）に示すように水平境界を挟んで上側のブロックをブロックＰ、下側のブロックをブロックＱとする。さらに、ブロックＰに含まれるフィルタリング対象となる垂直境界の画素ｐをブロックの境界から上へ順に画素ｐ０、ｐ１、ｐ２、ｐ３とし、ブロックＱに含まれる画素ｑをブロックの境界から下へ順に画素ｑ０、ｑ１、ｑ２、ｑ３とする。最も左の１ラインのみを示したが、水平境界を跨ぐ、水平方向の各ラインについて垂直方向にフィルタリングを行う。
第１の実施例について説明する。図１０、図１１、図１４、図１５および図１８は画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１の第１の実施例の処理手順を説明するフローチャートである。画像符号化装置では、符号化対象のピクチャのすべての復号画像信号が第１の復号画像メモリ１１３に格納された後に、デブロッキングフィルタ部１１１でデブロッキングフィルタ処理を行い、第２の復号画像メモリ１１４に格納される。画像復号装置では、復号対象のピクチャのすべての復号画像信号が第１の復号画像メモリ２１３に格納された後に、デブロッキングフィルタ部２１１でデブロッキングフィルタ処理を行い、第２の復号画像メモリ２１４に格納される。
まず、図１０のデブロッキングフィルタ処理手順について説明する。画像符号化装置の第１の復号画像メモリ１１３または画像復号装置の第１の復号画像メモリ２１３に格納されている復号されたピクチャ内の符号化ブロック毎に、ステップＳ２１０２とＳ２１０３の処理を繰り返す（ステップＳ２１０１〜Ｓ２１０４）。垂直エッジの水平方向のフィルタリング処理を行い（ステップＳ２１０２）、出力画素ｐ'、ｑ'を画像メモリに格納する（ステップＳ２１０３）。この際、中間データ一時保存用の画像メモリに格納される。続いて、デブロックフィルタ処理されたピクチャ内の符号化ブロック毎に、ステップＳ２１０６とＳ２１０７の処理を繰り返す（ステップＳ２１０５〜Ｓ２１０８）。水平エッジの垂直方向のフィルタリング処理を行い（ステップＳ２１０６）、出力画素ｐ'、ｑ'を画像メモリに格納する（ステップＳ２１０７）。この際、画像符号化装置の第２の復号画像メモリ１１４または画像復号装置の第２の復号画像メモリ２１４に格納される。ステップＳ２１０２の垂直エッジの水平方向のフィルタリング処理とステップＳ２１０６の水平エッジの垂直方向のフィルタリング処理は処理の方向が違うのみで、処理手順は共通であり、図１１、図１４、図１５および図１８を用いて詳細に説明する。
図１１の符号化ブロック毎のデブロッキングフィルタ処理手順について説明する。まず、符号化情報格納メモリ１１２または符号化情報格納メモリ２１２に格納されている符号化情報を用いて、符号化ブロック内の変換ブロックの境界を導出する（ステップＳ２２０１）。図１２は符号化ブロック内の変換ブロックの垂直境界と水平境界の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び左側の辺上の図１２（ａ）の太線で示される、符号化ブロック内の変換ブロックの垂直方向の境界３１０１を導出する。一方、水平エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び上側の辺上の図１２（ｂ）の太線で示される、符号化ブロック内の変換ブロックの水平方向の境界３１０２を導出する。
続いて、予測ブロック境界を導出する（ステップＳ２２０２）。図１３は符号化ブロック内の予測ブロックの垂直境界と水平境界の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び左側の辺上の図１３（ａ）の太線で示される、符号化ブロック内の予測ブロックの垂直方向の境界３２０１を導出する。一方、水平エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び上側の辺上の図１３（ｂ）の太線で示される、符号化ブロック内の予測ブロックの水平方向の境界３２０２を導出する。
続いて、変換ブロックおよび予測ブロックのそれぞれのブロック境界の強度を導出する（ステップＳ２２０３）。それぞれのブロック境界について、一様に同じ強さのデブロックフィルタ処理を行うのではなく、それぞれのブロック境界の条件にもとづいてどの程度の強さのデブロックフィルタ処理を行うべきかを決定する。
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれる場合、ブロック境界の強度を示す変数ｂＳの値を２に設定する。２は最も強い強度を示す値である。
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれない場合、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれる場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。１は中程度の強度を示す値である。
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれず、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれない場合、画素ｐ０を含む予測ブロックが、画素ｑ０を含む予測ブロックと異なる参照ピクチャ、または異なる予測ブロックの動きベクトル数の場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれず、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれず、画素ｐ０を含む予測ブロックが、画素ｑ０を含む予測ブロックと同じ参照ピクチャで同じ予測ブロックの動きベクトル数の場合、画素ｐ０を含む予測ブロックの動きベクトルの値と、画素ｑ０を含む予測ブロックの動きベクトルの動きベクトルの値が所定の値以上に異なる場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれず、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれず、画素ｐ０を含む予測ブロックが、画素ｑ０を含む予測ブロックと同じ参照ピクチャで同じ予測ブロックの動きベクトル数で画素ｐ０を含む予測ブロックの動きベクトルの値と、画素ｑ０を含む予測ブロックの動きベクトルの動きベクトルの値が所定の値以上に異ならない場合、ブロック境界の強度を示す変数ｂＳの値を０に設定する。０は最も弱い強度を示す値である。
続いて、輝度信号のフィルタリングを行う（ステップＳ２２０４）。ステップＳ２２０４の輝度信号のフィルタリング処理手順については図１４を用いて詳細に説明する。続いて、色差信号のフィルタリングを行い（ステップＳ２２０５）、本デブロックフィルタ処理手順を終了する。色差信号のフィルタリングについても輝度信号のフィルタリングとほぼ同様の手法をとることとし、詳細については省略する。
図１４はステップＳ２２０４の信号のフィルタリング処理手順を示すフローチャートである。符号化ブロック内の８×８ブロック毎に（ステップＳ２３０１〜Ｓ２３０３）、輝度ブロックエッジのフィルタリングを行う（ステップＳ２３０２）。
図１５は第１の実施例のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。まず、画素ｐ（画素ｐ０、ｐ１、ｐ２、ｐ３）を含むブロックＰの量子化パラメータＱＰＰを取得する（ステップＳ３１０１）。画素ｑ（画素ｑ０、ｑ１、ｑ２、ｑ３）を含むブロックＱの量子化パラメータＱＰＱを取得する（ステップＳ３１０２）。画素ｐを含むブロックＰがイントラＰＣＭブロックの場合（ステップＳ３１０３のＹＥＳ）、量子化されず、符号化劣化が無いので、量子化パラメータＱＰＰに０を設定する（ステップＳ３１０４）。同様に、画素ｑを含むブロックＱがイントラＰＣＭブロックの場合（ステップＳ３１０５のＹＥＳ）、量子化されず、符号化劣化が無いので、量子化パラメータＱＰＱに０を設定する（ステップＳ３１０６）。なお、ブロックＰやブロックＱを含む符号化ブロックがイントラＰＣＭブロックの場合に、ステップＳ３１０４およびステップＳ３１０６において、イントラＰＣＭブロックの量子化パラメータＱＰＰ、ＱＰＱに０を設定したが、特に、後述するシンタックス要素beta_offset_div2及びtc_offset_div2の値の取りうる範囲が広い場合、イントラＰＣＭブロックの量子化パラメータＱＰＰ、ＱＰＱに０の代わりに量子化パラメータＱＹの最小値である-QpBdOffsetYをすることで、後述する変数βおよび変数ｔｃの値が小さくなる。その際、画質劣化のないイントラＰＣＭブロックにかかるフィルタ強度が弱くなることで、デブロックフィルタのフィルタリング強度をより適切に設定することができる。続いて次式により、量子化パラメータＱＰＰと量子化パラメータＱＰＱの平均値を導出し、ＱＰＡとする（ステップＳ３１０７）。
ＱＰＡ= ( ＱＰＰ + ＱＰＱ + 1 ) >> 1
続いて、変数βを導出する（ステップＳ３１０８）。変数βはデブロッキングフィルタの強さを決める際に用いる変数である。量子化パラメータの平均値ＱＰＡが大きくなるほど変数βの値が大きくなる。変数βの導出においては、次式によりインデックスindexBを導出し、インデックスindexBが０より小さい場合は０、５１より大きい場合は５１にクリッピングして、図１６の表を参照することにより、変数βを導出する。
indexB = ＱＰＡ + ( beta_offset_div2 << 1 )
ただし、beta_offset_div2はシーケンス単位で符号化されるシンタックス要素であり、−１３から１３の値を持つ。ブロックＰやブロックＱを含む符号化ブロックがイントラＰＣＭブロックの場合に、イントラＰＣＭブロックの量子化パラメータＱＰＰまたはＱＰＱを-QpBdOffsetYまたは０と設定することにより、量子化パラメータの平均値ＱＰＡの値が小さくなり、βの値が小さくなる。βの値が小さい場合、後述するようにフィルタがかからなくなりやすく、ウィークフィルタが選ばれやすくなる。
続いて、変数ｔｃを導出する（ステップＳ３１０９）。変数ｔｃの値はデブロッキングフィルタの強さを決める際に用いる変数であり、量子化パラメータの平均値ＱＰＡや境界強度を示す変数ｂＳの値が大きくなるほど変数ｔｃの値が大きくなる。変数ｔｃの導出においては、次式によりインデックスindexTcを導出し、インデックスindexTcが０より小さい場合は０、５３より大きい場合は５３にクリッピングして、図１７の表を参照することにより、変数ｔｃを導出する。
indexTc = ＱＰＡ + 2 * ( bS - 1) + ( tc_offset_div2 << 1)
ただし、tc_offset_div2はシーケンス単位で符号化されるシンタックスであり、−１３から１３の値を持つ。
続いて、境界近傍の画素値の関係から評価値ｄを導出する（ステップＳ３１１０）。評価値ｄが変数β以上の場合（ステップＳ３１１１のＮＯ）、入力画素をそのまま出力画素とし（ステップＳ３１１６）、本輝度信号のフィルタリング処理を終了する。変数βの値が小さければ、フィルタがかからなくなりやすい。
評価値ｄが変数βより小さい場合（ステップＳ３１１１のＹＥＳ）、境界近傍の画素値と変数βの関係からデブロックフィルタの種類を決定する（ステップＳ３１１２）。本実施の形態ではストロングフィルタとウィークフィルタの２種類のフィルタを切り替えて用いる。変数βの値が大きければ、ストロングフィルタが選ばれやすくなり、変数βの値が小さければ、ウィークフィルタが選ばれやすくなる。
続いて、フィルタリングブロックのライン毎に信号をフィルタリングする（ステップＳ３１１３〜Ｓ３１１５）。ライン毎の信号のブロック境界を挟む画素ｐ（画素ｐ０、ｐ１、ｐ２、ｐ３）、画素ｑ（画素ｑ０、ｑ１、ｑ２、ｑ３）のフィルタリングを行う（ステップＳ３１１４）。
図１８は第１の実施例のステップＳ３１１４のライン毎の信号のフィルタリング処理手順を示すフローチャートである。ストロングフィルタをかける場合（ステップＳ３２０１のＹＥＳ）、ストロングフィルタをかける（ステップＳ３２０２）。そうでない場合（ステップＳ３２０１のＮＯ）、ウィークフィルタをかける（ステップＳ３２０３）。フィルタがかけられた画素ｐ'（画素ｐ０'、ｐ１'、ｐ２'、ｐ３'）、画素ｑ'（画素ｑ０'、ｑ１'、ｑ２'、ｑ３'）を出力画素とし、本フィルタリング処理手順を終了する。
次に、第２の実施例について説明する。図１０、図１１、図１４、図１９、図２０は画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１の第２の実施例の処理手順を説明するフローチャートである。第１の実施例とは、図１０、図１１、図１４が同じで、図１５の代わりに図１９となり、図１８の代わりに図２０となっている。同じ処理（ステップ）には同じ番号が振られている。第２の実施例の図１９は第１の実施例の図１５のステップＳ３１０３〜Ｓ３１０６のブロックＰおよびブロックＱを含む符号化ブロックがイントラＰＣＭブロックかどうかを判定し、イントラＰＣＭの場合に量子化パラメータＱＰＰまたはＱＰＱを０に設定する処理が省かれている点が異なる。第２の実施例の図２０は第１の実施例の図１８に対して、ステップＳ３２０５〜Ｓ３２０８の処理が追加されている点が異なる。
図１９は第２の実施例のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。まず、画素ｐを含むブロックＰの量子化パラメータＱＰＰを取得する（ステップＳ３１０１）。画素ｑを含むブロックＱの量子化パラメータＱＰＱを取得する（ステップＳ３１０２）。図１９のステップＳ３１０７以降の処理は第１の実施例の図１５と同じであるので説明を省く。
図２０は第２の実施例のステップＳ３１１４のライン毎の輝度信号のフィルタリング処理手順を示すフローチャートである。ストロングフィルタをかける場合（ステップＳ３２０１のＹＥＳ）、ストロングフィルタをかける（ステップＳ３２０２）。そうでない場合（ステップＳ３２０１のＮＯ）、ウィークフィルタをかける（ステップＳ３２０３）。フィルタがかけられた画素ｐ'、ｑ'を出力画素とする。
画素ｐを含むブロックＰがイントラＰＣＭブロックの場合（ステップＳ３２０５のＹＥＳ）、入力画素ｐの画素値を出力画素ｐ'に設定する（ステップＳ３２０６）。即ち、イントラＰＣＭブロックの画素ｐにフィルタがかからない状態で、そのまま出力画素として出力する。画素ｐを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０５のＹＥＳ）、フィルタがかけられた画素ｐ'がそのまま出力画素となりステップＳ３２０７に進む。
画素ｑを含むブロックがイントラＰＣＭブロックの場合（ステップＳ３２０７のＹＥＳ）、入力画素ｑの画素値を出力画素ｑ'に設定する（ステップＳ３２０８）。即ち、イントラＰＣＭブロックの画素ｑにフィルタがかからない状態で、そのまま出力画素として出力される。画素ｑを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０７のＹＥＳ）、フィルタがかけられた画素ｑ'がそのまま出力画素となり、本フィルタリング処理手順を終了する。
第１の実施例では、ブロックＰまたはブロックＱのいずれか一方がイントラＰＣＭの場合、イントラＰＣＭブロックの量子化パラメータを０または量子化パラメータの最小値として変数βの値を算出するため、イントラＰＣＭでない他方のブロックでも、変数βの値が小さくなり、フィルタがかからなくなったり、ウィークフィルタが選ばれやすくなり、適切にデブロッキングフィルタを施せないという課題があった。例えば、図９（ａ）または（ｂ）において、輝度信号のビット深度が８ビットで、ブロックＰがイントラＰＣＭ符号化で量子化パラメータＱＰＰの値が３０、ブロックＱがイントラ予測モードで符号化パラメータＱＰＱの値が３０、シンタックス要素beta_offset_div2の値が０の場合、量子化パラメータＱＰＰの値が０に設定され、符号化パラメータＱＰＡの値は１５となり、変数βの値は０となる。この場合、ブロックＰだけでなくブロックＱにもフィルタがかからず、ブロック歪が除去されない。
一方、第２の実施例では、イントラＰＣＭか否かを区別せず、量子化パラメータを利用するので、適切な強さのフィルタを施すことができる。例えば、図９（ａ）または（ｂ）において、輝度信号のビット深度が８ビットで、ブロックＰがイントラＰＣＭ符号化で符号化パラメータＱＰＰの値が３０、ブロックＱがイントラ予測モードで符号化パラメータＱＰＱの値が３０、シンタックス要素beta_offset_div2の値が０の場合、符号化パラメータＱＰＡの値は３０となり、変数βの値は２２となる。この場合、ブロックＱに適切なフィルタがかかり、ブロック歪が除去される。また符号化劣化のないイントラＰＣＭブロックに関しては、常にフィルタをかけないので、イントラＰＣＭブロックに関しても符号化劣化は生じない。
次に、第３の実施例について説明する。図１０、図１１、図１４、図１９、図２１は画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１の第３の実施例の処理手順を説明するフローチャートである。第２の実施例とは、図１０、図１１、図１４、図１９が同じで、図２０の代わりに図２１となっている。同じ処理（ステップ）には同じ番号が振られている。第２の実施例の図２１は第２の実施例の図２０に対して、ステップＳ３２０４の処理が追加されている点が異なる。図１０、図１１、図１４、図１９の処理は第２の実施例と同じであり、説明を省く。
図２１は第３の実施例のステップＳ３１１４のライン毎の輝度信号のフィルタリング処理手順を示すフローチャートである。ストロングフィルタをかける場合（ステップＳ３２０１のＹＥＳ）、ストロングフィルタをかける（ステップＳ３２０２）。そうでない場合（ステップＳ３２０１のＮＯ）、ウィークフィルタをかける（ステップＳ３２０３）。
続いて、フラグpcm_loop_filter_disable_flagの値を判定する（ステップＳ３２０４）。pcm_loop_filter_disable_flagはイントラＰＣＭで符号化される画素にデブロックフィルタやその他のループフィルタをかけるかどうかを示すフラグであり、シーケンス、ピクチャまたはスライス単位で設定され、符号化される。pcm_loop_filter_disable_flagが１の場合（ステップＳ３２０４のＹＥＳ）、ステップＳ３２０５に進み、pcm_loop_filter_disable_flagが０の場合（ステップＳ３２０４のＮＯ）、フィルタがかけられた画素ｐ'、ｑ'を出力画素とし、本フィルタリング処理手順を終了する。
画素ｐを含むブロックがイントラＰＣＭブロックの場合（ステップＳ３２０５のＹＥＳ）、入力画素ｐの画素値を出力画素ｐ'に設定する（ステップＳ３２０６）。即ち、イントラＰＣＭブロックの画素ｐにフィルタがかからない状態で、そのまま出力画素として出力される。画素ｐを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０５のＹＥＳ）、フィルタがかけられた画素ｐ'がそのまま出力画素となりステップＳ３２０７に進む。
画素ｑを含むブロックがイントラＰＣＭブロックの場合（ステップＳ３２０７のＹＥＳ）、入力画素ｑの画素値を出力画素ｑ'に設定する（ステップＳ３２０８）。即ち、イントラＰＣＭブロックの画素ｑにフィルタがかからない状態で、そのまま出力画素として出力される。画素ｑを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０７のＹＥＳ）、フィルタがかけられた画素ｑ'がそのまま出力画素となり、本フィルタリング処理手順を終了する。
第３の実施例では、フラグpcm_loop_filter_disable_flagにもとづいてイントラＰＣＭで符号化された画素にデブロックフィルタを施すかどうかを切り替えることができるため、特に高いビットレートの際に、フラグpcm_loop_filter_disable_flagに０を設定することで、ブロックがイントラＰＣＭかどうかの判定を省略することができ、演算量を削減することが可能である。
なお、第１の実施例において、図１８のライン毎の信号のフィルタリング処理手順の代わりに第３の実施例で説明した図２１のライン毎の信号のフィルタリング処理手順を実施することもできる。フラグpcm_loop_filter_disable_flagにもとづいてイントラＰＣＭで符号化された画素にデブロックフィルタを施すかどうかを切り替えることができるため、特に低いビットレートの際に、フラグpcm_loop_filter_disable_flagに１を設定し、イントラＰＣＭブロックに対してデブロックフィルタを施さないことにより、画質劣化を抑えることができる。
以上述べた実施の形態の画像符号化装置が出力する画像の符号化ビット列は、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号装置がこの特定のデータフォーマットの符号化ビット列を復号することができる。
画像符号化装置と画像復号装置の間で符号化ビット列をやりとりするために、有線または無線のネットワークが用いられる場合、符号化ビット列を通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビット列を通信路の伝送形態に適したデータ形式のパケット化された符号化ストリームに変換してネットワークに送信する画像送信装置と、ネットワークからパケット化された符号化ストリームを受信して符号化ビット列に復元して画像復号装置に供給する画像受信装置とが設けられる。
画像送信装置は、画像符号化装置が出力する符号化ビット列をバッファするメモリと、符号化ビット列をパケット化するパケット処理部と、パケット化された符号化ストリームをネットワークを介して送信する送信部とを含む。画像受信装置は、パケット化された符号化ストリームをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、画像復号装置に提供するパケット処理部とを含む。
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
１０１ 画像メモリ、１０２ 量子化パラメータ決定部、 １０３ イントラ予測部、 １０４ ＰＣＭ符号化部、１０５ インター予測部、 １０６ 符号化方法決定部、 １０７ 残差信号生成部、 １０８ 直交変換・量子化部、 １０９ 逆量子化・逆直交変換部、 １１０ 復号画像信号重畳部、 １１１ デブロッキングフィルタ部、 １１２ 符号化情報格納メモリ、 １１３ 第１の復号画像メモリ、 １１４ 第２の復号画像メモリ、 １１５ 第１の符号化ビット列生成部、 １１６ 第２の符号化ビット列生成部、 １１７ 第３の符号化ビット列生成部、 １１８ 符号化ビット列多重化部、 １１９ スイッチ、 ２０１ 符号化ビット列分離部、 ２０２ 第１の符号化ビット列復号部、 ２０３ 第２の符号化ビット列復号部、 ２０４ 第３の符号化ビット列復号部、 ２０５ 量子化パラメータ導出部、 ２０６ イントラ予測部、 ２０７ ＰＣＭ復号部、 ２０８ インター予測部、 ２０９ 逆量子化・逆直交変換部、 ２１０ 復号画像信号重畳部、 ２１１ デブロッキングフィルタ部、 ２１２ 符号化情報格納メモリ、 ２１３ 第１の復号画像メモリ、 ２１４ 第２の復号画像メモリ、 ２１５ スイッチ、 ２１６ スイッチ。

Claims (6)

  1. ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号装置であって、
    ブロックの量子化パラメータを導出する量子化パラメータ導出部と、
    圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号部と、
    非圧縮で符号化されたブロックの画像信号を復号する第２の復号部と、
    ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタ部とを含み、
    前記量子化パラメータ導出部は、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、
    前記デブロッキングフィルタ部は、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする画像復号装置。
  2. ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号方法であって、
    ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、
    非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、
    ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとを含み、
    前記量子化パラメータ導出ステップは、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、
    前記デブロッキングフィルタステップは、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする画像復号方法。
  3. ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号プログラムであって、
    ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、
    非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、
    ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとをコンピュータに実行させ、
    前記量子化パラメータ導出ステップは、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、
    前記デブロッキングフィルタステップは、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする画像復号プログラム。
  4. 画像が符号化された符号化ビット列を受信して復号する受信装置であって、
    ブロック単位で輝度信号を色差信号とを含む画像信号が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信部と、
    受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元部と、
    ブロックの量子化パラメータを導出する量子化パラメータ導出部と、
    復元された前記元の符号化ビット列から、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号部と、
    復元された前記元の符号化ビット列から、非圧縮で符号化されたブロックの画像信号を復号する第２の復号部と、
    ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタ部とを含み、
    前記量子化パラメータ導出部は、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、
    前記デブロッキングフィルタ部は、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする受信装置。
  5. 画像が符号化された符号化ビット列を受信して復号する受信方法であって、
    ブロック単位で輝度信号を色差信号とを含む画像信号が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信ステップと、
    受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元ステップと、
    ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    復元された前記元の符号化ビット列から、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、
    復元された前記元の符号化ビット列から、非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、
    ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとを含み、
    前記量子化パラメータ導出ステップは、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、
    前記デブロッキングフィルタステップは、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする受信方法。
  6. 画像が符号化された符号化ビット列を受信して復号する受信プログラムであって、
    ブロック単位で輝度信号を色差信号とを含む画像信号が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信ステップと、
    受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元ステップと、
    ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
    復元された前記元の符号化ビット列から、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、
    復元された前記元の符号化ビット列から、非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、
    ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとをコンピュータに実行させ、
    前記量子化パラメータ導出ステップは、圧縮して符号化されたブロック及び非圧縮で符号化されたブロックにおいて、前記量子化パラメータを導出し、非圧縮で符号化されたブロックにおいて、前記量子化パラメータを０とする処理を行わないものとし、
    前記デブロッキングフィルタステップは、前記ブロック境界の画像信号が非圧縮で符号化されたか否かを区別せずに前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出するとともに、前記非圧縮で符号化されたブロックの画像信号でフィルタリング処理を無効にすることまたはしないことを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の画像信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の画像信号をそのまま出力信号とすることを特徴とする受信プログラム。
JP2016251525A 2012-03-30 2016-12-26 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム Pending JP2017055464A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012082564 2012-03-30
JP2012082564 2012-03-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013070432A Division JP2013229866A (ja) 2012-03-30 2013-03-28 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム

Publications (1)

Publication Number Publication Date
JP2017055464A true JP2017055464A (ja) 2017-03-16

Family

ID=49677059

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013070432A Pending JP2013229866A (ja) 2012-03-30 2013-03-28 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP2016251525A Pending JP2017055464A (ja) 2012-03-30 2016-12-26 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013070432A Pending JP2013229866A (ja) 2012-03-30 2013-03-28 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム

Country Status (1)

Country Link
JP (2) JP2013229866A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015151791A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 画像復号装置および方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANAND KOTRA ET AL.: "Deblocking bug fix for CU-Varying QP's and IPCM blocks", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH M, JPN6012051536, 21 November 2011 (2011-11-21), ISSN: 0003845489 *
BENJAMIN BROSS ET AL., WD5: WORKING DRAFT 5 OF HIGH-EFFICIENCY VIDEO CODING, JPN6018007371, 1 February 2012 (2012-02-01), pages 83 - 93, ISSN: 0003845486 *
大久保 榮, 改訂三版Ｈ．２６４／ＡＶＣ教科書, vol. 第1版, JPN6018029073, 1 January 2009 (2009-01-01), pages 144 - 147, ISSN: 0003845487 *

Also Published As

Publication number Publication date
JP2013229866A (ja) 2013-11-07

Similar Documents

Publication Publication Date Title
US11107253B2 (en) Image processing method, and image decoding and encoding method using same
CN103404151B (zh) 图像编码/解码方法和用于其的设备
KR20160106018A (ko) 동영상 복호화 장치
EP2249572A1 (en) Dynamic image encoding/decoding method and device
JP6213636B2 (ja) 映像復号装置、映像復号方法及びプログラム
KR20160002786A (ko) 비디오 신호 처리 방법 및 장치
CA3191812A1 (en) Encoder, decoder, encoding method, and decoding method
CA3141350A1 (en) Video coding method and apparatus using adaptive parameter set
Lucas et al. Intra predictive depth map coding using flexible block partitioning
WO2013145773A1 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP2013229865A (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム
KR20190084010A (ko) 비디오 인코딩 및 디코딩 방법과 이를 이용한 장치
JP2017055464A (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP2013223096A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
TWI596934B (zh) Video encoding device, video encoding method and recording medium
KR20200081207A (ko) 움직임정보 표현 방법 및 이를 이용한 영상 복호화 장치
JP2013223097A (ja) 画像復号装置、画像復号方法及び画像復号プログラム
Nam et al. Lossless video coding based on pixel-wise prediction
KR102648468B1 (ko) 레벨 설정 방법 및 이를 이용한 영상 복호화 장치
KR20230155387A (ko) 레벨 설정 방법 및 이를 이용한 영상 복호화 장치
CN114270853A (zh) 编码装置、解码装置、编码方法和解码方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180731