JP2018029389A

JP2018029389A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2018029389A
Application number: JP2017206744A
Authority: JP
Inventors: 健治近藤; Kenji Kondo; 田中　潤一; Junichi Tanaka; 潤一田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-10-26
Filing date: 2017-10-26
Publication date: 2018-02-22

Abstract

【課題】符号化効率の低減を抑制することができるようにする。
【解決手段】制御情報付加部１８４は、符号化データ保持部１８２に保持される符号化データの、所定のスライスのスライスヘッダに、制御情報保持部１８３に保持される１ピクチャ分の制御情報を埋め込む。例えば、制御情報付加部１８４は、符号化データの処理対象フレームの、最初に伝送されるスライスのスライスヘッダに、１ピクチャ分の制御情報を埋め込む。制御情報付加部１８４は、制御情報を付加した符号化データを所定順に出力する。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図１０

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、符号化時または復号時のフィルタ処理の局所的な制御による符号化効率の低減を抑制することができるようにした画像処理装置および方法、並びにプログラムに関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、MPEG２（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG２は主として放送用に適合する高画質符号化を対象としていたが、MPEG１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L（ITU-T（ITU Telecommunication Standardization Sector）Q6/16 VCEG（Video Coding Experts Group））という標準の規格化が進んでいる。H.26LはMPEG２やMPEG４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG４の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG４ Part１０（AVC（Advanced Video Coding））という名の元に国際標準となった。

また、最近、検討されている次世代のビデオ符号化技術として適応ループフィルタ（ALF（Adaptive Loop Filter））がある（例えば、非特許文献１参照）。この適応フィルタにより、フレーム毎に最適なフィルタ処理が行われ、デブロックフィルタで取りきれなかったブロック歪みや量子化による歪みを低減することができる。

しかしながら、一般に画像は局所的には様々な特徴をもっているため、局所的には最適なフィルタ係数は異なる。非特許文献１記載の方法では、１フレーム内のすべて画素に対して同じフィルタ係数が適用されるため、フレーム全体では画質を改善するが、局所的には悪化させる恐れがあった。

そこで、局所的に悪化する領域にはフィルタ処理を行わない方法が考えられた（例えば非特許文献２、および非特許文献３参照）。この方法の場合、画像符号化装置は、画像の領域に、敷き詰めるように隙間無く並べられた複数の制御ブロックを対応させ、その制御ブロック毎に画像にフィルタ処理を行うか否かを制御する。画像符号化装置は、ブロック毎にフラグ情報を設定し、そのフラグ情報にしたがって適応フィルタ処理を行う。画像復号装置も同様に、このフラグ情報に基づいて適応フィルタ処理を行う。

この場合、復号時に符号化時と同様の適応フィルタ処理を実行することができるように、制御ブロックのサイズ、各制御ブロックのフラグ情報、並びに、適応フィルタ処理のフィルタ係数情報やフィルタＴＡＰ数等といった制御情報（ALF制御情報）を符号化データに含める必要がある。

このALF制御情報は、１ピクチャ毎に変化することが多いため、従来の考えではピクチャパラメータセット（PPS（Picture Parameter Set））あるいはシーケンスパラメータセット（SPS（Sequence Parameter Set））に含める。しかしながら、これらのPPSやSPSにALF制御情報を含めようとすると、pic_order_present_flag，num_ref_idx_l0_active_minus1，profile_idc、およびlevel_idcといったALFには直接関係の無い情報が付随するため不要なビットを画像圧縮情報に含んでしまい、そのオーバーヘッドによって符号化効率を悪化させる恐れがあった。

また、独立したNAL（Network Abstraction Layer）ユニットを作り、上述の不要な情報を取り除いた場合でも、start code, nal_ref_idc，およびnal_unit_typeが必要となり、それらのオーバーヘッドが符号化効率を悪化させる恐れがあった。

このような問題を回避するため、これらのALF制御情報をスライスヘッダに含めることが提案されている（例えば、非特許文献４参照）。また、スライスヘッダにALF制御情報を置かずに、ALF制御情報の場所を示すポインタ情報を置く方法も提案されている（例えば、非特許文献５参照）。

Yi-Jen Chiu and L. Xu, "Adaptive (Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Geneva, April 2008. Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, AI18, Germany, July, 2008 T. Chujoh, N. Wada and G. Yasuda, "Quadtree-based Adaptive Loop Filter," ITU-T SG16 Q6 VCEG Contribution, VCEG-AK22(r1), Japan, April, 2009 Takeshi. Chujoh, et al., "Improvement of Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, AJ13, San Diego, October, 2008 Yu-Wen Huang, et all., "Adaptive Quadtree-based Multi-reference Loop Filter", ITU-T SG16 Q6 VCEG Contribution, AK24, Yokohama Japan, April, 2009

ところで、１フレームを複数のスライスに分割し、そのスライス毎に画像の符号化処理や復号処理を行う方法（マルチスライス）がある。フレームを複数のスライス領域に分割することは、画像圧縮情報の転送中のエラー耐性を高くするために有効な方法である。

しかしながら、非特許文献２乃至非特許文献５には、単に１フレーム全体についてブロックを設定し、全ブロックのフラグ情報を生成して送信することが記載されているのみであり、このようなマルチスライスの場合のフラグ情報の処理について記載されておらず、どのようにフラグ情報を生成し、利用するべきか不明であった。

したがって、非特許文献の記載の方法の場合、画像符号化装置は、各スライスに対して、フレーム内全てのブロックのフラグ情報を生成することになり、不要なフラグ情報等により、符号化効率を悪化させる恐れがあった。

また、上述したように非特許文献４には、ALF制御情報をスライスヘッダに含めることが提案されているが、マルチスライスの場合において、各スライスに対して生成されたALF制御情報を符号化データのそれぞれのスライスヘッダに含めるようにすると、その複数のALF制御情報間で内容が重複する部分が生じる恐れがあった。すなわち、符号化効率を不要に低減させる恐れがあった。

非特許文献５に記載のようにスライスヘッダにポインタを置く場合も同様であり、複数のスライスヘッダにポインタを置く場合、重複した情報を符号化データに含めることになり、符号化効率を不要に低減させる恐れがあった。

本発明は、このような状況に鑑みて提案されたものであり、符号化時または復号時のフィルタ処理の局所的な制御による符号化効率の低減を抑制することを目的とする。

本発明の一側面は、画像の複数スライスに対応する、スライス単位でフィルタ処理を制御するフィルタ制御情報を含むビットストリームから、前記フィルタ制御情報を取得する取得部と、前記ビットストリームを復号して画像を生成する復号部と、前記取得部により取得されたフィルタ制御情報を用いて、前記復号部により生成された画像に対するフィルタ処理を制御する制御部とを備える画像処理装置である。

前記フィルタ制御情報は、前記ビットストリームのスライスヘッダに含まれるようにすることができる。

前記フィルタ制御情報は、フレームにおいて最初に復号されるスライスのスライスヘッダとして前記ビットストリームに含まれるようにすることができる。

前記復号部により生成された画像に対して、前記フィルタ処理を適用するフィルタ部をさらに備えるようにすることができる。

前記フィルタ処理は、フレーム単位またはブロック単位でフィルタ係数を伝送するアダプティブループフィルタであるようにすることができる。

本発明の一側面は、また、画像の複数スライスに対応する、スライス単位でフィルタ処理を制御するフィルタ制御情報を含むビットストリームから、前記フィルタ制御情報を取得し、前記ビットストリームを復号して画像を生成し、取得されたフィルタ制御情報を用いて、生成された画像に対するフィルタ処理を制御する画像処理方法である。

本発明の一側面は、さらに、コンピュータを、画像の複数スライスに対応する、スライス単位でフィルタ処理を制御するフィルタ制御情報を含むビットストリームから、前記フィルタ制御情報を取得する取得部と、前記ビットストリームを復号して画像を生成する復号部と、前記取得部により取得されたフィルタ制御情報を用いて、前記復号部により生成された画像に対するフィルタ処理を制御する制御部として機能させるプログラムである。

本発明の一側面においては、画像の複数スライスに対応する、スライス単位でフィルタ処理を制御するフィルタ制御情報を含むビットストリームから、そのフィルタ制御情報が取得され、そのビットストリームが復号されて画像が生成され、取得されたフィルタ制御情報を用いて、生成された画像に対するフィルタ処理が制御される。

本発明によれば、画像を符号化または復号することができる。特に、符号化時または復号時のフィルタ処理の局所的な制御による符号化効率の低減をより抑制することができる。例えば、画像の各フレームを複数に分けて符号化または復号する場合においても、符号化効率の低減をより抑制することができる。

本発明を適用した画像符号化装置の主な構成例を示すブロック図である。可変ブロックサイズ動き予測・補償処理を説明する図である。制御情報生成部の主な構成例を示すブロック図である。 ALFブロックおよびフィルタブロックフラグを説明する図である。マルチスライスの例を説明する図である。スライス０の処理を説明する図である。スライス１の処理を説明する図である。本発明を適用したスライス１の処理を説明する図である。適応フィルタ処理部の主な構成例を示すブロック図である。可逆符号化部の主な構成例を示すブロック図である。制御情報を最初に伝送されるスライスのヘッダに含める様子を説明する図である。スライスヘッダのシンタックスの例を示す図である。符号化処理の流れの例を説明するフローチャートである。制御情報生成処理の流れの例を説明するフローチャートである。ブロック情報生成処理の流れの例を説明するフローチャートである。適応フィルタ処理の流れの例を説明するフローチャートである。可逆符号化処理の流れの例を説明するフローチャートである。本発明を適用した画像復号装置の主な構成例を示すブロック図である。可逆復号部の主な構成例を示すブロック図である。復号処理の流れの例を説明するフローチャートである。可逆復号処理の流れの例を説明するフローチャートである。制御情報を先頭スライスのヘッダに含める様子を説明する図である。可逆符号化処理の流れの、他の例を説明するフローチャートである。可逆復号部の他の構成例を示すブロック図である。可逆復号処理の流れの、他の例を説明するフローチャートである。制御情報を任意のスライスのヘッダに含める様子を説明する図である。可逆符号化処理の流れの、さらに他の例を説明するフローチャートである。可逆復号処理の流れの、さらに他の例を説明するフローチャートである。ポインタをスライスのヘッダに含める様子を説明する図である。可逆符号化処理の流れの、さらに他の例を説明するフローチャートである。可逆復号処理の流れの、さらに他の例を説明するフローチャートである。制御情報をグループ毎にまとめてスライスのヘッダに含める様子を説明する図である。可逆符号化処理の流れの、さらに他の例を説明するフローチャートである。可逆符号化部の他の構成例を示すブロック図である。可逆符号化処理の流れの、さらに他の例を説明するフローチャートである。可逆復号部のさらに他の構成例を示すブロック図である。可逆復号処理の流れの、さらに他の例を説明するフローチャートである。可逆符号化部のさらに他の構成例を示すブロック図である。可逆符号化処理の流れの、さらに他の例を説明するフローチャートである。可逆復号部のさらに他の構成例を示すブロック図である。可逆復号処理の流れの、さらに他の例を説明するフローチャートである。 ALFブロックおよびフィルタブロックフラグの他の例を説明する図である。 ALFブロックおよびフィルタブロックフラグの他の例を説明する図である。マルチスライスの場合の処理の様子を説明する図である。本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。本発明を適用した携帯電話機の主な構成例を示すブロック図である。本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。本発明を適用したカメラの主な構成例を示すブロック図である。マクロブロックの例を示す図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（制御情報を先頭スライスのヘッダに含める例）
４．第４の実施の形態（制御情報を任意のスライスのヘッダに含める例）
５．第５の実施の形態（ポインタを利用する例）
６．第６の実施の形態（制御情報を複数のグループにまとめる例）
７．第７の実施の形態（グループ数を制御する例）
８．第８の実施の形態（要素毎に独立してグループ化する例）
９．第９の実施の形態（QALF）
１０．第１０の実施の形態（パーソナルコンピュータ）
１１．第１１の実施の形態（テレビジョン受像機）
１２．第１２の実施の形態（携帯電話機）
１３．第１３の実施の形態（ハードディスクレコーダ）
１４．第１４の実施の形態（カメラ）

＜１．第１の実施の形態＞
［デバイスの構成］
図１は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

図１に示される画像符号化装置１００は、例えば、H．264及びMPEG４ Part１０（Advanced Video Coding）（以下H．264/AVCと記す）方式で画像を圧縮符号化する符号化装置であり、さらに、適応ループフィルタを採用している。

図１の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、およびデブロックフィルタ１１１を有する。さらに、画像符号化装置１００は、制御情報生成部１１２、適応フィルタ処理部１１３、およびフレームメモリ１１４を有する。また、画像符号化装置１００は、イントラ予測部１１５、動き補償部１１６、動き予測部１１７、および予測画像選択部１１８を有する。さらに、画像符号化装置１００は、レート制御部１１９を有する。

A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。

演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１８により選択されたイントラ予測部１１５からの予測画像または動き補償部１１６からの予測画像を減算し、その差分情報を直交変換部１０４に出力する。直交変換部１０４は、演算部１０３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。

量子化部１０５の出力となる、量子化された変換係数は、可逆符号化部１０６に入力される。可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。

可逆符号化部１０６は、イントラ予測を示す情報などをイントラ予測部１１５から取得し、インター予測モードを示す情報などを動き予測部１１７から取得する。なお、イントラ予測を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。

可逆符号化部１０６は、さらに、適応フィルタ処理部１１３において行われる適応フィルタ処理の制御情報を、制御情報生成部１１２から取得する。

可逆符号化部１０６は、量子化された変換係数を符号化するとともに、適応フィルタ処理の制御情報、イントラ予測を示す情報やインター予測モードを示す情報、および量子化パラメータなどを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。

例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも入力される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化し、得られた変換係数を、逆直交変換部１０９に供給する。

逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力は、演算部１１０に供給される。演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部１１８から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。その加算結果は、デブロックフィルタ１１１に供給される。

デブロックフィルタ１１１は、復号画像のブロック歪を除去する。デブロックフィルタ１１１は、その歪除去結果を制御情報生成部１１２および適応フィルタ処理部１１３に供給する。

制御情報生成部１１２は、デブロックフィルタ１１１から供給される復号画像と、画面並べ替えバッファ１０２から読み出された現在の入力画像を取得し、それらから、適応フィルタ処理部１１３において行われる適応フィルタの制御情報を生成する。詳細については後述するが、制御情報には、フィルタ係数、ブロックサイズ、およびフィルタブロックフラグ等が含まれる。

制御情報生成部１１２は、生成した制御情報を適応フィルタ処理部１１３に供給する。また、制御情報生成部１１２は、生成した制御情報を可逆符号化部１０６にも供給する。上述したように制御情報は、可逆符号化部１０６により、符号化データに含められる（多重化される）。つまり、制御情報は、符号化データとともに画像復号装置に送られる。

適応フィルタ処理部１１３は、制御情報生成部１１２から供給された制御情報のフィルタ係数、ブロックサイズ指定、およびフィルタブロックフラグ等を用いて、デブロックフィルタ１１１から供給される復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。もちろんウィナーフィルタ以外のフィルタを用いても良い。適応フィルタ処理部１１３は、フィルタ処理結果をフレームメモリ１１４に供給し、参照画像として蓄積させる。

フレームメモリ１１４は、所定のタイミングにおいて、蓄積されている参照画像を動き補償部１１６および動き予測部１１７に出力する。

この画像符号化装置１００においては、例えば、画面並べ替えバッファ１０２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部１１５に供給される。また、画面並べ替えバッファ１０２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測部１１７に供給される。

イントラ予測部１１５は、画面並べ替えバッファ１０２から読み出されたイントラ予測する画像とフレームメモリ１１４から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。

イントラ予測部１１５において、当該ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化部１０６に伝送され、符号化データにおけるヘッダ情報の一部とされる。H.264画像情報符号化方式において、輝度信号に対しては、イントラ４×４予測モード、イントラ８×８予測モード及びイントラ１６×１６予測モードが定義されており、また、色差信号に関しては、それぞれのマクロブロックごとに、輝度信号とは独立した予測モードを定義することが可能である。イントラ４×４予測モードについては、それぞれの４×４輝度ブロックに対して１つのイントラ予測モードが定義されることになる。イントラ８×８予測モードについては、それぞれの８×８輝度ブロックに対して１つのイントラ予測モードが定義されることになる。イントラ１６×１６予測モード、並びに、色差信号に対しては、１つのマクロブロックに対してそれぞれ１つの予測モードが定義されることになる。

イントラ予測部１１５は、予測画像を生成したイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部１１５は、最適イントラ予測モードで生成された予測画像を、予測画像選択部１１８に供給する。

動き予測部１１７は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される画像情報（入力画像）とフレームメモリ１１４から供給される参照フレームとなる画像情報（復号画像）とを取得し、動きベクトルを算出する。動き予測部１１７は、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。この動きベクトル情報は、可逆符号化部１０６により、符号化データに含められる（多重化される）。つまり、動きベクトル情報は、符号化データとともに画像復号装置に送られる。

また、動き予測部１１７は、動きベクトル情報を動き補償部１１６にも供給する。

動き補償部１１６は、動き予測部１１７から供給された動きベクトル情報に応じて動き補償処理を行い、インター予測画像情報を生成する。動き補償部１１６は、生成した予測画像情報を、予測画像選択部１１８に供給する。

予測画像選択部１１８は、イントラ符号化を行う画像の場合、イントラ予測部１１５の出力を演算部１０３に供給し、インター符号化を行う画像の場合、動き補償部１１６の出力を演算部１０３に供給する。

レート制御部１１９は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

MPEG（Moving Picture Experts Group）２においては、動き予測・補償処理の単位は、動き補償ブロックであり、動き補償ブロック毎に独立した動きベクトル情報を持つことができる。その動き補償ブロックのサイズには、フレーム動き補償モードの場合は１６×１６画素、フィールド動き補償モードの場合には第一フィールド、第二フィールドのそれぞれに対し、１６×８画素がある。

これに対し、AVC（Advanced Video Coding）においては、図２上側に示すように、１６×１６画素により構成される一つのマクロブロックを、１６×１６、１６×８、８×１６若しくは８×８のいずれかのパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。更に、８×８パーティションに関しては、図２下側に示されるとおり、８×８、８×４、４×８、４×４のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。この動き補償ブロックを単位として動き予測・補償処理が行なわれる。

図３は、制御情報生成部１１２の主な構成例を示すブロック図である。

制御情報生成部１１２は、上述したように、適応フィルタ処理部１１３において行われる、ループフィルタである適応フィルタ（ALF（Adaptive Loop Filter））に用いられる制御情報を生成する。制御情報生成部１１２は、その制御情報として、例えば、フィルタ係数、ALFブロックサイズ、およびフィルタブロックフラグを生成する。

制御情報生成部１１２は、フィルタ係数算出部１３１、およびブロック情報生成部１３２を有する。

フィルタ係数算出部１３１は、デブロックフィルタ１１１から供給される復号画像と、画面並べ替えバッファ１０２から読み出された現在の入力画像を取得し、それらから、フレーム毎にALFのフィルタ係数を算出する。

ブロック情報生成部１３２は、ALFブロックサイズやフィルタブロックフラグ等のブロック情報を生成する。例えば、ブロック情報生成部１３２は、デブロックフィルタ１１１から供給される復号画像と、フィルタ係数算出部１３１により算出されたフィルタ係数に基づいて、ALFブロックサイズを決定する。また、例えば、ブロック情報生成部１３２は、それらの情報に基づいて、処理対象スライス内の各ALFブロックについてフィルタブロックフラグを生成する。

ここで、ブロック情報のALFブロックおよびフィルタブロックフラグについて説明する。図４は、ALFブロックおよびフィルタブロックフラグを説明する図である。

上述したように、適応フィルタは、フレーム毎にフィルタ係数が設定される。つまり、フレーム単位で最適なフィルタ処理が行われる。しかしながら、一般的に、フレーム画像は、全体が均一でなく、局所的に様々な特徴を有している。そのため、局所的には最適なフィルタ係数が異なる。したがって、上述したようにフレーム毎に決定されるフィルタ係数を用いたフィルタ処理では、フレーム全体では画質を改善するが、局所的には逆に悪化させてしまう恐れがあった。

そこで、局所的に画質が悪化する領域にはフィルタ処理を行わないようにするBALF（Block based Adaptive Loop Filter）が考えられた。

図４Ａのフレーム１５１は、デブロックフィルタ処理後の復号画像を示す。ブロック情報生成部１３２は、図４Ｂに示されるように、それぞれが、局所的に行われる適応フィルタ処理の制御単位となる制御ブロックである、複数のALFブロック１５２を、このフレーム１５１の領域全体に敷き詰めるように隙間無く配置する。このALFブロック１５２が配置される領域は、フレーム１５１の領域と同一でなくても良いが、少なくともフレームの領域全体を含む。結果として、フレーム１５１の領域は、各ALFブロック１５２の領域（複数の制御領域）によって分割される。

ブロック情報生成部１３２は、ALFブロック１５２の水平方向のサイズ（両矢印１５３）と、垂直方向のサイズ（両矢印１５４）とを決定する。ALFブロックのサイズは、例えば、８×８、１６×１６、２４×２４、３２×３２、４８×４８、６４×６４、９６×９６、あるいは１２８×１２８のいずれか１つをスライス毎に指定することができる。なお、そのALFブロックのサイズを指定する情報をブロックサイズインデックスと称する。

ブロックサイズが決まれば、フレームサイズは固定であるので、１フレーム当たりのALFブロック数も決定される。

ブロック情報生成部１３２は、図４Ｃに示されるように、ALFブロック１５２毎に、フィルタ処理を行うか否かを制御するフィルタブロックフラグ１５５を設定する。例えば、適応フィルタにより画質が改善される領域については、値が「１」のフィルタブロックフラグ１５５が生成され、適応フィルタにより画質が悪化する領域については、値が「０」のフィルタブロックフラグ１５５が生成される。フィルタブロックフラグ１５５において、値「１」は、フィルタ処理を行うことを示す値であり、値「０」は、フィルタ処理を行わないことを示す値である。

適応フィルタ処理部１１３は、このフィルタブロックフラグ１５５の値に基づいて適応フィルタ処理を制御する。例えば、適応フィルタ処理部１１３は、フィルタブロックフラグ１５５の値が「１」のALFブロック１５２の領域にのみフィルタ処理を行い、フィルタブロックフラグ１５５の値が「０」のALFブロック１５２の領域にはフィルタ処理を行わない。

また、上述したブロックサイズインデックスとフィルタブロックフラグは、符号化データのスライスヘッダに含められ、画像符号化装置１００から画像復号化装置へ送られる。ALFブロックの数に応じた１個以上のフィルタブロックフラグは、例えばラスタ・スキャンの順序でスライスヘッダに含められる。

従って、ALFブロックのサイズが小さい程、より細かなフィルタ制御が可能になり、より適切なALFフィルタが可能となる。ただし、ALFブロックのサイズを小さくすると、フィルタブロックフラグのビット量が増加する。つまり、ALFブロックのサイズが小さい程、符号化データの符号化効率が低減する。このように、適応フィルタの性能と符号化データの符号化効率は、トレードオフの関係にある。

ALFブロックの数は次の式（１）のように算出される。

式（１）においてN_ALFBLOCKは、ALFブロックの数を示す。また、N_MBwは、ピクチャの水平方向のマクロブロック数を示し、N_MBhは、ピクチャの垂直方向のマクロブック数を示す。さらに、N_SIZEは、ALFブロックの一辺のサイズを示す。また、floor[ｘ]は、ｘの少数点以下を切り捨てて、整数にする関数である。

ところで、H.264/AVCでは、１フレームを複数スライスに分割し、そのスライス毎に符号化データを出力するようにすることができる。図５は、マルチスライスの例を説明する図である。図５の例の場合、フレーム１５１は、スライス０、スライス１、およびスライス２の３つのスライスに分割されている。

フレームを複数のスライス領域に分割することは、画像圧縮情報の転送中のエラー耐性を高くするために有効な方法である。

BALFについて記載されている非特許文献２には、このマルチスライスについて開示されていない。つまり、ALFブロックをフレーム全体について設定することしか記載されていない。上述したようにALFブロックは、フレーム全体について設定される。つまり、スライス毎にフレーム全体についてのALFブロックが設定されることになり、スライスの領域外の不要なALFブロックが設定される恐れがあった。

例えば、図５に示されるスライス構成の例において、図６Ａに示されるようにスライス０を処理する場合、図６Ｂに示されるように、枠１６１で示されるスライス０の領域に対して、フレーム１５１全体についてのALFブロック１５２が設定される。

同様に、例えば、図５に示されるスライス構成の例において図７Ａに示されるようにスライス１を処理する場合、図７Ｂに示されるように、枠１６２で示されるスライス１の領域に対して、フレーム１５１全体についてのALFブロック１５２が設定される。

図６Ｂおよび図７Ｂにおいて斜線模様で示されるALFブロック１５２は、スライス０またはスライス１の領域外のブロックであり、スライス０またはスライス１の領域の処理に対して不要なブロックである。

このような不要なブロックやそのブロックのフラグの設定は無意味な処理である。そこで、不要に処理を増大させないように、図３の制御情報生成部１１２のブロック情報生成部１３２は、処理対象のスライスの領域を含むALFブロックおよびフィルタブロックフラグのみを生成する。

例えば、図５に示されるスライス構成の例において図８Ａに示されるようにスライス１を処理する場合、ブロック情報生成部１３２は、図８Ｂに示されるように、枠１６２で示されるスライス１の領域に対して、その領域を含むALFブロック１５２のみを設定し、このALFブロック１５２についてのみフィルタブロックフラグを生成する。

図３に戻り、ブロック情報生成部１３２は、処理対象スライス領域特定部１４１、ALFブロック設定部１４２、処理対象ALFブロック領域特定部１４３、判定部１４４、およびフィルタブロックフラグ生成部１４５を有する。

処理対象スライス領域特定部１４１は、復号画像として供給される処理対象スライスの領域の、フレーム全体における位置を特定する。

ALFブロック設定部１４２は、ALFブロックサイズを決定し、フレーム全体のALFブロック１５２を設定する。これによりフレーム全体のALFブロック数も特定される。

処理対象ALFブロック領域特定部１４３は、ALFブロック設定部１４２により設定されたALFブロック１５２から、処理対象とするALFブロックを１つずつ選択し、選択した処理対象ALFブロックの領域の位置を特定する。

判定部１４４は、処理対象ALFブロックの領域が、処理対象スライスの領域を含むか否かを判定する。フィルタブロックフラグ生成部１４５は、判定部１４４によって、「処理対象スライスの領域を含む」と判定されたALFブロックのフィルタブロックフラグを生成する。フィルタブロックフラグ生成部１４５は、フィルタ係数算出部１３１により算出されたフィルタ係数を用いて、処理対象ALFブロックの領域に対して適応フィルタ処理を行い、フィルタ処理結果の画質が処理前より改善されているか否かによって、フィルタブロックフラグの値を決定する。

フィルタブロックフラグ生成部１４５は、フィルタブロックフラグおよびALFブロックサイズ等の制御情報を出力する。

図９は、図１の適応フィルタ処理部１１３の主な構成例を示すブロック図である。

適応フィルタ処理部１１３は、制御情報生成部１１２から供給される制御情報を用いて、デブロックフィルタ１１１から供給される復号画像にフィルタ処理を行う。

適応フィルタ処理部１１３は、図９に示されるように、制御部１７１、適応フィルタ１７２、および選択部１７３を有する。

制御部１７１は、適応フィルタ１７２および選択部１７３を制御する。例えば、制御部１７１は、制御情報生成部１１２から制御情報を取得する。また、制御部１７１は、取得した制御情報に含まれるフィルタ係数を適応フィルタ１７２に供給し、設定する。さらに、制御部１７１は、制御情報に含まれるALFブロックサイズに基づいて、処理対象とするALFブロックの領域の位置を特定する。また、制御部１７１は、制御情報に含まれるフィルタブロックフラグの値に基づいて、適応フィルタ１７２を制御し、各ALFブロックの領域を必要に応じてフィルタ処理させるとともに、選択部１７３の動作を制御する。

適応フィルタ１７２は、デブロックフィルタ１１１から供給される復号画像の、制御部１７１から処理対象ALFブロックとして指定される領域を、制御部１７１により設定されたフィルタ係数を用いてフィルタ処理する。適応フィルタ１７２は、フィルタ処理結果を選択部１７３に供給する。

選択部１７３は、制御部１７１に制御され、デブロックフィルタ１１１から供給された復号画像（適応フィルタ処理されていない復号画像）と、適応フィルタ１７２から供給された復号画像（適応フィルタ処理された復号画像）とのうち、いずれか一方を選択し、フレームメモリ１１４に供給し、参照画像として蓄積させる。

つまり、適応フィルタ処理部１１３は、デブロックフィルタ１１１から供給される復号画像の、フィルタブロックフラグによってフィルタ処理を行うことが示された領域（フィルタ処理によって画質が改善されると判定された領域）のみフィルタ処理を行う。

図１０は、図１の可逆符号化部１０６の主な構成例を示すブロック図である。

可逆符号化部１０６は、上述したように、量子化部１０５から供給される量子化された係数データを可逆符号化して符号化データを生成するとともに、制御情報生成部１１２から供給される制御情報をその符号化データのスライスヘッダに埋め込む（記述する）。このとき、可逆符号化部１０６は、ピクチャ（フレーム）内の各スライスの制御情報をまとめ、その１ピクチャ（１フレーム）分の制御情報を、１つのスライスヘッダに埋め込む。このようにすることにより、可逆符号化部１０６は、各スライスの制御情報の間で重複する部分（冗長部分）を削除して、スライスヘッダに埋め込むことができる。これにより、可逆符号化部１０６は、各スライスの制御情報をそれぞれ符号化データに埋め込む場合よりも、符号化データの符号化効率を向上させることができる。

可逆符号化部１０６は、図１０に示されるように、符号化部１８１、符号化データ保持部１８２、制御情報保持部１８３、および制御情報付加部１８４を有する。

符号化部１８１は、各スライスの画像データ（量子化された係数データ）を可逆符号化し、符号化データを生成する。各スライスの符号化データは、符号化データ保持部１８２に保持される。符号化データ保持部１８２は、少なくとも１ピクチャ分の符号化データを保持することができる。

制御情報保持部１８３は、制御情報生成部１１２により生成されるスライス毎の制御情報を取得し、保持する。制御情報保持部１８３は、少なくとも１ピクチャ分の制御情報を保持することができる。制御情報付加部１８４は、符号化データ保持部１８２に保持される符号化データの、ピクチャ内で最初に出力されるスライスのヘッダ情報に、制御情報保持部１８３に保持されている制御情報を埋め込み、蓄積バッファ１０７に供給する。

このとき、制御情報付加部１８４は、制御情報保持部１８３に保持されている処理対象のピクチャの制御情報をまとめ、冗長部分を削除して１ピクチャ分の制御情報を生成し、それを符号化データのスライスヘッダに埋め込む。

例えば、図１１に示されるように、フレーム１５１がスライス０、スライス１、およびスライス２よりなり、制御情報生成部１１２において、スライス０に対して制御情報１９１−１が生成され、スライス１に対して制御情報１９１−２が生成され、スライス２に対して制御情報１９１−３が生成されるとする。

また、符号化データ１９４は、スライス１、スライス０、スライス２の順に出力されるとする。つまり、スライス１ヘッダ１９２−１、スライス１データ１９３−１、スライス０ヘッダ１９２−２、スライス０データ１９３−２、スライス２ヘッダ１９２−３、スライス２データ１９３−３の順に符号化データ１９４が出力されるとする。

このとき、制御情報付加部１８４は、最初に出力されるスライス１のヘッダ（スライスヘッダ）であるスライス１ヘッダ１９２−１に、フレーム１５１の制御情報１９１−１乃至制御情報１９１−３を全て埋め込む。このとき、制御情報付加部１８４は、制御情報１９１−１乃至制御情報１９１−３をまとめ、冗長部分を削除し、フレーム１５１全体に対応する（１ピクチャ分の）制御情報１９１（図示せず）を生成し、その制御情報１９１をスライス１ヘッダ１９２−１に埋め込む。

制御情報付加部１８４は、例えば、図１２Ａおよび図１２Ｂに示されるようなシンタックスに従って、制御情報をスライスヘッダに埋め込む。図１２Ａは、スライスヘッダのシンタックスの例を示しており、図１２Ｂは、制御情報の部分についてのシンタックスの例を示している。図１２Ｂに示されるように、制御情報付加部１８４は、フレーム１５１全ての制御ブロックのフィルタブロックフラグを１つのスライスヘッダに埋め込む。

［処理の流れ］
次に、以上のように構成される各部を用いた処理の流れについて説明する。最初に、画像符号化装置１００により行われる符号化処理の流れの例を、図１３のフローチャートを参照して説明する。

ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１０３において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き補償部１１６から、イントラ予測する場合はイントラ予測部１１５から、それぞれ予測画像選択部１１８を介して演算部１０３に供給される。

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１０４において、直交変換部１０４は、ステップＳ１０３の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１０５において、量子化部１０５は変換係数を量子化する。この量子化に際しては、後述するステップＳ１１９の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０６において、逆量子化部１０８は量子化部１０５により量子化された変換係数を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１０７において、逆直交変換部１０９は逆量子化部１０８により逆量子化された変換係数を直交変換部１０４の特性に対応する特性で逆直交変換する。

ステップＳ１０８において、演算部１１０は、予測画像選択部１１８を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１０９においてデブロックフィルタ１１１は、演算部１１０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。

以上の処理が、１スライス分行われると、ステップＳ１１０において、制御情報生成部１１２は、適応フィルタ処理に用いられる制御情報を生成する。制御情報の生成処理の詳細については後述する。

ステップＳ１１０の処理により、フィルタ係数、ALFブロックサイズ、およびフィルタブロックフラグ等の制御情報が生成されると、適応フィルタ処理部１１３は、ステップＳ１１１において、その制御情報を用いて、ステップＳ１０９の処理によりデブロックフィルタ処理された復号画像に対して適応フィルタ処理を行う。この適応フィルタ処理の詳細については後述する。

ステップＳ１１２において、フレームメモリ１１４は、ステップＳ１１１において適応フィルタ処理された画像を記憶する。

ステップＳ１１３において、イントラ予測部１１５は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１４において、動き予測部１１７および動き補償部１１６は、インター予測モードのインター動き予測・補償処理を行う。

ステップＳ１１５において、予測画像選択部１１８は、処理対象フレームの予測モードに応じて、イントラ予測処理により生成された予測画像、または、インター動き予測・補償処理により生成された予測画像のうち、いずれか一方を選択する。予測画像選択部１１８は、選択した予測画像を演算部１０３および演算部１１０に供給する。この予測画像が、上述したように、ステップＳ１０３、およびステップＳ１０８の演算に利用される。

ステップＳ１１６において、可逆符号化部１０６は量子化部１０５より出力された量子化された変換係数を符号化する可逆符号化処理を行う。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、可逆符号化部１０６は、ステップＳ１１０において生成された制御情報、ステップＳ１１３のイントラ予測処理のイントラ予測モード情報、および、ステップＳ１１４のインター動き予測・補償処理のインター予測モード等のメタデータをスライスヘッダに埋め込む（記述する）。このメタデータは、画像復号時に読み出され利用される。この可逆符号化処理の詳細については後述する。

ステップＳ１１７において蓄積バッファ１０７は、符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ１１８においてレート制御部１１９は、蓄積バッファ１０７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

次に、図１３のステップＳ１１０において制御情報生成部１１２により実行される制御情報生成処理の流れの例を、図１４のフローチャートを参照して説明する。

制御情報生成処理が開始されると、制御情報生成部１１２のフィルタ係数算出部１３１は、ステップＳ１３１において、画面並べ替えバッファ１０２から供給される入力画像と、デブロックフィルタ１１１から供給されるデブロックフィルタ処理された復号画像を用いてフィルタ係数を算出する。例えば、フィルタ係数算出部１３１は、入力画像と復号画像の残差が最小となるようにフィルタ係数の値を決定する。

フィルタ係数が算出されると、ブロック情報生成部１３２は、ステップＳ１３２において、ALFブロックサイズやフィルタブロックフラグを含むブロック情報の生成を行う。ブロック情報生成処理の詳細については後述する。ブロック情報が生成されると、図１３のステップＳ１１０に戻り、ステップＳ１１１以降の処理が実行される。

なお、ステップＳ１３１において行われるフィルタ係数の算出は、フレーム単位で行うようにしてもよい。その場合、ステップＳ１３１の処理は、フレーム内の所定のスライス（例えば、フレーム内で識別番号が所定の値の（例えば「０」の）スライス、若しくは、フレーム内で最初に処理されるスライス等）においてのみ行われ、その他のスライスにおいては、その値が流用されるようにしてもよい。また、フィルタ係数の算出には、任意の画像を利用することができる。例えば、過去のフレーム画像に基づいて算出するようにしてもよい。

次に、図１５のフローチャートを参照して、図１４のステップＳ１３２において実行されるブロック情報生成処理の流れの例を説明する。

ブロック情報生成処理が開始されると、処理対象スライス領域特定部１４１は、ステップＳ１５１において、処理対象スライスの領域を特定する。

処理対象である当該スライスの領域を知るためには、当該スライスに含まれているマクロブロックを知り、そこからそのマクロブロックに含まれる画素を知ることで分かる。処理対象スライス領域特定部１４１は、スライスヘッダから当該スライスの先頭マクロブロックアドレスを得る。

ここで先頭マクロブロックアドレスとは、画面の左上からラスタ・スキャン順序でマクロブロックに対して付けられた番号である。図５に示されるように、画像（フレーム１５１）の左上のマクロブロックアドレスは０となる。スライス０は、フレーム１５１の左上から開始されているので、スライス０の先頭マクロブロック１５６−１のマクロブロックアドレスは０となる。この順序に従ってスライス０の最終マクロブロック１５６−２のマクロブロックアドレスをＥ０とする。また、このスライス０と同様に、スライス１の先頭マクロブロック１５７−１のマクロブロックアドレスをＳ１とし、最終マクロブロック１５７−２のマクロブロックアドレスをＥ１とする。さらに、スライス２の先頭マクロブロック１５８−１のマクロブロックアドレスをＳ２とし、最終マクロブロック１５８−２のマクロブロックアドレスをＥ２とする。

当該スライスをデコードしていくと、１つのマクロブロックのデコード処理が完了する毎にマクロブロックアドレスは１追加されてゆき、やがて当該スライスの最終マクロブックに到達する。最終マクロブロックにはスライスの最後のマクロブロックであるフラグがセットされている。これらによって、当該スライスが保有しているマクロブロックアドレスが全て分かる。すなわち、先頭マクロブロックアドレスから、最終マクロブロックアドレスまでとなる。

ところで、１フレームの画像サイズは、AVCストリーム（画像圧縮情報）のシーケンスパラメータセット（SPS（Sequence Parameter Set））において、マクロブロックの数により示される。pic_height_in_map_units_minus1は、画像の縦方向のマクロブロック数を示す。pic_width_in_mbs_minus1は、画像の横方向のマクロブロック数を示す。

従って、マクロブロックアドレスからそのマクロブロックの位置は、以下の式（２）および式（３）で示される。

mbx＝macro block address % pic_width_in_mbs_minus1 ・・・（２）
mby＝floor[ macro block address / pic_width_in_mbs_minus1 ] ・・・（３）

式（２）および式（３）において、mbxは、マクロブロックが左から何番目かを示し、mbyは、マクロブロックが上から何番目かを示す。また、floor[ｚ]は、ｚの小数点以下を切り捨てて整数にし、A%Bは、AをBで割った余りの数を示す。

マクロブロックのサイズは１６×１６画素と決められているとすると、マクロブロックの左上の画素の縦方向および横方向の位置は、（１６×mbx，１６×mby）となり、そのマクロブロックに含まれる画素は、その左上の画素位置から下方向に１６画素および右方向に１６画素の範囲に含まれる画素となる。ここまでで、当該スライスの画素が全て分かる。すなわち、処理対象スライスの領域が特定される。

図１５のステップＳ１５２において、ALFブロック設定部１４２は、ALFブロックサイズを決定する。ステップＳ１５３において、ALFブロック設定部１４２は、フレーム内ALFブロック数を決定する。フレームの画像サイズは予め定められているので、ALFブロックサイズが決定されると、フレームの左上を原点としてALFブロックを敷き詰めるために必要なALFブロックの数（フレーム内ALFブロック数）も算出することができる。ALFブロックの縦方向のサイズ（画素数）と横方向のサイズ（画素数）の設定値は予め用意されているので、ALFブロック設定部１４２は、その設定値に従って各ALFブロックのサイズとALFブロック数を決定し、ALFブロックを復号画像に対して配置する。

なお、ALFブロックの数は、以下の式（４）および式（５）により算出される。

num_alf_block_x＝floor［（16×（pic_width_in_mbs_minus1＋1）＋（alf_block_size−1））
／alf_block_size］・・・（４）
num_alf_block_y＝floor［（16×（pic_height_in_map_units_minus1＋1）
＋（alf_block_size−1））／alf_block_size］・・・（５）

式（４）および式（５）において、num_alf_block_xおよびnum_alf_block_yは、それぞれ、画像に含まれるALFブロックの横と縦の数である。また、alf_block_sizeは、ALFブロックの一辺のサイズを示す。ここでは説明の簡略化のため、ALFブロックは正方形であるものとする。もちろん、ALFブロックの縦方向のサイズと横方向のサイズとが互いに異なるようにしてもよい。

ステップＳ１５４において、処理対象ALFブロック領域特定部１４３は、処理対象ALFブロックを決定する。ステップＳ１５５において、処理対象ALFブロック領域特定部１４３は、その処理対象ALFブロックの領域を特定する。

ｉ番目のALFブロックの位置は、以下の式（６）および式（７）で示される。

alf_block_x＝i % （num_alf_block_x−1）・・・（６）
alf_block_y＝floor［i／（num_alf_block_x−1）］・・・（７）

式（６）および式（７）において、alf_block_xとalf_block_yは、それぞれ、ｉ番目のALFブロックが横方向と縦方向に何番目であるかを示している。ｉ番目のALFブロックの左上の画素の位置は、alf_block_xとaof_block_yのそれぞれに、alf_block_sizeを掛けた位置となる。すなわち、横方向は１６×alf_block_xとなり、縦方向は１６×alf_block_yとなる。従って、ｉ番目のALFブロックの領域は、左上のその画素からalf_block_size×alf_block_sizeの範囲となる。

ステップＳ１５６において、判定部１４４は、以上のように特定された処理対象ALFブロックの領域内に、処理対象スライスの領域が含まれるか否かを判定する。

処理対象ALFブロックの領域内に処理対象スライスの領域が含まれると判定された場合、ステップＳ１５７に進む。ステップＳ１５７においてフィルタブロックフラグ生成部１４５は、処理対象ALFブロックが処理対象スライスにとって必要なALFブロックであるので、そのALFブロックについてフィルタブロックフラグを生成する。ステップＳ１５８において、フィルタブロックフラグ生成部１４５は、生成したフィルタブロックフラグを出力する。

ステップＳ１５８の処理が終了するとステップＳ１５９に進む。また、ステップＳ１５６において、処理対象ALFブロックの領域内に処理対象スライスの領域が含まれないと判定された場合、そのALFブロックは、処理対象スライスにとって不要であるのでステップＳ１５９に進む。

ステップＳ１５９において、処理対象ALFブロック領域特定部１４３は、フレーム内ALFブロックを全て処理したか否かを判定し、処理していないと判定された場合、ステップＳ１５４に戻り、新たなALFブロックを処理対象とし、それ以降の処理を繰り返す。処理対象ALFブロック領域特定部１４３は、このループ処理を繰り返す度に、フレームの領域に敷き詰められたALFブロック群の中からALFブロックを、処理対象ALFブロックとして、左上のALFブロックからラスタ・スキャン順に１つずつ選択する。

また、ステップＳ１５９において、フレーム内ALFブロックを全て処理したと判定された場合、ブロック情報生成処理が終了され、図１４のステップＳ１３２に戻り、制御情報生成処理が終了され、図１３のステップＳ１１０に戻り、ステップＳ１１１以降の処理が行われる。

なお、以上において、ALFブロックをフレーム画像の領域に敷き詰めるように配置する際に、フレームの左上を原点とするように説明したが、この原点の位置は任意である。例えば、フレームの左下、右下、右上、または中心であってもよい。ただし、この原点の位置およびALFブロックの並べ方は、符号化処理と復号処理とで共通とするように予め取り決めておく必要がある。

また、以上においては、処理対象ALFブロックを選択する順を、左上からラスタ・スキャン順とするように説明したが、この選択順および開始位置は任意である。

次に、図１６のフローチャートを参照して、図１３のステップＳ１１１において実行される適応フィルタ処理の流れの例を説明する。

適応フィルタ処理が開始されると、適応フィルタ１７２および選択部１７３には、処理対象スライスの復号画像が供給される。ステップＳ１７１において、制御部１７１は、その処理対象スライスの領域を特定する。制御部１７１は、図１５のステップＳ１５１の処理の場合と同様に、スライスヘッダの当該スライスの先頭マクロブロックアドレスを取得し、さらに最終マクロブロックを示すフラグを検出し、先頭のマクロブロックアドレスから最終マクロブロックアドレスまでの領域を処理対象スライスの領域として特定する。

制御部１７１は、ステップＳ１７２において、制御情報生成部１１２により生成されたフィルタ係数を取得し、そのフィルタ係数を適応フィルタ１７２に設定する。ステップＳ１７３において、制御部１７１は、制御情報生成部１１２により決定されたALFブロックサイズを取得し、フレームの領域全体に対してそのALFブロックサイズのALFブロックを敷き詰めるように設定（配置）する。

ステップＳ１７４において、制御部１７１は、このように設定されたALFブロック群のうち、未処理のALFブロックの中から１つを、図１５のステップＳ１５４の場合と同様に、処理対象ALFブロックに決定する。このALFブロックの選択順は、予め定められており、制御情報生成部１１２における選択順と共通である。

ステップＳ１７５において、制御部１７１は、決定した処理対象ALFブロックの領域を、図１５のステップＳ１５５の場合と同様に特定する。

ステップＳ１７６において、制御部１７１は、図１５のステップＳ１５６の場合と同様に、処理対象ALFブロックの領域内に処理対象スライスの領域が含まれるか否かを判定する。含まれると判定された場合、ステップＳ１７７に進む。

ステップＳ１７７において、制御部１７１は、制御情報生成部１１２において生成された処理対象ALFブロックのフィルタブロックフラグを取得する。制御情報生成部１１２が、上述したようにフィルタブロックフラグを生成するので、実際には、処理対象スライスの領域を含むALFブロックについてのみフィルタブロックフラグが供給される。ALFブロックの処理順が制御情報生成部１１２と共通であるので、フィルタブロックフラグは、ALFブロックの処理順に供給される。したがって、制御部１７１は、その供給順にフィルタブロックフラグを取得（採用）することにより、処理対象ALFブロックのフィルタブロックフラグを取得（採用）することができる。

なお、フィルタブロックフラグの供給タイミングと、制御部１７１によるフィルタブロックフラグの取得タイミングは、一致していなくても良い。つまり、制御部１７１が、制御情報生成部１１２から供給されたフィルタブロックフラグを、例えば内蔵するバッファ等に一時的に保持し、ステップＳ１７７の処理において、そのバッファからフィルタブロックフラグを読み出すようにしてもよい。その場合も、フィルタブロックフラグの読み出し順は、制御情報生成部１１２から供給される順、すなわち、バッファへの蓄積順と同一となるようにするだけで、制御部１７１は、処理対象ALFブロックのフィルタブロックフラグを取得することができる。

ステップＳ１７８において、制御部１７１は、フィルタブロックフラグの値が１であるか否かを判定する。フィルタブロックフラグの値が１であり、処理対象ALFブロックの領域についてフィルタ処理を行うように指示されている場合、ステップＳ１７９に進む。ステップＳ１７９において、適応フィルタ１７２は、制御部１７１に制御されて、処理対象ALFブロックにフィルタ処理を行う。ステップＳ１７９の処理が終了するとステップＳ１８０に進む。この場合、選択部１７３は、ステップＳ１８０において、制御部１７１に制御されて適応フィルタ１７２の出力を選択し、フレームメモリ１１４に出力する。つまり、フィルタ処理された復号画像（の一部の領域）がフレームメモリ１１４に蓄積される。ステップＳ１８０の処理が終了するとステップＳ１８１に進む。

また、ステップＳ１７８において、フィルタブロックフラグの値が０であり、処理対象ALFブロックの領域についてフィルタ処理が行われないように指示されている場合、ステップＳ１７９の処理を省略し、ステップＳ１８０に進む。この場合、選択部１７３は、ステップＳ１８０において、制御部１７１に制御されてデブロックフィルタ１１１の出力を選択し、フレームメモリ１１４に出力する。つまり、フィルタ処理されていない復号画像（の一部の領域）がフレームメモリ１１４に蓄積される。ステップＳ１８０の処理が終了するとステップＳ１８１に進む。

また、ステップＳ１７６において、処理対象ALFブロックの領域内に処理対象スライスの領域が含まれないと判定された場合、処理対象ALFブロックは処理対象スライスに関係の無いALFブロックであるので、ステップＳ１７７乃至ステップＳ１８０の処理を省略し、ステップＳ１８１に進む。

ステップＳ１８１において、制御部１７１は、フレーム内ALFブロックを全て処理したか否かを判定する。未処理のALFブロックが存在すると判定された場合、ステップＳ１７４に戻り、新たな処理対象ALFブロックについてそれ以降の処理を繰り返す。制御部１７１は、このループ処理を繰り返す度に、フレームの領域に敷き詰められたALFブロック群の中からALFブロックを、処理対象ALFブロックとして、左上のALFブロックからラスタ・スキャン順に１つずつ選択する。
また、ステップＳ１８１において、フレーム内ALFブロックを全て処理したと判定された場合、適応フィルタ処理が終了され、図１３のステップＳ１１１に戻り、ステップＳ１１２以降の処理が行われる。

以上のように適応フィルタ処理を行うことにより、適応フィルタ処理部１１３は、フレームに形成される複数のスライスの中の処理対象スライスに必要な、フレーム内の一部のALFブロックのフィルタブロックフラグに基づいて、処理対象スライスに対するフィルタ処理を適切に実行することができる。これにより、適応フィルタ処理部１１３は、処理対象スライスの、デブロックフィルタにより取りきれなかったブロック歪みや量子化による歪みを低減することができる。

次に、図１７のフローチャートを参照して、図１３のステップＳ１１６において実行される可逆符号化処理の流れの例を説明する。

可逆符号化処理が開始されると、ステップＳ１９１において、可逆符号化部１０６の符号化部１８１は、供給される画像データ（量子化された係数データ）を順次符号化することにより、処理対象スライスを符号化し、符号化データを生成する。

ステップＳ１９２において、符号化データ保持部１８２は、ステップＳ１９１において生成された符号化データを保持する。ステップＳ１９３において、制御情報保持部１８３は、制御情報生成部１１２より供給される、符号化データが属するスライス（処理対象スライス）に対応する制御情報を保持する。

以上のようなステップＳ１９１乃至ステップＳ１９３の各処理がフレーム内の各スライスについて行われる。１スライス分の処理が終了すると、ステップＳ１９４において、制御情報付加部１８４は、符号化部１８１がフレーム内の全てのスライスについて画像データ（量子化された係数データ）を符号化したか否かを判定する。未処理のスライスが存在すると判定された場合、ステップＳ１９１に戻り、それ以降の処理が繰り返される。

ステップＳ１９４において、符号化部１８１によってフレーム内の全てのスライスが符号化されたと判定された場合、ステップＳ１９５に進む。

ステップＳ１９５において、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を、符号化データ保持部１８２に保持されている１フレーム分の符号化データの、最初に伝送されるスライスのスライスヘッダに埋め込む。このとき、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を取得してまとめ、符号化データが属するフレーム（ピクチャ）の１ピクチャ分の制御情報を生成する。制御情報付加部１８４は、その１ピクチャ分の制御情報を、スライスヘッダに埋め込む。

つまり、複数のスライスからなる１フレーム分の符号化データには、その中の１つのスライスヘッダに、１フレーム（ピクチャ）分の制御情報（フィルタ係数、ALFブロックサイズ、およびフィルタブロックフラグ等）が付加される（埋め込まれる）。

つまり、複数のスライスの制御情報が１つのスライスヘッダに付加される（他のスライスの制御情報も付加される）。制御情報をスライス毎に分けて複数のスライスヘッダに埋め込む場合、各制御情報に重複する内容が生じてしまうが、制御情報付加部１８４は、このように１フレーム分の制御情報を１つのスライスヘッダにまとめて付加するので、そのような冗長性を低減し、符号化効率を向上させることができる。

なお、ここで「付加する」とは、任意の形態で制御情報を符号化データに関連付けることを示す。例えば、符号化データのシンタックスとして記述するようにしてもよいし、ユーザデータとして記述するようにしてもよい。また、ブロック情報をメタデータとして符号化データとリンクされた状態にするようにしてもよい。つまり、「付加」は、「埋め込み」、「記述」、「多重化」、および「連結」等を含む。

制御情報を符号化データに付加した、制御情報付加部１８４は、ステップＳ１９６において、符号化データを所定順に出力する。１ピクチャ分の符号化データを出力すると、可逆符号化部１０６は、可逆符号化処理を終了し、図１３のステップＳ１１６に戻り、ステップＳ１１７以降の処理に進む。

以上のような可逆符号化処理を行うことにより、画像符号化装置１００は、符号化時または復号時のフィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。例えば、画像の各フレームを複数のスライスに分けて処理する場合においても、画像符号化装置１００は、符号化効率の低減を抑制することができる。

＜２．第２の実施の形態＞
［デバイスの構成］
次に、第１の実施の形態において説明した画像符号化装置１００に対応する画像復号装置について説明する。図１８は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成例を示すブロック図である。

画像復号装置２００は、画像符号化装置１００より出力される符号化データを復号し、復号画像を生成する。

画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、およびデブロックフィルタ２０６を有する。また、画像復号装置２００は、適応フィルタ処理部２０７を有する。さらに、画像復号装置２００は、画面並べ替えバッファ２０８、およびD/A（Digital / Analog l）変換部２０９を有する。また、画像復号装置２００は、フレームメモリ２１０、イントラ予測部２１１、動き補償部２１２、および選択部２１３を有する。

蓄積バッファ２０１は、伝送されてきた画像圧縮情報を蓄積する。可逆復号部２０２は、蓄積バッファ２０１より供給された、図１の可逆符号化部１０６により符号化された情報を、可逆符号化部１０６の符号化方式に対応する方式で復号する。

当該マクロブロックがイントラ符号化されたものである場合、可逆復号部２０２は、符号化データのヘッダ部に格納されたイントラ予測モード情報を抽出し、イントラ予測部２１１へ伝送する。また、当該マクロブロックがインター符号化されたものである場合、可逆復号部２０２は、符号化データのヘッダ部に格納された動きベクトル情報を抽出し、動き補償部２１２へ転送する。

また、可逆復号部２０２は、符号化データの、フレーム内で最初に供給されるスライスのスライスヘッダから、適応フィルタ用の１ピクチャ分の制御情報（制御情報生成部１１２により生成された制御情報）を抽出し、適応フィルタ処理部２０７に供給する。

逆量子化部２０３は可逆復号部２０２により復号された画像を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で逆量子化部２０３の出力を逆直交変換する。

演算部２０５は、逆直交変換された差分情報に、選択部２１３から供給される予測画像を加算し、復号画像を生成する。デブロックフィルタ２０６は、その加算処理されて生成された復号画像のブロック歪を除去する。

適応フィルタ処理部２０７は、可逆復号部２０２より供給された１ピクチャ分の制御情報に含まれるフィルタ係数、ALFブロックサイズ、およびフィルタブロックフラグ等の情報に基づいて、デブロックフィルタ２０６より供給される画像に対してフィルタ処理を行う。適応フィルタ処理部２０７は、図１の適応フィルタ処理部１１３と同様の適応フィルタ処理を行う。これにより、適応フィルタ処理部２０７は、デブロックフィルタ２０６では取りきれなかったブロック歪や量子化による歪を低減することができる。

適応フィルタ処理部２０７は、フィルタ処理後の画像をフレームメモリ２１０に供給し、参照画像情報として蓄積させるとともに、画面並べ替えバッファ２０８に出力する。

画面並べ替えバッファ２０８は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０９は、画面並べ替えバッファ２０８から供給された画像をD/A変換し、出力する。例えば、D/A変換部２０９は、D/A変換して得られた出力信号を図示せぬディスプレイに出力し、画像を表示させる。

イントラ予測部２１１は、当該フレームがイントラ符号化されたものである場合、可逆復号部２０２から供給される情報に基づいて、予測画像を生成し、生成した予測画像を、選択部２１３に出力する。

動き補償部２１２は、当該フレームがインター符号化されたものである場合、可逆復号部２０２から供給された動きベクトル情報に基づき、フレームメモリ２１０に格納された参照画像情報に対して動き補償処理を行う。

選択部２１３は、当該マクロブロックがイントラ符号化されたものである場合、イントラ予測部２１１に接続し、イントラ予測部２１１より供給される画像を予測画像として演算部２０５に供給する。また、当該マクロブロックがインター符号化されたものである場合、選択部２１３は、動き補償部２１２に接続し、動き補償部２１２から供給される画像を予測画像として演算部２０５に供給する。

図１９は、図１８の可逆復号部２０２の詳細な構成例を示すブロック図である。なお、説明の便宜上、イントラ予測モード情報および動きベクトル情報の抽出に関する構成についての説明は省略する。

図１９に示されるように、可逆復号部２０２は、制御情報抽出部２２１および復号部２２２を有する。制御情報抽出部２２１は、蓄積バッファ２０１から符号化データを取得し、フレーム内で最初に供給されるスライスのスライスヘッダから、１ピクチャ分の制御情報を抽出し、適応フィルタ処理部２０７に供給する。

復号部２２２は、制御情報抽出部２２１から供給される符号化データを、可逆符号化部１０６の符号化方式に対応する復号方式で復号し、復号データ（量子化された係数データ）を生成する。復号部２２２は、生成した復号データを逆量子化部２０３に供給する。

このように、制御情報抽出部２２１が符号化データのスライスヘッダに埋め込まれた制御情報を抽出し、適応フィルタ処理部２０７に供給するので、適応フィルタ処理部２０７は、その制御情報に基づいて、適切に適応フィルタ処理を行うことができる。つまり、適応フィルタ処理部２０７は、画像符号化装置１００の適応フィルタ処理部１１３と同様に適応フィルタ処理を行うことができる。

［処理の流れ］
図２０のフローチャートを参照して、この画像復号装置２００が実行する復号処理の流れの例を説明する。

ステップＳ２０１において、蓄積バッファ２０１は伝送されてきた画像（符号化データ）を蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データを可逆復号する可逆復号処理を行う。

詳細については後述するが、この可逆復号処理により、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。なお、このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）などの抽出も行われる。

すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報および参照フレーム情報は、動き補償部２１２に供給される。

また、この可逆復号処理により、符号化データのスライスヘッダから１ピクチャ分の適応フィルタ処理用の制御情報が抽出され、適応フィルタ処理部２０７に供給される。

ステップＳ２０３において、逆量子化部２０３は、ステップＳ２０２において復号された変換係数を、図１の量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ２０４において逆直交変換部２０４は、ステップＳ２０３の処理により逆量子化された変換係数を、図１の直交変換部１０４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。

ステップＳ２０５において、演算部２０５は、後述するステップＳ２１１の処理で選択される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ２０６において、デブロックフィルタ２０６は、演算部２０５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。

ステップＳ２０７において、適応フィルタ処理部２０７は、デブロックフィルタ処理された画像に、さらに適応フィルタ処理を施す。この適応フィルタ処理は、図１の適応フィルタ処理部１１３が行う処理と同様である。すなわち、この適応フィルタ処理は、可逆復号部２０２より供給された制御情報を用いること以外、図１６のフローチャートを参照して説明した場合と同様に行われる。ただし、この可逆復号部２０２より供給される制御情報も、図１の制御情報生成部１１２が生成したものであり、実質的に図１の適応フィルタ処理部１１３が利用する、制御情報生成部１１２より供給される制御情報と同等である。

この適応フィルタ処理により、デブロッキングフィルタ処理により取りきれなかったブロック歪みや量子化による歪みを低減することができる。

ステップＳ２０８において、フレームメモリ２１０は、フィルタリングされた画像を記憶する。

イントラ予測モード情報が供給された場合、イントラ予測部２１１は、ステップＳ２０９において、イントラ予測モードのイントラ予測処理を行う。また、インター予測モード情報が供給された場合、動き補償部２１２は、ステップＳ２１０において、インター予測モードの動き補償処理を行う。

ステップＳ２１１において、選択部２１３は、予測画像を選択する。すなわち、イントラ予測部２１１により生成された予測画像、または動き補償部２１２により生成された予測画像のうちいずれか一方を選択し、選択した予測画像を演算部２０５に供給する。

例えば、イントラ符号化された画像の場合、選択部２１３は、イントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。また、インター符号化された画像の場合、選択部２１３は、動き補償部２１２により生成された予測画像を選択し、演算部２０５に供給する。

ステップＳ２１２において、画面並べ替えバッファ２０８は、並べ替えを行う。すなわち、図１の画像符号化装置１００の画面並べ替えバッファ１０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ２１３において、D/A変換部２０９は、画面並べ替えバッファ２０８からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

このように、画像復号装置２００は、可逆復号部２０２が、画像符号化装置１００から供給された制御情報を抽出して復号し、適応フィルタ処理部２０７が、その制御情報を用いて、画像符号化装置１００の適応フィルタ処理部１１３と同様に、適応フィルタ処理を行う。

次に、図２１のフローチャートを参照して、図２０のステップＳ２０２において実行される可逆復号処理の流れの例を説明する。

可逆復号処理が開始されると、制御情報抽出部２２１は、ステップＳ２３１において、供給された符号化データが、フレーム（ピクチャ）の最初に伝送されたスライスであるか否かを判定する。

例えば、フレーム番号（frame_num）がこれまでのスライスと異なる場合、そのスライスが当該ピクチャの最初のスライスである。また、例えば、フレーム・ピクチャかフィールド・ピクチャかを示すフラグ（field_pic_flag）がこれまでのスライスと異なる場合、そのスライスが当該ピクチャの最初のスライスである。さらに、例えば、トップ・フィールドかボトム・フィールドかを示すフラグ（bottom_field_flag）がこれまでのスライスと異なる場合、そのスライスが当該ピクチャの最初のスライスである。また、例えば、フレーム番号（frame_num）が同じであってピクチャ・オーダー・カウントPOCの値がこれまでのスライスと異なる場合、そのスライスが当該ピクチャの最初のスライスである。さらに、例えば、nal_ref_idc情報がこれまでのスライスと異なる場合、そのスライスが当該ピクチャの最初のスライスである。また、IDRピクチャであってidr_pic_idc情報がこれまでのスライスと異なる場合、そのスライスが当該ピクチャの最初のスライスである。

したがって、制御情報抽出部２２１は、これらの値を参照し、いずれかの値が、これまでのスライスと異なる場合、そのスライスが当該ピクチャの最初のスライスであると判定する。

もちろん、制御情報抽出部２２１は、これ以外の情報に基づいて、最初に伝送されたスライスであるか否かを判定するようにしてもよい。

ステップＳ２３１において、フレームの最初に伝送されたスライスであると判定された場合、ステップＳ２３２に進む。ステップＳ２３２において、制御情報抽出部２２１は、そのスライスヘッダから、１ピクチャ分の制御情報を抽出し、適応フィルタ処理部２０７に供給する。

制御情報が抽出されると、ステップＳ２３３に進む。また、ステップＳ２３１において、供給された符号化データが、フレーム（ピクチャ）の最初に伝送されたスライスでないと判定された場合、ステップＳ２３３に進む。

ステップＳ２３３において、復号部２２２は、符号化データの処理対象スライスを復号する。ステップＳ２３４において、復号部２２２は、復号して得られた復号データ（量子化された係数データ）を逆量子化部２０３に出力する。ステップＳ２３５において、復号部２２２は、フレーム内の全てのスライスを処理したか否かを判定する。未処理のスライスが存在すると判定された場合、ステップＳ２３１に戻り、それ以降の処理が繰り返される。また、ステップＳ２３５において、フレーム内の全てのスライスが処理されたと判定された場合、可逆復号処理を終了し、図２０のステップＳ２０７に戻り、ステップＳ２０８以降の処理が実行される。

以上のように可逆復号処理を行うことにより、可逆復号部２０２は、符号化データに付加された制御情報を抽出し、適応フィルタ処理部２０７に供給することができる。これにより、適応フィルタ処理部２０７は、適切に適応フィルタ処理を実行することができる。これにより、適応フィルタ処理部２０７は、処理対象スライスの、デブロックフィルタにより取りきれなかったブロック歪みや量子化による歪みを低減することができる。

また、このとき、上述したように、制御情報は、当該ピクチャの最初のスライスのスライスヘッダに埋め込まれており、制御情報抽出部２２１は、その当該ピクチャの最初のスライスを適切に検出し、そのスライスヘッダから１ピクチャ分の制御情報を抽出する。

このようにすることにより、適応フィルタ処理部２０７は、当該ピクチャの制御情報を、最初のスライスを処理する時点で準備することができ、不要な遅延無く適応フィルタ処理を行うことができる。つまり、各スライスに対して適応フィルタ処理を行う際に、制御情報の準備のための不要な待機時間を設ける必要が無いので、適応フィルタ処理部２０７は、制御情報を各スライスヘッダに埋め込む場合と同様の処理時間で、適応フィルタ処理を行うことができる。

したがって、画像復号装置２００は、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。例えば、画像の各フレームを複数のスライスに分けて処理する場合においても、符号化効率の低減を抑制することができる。

＜３．第３の実施の形態＞
［制御情報を先頭スライスのヘッダに含める例の概要説明］
なお、以上においては、１ピクチャ分の制御情報が、最初に出力（伝送）されるスライスのスライスヘッダに付加されるように説明したが、制御情報は、他のスライスのスライスヘッダに付加されるようにしてもよい。例えば、先頭スライスのスライスヘッダに、制御情報が付加されるようにしてもよい。

先頭スライスとは、例えば、フレーム（ピクチャ）の中で一番上に位置するスライスである。また、例えば、先頭スライスとは、スライスの識別番号が最も若いスライスである。さらに、例えば、先頭スライスとは、MBアドレスが「０」のマクロブロックを含むスライスである。一般的にはこれらのスライスは全て同じスライスとなるが、一致しなくても良い。その場合、いずれか１つの条件に基づいて先頭スライスが決定される。

つまり、第１の実施の形態や、第２の実施の形態において説明した、最初に伝送されるスライスが、その処理順によって特定されるスライスであるのに対し、この先頭スライスは、その位置関係（例えば識別番号や座標）によって特定されるスライスである。

例えば、図２２に示されるように、３つのスライス（スライス０、スライス１、およびスライス２）により構成されるフレーム１５１において、スライス０が先頭スライスとして設定されるとする。

このとき、各スライスに対して生成される制御情報１９１−１乃至制御情報１９１−３は、スライスの処理順に関わらず、全て、先頭スライスのスライスヘッダであるスライス０ヘッダ１９２−２に付加される。このスライス０の最初のMBアドレスは０である。したがって、この場合、制御情報抽出部２２１は、スライスヘッダにあるfirst_mb_in_slice（スライス中の最初のＭＢアドレスを規定する情報）の値を参照し、その値が「０」であれば、その後に制御情報を含んでいることが分かる。したがって、制御情報抽出部２２１は、境界検査なしに容易に制御情報の存在を確認し、それを抽出することができる。

ただし、図２２にも示されるように、先頭スライスが、最初に伝送されるとは限らない。図２２の例の場合、符号化データ１９４は、スライス１、スライス０、スライス２の順に伝送される。

したがって、この場合、適応フィルタ処理部２０７は、先頭スライスより先に伝送されたスライス（図２２の例の場合、スライス０）について、先頭スライスより制御情報が抽出されるまで適応フィルタ処理を行うことができない。

［符号化側］
この場合の、画像符号化装置１００の可逆符号化部１０６の構成は、図１０を参照して説明した第１の実施の形態の場合と同様である。

図２３のフローチャートを参照して、この場合の可逆符号化処理の流れの例を説明する。この図２３のフローチャートは、図１７に示されるフローチャートに対応する。

この場合も、第１の実施の形態の場合と基本的に同様に処理が行われる。すなわち、図１３のステップＳ１１６において可逆符号化処理が開始されると、ステップＳ２５１乃至ステップＳ２５４の各処理が、図１７のステップＳ１９１乃至ステップＳ１９４の各処理と同様に実行され、量子化された係数データがスライス毎に符号化される。

ステップＳ２５５において、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を、符号化データ保持部１８２に保持されている１フレーム分の符号化データの、先頭スライスのスライスヘッダに埋め込む。このとき、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を取得してまとめ、符号化データが属するフレーム（ピクチャ）の１ピクチャ分の制御情報を生成する。制御情報付加部１８４は、その１ピクチャ分の制御情報を、先頭スライスのスライスヘッダに埋め込む。

制御情報を符号化データに付加した、制御情報付加部１８４は、ステップＳ２５６において、符号化データを所定順に出力する。１ピクチャ分の符号化データを出力すると、可逆符号化部１０６は、可逆符号化処理を終了し、図１３のステップＳ１１６に戻り、ステップＳ１１７以降の処理に進む。

以上のような可逆符号化処理を行うことにより、画像符号化装置１００は、第１の実施の形態の場合と同様に、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。また、復号時の制御情報の抽出を容易にすることができる。

［復号側］
次に、本実施の形態の画像復号装置２００について説明する。図２４は、この場合の、画像復号装置２００の可逆復号部２０２の構成例を示すブロック図である。図２４に示されるように、この場合の可逆復号部２０２は、図１９を参照して説明した第２の実施の形態の場合の可逆復号部２０２と基本的に同様の構成を有する。

ただし、この場合、可逆復号部２０２は、復号データ保持部２２３をさらに有する。復号データ保持部２２３は、復号部２２２において復号されて生成された復号データを保持する。

制御情報を先頭スライスのスライスヘッダに含めるようにする場合、上述したように、先頭スライスが伝送されるまで制御情報が得られない。したがって、復号データ保持部２２３は、先頭スライスより先に伝送されるスライスの復号データを、制御情報が得られるまで保持する。

次に、図２５のフローチャートを参照して、図２０のステップＳ２０２において実行される、この場合の可逆復号処理の流れの例を説明する。この図２５のフローチャートは、図２１に示されるフローチャートに対応する。

この場合も、第２の実施の形態の場合と基本的に同様に処理が行われる。すなわち、可逆復号処理が開始されると、制御情報抽出部２２１は、ステップＳ２７１において、供給された符号化データが、フレーム（ピクチャ）の先頭スライスであるか否かを判定する。

例えば、スライスヘッダにあるfirst_mb_in_sliceの値が「０」であり、先頭スライスであると判定された場合、ステップＳ２７２に進む。ステップＳ２７２において、制御情報抽出部２２１は、そのスライスヘッダから、１ピクチャ分の制御情報を抽出し、適応フィルタ処理部２０７に供給する。

制御情報が抽出されると、ステップＳ２７３に進む。また、ステップＳ２７１において、供給された符号化データが、先頭スライスでないと判定された場合、ステップＳ２７３に進む。

ステップＳ２７３において、復号部２２２により、その符号化データが復号されると、復号データ保持部２２３は、ステップＳ２７４において、復号されて得られた復号データを保持する。

ステップＳ２７５において、復号データ保持部２２３は、制御情報抽出部２２１により制御情報が抽出されたか否かを判定する。抽出されたと判定された場合、復号データ保持部２２３は、ステップＳ２７６に進み、保持している復号データの逆量子化部２０３への出力を開始する。

復号データの出力が開始されると、ステップＳ２７７に進む。また、ステップＳ２７５において、現在処理中の当該フレームについて、制御情報が抽出されていないと判定された場合、ステップＳ２７７に進む。

ステップＳ２７７において、制御情報抽出部２２１は、フレーム内の全てのスライスを処理したか否かを判定する。未処理のスライスが存在すると判定された場合、ステップＳ２７１に戻り、未処理のスライスに対して、それ以降の処理を繰り返す。また、ステップＳ２７７において、フレーム内の全てのスライスを処理したと判定された場合、可逆復号処理を終了し、図２０のステップＳ２０７に戻り、ステップＳ２０８以降の処理が実行される。

また、このとき、上述したように、制御情報は、当該ピクチャの先頭スライスのスライスヘッダに埋め込まれており、制御情報抽出部２２１は、その当該ピクチャの先頭スライスを容易に検出し、そのスライスヘッダから１ピクチャ分の制御情報を抽出することができる。

＜４．第４の実施の形態＞
［制御情報を所定のスライスのヘッダに含める例の概要説明］
なお、制御情報は、上述した最初に伝送されるスライスや先頭スライス以外のスライスのスライスヘッダに、制御情報が付加されるようにしてもよい。

例えば、図２６に示されるように、３つのスライス（スライス０、スライス１、およびスライス２）により構成されるフレーム１５１において、スライス０が先頭スライスとして設定されるとする。

このとき、各スライスに対して生成される制御情報１９１−１乃至制御情報１９１−３は、スライスの処理順に関わらず、全て、予め定められた所定のスライスであるスライス２のスライスヘッダであるスライス２ヘッダ１９２−３に付加されるようにしてもよい。

このスライス２（スライス２ヘッダ１９２−３）の特定方法は、任意である。また、この場合、画像復号装置２００の制御情報抽出部２２１の制御情報検出方法も任意である。

この場合も、第３の実施の形態の場合と同様に、制御情報が埋め込まれたスライスが、最初に伝送されるとは限らない。図２６の例の場合、符号化データ１９４は、スライス１、スライス０、スライス２の順に伝送される。つまり、スライス０およびスライス１は、制御情報を含むスライス２よりも先に伝送される。

したがって、この場合も、適応フィルタ処理部２０７は、スライス２より先に伝送されたスライス（図２６の例の場合、スライス０およびスライス１）について、スライス２より制御情報が抽出されるまで適応フィルタ処理を行うことができない。

図２７のフローチャートを参照して、この場合の可逆符号化処理の流れの例を説明する。この図２７のフローチャートは、図１７に示されるフローチャートに対応する。

この場合も、第１の実施の形態の場合と基本的に同様に処理が行われる。すなわち、図１３のステップＳ１１６において可逆符号化処理が開始されると、ステップＳ２９１乃至ステップＳ２９４の各処理が、図１７のステップＳ１９１乃至ステップＳ１９４の各処理と同様に実行され、量子化された係数データがスライス毎に符号化される。

ステップＳ２９５において、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を、符号化データ保持部１８２に保持されている１フレーム分の符号化データの、予め定められた所定のスライスのスライスヘッダに埋め込む。このとき、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を取得してまとめ、符号化データが属するフレーム（ピクチャ）の１ピクチャ分の制御情報を生成する。制御情報付加部１８４は、その１ピクチャ分の制御情報を、所定のスライスのスライスヘッダに埋め込む。

制御情報を符号化データに付加した、制御情報付加部１８４は、ステップＳ２９６において、符号化データを所定順に出力する。１ピクチャ分の符号化データを出力すると、可逆符号化部１０６は、可逆符号化処理を終了し、図１３のステップＳ１１６に戻り、ステップＳ１１７以降の処理に進む。

以上のような可逆符号化処理を行うことにより、画像符号化装置１００は、第１の実施の形態の場合と同様に、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。

［復号側］
次に、本実施の形態の画像復号装置２００について説明する。この場合の、画像復号装置２００の可逆復号部２０２の構成は、図２４を参照して説明した第３の実施の形態の場合と同様である。

図２８のフローチャートを参照して、図２０のステップＳ２０２において実行される、この場合の可逆復号処理の流れの例を説明する。この図２８のフローチャートは、図２５に示されるフローチャートに対応する。

この場合も、第３の実施の形態の場合と基本的に同様に処理が行われる。すなわち、可逆復号処理が開始されると、制御情報抽出部２２１は、ステップＳ３１１において、供給された符号化データが、フレーム（ピクチャ）の所定のスライス（スライスヘッダに制御情報を含むスライス）であるか否かを判定する。

所定のスライスであると判定された場合、ステップＳ３１２に進む。ステップＳ３１２において、制御情報抽出部２２１は、そのスライスヘッダから、１ピクチャ分の制御情報を抽出し、適応フィルタ処理部２０７に供給する。

制御情報が抽出されると、ステップＳ３１３に進む。また、ステップＳ３１１において、供給された符号化データが、制御情報が付加された所定のスライスでないと判定された場合、ステップＳ３１３に進む。

その後、ステップＳ３１３乃至ステップＳ３１７の各処理が、図２５のステップＳ２７３乃至ステップＳ２７７の各処理と同様に実行される。

＜５．第５の実施の形態＞
［ポインタを利用する例の概要説明］
また、制御情報は、上述したように制御情報そのものをスライスヘッダに付加する以外にも、例えば、制御情報が付加された場所を示すポインタを、スライスヘッダに含めるようにしてもよい。

例えば、図２９に示されるように、フレーム１５１のスライス０乃至スライス２に対応する制御情報１９１−１乃至制御情報１９１−３は、まとめられ、１ピクチャ分の制御情報２３１として、符号化データ１９４のスライス２データ１９３−３の後ろに付加される。そして、最初に伝送されるスライス１ヘッダ１９２−１には、制御情報２３１の位置を示すポインタが付加される。

このようにすることにより、画像復号装置２００の制御情報抽出部２２１は、スライス１ヘッダ１９２−１を参照し、そこに付加されているポインタから、制御情報２３１を取得することができる。つまり、制御情報抽出部２３１は、第２の実施の形態の場合と略同様に、符号化データから制御情報を抽出することができる。

ただし、この場合、実際には、制御情報抽出部２２１は、制御情報２３１が供給されるまで、制御情報２３１を抽出することができない。

もちろん、制御情報２３１を付加する場所は任意である。例えば、制御情報が、スライス１ヘッダ１９２−１よりも先に伝送されるような位置に付加されるようにしてもよい。その場合、制御情報抽出部２２１は、スライス１ヘッダ１９２−１のポインタを参照した時点で制御情報を抽出することができる。

［符号化側］
この場合も、画像符号化装置１００の可逆符号化部１０６の構成は、図１０を参照して説明した第１の実施の形態の場合と同様である。

図３０のフローチャートを参照して、この場合の可逆符号化処理の流れの例を説明する。この図３０のフローチャートは、図１７に示されるフローチャートに対応する。

この場合も、第１の実施の形態の場合と基本的に同様に処理が行われる。すなわち、図１３のステップＳ１１６において可逆符号化処理が開始されると、ステップＳ３３１乃至ステップＳ３３４の各処理が、図１７のステップＳ１９１乃至ステップＳ１９４の各処理と同様に実行され、量子化された係数データがスライス毎に符号化される。

ステップＳ３３５において、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を、符号化データの所定の位置に付加する。このとき、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を取得してまとめ、符号化データが属するフレーム（ピクチャ）の１ピクチャ分の制御情報を生成する。制御情報付加部１８４は、その１ピクチャ分の制御情報を、符号化データの所定の位置に付加する。

ステップＳ３３６において、制御情報付加部１８４は、制御情報を付加した位置を示すポインタを、符号化データ保持部１８２に保持されている１フレーム分の符号化データの、最初に伝送されるスライスのスライスヘッダに埋め込む。

制御情報を符号化データに付加し、そのポインタをスライスヘッダに埋め込んだ制御情報付加部１８４は、ステップＳ３３７において、符号化データを所定順に出力する。１ピクチャ分の符号化データを出力すると、可逆符号化部１０６は、可逆符号化処理を終了し、図１３のステップＳ１１６に戻り、ステップＳ１１７以降の処理に進む。

次に、図３１のフローチャートを参照して、図２０のステップＳ２０２において実行される、この場合の可逆復号処理の流れの例を説明する。この図３１のフローチャートは、図２５に示されるフローチャートに対応する。

この場合も、第３の実施の形態の場合と基本的に同様に処理が行われる。すなわち、可逆復号処理が開始されると、制御情報抽出部２２１は、ステップＳ３５１において、供給された符号化データが、フレーム（ピクチャ）の最初に伝送されたスライスであるか否かを判定する。

第２の実施の形態の場合と同様に判定により、最初に伝送されたスライスであると判定された場合、ステップＳ３５２に進む。ステップＳ３５２において、制御情報抽出部２２１は、そのスライスヘッダに付加されたポインタを参照する。

ポインタを参照すると、ステップＳ３５３に進む。また、ステップＳ３５１において、供給された符号化データが、フレームの最初に伝送されたスライスでないと判定された場合、ステップＳ３５３に進む。

ステップＳ３５３において、制御情報抽出部２２１は、現時点で制御情報を抽出可能であるか否かを判定する。その時点において、符号化データに付加された１ピクチャ分の制御情報が既に供給されており、抽出可能であると判定された場合、ステップＳ３５４に進み、制御情報抽出部２２１は、その１ピクチャ分の制御情報を抽出し、適応フィルタ処理部２０７に供給する。

制御情報が抽出されると、ステップＳ３５５に進む。また、ステップＳ３５３において、制御情報がまだ供給されておらず、抽出不可能であると判定された場合、ステップＳ３５５に進む。

ステップＳ３５５において、復号部２２２により、符号化データの処理対象スライスが復号されると、復号データ保持部２２３は、ステップＳ３５６において、復号されて得られた復号データを保持する。

ステップＳ３５７において、復号データ保持部２２３は、制御情報抽出部２２１により制御情報が抽出されたか否かを判定する。抽出されたと判定された場合、復号データ保持部２２３は、ステップＳ３５８に進み、保持している復号データの逆量子化部２０３への出力を開始する。

復号データの出力が開始されると、ステップＳ３５９に進む。また、ステップＳ３５７において、現在処理中の当該フレームについて、制御情報が抽出されていないと判定された場合、ステップＳ３５９に進む。

ステップＳ３５９において、制御情報抽出部２２１は、フレーム内の全てのスライスを処理したか否かを判定する。未処理のスライスが存在すると判定された場合、ステップＳ３５１に戻り、未処理のスライスに対して、それ以降の処理を繰り返す。また、ステップＳ３５９において、フレーム内の全てのスライスを処理したと判定された場合、可逆復号処理を終了し、図２０のステップＳ２０７に戻り、ステップＳ２０８以降の処理が実行される。

以上のように可逆復号処理を行うことにより、可逆復号部２０２は、符号化データに付加されたポインタに基づいて制御情報を抽出し、適応フィルタ処理部２０７に供給することができる。これにより、適応フィルタ処理部２０７は、適切に適応フィルタ処理を実行することができる。これにより、適応フィルタ処理部２０７は、処理対象スライスの、デブロックフィルタにより取りきれなかったブロック歪みや量子化による歪みを低減することができる。

したがって、画像復号装置２００は、第２の実施の形態の場合と同様に、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。例えば、画像の各フレームを複数のスライスに分けて処理する場合においても、符号化効率の低減を抑制することができる。

［その他の例］
なお、以上においては、制御情報が付加されている位置を示すポインタが、フレームの最初に伝送されるスライスのスライスヘッダに付加されるように説明したが、ポインタの埋め込み位置は任意である。例えば、第３の実施の形態のように、先頭スライスのスライスヘッダに制御情報が付加されるようにしてもよいし、第４の実施の形態のように、予め定められた所定のスライスに制御情報が付加されるようにしてもよい。

また、上述したポインタは、どのような形態の情報であってもよい。

＜６．第６の実施の形態＞
［制御情報を複数のグループにまとめる例の概要説明］
以上においては、１ピクチャ分の制御情報を１つにまとめるように説明したが、これに限らず、例えば、１フレームのスライスを複数のグループに分け、そのグループ毎に制御情報をまとめるようにしてもよい。

例えば、図３２において、フレーム１５１内の点線がスライスの境界を示し、実線が複数のスライスをまとめるグループを示している。各スライスの制御情報は、このグループ毎にまとめられる。

図３２において、制御情報２４１−１は、フレーム１５１の上から１番目のグループに属するスライスの制御情報をまとめたものである。制御情報２４１−２は、フレーム１５１の上から２番目のグループに属するスライスの制御情報をまとめたものである。制御情報２４１−３は、フレーム１５１の上から３番目のグループに属するスライスの制御情報をまとめたものである。

これらの制御情報は、それぞれが対応するグループの中で最初に伝送されるスライスのスライスヘッダに埋め込まれる。

図３２において、制御情報２４１−１は、フレーム１５１の上から１番目のグループの符号化データ２４４−１の、最初に伝送されるスライスＡのスライスヘッダであるスライスＡヘッダ２４２−１に埋め込まれる。

同様に、制御情報２４１−２は、フレーム１５１の上から２番目のグループの符号化データ２４４−２の、最初に伝送されるスライスＢのスライスヘッダであるスライスＢヘッダ２４２−２に埋め込まれる。

同様に、制御情報２４１−３は、フレーム１５１の上から３番目のグループの符号化データ２４４−３の、最初に伝送されるスライスＣのスライスヘッダであるスライスＣヘッダ２４２−３に埋め込まれる。

つまり、この場合、１フレーム分の符号化データには、複数の制御情報が付加されることになるが、グループ単位でまとめてあるので、スライス毎に制御情報を付加する場合よりも、冗長性が低減され、符号化効率が向上される。また、複数に分けて制御情報が付加されるので、上述した各実施の形態の場合よりも、伝送時のパケットロス等に対する耐性が強くなる。

なお、この複数スライスからなるグループは、予め定められている。すなわち、フレーム内のスライスがいくつのグループに分けられ、どのスライスがどのグループに属するかは予め定められている。

［符号化側］
この場合の、画像符号化装置１００について説明する。この場合の画像符号化装置１００の可逆符号化部１０６の構成は、図１０を参照して説明した第１の実施の形態の場合と同様である。

図３３のフローチャートを参照して、この場合の可逆符号化処理の流れの例を説明する。この図３３のフローチャートは、図１７に示されるフローチャートに対応する。

この場合も、第１の実施の形態の場合と基本的に同様に処理が行われる。すなわち、図１３のステップＳ１１６において可逆符号化処理が開始されると、ステップＳ３７１乃至ステップＳ３７４の各処理が、図１７のステップＳ１９１乃至ステップＳ１９４の各処理と同様に実行され、量子化された係数データがスライス毎に符号化される。

ただし、この場合、制御情報付加部１８４は、ステップＳ３７４において、フレームではなく、グループ単位で、全てのスライスが符号化されたか否かを判定する。すなわち、制御情報付加部１８４は、ステップＳ３７４において、符号化部１８１が処理対象グループに属する全てのスライスを符号化したか否かを判定する。

処理対象グループに属する未処理のスライスが存在すると判定された場合、ステップＳ３７１に戻り、未処理のスライスに対してそれ以降の処理が繰り返される。また、ステップＳ３７４において、符号化部１８１が処理対象グループに属する全てのスライスを符号化したと判定された場合、ステップＳ３７５に進む。

ステップＳ３７５において、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を、符号化データ保持部１８２に保持されている１グループ分の符号化データの、最初に伝送されるスライスのスライスヘッダに埋め込む。このとき、制御情報付加部１８４は、制御情報保持部１８３に保持されている制御情報を取得してまとめ、符号化データが属するグループの制御情報（１グループ分の制御情報）を生成する。制御情報付加部１８４は、その１グループ分の制御情報を、グループで最初に伝送されるスライスのスライスヘッダに埋め込む。

制御情報を符号化データに付加した、制御情報付加部１８４は、ステップＳ３７６において、その１グループ分の符号化データを所定順に出力する。１グループ分の符号化データを出力すると、可逆符号化部１０６は、ステップＳ３７７において、フレーム内の全てのグループを処理したか否かを判定する。

未処理のグループが存在すると判定された場合、ステップＳ３７１に戻り、未処理のグループに対してそれ以降の処理を繰り返す。また、ステップＳ３７７において、フレーム内の全てのグループが処理されたと判定された場合、可逆符号化部１０６は、可逆符号化処理を終了し、図１３のステップＳ１１６に戻り、ステップＳ１１７以降の処理に進む。

以上のような可逆符号化処理を行うことにより、画像符号化装置１００は、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。また、パケットロス等に対する耐性も向上させることができる。

［復号側］
次に、本実施の形態の画像復号装置２００について説明する。この場合、画像復号装置２００の可逆復号部２０２は、フレーム（ピクチャ）単位でなく、グループ単位で制御情報を抽出すればよい。したがって、この場合の可逆復号部２０２は、図１９を参照して説明した第２の実施の形態の場合の可逆復号部２０２と同様の構成を有する。

また、可逆復号部２０２による可逆復号処理も、フレーム（ピクチャ）単位であるところをグループ単位とすること以外、図２１のフローチャートを参照して説明した例と同様に実行することができる。

以上のように可逆復号部２０２は、符号化データに付加された制御情報を抽出し、適応フィルタ処理部２０７に供給することができる。これにより、適応フィルタ処理部２０７は、適切に適応フィルタ処理を実行することができる。

［その他の例］
なお、以上においては、制御情報が、各グループの最初に伝送されるスライスのスライスヘッダに付加されるように説明したが、この制御情報の埋め込み位置は任意である。例えば、第３の実施の形態のように、各グループの先頭スライスのスライスヘッダに制御情報が付加されるようにしてもよいし、第４の実施の形態のように、各グループの予め定められた所定のスライスに制御情報が付加されるようにしてもよい。

＜７．第７の実施の形態＞
［グループ数を制御する例の概要説明］
第６の実施の形態においては、制御情報をまとめる単位として、複数のスライスからなるグループについて説明したが、画像符号化装置１００が、例えばフレーム毎やGOP毎等、所定の単位毎にこのグループを定義するようにしてもよい。つまり、この場合、画像符号化装置１００が、例えばフレーム毎に、どのスライスがどのグループに属し、１フレームにいくつのグループを形成するか（制御情報を１フレーム当たりいくつに集約するか）を定義する。

［符号化側］
この場合の、画像符号化装置１００について説明する。図３４は、この場合の画像符号化装置１００の可逆符号化部１０６の構成例を示すブロック図である。

図３４に示されるように、この場合の可逆符号化部１０６は、第１の実施の形態の場合と同様に、符号化部１８１乃至制御情報付加部１８４を有する。ただし、この場合の符号化部１０６は、さらに、制御部２５１を有する。

制御部２５１は、グループの定義を行い、処理対象フレーム内のグループ数を決定する。換言すれば、制御部２５１は、符号化データに埋め込まれる各制御情報が対応するデータの範囲を決定する。

制御部２５１は、符号化部１８１および制御情報付加部１８４を制御し、各グループの最初に伝送されるスライスのスライスヘッダに、当該グループに対応する制御情報を埋め込ませる。

図３５のフローチャートを参照して、この場合の可逆符号化処理の流れの例を説明する。この図３５のフローチャートは、図３３に示されるフローチャートに対応する。

この場合も、第６の実施の形態の場合と基本的に同様に処理が行われる。図１３のステップＳ１１６において可逆符号化処理が開始されると、ステップＳ３９１において、制御部２５１は、処理対象フレームについてグループの定義を行い、グループ数を設定する。制御部２５１は、そのグループに関する設定に基づいて、符号化部１８１および制御情報付加部１８４を制御する。

ステップＳ３９１において行われたグループの設定にしたがって、ステップＳ３９２乃至ステップＳ３９８の各処理が実行される。つまり、グループが設定された後のステップＳ３９２乃至ステップＳ３９８の各処理は、図３３のステップＳ３７１乃至ステップＳ３７７の各処理と同様に実行される。

［復号側］
次に、本実施の形態の画像復号装置２００について説明する。図３６は、この場合の、画像復号装置２００の可逆復号部２０２の構成例を示すブロック図である。

この場合、画像復号装置２００の可逆復号部２０２は、フレーム（ピクチャ）単位でなく、グループ単位で制御情報を抽出する。したがって、この場合の可逆復号部２０２は、図３６に示されるように、例えば図２４を参照して説明した第３の実施の形態の場合の可逆復号部２０２と同様に、制御情報抽出部２２１乃至復号データ保持部２２３を有する。ただし、この場合、画像復号装置２００は、処理対象フレーム内のグループ数を把握していないので、各スライスヘッダを解析し、制御情報を検索する。したがって、この場合、可逆復号部２０２は、図３６に示されるように、ヘッダ解析部２６１をさらに有する。

ヘッダ解析部２６１は、供給される符号化データの各スライスヘッダを参照し、制御情報を検索する。制御情報抽出部２２１は、その解析結果に基づいて制御情報の抽出を行う。また、各部は、第６の実施の形態の場合と同様に、グループ毎に処理を行う。

次に、図３７のフローチャートを参照して、図２０のステップＳ２０２において実行される、この場合の可逆復号処理の流れの例を説明する。この図３７のフローチャートは、図２５に示されるフローチャートに対応する。

この場合も、第３の実施の形態の場合と基本的に同様に処理が行われる。可逆復号処理が開始されると、ヘッダ解析部２６１は、ステップＳ４１１において、供給された符号化データの処理対象スライスのスライスヘッダを参照し、そのスライスヘッダに制御情報が存在するか否かを判定する。処理対象スライスがグループの最初に伝送されるスライスであり、そのスライスヘッダに当該グループの制御情報を含むと判定された場合、ステップＳ４１２に進む。

ステップＳ４１２において、制御情報抽出部２２１は、そのスライスヘッダから１グループ分の制御情報を抽出する。制御情報が抽出されると、ステップＳ４１３に進む。また、ステップＳ４１１において、スライスヘッダに制御情報が存在しないと判定された場合、ステップＳ４１３に進む。

ステップＳ４１３乃至ステップＳ４１７の各処理は、図２５のステップＳ２７３乃至ステップＳ２７７の各処理と同様に実行される。

［グループ数の制御］
次に、グループ数の制御について説明する。

一般的にグループ数を増やす（１フレーム当たりの制御情報の数を増やす）と、制御情報の冗長度が高くなり、符号化データの符号化効率が低下する。これにより、画像復号装置２００において処理すべき情報量が増大する。また、制御情報を抽出する回数も増大する。したがって、画像復号装置２００の負荷が増大する可能性がある。ただし、１つの制御情報の情報量が小さくなるので、必要なメモリ量が低減される。

これに対して、画像符号化装置１００は、グループ数を増やすことにより、より小さい単位で符号化データを出力することができるようになる。つまり、符号化処理の遅延時間を低減させることができる。また、この場合、符号化データが高頻度で出力されるので、必要なメモリ量が低減される。

逆に、グループ数を低減させる（１フレーム当たりの制御情報の数を減らす）と、制御情報の冗長度が低くなり、符号化データの符号化効率が向上する。これにより、画像復号装置２００において処理すべき情報量が低減する。また、制御情報を抽出する回数も低減する。したがって、画像復号装置２００の負荷が低減する可能性がある。ただし、１つの制御情報の情報量が大きくなるので、必要なメモリ量が増大する。

これに対して、画像符号化装置１００は、グループ数を減らすことにより、より大きい単位で符号化データを出力することになる。つまり、符号化処理の遅延時間が増大する。また、この場合、符号化データが低頻度で出力されることになるので、必要なメモリ量が増大する。

以上のように、グループ数の増減によって、各種のパラメータが変化する。したがって、最適なグループ数は、ハードウェア資源や利用目的等のシステムの仕様によって決定される。

例えば、画像符号化装置１００が生成した符号化データをサーバ等に保存し、例えば画像復号装置２００からの要求に基づいて、その符号化データを提供するようなシステムの場合、画像符号化装置１００における遅延時間の増大は、符号化データの提供にほとんど影響を及ぼさない。このようなシステムの場合、符号化処理の遅延時間の低減よりも、復号処理の負荷の低減を抑制させることを優先すべきである。

また、例えば、撮影等により生成された画像データを、即時的（リアルタイム）に、画像符号化装置１００により符号化し、符号化データを伝送し、画像復号装置２００によりその符号化データを復号し、復号画像を表示するようなシステムの場合、各処理の遅延時間の抑制が最も重要になる。

また、画像復号装置２００の処理能力が低い場合、復号処理の負荷を抑制することを優先させるのが望ましい。逆に、画像符号化装置１００の処理能力が低い場合、符号化処理の負荷の抑制を優先させるのが望ましい。また画像データのビットレートや伝送路の使用可能な帯域幅等によって符号化効率の向上を優先すべき場合も考えられる。

このように、遅延時間、符号化効率、処理の負荷、およびメモリ容量等、様々なパラメータの最適な値は、システムの仕様によって異なる。したがって、制御部２５１は、システムの仕様に対して各種パラメータが最適となるように、グループの設定を行う。これにより、より多様なシステムに適用することができる。

なお、このグループの設定のために、画像符号化装置１００または画像復号装置２００が、システム内の他の装置のハードウェア資源や、伝送路に関する情報を収集したり、他の装置と各種情報を交換したりするようにしてもよい。

また、１フレームのグループ数は１以上であればいくつであってもよい。さらに、グループ数の制御は、フレーム単位以外であっても良い。例えばGOP単位などであってもよい。

また、以上においては、制御情報が、各グループの最初に伝送されるスライスのスライスヘッダに付加されるように説明したが、この制御情報の埋め込み位置は任意である。例えば、第３の実施の形態のように、各グループの先頭スライスのスライスヘッダに制御情報が付加されるようにしてもよいし、第４の実施の形態のように、各グループの予め定められた所定のスライスに制御情報が付加されるようにしてもよい。

さらに、この制御情報を埋め込むスライス（スライスヘッダ）を、画像符号化装置１００が設定するようにしてもよい。例えばフレーム単位やGOP単位等、任意の単位でこのような設定を行うようにしても良い。また、不定期に行うようにしてもよい。

以上の各実施の形態においては、スライスを単位としてフレーム内の制御情報を、１つまたは複数にまとめるように説明したが、この制御情報のまとめる単位は、任意である。例えば、スライスよりも小さい単位、例えば、マクロブロックを単位として行うようにしてもよい。つまり、マクロブロック毎の制御情報を複数まとめてグループ毎の制御情報を生成するようにしてもよい。

＜８．第８の実施の形態＞
［要素毎に独立してグループ化する例の概要説明］
以上においては、制御情報を構成する、フィルタ係数、ブロックサイズ、およびフィルタブロックフラグの各要素を互いに同じ単位でまとめるように説明したが、これらの各要素を、互いに独立した単位でまとめるようにしてもよい。つまり、フィルタ係数、ブロックサイズ、およびフィルタブロックフラグの各要素を互いに独立してグループ化するようにしてもよい。

この場合、各フィルタ係数のグループが対応する画像の範囲（スライス）と、各ブロックサイズのグループが対応する画像の範囲（スライス）と、各フィルタブロックフラグが対応するグループの画像の範囲（スライス）が互いに独立して設定されているので、それらの情報が格納されるスライスヘッダも互いに異なることがあり得る。

したがって、この場合、画像符号化装置１００および画像復号装置２００は、フィルタ係数、ブロックサイズ、およびフィルタブロックフラグの各要素について、それぞれ、上述した制御情報の場合と同様の処理を行う必要がある。

［符号化側］
この場合の、画像符号化装置１００について説明する。図３８は、この場合の画像符号化装置１００の可逆符号化部１０６の構成例を示すブロック図である。

図３８に示されるように、この場合の可逆符号化部１０６は、第１の実施の形態の場合と同様に、符号化部１８１乃至制御情報保持部１８３を有する。また、この場合の符号化部１０６は、さらに、制御情報付加部１８４の代わりに制御情報付加部２８１を有する。

制御情報付加部２８１は、フィルタ係数、ブロックサイズ、およびフィルタブロックフラグの各要素を、互いに独立して設定されたグループ毎に、符号化データのスライスヘッダに埋め込む。制御情報付加部２８１は、フラグ付加部２９１、ブロックサイズ付加部２９２、およびフィルタ係数付加部２９３を有する。

フラグ付加部２９１は、処理対象フラググループのフィルタブロックフラグを、処理対象フラググループの最初に伝送されるスライスのスライスヘッダに付加する。フラググループとは、互いに同一のスライスヘッダに埋め込まれる１組のフィルタブロックフラグが対応するスライスのグループである。

ブロックサイズ付加部２９２は、処理対象ブロックサイズグループのブロックサイズを、処理対象ブロックサイズグループの最初に伝送されるスライスのスライスヘッダに付加する。ブロックサイズグループとは、互いに同一のスライスヘッダに埋め込まれる１組のブロックサイズが対応するスライスのグループである。

フィルタ係数付加部２９３は、処理対象フィルタ係数グループのフィルタ係数を、処理対象フィルタ係数グループの最初に伝送されるスライスのスライスヘッダに付加する。フィルタ係数グループとは、互いに同一のスライスヘッダに埋め込まれる１組のフィルタ係数が対応するスライスのグループである。

図３９のフローチャートを参照して、この場合の可逆符号化処理の流れの例を説明する。この図３９のフローチャートは、図３３に示されるフローチャートに対応する。

この場合も、第６の実施の形態の場合と基本的に同様に処理が行われる。図１３のステップＳ１１６において可逆符号化処理が開始されると、ステップＳ４３１乃至ステップＳ４３３の各処理が、図３３のステップＳ３７１乃至ステップＳ３７３の各処理と同様に実行される。

ステップＳ４３４において、制御情報付加部２８１のフラグ付加部２９１は、符号化部１８１が処理対象フラググループの全てのスライスを符号化したか否かを判定する。全てのスライスを符号化したと判定された場合、ステップＳ４３５に進む。

ステップＳ４３５において、フラグ付加部２９１は、１フラググループ分のフィルタブロックフラグをその処理対象フラググループ内で最初に伝送されるスライスのスライスヘッダに埋め込む。

フィルタブロックフラグの埋め込みが終了すると、ステップＳ４３６に進む。また、ステップＳ４３４において、処理対象フラググループに未処理のスライスが存在すると判定された場合、ステップＳ４３６に進む。

ステップＳ４３６において、制御情報付加部２８１のブロックサイズ付加部２９２は、符号化部１８１が処理対象フラググループの全てのスライスを符号化したか否かを判定する。全てのスライスを符号化したと判定された場合、ステップＳ４３７に進む。

ステップＳ４３７において、ブロックサイズ付加部２９２は、１ブロックサイズグループ分のブロックサイズをその処理対象ブロックサイズグループ内で最初に伝送されるスライスのスライスヘッダに埋め込む。

ブロックサイズの埋め込みが終了すると、ステップＳ４３８に進む。また、ステップＳ４３８において、処理対象ブロックサイズグループに未処理のスライスが存在すると判定された場合、ステップＳ４３８に進む。

ステップＳ４３８において、制御情報付加部２８１のフィルタ係数付加部２９３は、符号化部１８１が処理対象フィルタ係数グループの全てのスライスを符号化したか否かを判定する。未処理のスライスが存在すると判定された場合、ステップＳ４３１に戻り、それ以降の処理が繰り返される。

また、ステップＳ４３８において、全てのスライスを符号化したと判定された場合、ステップＳ４３９に進む。ステップＳ４３９において、フィルタ係数付加部２９３は、１フィルタ係数グループ分のフィルタ係数をその処理対象フィルタ係数グループ内で最初に伝送されるスライスのスライスヘッダに埋め込む。

フィルタ係数の埋め込みが終了すると、ステップＳ４４０に進む。ステップＳ４４０において、制御情報付加部２８１は、符号化データを所定順に出力する。ステップＳ４４１において、可逆符号化部１０６は、フレーム内の全てのグループを処理したか否かを判定する。未処理のグループが存在すると判定された場合、ステップＳ４３１に戻り、それ以降の処理が繰り返される。

また、ステップＳ４４１において、フレーム内の全てのグループが処理されたと判定された場合、可逆符号化部１０６は、可逆符号化処理を終了し、図１３のステップＳ１１６に戻り、ステップＳ１１７以降の処理に進む。

以上のような可逆符号化処理を行うことにより、可逆符号化部１０６は、制御情報の各要素を、それぞれにとってより適切な単位で付加することができる。これにより、画像符号化装置１００は、例えば符号化効率、遅延時間、負荷量等の各種要素をより適切に制御することができる。

［復号側］
次に、本実施の形態の画像復号装置２００について説明する。この場合、画像復号装置２００の可逆復号部２０２は、フィルタ係数、ブロックサイズ、およびフィルタブロックフラグの各要素を、フレーム（ピクチャ）単位でなく、それぞれのグループ単位で抽出する。

図４０は、この場合の、画像復号装置２００の可逆復号部２０２の構成例を示すブロック図である。図４０に示されるように、この場合の可逆復号部２０２は、第３の実施の形態の場合と同様に、復号部２２２および復号データ保持部２２３を有する。また、この場合の復号部２２２は、さらに、制御情報抽出部２２１の代わりに制御情報抽出部３０１を有する。

制御情報抽出部３０１は、フィルタ係数、ブロックサイズ、およびフィルタブロックフラグの各要素を符号化データのスライスヘッダから抽出する。制御情報抽出部３０１は、フラグ抽出部３１１、ブロックサイズ抽出部３１２、およびフィルタ係数抽出部３１３を有する。

フラグ抽出部３１１は、処理対象フラググループの最初に伝送されるスライスのスライスヘッダから、その処理対象フラググループのフィルタブロックフラグを抽出する。

ブロックサイズ抽出部３１２は、処理対象ブロックサイズグループの最初に伝送されるスライスのスライスヘッダから、その処理対象ブロックサイズグループのブロックサイズを抽出する。

フィルタ係数抽出部３１３は、処理対象フィルタ係数グループの最初に伝送されるスライスのスライスヘッダから、その処理対象フィルタ係数グループのフィルタ係数を抽出する。

次に、図４１のフローチャートを参照して、図２０のステップＳ２０２において実行される、この場合の可逆復号処理の流れの例を説明する。この図４１のフローチャートは、図２５に示されるフローチャートに対応する。

この場合も、第２の実施の形態の場合と基本的に同様に処理が行われる。すなわち、可逆復号処理が開始されると、制御情報抽出部３０１のフラグ抽出部３１１は、ステップＳ４６１において、供給された符号化データが、処理対象フラググループの最初に伝送されたスライスであるか否かを判定する。処理対象フラググループの最初に伝送されたスライスであると判定された場合、ステップＳ４６２に進む。

ステップＳ４６２において、フラグ抽出部３１１は、処理対象スライスのスライスヘッダから、１フラググループ分のフィルタブロックフラグを抽出する。

フィルタブロックフラグが抽出されると、ステップＳ４６３に進む。また、ステップＳ４６１において、処理対象フラググループの最初に伝送されたスライスでないと判定された場合、ステップＳ４６３に進む。

ステップＳ４６３において、制御情報抽出部３０１のブロックサイズ抽出部３１２は、供給された符号化データが、処理対象ブロックサイズグループの最初に伝送されたスライスであるか否かを判定する。処理対象ブロックサイズグループの最初に伝送されたスライスであると判定された場合、ステップＳ４６４に進む。

ステップＳ４６４において、ブロックサイズ抽出部３１２は、処理対象スライスのスライスヘッダから、１ブロックサイズグループ分のブロックサイズを抽出する。

ブロックサイズが抽出されると、ステップＳ４６５に進む。また、ステップＳ４６３において、処理対象ブロックサイズグループの最初に伝送されたスライスでないと判定された場合、ステップＳ４６５に進む。

ステップＳ４６５において、制御情報抽出部３０１のフィルタ係数抽出部３１３は、供給された符号化データが、処理対象フィルタ係数グループの最初に伝送されたスライスであるか否かを判定する。処理対象フィルタ係数グループの最初に伝送されたスライスであると判定された場合、ステップＳ４６６に進む。

ステップＳ４６６において、フィルタ係数抽出部３１３は、処理対象スライスのスライスヘッダから、１フィルタ係数グループ分のフィルタ係数を抽出する。

フィルタ係数が抽出されると、ステップＳ４６７に進む。また、ステップＳ４６５において、処理対象フィルタ係数グループの最初に伝送されたスライスでないと判定された場合、ステップＳ４６７に進む。

ステップＳ４６７において、復号部２２２は、符号化データの処理対象スライスを復号する。ステップＳ４６８において、復号データ保持部２２３は、復号されて得られた復号データを保持する。

ステップＳ４６９において、復号データ保持部２２３は、制御情報抽出部３０１により制御情報の要素（フィルタブロックフラグ、ブロックサイズ、およびフィルタ係数）が全て抽出されたスライスが存在するか否かを判定する。抽出されたと判定された場合、復号データ保持部２２３は、ステップＳ４７０に進み、保持している復号データの、制御情報の全ての要素が抽出されたスライスの逆量子化部２０３への出力を開始する。

復号データの出力が開始されると、ステップＳ４７１に進む。また、ステップＳ４６９において、制御情報の全ての要素が抽出されたスライスが存在しないと判定された場合、ステップＳ４７１に進む。

ステップＳ４７１において、制御情報抽出部３０１は、フレーム内の全てのスライスを処理したか否かを判定する。未処理のスライスが存在すると判定された場合、ステップＳ４６１に戻り、未処理のスライスに対して、それ以降の処理を繰り返す。また、ステップＳ４７１において、フレーム内の全てのスライスを処理したと判定された場合、可逆復号処理を終了し、図２０のステップＳ２０７に戻り、ステップＳ２０８以降の処理が実行される。

以上のように可逆復号処理を行うことにより、可逆復号部２０２は、符号化データに互いに独立して付加された制御情報の各要素を抽出し、適応フィルタ処理部２０７に供給することができる。これにより、適応フィルタ処理部２０７は、適切に適応フィルタ処理を実行することができる。これにより、適応フィルタ処理部２０７は、処理対象スライスの、デブロックフィルタにより取りきれなかったブロック歪みや量子化による歪みを低減することができる。

［その他の例］
もちろん、この場合も、フィルタ係数、ブロックサイズ、およびフィルタブロックフラグ等の各要素を、各要素のグループの先頭スライスのスライスヘッダに埋め込むようにしてもよいし、その他の所定のスライスのスライスヘッダに埋め込むようにしてもよい。

また、各要素のグループを例えばGOPやフレーム毎に設定するようにし、各要素のグループ数を時間方向に変化可能とするようにしてもよい。

＜９．第９の実施の形態＞
［QALFの説明］
非特許文献３に示されるように、ALFブロックをクアッドツリー構造としてもよい。この技術はQALF（Quad tree-based Adaptive Loop Filter）と称する。クアッドツリー構造とは、下位階層において１つ上位の階層の１つのALFブロックの領域が４分割される階層構造である。

図４２にALFブロック分割を最大レイヤ数が３のクアッドツリー構造によって表現し、各ALFブロックにフィルタブロックフラグを指定する例を示す。

図４２Ａは、クアッドツリー構造の根になるALFブロックであるレイヤ０を示す。クアッドツリー構造において各ALFブロックは、下位の階層において４分割されるか否かを示すブロックパーティショニングフラグを有している。図４２Ａに示されるALFブロックのブロックパーティショニングフラグの値は「１」である。つまり、このALFブロックは、下位の階層（レイヤ１）において４分割される。図４２Ｂは、そのレイヤ１を示す。すなわち、レイヤ１には、４つのALFブロックが形成される。

ブロックパーティショニングフラグが「０」の場合、これより下位の階層において４分割されない。すなわち、これ以上の分割は無く、そのALFブロックに対してフィルタブロックフラグが生成される。つまり、ブロックパーティショニングフラグが「０」のALFブロックは、フィルタブロックフラグも有する。図４２Ｂに示される「０−１」の左の「０」が、そのALFブロックのブロックパーティショニングフラグを示し、右の「１」が、そのALFブロックのフィルタブロックフラグを示す。

レイヤ１のブロックパーティショニングフラグが「１」の２つのALFブロックは、さらに下位の階層（レイヤ２）において４分割される。図４２Ｃは、そのレイヤ２を示す。すなわち、レイヤ２には、１０個のALFブロックが形成される。

同様に、レイヤ２においてブロックパーティショニングフラグが「０」のALFブロックには、フィルタブロックフラグも割り当てられる。図４２Ｃにおいては、１つのALFブロックのブロックパーティショニングフラグが「１」である。つまり、そのALFブロックは、さらに下位の階層（レイヤ３）において４分割される。図４２Ｄは、そのレイヤ３を示す。すなわち、レイヤ３には、１３個のALFブロックが形成される。

図４２のようにクアッドツリー化することにより、ALFブロックの構成は、最終的に図４３に示されるようになる。このように、クアッドツリー構造においては、ALFブロックのサイズは、その階層毎に異なる。つまり、ALFブロックは、クアッドツリー構造をとることにより、フレーム内においてその大きさを互いに異なるものとすることができる。

各ALFブロックにおけるフィルタブロックフラグの制御は、第１の実施の形態の場合と同様である。つまり、フィルタブロックフラグの値が「０」のALFブロックの領域（図４３の斜線模様部分）は、フィルタ処理が行われない。

マルチスライスの場合に符号化効率が低減する恐れがあるという問題は、ALFブロックの表現を改良したQALFでも同じ問題が生じる。

図４４は、図５のスライス１の領域をQALFの技術を使って符号化する例を示している。ここで太線４２１の領域はスライス１の領域を示す。QALF４１１全体の制御情報を、太線４２１に示されるように、スライス毎に分けて、複数の制御情報とし、それらを符号化データに付加するようにすると、その制御情報間で重複する情報が生じてしまう。

そこで、QALFの場合も、画像符号化装置１００は、第１の実施の形態において説明したBALFの場合と同様の方法により、複数のスライスの制御情報を、符号化データの１つのスライスヘッダに含めるようにする。画像復号装置２００も、BALFの場合と同様に、その制御情報を抽出し、適応フィルタ処理を行うようにする。

このようにすることにより、符号化データに付加される制御情報の冗長度が抑制されるため、スライス毎に制御情報を埋め込む場合よりも、符号化効率を向上させることができる。

＜１０．第１０の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図４５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図４５において、パーソナルコンピュータ５００のCPU５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図４５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した画像符号化装置１００や画像復号装置２００は、任意の電子機器に適用することができる。以下にその例について説明する。

＜１１．第１１の実施の形態＞
［テレビジョン受像機］
図４６は、本発明を適用した画像復号装置２００を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図４６に示されるテレビジョン受像機１０００は、地上波チューナ１０１３、ビデオデコーダ１０１５、映像信号処理回路１０１８、グラフィック生成回路１０１９、パネル駆動回路１０２０、および表示パネル１０２１を有する。

地上波チューナ１０１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１０１５に供給する。ビデオデコーダ１０１５は、地上波チューナ１０１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１０１８に供給する。

映像信号処理回路１０１８は、ビデオデコーダ１０１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１０１９に供給する。

グラフィック生成回路１０１９は、表示パネル１０２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１０２０に供給する。また、グラフィック生成回路１０１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１０２０に供給するといった処理も適宜行う。

パネル駆動回路１０２０は、グラフィック生成回路１０１９から供給されたデータに基づいて表示パネル１０２１を駆動し、番組の映像や上述した各種の画面を表示パネル１０２１に表示させる。

表示パネル１０２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１０２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機１０００は、音声A/D（Analog/Digital)変換回路１０１４、音声信号処理回路１０２２、エコーキャンセル／音声合成回路１０２３、音声増幅回路１０２４、およびスピーカ１０２５も有する。

地上波チューナ１０１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１０１３は、取得した音声信号を音声A/D変換回路１０１４に供給する。

音声A/D変換回路１０１４は、地上波チューナ１０１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１０２２に供給する。

音声信号処理回路１０２２は、音声A/D変換回路１０１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、音声信号処理回路１０２２から供給された音声データを音声増幅回路１０２４に供給する。

音声増幅回路１０２４は、エコーキャンセル／音声合成回路１０２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１０２５から出力させる。

さらに、テレビジョン受像機１０００は、デジタルチューナ１０１６およびMPEGデコーダ１０１７も有する。

デジタルチューナ１０１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１０１７に供給する。

MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１０１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１０２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１０１８に供給する。また、MPEGデコーダ１０１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１０３２に供給する。

テレビジョン受像機１０００は、このように映像パケットをデコードするMPEGデコーダ１０１７として、上述した画像復号装置２００を用いる。なお、放送局等より送信されるMPEG-TSは、画像符号化装置１００によって符号化されている。

MPEGデコーダ１０１７は、画像復号装置２００の場合と同様に、画像符号化装置１００より供給される符号化データから、１つのスライスヘッダに埋め込まれた複数のスライス分の制御情報を抽出し、その制御情報に基づいて適切に適応フィルタ処理を行うので、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。

MPEGデコーダ１０１７から供給された映像データは、ビデオデコーダ１０１５から供給された映像データの場合と同様に、映像信号処理回路１０１８において所定の処理が施され、グラフィック生成回路１０１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１０２０を介して表示パネル１０２１に供給され、その画像が表示される。

MPEGデコーダ１０１７から供給された音声データは、音声A/D変換回路１０１４から供給された音声データの場合と同様に、音声信号処理回路１０２２において所定の処理が施され、エコーキャンセル／音声合成回路１０２３を介して音声増幅回路１０２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１０２５から出力される。

また、テレビジョン受像機１０００は、マイクロホン１０２６、およびA/D変換回路１０２７も有する。

A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、テレビジョン受像機１０００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１０２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

さらに、テレビジョン受像機１０００は、音声コーデック１０２８、内部バス１０２９、SDRAM（Synchronous Dynamic Random Access Memory)１０３０、フラッシュメモリ１０３１、CPU１０３２、USB（Universal Serial Bus) I/F１０３３、およびネットワークI/F１０３４も有する。

A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１０２８に供給する。

音声コーデック１０２８は、A/D変換回路１０２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１０２９を介してネットワークI/F１０３４に供給する。

ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１０３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１０２８から供給された音声データを送信する。また、ネットワークI/F１０３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１０３５を介して受信し、それを、内部バス１０２９を介して音声コーデック１０２８に供給する。

音声コーデック１０２８は、ネットワークI/F１０３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、音声コーデック１０２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

SDRAM１０３０は、CPU１０３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ１０３１は、CPU１０３２により実行されるプログラムを記憶する。フラッシュメモリ１０３１に記憶されているプログラムは、テレビジョン受像機１０００の起動時などの所定のタイミングでCPU１０３２により読み出される。フラッシュメモリ１０３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ１０３１には、CPU１０３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１０３１は、例えばCPU１０３２の制御により、そのMPEG-TSを、内部バス１０２９を介してMPEGデコーダ１０１７に供給する。

MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１０００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１０１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機１０００は、リモートコントローラ１０５１から送信される赤外線信号を受光する受光部１０３７も有する。

受光部１０３７は、リモートコントローラ１０５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１０３２に出力する。

CPU１０３２は、フラッシュメモリ１０３１に記憶されているプログラムを実行し、受光部１０３７から供給される制御コードなどに応じてテレビジョン受像機１０００の全体の動作を制御する。CPU１０３２とテレビジョン受像機１０００の各部は、図示せぬ経路を介して接続されている。

USB I/F１０３３は、USB端子１０３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１０００の外部の機器との間でデータの送受信を行う。ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機１０００は、MPEGデコーダ１０１７として画像復号装置２００を用いることにより、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を抽出することができ、さらに、その制御情報を用いて適切に適応フィルタ処理を実行することができる。その結果として、テレビジョン受像機１０００は、アンテナを介して受信する放送波信号や、ネットワークを介して取得するコンテンツデータの、フィルタ処理の局所的な制御のための符号化効率の低減の抑制を実現させることができる。

＜１２．第１２の実施の形態＞
［携帯電話機］
図４８は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。

図４８に示される携帯電話機１１００は、各部を統括的に制御するようになされた主制御部１１５０、電源回路部１１５１、操作入力制御部１１５２、画像エンコーダ１１５３、カメラI/F部１１５４、LCD制御部１１５５、画像デコーダ１１５６、多重分離部１１５７、記録再生部１１６２、変復調回路部１１５８、および音声コーデック１１５９を有する。これらは、バス１１６０を介して互いに接続されている。

また、携帯電話機１１００は、操作キー１１１９、CCD（Charge Coupled Devices）カメラ１１１６、液晶ディスプレイ１１１８、記憶部１１２３、送受信回路部１１６３、アンテナ１１１４、マイクロホン（マイク）１１２１、およびスピーカ１１１７を有する。

電源回路部１１５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１１００を動作可能な状態に起動する。

携帯電話機１１００は、CPU、ROMおよびRAM等でなる主制御部１１５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機１１００は、マイクロホン（マイク）１１２１で集音した音声信号を、音声コーデック１１５９によってデジタル音声データに変換し、これを変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機１１００は、アンテナ１１１４で受信した受信信号を送受信回路部１１６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１１５８でスペクトラム逆拡散処理し、音声コーデック１１５９によってアナログ音声信号に変換する。携帯電話機１１００は、その変換して得られたアナログ音声信号をスピーカ１１１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１１００は、操作キー１１１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１１５２において受け付ける。携帯電話機１１００は、そのテキストデータを主制御部１１５０において処理し、LCD制御部１１５５を介して、画像として液晶ディスプレイ１１１８に表示させる。

また、携帯電話機１１００は、主制御部１１５０において、操作入力制御部１１５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１１００は、その電子メールデータを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１１００は、復元された電子メールデータを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示する。

なお、携帯電話機１１００は、受信した電子メールデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

この記憶部１１２３は、書き換え可能な任意の記憶媒体である。記憶部１１２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１１００は、撮像によりCCDカメラ１１１６で画像データを生成する。CCDカメラ１１１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。CCDカメラ１１１６は、その画像データを、カメラI/F部１１５４を介して、画像エンコーダ１１５３で符号化し、符号化画像データに変換する。

携帯電話機１１００は、このような処理を行う画像エンコーダ１１５３として、上述した画像符号化装置１００を用いる。したがって、画像エンコーダ１０５３は、画像符号化装置１００の場合と同様に、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。例えば、画像エンコーダ１０５３は、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を付加するので、スライス毎に制御情報を埋め込む場合よりも符号化効率を向上させることができる。

なお、携帯電話機１１００は、このとき同時に、CCDカメラ１１１６で撮像中にマイクロホン（マイク）１１２１で集音した音声を、音声コーデック１１５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機１１００は、多重分離部１１５７において、画像エンコーダ１１５３から供給された符号化画像データと、音声コーデック１１５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１１００は、その結果得られる多重化データを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機１１００は、CCDカメラ１１１６で生成した画像データを、画像エンコーダ１１５３を介さずに、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１１００は、多重分離部１１５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機１１００は、画像デコーダ１１５６において符号化画像データをデコードすることにより、再生動画像データを生成し、これを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１１１８に表示される。

携帯電話機１１００は、このような処理を行う画像デコーダ１１５６として、上述した画像復号装置２００を用いる。したがって、画像デコーダ１１５６は、画像復号装置２００の場合と同様に、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を抽出することができ、さらに、その制御情報を用いて適切に適応フィルタ処理を実行することができる。その結果として、フィルタ処理の局所的な制御のための符号化効率の低減の抑制を実現させることができる。

このとき、携帯電話機１１００は、同時に、音声コーデック１１５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１１１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機１１００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

また、携帯電話機１１００は、主制御部１１５０において、撮像されてCCDカメラ１１１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機１１００は、赤外線通信部１１８１で赤外線により外部の機器と通信することができる。

携帯電話機１１００は、画像エンコーダ１１５３として画像符号化装置１００を用いることにより、例えばCCDカメラ１１１６において生成された画像データを符号化して生成する符号化データの、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。結果として、携帯電話機１１００は、スライス毎に制御情報を埋め込む場合よりも符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。

また、携帯電話機１１００は、画像デコーダ１１５６として画像復号装置２００を用いることにより、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を抽出することができ、さらに、その制御情報を用いて適切に適応フィルタ処理を実行することができる。その結果として、携帯電話機１１００は、例えば、簡易ホームページ等にリンクされた動画像ファイルのデータの、フィルタ処理の局所的な制御のための符号化効率の低減の抑制を実現させることができる。

なお、以上において、携帯電話機１１００が、CCDカメラ１１１６を用いるように説明したが、このCCDカメラ１１１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１１００は、CCDカメラ１１１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機１１００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１１００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１１００の場合と同様に、画像符号化装置１００および画像復号装置２００を適用することができる。

＜１３．第１３の実施の形態＞
［ハードディスクレコーダ］
図４８は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図４８に示されるハードディスクレコーダ（HDDレコーダ）１２００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ１２００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１２００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ１２００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることができる。また、ハードディスクレコーダ１２００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図４８に示されるように、ハードディスクレコーダ１２００は、受信部１２２１、復調部１２２２、デマルチプレクサ１２２３、オーディオデコーダ１２２４、ビデオデコーダ１２２５、およびレコーダ制御部１２２６を有する。ハードディスクレコーダ１２００は、さらに、EPGデータメモリ１２２７、プログラムメモリ１２２８、ワークメモリ１２２９、ディスプレイコンバータ１２３０、OSD（On Screen Display）制御部１２３１、ディスプレイ制御部１２３２、記録再生部１２３３、D/Aコンバータ１２３４、および通信部１２３５を有する。

また、ディスプレイコンバータ１２３０は、ビデオエンコーダ１２４１を有する。記録再生部１２３３は、エンコーダ１２５１およびデコーダ１２５２を有する。

受信部１２２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１２２６に出力する。レコーダ制御部１２２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１２２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１２２６は、このとき、ワークメモリ１２２９を必要に応じて使用する。

通信部１２３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１２３５は、レコーダ制御部１２２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部１２２２は、チューナより供給された信号を、復調し、デマルチプレクサ１２２３に出力する。デマルチプレクサ１２２３は、復調部１２２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１２２４、ビデオデコーダ１２２５、またはレコーダ制御部１２２６に出力する。

オーディオデコーダ１２２４は、入力されたオーディオデータをデコードし、記録再生部１２３３に出力する。ビデオデコーダ１２２５は、入力されたビデオデータをデコードし、ディスプレイコンバータ１２３０に出力する。レコーダ制御部１２２６は、入力されたEPGデータをEPGデータメモリ１２２７に供給し、記憶させる。

ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されたビデオデータを、ビデオエンコーダ１２４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１２３３に出力する。また、ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されるビデオデータの画面のサイズを、モニタ１２６０のサイズに対応するサイズに変換し、ビデオエンコーダ１２４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１２３２に出力する。

ディスプレイ制御部１２３２は、レコーダ制御部１２２６の制御のもと、OSD（On Screen Display）制御部１２３１が出力したOSD信号を、ディスプレイコンバータ１２３０より入力されたビデオ信号に重畳し、モニタ１２６０のディスプレイに出力し、表示させる。

モニタ１２６０にはまた、オーディオデコーダ１２２４が出力したオーディオデータが、D/Aコンバータ１２３４によりアナログ信号に変換されて供給されている。モニタ１２６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部１２３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部１２３３は、例えば、オーディオデコーダ１２２４より供給されるオーディオデータを、エンコーダ１２５１によりエンコードする。また、記録再生部１２３３は、ディスプレイコンバータ１２３０のビデオエンコーダ１２４１より供給されるビデオデータを、エンコーダ１２５１によりエンコードする。記録再生部１２３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１２３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部１２３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１２３３は、デコーダ１２５２によりオーディオデータおよびビデオデータをデコードする。記録再生部１２３３は、復号したオーディオデータをD/A変換し、モニタ１２６０のスピーカに出力する。また、記録再生部１２３３は、復号したビデオデータをD/A変換し、モニタ１２６０のディスプレイに出力する。

レコーダ制御部１２２６は、受信部１２２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１２２７から最新のEPGデータを読み出し、それをOSD制御部１２３１に供給する。OSD制御部１２３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１２３２に出力する。ディスプレイ制御部１２３２は、OSD制御部１２３１より入力されたビデオデータをモニタ１２６０のディスプレイに出力し、表示させる。これにより、モニタ１２６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ１２００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部１２３５は、レコーダ制御部１２２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１２２６に供給する。レコーダ制御部１２２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１２３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１２２６および記録再生部１２３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部１２２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１２３０に供給する。ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５から供給されるビデオデータと同様に、レコーダ制御部１２２６から供給されるビデオデータを処理し、ディスプレイ制御部１２３２を介してモニタ１２６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部１２２６が、復号したオーディオデータを、D/Aコンバータ１２３４を介してモニタ１２６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部１２２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１２２７に供給する。

以上のようなハードディスクレコーダ１２００は、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダとして画像復号装置２００を用いる。したがって、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、画像復号装置２００の場合と同様に、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を抽出することができ、さらに、その制御情報を用いて適切に適応フィルタ処理を実行することができる。その結果として、フィルタ処理の局所的な制御のための符号化効率の低減の抑制を実現させることができる。

したがって、ハードディスクレコーダ１２００は、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を抽出することができ、さらに、その制御情報を用いて適切に適応フィルタ処理を実行することができる。その結果として、ハードディスクレコーダ１２００は、例えば、チューナや通信部１２３５を介して受信されるビデオデータや、記録再生部１２３３のハードディスクに記録されるビデオデータの、フィルタ処理の局所的な制御のための符号化効率の低減の抑制を実現させることができる。

また、ハードディスクレコーダ１２００は、エンコーダ１２５１として画像符号化装置１００を用いる。したがって、エンコーダ１２５１は、画像符号化装置１００の場合と同様に、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。例えば、エンコーダ１２５１は、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を付加するので、スライス毎に制御情報を埋め込む場合よりも符号化効率を向上させることができる。

したがって、ハードディスクレコーダ１２００は、エンコーダ１２５１として画像符号化装置１００を用いることにより、例えばハードディスクに記録する符号化データの、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。その結果として、ハードディスクレコーダ１２００は、スライス毎に制御情報を埋め込む場合よりもハードディスクの記憶領域をより効率よく使用することができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１２００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１２００の場合と同様に、画像符号化装置１００および画像復号装置２００を適用することができる。

＜１４．第１４の実施の形態＞
［カメラ］
図４９は、本発明を適用した画像符号化装置および画像復号装置を用いるカメラの主な構成例を示すブロック図である。

図４９に示されるカメラ１３００は、被写体を撮像し、被写体の画像をLCD１３１６に表示させたり、それを画像データとして、記録メディア１３３３に記録したりする。

レンズブロック１３１１は、光（すなわち、被写体の映像）を、CCD/CMOS１３１２に入射させる。CCD/CMOS１３１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１３１３に供給する。

カメラ信号処理部１３１３は、CCD/CMOS１３１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１３１４に供給する。画像信号処理部１３１４は、コントローラ１３２１の制御の下、カメラ信号処理部１３１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１３４１で符号化したりする。画像信号処理部１３１４は、画像信号を符号化して生成した符号化データを、デコーダ１３１５に供給する。さらに、画像信号処理部１３１４は、オンスクリーンディスプレイ（OSD）１３２０において生成された表示用データを取得し、それをデコーダ１３１５に供給する。

以上の処理において、カメラ信号処理部１３１３は、バス１３１７を介して接続されるDRAM（Dynamic Random Access Memory）１３１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１３１８に保持させる。

デコーダ１３１５は、画像信号処理部１３１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１３１６に供給する。また、デコーダ１３１５は、画像信号処理部１３１４から供給された表示用データをLCD１３１６に供給する。LCD１３１６は、デコーダ１３１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ１３２０は、コントローラ１３２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１３１７を介して画像信号処理部１３１４に出力する。

コントローラ１３２１は、ユーザが操作部１３２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１３１７を介して、画像信号処理部１３１４、DRAM１３１８、外部インタフェース１３１９、オンスクリーンディスプレイ１３２０、およびメディアドライブ１３２３等を制御する。FLASH ROM１３２４には、コントローラ１３２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５に代わって、DRAM１３１８に記憶されている画像データを符号化したり、DRAM１３１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１３１４やデコーダ１３１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部１３２２から画像印刷の開始が指示された場合、コントローラ１３２１は、DRAM１３１８から画像データを読み出し、それを、バス１３１７を介して外部インタフェース１３１９に接続されるプリンタ１３３４に供給して印刷させる。

さらに、例えば、操作部１３２２から画像記録が指示された場合、コントローラ１３２１は、DRAM１３１８から符号化データを読み出し、それを、バス１３１７を介してメディアドライブ１３２３に装着される記録メディア１３３３に供給して記憶させる。

記録メディア１３３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１３３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ１３２３と記録メディア１３３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース１３１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１３３４と接続される。また、外部インタフェース１３１９には、必要に応じてドライブ１３３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１３３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１３２４にインストールされる。

さらに、外部インタフェース１３１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１３２１は、例えば、操作部１３２２からの指示に従って、DRAM１３１８から符号化データを読み出し、それを外部インタフェース１３１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１３２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１３１９を介して取得し、それをDRAM１３１８に保持させたり、画像信号処理部１３１４に供給したりすることができる。

以上のようなカメラ１３００は、デコーダ１３１５として画像復号装置２００を用いる。したがって、デコーダ１３１５は、画像復号装置２００の場合と同様に、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を抽出することができ、さらに、その制御情報を用いて適切に適応フィルタ処理を実行することができる。その結果として、フィルタ処理の局所的な制御のための符号化効率の低減の抑制を実現させることができる。

したがって、カメラ１３００は、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を抽出することができ、さらに、その制御情報を用いて適切に適応フィルタ処理を実行することができる。その結果として、カメラ１３００は、例えば、CCD/CMOS１３１２において生成される画像データや、DRAM１３１８または記録メディア１３３３から読み出されるビデオデータの符号化データや、ネットワークを介して取得するビデオデータの符号化データの、フィルタ処理の局所的な制御のための符号化効率の低減の抑制を実現させることができる。

また、カメラ１３００は、エンコーダ１３４１として画像符号化装置１００を用いる。したがって、エンコーダ１３４１は、画像符号化装置１００の場合と同様に、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。例えば、符号化データの１つのスライスヘッダに付加された複数スライス分の制御情報を付加するので、スライス毎に制御情報を埋め込む場合よりも符号化効率を向上させることができる。

したがって、カメラ１３００は、例えば、DRAM１３１８や記録メディア１３３３に記録する符号化データや、他の装置に提供する符号化データの、フィルタ処理の局所的な制御による符号化効率の低減を抑制することができる。その結果として、カメラ１３００は、DRAM１３１８や記録メディア１３３３の記憶領域をより効率よく使用することができる。また、カメラ１３００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することもできる。

なお、コントローラ１３２１が行う復号処理に画像復号装置２００の復号方法を適用するようにしてもよい。同様に、コントローラ１３２１が行う符号化処理に画像符号化装置１００の符号化方法を適用するようにしてもよい。

また、カメラ１３００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、画像符号化装置１００および画像復号装置２００は、上述した装置以外の装置やシステムにも適用可能である。

また、マクロブロックの大きさも、１６×１６画素に限らない。例えば図５０に示される３２×３２画素のような、あらゆる大きさのマクロブロックに対して適用することが可能である。

以上においては、フラグ情報等をビットストリームに多重化(記述)するものとして説明したが、多重化する以外にも、例えば、フラグと画像データ(又はビットストリーム)とを伝送(記録)してもよい。フラグと画像データ(又はビットストリーム)とを連結する(付加する)形態もありうる。

連結(付加)とは、画像データ(又はビットストリーム)とフラグとが互いにリンクされている状態（対応が取れている状態）を示すものであり、物理的な位置関係は任意である。例えば、画像データ(又はビットストリーム)とフラグとを、別の伝送路で伝送してもよい。また、画像データ(又はビットストリーム)とフラグとを、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録してもよい。なお、画像データ(又はビットストリーム)とフラグとをリンクさせる単位は、任意であり、例えば、符号化処理単位(１フレーム、複数フレーム等)で設定してもよい。

１００画像符号化装置，１１２制御情報生成部，１１３適応フィルタ処理部，１３２ブロック情報生成部，１４１処理対象スライス領域特定部，１４２ ALFブロック設定部，１４３処理対象ALFブロック領域特定部，１４４判定部，１４５フィルタブロックフラグ生成部，１７１制御部，１７２適応フィルタ，１７３選択部，１８１符号化部，１８２符号化データ保持部，１８３制御情報保持部，１８４制御情報付加部，２００画像復号装置，２０２可逆復号部，２０７適応フィルタ処理部，２２１制御情報抽出部，２２２復号部，２２３復号データ保持部，２５１制御部，２６１ヘッダ解析部，２８１制御情報付加部，２９１フラグ付加部，２９２ブロックサイズ付加部，２９３フィルタ係数付加部，３０１制御情報抽出部，３１１フラグ抽出部，３１２ブロックサイズ抽出部，３１３フィルタ係数抽出部

Claims

画像の複数スライスに対応する、スライス単位でフィルタ処理を制御するフィルタ制御情報を含むビットストリームから、前記フィルタ制御情報を取得する取得部と、
前記ビットストリームを復号して画像を生成する復号部と、
前記取得部により取得されたフィルタ制御情報を用いて、前記復号部により生成された画像に対するフィルタ処理を制御する制御部と
を備える画像処理装置。
前記フィルタ制御情報は、前記ビットストリームのスライスヘッダに含まれる
請求項１に記載の画像処理装置。
前記フィルタ制御情報は、フレームにおいて最初に復号されるスライスのスライスヘッダとして前記ビットストリームに含まれる
請求項２に記載の画像処理装置。
前記復号部により生成された画像に対して、前記フィルタ処理を適用するフィルタ部をさらに備える
請求項１に記載の画像処理装置。
前記フィルタ処理は、フレーム単位またはブロック単位でフィルタ係数を伝送するアダプティブループフィルタである
請求項４に記載の画像処理装置。
画像の複数スライスに対応する、スライス単位でフィルタ処理を制御するフィルタ制御情報を含むビットストリームから、前記フィルタ制御情報を取得し、
前記ビットストリームを復号して画像を生成し、
取得されたフィルタ制御情報を用いて、生成された画像に対するフィルタ処理を制御する
画像処理方法。
コンピュータを、
画像の複数スライスに対応する、スライス単位でフィルタ処理を制御するフィルタ制御情報を含むビットストリームから、前記フィルタ制御情報を取得する取得部と、
前記ビットストリームを復号して画像を生成する復号部と、
前記取得部により取得されたフィルタ制御情報を用いて、前記復号部により生成された画像に対するフィルタ処理を制御する制御部と
して機能させるプログラム。