JP2017127008A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】符号化または復号における処理効率を向上させることができるようにする画像処理装置、方法及びプログラム並びに記録媒体を提供する。
【解決手段】符号化側でLCU（最大符号化単位）１１５のタイプＥ０（エッジオフセット）とその係数が決定される。タイプＥ０の係数は、すでにLCU１１１のときに復号側へ送られて、復号側の適応オフセットフィルタが有するＥＯ用バッファに格納されている。したがって、復号側において、LCU１１５については、タイプＥ０の係数を送ることなしに、ＥＯ用バッファからコピーして用いる。フレームの先頭で一度に伝送していた適応オフセットフィルタのパラメータがLCU毎にLCUの先頭で逐次送られる。
【選択図】図９

Description

本開示は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、符号化または復号における処理効率を向上させることができるようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）などがある。

そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献１参照）。

現時点におけるHEVCのドラフトでは、インループフィルタとして、デブロッキングフィルタ、適応ループフィルタ、および適応オフセットフィルタ(Sample Adaptive Offset:SAO)が採用されている。

HEVCにおいて、適応ループフィルタのパラメータは、１フレーム分まとめて復号側に送られていた。これに対して、非特許文献２において、適応ループフィルタの処理を、最大の符号化単位であるLCU単位で行うという提案が行われている。

Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan, "Working Draft 4 of High-Efficiency Video Coding ", JCTVC-F803, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011 A.Fuldseth,Cisco Systems,G.bjontegaard,Cisco Systems,"Improved ALF with low latency and reduced complexity",JCTVC-G499,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH,21-30 November,2011

一方、HEVCにおいて、適応オフセットフィルタは、適応オフセットフィルタ用に独自に定義されたquad-treeという領域に対して適応されている。そして、適応オフセットフィルタのパラメータは、sao_param()において１フレーム分まとめて定義されている。

このsao_param()は、符号化ストリームにおいて、データ（ビデオ情報）の前に配置される。したがって、符号化側においては、適応オフセットフィルタ処理が終了して、適応オフセットフィルタの係数が決まり、sao_param()が作成されるまで、１フレーム分のデータをバッファに保持しておく必要があった。

本開示は、このような状況に鑑みてなされたものであり、符号化または復号における処理効率を向上させることができる。

本開示の一側面の画像処理装置は、画像に対して行われるフィルタのパラメータを最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定する設定部と、前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記画像に対してフィルタを最大符号化単位で行うフィルタ部と、前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを符号化処理して、符号化ストリームを生成する符号化部とを備える。

前記フィルタのパラメータは、適応オフセットフィルタのタイプとオフセット値とを含むことができる。

ローカル復号された画像にデブロッキングフィルタを行うデブロッキングフィルタ部をさらに備え、前記フィルタ部は、前記デブロッキングフィルタ部によりデブロッキングフィルタが行われた画像にフィルタを行うことができる。

前記設定部により最大符号化単位の先頭に設定された適応オフセットフィルタのパラメータを、前記符号化部により生成された符号化ストリームとして伝送する伝送部をさらに備えることができる。

前記設定部は、Current最大符号化単位よりも前にフィルタが行われたPrevious最大符号化単位のパラメータとCurrent最大符号化単位のパラメータとが同じであることを識別する識別データを設定し、前記伝送部は、前記設定部により設定された識別データと、前記符号化部により生成された符号化ストリームとを伝送することができる。

前記設定部は、Current最大符号化単位よりも前にフィルタが行われたPrevious最大符号化単位のパラメータを用いるかを識別する識別データを設定し、前記伝送部は、前記設定部により設定された識別データと、前記符号化部により生成された符号化ストリームとを伝送することができる。

前記設定部は、Current最大符号化単位よりも前にフィルタが行われたPrevious最大符号化単位のパラメータをコピーして用いるかを識別する識別データを設定し、前記伝送部は、前記設定部により設定された識別データと、前記符号化部により生成された符号化ストリームとを伝送することができる。

前記設定部は、Current最大符号化単位よりも前にフィルタが行われたPrevious最大符号化単位を対象として、Current最大符号化単位のパラメータと同じ最大符号化単位を指定する識別データを設定し、前記伝送部は、前記設定部により設定された識別データと、前記符号化部により生成された符号化ストリームとを伝送することができる。

前記伝送部は、前記設定部により設定されたフィルタのパラメータを、最大符号化単位の先頭で前記符号化ストリームとして伝送することができる。

前記符号化部は、階層構造を有する単位で符号化処理することができる。

前記画像は、デブロックフィルタ処理が行われた画像である。

本開示の一側面の画像処理方法は、画像処理装置が、画像に対して行われるフィルタのパラメータを最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定し、最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記画像に対してフィルタを最大符号化単位で行い、最大符号化単位の先頭に設定されたフィルタのパラメータを符号化処理して、符号化ストリームを生成する。

本開示の一側面のプログラムは、画像に対して行われるフィルタのパラメータを最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定する設定部と、前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記画像に対してフィルタを最大符号化単位で行うフィルタ部と、前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを符号化処理して、符号化ストリームを生成する符号化部として、コンピュータを機能させる。

本開示の一側面においては、画像に対して行われるフィルタのパラメータが最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定され、最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記画像に対してフィルタが最大符号化単位で行われる。そして、最大符号化単位の先頭に設定されたフィルタのパラメータが符号化処理されて、符号化ストリームが生成される。

なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。

本開示の一側面によれば、画像を符号化することができる。特に、処理効率を向上させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 HEVC方式における quad-tree構造を説明する図である。 バンドオフセットを説明する図である。 エッジオフセットを説明する図である。 エッジオフセットの規則一覧表を示す図である。 本技術の概要を説明する図である。 本技術の効果を説明する図である。 sao_param()のシンタックスの例を示す図である。 sao_type_idxを説明する図である。 本開示を適用した適応オフセットフィルタの構成例を示すブロック図である。 適応オフセットフィルタ処理を説明するフローチャートである。 係数の書き込み処理を説明するフローチャートである。 係数の書き込み処理を説明する図である。 本開示を適用した適応オフセットフィルタの構成例を示すブロック図である。 適応オフセットフィルタ処理を説明するフローチャートである。 係数の読み出し処理を説明するフローチャートである。 係数の読み出し処理を説明する図である。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 階層画像符号化方式の例を示す図である。 本技術を適用した階層画像符号化装置の主な構成例を示す図である。 本技術を適用した階層画像復号装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．装置および動作の概要
２．従来の手法の説明
３．第１の実施の形態（画像処理装置）
４．第２の実施の形態（多視点画像符号化・多視点画像復号装置）
５．第３の実施の形態（階層画像符号化・階層画像復号装置）
６．第４の実施の形態（コンピュータ）
７．応用例
８．スケーラブル符号化の応用例

＜１．装置および動作の概要＞
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

図１に示される画像符号化装置１１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、HEVC（High Efficiency Video Coding）方式などが用いられる。HEVC方式においては、符号化単位CU（Coding Unit）、最大符号化単位LCU、最小符号化単位SCU、予測単位PU(Prediction Unit)、変換単位TU(Transform Unit)が規定されており、階層構造を有する単位で符号化／復号が行われる。

図１の例において、画像符号化装置１１は、A/D（Analog / Digital）変換部２１、画面並べ替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、および蓄積バッファ２７を有する。また、画像符号化装置１１は、逆量子化部２８、逆直交変換部２９、演算部３０、デブロッキングフィルタ３１、フレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、予測画像選択部３６、およびレート制御部３７を有する。

さらに、画像符号化装置１１は、デブロッキングフィルタ３１とフレームメモリ３２との間に、適応オフセットフィルタ４１および適応ループフィルタ４２を有する。

A/D変換部２１は、入力された画像データをA/D変換し、画面並べ替えバッファ２２に出力し、記憶させる。

画面並べ替えバッファ２２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、演算部２３に供給する。また、画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、イントラ予測部３４および動き予測・補償部３５にも供給する。

演算部２３は、画面並べ替えバッファ２２から読み出された画像から、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を減算し、その差分情報を直交変換部２４に出力する。

例えば、イントラ符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、イントラ予測部３４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、動き予測・補償部３５から供給される予測画像を減算する。

直交変換部２４は、演算部２３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２５に供給する。

量子化部２５は、直交変換部２４が出力する変換係数を量子化する。量子化部２５は、量子化された変換係数を可逆符号化部２６に供給する。

可逆符号化部２６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。

可逆符号化部２６は、イントラ予測モードを示す情報などのパラメータをイントラ予測部３４から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３５から取得する。

可逆符号化部２６は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタクス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２６は、符号化して得られた符号化データを蓄積バッファ２７に供給して蓄積させる。

例えば、可逆符号化部２６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ２７は、可逆符号化部２６から供給された符号化ストリーム（データ）を、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。すなわち、蓄積バッファ２７は、符号化ストリームを伝送する伝送部でもある。

また、量子化部２５において量子化された変換係数は、逆量子化部２８にも供給される。逆量子化部２８は、その量子化された変換係数を、量子化部２５による量子化に対応する方法で逆量子化する。逆量子化部２８は、得られた変換係数を、逆直交変換部２９に供給する。

逆直交変換部２９は、供給された変換係数を、直交変換部２４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部３０に供給される。

演算部３０は、逆直交変換部２９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。

例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部３０は、その差分情報にイントラ予測部３４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部３０は、その差分情報に動き予測・補償部３５から供給される予測画像を加算する。

その加算結果である復号画像は、デブロッキングフィルタ３１およびフレームメモリ３２に供給される。

デブロッキングフィルタ３１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロッキングフィルタ３１は、そのフィルタ処理結果を適応オフセットフィルタ４１に供給する。

適応オフセットフィルタ４１は、デブロッキングフィルタ３１によるフィルタ後の画像に対して、主にリンギングを除去するオフセットフィルタ(SAO: Sample adaptive offset)処理を行う。

オフセットフィルタの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセットフィルタ４１は、最大の符号化単位であるLCU毎にオフセットフィルタの種類（タイプ）とオフセット（値）を求め、それらを用いて、デブロッキングフィルタ３１によるフィルタ後の画像に対して、フィルタ処理を施す。オフセットフィルタ４１においては、上述したオフセットがフィルタの係数である。以下、適宜、オフセットを係数とも称する。

なお、適応オフセットフィルタ４１の詳細は、図１３に後述するが、適応オフセットフィルタ４１は、係数を格納するバッファを有している。適応オフセットフィルタ４１は、LCU毎に求められた係数と同じ係数がバッファに格納されている場合、その旨を示すフラグ、バッファにおける係数の格納位置を示すインデックス、およびタイプを示す情報を、可逆符号化部２６に供給し、符号化させる。

一方、適応オフセットフィルタ４１は、LCU毎に求められた係数と同じ係数がバッファに格納されていない場合、その旨を示すフラグ、係数、およびタイプを示す情報を、可逆符号化部２６に供給し、符号化させる。

適応オフセットフィルタ４１は、フィルタ処理後の画像を、適応ループフィルタ４２に供給する。

適応ループフィルタ４２は、例えば、最大の符号化単位であるLCU毎に、適応ループフィルタ（ALF:AdaptiveLoop Filter)処理を行う。適応ループフィルタ４２においては、フィルタとして、例えば、２次元のウィナーフィルタ（Wiener Filter）が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。

適応ループフィルタ４２は、適応オフセットフィルタ４１によるフィルタ後の画像に対して、フィルタ係数を用いて、LCU毎にフィルタ処理を行い、フィルタ処理結果をフレームメモリ３２に供給する。

なお、本明細書において詳細な説明は省略するが、画像符号化装置１１において、フィルタ係数は、LCU毎に、画面並べ替えバッファ１２からの原画像との残差を最小とするよう適応ループフィルタ４２により算出されて用いられる。算出されたフィルタ係数は、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。また、本明細書では、LUC毎に処理を行う例を記載するが、適応ループフィルタ４２の処理単位は、これに限定されない。

フレームメモリ３２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部３３を介してイントラ予測部３４または動き予測・補償部３５に出力する。

例えば、イントラ符号化が行われる画像の場合、フレームメモリ３２は、参照画像を、選択部３３を介してイントラ予測部３４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ３２は、参照画像を、選択部３３を介して動き予測・補償部３５に供給する。

選択部３３は、フレームメモリ３２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部３４に供給する。また、選択部３３は、フレームメモリ３２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部３５に供給する。

イントラ予測部３４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部３４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。

イントラ予測部３４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部３４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。

また、上述したように、イントラ予測部３４は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部２６に供給する。

動き予測・補償部３５は、インター符号化が行われる画像について、画面並べ替えバッファ２２から供給される入力画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用いて、動き予測を行う。また、動き予測・補償部３５は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。

動き予測・補償部３５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部３５は、生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。

また、動き予測・補償部３５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部２６に供給する。

予測画像選択部３６は、イントラ符号化を行う画像の場合、イントラ予測部３４の出力を演算部２３や演算部３０に供給し、インター符号化を行う画像の場合、動き予測・補償部３５の出力を演算部２３や演算部３０に供給する。

レート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。

［画像符号化装置の動作］
図２を参照して、以上のような画像符号化装置１１により実行される符号化処理の流れについて説明する。

ステップＳ１１において、A/D変換部２１は入力された画像をA/D変換する。ステップＳ１２において、画面並べ替えバッファ２２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

画面並べ替えバッファ２２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ３２から読み出され、選択部３３を介してイントラ予測部３４に供給される。

これらの画像に基づいて、ステップＳ１３において、イントラ予測部３４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロッキングフィルタ３１によりフィルタされていない画素が用いられる。

この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。

画面並べ替えバッファ２２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ３２から読み出され、選択部３３を介して動き予測・補償部３５に供給される。これらの画像に基づいて、ステップＳ１４において、動き予測・補償部３５は、動き予測・補償処理を行う。

この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。

ステップＳ１５において、予測画像選択部３６は、イントラ予測部３４および動き予測・補償部３５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部３６は、決定した最適予測モードの予測画像を選択し、演算部２３，３０に供給する。この予測画像は、後述するステップＳ１６，Ｓ２１の演算に利用される。

なお、この予測画像の選択情報は、イントラ予測部３４または動き予測・補償部３５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部３４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部２６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部３５は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部２６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。

ステップＳ１６において、演算部２３は、ステップＳ１２で並び替えられた画像と、ステップＳ１５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部３５から、イントラ予測する場合はイントラ予測部３４から、それぞれ予測画像選択部３６を介して演算部２３に供給される。

差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１７において、直交変換部２４は演算部２３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

ステップＳ１８において、量子化部２５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２８の処理で説明されるように、レートが制御される。

以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１９において、逆量子化部２８は、量子化部２５により量子化された変換係数を量子化部２５の特性に対応する特性で逆量子化する。ステップＳ２０において、逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を直交変換部２４の特性に対応する特性で逆直交変換する。

ステップＳ２１において、演算部３０は、予測画像選択部３６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部２３への入力に対応する画像）を生成する。

ステップＳ２２においてデブロッキングフィルタ３１は、演算部３０より出力された画像に対して、デブロッキングフィルタ処理を行う。これによりブロック歪みが除去される。デブロッキングフィルタ３１からのフィルタ後の画像は、適応オフセットフィルタ４１に出力される。

ステップＳ２３において、適応オフセットフィルタ４１は、適応オフセットフィルタ処理を行う。この処理により、最大の符号化単位であるLCU毎にオフセットフィルタのタイプと係数が求められ、それらを用いて、デブロッキングフィルタ３１によるフィルタ後の画像に対して、フィルタ処理が施される。なお、この適応オフセットフィルタ処理の詳細は、図１４を参照して後述される。

そして、LCU毎に求められた係数と同じ係数がバッファに格納されている場合、その旨を示すフラグ、バッファにおける格納位置を示すインデックス、およびタイプを示す情報が、可逆符号化部２６に供給される。一方、LCU毎に求められた係数と同じ係数がバッファに格納されていない場合、その旨を示すフラグ、係数、およびタイプを示す情報が、可逆符号化部２６に供給される。

これらの可逆符号化部２６に供給された各情報（以下、適応オフセットパラメータと総称する）は、後述するステップＳ２６で符号化される。

ステップＳ２４において、適応ループフィルタ４２は、適応オフセットフィルタ４１によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。例えば、適応オフセットフィルタ４１によるフィルタ後の画像に対して、フィルタ係数を用いて、LCU毎に、画像に対してフィルタ処理が行われ、フィルタ処理結果が、フレームメモリ３２に供給される。

以上のように、適応オフセットフィルタ４１と適応ループフィルタ４２の処理単位を合わせることにより、処理を効率的に行うことができる。

ステップＳ２５においてフレームメモリ３２は、フィルタリングされた画像を記憶する。なお、フレームメモリ３２には、デブロッキングフィルタ３１、適応オフセットフィルタ４１、および適応ループフィルタ４２によりフィルタされていない画像も演算部３０から供給され、記憶される。

一方、上述したステップＳ１８において量子化された変換係数は、可逆符号化部２６にも供給される。ステップＳ２６において、可逆符号化部２６は、量子化部２５より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。

ステップＳ２７において蓄積バッファ２７は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ２７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ２８においてレート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。

ステップＳ２８の処理が終了すると、符号化処理が終了される。

［画像復号装置の構成例］
図３は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図３に示される画像復号装置５１は、図１の画像符号化装置１１に対応する復号装置である。

画像符号化装置１１より符号化された符号化ストリーム（データ）は、所定の伝送路を介して、この画像符号化装置１１に対応する画像復号装置５１に伝送され、復号されるものとする。

図３に示されるように、画像復号装置５１は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、デブロッキングフィルタ６６、画面並べ替えバッファ６７、およびD/A変換部６８を有する。また、画像復号装置５１は、フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３を有する。

さらに、画像復号装置５１は、デブロッキングフィルタ６６と、画面並べ替えバッファ６７およびフレームメモリ６９との間に、適応オフセットフィルタ８１および適応ループフィルタ８２を有する。

蓄積バッファ６１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ６１は、伝送されてきた符号化データを受け取って、蓄積する。この符号化データは、画像符号化装置１１により符号化されたものである。可逆復号部６２は、蓄積バッファ６１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部２６の符号化方式に対応する方式で復号する。

可逆復号部６２は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部７１に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部７２に供給する。また、可逆復号部６２は、復号された適応オフセットパラメータ（係数のバッファへの格納の有無を示すフラグ、係数、タイプを示す情報や、バッファの係数格納位置を示すインデックスなど）を、適応オフセットフィルタ８１に供給する。

逆量子化部６３は、可逆復号部６２により復号されて得られた係数データ（量子化係数）を、図１の量子化部２５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部６３は、画像符号化装置１１から供給された量子化パラメータを用いて、図１の逆量子化部２８と同様の方法で量子化係数の逆量子化を行う。

逆量子化部６３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部６４に供給する。逆直交変換部６４は、図１の直交変換部２４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１１において直交変換される前の残差データに対応する復号残差データを得る。

逆直交変換されて得られた復号残差データは、演算部６５に供給される。また、演算部６５には、選択部７３を介して、イントラ予測部７１若しくは動き予測・補償部７２から予測画像が供給される。

演算部６５は、その復号残差データと予測画像とを加算し、画像符号化装置１１の演算部２３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部６５は、その復号画像データをデブロッキングフィルタ６６に供給する。

デブロッキングフィルタ６６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロッキングフィルタ６６は、そのフィルタ処理結果を適応オフセットフィルタ８１に供給する。

適応オフセットフィルタ８１は、デブロッキングフィルタ６６によるフィルタ後の画像に対して、主にリンギングを除去するオフセットフィルタ(SAO)処理を行う。

適応オフセットフィルタ８１は、可逆復号部６２から供給される適応オフセットパラメータを用いて、最大の符号化単位であるLCU毎に、デブロッキングフィルタ６６によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ８１は、フィルタ処理後の画像を、適応ループフィルタ８２に供給する。

なお、適応オフセットフィルタ８１の詳細は、図１２以降に後述するが、適応オフセットフィルタ８１は、係数を格納するバッファを有している。適応オフセットフィルタ８１は、可逆復号部６２からのフラグが係数のバッファへの格納の有を示す場合、タイプを示す情報およびバッファの係数格納位置を示すインデックスを参照してバッファから係数を読み出し、読み出した係数を用いて、フィルタ処理を施す。

一方、適応オフセットフィルタ８１は、可逆復号部６２からのフラグが係数のバッファへの格納の無を示す場合、可逆復号部６２から取得した係数を用いて、フィルタ処理を施す。その後、適応オフセットフィルタ８１は、取得した係数をバッファに書き込む。

適応ループフィルタ８２は、図１の画像符号化装置１１の適応ループフィルタ４２と基本的に同様に構成され、最大の符号化単位であるLCU毎に、適応ループフィルタ処理を行う。適応ループフィルタ８２は、適応オフセットフィルタ８１によるフィルタ後の画像に対して、フィルタ係数を用いて、LCU毎にフィルタ処理を行い、フィルタ処理結果を、フレームメモリ６９および画面並べ替えバッファ６７に供給する。

なお、本明細書において詳細な説明は省略するが、画像復号装置５１において、フィルタ係数は、画像符号化装置１１の適応ループフィルタ４２によりLUC毎に算出され、符号化されて送られてきたものが可逆復号部６２により復号されて用いられる。

画面並べ替えバッファ６７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ２２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部６８は、画面並べ替えバッファ６７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

適応ループフィルタ８２の出力は、さらに、フレームメモリ６９に供給される。

フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３は、画像符号化装置１１のフレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、および予測画像選択部３６にそれぞれ対応する。

選択部７０は、インター処理される画像と参照される画像をフレームメモリ６９から読み出し、動き予測・補償部７２に供給する。また、選択部７０は、イントラ予測に用いられる画像をフレームメモリ６９から読み出し、イントラ予測部７１に供給する。

イントラ予測部７１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部６２から適宜供給される。イントラ予測部７１は、この情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。

動き予測・補償部７２には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部６２から供給される。

動き予測・補償部７２は、可逆復号部６２から供給されるそれらの情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。

選択部７３は、動き予測・補償部７２またはイントラ予測部７１により生成された予測画像を選択し、演算部６５に供給する。

［画像復号装置の動作］
図４を参照して、以上のような画像復号装置５１により実行される復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ５１において、蓄積バッファ６１は、伝送されてきた符号化ストリーム（データ）を受け取り、蓄積する。ステップＳ５２において、可逆復号部６２は、蓄積バッファ６１から供給される符号化データを復号する。図１の可逆符号化部２６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。

ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）などのパラメータの情報も復号される。

予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部７１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部７２に供給される。また、適応オフセットパラメータも復号され、適応オフセットフィルタ８１に供給される。

ステップＳ５３において、イントラ予測部７１または動き予測・補償部７２は、可逆復号部６２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。

すなわち、可逆復号部６２からイントラ予測モード情報が供給された場合、イントラ予測部７１はイントラ予測モードのイントラ予測画像を生成する。可逆復号部６２からインター予測モード情報が供給された場合、動き予測・補償部７２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。

この処理により、イントラ予測部７１により生成された予測画像（イントラ予測画像）、または動き予測・補償部７２により生成された予測画像（インター予測画像）が選択部７３に供給される。

ステップＳ５４において、選択部７３は予測画像を選択する。すなわち、イントラ予測部７１により生成された予測画像、または動き予測・補償部７２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部６５に供給され、後述するステップＳ５７において逆直交変換部６４の出力と加算される。

上述したステップＳ５２において、可逆復号部６２により復号された変換係数は、逆量子化部６３にも供給される。ステップＳ５５において、逆量子化部６３は可逆復号部６２により復号された変換係数を、図１の量子化部２５の特性に対応する特性で逆量子化する。

ステップＳ５６において逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を、図１の直交変換部２４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部２４の入力（演算部２３の出力）に対応する差分情報が復号されたことになる。

ステップＳ５７において、演算部６５は、上述したステップＳ５４の処理で選択され、選択部７３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。

ステップＳ５８においてデブロッキングフィルタ６６は、演算部６５より出力された画像に対して、デブロッキングフィルタ処理を行う。これによりブロック歪みが除去される。デブロッキングフィルタ６６からの復号画像は、適応オフセットフィルタ８１に出力される。

ステップＳ５９において、適応オフセットフィルタ８１は、適応オフセットフィルタ処理を行う。適応オフセットフィルタ８１は、可逆復号部６２からの適応オフセットパラメータを用いて、デブロッキングフィルタ６６によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ８１は、フィルタ処理後の画像を、適応ループフィルタ８２に供給する。

なお、適応オフセットフィルタ８１の詳細は、図１２以降に後述するが、適応オフセットフィルタ８１は、係数を格納するバッファを有している。可逆復号部６２からのフラグが係数のバッファへの格納の有を示す場合、タイプを示す情報およびバッファの係数格納位置を示すインデックスを参照して、バッファから係数が読み出され、読み出された係数を用いて、フィルタ処理が施される。

一方、可逆復号部６２からのフラグが係数のバッファへの格納の無を示す場合、可逆復号部６２から取得した係数を用いて、フィルタ処理が施される。その後、取得した係数がバッファに書き込まれる。

ステップＳ６０において、適応ループフィルタ８２は、適応オフセットフィルタ８１によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ８２は、最大の符号化単位であるLCU毎に計算されたフィルタ係数を用いて、入力画像に対して、LCU毎にフィルタ処理を行い、フィルタ処理結果を、画面並べ替えバッファ６７およびフレームメモリ６９に供給する。

ステップＳ６１においてフレームメモリ６９は、フィルタリングされた画像を記憶する。

ステップＳ６２において、画面並べ替えバッファ６７は、適応ループフィルタ８２後の画像の並べ替えを行う。すなわち画像符号化装置１１の画面並べ替えバッファ２２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ６３において、D/A変換部６８は、画面並べ替えバッファ６７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

ステップＳ６３の処理が終了すると、復号処理が終了される。

＜従来の手法の説明＞
［HEVC方式における適応オフセット処理］
次に、HEVC方式における適応オフセットフィルタについて説明する。HEVC方式においては、Sample Adaptive Offset方式が採用されている。

符号化側において、適応オフセットフィルタ４１は、デブロックフィルタ（DB）３１と、適応ループフィルタ(ALF)４２の間に設けられている。復号側でも同様に、適応オフセットフィルタ８１は、デブロックフィルタ（DB）６６と、適応ループフィルタ(ALF)８２の間に設けられている。

適応オフセットのタイプ（種類）としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの領域に、上述したどの適応オフセットのタイプにより符号化するかを選択することができる。

この選択情報が、PQAO Info.として、符号化部（Entropy Coding）により符号化され、ビットストリームが生成され、生成されたビットストリームが復号側に送信される。この方法を用いることで、符号化効率を向上させることができる。

ここで、図５を参照して、quad-tree構造について説明する。

例えば、符号化側においては、図５のＡ１に示されるように、領域０が分割されていない状態を示すLevel-０（分割深度０）のコスト関数値Ｊ０が計算される。また、領域０が４つの領域１乃至４に分割された状態を示すLevel-１（分割深度０）のコスト関数値Ｊ１，Ｊ２，Ｊ３，Ｊ４が計算される。

そして、Ａ２に示されるように、コスト関数値が比較され、Ｊ０＞（Ｊ１＋Ｊ２＋Ｊ３＋Ｊ４）により、Level-１の分割領域(Partitions)が選択される。

同様にして、Ａ３に示されるように、領域０が１６つの領域５乃至２０に分割された状態を示すLevel-２（分割深度２）のコスト関数値Ｊ５乃至Ｊ２０が計算される。

そして、Ａ４に示されるように、コスト関数値がそれぞれ比較され、Ｊ１＜（Ｊ５＋Ｊ６＋Ｊ９＋Ｊ１０）により、領域１においては、Level-１の分割領域(Partitions)が選択される。Ｊ２＞（Ｊ７＋Ｊ８＋Ｊ１１＋Ｊ１２）により、領域２においては、Level-２の分割領域(Partitions)が選択される。Ｊ３＞（Ｊ１３＋Ｊ１４＋Ｊ１７＋Ｊ１８）により、領域３においては、Level-２の分割領域(Partitions)が選択される。Ｊ４＞（Ｊ１５＋Ｊ１６＋Ｊ１９＋Ｊ２０）により、領域４においては、Level-１の分割領域(Partitions)が選択される。

その結果、quad-tree構造におけるＡ４に示される最終的なquad-tree領域（Partitions）が決定される。そして、quad-tree構造の決定された領域毎に、２種類のバンドオフセット、６種類のエッジオフセット、およびオフセットなしのすべてのタイプについてコスト関数値が算出され、どのオフセットにより符号化されるのかが決定される。

例えば、図５の例においては、白矢印に示されるように、領域１に対しては、ＥＯ（４）、すなわち、エッジオフセットのうちの４種類目が決定されている。領域７に対しては、ＯＦＦ、すなわち、オフセットなしが決定されており、領域８に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１１および１２に対しては、ＯＦＦ、すなわち、オフセットなしが決定されている。

また、領域１３に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されており、領域１４に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１７に対しては、ＢＯ（２）、すなわち、バンドオフセットのうちの２種類目が決定されており、領域１８に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されている。領域４に対しては、ＥＯ（１）、すなわち、エッジオフセットのうちの１種類目が決定されている。

次に、図６を参照して、バンドオフセットの詳細について説明する。

バンドオフセットにおいては、図６の例においては、１つの目盛りが１バンド＝８画素を表しており、輝度画素値が３２バンドに分けられて、それぞれのバンドが独立にオフセット値を有する。

すなわち、図６の例においては、０乃至２５５画素（３２バンド）のうち、中央の１６バンドが、第１グループに分けられ、両脇の８バンドずつが第２グループに分けられている。

そして、第１グループおよび第２グループのどちらか一方のみのオフセットが符号化され、復号側に送られる。一般的に、１つの領域において、白黒はっきりしているか、微妙な色合いがあるかのどちらかであることが多く、第１グループと第２グループ両方に全てに画素があるのは稀である。このため、一方のみのオフセットしか送らないことで、それぞれのquad-tree領域において、含まれていない値の画素値が伝送されて符号化量が増えるのが、抑制される。

なお、入力信号が放送によるものである場合、輝度信号は、16,235、色差信号は、16,240の範囲に制限される。このとき、図６の下段に示されるbroadcast legalが適用され、×印が示されている、両脇の２バンドずつに対するオフセット値は伝送されない。

次に、図７を参照して、エッジオフセットの詳細について説明する。

エッジオフセットにおいては、当該画素値と、当該画素値に隣接する隣接画素値の比較が行われ、これに対応したカテゴリに対して、オフセット値が伝送されることになる。

エッジオフセットには、図７のＡ乃至図７のＤに示される４つの１次元パターンと、図７のＥおよび図７のＦに示される２つの２次元パターンが存在し、それぞれ、図７に示されるカテゴリでオフセットが伝送される。

図７のＡは、当該画素Ｃに対して、隣接画素が左右の１次元に配置されている、すなわち、図７のＡのパターンに対して０度をなしている1-D,0-degreeパターンを表している。図７のＢは、当該画素Ｃに対して、隣接画素が上下の１次元に配置されている、すなわち、図７のＡのパターンに対して９０度をなしている1-D,90-degreeパターンを表している。

図７のＣは、当該画素Ｃに対して、隣接画素が左上と右下の１次元に配置されている、すなわち、図７のＡのパターンに対して１３５度をなしている1-D,135-degreeパターンを表している。図７のＤは、当該画素Ｃに対して、隣接画素が右上と左下の１次元に配置されている、すなわち、図７のＡのパターンに対して４５度をなしている1-D,135-degreeパターンを表している。

図７のＥは、当該画素Ｃに対して、隣接画素が上下左右２次元に配置されている、すなわち、当該画素Ｃに対して交差している2-D,crossパターンを表している。図７のＦは、当該画素Ｃに対して、隣接画素が右上左下、左上右下の２次元に配置されている、すなわち、当該画素Ｃに対して斜めに交差している2-D,diagonalパターンを表している。

図８のＡは、１次元パターンの規則一覧表(Classification rule for 1-D patterns)を示している。図７のＡ乃至図７のＤのパターンは、図８のＡに示されるような５種類のカテゴリに分類され、そのカテゴリによりオフセットが算出されて、復号部に送られる。

当該画素Ｃの画素値が２つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より小さくて、他方の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より大きくて、他方の隣接画素の画素値と一致する場合、カテゴリ３に分類される。当該画素Ｃの画素値が２つの隣接画素の画素値より大きい場合、カテゴリ４に分類される。以上のどれでもない場合、カテゴリ０に分類される。

図８のＢは、２次元パターンの規則一覧表(Classification rule for 2-D patterns)を示している。図７のＥおよび図７のＦのパターンは、図８のＢに示されるような７種類のカテゴリに分類され、そのカテゴリによりオフセットが復号側に送られる。

当該画素Ｃの画素値が４つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値より大きい場合、カテゴリ３に分類される。

当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値より小さい場合、カテゴリ４に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値と一致する場合、カテゴリ５に分類される。当該画素Ｃの画素値が４つの隣接画素の画素値より大きい場合、カテゴリ６に分類される。以上のどれでもない場合、カテゴリ０に分類される。

以上のように、エッジオフセットにおいては、１次元パターンの方が、隣接２画素のみに対する比較を行えばよいので、演算量は低くなる。なお、high efficiency 符号化条件においては、low delay 符号化条件に比して、1bitオフセットの値を高精度にして、復号側へ送られる。

上述した適応オフセット処理は、HEVC方式において、quad-tree構造の決定された領域毎に行われる処理である。すなわち、適応オフセット処理においては、quad-tree構造という適応オフセットフィルタ用の領域を、独自に定義する必要があった。

また、適応オフセットフィルタのパラメータは、データ（ビデオ情報）の前に配置されるsao_param()において１フレーム分まとめて定義される。したがって、符号化側においては、適応オフセットフィルタ処理が終了して、適応オフセットフィルタの係数が決まり、sao_param()が作成されるまで、１フレーム分のデータをバッファに保持しておく必要があった。

以上のことを踏まえて、本実施においては、非特許文献２において提案されている適応ループフィルタのLCU単位での処理に合わせて、次の図９を参照して説明するように、適応オフセットフィルタが、最大の符号化単位であるLCU単位で行なわれる。

＜３．第１の実施の形態＞
［本技術の概要］
図９の例においては、LCU１１１乃至LCU１１７に分割された画像が示されている。符号化側の適応オフセットフィルタ４１は、最大の符号化単位であるLCU単位で適応オフセットフィルタのタイプと係数（オフセット値）を決定し、それを、各LCUの先頭のタイミングで復号側へそれぞれ送る。その際、すでに伝送されており、バッファに格納されている係数であれば、復号側の適応オフセットフィルタ８１は、その係数をバッファからコピーして用いる。

例えば、符号化側でLCU１１１のタイプＥ０（カテゴリ０のエッジオフセット）とその係数が決定され、LCU１１１のタイプと係数がLCU１１１の先頭で復号側に送られる。符号化側でLCU１１２のタイプＢ１（カテゴリ１のバンドオフセット）とその係数が決定され、LCU１１１のタイプと係数がLCU１１２の先頭で復号側に送られる。符号化側でLCU１１３のタイプＥ１（カテゴリ１のエッジオフセット）とその係数が決定され、LCU１１１のタイプと係数がLCU１１３の先頭で復号側に送られる。符号化側でLCU１１４のタイプＢ２（カテゴリ２のバンドオフセット）とその係数が決定され、LCU１１１のタイプと係数がLCU１１４の先頭で復号側に送られる。

復号側では、適応オフセットフィルタ８１が、ＥＯ（エッジオフセット）用バッファ１２１およびＢＯ（バンドオフセット）用バッファ１２２を有しており、LCU単位でフィルタ処理を施すとともに、送信されてきた各係数を格納している。

ここで、符号化側でLCU１１５のタイプＥ０（カテゴリ０のエッジオフセット）とその係数が決定される。タイプＥ０の係数は、すでにLCU１１１のときに復号側へ送られて、復号側の適応オフセットフィルタ８１が有するＥＯ（エッジオフセット）用バッファ１２１に格納されている。

したがって、復号側において、LCU１１５については、タイプＥ０の係数を送ることなしに、ＥＯ用バッファ１２１からコピーして用いる。なお、符号化側でLCU１１６については、適応オフセットなし（ｏｆｆ）が決定されるので、係数は用いられない。

さらに、符号化側でLCU１１７のタイプＥ０（カテゴリ０のエッジオフセット）とその係数が決定される。タイプＥ０の係数は、すでにLCU１１１のときに復号側へ送られて、復号側の適応オフセットフィルタ８１が有するＥＯ（エッジオフセット）用バッファ１２１に格納されている。

したがって、復号側において、LCU１１７については、タイプＥ０の係数を送ることなしに、ＥＯ用バッファ１２１からコピーして用いる。

以上のように、従来、フレームの先頭で一度に伝送していた適応オフセットフィルタのパラメータを、LCUの先頭で逐次送るようにしたので、従来、１フレーム分の容量のバッファが必要であったのに対して、LCU分の容量にバッファを削減することができる。

また、すでに使った係数を送らないようにすることで、LCU毎に送ってしまうことによって送る係数が多くなってしまうのを軽減することができる。

図１０は、適応オフセットフィルタの分割例を示している。図１０の左側は、従来のquad-treeベースの分割例であり、図１０の右側は、本技術のLCUベースでの分割例である。

quad-tree構造の場合、図１０の右側に示されるように、正方形の領域でしか分割することができなかった。これに対して、LCU単位の場合、図１０の右側に示されるように、凸型の領域や凹型の領域に分割することができる。

実際には、凸型の領域は、点線に示されるように、例えば、８×８のLCUと１６×１６のLCUで構成されているが、同じタイプで同じ係数が用いられていることを示している。同様に、凹型の領域は、点線に示されるように、例えば、８×８のLCUが３つで構成されているが、同じタイプで同じ係数が用いられていることを示している。

以上のように、LCU単位で領域分割することで、従来のquad-tree構造の場合より、分割の自由度が向上し、入力画像の特性に合わせた適応オフセットフィルタを行うことができるようになる。

さらに、適応オフセットフィルタと適応ループフィルタの処理単位を揃えるようにしたので、両方のフィルタ処理を同時や並行、パイプラインなどで行うことができ、処理効率をよくすることができる。

［シンタックスの例］
図１１は、画像符号化装置１１により生成されるsao_param()のシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。

図１１の例においては、第８行目のsample_adaptive_offset_flagは、適応オフセットフィルタを行うか否かのフラグである。第１０行目のsao_flag_cbは、１の場合、cbの適応オフセットフィルタを適用すること示すものである。第１２行目のsao_flag_crは、１の場合、crの適応オフセットフィルタを適用すること示すものである。なお、sample_adaptive_offset_flag、sao_flag_cb、sao_flag_crについては、本明細書では特に言及されない。

第１８行目のsao_type_idxは、オフセットタイプを指し示すものである。第２０行目のcopy_flagは、前のLCUのsao_type_idx（タイプ）とsao_offset（係数）をコピーするか否かを指定するものである。すなわち、copy_flagは、処理中のカレントLCUよりも前に適応オフセットフィルタが行われた前のLCUのパラメータ（タイプとオフセット）と、カレントLCUのパラメータとが同じであることを識別する識別データである。また換言するに、copy_flagは、カレントLCUのパラメータとして、前のLCUのパラメータを用いるかを識別する識別データである。さらに換言するに、copy_flagは、カレントLCUのパラメータとして、前のLCUのパラメータをコピーして用いるかを識別する識別データである。

第２２行目のcopy_idxは、コピーの対象となる、前（処理済み）のsao_type_idx（タイプ）とsao_offset（係数）を指し示すものである。すなわち、copy_idxは、前のLCUを対象として、カレントLCUのパラメータと同じLCU（コピーの対象）を指定する識別データである。

第２５行目のsao_offsetは、各カテゴリのオフセット（係数）を指し示すものである。

［タイプインデックスの例］
図１２は、sao_type_idxを説明する図である。図１２の例においては、左から順に、sao_type_idx、NumSaoCategory、およびEdge or Band typeが示されている。

sao_type_idxは、適応オフセットフィルタのタイプを示すインデックスである。NumSaoCategoryは、そのインデックスにおけるカテゴリ数を示す情報である。Edge or Band typeは、そのインデックスがどのようなエッジ（またはバンド）タイプであるかを示す情報である。なお、大きくわけて、sao_type_idxは、その値が１乃至４の場合、Edge Offset(EO)であり、sao_type_idxは、その値が５および６の場合、Band Offset(BO)である。

すなわち、sao_type_idxの値が０の場合、NumSaoCategoriy（カテゴリ数）は０で、適応オフセット処理が行われない。

sao_type_idxの値が１の場合、NumSaoCategoriy（カテゴリ数）は４で、エッジのタイプは、図７のＡに示した1D 0-degree edgeである。sao_type_idxの値が２の場合、NumSaoCategoriy（カテゴリ数）は４で、エッジのタイプは、図７のＢに示した1D 90-degree edgeである。sao_type_idxの値が３の場合、NumSaoCategoriy（カテゴリ数）は４で、エッジのタイプは、図７のＣに示した1D 135-degree edgeである。sao_type_idxの値が４の場合、NumSaoCategoriy（カテゴリ数）は４で、エッジのタイプは、図７のＤに示した1D 45-degree edgeである。

sao_type_idxの値が５の場合、NumSaoCategoriy（カテゴリ数）は１６で、バンドのタイプは、Center Band（図６の第１グループ）である。sao_type_idxの値が６の場合、NumSaoCategoriy（カテゴリ数）は１６で、バンドのタイプは、Side Band（図６の第２グループ）である。

なお、図７の例においては、エッジオフセットの２次元パターンは示されていないが、エッジオフセットの２次元パターンも、sao_type_idxの数を増やすことで対応可能である。

［適応オフセットフィルタの構成例］
図１３は、図１の画像符号化装置における適応オフセットフィルタおよび可逆符号化部の構成例を示すブロック図である。

図１３の例において、適応オフセットフィルタ４１は、タイプ・オフセット決定部２１１、オフセット処理部２１２、画像バッファ２１３、係数読み出し部２１４、およびオフセットバッファ２１５を含むように構成される。また、適応オフセットフィルタ４１は、パラメータ設定部２１６、および係数書き込み部２１７を含むように構成される。

可逆符号化部２６は、少なくとも、シンタクス書き込み部２２１を含むように構成される。

デブロッキングフィルタ３１からのデブロック後画素値は、タイプ・オフセット決定部２１１およびオフセット処理部２１２に入力される。タイプ・オフセット決定部２１１は、LCU単位で、適応オフセットフィルタのタイプとそのタイプのオフセットを決定する。その際、一例としては、LCU単位でコスト関数値が計算されて、コスト関数値が最小である、そのLCUに最適なタイプとオフセットが決定される。タイプ・オフセット決定部２１１は、決定したタイプを示すタイプインデックス（sao_type_idx）と、オフセット（sao_offset）を、オフセット処理部２１２および係数読み出し部２１４に供給する。

なお、オフセット（係数）は、エッジオフセットの場合、５係数であり、バンドオフセットの場合、９係数である。

オフセット処理部２１２は、デブロッキングフィルタ３１からのデブロック後画素値に対して、LCU毎に、タイプ・オフセット決定部２１１からのタイプインデックスが示すタイプとオフセットで、適応オフセットフィルタ処理を行う。オフセット処理部２１２は、オフセット処理後の画素値を、画像バッファ２１３に供給する。

画像バッファ２１３は、オフセット処理部２１２によるオフセット処理後の画素値を一旦格納し、所定のタイミングで、適応ループフィルタ４２に供給する。

係数読み出し部２１４は、オフセットバッファ２１５に、タイプ・オフセット決定部２１１からのオフセットに一致するものがないかを探す。なお、係数読み出し部２１４は、オフセットバッファ２１５からのタイプインデックスが示すタイプのバッファ（エッジオフセット用またはバンドオフセット用）を確認する。

係数読み出し部２１４は、一致するものがあった場合、オフセットバッファ２１５で、一致する係数が格納されている位置を示すコピーインデックス（copy_idx）を、タイプインデックスとともに、パラメータ設定部２１６に供給する。係数読み出し部２１４は、一致するものがなかった場合、オフセットとタイプインデックスとを、パラメータ設定部２１６に供給する。

オフセットバッファ２１５は、エッジオフセット用のオフセットを格納するバッファと、バンドオフセット用のオフセットを格納するバッファを有している。オフセットバッファ２１５は、例えば、FIFOに構成されている。

パラメータ設定部２１６は、タイプインデックスとともにコピーインデックスが供給された場合、コピーフラグ(copy_flag)をtureに設定する。パラメータ設定部２１６は、コピーフラグ、タイプインデックス、およびコピーインデックスを、適応オフセットパラメータとして、シンタクス書き込み部２２１に供給する。

パラメータ設定部２１６は、オフセットとともにコピーインデックスが供給された場合、コピーフラグ(copy_flag)をfalseに設定する。パラメータ設定部２１６は、コピーフラグ、タイプインデックス、およびオフセットを、適応オフセットパラメータとして、シンタクス書き込み部２２１に供給する。このとき、パラメータ設定部２１６は、タイプインデックス、およびオフセットを、係数書き込み部２１７にも供給し、オフセットをオフセットバッファ２１５の空き領域に書き込ませる。

係数書き込み部２１７は、オフセットバッファ２１５において、パラメータ設定部２１６からのタイプインデックスが示すタイプのバッファの空き領域のうち、先頭寄りの空き領域に、パラメータ設定部２１６からのオフセットを書き込む。なお、先頭寄りの空き領域とは、インデックスが最も小さい空き領域のことである。

シンタクス書き込み部２２１は、パラメータ設定部２１６からの適応オフセットパラメータを、LCU単位で、例えば、図１１を参照して上述したように、符号化ストリームのヘッダ部（sao_param）に書き込む。

［符号化側の適応オフセットフィルタ処理］
次に、図１４のフローチャートを参照して、図１３の適応オフセットフィルタ４１が行う適応オフセットフィルタ処理について説明する。なお、この適応オフセットフィルタ処理は、図２のステップＳ２３における処理である。

デブロッキングフィルタ３１からのデブロック後画素値は、タイプ・オフセット決定部２１１およびオフセット処理部２１２に入力される。タイプ・オフセット決定部２１１は、ステップＳ２１１において、LCU単位で、適応オフセットフィルタのタイプとそのタイプのオフセットを決定する。タイプ・オフセット決定部２１１は、決定したタイプを示すタイプインデックス（sao_type_idx）と、オフセット（sao_offset）を、係数読み出し部２１４に供給する。

係数読み出し部２１４は、オフセットバッファ２１５に、タイプ・オフセット決定部２１１からのオフセットに一致するものがないかを探す。係数読み出し部２１４は、ステップＳ２１２において、オフセットバッファ２１５内に、オフセットが一致するものがあるか否かを判定する。なお、係数読み出し部２１４は、オフセットバッファ２１５からのタイプインデックスが示すタイプのバッファ（エッジオフセット用またはバンドオフセット用）を確認する。

ステップＳ２１２において、オフセットが一致するものがないと判定された場合、係数読み出し部２１４は、オフセットとタイプインデックスとを、パラメータ設定部２１６に供給する。

これに対応して、パラメータ設定部２１６は、ステップＳ２１３において、コピーフラグ(copy_flag)をfalseに設定する。

パラメータ設定部２１６は、タイプインデックス、およびオフセットを、係数書き込み部２１７にも供給し、ステップＳ２１４において、係数（オフセット）の書き込み処理を行わせる。この係数の書き込み処理は、図１５を参照して後述される。

パラメータ設定部２１６は、ステップＳ２１７において、コピーフラグ、タイプインデックス、およびオフセットを、適応オフセットパラメータとして、シンタクス書き込み部２２１に供給し、適応オフセットパラメータを符号化させる。

これに対応して、シンタクス書き込み部２２１は、上述した図２のステップＳ２６において、パラメータ設定部２１６からの適応オフセットパラメータを、LCU単位で、符号化ストリームのヘッダ部（sao_param）に書き込む。

一方、ステップＳ２１２において、オフセットが一致するものがあると判定された場合、処理は、ステップＳ２１５に進む。

係数読み出し部２１４は、ステップＳ２１５において、オフセットバッファ２１５で、一致する係数が格納されている位置を示すコピーインデックス（copy_idx）を設定し、タイプインデックスとともに、パラメータ設定部２１６に供給する。

これに対応して、パラメータ設定部２１６は、ステップＳ２１６において、コピーフラグ(copy_flag)をtureに設定する。

そして、パラメータ設定部２１６は、コピーフラグ、タイプインデックス、およびコピーインデックスを、適応オフセットパラメータとして、シンタクス書き込み部２２１に供給し、適応オフセットパラメータを符号化させる。

これに対応して、シンタクス書き込み部２２１は、上述した図２のステップＳ２６において、パラメータ設定部２１６からの適応オフセットパラメータを、LCU単位で、符号化ストリームのヘッダ部（sao_param）に書き込む。

一方、ステップＳ２１１において決定されたタイプインデックス（sao_type_idx）と、オフセット（sao_offset）は、オフセット処理部２１２にも供給される。

ステップＳ２１８において、オフセット処理部２１２は、オフセット処理を行う。すなわち、オフセット処理部２１２は、デブロッキングフィルタ３１からのデブロック後画素値に対して、LCU毎に、タイプ・オフセット決定部２１１からのタイプインデックスが示すタイプとオフセットで、適応オフセットフィルタ処理を行う。適応オフセットフィルタ後の画素値は、画像バッファ２１３に格納され、所定のタイミングで、適応ループフィルタ４２に供給される。

［係数書き込み処理］
次に、図１５のフローチャートを参照して、図１４のステップＳ２１４の係数書き込み処理について説明する。なお、この係数書き込み処理の説明には、図１６が参照される。

オフセットバッファ２１５は、図１６に示されるように、エッジオフセット用の係数が格納されるＥＯバッファ２１５−１およびバンドオフセット用の係数が格納されるＢＯバッファ２１５−２の２つのバッファで構成されている。

ＥＯバッファ２１５−１およびＢＯバッファ２１５−２には、先頭寄り（左側）の位置から係数が格納されていく。ＥＯバッファ２１５−１およびＢＯバッファ２１５−２において、コピーインデックス(idx)が示されている位置は、すでに係数が書き込まれている領域であり、「空」が示されている位置は、空き領域である。

すなわち、ＥＯバッファ２１５−１において、コピーインデックス(idx)＝１で示される位置、コピーインデックス＝２で示される位置、コピーインデックス＝３で示される位置、コピーインデックス＝４で示される位置には、すでに係数が書き込まれている。

例えば、ＢＯバッファ２１５−２において、コピーインデックス(idx)＝１で示される位置、コピーインデックス＝２で示される位置には、すでに係数が書き込まれている。

係数書き込み部２１７は、図１５のステップＳ２３１において、パラメータ設定部２１６からのタイプインデックスが、ＥＯ（エッジオフセット）であるか否かを判定する。

ステップＳ２３１において、タイプインデックスが、ＥＯ（エッジオフセット）であると判定された場合、係数書き込み部２１７は、ステップＳ２３２において、ＥＯバッファ２１５−１を選択する。

ステップＳ２３１において、タイプインデックスが、ＥＯ（エッジオフセット）ではない、すなわち、バンドオフセットであると判定された場合、係数書き込み部２１７は、ステップＳ２３３において、ＢＯバッファ２１５−２を選択する。

ステップＳ２３４において、係数書き込み部２１７は、選択したバッファにおいて、先頭寄りの空いている領域に、sao_offset（オフセット）を書き込む。

例えば、図１６に示されるように、タイプインデックス(sao_type_idx)が５の場合、バンドオフセットであるので、ステップＳ２３３において、ＢＯバッファ２１５−２が選択される。そして、ステップＳ２３４において、コピーインデックス＝２で示される位置の右隣の位置に、タイプインデックスが５のsao_offset（オフセット）が書き込まれる。すなわち、コピーインデックス＝２で示される位置の右隣の位置が、空き領域のうち、先頭寄りの領域である。

［適応オフセットフィルタの構成例］
図１７は、図３の画像復号装置における可逆復号部および適応オフセットフィルタの構成例を示すブロック図である。

図１７の例において、可逆復号部６２は、少なくとも、シンタクス読み出し部２５１を含むように構成される。

適応オフセットフィルタ８１は、パラメータ受け取り部２６１、係数読み出し部２６２、オフセットバッファ２６３、係数書き込み部２６４、オフセット処理部２６５、および画像バッファ２６６を含むように構成される。

シンタクス読み出し部２５１は、符号化ストリームのヘッダ部からシンタクスを読み出し、そのうち、適応オフセットパラメータを、パラメータ受け取り部２６１に供給する。

なお、符号化側でも上述したように、適応オフセットパラメータは、コピーフラグがtureの場合、コピーフラグ、タイプインデックス、およびコピーインデックスで構成される。適応オフセットパラメータは、コピーフラグがfalseの場合、コピーフラグ、タイプインデックス、およびオフセットで構成される。

パラメータ受け取り部２６１は、シンタクス読み出し部２５１から供給された適応オフセットパラメータを受け取り、係数読み出し部２６２に供給する。

係数読み出し部２６２は、タイプインデックスが０であるか否かを判定する。タイプインデックスが０の場合、オフセット処理部２６５に、適応オフセットフィルタを行わせない。

係数読み出し部２６２は、コピーフラグがtureの場合、タイプインデックスが示すタイプ用のバッファのコピーインデックスが示す位置から、オフセットを読み出す。係数読み出し部２６２は、読み出したオフセットとタイプインデックスを、オフセット処理部２６５に供給する。

係数読み出し部２６２は、コピーフラグがfalseの場合、オフセットとタイプインデックスを、オフセット処理部２６５に供給する。このとき、係数読み出し部２６２は、オフセットとタイプインデックスを、係数書き込み部２６４にも供給し、オフセットバッファ２６３にオフセットを書き込ませる。

オフセットバッファ２６３は、図１３のオフセットバッファ２１５と同様に構成されている。すなわち、オフセットバッファ２６３は、エッジオフセット用のオフセットを格納するバッファと、バンドオフセット用のオフセットを格納するバッファを有している。オフセットバッファ２６３は、例えば、FIFOに構成されている。

係数書き込み部２６４は、図１３の係数書き込み部２１７と基本的に同様に構成されている。すなわち、係数書き込み部２６４は、オフセットバッファ２６３において、係数読み出し部２６２からのタイプインデックスが示すタイプのバッファの空き領域のうち、先頭寄りの空き領域に、係数読み出し部２６２からのオフセットを書き込む。

オフセット処理部２６５は、図１３のオフセット処理部２１２と基本的に同様に構成されている。すなわち、オフセット処理部２６５は、デブロッキングフィルタ６６からのデブロック後画素値に対して、LCU毎に、係数読み出し部２６２からのタイプインデックスが示すタイプとオフセットで、適応オフセットフィルタ処理を行う。オフセット処理部２６５は、オフセット処理後の画素値を、画像バッファ２６６に供給する。

なお、タイプインデックスが０の場合、オフセット処理部２６５は、デブロッキングフィルタ６６からのフィルタ済みの画素を、そのまま、画像バッファ２６６に供給する。すなわち、この場合、適応オフセットフィルタ処理は行われない。

画像バッファ２６６は、図１３の画像バッファ２１３と基本的に同様に構成されている。すなわち、画像バッファ２６６は、オフセット処理部２６５によるオフセット処理後の画素値を一旦格納し、所定のタイミングで、適応ループフィルタ８２に供給する。

［復号側の適応オフセットフィルタ処理］
次に、図１８のフローチャートを参照して、図１７の適応オフセットフィルタ８１が行う適応オフセットフィルタ処理について説明する。なお、この適応オフセットフィルタ処理は、図４のステップＳ５９における処理である。

図４のステップＳ５２において、符号化ストリームが復号される際に、シンタクス読み出し部２５１は、符号化ストリームのヘッダ部からシンタクスを読み出し、そのうち、適応オフセットパラメータを、パラメータ受け取り部２６１に供給する。

パラメータ受け取り部２６１は、ステップＳ２５１において、シンタクス読み出し部２５１から供給された適応オフセットパラメータを受け取り、係数読み出し部２６２に供給する。

係数読み出し部２６２は、ステップＳ２５２において、タイプインデックス(sao_type_idx)が０であるか否かを判定する。

ステップＳ２５２において、タイプインデックスが０であると判定された場合、適応オフセットフィルタ処理は終了する。すなわち、この場合、適応オフセットフィルタ処理は行われず、オフセット処理部２６５は、デブロッキングフィルタ６６からのフィルタ済みの画素を、そのまま、画像バッファ２６６に供給する。

ステップＳ２５２において、タイプインデックスが０ではないと判定された場合、係数読み出し部２６２は、ステップＳ２５３において、コピーフラグ(copy_flag)がtureであるか否かを判定する。

ステップＳ２５３において、コピーフラグがtureであると判定された場合、係数読み出し部２６２は、ステップＳ２５４において、係数（オフセット）読み出し処理を行う。この係数読み出し処理は、図１９を参照して後述される。

この処理により、タイプインデックスが示すタイプ用のバッファのコピーインデックスが示す位置から、オフセットが読み出される。係数読み出し部２６２は、読み出したオフセットとタイプインデックスを、オフセット処理部２６５に供給する。

一方、ステップＳ２５３において、コピーフラグがtureではないと判定された場合、係数読み出し部２６２は、パラメータ受け取り部２６１からのオフセットとタイプインデックスを、オフセット処理部２６５に供給する。

そして、係数読み出し部２６２は、ステップＳ２５５において、パラメータ受け取り部２６１からのオフセットとタイプインデックスを、係数書き込み部２６４にも供給し、オフセットバッファ２６３への係数書き込み処理を行わせる。この係数書き込み処理は、図１５を参照して上述した係数書き込み処理と基本的に同じ処理であるので、その説明は省略される。

ステップＳ２５６において、オフセット処理部２６５は、デブロッキングフィルタ６６からのデブロック後画素値に対して、LCU毎に、係数読み出し部２６２からのタイプインデックスが示すタイプとオフセットで、適応オフセットフィルタ処理を行う。オフセット処理部２６５は、オフセット処理後の画素値を、画像バッファ２６６に供給する。

［係数読み出し処理］
次に、図１９のフローチャートを参照して、図１８のステップＳ２５４の係数読み出し処理について説明する。なお、この係数読み出し処理の説明には、図２０が参照される。

オフセットバッファ２６３は、図２０に示されるように、エッジオフセット用の係数が格納されるＥＯバッファ２６３−１およびバンドオフセット用の係数が格納されるＢＯバッファ２６３−２の２つのバッファで構成されている。

ＥＯバッファ２６３−１およびＢＯバッファ２６３−２には、先頭寄り（左側）の位置から係数が格納されていく。ＥＯバッファ２６３−１およびＢＯバッファ２６３−２において、コピーインデックス(idx)が示されている位置は、すでに係数が書き込まれている領域であり、その他の位置は、空き領域である。

すなわち、ＥＯバッファ２６３−１において、コピーインデックス(idx)＝１で示される位置、コピーインデックス＝２で示される位置、コピーインデックス＝３で示される位置、コピーインデックス＝４で示される位置には、すでに係数が書き込まれている。

例えば、ＢＯバッファ２６３−２において、コピーインデックス(idx)＝１で示される位置、コピーインデックス＝２で示される位置、コピーインデックス＝３で示される位置、コピーインデックス＝４で示される位置には、すでに係数が書き込まれている。

係数読み出し部２６２は、図１９のステップＳ２７１において、パラメータ受け取り部２６１からのタイプインデックスが、ＥＯ（エッジオフセット）であるか否かを判定する。

ステップＳ２７１において、タイプインデックスが、ＥＯ（エッジオフセット）であると判定された場合、係数読み出し部２６２は、ステップＳ２７２において、ＥＯバッファ２６３−１を選択する。

ステップＳ２７１において、タイプインデックスが、ＥＯ（エッジオフセット）ではない、すなわち、バンドオフセットであると判定された場合、係数読み出し部２６２は、ステップＳ２７３において、ＢＯバッファ２６３−２を選択する。

ステップＳ２７４において、係数読み出し部２６２は、選択したバッファにおいて、コピーインデックス(copy_idx)が示す位置から、sao_offset（オフセット）を読み出す。

例えば、図２０に示されるように、タイプインデックス(sao_type_idx)が５の場合、バンドオフセットであるので、ステップＳ２７３において、ＢＯバッファ２６３−２が選択される。そして、ステップＳ２７４において、コピーインデックス＝３で示される位置から、sao_offset（オフセット）が読み出される。

以上のように、適応オフセットフィルタを最大の符号化単位であるLCU単位で行うようにし、従来フレームの先頭で一度に伝送していた適応オフセットフィルタのパラメータを、LCUの先頭で逐次送るようにした。これにより、従来は、１フレーム分の容量が必要であったのに対して、LCU分の容量にバッファを削減することができる。

また、コピーフラグとコピーインデックスを復号側に送り、すでに使った係数を送らないようにすることで、LCU毎に送ってしまうことによって送る係数が多くなってしまうのを軽減することができる。

さらに、適応オフセットフィルタと適応ループフィルタを同じLCU単位で行うことができるので、処理効率を向上させることができる。

また、LCU単位で領域分割することで、従来のquad-tree構造の場合より、分割の自由度が向上し、入力画像の特性に合わせた適応オフセットフィルタを行うことができるようになる。

なお、上記説明においては、オフセットバッファ２１５およびオフセットバッファ２６３は、FIFOに構成されている例を示したが、FIFOに限定されない。すなわち、オフセットバッファ２１５およびオフセットバッファ２６３の構成は、符号化側と復号側で同じ構成をしていれば、他のバッファ構成であってもよい。

以上においては、符号化方式としてHEVC方式をベースに用いるようにした。ただし、本開示はこれに限らず、インループフィルタとして、少なくとも適応オフセットフィルタを含む、その他の符号化方式／復号方式を適用することができる。

なお、本開示は、例えば、HEVC方式等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。

＜４．第２の実施の形態＞
［多視点画像符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図２１は、多視点画像符号化方式の一例を示す。

図２１に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。

図２１のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、適応オフセットフィルタパラメータ（コピーフラグ、およびコピーインデックスなど）を設定することができる。また、各ビュー(異なるビュー)において、他のビューで設定された適応オフセットフィルタパラメータを共有することもできる。

この場合、ベースビューにおいて設定された適応オフセットフィルタパラメータが、少なくとも１つのノンベースビューで用いられる。あるいは、例えば、ノンベースビュー(view_id=i)において設定された適応オフセットフィルタパラメータが、ベースビューおよびノンベースビュー(view_id=j)の少なくともどちらか一方で用いられる。

これにより、処理効率を向上させることができる。

［多視点画像符号化装置］
図２２は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図２２に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１１（図１）を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１が設定した適応オフセットフィルタパラメータと、符号化部６０２が設定した適応オフセットフィルタパラメータとを設定して伝送させる。

なお、上述したように符号化部６０１が設定した適応オフセットフィルタパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６０２がまとめて設定した適応オフセットフィルタパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。

［多視点画像復号装置］
図２３は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図２３に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置５１（図３）を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１が設定し、復号部６１２が復号した適応オフセットフィルタパラメータと、符号化部６０２が設定し、復号部６１３が復号した適応オフセットフィルタパラメータを用いて処理を行う。

なお、上述したように符号化部６０１（または、符号化部６０２）が設定した適応オフセットフィルタパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送されている場合がある。この場合、多視点画像復号装置６１０においては、符号化部６０１（または、符号化部６０２）が設定し、復号部６１２（または復号部６１３）が復号した適応オフセットフィルタパラメータを用いて処理が行われる。

＜５．第３の実施の形態＞
［階層画像符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図２４は、多視点画像符号化方式の一例を示す。

図２４に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。

図２４のような階層画像符号化(空間スケーラビリティ)を行う場合、各レイヤ(同一レイヤ)において、適応オフセットフィルタパラメータを設定することができる。また、各レイヤ(異なるレイヤ)において、他のレイヤで設定された適応オフセットフィルタパラメータを共有することができる。

この場合、ベースレイヤにおいて設定された適応オフセットフィルタパラメータが、少なくとも１つのノンベースレイヤで用いられる。あるいは、例えば、ノンベースレイヤ(layer _id=i)において設定された適応オフセットフィルタパラメータが、ベースレイヤおよびノンベースレイヤ(layer_id=j)の少なくともどちらか一方で用いられる。

これにより、処理効率を向上させることができる。

［階層画像符号化装置］
図２５は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図２５に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１１（図１）を適用することができる。この場合、階層画像符号化装置６２０は、符号化部６２１が設定した適応オフセットフィルタパラメータと、符号化部６０２が設定した適応オフセットフィルタパラメータとを設定して伝送させる。

なお、上述したように符号化部６２１が設定した適応オフセットフィルタパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６２２が設定した適応オフセットフィルタパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。

［階層画像復号装置］
図２６は、上述した階層画像復号を行う階層画像復号装置を示す図である。図２６に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置５１（図３）を適用することができる。この場合、階層画像復号装置６３０は、符号化部６２１が設定し、復号部６３２が復号した適応オフセットフィルタパラメータと、符号化部６２２が設定し、復号部６３３が復号した適応オフセットフィルタパラメータを用いて処理を行う。

なお、上述したように符号化部６２１（または、符号化部６２２）が設定した適応オフセットフィルタパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送されている場合がある。この場合、階層画像復号装置６３０においては、符号化部６２１（または、符号化部６２２）が設定し、復号部６３２（または、復号部６３３）が復号した適応オフセットフィルタパラメータを用いて処理が行われる。

＜６．第４の実施の形態＞
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。

入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

＜７．応用例＞
［第１の応用例：テレビジョン受像機］
図２８は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、処理効率を向上させることができる。

［第２の応用例：携帯電話機］
図２９は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、処理効率を向上させることができる。

［第３の応用例：記録再生装置］
図３０は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、処理効率を向上させることができる。

［第４の応用例：撮像装置］
図３１は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、処理効率を向上させることができる。

＜８．スケーラブル符号化の応用例＞
［第１のシステム］
次に、図２４乃至図２６を参照して上述したスケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図３２に示される例のように、伝送するデータの選択のために利用される。

図３２に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。

その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。

なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

そして、以上のような図３２のようなデータ伝送システム１０００においても、図２４乃至図２６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図２４乃至図２６を参照して上述した効果と同様の効果を得ることができる。

［第２のシステム］
また、スケーラブル符号化は、例えば、図３３に示される例のように、複数の通信媒体を介する伝送のために利用される。

図３３に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。

端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。

端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

そして、以上のような図３３のデータ伝送システム１１００においても、図２４乃至図２６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図２４乃至図２６を参照して上述した効果と同様の効果を得ることができる。

［第３のシステム］
また、スケーラブル符号化は、例えば、図３４に示される例のように、符号化データの記憶に利用される。

図３４に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。

スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。

このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。

以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。

そして、以上のような図３４の撮像システム１２００においても、図２４乃至図２６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図２４乃至図２６を参照して上述した効果と同様の効果を得ることができる。

なお、本明細書では、適応オフセットフィルタの各パラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

１１ 画像符号化装置， ２６ 可逆符号化部， ３１ デブロッキングフィルタ， ４１ 適応オフセットフィルタ， ４２ 適応ループフィルタ， ５１ 画像復号装置， ６２ 可逆復号部， ６６ デブロッキングフィルタ， ８１ 適応オフセットフィルタ， ８２ 適応ループフィルタ， ２１１ タイプ・オフセット決定部， ２１２ オフセット処理部， ２１３ 画像バッファ， ２１４ 係数読み出し部， ２１５ オフセットバッファ， ２１５−１ ＥＯバッファ， ２１５−２ ＢＯバッファ， ２１６ パラメータ設定部， ２１７ 係数書き込み部， ２２１ シンタクス書き込み部， ２５１ シンタクス読み出し部， ２６１ パラメータ受け取り部， ２６２ 係数読み出し部， ２６３ オフセットバッファ， ２６３−１ ＥＯバッファ， ２６３−２ ＢＯバッファ， ２６４ 係数書き込み部， ２６５ オフセット処理部， ２６６ 画像バッファ

本開示の一側面の画像処理装置は、画像に対して行われるフィルタのパラメータに関する識別データが最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定された符号化ストリームを復号処理して、前記画像を生成する復号部と、前記最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記復号部により生成された画像に対してフィルタを最大符号化単位で行うフィルタ部とを備える。

前記フィルタのパラメータに関する識別データは、Current最大符号化単位よりも前に前記フィルタが行われたPrevious最大符号化単位のパラメータと、Current最大符号化単位のパラメータとに関する識別データである。

デブロッキングフィルタ部をさらに備え、前記フィルタ部は、前記デブロッキングフィルタ部によりデブロッキングフィルタが行われた画像にフィルタを行うことができる。

前記フィルタ部は、Current最大符号化単位よりも前に前記フィルタが行われたPrevious最大符号化単位のパラメータとCurrent最大符号化単位のパラメータとが同じであることを識別する識別データを用いて、前記復号部により生成された画像に対して前記フィルタを最大符号化単位で行うことができる。

前記フィルタ部は、Current最大符号化単位よりも前に前記フィルタが行われたPrevious最大符号化単位のパラメータを用いるかを識別する識別データを用いて、前記復号部により生成された画像に対して前記フィルタを最大符号化単位で行うことができる。

前記フィルタ部は、Current最大符号化単位よりも前に前記フィルタが行われたPrevious最大符号化単位のパラメータをコピーして用いるかを識別する識別データを用いて、前記復号部により生成された画像に対して前記フィルタを最大符号化単位で行うことができる。

前記フィルタ部は、Current最大符号化単位よりも前に前記フィルタが行われたPrevious最大符号化単位を対象として、Current最大符号化単位のパラメータと同じ最大符号化単位を指定する識別データを用いて、前記復号部により生成された画像に対して前記フィルタを最大符号化単位で行う。

前記フィルタのパラメータは、最大符号化単位の先頭で前記符号化ストリームとして伝送される。

前記復号部は、階層構造を有する単位で復号処理することができる。

本開示の一側面の画像処理方法は、画像処理装置が、画像に対して行われるフィルタのパラメータに関する識別データが最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定された符号化ストリームを復号処理して、前記画像を生成し、前記最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、生成された画像に対してフィルタを最大符号化単位で行う。

本開示の一側面のプログラムは、画像に対して行われるフィルタのパラメータに関する識別データが最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定された符号化ストリームを復号処理して、前記画像を生成する復号部と、前記最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記復号部により生成された画像に対してフィルタを最大符号化単位で行うフィルタ部として、コンピュータを機能させる。

本開示の一側面においては、画像に対して行われるフィルタのパラメータに関する識別データが最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定された符号化ストリームが復号処理して、前記画像が生成される。そして、前記最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、生成された画像に対してフィルタが最大符号化単位で行われる。

Claims (14)

1. 画像に対して行われるフィルタのパラメータを最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定する設定部と、
   前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記画像に対してフィルタを最大符号化単位で行うフィルタ部と、
   前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを符号化処理して、符号化ストリームを生成する符号化部と
   を備える画像処理装置。
2. 前記フィルタのパラメータは、適応オフセットフィルタのタイプとオフセット値とを含む
   請求項１に記載の画像処理装置。
3. ローカル復号された画像にデブロッキングフィルタを行うデブロッキングフィルタ部を
   さらに備え、
   前記フィルタ部は、前記デブロッキングフィルタ部によりデブロッキングフィルタが行われた画像にフィルタを行う
   請求項１に記載の画像処理装置。
4. 前記設定部により最大符号化単位の先頭に設定された適応オフセットフィルタのパラメータを、前記符号化部により生成された符号化ストリームとして伝送する伝送部を
   さらに備える請求項１に記載の画像処理装置。
5. 前記設定部は、Current最大符号化単位よりも前にフィルタが行われたPrevious最大符号化単位のパラメータとCurrent最大符号化単位のパラメータとが同じであることを識別する識別データを設定し、
   前記伝送部は、前記設定部により設定された識別データと、前記符号化部により生成された符号化ストリームとを伝送する
   請求項４に記載の画像処理装置。
6. 前記設定部は、Current最大符号化単位よりも前にフィルタが行われたPrevious最大符号化単位のパラメータを用いるかを識別する識別データを設定し、
   前記伝送部は、前記設定部により設定された識別データと、前記符号化部により生成された符号化ストリームとを伝送する
   請求項４に記載の画像処理装置。
7. 前記設定部は、Current最大符号化単位よりも前にフィルタが行われたPrevious最大符号化単位のパラメータをコピーして用いるかを識別する識別データを設定し、
   前記伝送部は、前記設定部により設定された識別データと、前記符号化部により生成された符号化ストリームとを伝送する
   請求項４に記載の画像処理装置。
8. 前記設定部は、Current最大符号化単位よりも前にフィルタが行われたPrevious最大符号化単位を対象として、Current最大符号化単位のパラメータと同じ最大符号化単位を指定する識別データを設定し、
   前記伝送部は、前記設定部により設定された識別データと、前記符号化部により生成された符号化ストリームとを伝送する
   請求項４に記載の画像処理装置。
9. 前記伝送部は、前記設定部により設定されたフィルタのパラメータを、最大符号化単位の先頭で前記符号化ストリームとして伝送する
   請求項４に記載の画像処理装置。
10. 前記符号化部は、階層構造を有する単位で符号化処理する
    請求項１に記載の画像処理装置。
11. 前記画像は、デブロックフィルタ処理が行われた画像である
    請求項１に記載の画像処理装置。
12. 画像処理装置が、
    画像に対して行われるフィルタのパラメータを最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定し、
    最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記画像に対してフィルタを最大符号化単位で行い、
    最大符号化単位の先頭に設定されたフィルタのパラメータを符号化処理して、符号化ストリームを生成する
    画像処理方法。
13. 画像に対して行われるフィルタのパラメータを最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定する設定部と、
    前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記画像に対してフィルタを最大符号化単位で行うフィルタ部と、
    前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを符号化処理して、符号化ストリームを生成する符号化部と
    して、コンピュータを機能させるプログラム。
14. 画像に対して行われるフィルタのパラメータを最大符号化単位の先頭のタイミングで復号側に送られるように最大符号化単位の先頭に設定する設定部と、
    前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを用いて、前記画像に対してフィルタを最大符号化単位で行うフィルタ部と、
    前記設定部により最大符号化単位の先頭に設定されたフィルタのパラメータを符号化処理して、符号化ストリームを生成する符号化部と
    して、コンピュータを機能させるプログラムが記録されている記録媒体。

Images