JP2013074491A - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP2013074491A
JP2013074491A JP2011212551A JP2011212551A JP2013074491A JP 2013074491 A JP2013074491 A JP 2013074491A JP 2011212551 A JP2011212551 A JP 2011212551A JP 2011212551 A JP2011212551 A JP 2011212551A JP 2013074491 A JP2013074491 A JP 2013074491A
Authority
JP
Japan
Prior art keywords
image
unit
block
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011212551A
Other languages
English (en)
Inventor
Masaru Ikeda
優 池田
Yoichi Yagasaki
陽一 矢ケ崎
Kazuya Ogawa
一哉 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011212551A priority Critical patent/JP2013074491A/ja
Priority to PCT/JP2012/074144 priority patent/WO2013047335A1/ja
Publication of JP2013074491A publication Critical patent/JP2013074491A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

【課題】LCUの下部において必要なラインメモリの削減を図ることができるようにする。
【解決手段】適応ループフィルタにおいては、ブロック内における、上から１行目の左から１列目および３列目の画素と、上から２行目の左から１列目および３列目の画素が、サンプル点として設定される。したがって、４画素のバリアンス計算の際に参照される画素の範囲は、垂直方向に４画素×水平方向に５画素の範囲となり、従来と比して垂直方向に１ライン分小さくすることができる。本開示は、例えば、画像処理装置に適用することができる。
【選択図】図７

Description

本開示は、画像処理装置および方法に関し、特に、符号化または復号する際に必要となるラインメモリの削減を図ることができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）などがある。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。
現時点におけるHEVCのドラフトでは、適応ループフィルタが採用されている。適応ループフィルタのうち、ブロックベースの適応ループフィルタでは、４×４画素単位に全ての画素のバリアンス（分散）を計算してクラス分類が行われている。
これに対して、非特許文献１においては、４×４画素内のサブサンプルした４画素についてのみバリアンスを計算し、４×４画素のブロックのクラス分類を行うことが提案されている。この提案によれば、クラス分類における計算の削減が実現される。
" Line Memory Reduction for ALF Decoding", Semih Esenlik, Matthias Narroschke, Thomas Wedi, JCTVC-E225,March 2011
ところで、上述したようなクラス分類のためのバリアンスを計算する際、垂直方向の参照が大きいと、該当する４×４画素のブロックのフィルタ係数の決定が困難となって、フィルタ処理が実行できなくなることがある。このため、アーキテクチャによって、最大の符号化単位であるLCUの下部においてラインメモリを多く持つ必要があった。
本開示は、このような状況に鑑みてなされたものであり、LCUの下部において必要なラインメモリの削減を図る。
本開示の第１の側面の画像処理装置は、符号化ストリームを復号処理して画像を生成する復号部と、前記復号部により生成された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定する設定部と、前記設定部により設定されたサンプル画素の評価値に基づいて、前記復号部により生成された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類するクラス分類部と、前記クラス分類部によりクラス分類されたクラスに従って、前記復号部により生成された画像を、ブロックベースでフィルタ処理するフィルタ処理部とを備える。
前記ブロックは、４×４の画素で構成されており、前記設定部は、前記ブロックの上部に位置する４つの画素をサンプル画素として設定することができる。
前記設定部は、前記ブロックにおいて、上から１行目の左から１列目および３列目の画素、並びに上から３行目の左から１列目および３列目の画素をサンプル画素として設定することができる。
前記設定部は、前記ブロックにおいて、上から１列目の左から１乃至４行目の画素をサンプル画素として設定することができる。
前記設定部により設定されたサンプル画素の評価値を算出する評価値算出手段をさらに備えることができる。
前記評価値は、バリアンス（分散値）である。
本開示の第１の側面の画像処理方法は、画像処理装置が、符号化ストリームを復号処理して画像を生成し、生成された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定し、設定されたサンプル画素の評価値に基づいて、生成された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類し、クラス分類されたクラスに従って、生成された画像を、ブロックベースでフィルタ処理する。
本開示の第２の側面の画像処理装置は、画像を符号化する際にローカル復号処理された画像を構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定する設定部と、前記設定部により設定されたサンプル画素の評価値に基づいて、ローカル復号処理された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類するクラス分類部と、前記クラス分類部によりクラス分類されたクラスに従って、ローカル復号処理された画像を、ブロックベースでフィルタ処理するフィルタ処理部と、前記フィルタ処理部によりフィルタ処理された画像を用いて、前記画像を符号化する符号化部とを備える。
前記ブロックは、４×４の画素で構成されており、前記設定部は、前記ブロックの上部に位置する４つの画素をサンプル画素に設定することができる。
前記設定部は、前記ブロックにおいて、上から１行目の左から１列目および３列目の画素、並びに上から３行目の左から１列目および３列目の画素をサンプル画素として設定することができる。
前記設定部は、前記ブロックにおいて、上から１列目の左から１乃至４行目の画素をサンプル画素として設定することができる。
前記設定部により設定されたサンプル画素の評価値を算出する評価値算出手段をさらに備えることができる。
前記評価値は、バリアンス（分散値）である。
本開示の第２の側面の画像処理方法は、画像処理装置が、画像を符号化する際にローカル復号処理された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定し、設定されたサンプル画素の評価値に基づいて、ローカル復号処理された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類し、クラス分類されたクラスに従って、ローカル復号処理された画像を、ブロックベースでフィルタ処理し、フィルタ処理された画像を用いて、前記画像を符号化する。
本開示の第１の側面においては、符号化ストリームを復号処理して画像が生成され、生成された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素が、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定される。そして、設定されたサンプル画素の評価値に基づいて、生成された画像のブロックを構成する画素が対象として、ブロックベースでクラス分類され、クラス分類されたクラスに従って、生成された画像が、ブロックベースでフィルタ処理される。
本開示の第２の側面においては、画像を符号化する際にローカル復号処理された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素が、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定される。そして、設定されたサンプル画素の評価値に基づいて、ローカル復号処理された画像のブロックを構成する画素が対象として、ブロックベースでクラス分類され、クラス分類されたクラスに従って、ローカル復号処理された画像が、ブロックベースでフィルタ処理され、フィルタ処理された画像を用いて、前記画像が符号化される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示の第１側面によれば、画像を復号することができる。特に、ラインメモリの削減を図ることができる。
本開示の第２の側面によれば、画像を符号化することができる。特に、ラインメモリの削減を図ることができる。
画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 従来の適応ループフィルタのクラス分類について説明する図である。 LCU境界における従来の適応ループフィルタを説明する図である。 本開示を適用した適応ループフィルタのサンプル点を説明する図である。 LCU境界における適応ループフィルタを説明する図である。 本開示を適用した適応ループフィルタの構成例を示すブロック図である。 ALFクラス分類部の構成例を示すブロック図である。 適応ループフィルタ処理を説明するフローチャートである。 図９の場合のクラス分類処理を説明するフローチャートである。 本開示を適用した適応ループフィルタのサンプル点の他の例を説明する図である。 図１３の場合のクラス分類処理を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．装置および動作の概要
２．従来の手法の説明
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．応用例
＜１．装置および動作の概要＞
［画像符号化装置の構成例］
図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
図１に示される画像符号化装置１１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、HEVC（High Efficiency Video Coding）方式などが用いられる。
図１の例において、画像符号化装置１１は、A/D（Analog / Digital）変換部２１、画面並べ替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、および蓄積バッファ２７を有する。また、画像符号化装置１１は、逆量子化部２８、逆直交変換部２９、演算部３０、デブロッキングフィルタ３１、フレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、予測画像選択部３６、およびレート制御部３７を有する。
さらに、画像符号化装置１１は、デブロッキングフィルタ３１とフレームメモリ３２との間に、適応オフセットフィルタ４１および適応ループフィルタ４２ａを有する。
A/D変換部２１は、入力された画像データをA/D変換し、画面並べ替えバッファ２２に出力し、記憶させる。
画面並べ替えバッファ２２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、演算部２３に供給する。また、画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、イントラ予測部３４および動き予測・補償部３５にも供給する。
演算部２３は、画面並べ替えバッファ２２から読み出された画像から、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を減算し、その差分情報を直交変換部２４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、イントラ予測部３４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、動き予測・補償部３５から供給される予測画像を減算する。
直交変換部２４は、演算部２３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２５に供給する。
量子化部２５は、直交変換部２４が出力する変換係数を量子化する。量子化部２５は、量子化された変換係数を可逆符号化部２６に供給する。
可逆符号化部２６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
可逆符号化部２６は、イントラ予測モードを示す情報などのパラメータをイントラ予測部３４から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３５から取得する。
可逆符号化部２６は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタクス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２６は、符号化して得られた符号化データを蓄積バッファ２７に供給して蓄積させる。
例えば、可逆符号化部２６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ２７は、可逆符号化部２６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
また、量子化部２５において量子化された変換係数は、逆量子化部２８にも供給される。逆量子化部２８は、その量子化された変換係数を、量子化部２５による量子化に対応する方法で逆量子化する。逆量子化部２８は、得られた変換係数を、逆直交変換部２９に供給する。
逆直交変換部２９は、供給された変換係数を、直交変換部２４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部３０に供給される。
演算部３０は、逆直交変換部２９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部３０は、その差分情報にイントラ予測部３４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部３０は、その差分情報に動き予測・補償部３５から供給される予測画像を加算する。
その加算結果である復号画像は、デブロッキングフィルタ３１およびフレームメモリ３２に供給される。
デブロッキングフィルタ３１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ３１は、そのフィルタ処理結果を適応オフセットフィルタ４１に供給する。
適応オフセットフィルタ４１は、デブロッキングフィルタ３１によるフィルタ後の画像に対して、主にリンギングを除去するオフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
オフセットフィルタの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセットフィルタ４１は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３１によるフィルタ後の画像に対して、フィルタ処理を施す。
なお、本明細書において詳細な説明は省略するが、画像符号化装置１１において、quad-tree構造と分割領域毎のオフセット値は、適応オフセットフィルタ４１により算出されて用いられる。算出されたquad-tree構造と分割領域毎のオフセット値は、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。
適応オフセットフィルタ４１は、フィルタ処理後の画像を、適応ループフィルタ４２ａに供給する。
適応ループフィルタ４２ａは、ブロックベース（単位）でクラス分類を行い、適応ループフィルタ（ALF:AdaptiveLoop Filter)処理を行う。適応ループフィルタ４２ａにおいては、フィルタとして、例えば、２次元のウィナーフィルタ（Wiener Filter）が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。
適応ループフィルタ４２ａは、適応オフセットフィルタ４１によるフィルタ後の画像のブロックの上部から４つの画素をサンプル点（画素）として設定し、設定したサンプル点で計算されたバリアンス（分散）によりクラス分類を行う。適応ループフィルタ４２ａは、分類されたクラスに応じたフィルタ係数で、画像に対してフィルタ処理を行い、フィルタ処理結果を、フレームメモリ３２に供給する。適応ループフィルタ４２ａの詳細については、図９を参照して後述される。
なお、本明細書において詳細な説明は省略するが、画像符号化装置１１において、フィルタ係数は、画面並べ替えバッファ１２からの原画像との残差を最小とするよう適応ループフィルタ４２ａにより算出されて用いられる。算出されたフィルタ係数は、可逆符号化部２６において符号化され、後述する図３の画像復号装置５１に送信される。
フレームメモリ３２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部３３を介してイントラ予測部３４または動き予測・補償部３５に出力する。
例えば、イントラ符号化が行われる画像の場合、フレームメモリ３２は、参照画像を、選択部３３を介してイントラ予測部３４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ３２は、参照画像を、選択部３３を介して動き予測・補償部３５に供給する。
選択部３３は、フレームメモリ３２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部３４に供給する。また、選択部３３は、フレームメモリ３２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部３５に供給する。
イントラ予測部３４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部３４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
イントラ予測部３４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部３４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。
また、上述したように、イントラ予測部３４は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部２６に供給する。
動き予測・補償部３５は、インター符号化が行われる画像について、画面並べ替えバッファ２２から供給される入力画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用いて、動き予測を行う。また、動き予測・補償部３５は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
動き予測・補償部３５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部３５は、生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。
また、動き予測・補償部３５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部２６に供給する。
予測画像選択部３６は、イントラ符号化を行う画像の場合、イントラ予測部３４の出力を演算部２３や演算部３０に供給し、インター符号化を行う画像の場合、動き予測・補償部３５の出力を演算部２３や演算部３０に供給する。
レート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。
［画像符号化装置の動作］
図２を参照して、以上のような画像符号化装置１１により実行される符号化処理の流れについて説明する。
ステップＳ１１において、A/D変換部２１は入力された画像をA/D変換する。ステップＳ１２において、画面並べ替えバッファ２２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
画面並べ替えバッファ２２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ３２から読み出され、選択部３３を介してイントラ予測部３４に供給される。
これらの画像に基づいて、ステップＳ１３において、イントラ予測部３４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロッキングフィルタ３１によりフィルタされていない画素が用いられる。
この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。
画面並べ替えバッファ２２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ３２から読み出され、選択部３３を介して動き予測・補償部３５に供給される。これらの画像に基づいて、ステップＳ１４において、動き予測・補償部３５は、動き予測・補償処理を行う。
この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。
ステップＳ１５において、予測画像選択部３６は、イントラ予測部３４および動き予測・補償部３５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部３６は、決定した最適予測モードの予測画像を選択し、演算部２３，３０に供給する。この予測画像は、後述するステップＳ１６，Ｓ２１の演算に利用される。
なお、この予測画像の選択情報は、イントラ予測部３４または動き予測・補償部３５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部３４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部２６に供給する。
最適インター予測モードの予測画像が選択された場合、動き予測・補償部３５は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部２６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
ステップＳ１６において、演算部２３は、ステップＳ１２で並び替えられた画像と、ステップＳ１５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部３５から、イントラ予測する場合はイントラ予測部３４から、それぞれ予測画像選択部３６を介して演算部２３に供給される。
差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１７において、直交変換部２４は演算部２３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
ステップＳ１８において、量子化部２５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２８の処理で説明されるように、レートが制御される。
以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１９において、逆量子化部２８は、量子化部２５により量子化された変換係数を量子化部２５の特性に対応する特性で逆量子化する。ステップＳ２０において、逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を直交変換部２４の特性に対応する特性で逆直交変換する。
ステップＳ２１において、演算部３０は、予測画像選択部３６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部２３への入力に対応する画像）を生成する。
ステップＳ２２においてデブロッキングフィルタ３１は、演算部３０より出力された画像に対して、デブロッキングフィルタ処理を行う。これによりブロック歪みが除去される。デブロッキングフィルタ３１からのフィルタ後の画像は、適応オフセットフィルタ４１に出力される。
ステップＳ２３において、適応オフセットフィルタ４１は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３１によるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ４２ａに供給される。
ステップＳ２４において、適応ループフィルタ４２ａは、適応オフセットフィルタ４１によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ４２ａは、入力画像のブロックの上部から４つの画素をサンプル点として設定し、設定したサンプル点で計算されたバリアンス（分散）により、ブロックベースのクラス分類を行う。適応ループフィルタ４２ａは、分類されたクラスに応じて、入力画像に対してフィルタ処理を行い、フィルタ処理結果を、フレームメモリ３２に供給する。なお、この適応ループフィルタ処理の詳細は、図１１を参照して後述される。
ステップＳ２５においてフレームメモリ３２は、フィルタリングされた画像を記憶する。なお、フレームメモリ３２には、デブロッキングフィルタ３１、適応オフセットフィルタ４１、および適応ループフィルタ４２ａによりフィルタされていない画像も演算部３０から供給され、記憶される。
一方、上述したステップＳ１８において量子化された変換係数は、可逆符号化部２６にも供給される。ステップＳ２６において、可逆符号化部２６は、量子化部２５より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。
ステップＳ２７において蓄積バッファ２７は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ２７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ２８においてレート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。
ステップＳ２８の処理が終了すると、符号化処理が終了される。
［画像復号装置の構成例］
図３は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図３に示される画像復号装置５１は、図１の画像符号化装置１１に対応する復号装置である。
画像符号化装置１１より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１１に対応する画像復号装置５１に伝送され、復号されるものとする。
図３に示されるように、画像復号装置５１は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、デブロッキングフィルタ６６、画面並べ替えバッファ６７、およびD/A変換部６８を有する。また、画像復号装置５１は、フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３を有する。
さらに、画像復号装置５１は、デブロッキングフィルタ６６と、画面並べ替えバッファ６７およびフレームメモリ６９との間に、適応オフセットフィルタ８１および適応ループフィルタ４２ｂを有する。
蓄積バッファ６１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１１により符号化されたものである。可逆復号部６２は、蓄積バッファ６１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部２６の符号化方式に対応する方式で復号する。
可逆復号部６２は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部７１に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部７２に供給する。
逆量子化部６３は、可逆復号部６２により復号されて得られた係数データ（量子化係数）を、図１の量子化部２５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部６３は、画像符号化装置１１から供給された量子化パラメータを用いて、図１の逆量子化部２８と同様の方法で量子化係数の逆量子化を行う。
逆量子化部６３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部６４に供給する。逆直交変換部６４は、図１の直交変換部２４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１１において直交変換される前の残差データに対応する復号残差データを得る。
逆直交変換されて得られた復号残差データは、演算部６５に供給される。また、演算部６５には、選択部７３を介して、イントラ予測部７１若しくは動き予測・補償部７２から予測画像が供給される。
演算部６５は、その復号残差データと予測画像とを加算し、画像符号化装置１１の演算部２３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部６５は、その復号画像データをデブロッキングフィルタ６６に供給する。
デブロッキングフィルタ６６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ６６は、そのフィルタ処理結果を適応オフセットフィルタ８１に供給する。
適応オフセットフィルタ８１は、デブロッキングフィルタ６６によるフィルタ後の画像に対して、主にリンギングを除去するオフセットフィルタ(SAO)処理を行う。
適応オフセットフィルタ８１は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ６６によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ８１は、フィルタ処理後の画像を、適応ループフィルタ４２ｂに供給する。
なお、本明細書において詳細な説明は省略するが、このquad-tree構造と分割領域毎のオフセット値は、画像符号化装置１１の適応オフセットフィルタ４１により算出され、符号化されて送られてきたものである。そして、画像符号化装置１１により符号化されたquad-tree構造と分割領域毎のオフセット値は、画像復号装置５１において受信されて、可逆復号部６２により復号されて、適応オフセットフィルタ８１により用いられる。
適応ループフィルタ４２ｂは、図１の画像符号化装置１１の適応ループフィルタ４２ａと基本的に同様に構成され、ブロックベースでクラス分類を行い、適応ループフィルタ処理を行う。適応ループフィルタ４２ｂは、適応オフセットフィルタ８１によるフィルタ後の画像のブロックの上部から４つの画素をサンプル点として設定し、設定したサンプル点で計算されたバリアンス（分散）によりクラス分類を行う。適応ループフィルタ４２ｂは、分類されたクラスに応じたフィルタ係数で、画像に対してフィルタ処理を行い、フィルタ処理結果を、画面並べ替えバッファ６７に供給する。適応ループフィルタ４２ｂの詳細については、図９を参照して後述される。
なお、本明細書において詳細な説明は省略するが、画像復号装置５１において、フィルタ係数は、画像符号化装置１１の適応ループフィルタ４２ａにより算出され、符号化されて送られてきたものが可逆復号部６２により復号されて用いられる。
画面並べ替えバッファ６７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ２２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部６８は、画面並べ替えバッファ６７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
適応ループフィルタ４２ｂの出力は、さらに、フレームメモリ６９に供給される。
フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３は、画像符号化装置１１のフレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、および予測画像選択部３６にそれぞれ対応する。
選択部７０は、インター処理される画像と参照される画像をフレームメモリ６９から読み出し、動き予測・補償部７２に供給する。また、選択部７０は、イントラ予測に用いられる画像をフレームメモリ６９から読み出し、イントラ予測部７１に供給する。
イントラ予測部７１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部６２から適宜供給される。イントラ予測部７１は、この情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。
動き予測・補償部７２には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部６２から供給される。
動き予測・補償部７２は、可逆復号部６２から供給されるそれらの情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。
選択部７３は、動き予測・補償部７２またはイントラ予測部７１により生成された予測画像を選択し、演算部６５に供給する。
［画像復号装置の動作］
図４を参照して、以上のような画像復号装置５１により実行される復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ５１において、蓄積バッファ６１は、伝送されてきた符号化データを蓄積する。ステップＳ５２において、可逆復号部６２は、蓄積バッファ６１から供給される符号化データを復号する。図１の可逆符号化部２６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）などのパラメータの情報も復号される。
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部７１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部７２に供給される。
ステップＳ５３において、イントラ予測部７１または動き予測・補償部７２は、可逆復号部６２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。
すなわち、可逆復号部６２からイントラ予測モード情報が供給された場合、イントラ予測部７１は、Most Probable Modeの生成を行い、並列処理により、イントラ予測モードのイントラ予測画像を生成する。可逆復号部６２からインター予測モード情報が供給された場合、動き予測・補償部７２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。
この処理により、イントラ予測部７１により生成された予測画像（イントラ予測画像）、または動き予測・補償部７２により生成された予測画像（インター予測画像）が選択部７３に供給される。
ステップＳ５４において、選択部７３は予測画像を選択する。すなわち、イントラ予測部７１により生成された予測画像、または動き予測・補償部７２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部６５に供給され、後述するステップＳ５７において逆直交変換部６４の出力と加算される。
上述したステップＳ５２において、可逆復号部６２により復号された変換係数は、逆量子化部６３にも供給される。ステップＳ５５において、逆量子化部６３は可逆復号部６２により復号された変換係数を、図１の量子化部２５の特性に対応する特性で逆量子化する。
ステップＳ５６において逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を、図１の直交変換部２４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部２４の入力（演算部２３の出力）に対応する差分情報が復号されたことになる。
ステップＳ５７において、演算部６５は、上述したステップＳ５４の処理で選択され、選択部７３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。
ステップＳ５８においてデブロッキングフィルタ６６は、演算部６５より出力された画像に対して、デブロッキングフィルタ処理を行う。これによりブロック歪みが除去される。デブロッキングフィルタ６６からの復号画像は、適応オフセットフィルタ８１に出力される。
ステップＳ５９において、適応オフセットフィルタ８１は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ６６によるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ４２ｂに供給される。
ステップＳ６０において、適応ループフィルタ４２ｂは、適応オフセットフィルタ８１によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ４２ｂは、入力画像のブロックの上部から４つのサンプル点を設定し、設定したサンプル点で計算されたバリアンス（分散）によりブロックベースでクラス分類を行う。適応ループフィルタ４２ｂは、分類されたクラスに応じて、入力画像に対してフィルタ処理を行い、フィルタ処理結果を、画面並べ替えバッファ６７およびフレームメモリ６９に供給する。なお、この適応ループフィルタ処理は、図２のステップＳ２４の適応ループフィルタ処理と基本的に同じ処理であり、その詳細は、図１１を参照して後述される。
ステップＳ６１においてフレームメモリ６９は、フィルタリングされた画像を記憶する。
ステップＳ６２において、画面並べ替えバッファ６７は、適応ループフィルタ４２ｂ後の画像の並べ替えを行う。すなわち画像符号化装置１１の画面並べ替えバッファ２２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ６３において、D/A変換部６８は、画面並べ替えバッファ６７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
ステップＳ６３の処理が終了すると、復号処理が終了される。
＜従来の手法の説明＞
［従来の適応ループフィルタの説明］
図５を参照して、従来のブロックベースの適応ループフィルタについて説明する。図５の例においては、左側に、HEVC（High Efficiency Video Coding）方式における手法、右側に、非特許文献１の提案における手法が示されている。丸は、画素を表し、黒丸は、バリアンスの計算が行われる画素を示している。また、実線は、クラス分類を行うブロックを表している。
HEVC方式におけるブロックベースでクラス分類を行う適応ループフィルタにおいては、図５の左側に示されるように、実線で示される４×４画素のブロック毎に、全ての画素のバリアンス（Variance：分散）を計算してクラス分類が行われていた。点線の四角は、４×４画素のブロック内の左上の画素のバリアンスを求める際の参照範囲を示している。
これに対して、非特許文献１の提案では、図５の右側に示されるように、４×４画素のブロックの１６画素から、４画素がサブサンプリングされ、そのサブサンプリングされた４画素についてのみバリアンスを計算してクラス分類が行われる。
サブサンプリングされる４画素は、ブロック内における、上から１行目の左から１列目および３列目の画素と、上から３行目の左から１列目および３列目の画素である。
この提案により、クラス分類の計算が削減される。
ところで、このようなブロックベースでクラス分類を行う適応ループフィルタにおいては、クラス分類のためのバリアンスを計算する際に、垂直方向の参照が大きいと、LCU（Largest Coding Unit）の下部では、ラインメモリを多く持つ必要があった。
ここで、LCU（Largest Coding Unit）とCU（Coding Unit）について簡単に説明する。H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）においては、１つのマクロブロックを、複数の動き補償ブロックに分割し、それぞれに対して異なる動き情報を持たせることが可能であった。すなわち、H．264/AVC方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されていた。これに対して、HEVC（High Efficiency Video Coding）方式においては、コーディングユニット（CU）が規定されている。
CUは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVC方式におけるマクロブロックと同様の役割を果たす、符号化（復号）の処理単位となる領域（ピクチャ単位の画像の部分領域）である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。例えば、後述する図６の例では、CUの分割ラインは示されていないが、LCUの大きさが１６×１６画素であり、その中に、８×８画素のCUが４つ含まれている例が示されている。
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、H．264/AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、H．264/AVC方式のマクロブロックより大きく設定されることが一般的である。
よって、以下、LCUは、H．264/AVC方式におけるマクロブロックをも含むものとし、CUは、H．264/AVC方式におけるブロック（サブブロック）をも含むものとする。
［LCU境界における従来の適応ループフィルタの説明］
図６を参照して、適応ループフィルタのLCUの水平境界での処理について説明する。なお、以下、単にLCU境界と称する場合、それは、LCUの水平境界を表すものとして説明する。また、LCU境界からのラインの数は、LCU境界からの上に向かってのラインの数を示すものとして説明する。
図６の例において、一番下がLCU境界を示しており、丸は画素を表している。
LCU境界から１ライン目乃至３ライン目の丸は、次のLCUがデブロッキングフィルタに入力されたときに、水平境界のデブロッキングＶ（垂直）フィルタ処理が開始される画素を表している。なお、１ライン目乃至３ライン目のハッチングで示される丸は、LCUに含まれるCUの垂直境界においてデブロッキングＨ（水平）フィルタ処理された画素を表している。１行目乃至３行目の丸のうち、白丸は、CUの垂直境界ではないため、実際には、デブロッキングＨフィルタ処理が施されない画素を表している。
なお、ここで、水平境界のデブロッキングＶ（垂直）フィルタ処理とは、上下（垂直方向）に隣接するブロック間の水平境界のブロックノイズを除去するデブロッキングフィルタのことを言う。また、垂直境界のデブロッキングＨ（水平）フィルタ処理とは、左右（水平方向）に隣接するブロック間の垂直境界のブロックノイズを除去するデブロッキングフィルタのことを言う。図６の例においては、デブロッキングＨフィルタ処理、デブロッキングＶフィルタ処理の順にデブロッキングフィルタが行われる例が示されている。
LCU境界から４ライン目および５ライン目の画素は、デブロッキングＶフィルタ処理済みの画素であって、かつ、適応オフセットフィルタ処理前の画素である。この４ライン目の画素は、１ライン目乃至３ライン目のデブロッキングＶフィルタ処理において参照される画素でもある。
LCU境界から６ライン目乃至８ライン目の画素は、適応オフセットフィルタ処理済みの画素であって、かつ、適応ループフィルタ処理がなされていない画素である。
LCU境界から９ライン目乃至１２ライン目の丸は、適応ループフィルタ(ALF)処理後の画素を表している。
デブロッキングフィルタは、LCU境界において、LCU境界から１ライン目乃至３ライン目の画素を処理する際、LCU境界を介して下に接するLCUの画素（次の４ライン分の画素）が入力されないとデブロッキングＶフィルタ処理を開始できない。
したがって、デブロッキングフィルタは、次に処理される対象の１乃至３ライン目の画素の処理で待機（一時停止）することになる。
適応オフセットフィルタは、適応オフセットフィルタのラインメモリに保持されているLCU境界から５ライン目の画素のフィルタ処理を行うには、LCU境界から４乃至６ライン目の画素がラインメモリに必要である。しかしながら、LCU境界から４ライン目の画素は、デブロッキングフィルタのラインメモリに保持されているので、適応オフセットフィルタは、LCU境界から５ライン目の画素のフィルタ処理を行うことができない場合があり得る。このような場合、適応オフセットフィルタは、次に処理される対象の５ライン目の画素の処理で待機することになる。
適応ループフィルタは、例えば、非特許文献１に記載の方法で、クラス分類処理を行う。LCU境界から９ライン目乃至１２ライン目に実線で示される４×４画素ブロックの画素については、そのとき参照される画素も含めて、適応オフセットフィルタ処理済みの画素である。したがって、適応ループフィルタは、それらのクラス分類およびフィルタ処理を完了することができる。
そして、LCU境界から５ライン目乃至８ライン目に実線に示される４×４画素ブロックのクラス分類処理は、画素Ｐ１乃至画素Ｐ４についてのバリアンスの計算結果により行われる。
画素Ｐ１は、４×４画素ブロックにおける上から１行目の左から１列目の画素である。画素Ｐ２は、４×４画素ブロックにおける上から１行目の左から３列目の画素である。画素Ｐ３は、４×４画素ブロックにおける上から３行目の左から１列目の画素である。画素Ｐ４は、４×４画素ブロックにおける上から３行目の左から３列目の画素である。
バリアンスの計算は、各画素の周囲８画素が参照されて行われるので、点線で示される範囲の画素が、画素Ｐ１乃至画素Ｐ４のバリアンスの計算に必要な画素となる。それらの画素のうち、画素Ｐ１および画素Ｐ２のバリアンスの計算に必要な画素は、すでに適応オフセットフィルタが終わっている。しかしながら、画素Ｐ３および画素Ｐ４のバリアンスの計算に必要な画素の一部（LCU境界から５ライン目の画素）は、まだ適応オフセットフィルタが終わってないので、バリアンスの計算に用いることができない。したがって、適応ループフィルタは、LCU境界から５ライン目乃至８ライン目の４×４画素ブロックのクラス分類処理で待機することになる。
ここで、適応ループフィルタのフィルタ処理は、例えば、垂直方向については５タップで行われる。したがって、LCU境界から５ライン目乃至８ライン目の４×４画素ブロックのクラス分類処理およびフィルタ処理のために、適応ループフィルタのラインメモリには、適応オフセットフィルタ済みの６ライン目乃至１０ライン目の画素が保持される。
なお、図６の例は、デブロッキングフィルタ、適応オフセットフィルタ、および適応ループフィルタの処理の一例であり、処理可能なラインやラインメモリ数は、アーキテクチャによって異なる場合もある。
以上のように、適応ループフィルタにおいては、バリアンスを計算する際に、垂直方向に参照する画素の範囲が広いと、LCU境界から８ライン目より下における４×４画素のブロックのクラス分類が行うことができない。このため、４×４画素のブロックのフィルタ係数を決定することが困難であり、その結果、フィルタ処理も行うことができないので、アーキテクチャによっては、LCUの下部では、ラインメモリを多く保持しなければならなかった。
そこで、以下に説明する適応ループフィルタにおいては、バリアンスを計算するブロックにおけるサンプル点を、ブロックの上部に位置する画素に変更することにより、ラインメモリの削減を図る。
ここで、ブロックの上部に位置するとは、ブロックサイズの半分のサイズよりも上の部分に位置することを意味する。
ブロックの上部に位置する画素は、例えば、ブロックサイズが４×４画素であれば、垂直方向に２画素サンプルポジションを基準として、その基準よりも上に位置する画素であればよい。また、ブロックの上部に位置する画素は、例えば、ブロックサイズが８×８画素であれば、垂直方向に４画素サンプルポジションを基準として、その基準よりも上に位置する画素であればよい。要するに、サンプル点とする画素は、ブロックの上半分内に位置する画素であればよい。
＜３．第１の実施の形態＞
［適応ループフィルタにおけるサンプル点の例］
まず、図７を参照して、本技術の適応ループフィルタの処理について説明する。なお、図１に示した画像符号化装置１１の適応ループフィルタ４２ａおよび図３に示した画像復号装置５１の適応ループフィルタ４２ｂの構成は、共通であってよい。したがって、これ以降の説明においては、個々に区別する必要がない場合、適応ループフィルタ４２ａおよび適応ループフィルタ４２ｂを適応ループフィルタ４２と総称する。
図７の例においては、左側に、比較のための非特許文献１の提案における手法、右側に、適応ループフィルタ４２による手法が示されている。丸は、画素を表し、黒丸は、バリアンスの計算が行われる画素を示している。また、実線は、クラス分類を行う４×４画素ブロックを表しており、点線は、バリアンスの計算の際に参照される画素の範囲を表している。
非特許文献１の提案では、図５を参照して上述したように４×４画素ブロック内の４画素が、クラス分類のためのバリアンスの計算対象としてサブサンプリングされ、そのサブサンプリングされた４画素についてのみバリアンスを計算してクラス分類が行われる。
サブサンプリングされる４画素は、図７の左側に示されるように、ブロック内における、上から１行目における左から１列目および３列目の画素と、上から３行目における左から１列目および３列目の画素である。
バリアンスの計算には、周辺８画素が必要となるので、上述した４画素のバリアンス計算の際に参照される画素の範囲は、点線に示される５×５画素の範囲となる。
これに対して、適応ループフィルタ４２においては、図７の右側に示されるように、ブロック内における、上から１行目の左から１列目および３列目の画素と、上から２行目の左から１列目および３列目の画素が、サンプル点として設定される。
クラス分類のためのバリアンスの計算には、周辺８画素が必要となるので、適応ループフィルタ４２の場合、４画素のバリアンス計算の際に参照される画素の範囲は、点線に示される垂直方向に４画素×水平方向に５画素の範囲となる。
すなわち、適応ループフィルタ４２においては、４×４画素のバリアンスの計算を行うサンプル点のうち、ブロックの下に位置するサンプル点の位置が、従来と比して垂直方向に１ライン上に変更（設定）される。
これにより、バリアンス計算の際の垂直方向の参照範囲も、従来と比して垂直方向に１ライン上に変更される。すなわち、バリアンス計算の際の垂直方向の参照範囲を、従来と比して１ライン分小さくすることができ、その分、ラインメモリを削減することができる。
［LCU境界における適応ループフィルタの説明］
図８を参照して、適応ループフィルタ４２のLCUの水平境界での処理について説明する。図８の例においては、左側に、図６を参照して上述した非特許文献１の提案における手法が比較のために示されている。また、右側に、適応ループフィルタ４２による本技術の手法が示されている。なお、図８に示されるLCUの下部は、図６と基本的に同様であるので、その詳細な説明は省略される。
図６の場合と同様に、デブロッキングフィルタは、LCU境界において、LCU境界から１ライン目乃至３ライン目の画素を処理する際、LCU境界を介して下に接するLCUの画素（次の４ライン分の画素）が入力されないとデブロッキングＶフィルタ処理を開始できない。
したがって、デブロッキングフィルタは、次に処理される対象の１乃至３ライン目の画素の処理で待機（一時停止）することになる。
適応オフセットフィルタは、適応オフセットフィルタのラインメモリに保持されているLCU境界から５ライン目の画素のフィルタ処理を行うには、LCU境界から４ライン目の画素がラインメモリに必要である。しかしながら、LCU境界から４ライン目の画素は、デブロッキングフィルタのラインメモリに保持されているので、適応オフセットフィルタは、LCU境界から５ライン目の画素のフィルタ処理を行うことができない場合がある。このような場合、適応オフセットフィルタは、処理される対象の５ライン目の画素の処理で待機することになる。
非特許文献１に記載の適応ループフィルタは、図８の左側に示されるように、LCU境界から９ライン目乃至１２ライン目の４×４画素ブロックのフィルタ処理の後、LCU境界から５ライン目乃至８ライン目の４×４画素ブロックのクラス分類処理を行う。実線に示される、LCU境界から５ライン目乃至８ライン目の４×４画素ブロックのクラス分類処理は、画素Ｐ１乃至画素Ｐ４についてのバリアンスの計算結果により行われる。
画素Ｐ１は、４×４画素ブロックにおける上から１行目の左から１列目の画素である。画素Ｐ２は、４×４画素ブロックにおける上から１行目の左から３列目の画素である。画素Ｐ３は、４×４画素ブロックにおける上から３行目の左から１列目の画素である。画素Ｐ４は、４×４画素ブロックにおける上から３行目の左から３列目の画素である。
バリアンスの計算は、各画素の周囲８画素が参照されて行われるので、点線で示される範囲の画素が、画素Ｐ１乃至画素Ｐ４のバリアンスの計算に必要な画素となる。画素Ｐ１および画素Ｐ２のバリアンスの計算に必要な画素は、LCU境界から７乃至９ライン目の画素であるので、すでに適応オフセットフィルタが終わっている。しかしながら、画素Ｐ３および画素Ｐ４のバリアンスの計算に必要な画素の一部（LCU境界から５ライン目の画素）は、まだ適応オフセットフィルタが終わってないので、用いることができない。したがって、適応ループフィルタは、LCU境界から５ライン目乃至８ライン目の４×４画素ブロックのクラス分類処理で待機することになる。
また、適応ループフィルタのフィルタ処理は、例えば、垂直方向については５タップで行われる。したがって、LCU境界から５ライン目乃至８ライン目の４×４画素ブロックのクラス分類処理およびフィルタ処理のために、適応ループフィルタのラインメモリには、適応オフセットフィルタ済みの６ライン目乃至１０ライン目の画素が保持される。
これに対して、本技術を適用した適応ループフィルタ４２は、図８の右側に示されるように、LCU境界から５ライン目乃至８ライン目の４×４画素ブロックのクラス分類処理を行う。その際、実線に示される４×４画素ブロックのクラス分類処理は、画素Ｐ１、画素Ｐ２、画素Ｑ１、および画素Ｑ２についてのバリアンスの計算結果により行われる。
画素Ｐ１は、４×４画素ブロックにおける上から１行目の左から１列目の画素である。画素Ｐ２は、４×４画素ブロックにおける上から１行目の左から３列目の画素である。画素Ｑ１は、４×４画素ブロックにおける上から２行目の左から１列目の画素である。画素Ｑ２は、４×４画素ブロックにおける上から２行目の左から３列目の画素である。
すなわち、適応ループフィルタ４２においては、従来のサンプル点である画素Ｐ３が、４×４画素ブロックにおける１列上の画素Ｑ１に変更され、従来のサンプル点である画素Ｐ４が、４×４画素ブロックにおける１列上の画素Ｑ２に変更されている。すなわち、４つのサンプル点は、すべて４×４画素ブロックにおける上部（上から１または２行目のライン）に位置する画素となる。
画素Ｐ１および画素Ｐ２のバリアンスの計算に必要な画素は、LCU境界から７乃至９ライン目の画素であるので、すでに適応オフセットフィルタが終わっている。また、画素Ｑ１および画素Ｑ２のバリアンスの計算に必要な画素は、LCU境界から６乃至８ライン目の画素であるので、すでに適応オフセットフィルタが終わっている。
以上により、適応ループフィルタ４２は、LCU境界から５ライン目乃至８ライン目の４×４画素ブロックのクラス分類処理を行うことができる。ここで、適応ループフィルタ４２のフィルタ処理は、例えば、垂直方向５タップで行われる。
すなわち、４×４画素ブロックにおける１列目の適応ループフィルタ４２のフィルタ処理に必要なLCU境界から６ライン目乃至１０ライン目の画素についてはすでに適応オフセットフィルタが終わっており、フィルタ処理を行うことができる。したがって、LCU境界から１０ライン目の画素は、ラインメモリからリリース（解放）することができ、結果、適応ループフィルタ４２のラインメモリには、適応オフセットフィルタが終わっている６ライン目乃至９ライン目の画素が保持されていればよい。
以上のように、適応ループフィルタ４２のラインメモリにおいては、従来の適応ループフィルタのラインメモリより、保持するラインを１ライン少なくすることができる。
HEVC方式における画像サイズは、4k×2kであり、HEVC方式のラインメモリ１ラインは、画面サイズが1920×1080であるH．264/AVCのデブロッキングのラインメモリ２ラインに相当する。H．264/AVCでは、ラインメモリ４ラインを搭載しているので、HEVC方式のラインメモリ１ラインの削減は、H．264/AVCのラインメモリの５０％の削減に相当する。
すなわち、ラインメモリ１ラインの削減は、効果が大きい。
［適応ループフィルタの構成例］
図９は、本開示を適用した適応ループフィルタの構成例を示すブロック図である。
図９の例において、適応ループフィルタ４２は、ラインメモリ１０１、ALFクラス分類部１０２、ALFフィルタ演算部１０３、および制御部１０４を含むように構成される。
前段からの適応オフセットフィルタ済みの画素は、ラインメモリ１０１、ALFクラス分類部１０２、およびALFフィルタ演算部１０３に入力される。なお、前段とは、図１の画像符号化装置１１の場合、適応オフセットフィルタ４１であり、図３の画像復号装置５１の場合、適応オフセットフィルタ８１である。
ラインメモリ１０１は、LCU境界において、前段から入力される適応オフセットフィルタ済みの画素を一旦保持する。
ALFクラス分類部１０２は、制御部１０４からの制御信号に応じて、処理対象のブロックがLCU境界（LCUの下部）ではない場合、前段から入力される適応オフセットフィルタ済みの画素を用いて、４×４画素ブロック毎にクラス分類を行う。
ALFクラス分類部１０２は、制御部１０４からの制御信号に応じて、処理対象のブロックがLCU境界（LCUの下部）である場合、ラインメモリ１０１に保持されている適応オフセットフィルタ済みの画素を用いて、４×４画素ブロック毎にクラス分類を行う。
クラス分類の際、ALFクラス分類部１０２においては、４×４画素ブロックのうち、そのブロックの上部から４つの画素がサンプルされて、その画素毎に周辺８画素が用いられて、バリアンスが計算される。
ALFクラス分類部１０２は、分類したクラス値を、ALFフィルタ演算部１０３に供給する。
ALFフィルタ演算部１０３は、制御部１０４からの制御信号に応じて、処理対象のブロックがLCU境界（LCUの下部）ではない場合、前段から入力される適応オフセットフィルタ済みの画素に対してフィルタ演算を行う。
ALFフィルタ演算部１０３は、制御部１０４からの制御信号に応じて、処理対象のブロックがLCU境界（LCUの下部）である場合、ラインメモリ１０１に保持されている適応オフセットフィルタ済みの画素に対してフィルタ演算を行う。
フィルタ演算の際、ALFフィルタ演算部１０３においては、処理対象となる画素を中心として、十字形状のタップや、スノーフレーク形状のタップが用いられる。十字形状のタップは、垂直方向に５画素、水平方向に７画素で形成される形状である。スノーフレーク形状のタップは、処理対象となる画素を中心として、垂直方向に５画素、水平方向に５画素の範囲で形成される形状である。
このとき、ALFフィルタ演算部１０３は、ALFクラス分類部１０２からのクラス値に応じたフィルタ係数を用いてフィルタ演算を行い、フィルタ演算後の出力画素を、後段へ供給する。なお、後段とは、図１の画像符号化装置１１の場合、フレームメモリ３２であり、図３の画像復号装置５１の場合、画面並べ替えバッファ６７またはフレームメモリ６９である。
制御部１０４は、入力画素の選択（スイッチング）や、処理タイミングなどを制御する制御信号を、ラインメモリ１０１、ALFクラス分類部１０２、およびALFフィルタ演算部１０３にそれぞれ供給する。
［ALFクラス分類部の構成例］
図１０は、図９のALFクラス分類部の構成例を示すブロック図である。
図１０の例において、ALFクラス分類部１０２は、画像メモリ１２１、水平・垂直バリアンス算出部１２２、バリアンス加算部１２３、クラス値決定部１２４、および制御部１２５を含むように構成される。
画像メモリ１２１には、前段あるいはラインメモリ１０１からの適応オフセットフィルタ済みの画素が入力され、保持される。
水平・垂直バリアンス算出部１２２は、制御部１２５の制御のもと、画像メモリ１２１に蓄積された４×４画素ブロックＢ内の画素のうち、サンプル点である画素について、水平方向のバリアンス値Ｈ(i,j)と垂直方向のバリアンス値Ｖ(i,j)を算出する。サンプル点である画素は、上述した図７の場合、画素Ｐ１，画素Ｐ２，画素Ｑ１，画素Ｑ２である。
水平・垂直バリアンス算出部１２２は、水平方向のバリアンス値Ｈ(i,j)と垂直方向のバリアンス値Ｖ(i,j)をバリアンス加算部１２３に供給する。
バリアンス加算部１２３は、制御部１２５の制御のもと、水平方向のバリアンス値Ｈ(i,j)と垂直方向のバリアンス値Ｖ(i,j)を用いて、水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢを求める。バリアンス加算部１２３は、求めた水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢを、クラス値決定部１２４に供給する。
ここで、図７の例の場合の、水平方向のバリアンス値Ｈ(i,j)、垂直方向のバリアンス値Ｖ(i,j)、水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢは、次の式（１）で求められる。
Figure 2013074491
 absは、絶対値を表す。iは、４×４画素ブロックＢにおけるサンプル点のｘ座標を示しており、jは、４×４画素ブロックＢにおけるサンプル点のy座標を示している。なお、この式（１）は、例であり、バリアンスの求め方はこれに限らない。
クラス値決定部１２４は、サンプル点である画素についての水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢに基づいて、この４×４画素ブロックＢのクラス値を求める。クラス値決定部１２４は、求めたクラス値を、ALFフィルタ演算部１０３に供給する。
制御部１２５は、対象画素判定部１３１および終了判定部１３２を含むように構成されており、ALFクラス分類部１０２の各部を制御する。
対象画素判定部１３１は、画像メモリ１２１に蓄積された４×４画素ブロックＢ内の画素を判定し、水平・垂直バリアンス算出部１２２およびバリアンス加算部１２３を制御する。すなわち、対象画素判定部１３１は、画像メモリ１２１に蓄積された４×４画素ブロックＢ内の画素が、例えば、図７を参照して上述した所定の位置の画素であるか否かを判定する。そして、対象画素判定部１３１は、所定の位置の画素であると判定した画素をサンプル点に設定して、設定したサンプル点について、水平・垂直バリアンス算出部１２２およびバリアンス加算部１２３を制御し、バリアンスを計算させる。
終了判定部１３２は、ALFクラス分類部１０２における処理の終了を判定する。終了判定部１３２は、例えば、処理対象の画素が、４×４画素ブロックＢの最後の画素であるか、あるいは、処理対象のブロックＢが、画面内最後の４×４画素ブロックであるかを判定し、クラス値決定部１２４の処理を制御する。
［適応ループフィルタの処理例］
次に、図１１のフローチャートを参照して、適応ループフィルタ４２の適応ループフィルタ処理を説明する。なお、図１１の処理は、上述した図２のステップＳ２４の適応ループフィルタ処理の例であって、図４のステップＳ６０の適応ループフィルタ処理の例である。
前段からの適応オフセットフィルタ済みの画素は、ラインメモリ１０１、ALFクラス分類部１０２、およびALFフィルタ演算部１０３に入力される。
ステップＳ１０１において、ALFクラス分類部１０２は、適応オフセットフィルタ済みの画素を用いて、４×４画素ブロックＢ毎にクラス分類処理を行う。なお、このクラス分類処理の詳細は後述される。
なお、ALFクラス分類部１０２は、制御部１０４からの制御信号に応じて、処理対象のブロックＢがLCU境界（LCUの下部）ではない場合、前段から入力される適応オフセットフィルタ済みの画素を用いて、４×４画素ブロックＢ毎にクラス分類を行う。
ALFクラス分類部１０２は、制御部１０４からの制御信号に応じて、処理対象のブロックＢがLCU境界（LCUの下部）である場合、ラインメモリ１０１に保持されている適応オフセットフィルタ済みの画素を用いて、４×４画素ブロックＢ毎にクラス分類を行う。
クラス分類された結果の４×４画素ブロックＢ毎のクラス値は、ALFフィルタ演算部１０３に供給される。
ステップＳ１０２において、ALFフィルタ演算部１０３は、適応オフセットフィルタ済みの画素に対して、ALFクラス分類部１０２からのクラス値に応じたフィルタ係数を用いて、フィルタ演算を行う。
ALFフィルタ演算部１０３は、制御部１０４からの制御信号に応じて、処理対象のブロックＢがLCU境界（LCUの下部）ではない場合、前段から入力される適応オフセットフィルタ済みの画素を中心としたタップに対してフィルタ演算を行う。
ALFフィルタ演算部１０３は、制御部１０４からの制御信号に応じて、処理対象のブロックがLCU境界（LCUの下部）である場合、ラインメモリ１０１に保持されている適応オフセットフィルタ済みの画素を中心としたタップに対してフィルタ演算を行う。
ALFフィルタ演算部１０３は、フィルタ演算後の出力画素を、後段へ供給する。
［クラス分類の処理例］
次に、図１２のフローチャートを参照して、図１１のステップＳ１０１におけるクラス分類処理を説明する。図１２の例においては、図７を参照して上述した４画素が、サンプル点として設定される例を説明する。
ステップＳ１２１において、対象画素判定部１３１は、画像メモリ１２１から４×４画素ブロックＢから選択した１つの対象画素が、４×４画素ブロックＢ内の１行目または２行目（Row:1or2）の１列目または２列目（Col:1or2）の画素であるか否かを判定する。
ステップＳ１２１において、対象画素が、４×４画素ブロックＢ内の１行目または２行目（Row:1or2）の１列目または２列目（Col:1or2）の画素であると判定された場合、処理は、ステップＳ１２２に進む。
ステップＳ１２２において、水平・垂直バリアンス算出部１２２は、対象画素判定部１３１の制御のもと、対象画素をサンプル点に設定して、サンプル点についてバリアンスを計算する。水平・垂直バリアンス算出部１２２は、計算した水平方向のバリアンス値Ｈ(i,j)と垂直方向のバリアンス値Ｖ(i,j)をバリアンス加算部１２３に供給する。
ステップＳ１２３において、バリアンス加算部１２３は、制御部１２５の制御のもと、上述した式（１）により、バリアンスの計算結果を各要素についてそれぞれ加算する。すなわち、バリアンス加算部１２３は、計算結果である水平方向のバリアンス値Ｈ(i,j)と垂直方向のバリアンス値Ｖ(i,j)を用いて、水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢを求める。バリアンス加算部１２３は、求めた水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢを、クラス値決定部１２４に供給する。
ステップＳ１２１において、対象画素が、４×４画素ブロックＢ内の１行目または２行目（Row:1or2）の１列目または２列目（Col:1or2）の画素ではないと判定された場合、処理は、ステップＳ１２２およびＳ１２３をスキップし、ステップＳ１２４に進む。
ステップＳ１２４において、対象画素判定部１３１は、対象画素が、４×４画素ブロックＢ内の最後の対象画素（すなわち、１６個目の画素）であるか否かを判定する。ステップＳ１２４において、４×４画素ブロックＢ内の最後の対象画素ではないと判定された場合、処理は、ステップＳ１２１に戻り、次にラスタスキャン順に選択された対象画素について、それ以降の処理が繰り返される。
ステップＳ１２４において、４×４画素ブロックＢ内の最後の対象画素であると判定された場合、処理は、ステップＳ１２５に進む。ステップＳ１２５において、クラス値決定部１２４は、バリアンスの計算値からクラス値を決定する。すなわち、クラス値決定部１２４は、水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢに基づいて、この４×４画素ブロックＢのクラス値を求め、求めたクラス値を、ALFフィルタ演算部１０３に供給する。
ステップＳ１２６において、終了判定部１３２は、この４×４画素ブロックＢが、画面内最後の４×４画素ブロックであるか否かを判定する。ステップＳ１２６において、この４×４画素ブロックＢが、画面内最後の４×４画素ブロックではないと判定された場合、処理は、ステップＳ１２１に戻り、ラスタスキャン順に次の４×４画素ブロックＢについて、それ以降の処理が繰り返される。
ステップＳ１２６において、この４×４画素ブロックＢが、画面内最後の４×４画素ブロックであると判定された場合、図１２のクラス分類処理は終了する。
以上のように、クラス分類のためのバリアンス計算対象のサンプル点とする画素の位置を、４×４画素ブロックの上部分に変更したので、ラインメモリ数を減らすことが可能である。
なお、上述したように、サンプル点とする画素の位置は、４×４画素ブロックの上部分であればよく、図７の例に限らない。サンプル点とする画素の位置は、例えば、図１３に示すようにしてもよい。
＜４．第２の実施の形態＞
［適応ループフィルタにおけるサンプル点の例］
次に、図１３を参照して、本技術の適応ループフィルタの処理の他の例について説明する。なお、図１３の例のサンプル点を用いる場合の適応ループフィルタ４２の構成も、図９を参照して上述した構成と基本的に同様であるので、その説明は省略される。
図１３の例においては、左側に、比較のための非特許文献１の提案における手法、右側に、適応ループフィルタ４２による手法が示されている。丸は、画素を表し、黒丸は、バリアンスの計算が行われる画素を示している。また、実線は、クラス分類を行う４×４画素ブロックを表しており、点線は、バリアンスの計算の際に参照される画素の範囲を表している。
非特許文献１の提案では、図５を参照して上述したように４×４画素のブロック内の４画素が、クラス分類のためのバリアンスの計算対象としてサブサンプリングされ、そのサブサンプリングされた４画素についてのみバリアンスを計算してクラス分類が行われる。
サブサンプリングされる４画素は、図１３の左側に示されるように、ブロック内における、上から１行目の左から１列目および３列目の画素と、上から３行目の左から１列目および３列目の画素である。
バリアンスの計算には、周辺８画素が必要となるので、上述した４画素のバリアンス計算の際に参照される画素の範囲は、点線に示される５×５画素の範囲となる。
これに対して、適応ループフィルタ４２においては、図１３の右側に示されるように、ブロック内における、上から１行目における左から１乃至４列目の画素が、サンプル点として設定される。
クラス分類のためのバリアンスの計算には、周辺８画素が必要となるので、適応ループフィルタ４２の場合、４画素のバリアンス計算の際に参照される画素の範囲は、点線に示される垂直方向に３画素×水平方向に６画素の範囲となる。
すなわち、適応ループフィルタ４２においては、４×４画素のバリアンスの計算を行うサンプル点のうち、ブロックの下に位置するサンプル点の位置が、従来と比して垂直方向に２ライン上に変更（設定）される。
これにより、バリアンス計算の際の垂直方向の参照範囲も、従来と比して２ライン上に変更される。小さくすることができる。すなわち、バリアンス計算の際の垂直方向の参照範囲を、従来に比して２ライン、図７の例の場合と比してさらに１ライン小さくすることができ、その分、ラインメモリを削減することができる。
［クラス分類の処理例］
次に、図１４のフローチャートを参照して、図１３の例のサンプル点を用いて行われるクラス分類処理を説明する。なお、このクラス分類処理は、図１１のステップＳ１０１におけるクラス分類処理の他の例である。図１４の例においては、図１３を参照して上述した４画素が、サンプル点として設定される例を説明する。
ステップＳ１４１において、対象画素判定部１３１は、画像メモリ１２１から４×４画素ブロックＢから選択した１つの対象画素が、４×４画素ブロックＢ内の１行目（Row:1）の画素であるか否かを判定する。
ステップＳ１４１において、対象画素が、４×４画素ブロックＢ内の１行目（Row:1）の画素であると判定された場合、処理は、ステップＳ１４２に進む。
ステップＳ１４２において、水平・垂直バリアンス算出部１２２は、対象画素判定部１３１の制御のもと、対象画素をサンプル点に設定して、サンプル点についてバリアンスを計算する。水平・垂直バリアンス算出部１２２は、計算した水平方向のバリアンス値Ｈ(i,j)と垂直方向のバリアンス値Ｖ(i,j)をバリアンス加算部１２３に供給する。
ステップＳ１４３において、バリアンス加算部１２３は、制御部１２５の制御のもと、次の式（２）により、バリアンスの計算結果を各要素についてそれぞれ加算する。すなわち、バリアンス加算部１２３は、計算結果である水平方向のバリアンス値Ｈ(i,j)と垂直方向のバリアンス値Ｖ(i,j)を用いて、水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢを求める。
Figure 2013074491
 absは、絶対値を表す。iは、４×４画素ブロックにおけるサンプル点のｘ座標を示しており、jは、４×４画素ブロックにおけるサンプル点のy座標を示している。
バリアンス加算部１２３は、求めた水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢを、クラス値決定部１２４に供給する。
ステップＳ１４１において、対象画素が、４×４画素ブロックＢ内の１行目（Row:1）の画素ではないと判定された場合、処理は、ステップＳ１４２およびＳ１４３をスキップし、ステップＳ１４４に進む。
ステップＳ１４４において、対象画素判定部１３１は、対象画素が、４×４画素ブロックＢ内の最後の対象画素（すなわち、１６個目の画素）であるか否かを判定する。ステップＳ１４４において、４×４画素ブロックＢ内の最後の対象画素ではないと判定された場合、処理は、ステップＳ１４１に戻り、次にラスタスキャン順に選択された対象画素について、それ以降の処理が繰り返される。
ステップＳ１４４において、４×４画素ブロックＢ内の最後の対象画素であると判定された場合、処理は、ステップＳ１４５に進む。ステップＳ１４５において、クラス値決定部１２４は、バリアンスの計算値からクラス値を決定する。すなわち、クラス値決定部１２４は、水平バリアンス加算値ＨＢ、垂直バリアンス加算値ＶＢ、およびラプラシアン代用バリアンス加算値ＬＢに基づいて、この４×４画素ブロックＢのクラス値を求め、求めたクラス値を、ALFフィルタ演算部１０３に供給する。
ステップＳ１４６において、終了判定部１３２は、この４×４画素ブロックＢが、画面内最後の４×４画素ブロックであるか否かを判定する。ステップＳ１４６において、この４×４画素ブロックＢが、画面内最後の４×４画素ブロックではないと判定された場合、処理は、ステップＳ１４１に戻り、ラスタスキャン順に次の４×４画素ブロックについて、それ以降の処理が繰り返される。
ステップＳ１４６において、この４×４画素ブロックＢが、画面内最後の４×４画素ブロックであると判定された場合、図１４のクラス分類処理は終了する。
以上のように、バリアンス計算対象のサンプル点とする画素の位置を、４×４画素ブロックの上部分に変更したので、ラインメモリ数を減らすことが可能である。
なお、上記説明においては、クラス分類を行う際の指標（基準）となる評価値の代表的な値として、バリアンスを用いて説明したが、バリアンスに限定されず、クラス分類を行う際の指標（基準）となる代表値であれば、他の値を用いてもよい。他の値の例としては、例えば、隣接画素との差分値の和、差分値、差分の分布、隣接画素との相関などがあげられる。
また、上記説明においては、クラス分類を行うブロックサイズとして、４×４画素の例を用いて説明したが、ブロックサイズは、４×４画素に限定されず、例えば、２×２画素や８×８画素としてもよい。
以上においては、符号化方式としてHEVC方式をベースに用いるようにした。ただし、本開示はこれに限らず、インループフィルタとして、少なくともデブロッキングフィルタと適応ループフィルタを含む、その他の符号化方式／復号方式を適用することができる。
なお、本開示は、例えば、HEVC方式等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
＜５．第３の実施の形態＞
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜６．応用例＞
［第１の応用例：テレビジョン受像機］
図１６は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、LCUの下部において必要なラインメモリの削減を図ることができる。
［第２の応用例：携帯電話機］
図１７は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、LCUの下部において必要なラインメモリの削減を図ることができる。
［第３の応用例：記録再生装置］
図１８は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、LCUの下部において必要なラインメモリの削減を図ることができる。
［第４の応用例：撮像装置］
図１９は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、LCUの下部において必要なラインメモリの削減を図ることができる。
なお、本明細書においては、主に垂直境界についてのフィルタリング処理が水平境界についてのフィルタリング処理よりも先に行われる例を説明したが、水平境界についてのフィルタリング処理が先に行われる場合にも本開示に係る技術による上述した効果は同等に享受され得る。また、デブロックフィルタの処理単位のサイズ又はLCUのサイズは、本明細書で説明した例に限定されず、他のサイズであってもよい。
また、本明細書においては、垂直境界についてのフィルタリング処理のフィルタタップは水平方向に沿って並ぶことから、垂直境界についてのフィルタリング処理のフィルタを「Ｈ（水平）フィルタ」と表現した。同様に、水平境界についてのフィルタリング処理のフィルタタップは垂直方向に沿って並ぶことから、水平境界についてのフィルタリング処理のフィルタを「Ｖ（垂直）フィルタ」と表現した。しかしながら、一般に、垂直境界についてのフィルタリング処理のフィルタをが「Ｖ（垂直）フィルタ」、水平境界についてのフィルタリング処理のフィルタが「Ｈ（水平）フィルタ」とそれぞれ呼ばれる場合もあることに留意されたい。
なお、本明細書では、予測モード、適応オフセットフィルタ、および、適応ループフィルタの各パラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 符号化ストリームを復号処理して画像を生成する復号部と、
前記復号部により生成された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定する設定部と、
前記設定部により設定されたサンプル画素の評価値に基づいて、前記復号部により生成された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類するクラス分類部と、
前記クラス分類部によりクラス分類されたクラスに従って、前記復号部により生成された画像を、ブロックベースでフィルタ処理するフィルタ処理部と
を備える画像処理装置。
（２） 前記ブロックは、４×４の画素で構成されており、
前記設定部は、前記ブロックの上部に位置する４つの画素をサンプル画素として設定する
前記（１）に記載の画像処理装置。
（３） 前記設定部は、前記ブロックにおいて、上から１行目の左から１列目および３列目の画素、並びに上から３行目の左から１列目および３列目の画素をサンプル画素として設定する
前記（２）に記載の画像処理装置。
（４） 前記設定部は、前記ブロックにおいて、上から１列目の左から１乃至４行目の画素をサンプル画素として設定する
前記（２）に記載の画像処理装置。
（５） 前記設定部により設定されたサンプル画素の評価値を算出する評価値算出手段を
さらに備える前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記評価値は、バリアンス（分散値）である
前記（５）に記載の画像処理装置。
（７） 画像処理装置が、
符号化ストリームを復号処理して画像を生成し、
生成された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定し、
設定されたサンプル画素の評価値に基づいて、生成された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類し、
クラス分類されたクラスに従って、生成された画像を、ブロックベースでフィルタ処理する
画像処理方法。
（８） 画像を符号化する際にローカル復号処理された画像を構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定する設定部と、
前記設定部により設定されたサンプル画素の評価値に基づいて、ローカル復号処理された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類するクラス分類部と、
前記クラス分類部によりクラス分類されたクラスに従って、ローカル復号処理された画像を、ブロックベースでフィルタ処理するフィルタ処理部と、
前記フィルタ処理部によりフィルタ処理された画像を用いて、前記画像を符号化する符号化部と
を備える画像処理装置。
（９） 前記ブロックは、４×４の画素で構成されており、
前記設定部は、前記ブロックの上部に位置する４つの画素をサンプル画素に設定する
前記（８）に記載の画像処理装置。
（１０） 前記設定部は、前記ブロックにおいて、上から１行目の左から１列目および３列目の画素、並びに上から３行目の左から１列目および３列目の画素をサンプル画素として設定する
前記（９）に記載の画像処理装置。
（１１） 前記設定部は、前記ブロックにおいて、上から１列目の左から１乃至４行目の画素をサンプル画素として設定する
前記（９）に記載の画像処理装置。
（１２） 前前記設定部により設定されたサンプル画素の評価値を算出する評価値算出手段を
さらに備える前記（８）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記評価値は、バリアンス（分散値）である
前記（１２）に記載の画像処理装置。
（１４） 画像処理装置が、
画像を符号化する際にローカル復号処理された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定し、
設定されたサンプル画素の評価値に基づいて、ローカル復号処理された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類し、
クラス分類されたクラスに従って、ローカル復号処理された画像を、ブロックベースでフィルタ処理し、
フィルタ処理された画像を用いて、前記画像を符号化する
画像処理方法。
１１ 画像符号化装置， ２６ 可逆符号化部， ３１ デブロッキングフィルタ， ４１ 適応オフセットフィルタ， ４２，４２ａ，４２ｂ 適応ループフィルタ， ５１ 画像復号装置， ６２ 可逆復号部， ８１ 適応オフセットフィルタ， １０１ ラインメモリ， １０２ ALFクラス分類部， １０３ ALFフィルタ演算部， １０４ 制御部， １２１ 画素メモリ， １２２ 水平・垂直バリアンス算出部， １２３ バリアンス加算部， １２４ クラス値決定部， １２５ 制御部， １３１ 対象画素判定部， １３２ 終了判定部

Claims (14)

  1. 符号化ストリームを復号処理して画像を生成する復号部と、
    前記復号部により生成された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定する設定部と、
    前記設定部により設定されたサンプル画素の評価値に基づいて、前記復号部により生成された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類するクラス分類部と、
    前記クラス分類部によりクラス分類されたクラスに従って、前記復号部により生成された画像を、ブロックベースでフィルタ処理するフィルタ処理部と
    を備える画像処理装置。
  2. 前記ブロックは、４×４の画素で構成されており、
    前記設定部は、前記ブロックの上部に位置する４つの画素をサンプル画素として設定する
    請求項１に記載の画像処理装置。
  3. 前記設定部は、前記ブロックにおいて、上から１行目の左から１列目および３列目の画素、並びに上から３行目の左から１列目および３列目の画素をサンプル画素として設定する
    請求項２に記載の画像処理装置。
  4. 前記設定部は、前記ブロックにおいて、上から１列目の左から１乃至４行目の画素をサンプル画素として設定する
    請求項２に記載の画像処理装置。
  5. 前記設定部により設定されたサンプル画素の評価値を算出する評価値算出手段を
    さらに備える請求項２に記載の画像処理装置。
  6. 前記評価値は、バリアンス（分散値）である
    請求項５に記載の画像処理装置。
  7. 画像処理装置が、
    符号化ストリームを復号処理して画像を生成し、
    生成された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定し、
    設定されたサンプル画素の評価値に基づいて、生成された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類し、
    クラス分類されたクラスに従って、生成された画像を、ブロックベースでフィルタ処理する
    画像処理方法。
  8. 画像を符号化する際にローカル復号処理された画像を構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定する設定部と、
    前記設定部により設定されたサンプル画素の評価値に基づいて、ローカル復号処理された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類するクラス分類部と、
    前記クラス分類部によりクラス分類されたクラスに従って、ローカル復号処理された画像を、ブロックベースでフィルタ処理するフィルタ処理部と、
    前記フィルタ処理部によりフィルタ処理された画像を用いて、前記画像を符号化する符号化部と
    を備える画像処理装置。
  9. 前記ブロックは、４×４の画素で構成されており、
    前記設定部は、前記ブロックの上部に位置する４つの画素をサンプル画素に設定する
    請求項８に記載の画像処理装置。
  10. 前記設定部は、前記ブロックにおいて、上から１行目の左から１列目および３列目の画素、並びに上から３行目の左から１列目および３列目の画素をサンプル画素として設定する
    請求項９に記載の画像処理装置。
  11. 前記設定部は、前記ブロックにおいて、上から１列目の左から１乃至４行目の画素をサンプル画素として設定する
    請求項９に記載の画像処理装置。
  12. 前記設定部により設定されたサンプル画素の評価値を算出する評価値算出手段を
    さらに備える請求項９に記載の画像処理装置。
  13. 前記評価値は、バリアンス（分散値）である
    請求項１２に記載の画像処理装置。
  14. 画像処理装置が、
    画像を符号化する際にローカル復号処理された画像のブロックを構成する画素のうち、前記ブロックの上部に位置する画素を、ブロックベースでクラス分類を行う際の基準となる評価値を計算する際に用いるサンプル画素として設定し、
    設定されたサンプル画素の評価値に基づいて、ローカル復号処理された画像のブロックを構成する画素を対象として、ブロックベースでクラス分類し、
    クラス分類されたクラスに従って、ローカル復号処理された画像を、ブロックベースでフィルタ処理し、
    フィルタ処理された画像を用いて、前記画像を符号化する
    画像処理方法。
JP2011212551A 2011-09-28 2011-09-28 画像処理装置および方法 Withdrawn JP2013074491A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011212551A JP2013074491A (ja) 2011-09-28 2011-09-28 画像処理装置および方法
PCT/JP2012/074144 WO2013047335A1 (ja) 2011-09-28 2012-09-21 画像処理装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011212551A JP2013074491A (ja) 2011-09-28 2011-09-28 画像処理装置および方法

Publications (1)

Publication Number Publication Date
JP2013074491A true JP2013074491A (ja) 2013-04-22

Family

ID=47995367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011212551A Withdrawn JP2013074491A (ja) 2011-09-28 2011-09-28 画像処理装置および方法

Country Status (2)

Country Link
JP (1) JP2013074491A (ja)
WO (1) WO2013047335A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873237B (zh) * 2016-12-01 2023-12-29 谷歌有限责任公司 用于恢复由重构产生的劣化帧的劣化图块的方法和装置
CN107592537B (zh) * 2017-10-20 2019-11-08 东华大学 一种面向航拍图像集的自适应压缩采样分配方法
CN115119046B (zh) * 2022-06-02 2024-04-16 绍兴市北大信息技术科创中心 一种参考像素集的图像编解码方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
WO2013047335A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
JP5942990B2 (ja) 画像処理装置および方法
JP6521013B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US10412418B2 (en) Image processing apparatus and method
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
US20230055659A1 (en) Image processing device and method using adaptive offset filter in units of largest coding unit
WO2015005367A1 (ja) 画像復号装置および方法
US20150036758A1 (en) Image processing apparatus and image processing method
JP6256340B2 (ja) 画像処理装置および方法、並びにプログラム
WO2014050676A1 (ja) 画像処理装置および方法
JP2014207536A (ja) 画像処理装置および方法
JP2011223337A (ja) 画像処理装置および方法
WO2013051452A1 (ja) 画像処理装置および方法
WO2013047325A1 (ja) 画像処理装置および方法
US9930353B2 (en) Image decoding device and method
WO2013047335A1 (ja) 画像処理装置および方法
JP5999449B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2014002900A1 (ja) 画像処理装置および画像処理方法
JP6768208B2 (ja) 画像処理装置および方法
JP6341067B2 (ja) 画像処理装置および方法
JP2013150124A (ja) 画像処理装置および方法
US20160037184A1 (en) Image processing device and method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141202