JP2011139208A - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP2011139208A
JP2011139208A JP2009296949A JP2009296949A JP2011139208A JP 2011139208 A JP2011139208 A JP 2011139208A JP 2009296949 A JP2009296949 A JP 2009296949A JP 2009296949 A JP2009296949 A JP 2009296949A JP 2011139208 A JP2011139208 A JP 2011139208A
Authority
JP
Japan
Prior art keywords
filter
image
unit
class
block distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009296949A
Other languages
English (en)
Inventor
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009296949A priority Critical patent/JP2011139208A/ja
Priority to EP10840893A priority patent/EP2521356A1/en
Priority to US13/517,158 priority patent/US20120257681A1/en
Priority to PCT/JP2010/072736 priority patent/WO2011081035A1/ja
Priority to RU2012125818/08A priority patent/RU2012125818A/ru
Priority to CN201080059659.4A priority patent/CN102714718A/zh
Priority to BR112012015216A priority patent/BR112012015216A2/pt
Priority to KR1020127015971A priority patent/KR20120096519A/ko
Publication of JP2011139208A publication Critical patent/JP2011139208A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化効率の高い符号化や復号をより効率よく行うことができるようにする。
【解決手段】画素分類部１５１は、演算部１１０から供給されたフィルタ処理前の復号画像の各画素値をクラス分類する。フィルタ係数算出部１１２は、分類された画素値の各クラスについて、フィルタ係数を算出する。強デブロックフィルタ１５２、弱デブロックフィルタ１５３、および適応フィルタ１５４は、それぞれ、フィルタ係数算出部１１２から供給されたフィルタ係数を用いて、演算部１１０から供給された画素値に対してそれぞれのフィルタ処理を行う。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図８

Description

本発明は、画像処理装置および方法に関し、特に、符号化効率の高い符号化や復号をより効率よく行うことができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
特に、MPEG２（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
MPEG２は主として放送用に適合する高画質符号化を対象としていたが、MPEG１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC14496-2としてその規格が国際標準に承認された。
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L（ITU-T（ITU Telecommunication Standardization Sector）Q6/16 VCEG（Video Coding Experts Group））という標準の規格化が進んでいる。H.26LはMPEG２やMPEG４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG４の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG４ Part１０（AVC（Advanced Video Coding））という名の元に国際標準となった。
更に、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG２で規定されていた8x8DCT（Discrete Cosine Transform）や量子化マトリクスをも含んだFRExt（Fidelity Range Extension）の標準化が行われ、これにより、AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc等の幅広いアプリケーションに用いられる運びとなった。
しかしながら、昨今、ハイビジョン画像の４倍の、４０００×２０００画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。
また、最近、検討されている次世代のビデオ符号化技術として適応ループフィルタ（ALF（Adaptive Loop Filter））がある（例えば、非特許文献１および非特許文献２参照）。このループフィルタにより、フレーム毎に最適なフィルタ処理が行われ、デブロックフィルタで取りきれなかったブロック歪みや量子化による歪みを低減することができる。
ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるようなUHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。このような場合、マクロブロックサイズを、例えば、３２画素×３２画素、６４×６４画素といった大きさにすることが提案されている（例えば、非特許文献３参照）。
Yi-Jen Chiu and L. Xu, ‘‘Adaptive (Wiener) Filter for Video Compression,’’ ITU-T SG16 Contribution, C437, Geneva, April 2008. Takeshi. Chujoh, et al., ‘‘Block-based Adaptive Loop Filter’’ ITU-T SG16 Q6 VCEG Contribution, AI18, Germany, July, 2008 Qualcomm Inc, "Video Coding Using Extended Block Sizes" ITU-T SG16 Contribution, C123, English, January 2009.
しかしながら、従来提案されている方法においては、符号化処理若しくは復号処理、デブロックフィルタ処理、及び適応フィルタ処理が時系列に実行される。したがって、リアルタイム処理によりこれらの処理を全て実行するためには、より高いクロック周波数の回路により実行しなければならず、演算量や消費電力が増大してしまう恐れがあった。
本発明は、このような状況に鑑みて提案されたものであり、画像の符号化または復号の際に行うフィルタ処理の効率を向上させることにより、演算量や消費電力の増大を抑制し、リアルタイム処理をより低いコストで実現することができるようにすることを目的とする。
本発明の一側面は、画像の各画素を、ブロック歪の除去の必要性に応じて複数のクラスのいずれかに分類するクラス分類手段と、前記クラス分類手段により、前記ブロック歪を除去する必要性が高いクラスに分類された画素に対して前記ブロック歪を除去するためのデブロックフィルタ処理を行うデブロックフィルタ手段と、前記クラス分類手段により、前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して画質向上のための適応フィルタ処理を行う適応フィルタ手段とを備える画像処理装置である。
前記デブロックフィルタ手段として、前記ブロック歪を強く除去する強デブロックフィルタ処理を行う強デブロックフィルタ手段と、前記ブロック歪を弱く除去する弱デブロックフィルタ処理を行う弱デブロックフィルタ手段とを備え、前記クラス分類手段は、前記画像の各画素を、前記ブロック歪を強く除去する必要性が高いクラス、前記ブロック歪を弱く除去する必要性が高いクラス、および、前記ブロック歪を除去する必要性が低いクラスの３つのクラスのいずれかに分類し、前記強デブロックフィルタ手段は、前記クラス分類手段により前記ブロック歪を強く除去する必要性が高いクラスに分類された画素に対して前記強デブロックフィルタ処理を行い、前記弱デブロックフィルタ手段は、前記クラス分類手段により前記ブロック歪を弱く除去する必要性が高いクラスに分類された画素に対して前記弱デブロックフィルタ処理を行い、前記適応フィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して画質向上のための適応フィルタ処理を行うことができる。
前記クラス分類手段は、動きベクトル情報、若しくは、マクロブロックモード情報を含む符号化情報を用いて、前記画像の各画素のクラス分類を行うことができる。
前記画像を符号化し、符号化データを生成する符号化手段をさらに備えることができる。
前記クラス分類手段により分類された各クラスについて、フィルタ処理に用いられるフィルタ係数を算出するフィルタ係数算出手段をさらに備え、前記デブロックフィルタ手段および前記適応フィルタ手段は、前記フィルタ係数算出手段により算出されたそれぞれのクラスに対応するフィルタ係数を用いてそれぞれのフィルタ処理を行うことができる。
前記フィルタ係数算出手段により算出された前記フィルタ係数を、前記符号化手段により前記画像が符号化されて得られた前記符号化データに付加する付加手段と、前記付加手段により前記フィルタ係数が付加された前記符号化データを送信する送信手段とをさらに備えることができる。
前記フィルタ係数算出手段は、前記ブロック歪を除去する必要性が低いクラスに対して行われる前記適応フィルタのフィルタ係数のみ算出し、前記適応フィルタ手段は、前記フィルタ係数算出手段により算出された前記フィルタ係数を用いて前記適応フィルタを行い、前記デブロックフィルタ手段は、予め定められた所定のフィルタ係数を用いて前記デブロックフィルタを行うことができる。
前記画像が符号化された符号化データを復号し、復号画像を生成する復号手段をさらに備え、前記クラス分類手段は、前記復号手段により前記符号化データが復号されて得られた前記復号画像の各画素を、ブロック歪の除去の必要性に応じて、複数のクラスのいずれかに分類し、前記デブロックフィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が高いクラスに分類された画素に対して前記デブロックフィルタ処理を行い、前記適応フィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して前記適応フィルタ処理を行うことができる。
前記符号化データから前記フィルタ係数を取得するフィルタ係数取得手段をさらに備え、前記デブロックフィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が高いクラスに分類された画素に対して、前記フィルタ係数取得手段により取得された、前記ブロック歪を除去する必要性が高いクラスに対応するフィルタ係数を用いて、前記デブロックフィルタ処理を行い、前記適応フィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して、前記フィルタ係数取得手段により取得された、前記ブロック歪を除去する必要性が低いクラスに対応するフィルタ係数を用いて、前記適応フィルタ処理を行うことができる。
本発明の一側面は、また、画像処理装置のクラス分類手段が、画像の各画素を、ブロック歪の除去の必要性に応じて、複数のクラスのいずれかに分類し、前記画像処理装置のデブロックフィルタ手段が、前記ブロック歪を除去する必要性が高いクラスに分類された画素に対して前記ブロック歪を除去するためのデブロックフィルタ処理を行い、前記画像処理装置の適応フィルタ手段が、前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して画質向上のための適応フィルタ処理を行う画像処理方法である。
本発明の一側面においては、画像の各画素が、ブロック歪の除去の必要性に応じて、複数のクラスのいずれかに分類され、ブロック歪を除去する必要性が高いクラスに分類された画素に対してブロック歪を除去するためのデブロックフィルタ処理が行われ、ブロック歪を除去する必要性が低いクラスに分類された画素に対して画質向上のための適応フィルタ処理が行われる。
本発明によれば、画像を符号化または復号することができる。特に、その画像の符号化または復号の際に、符号化効率を向上させるためのフィルタ処理をより効率よく行うことができる。
本発明を適用した画像符号化装置の主な構成例を示すブロック図である。 デブロックフィルタの動作原理を説明する図である。 Bsの定義の方法を説明する図である。 デブロックフィルタの動作原理を説明する図である。 indexAおよびindexBとαおよびβの値の対応関係の例を示す図である。 BsおよびindexAとtC0との対応関係の例を示す図である。 マクロブロックの例を示す図である。 適応デブロックフィルタの主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 予測処理の流れの例を説明するフローチャートである。 適応デブロックフィルタ処理の流れの例を説明するフローチャートである。 符号化または復号に関する処理の流れの例を説明するタイミングチャートである。 従来のフィルタの構成例を示すブロック図である。 従来の符号化または復号に関する処理の流れの例を説明するフローチャートである。 本発明を適用した画像復号装置の主な構成例を示すブロック図である。 適応デブロックフィルタの主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 予測画像生成処理の流れの例を説明するフローチャートである。 適応デブロックフィルタ処理の流れの例を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（パーソナルコンピュータ）
４．第４の実施の形態（テレビジョン受像機）
５．第５の実施の形態（携帯電話機）
６．第６の実施の形態（ハードディスクレコーダ）
７．第７の実施の形態（カメラ）
＜１．第１の実施の形態＞
［デバイスの構成］
図１は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
図１に示される画像符号化装置１００は、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式で画像を圧縮符号化する符号化装置であり、さらに、適応ループフィルタを採用している。
図１の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、および演算部１１０を有する。さらに、画像符号化装置１００は、適応デブロックフィルタ１１１、フィルタ係数算出部１１２、およびフレームメモリ１１３を有する。また、画像符号化装置１００は、選択部１１４、イントラ予測部１１５、動き予測・補償部１１６、および選択部１１７を有する。さらに、画像符号化装置１００は、レート制御部１１８を有する。
A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３、イントラ予測部１１５、動き予測・補償部１１６、およびフィルタ係数算出部１１２に供給する。
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、選択部１１７から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像にイントラ予測部１１５から供給される予測画像を加算する。また、たとえば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像に動き予測・補償部１１６から供給される予測画像を加算する。
直交変換部１０４は、演算部１０３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
可逆符号化部１０６は、イントラ予測を示す情報などをイントラ予測部１１５から取得し、インター予測モードを示す情報などを動き予測・補償部１１６から取得する。なお、イントラ予測を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。
可逆符号化部１０６は、さらに、適応デブロックフィルタ１１１において使用されるフィルタ係数を、フィルタ係数算出部１１２から取得する。
可逆符号化部１０６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化し、得られた変換係数を、逆直交変換部１０９に供給する。
逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力は、演算部１１０に供給される。
演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１７から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１５から供給される予測画像を加算する。また、たとえば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き予測・補償部１１６から供給される予測画像を加算する。
その加算結果は、適応デブロックフィルタ１１１またはフレームメモリ１１３に供給される。
適応デブロックフィルタ１１１は、フィルタ係数算出部１１２により算出されたフィルタ係数を用いて、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去するとともに、例えばウィナーフィルタ（Wiener Filter）を用いて適宜ループフィルタ処理を行うことにより画質改善を行う。適応デブロックフィルタ１１１は、各画素をクラス分類し、クラスごとに適切なフィルタ処理を施す。適応デブロックフィルタ１１１は、そのフィルタ処理結果をフレームメモリ１１３に供給する。
フィルタ係数算出部１１２は、適応デブロックフィルタ１１１において用いられるクラス毎のフィルタ係数を算出する。フィルタ係数算出部１１２は、フレームメモリ１１３から復号画像を取得する。また、フィルタ係数算出部１１２には、画面並べ替えバッファ１０２から読み出された入力画像も供給される。
フィルタ係数算出部１１２は、適応デブロックフィルタ１１１からクラス分類についての情報を取得すると、フレームメモリ１１３や画面並べ替えバッファ１０２から供給される画像等に基づいて、各クラスのフィルタ係数を算出し、それを適応デブロックフィルタ１１１に供給する。
また、フィルタ係数算出部１１２は、生成した各クラスのフィルタ係数を可逆符号化部１０６にも供給する。上述したようにフィルタ係数は、可逆符号化部１０６により、符号化データに含められる（多重化される）。つまり、各クラスのフィルタ係数は、符号化データとともに画像復号装置に送られる。
フレームメモリ１１３は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１４を介してイントラ予測部１１５または動き予測・補償部１１６に出力する。
例えば、イントラ符号化が行われる画像の場合、フレームメモリ１１３は、参照画像を、選択部１１４を介してイントラ予測部１１５に供給する。また、例えば、インター符号化が行われる画像の場合、フレームメモリ１１３は、参照画像を、選択部１１４を介して動き予測・補償部１１６に供給する。
画像符号化装置１００においては、例えば、画面並べ替えバッファ１０２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部１１５に供給される。また、画面並べ替えバッファ１０２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部１１６に供給される。
選択部１１４は、フレームメモリ１１３から供給される参照画像を、イントラ符号化を行う画像の場合、イントラ予測部１１５に供給し、インター符号化を行う画像の場合、動き予測・補償部１１６に供給する。
イントラ予測部１１５は、画面並べ替えバッファ１０２から読み出されたイントラ予測する画像とフレームメモリ１１３から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。
イントラ予測部１１５において、当該ブロック／マクロブロックに対して適用されたイントラ予測モード情報は、可逆符号化部１０６に伝送され、符号化データにおけるヘッダ情報の一部とされる。輝度信号に対しては、イントラ４×４予測モード、イントラ８×８予測モード及びイントラ１６×１６予測モードが定義されており、また、色差信号に関しては、それぞれのマクロブロックごとに、輝度信号とは独立した予測モードを定義することが可能である。
イントラ４×４予測モードについては、それぞれの４×４輝度ブロックに対して１つのイントラ予測モードが定義されることになる。イントラ８×８予測モードについては、それぞれの８×８輝度ブロックに対して１つのイントラ予測モードが定義されることになる。イントラ１６×１６予測モード、並びに、色差信号に対しては、１つのマクロブロックに対してそれぞれ１つの予測モードが定義されることになる。
イントラ予測部１１５は、予測画像を生成したイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部１１５は、最適イントラ予測モードで生成された予測画像を、選択部１１７を介して演算部１０３に供給する。
動き予測・補償部１１６は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、フレームメモリ１１３から供給される参照フレームとなる復号画像とを用いて、動きベクトルを算出する。動き予測・補償部１１６は、算出した動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
動き予測・補償部１１６は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。このインター予測モードは、イントラ予測モードの場合と同様である。
動き予測・補償部１１６は、予測画像を生成したインター予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるインター予測モードを、最適インター予測モードとして選択する。動き予測・補償部１１６は、最適インター予測モードで生成された予測画像を、選択部１１７を介して演算部１０３に供給する。
動き予測・補償部１１６は、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。この動きベクトル情報は、可逆符号化部１０６により、符号化データに含められる（多重化される）。つまり、動きベクトル情報は、符号化データとともに画像復号装置に送られる。
選択部１１７は、イントラ符号化を行う画像の場合、イントラ予測部１１５の出力を演算部１０３に供給し、インター符号化を行う画像の場合、動き予測・補償部１１６の出力を演算部１０３に供給する。
レート制御部１１８は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
［デブロックフィルタ］
次に、AVC符号化方式等におけるデブロックフィルタについて説明する。デブロックフィルタは、復号画像におけるブロック歪を除去する。これにより、動き補償処理により参照される画像へのブロック歪の伝播が抑制される。
デブロックフィルタの処理としては、符号化データに含まれる、Picture Parameter Set RBSP（Raw Byte Sequence Payload）に含まれるdeblocking_filter_control_present_flag、及び、スライスヘッダ（Slice Header）に含まれるdisable_deblocking_filter_idcという２つのパラメータによって、以下の（ａ）乃至（ｃ）の３通りの方法が選択可能である。
（ａ）ブロック境界、及びマクロブロック境界に施す
（ｂ）マクロブロック境界にのみ施す
（ｃ）施さない
量子化パラメータQPについては、以下の処理を輝度信号に対して適用する場合は、QPYを、色差信号に対して適用する場合はQPCを用いる。また、動きベクトル符号化、イントラ予測、エントロピー符号化（CAVLC/CABAC）においては、異なるスライスに属する画素値は"not available"として処理するが、デブロックフィルタ処理においては、異なるスライスに属する画素値でも、同一のピクチャに属する場合は"available"であるとして処理を行う。
以下においては、図２に示されるように、デブロックフィルタ処理前の画素値をp0〜p3、q0〜q3とし、処理後の画素値をp0'〜p3'、q0'〜q3'とする。
まず、デブロックフィルタ処理に先立ち、図２におけるp及びqに対して、図３に示される表のように、Bs（Boundary Strength）が定義される。
図２における(p2,p1,p0,q0,q1,q2)は、以下の式（１）および式（２）により示される条件が成立する場合のみ、デブロックフィルタ処理が施される。
Bs > 0 ・・・（１）
|p0-q0| < α; |p1-p0| < β; |q1-10| < β ・・・（２）
式（２）のαおよびβは、デフォルトでは以下のようにQPに応じてその値が定められているが、符号化データの、スライスヘッダに含まれる、slice_alpha_c0_offset_div2及びslice_beta_offset_div2という２つのパラメータによって、図４に示されるグラフの矢印のように、ユーザがその強度を調整することが可能である。
図５に示される表のように、αはindexAから求められる。同様に、βはindexBから求められる。このindexAおよびindexBは、以下の式（３）乃至式（５）のように定義される。
qPaν＝（qPp＋qPq＋１）＞＞１ ・・・（３）
indexA＝Clip3（0,51,qPaν＋FilterOffsetA） ・・・（４）
indexB＝Clip3（0,51,qPaν＋FilterOffsetB） ・・・（５）
式（４）および式（５）において、FilterOffsetA及びFilterOffsetBが、ユーザによる調整分に相当する。
デブロックフィルタ処理は、以下に説明するように、Bs<4の場合と、Bs=4の場合とで、互いに異なる方法が定義されている。Bs<4の場合、デブロックフィルタ処理後の画素値p'0及びq'0が、以下の式（６）乃至式（８）のように求められる。
Δ＝Clip3（−tc,tc（（（（q0−p0）＜＜２）＋（p1−q1）＋４）＞＞３）） ・・・（６）
p'0＝Clip1（p0＋Δ） ・・・（７）
q'0＝Clip1（q0＋Δ） ・・・（８）
ここで、tcは、以下の式（９）または式（１０）ように算出される。すなわち、chromaEdgeFlagの値が「０」である場合、tcは以下の式（９）のように算出される。
tc＝tc0＋（（ap＜β）?1:0）＋（（ap＜β）?1:0） ・・・（９）
また、chromaEdgeFlagの値が「０」以外である場合、tcは以下の式（１０）のように算出される。
tc＝tc0＋１ ・・・（１０）
tC0の値は、BsとindexAの値に応じて、図６Ａおよび図６Ｂに示される表のように定義される。
また、式（９）のap及びaqの値は、以下の式（１１）および（１２）のように算出される。
ap＝|p2−p0| ・・・（１１）
aq＝|q2−q0| ・・・（１２）
デブロックフィルタ処理後の画素値p'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、apの値がβ以下である場合、p'1は、以下の式（１３）のように求められる。
p'1＝p1＋Clip3（−tc0,tc0,（p2＋（（p0＋q0＋１）＞＞１）−（p1＜＜１））＞＞１）
・・・（１３）
また、式（１３）が成り立たない場合、p'1は、以下の式（１４）のように求められる。
p'1＝p1 ・・・（１４）
デブロックフィルタ処理後の画素値q'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、aqの値がβ以下である場合、q'1は、以下の式（１５）のように求められる。
q'1＝q1＋Clip3（−tc0,tc0,（q2＋（（p0＋q0＋１）＞＞１）−（q1＜＜１））＞＞１）
・・・（１５）
また、式（１５）が成り立たない場合、q'1は、以下の式（１６）のように求められる。
q'1＝q1 ・・・（１６）
p'2及びq'2の値は、Filtering前の値p2及びq2と変わらない。すなわち、p'2は、以下の式（１７）のように求められ、q'2は、以下の式（１８）のように求められる。
p'2＝p2 ・・・（１７）
q'2＝q2 ・・・（１８）
Bs=4の場合、デブロックフィルタ後の画素値p'I（i＝0..2）は、以下のように求められる。chromaEdgeFlag の値が「０」であり、以下の式（１９）に示される条件が成り立つ場合、p'0、p'1、及びp'2は、以下の式（２０）乃至式（２２）のように求められる。
ap＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（１９）
p'0＝（p2＋２×p1＋２×p0＋２×q0＋q1＋４）＞＞３ ・・・（２０）
p'1＝（p2＋p1＋p0＋q0＋２）＞＞２ ・・・（２１）
p'2＝（２×p3＋３×p2＋p1＋p0＋q0＋４）＞＞３ ・・・（２２）
また、式（１９）に示される条件が成り立たない場合、p'0、p'1、及びp'2は、以下の式（２３）乃至（２５）のように求められる。
p'0＝（２×p1＋p0＋q1＋２）＞＞２ ・・・（２３）
p'1＝p1 ・・・（２４）
p'2＝p2 ・・・（２５）
デブロックフィルタ処理後の画素値q'i（I＝0..2）は、以下のように求められる。すなわち、chromaEdgeFlagの値が「０」であり、以下の式（２６）に示される条件が成り立つ場合、q'0、q'1、及びq'2は、以下の式（２７）乃至（２９）のように求められる。
aq＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（２６）
q'0＝（p1＋２×p0＋２×q0＋２×q1＋q2＋４）＞＞３ ・・・（２７）
q'1＝（p0＋q0＋q1＋q2＋２）＞＞２ ・・・（２８）
q'2＝（２×q3＋３×q2＋q1＋q0＋p4＋４）＞＞３ ・・・（２９）
また、式（２６）に示される条件が成り立たない場合、q'0、q'1、及びq'2は、以下の式（３０）乃至（３２）のように求められる。
q'0＝（２×q1＋q0＋p1＋２）＞＞２ ・・・（３０）
q'1＝q1 ・・・（３１）
q'2＝q2 ・・・（３２）
［ループフィルタ］
ところで、4000×2000画素といった、更に高い解像度の画像の伝送や、既存のハイビジョン画像を、インターネットのような限られたバンド幅の回線において伝送する場合、AVCにより実現される圧縮率ではまだ不十分である。
そこで、符号化効率改善の１手法として、ループフィルタを用いる方法がある。ループフィルタには、例えば、Wiener Filterが適用される。ループフィルタは、例えばデブロックフィルタ処理された復号画像に対してフィルタ処理を行うことにより、原画像との残差を最小にする。
復号処理においても、符号化データとともに伝送されてくるWiener Filter係数を用いて、デブロックフィルタ処理後の画素値に、同様のループフィルタ処理が施される。
このようにすることにより、復号画像の画質を向上させ、更に、参照画像の画質をも向上させることができる。
［予測モードの選択］
ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。そこで、マクロブロックサイズを、例えば、３２画素×３２画素、６４×６４画素といった大きさにすることが提案されている。
より高い符号化効率を達成するには、適切な予測モードの選択が重要である。例えば、High Complexity Modeと、Low Complexity Modeの２通りのモード判定方法を選択する方法が考えられる。この方法の場合、どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
High Complexity Modeにおけるコスト関数は、以下の式（３３）のように求めることができる。
Cost（Mode∈Ω）＝Ｄ＋λ×Ｒ ・・・（３３）
式（３３）において、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合である。また、Ｄは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。さらに、λは、量子化パラメータの関数として与えられるLagrange未定乗数である。また、Ｒは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。
つまり、High Complexity Modeでの符号化を行なうには、上記パラメータＤ及びＲを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
これに対してLow Complexity Modeにおけるコスト関数は、以下の式（３４）のように求めることができる。
Cost（Mode∈Ω）＝Ｄ＋QP2Quant（QP）×HeaderBit ・・・（３４）
式（３４）において、Ｄは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。また、QP2Quant（QP）は、量子化パラメータQPの関数として与えられる。さらに、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHDといった大きな画枠に対しては、最適ではない。マクロブロックサイズを、図７に示されるように、例えば、３２画素×３２画素といった大きさにすることが提案されている。
図７のような、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
［適応デブロックフィルタ］
以下では、まず、フィルタ係数算出部１１２と適応デブロックフィルタ１１１とにおける動作原理について述べる。
適応デブロックフィルタ１１１においては、まず、当該フレームに含まれる全ての画素を、AVCで定められたのと同様の手法により、デブロックフィルタ処理（ブロック歪除去）の必要性に応じて、Bs=4に相当するフィルタを施すべきブロック境界、Bs=1,2,3に相当するフィルタを施すべきブロック境界、及び、その他のブロック境界を含む、デブロックフィルタを施す必要のない画素値の３つのクラスに分類し、これに関する情報をフィルタ係数算出部１１２に伝送する。
フィルタ係数算出部１１２においては、非特許文献２において提案されているような、Wiener Filterの手法を用いて、当該フレームにおけるそれぞれのクラスに対するフィルタ係数の決定を行い、これを、適応デブロックフィルタ１１１に伝送する。
再び適応デブロックフィルタ１１１においては、それぞれのクラスに対応したフィルタ係数をそれぞれの画素に適用することで、AVCにおいて定められているデブロックフィルタにおけるブロック歪除去効果と、非特許文献２において提案されている、適応フィルタによる画質改善を、単一の回路で実現することが可能である。
具体的には後述するが、このようにすることにより、非特許文献２に提案されている手法よりも、回路の実時間動作のためのクロック数が少なくて済む。
また、AVC符号化方式においては、デブロックフィルタを施す・施さないの条件に関しては、量子化パラメータQP等の条件により適応的に変化させることが可能であったが、強フィルタ及び弱フィルタの強度自体を、復号画像の劣化度合いによってアナログ的に変化させることは不可能であった。本発明では、先述の通り、デブロックフィルタの係数を適応的にすることにより、復号画像の劣化度合いに適したデブロックフィルタ処理を行うことが可能となっている。
なお、Wiener Filterを適用した場合のデブロックフィルタ処理は以下のようになる。
すなわち、上述した式（６）は、uをWiener Filter係数及びオフセットとして、以下の式（３５）のようになる。
Δ＝Clip3（−tc,tc（u0×p1＋u1×p0＋u2×q0＋u3×q1＋u4）） ・・・（３５）
また、式（２０）乃至式（２２）は、vをWiener Filter係数及びオフセットとして、以下の式（３６）乃至式（３８）のようになる。
p'0＝v00×p2＋v01×p1＋v02×p0＋v03×q0＋v04×q1＋v05 ・・・（３６）
p'1＝v10×p2＋v11×p1＋v12×p0＋v13×q0＋v14 ・・・（３７）
p'2＝v20×p3＋v21×p2＋v22×p1＋v23×p0＋v24×q0＋v25 ・・・（３８）
また、式（２３）は、wをWiener Filter係数及びオフセットとして、以下の式（３９）のようになる。
p'0＝w0×p1＋w1×p0＋w2×q1＋w3 ・・・（３９）
また式（２７）乃至式（２９）は、xをWiener Filter係数及びオフセットとして、以下の式（４０）乃至式（４２）のようになる。
q'0＝x00×p1＋x01×p0＋x02×q0＋x03×q1＋x04×q2＋x05 ・・・（４０）
q'1＝x10×p0＋x11×q0＋x12×q1＋x13×q2＋x14 ・・・（４１）
q'2＝x20×q3＋x21×q2＋x22×q1＋x23×q0＋x24×p4＋x25 ・・・（４２）
また、式（３０）は、yをWiener Filter係数及びオフセットとして、以下の式（４３）のようになる。
q'0＝y0×q1＋y1×q0＋y2×p1＋y3 ・・・（４３）
各Wiener Filter係数は、それぞれのクラスに含まれる画素値のtotalの残差が最小となるよう算出される。
［詳細な構成例］
図８は、適応デブロックフィルタ１１１の主な構成例を示すブロック図である。
図８に示されるように、適応デブロックフィルタ１１１は、画素分類部１５１、強デブロックフィルタ１５２、弱デブロックフィルタ１５３、および適応フィルタ１５４を有する。
演算部１１０からフィルタ処理前の画素値が画素分類部１５１に供給される。画素分類部１５１は、例えば、動きベクトル情報や、マクロブロックモード情報といった、符号化情報を用いて、その画素を、AVCにおけるBs=4に相当する強デブロックフィルタを施すべき画素（ブロック歪を強く除去する必要性が高いクラス）、Bs=1,2,3に相当する弱デブロックフィルタを施すべき画素（ブロック歪を弱く除去する必要性が高いクラス）、若しくは、ブロック境界以外の画素を含むその他の画素（ブロック歪を除去する必要性が低いクラス）の３つのクラスのいずれかに分類する。
画素分類部１５１は、そのフィルタ処理前の画素値を、クラス分類結果に応じて、強デブロックフィルタ１５２、弱デブロックフィルタ１５３、若しくは適応フィルタ１５４に供給する。
つまり、画素分類部１５１は、供給された画素値が、AVCにおけるBs=4に相当する強デブロックフィルタを施すべき画素の画素値であると判定した場合、その画素値を強デブロックフィルタ１５２に供給する。
また、画素分類部１５１は、供給された画素値が、Bs=1,2,3に相当する弱デブロックフィルタを施すべき画素の画素値であると判定した場合、その画素値を弱デブロックフィルタ１５３に供給する。
さらに、画素分類部１５１は、供給された画素値が、ブロック境界以外の画素を含むその他の画素の画素値であると判定した場合、その画素値を適応フィルタ１５４に供給する。
また、画素分類部１５１は、画素値をいずれのクラスに分類したかに関わらず、クラス分類されたフィルタ処理前の画素値を、フィルタ係数算出部１１２に供給する。
さらに、フィルタ係数算出部１１２には、画面並べ替えバッファ１０２から入力画像の画素値が供給される。
フィルタ係数算出部１１２は、これらの画素値を用いて、分類された３つのそれぞれのクラスに対して、Wiener Filter等の手法に基づいて、フィルタ係数を算出する。
算出されたフィルタ係数は、クラスに応じて、強デブロックフィルタ１５２、弱デブロックフィルタ１５３、および適応フィルタ１５４のいずれかに供給される。つまり、フィルタ係数算出部１１２は、強デブロックフィルタを施すべき画素のクラスのフィルタ係数を、強デブロックフィルタ１５２に供給し、弱デブロックフィルタを施すべき画素のクラスのフィルタ係数を、弱デブロックフィルタ１５３に供給し、ブロック境界以外の画素を含むその他の画素のクラスのフィルタ係数を、適応フィルタ１５４に供給する。
また、フィルタ係数算出部１１２は、算出した各クラスのフィルタ係数を、可逆符号化部１０６にも供給する。可逆符号化部１０６は、そのフィルタ係数を符号化データに埋め込み、符号化データとともに出力する。
強デブロックフィルタ１５２、弱デブロックフィルタ１５３、および適応フィルタ１５４は、それぞれ、フィルタ係数算出部１１２から供給されたフィルタ係数を用いて、演算部１１０から供給された画素値に対してフィルタ処理を行う。
強デブロックフィルタ１５２、弱デブロックフィルタ１５３、および適応フィルタ１５４は、それぞれ、フィルタ処理後の復号画像画素値を、フレームメモリ１１３に供給し、蓄積させる。
このように画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理を行うようにすることにより、適応デブロックフィルタ１１１は、より効率よくフィルタ処理を行うことができる。これにより、画像符号化装置１００は、符号化効率の高い符号化をより効率よく行うことができ、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
なお、適応フィルタ１５４によるその他の画素値に対する適応フィルタ処理についてのみ、Wiener Filterを適用し、強デブロックフィルタ１５２および弱デブロックフィルタ１５３によるデブロックフィルタ処理は、AVC規格に定められているのと同様の方法で行うようにしてもよい。
また、以上においては、可逆符号化部１０６において得られる符号化データ（画像圧縮情報）にフィルタ係数が埋め込まれるように説明したが、このようなフィルタ係数として、強デブロックフィルタおよび弱デブロックフィルタのフィルタ係数が伝送されない場合、後述する画像復号装置側においては、AVCで定められているのと同様のデブロックフィルタ処理が行われるものとする。逆に、その他の画素値に対するフィルタ係数が伝送されない場合、後述する画像復号装置側においては、フィルタ処理が行なわれないものとする。
［処理の流れ］
次に、以上のように構成される各部を用いた処理の流れについて説明する。最初に、画像符号化装置１００により行われる符号化処理の流れの例を、図９のフローチャートを参照して説明する。
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１０３において、イントラ予測部１１５や動き予測・補償部１１６等は、予測モードを決定し、予測画像を生成する予測処理を行う。この予測処理の詳細については、後述する。
ステップＳ１０４において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、ステップＳ１０３の予測処理により生成された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部１１６から、イントラ予測する場合はイントラ予測部１１５から、それぞれ選択部１１７を介して演算部１０３に供給される。
差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１０５において、直交変換部１０４は、ステップＳ１０４の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１０６において、量子化部１０５は変換係数を量子化する。この量子化に際しては、後述するステップＳ１１３の処理で説明されるように、レートが制御される。
ステップＳ１０７において、可逆符号化部１０６は量子化部１０５より出力された量子化された変換係数を符号化する。
また、量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０８において、逆量子化部１０８は量子化部１０５により量子化された変換係数を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１０９において、逆直交変換部１０９は逆量子化部１０８により逆量子化された変換係数を直交変換部１０４の特性に対応する特性で逆直交変換する。
ステップＳ１１０において、演算部１１０は、選択部１１７を介して供給される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。
以上の処理が、１ピクチャ分行われると、ステップＳ１１１において適応デブロックフィルタ１１１およびフィルタ係数算出部１１２は、演算部１１０から適応デブロックフィルタ１１１に供給された復号画像に対し適応デブロックフィルタ処理を行う。この適応デブロックフィルタ処理の詳細については後述する。
ステップＳ１１２において蓄積バッファ１０７は、符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ１１３においてレート制御部１１８は、蓄積バッファ１０７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
次に、図１０のフローチャートを参照し、図９のステップＳ１０３において実行される予測処理の流れの例を説明する。
予測処理が開始されると、ステップＳ１３１において、イントラ予測部１１５は、選択部１１４を介してフレームメモリ１１３から取得した参照画像、および、画面並べ替えバッファ１０２から供給される入力画像を用いて、イントラ４×４、イントラ８×８、およびイントラ１６×１６のそれぞれのモード（予め用意された各イントラモード）に対するコスト関数値を算出する。
ステップＳ１３２において、イントラ予測部１１５は、ステップＳ１３１において算出された各モードのコスト関数値に基づいて、イントラ４×４、イントラ８×８、およびイントラ１６×１６のそれぞれに対するベストモードを決定する。
ステップＳ１３３において、イントラ予測部１１５は、イントラ４×４、イントラ８×８、およびイントラ１６×１６の中から、ベストイントラモードを選択する。
このステップＳ１３１乃至ステップＳ１３３の各処理と並行して、動き予測・補償部１１６は、ステップＳ１３４乃至ステップＳ１３７の各処理を実行する。
ステップＳ１３４において、動き予測・補償部１１６は、動き探索を行う。ステップＳ１３５において、動き予測・補償部１１６は、インター１６×１６乃至４×４のそれぞれのモードに対して、動きベクトル・参照フレームを決定する。
ステップＳ１３６において、動き予測・補償部１１６は、インター１６×１６乃至４×４のそれぞれのモードに対して、コスト関数値を算出する。
ステップＳ１３７において、動き予測・補償部１１６は、そのコスト関数値に基づいて、ベストインターモードを決定する。
ステップＳ１３８において、選択部１１７は、ステップＳ１３３において選択されたベストイントラモードと、ステップＳ１３７において決定されたベストインターモードとのいずれか一方をベストモードに決定する。
ステップＳ１３９において、ベストモードに決定されたモードに対応するイントラ予測部１１５または動き予測・補償部１１６は、予測画像を生成する。この予測画像は、選択部１１７を介して、演算部１０３および演算部１１０に供給される。また、このときのベストモードの予測モード情報（イントラ予測モード情報またはインター予測モード情報）が可逆符号化部１０６に供給される。
予測画像が生成されると予測処理が終了され、図９のステップＳ１０３に戻り、ステップＳ１０４以降の処理が実行される。
次に、図１１のフローチャートを参照して、図９のステップＳ１１１において実行される適応デブロックフィルタ処理の流れの例を説明する。
適応デブロックフィルタ処理が開始されると、ステップＳ１５１において、適応デブロックフィルタ１１１の画素分類部１５１は、当該フレームにおける各画素を、強デブロックフィルタを施すべき画素（AVCにおけるBs=4に対するブロック境界画素値）、弱デブロックフィルタを施すべき画素（AVCにおけるBs=1,2,3に対するブロック境界画素値）、または、その他の画素のいずれかにクラス分類する。
ステップＳ１５２において、フィルタ係数算出部１１２は、各クラスのフィルタ係数を、Wiener Filterにより算出する。
ステップＳ１５３において、強デブロックフィルタ１５２、弱デブロックフィルタ１５３、および適応フィルタ１５４は、それぞれ、対応するクラスのフィルタ係数を用いて、各クラスの画素に対してそれぞれのフィルタ処理を行う。
ステップＳ１５４において、可逆符号化部１０６は、ステップＳ１５２において算出された各クラスのフィルタ係数を符号化し、符号化データの例えばヘッダ等に埋め込む。
ステップＳ１５４の処理が終了すると、適応デブロックフィルタ処理が終了し、図９のステップＳ１１１に戻り、ステップＳ１１２以降の処理が実行される。
［タイムフロー］
以上のように、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理を行うようにすることにより、画像符号化装置１００は、例えば、図１２に示されるタイムフローのようにフィルタ処理を行うことができる。つまり、画像符号化装置１００は、符号化処理１６１を行い、その終了後、適応デブロックフィルタ１６２を行うことにより、デブロックフィルタ処理とループフィルタ処理の両方を適宜行い、次のフレームについて、符号化処理１６３を行い、その終了後、適応デブロックフィルタ１６４を行うことにより、デブロックフィルタ処理とループフィルタ処理の両方を適宜行う。
図１３に従来の画像符号化装置におけるデブロックフィルタおよびループフィルタの構成例を示す。
例えば、従来のAVCにおいて定められている画像符号化装置の場合、図１３Ａに示されるように、デブロックフィルタ１７１が演算部１１０とフレームメモリ１１３との間に設けられ、この場合のタイムフローは、図１４Ａに示されるようになる。図１４において矢印は、時間軸を示している。つまり、時刻は図中左から右に進む。
つまり、符号化処理１８１が行われた後、デブロックフィルタ１８２が行われ、次のフレームについて、符号化処理１８３が行われた後、デブロックフィルタ１８４が行われる。ただし、この場合、ループフィルタ処理は行われない。
これに対して、非特許文献２において提案されている画像符号化装置の場合、図１３Ｂに示されるように、さらにループフィルタ１７２が、デブロックフィルタ１７１とフレームメモリ１１３との間に設けられ、この場合のタイムフローは、図１４Ｂに示されるようになる。
つまり、符号化処理１８１が行われた後、デブロックフィルタ１８２が行われ、続けて適応フィルタ１８５が行われる。そして、次のフレームについて、符号化処理１８３が行われた後デブロックフィルタ１８４が行われ、続けて適応フィルタ１８６が行われる。
このように、従来の場合、デブロックフィルタ処理とループフィルタ処理とが順次行われるので、処理全体を行うのに必要なクロック数は、ループフィルタ処理の分増大する。
これに対して、画像符号化装置１００は、上述したように、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理を行うので、図１２に示されるタイムフローのように、デブロックフィルタ処理とループフィルタ処理とをまとめて行うことができる。つまり、これらの処理を行う回路の実時間動作のためのクロック数を低減させることができる。
このように、画像符号化装置１００は、符号化効率の高い符号化をより効率よく行うことができ、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
なお、以上において「付加する」とは、任意の形態でフィルタ係数を符号化データに関連付けることを示す。例えば、符号化データのシンタックスとして記述するようにしてもよいし、ユーザデータとして記述するようにしてもよい。また、フィルタ係数をメタデータとして符号化データとリンクされた状態にするようにしてもよい。つまり、「付加」は、「埋め込み」、「記述」、「多重化」、および「連結」等を含む。以下においても同様である。
また、分類するクラス数は任意である。また、その分類の基準も意味のあるものであれば任意である。
また、フィルタの処理単位は、フレームでもよいし、スライスでもよいし、これら以外であってもよい。また、クラス分類を行う単位は、マクロブロック等、画素以外であってもよい。
＜２．第２の実施の形態＞
［デバイスの構成］
次に、第１の実施の形態において説明した画像符号化装置１００に対応する画像復号装置について説明する。図１５は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成例を示すブロック図である。
画像復号装置２００は、画像符号化装置１００より出力される符号化データを復号し、復号画像を生成する。
画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、および適応デブロックフィルタ２０６を有する。また、画像復号装置２００は、画面並べ替えバッファ２０７、およびD/A（Digital / Analog l）変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。可逆復号部２０２は、蓄積バッファ２０１より供給された、図１の可逆符号化部１０６により符号化された情報を、可逆符号化部１０６の符号化方式に対応する方式で復号する。
当該マクロブロックがイントラ符号化されたものである場合、可逆復号部２０２は、符号化データのヘッダ部に格納されたイントラ予測モード情報を抽出し、イントラ予測部２１１へ供給する。また、当該マクロブロックがインター符号化されたものである場合、可逆復号部２０２は、符号化データのヘッダ部に格納された動きベクトル情報やインター予測モード情報等を抽出し、動き予測・補償部２１２へ供給する。
また、可逆復号部２０２は、符号化データから、各クラス用のフィルタ係数を抽出し、それらを適応デブロックフィルタ２０６に供給する。
逆量子化部２０３は可逆復号部２０２により復号された画像を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。
逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で逆量子化部２０３の出力を逆直交変換する。逆直交変換部２０４は、逆直交変換された差分情報を演算部２０５に供給する。
演算部２０５は、逆直交変換された差分情報に、選択部２１３から供給される予測画像を加算し、復号画像を生成し、その加算処理されて生成された復号画像を適応デブロックフィルタ２０６に供給する。
適応デブロックフィルタ２０６は、可逆復号部２０２から供給された各クラスのフィルタ係数を用いて各クラスに対してフィルタ処理を行い、その復号画像のブロック歪を除去したり、例えばウィナーフィルタ（Wiener Filter）を用いて適宜ループフィルタ処理を行うことにより画質改善を行ったりする。
適応デブロックフィルタ２０６は、画像符号化装置１００の適応デブロックフィルタ１１１に対応する処理部であり、基本的に同様のフィルタ処理を行うが、画像復号装置２００の適応デブロックフィルタ２０６は、符号化データに埋め込まれた（画像符号化装置１００から供給された）フィルタ係数を用いることができる。つまり、画像復号装置２００は、フィルタ係数算出部を必要としない。
適応デブロックフィルタ２０６は、フィルタ処理後の画像をフレームメモリ２０９に供給し、参照画像として蓄積させるとともに、画面並べ替えバッファ２０７に出力する。
画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、出力する。例えば、D/A変換部２０８は、D/A変換して得られた出力信号を図示せぬディスプレイに出力し、画像を表示させる。
イントラ予測部２１１は、当該フレームがイントラ符号化されたものである場合、選択部２１０を介してフレームメモリ２０９から参照画像を取得し、可逆復号部２０２から供給される情報に基づいて、予測画像を生成し、生成した予測画像を、選択部２１３を介して演算部２０５に供給する。
動き予測・補償部２１２は、当該フレームがインター符号化されたものである場合、選択部２１０を介してフレームメモリ２０９から参照画像を取得し、可逆復号部２０２から供給される動きベクトル情報に基づき、参照画像に対して動き補償処理を行い、予測画像を生成する。動き予測・補償部２１２は、生成した予測画像を、選択部２１３を介して演算部２０５に供給する。
選択部２１３は、当該マクロブロックがイントラ符号化されたものである場合、イントラ予測部２１１に接続し、イントラ予測部２１１から供給される画像を予測画像として演算部２０５に供給する。また、当該マクロブロックがインター符号化されたものである場合、選択部２１３は、動き予測・補償部２１２に接続し、動き予測・補償部２１２から供給される画像を予測画像として演算部２０５に供給する。
図１６は、図１５の適応デブロックフィルタ２０６の詳細な構成例を示すブロック図である。
図１６に示されるように、適応デブロックフィルタ２０６は、フィルタ係数バッファ２５１、画素分類部２５２、強デブロックフィルタ２５３、弱デブロックフィルタ２５４、および適応フィルタ２５５を有する。
可逆復号部２０２から、符号化データから読みだされた各クラスに対応するフィルタ係数が供給されると、フィルタ係数バッファ２５１は、そのフィルタ係数を取得し、保持する。
また、演算部２０５からフィルタ処理前の復号画像画素値が供給されると、画素分類部２５２は、それを取得する。さらに、例えば動きベクトルやマクロブロックタイプ等の、強フィルタを施すべきか、弱フィルタを施すべきか、若しくは、その他のフィルタを施すべきかを決定するためのシンタクス要素に関する情報が、可逆復号部２０２から供給されると、画素分類部２５２は、それを取得する。
画素分類部２５２は、可逆復号部２０２から供給されるシンタクス要素に関する情報に基づいて、演算部２０５から供給される各画素を、強フィルタを施すべきか、弱フィルタを施すべきか、若しくは、その他のフィルタを施すべきかを決定する。
このクラス分類の結果は、画像符号化装置１００の画素分類部１５１によるクラス分類の場合と同様となる。画素分類部２５２は、その決定に応じて、フィルタ処理前の画素値を、強デブロックフィルタ２５３、弱デブロックフィルタ２５４、または適応フィルタ２５５のいずれかに供給する。
強デブロックフィルタ２５３、弱デブロックフィルタ２５４、または適応フィルタ２５５は、それぞれ、自分自身に対応するフィルタ係数をフィルタ係数バッファ２５１から取得し、画素分類部２５２から供給された画素に対してそれぞれのフィルタ処理を行う。
強デブロックフィルタ２５３、弱デブロックフィルタ２５４、または適応フィルタ２５５は、それぞれ、フィルタ処理後の復号画像画素値を、画面並べ替えバッファ２０７およびフレームメモリ２０９に供給する。
画面並べ替えバッファ２０７に供給された画素値は、復号画像として出力される。また、フレームメモリ２０９に供給された画素値は、フレームメモリ２０９に蓄積され、次のフレームの復号において参照画像として利用される。
このように画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理を行うようにすることにより、適応デブロックフィルタ２０６は、より効率よくフィルタ処理を行うことができる。これにより、画像復号装置２００は、符号化効率の高い復号をより効率よく行うことができ、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
なお、適応デブロックフィルタ２０６は、上述したように画像符号化装置１００において生成されたフィルタ係数を用いるので、各クラスのフィルタ係数を算出する必要がなく、画像符号化装置１００の場合よりも容易にフィルタ処理を行うことができる。
［処理の流れ］
図１７のフローチャートを参照して、この画像復号装置２００が実行する復号処理の流れの例を説明する。
ステップＳ２０１において、蓄積バッファ２０１は伝送されてきた画像（符号化データ）を蓄積する。ステップＳ２０２において、可逆復号部２０２は、符号化データからフィルタ係数を抽出する。また、可逆復号部２０２は、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード情報やインター予測モード情報）などの抽出も行う。
ステップＳ２０３において、可逆復号部２０２は、符号化データを可逆復号する。ステップＳ２０４において、逆量子化部２０３は、ステップＳ２０３において符号化データが復号されて得られた変換係数を、図１の量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ２０５において、逆直交変換部２０４は、ステップＳ２０４の処理により逆量子化された変換係数を、図１の直交変換部１０４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
ステップＳ２０６において、イントラ予測部２１１および動き予測・補償部２１２等は、予測画像生成処理を行い、予測モードに応じて予測画像を生成する。この予測画像生成処理の詳細については、後述する。ステップＳ２０７において、演算部２０５は、ステップＳ２０６において生成された予測画像を、ステップＳ２０５までの処理により復号された差分情報に加算する。これにより元の画像が復号される。
ステップＳ２０８において、適応デブロックフィルタ２０６は、演算部２０５より出力された画像に対して適応デブロックフィルタ処理を行う。この適応デブロックフィルタ処理の詳細については後述する。
ステップＳ２０９において、画面並べ替えバッファ２０７は、並べ替えを行う。すなわち、図１の画像符号化装置１００の画面並べ替えバッファ１０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ２１０において、D/A変換部２０８は、ステップＳ２０９において並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。ステップＳ２１０の処理が終了すると、復号処理が終了される。
次に、図１８のフローチャートを参照して、図１７のステップＳ２０６において実行される予測画像生成処理の流れの例を説明する。
予測画像生成処理が開始されると、ステップＳ２３１において、可逆復号部２０２は、ステップＳ２０２において抽出した予測モード等の情報に基づいて、当該ブロックがイントラ符号化されたか否かを判定する。イントラ符号化されたブロックであれば、可逆復号部２０２は、符号化データより抽出したイントラ予測モード情報をイントラ予測部２１１に供給し、ステップＳ２３２に進む。
ステップＳ２３２において、イントラ予測部２１１は、可逆復号部２０２より供給されるイントラ予測モード情報を取得する。イントラ予測モード情報を取得すると、イントラ予測部２１１は、ステップＳ２３３において、そのイントラ予測モード情報に基づいて、選択部２１０を介してフレームメモリ２０９から参照画像を取得し、イントラ予測画像を生成する。イントラ予測画像を生成すると、イントラ予測部２１１は、そのイントラ予測画像を、予測画像として、選択部２１３を介して演算部２０５に供給する。
また、ステップＳ２３１において、当該ブロックがインター符号化されていると判定された場合、可逆復号部２０２は、符号化データより抽出した動き予測モード、参照フレーム、および動きベクトル情報等を動き予測・補償部２１２に供給し、ステップＳ２３４に進む。
ステップＳ２３４において、動き予測・補償部２１２は、可逆復号部２０２より供給される動き予測モード、参照フレーム、および動きベクトル情報等を取得する。それらの情報を取得すると、動き予測・補償部２１２は、ステップＳ２３５において、動きベクトル情報に応じた内挿フィルタを選択し、ステップＳ２３６において、選択部２１０を介してフレームメモリ２０９から参照画像を取得し、インター予測画像を生成する。インター予測画像を生成すると、動き予測・補償部２１２は、そのインター予測画像を、予測画像として、選択部２１３を介して演算部２０５に供給する。
ステップＳ２３３またはステップＳ２３６の処理が終了すると、予測画像生成処理が終了され、図１７のステップＳ２０６に戻り、ステップＳ２０７以降の処理が実行される。
次に、図１９のフローチャートを参照して、図１７のステップＳ２０８において実行される適応デブロックフィルタ処理の流れの例を説明する。
適応デブロックフィルタ処理が開始されると、ステップＳ２５１において、フィルタ係数バッファ２５１は、各クラスのフィルタ係数を、可逆復号部２０２から取得する。
ステップＳ２５２において、画素分類部２５２は、AVCデブロックフィルタに準ずる方法により、当該フレームに含まれる各画素値を、強デブロックフィルタが施される画素、弱デブロックフィルタが施される画素、若しくは、適応フィルタが施される画素のいずれかのクラスに分類する（各画素のクラス分類を行う）。
ステップＳ２５３において、強デブロックフィルタ２５３、弱デブロックフィルタ２５４、および適応フィルタ２５５は、フィルタ係数バッファ２５１から取得した、自分自身に対応するフィルタ係数を用いて、自分自身に対応するクラスの画素に対してフィルタ処理を行う。
ステップＳ２５４において、強デブロックフィルタ２５３、弱デブロックフィルタ２５４、および適応フィルタ２５５は、それぞれ、フィルタ処理が行なわれた画素値を、フレームメモリ２０９に格納する。
ステップＳ２５４の処理が終了すると、適応デブロックフィルタ処理が終了され、図１７のステップＳ２０８に戻り、ステップＳ２０９以降の処理が行われる。
［タイムフロー］
以上のように、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理を行うようにすることにより、画像復号装置２００は、例えば、図１２に示されるタイムフローのようにフィルタ処理を行うことができる。つまり、画像復号装置２００は、復号処理１６１を行い、その終了後、適応デブロックフィルタ１６２を行うことにより、デブロックフィルタ処理とループフィルタ処理の両方を適宜行い、次のフレームについて、復号処理１６３を行い、その終了後、適応デブロックフィルタ１６４を行うことにより、デブロックフィルタ処理とループフィルタ処理の両方を適宜行う。
これに対して、例えば、従来のAVCにおいて定められている画像符号化装置の場合、図１４Ａに示されるように、復号処理１８１が行われた後、デブロックフィルタ１８２が行われ、次のフレームについて、復号処理１８３が行われた後、デブロックフィルタ１８４が行われる。
また、非特許文献２において提案されている画像符号化装置の場合、図１４Ｂに示されるように、復号処理１８１が行われた後、デブロックフィルタ１８２が行われ、続けて適応フィルタ１８５が行われる。そして、次のフレームについて、復号処理１８３が行われた後デブロックフィルタ１８４が行われ、続けて適応フィルタ１８６が行われる。
このように、従来の場合、デブロックフィルタ処理とループフィルタ処理とが順次行われるので、処理全体を行うのに必要なクロック数は、ループフィルタ処理の分増大する。
これに対して、画像復号装置２００は、上述したように、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理を行うので、図１２に示されるタイムフローのように、デブロックフィルタ処理とループフィルタ処理とをまとめて行うことができる。つまり、これらの処理を行う回路の実時間動作のためのクロック数を低減させることができる。
このように、画像復号装置２００は、符号化効率の高い復号をより効率よく行うことができ、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２０に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
図２０において、パーソナルコンピュータ５００のCPU５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図２０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した画像符号化装置１００や画像復号装置２００は、任意の電子機器に適用することができる。以下にその例について説明する。
＜４．第４の実施の形態＞
［テレビジョン受像機］
図２１は、本発明を適用した画像復号装置２００を用いるテレビジョン受像機の主な構成例を示すブロック図である。
図２１に示されるテレビジョン受像機１０００は、地上波チューナ１０１３、ビデオデコーダ１０１５、映像信号処理回路１０１８、グラフィック生成回路１０１９、パネル駆動回路１０２０、および表示パネル１０２１を有する。
地上波チューナ１０１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１０１５に供給する。ビデオデコーダ１０１５は、地上波チューナ１０１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１０１８に供給する。
映像信号処理回路１０１８は、ビデオデコーダ１０１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１０１９に供給する。
グラフィック生成回路１０１９は、表示パネル１０２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１０２０に供給する。また、グラフィック生成回路１０１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１０２０に供給するといった処理も適宜行う。
パネル駆動回路１０２０は、グラフィック生成回路１０１９から供給されたデータに基づいて表示パネル１０２１を駆動し、番組の映像や上述した各種の画面を表示パネル１０２１に表示させる。
表示パネル１０２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１０２０による制御に従って番組の映像などを表示させる。
また、テレビジョン受像機１０００は、音声A/D（Analog/Digital)変換回路１０１４、音声信号処理回路１０２２、エコーキャンセル／音声合成回路１０２３、音声増幅回路１０２４、およびスピーカ１０２５も有する。
地上波チューナ１０１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１０１３は、取得した音声信号を音声A/D変換回路１０１４に供給する。
音声A/D変換回路１０１４は、地上波チューナ１０１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１０２２に供給する。
音声信号処理回路１０２２は、音声A/D変換回路１０１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１０２３に供給する。
エコーキャンセル／音声合成回路１０２３は、音声信号処理回路１０２２から供給された音声データを音声増幅回路１０２４に供給する。
音声増幅回路１０２４は、エコーキャンセル／音声合成回路１０２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１０２５から出力させる。
さらに、テレビジョン受像機１０００は、デジタルチューナ１０１６およびMPEGデコーダ１０１７も有する。
デジタルチューナ１０１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１０１７に供給する。
MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１０１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１０２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１０１８に供給する。また、MPEGデコーダ１０１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１０３２に供給する。
テレビジョン受像機１０００は、このように映像パケットをデコードするMPEGデコーダ１０１７として、上述した画像復号装置２００を用いる。なお、放送局等より送信されるMPEG-TSは、画像符号化装置１００によって符号化されている。
MPEGデコーダ１０１７は、画像復号装置２００の場合と同様に、画像符号化装置１００より供給される符号化データから抽出したクラス毎のフィルタ係数を用いて、復号画像の各画素に対して、そのクラスに応じて適切なフィルタ処理（強デブロックフィルタ、弱デブロックフィルタ、または適応フィルタ）を行う。したがって、MPEGデコーダ１０１７は、より効率よくフィルタ処理を行うことができる。
MPEGデコーダ１０１７から供給された映像データは、ビデオデコーダ１０１５から供給された映像データの場合と同様に、映像信号処理回路１０１８において所定の処理が施され、グラフィック生成回路１０１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１０２０を介して表示パネル１０２１に供給され、その画像が表示される。
MPEGデコーダ１０１７から供給された音声データは、音声A/D変換回路１０１４から供給された音声データの場合と同様に、音声信号処理回路１０２２において所定の処理が施され、エコーキャンセル／音声合成回路１０２３を介して音声増幅回路１０２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１０２５から出力される。
また、テレビジョン受像機１０００は、マイクロホン１０２６、およびA/D変換回路１０２７も有する。
A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１０２３に供給する。
エコーキャンセル／音声合成回路１０２３は、テレビジョン受像機１０００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１０２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。
さらに、テレビジョン受像機１０００は、音声コーデック１０２８、内部バス１０２９、SDRAM（Synchronous Dynamic Random Access Memory)１０３０、フラッシュメモリ１０３１、CPU１０３２、USB（Universal Serial Bus) I/F１０３３、およびネットワークI/F１０３４も有する。
A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１０２８に供給する。
音声コーデック１０２８は、A/D変換回路１０２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１０２９を介してネットワークI/F１０３４に供給する。
ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１０３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１０２８から供給された音声データを送信する。また、ネットワークI/F１０３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１０３５を介して受信し、それを、内部バス１０２９を介して音声コーデック１０２８に供給する。
音声コーデック１０２８は、ネットワークI/F１０３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１０２３に供給する。
エコーキャンセル／音声合成回路１０２３は、音声コーデック１０２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。
SDRAM１０３０は、CPU１０３２が処理を行う上で必要な各種のデータを記憶する。
フラッシュメモリ１０３１は、CPU１０３２により実行されるプログラムを記憶する。フラッシュメモリ１０３１に記憶されているプログラムは、テレビジョン受像機１０００の起動時などの所定のタイミングでCPU１０３２により読み出される。フラッシュメモリ１０３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
例えば、フラッシュメモリ１０３１には、CPU１０３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１０３１は、例えばCPU１０３２の制御により、そのMPEG-TSを、内部バス１０２９を介してMPEGデコーダ１０１７に供給する。
MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１０００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１０１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
また、テレビジョン受像機１０００は、リモートコントローラ１０５１から送信される赤外線信号を受光する受光部１０３７も有する。
受光部１０３７は、リモートコントローラ１０５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１０３２に出力する。
CPU１０３２は、フラッシュメモリ１０３１に記憶されているプログラムを実行し、受光部１０３７から供給される制御コードなどに応じてテレビジョン受像機１０００の全体の動作を制御する。CPU１０３２とテレビジョン受像機１０００の各部は、図示せぬ経路を介して接続されている。
USB I/F１０３３は、USB端子１０３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１０００の外部の機器との間でデータの送受信を行う。ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
テレビジョン受像機１０００は、MPEGデコーダ１０１７として画像復号装置２００を用いることにより、より効率よくフィルタ処理を行うことができる。その結果として、テレビジョン受像機１０００は、アンテナを介して受信する放送波信号や、ネットワークを介して取得するコンテンツデータに対する復号処理の演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
＜５．第５の実施の形態＞
［携帯電話機］
図２２は、本発明を適用した画像符号化装置１００および画像復号装置２００を用いる携帯電話機の主な構成例を示すブロック図である。
図２２に示される携帯電話機１１００は、各部を統括的に制御するようになされた主制御部１１５０、電源回路部１１５１、操作入力制御部１１５２、画像エンコーダ１１５３、カメラI/F部１１５４、LCD制御部１１５５、画像デコーダ１１５６、多重分離部１１５７、記録再生部１１６２、変復調回路部１１５８、および音声コーデック１１５９を有する。これらは、バス１１６０を介して互いに接続されている。
また、携帯電話機１１００は、操作キー１１１９、CCD（Charge Coupled Devices）カメラ１１１６、液晶ディスプレイ１１１８、記憶部１１２３、送受信回路部１１６３、アンテナ１１１４、マイクロホン（マイク）１１２１、およびスピーカ１１１７を有する。
電源回路部１１５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１１００を動作可能な状態に起動する。
携帯電話機１１００は、CPU、ROMおよびRAM等でなる主制御部１１５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
例えば、音声通話モードにおいて、携帯電話機１１００は、マイクロホン（マイク）１１２１で集音した音声信号を、音声コーデック１１５９によってデジタル音声データに変換し、これを変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
また、例えば、音声通話モードにおいて、携帯電話機１１００は、アンテナ１１１４で受信した受信信号を送受信回路部１１６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１１５８でスペクトラム逆拡散処理し、音声コーデック１１５９によってアナログ音声信号に変換する。携帯電話機１１００は、その変換して得られたアナログ音声信号をスピーカ１１１７から出力する。
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１１００は、操作キー１１１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１１５２において受け付ける。携帯電話機１１００は、そのテキストデータを主制御部１１５０において処理し、LCD制御部１１５５を介して、画像として液晶ディスプレイ１１１８に表示させる。
また、携帯電話機１１００は、主制御部１１５０において、操作入力制御部１１５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１１００は、その電子メールデータを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１１００は、復元された電子メールデータを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示する。
なお、携帯電話機１１００は、受信した電子メールデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。
この記憶部１１２３は、書き換え可能な任意の記憶媒体である。記憶部１１２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１１００は、撮像によりCCDカメラ１１１６で画像データを生成する。CCDカメラ１１１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。CCDカメラ１１１６は、その画像データを、カメラI/F部１１５４を介して、画像エンコーダ１１５３で符号化し、符号化画像データに変換する。
携帯電話機１１００は、このような処理を行う画像エンコーダ１１５３として、上述した画像符号化装置１００を用いる。画像エンコーダ１０５３は、画像符号化装置１００の場合と同様に、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理（強デブロックフィルタ、弱デブロックフィルタ、または適応フィルタ）を行う。これにより、画像エンコーダ１０５３は、符号化効率の高い符号化をより効率よく行うことができる。
なお、携帯電話機１１００は、このとき同時に、CCDカメラ１１１６で撮像中にマイクロホン（マイク）１１２１で集音した音声を、音声コーデック１１５９においてアナログデジタル変換し、さらに符号化する。
携帯電話機１１００は、多重分離部１１５７において、画像エンコーダ１１５３から供給された符号化画像データと、音声コーデック１１５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１１００は、その結果得られる多重化データを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
なお、画像データを送信しない場合、携帯電話機１１００は、CCDカメラ１１１６で生成した画像データを、画像エンコーダ１１５３を介さずに、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させることもできる。
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１１００は、多重分離部１１５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
携帯電話機１１００は、画像デコーダ１１５６において符号化画像データをデコードすることにより、再生動画像データを生成し、これを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１１１８に表示される。
携帯電話機１１００は、このような処理を行う画像デコーダ１１５６として、上述した画像復号装置２００を用いる。つまり、画像デコーダ１１５６は、画像復号装置２００の場合と同様に、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理（強デブロックフィルタ、弱デブロックフィルタ、または適応フィルタ）を行う。したがって、画像デコーダ１１５６は、符号化効率の高い復号をより効率よく行うことができる。
このとき、携帯電話機１１００は、同時に、音声コーデック１１５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１１１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
なお、電子メールの場合と同様に、携帯電話機１１００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。
また、携帯電話機１１００は、主制御部１１５０において、撮像されてCCDカメラ１１１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
さらに、携帯電話機１１００は、赤外線通信部１１８１で赤外線により外部の機器と通信することができる。
携帯電話機１１００は、画像エンコーダ１１５３として画像符号化装置１００を用いることにより、例えばCCDカメラ１１１６において生成された画像データを符号化して伝送する際の、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
また、携帯電話機１１００は、画像デコーダ１１５６として画像復号装置２００を用いることにより、例えば、簡易ホームページ等にリンクされた動画像ファイルのデータ（符号化データ）を受信する際の復号において、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
なお、以上において、携帯電話機１１００が、CCDカメラ１１１６を用いるように説明したが、このCCDカメラ１１１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１１００は、CCDカメラ１１１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
また、以上においては携帯電話機１１００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１１００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１１００の場合と同様に、画像符号化装置１００および画像復号装置２００を適用することができる。
＜６．第６の実施の形態＞
［ハードディスクレコーダ］
図２３は、本発明を適用した画像符号化装置１００および画像復号装置２００を用いるハードディスクレコーダの主な構成例を示すブロック図である。
図２３に示されるハードディスクレコーダ（HDDレコーダ）１２００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
ハードディスクレコーダ１２００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１２００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
さらに、ハードディスクレコーダ１２００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることができる。また、ハードディスクレコーダ１２００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることもできる。
もちろん、この他の動作も可能である。
図２３に示されるように、ハードディスクレコーダ１２００は、受信部１２２１、復調部１２２２、デマルチプレクサ１２２３、オーディオデコーダ１２２４、ビデオデコーダ１２２５、およびレコーダ制御部１２２６を有する。ハードディスクレコーダ１２００は、さらに、EPGデータメモリ１２２７、プログラムメモリ１２２８、ワークメモリ１２２９、ディスプレイコンバータ１２３０、OSD（On Screen Display）制御部１２３１、ディスプレイ制御部１２３２、記録再生部１２３３、D/Aコンバータ１２３４、および通信部１２３５を有する。
また、ディスプレイコンバータ１２３０は、ビデオエンコーダ１２４１を有する。記録再生部１２３３は、エンコーダ１２５１およびデコーダ１２５２を有する。
受信部１２２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１２２６に出力する。レコーダ制御部１２２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１２２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１２２６は、このとき、ワークメモリ１２２９を必要に応じて使用する。
通信部１２３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１２３５は、レコーダ制御部１２２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
復調部１２２２は、チューナより供給された信号を、復調し、デマルチプレクサ１２２３に出力する。デマルチプレクサ１２２３は、復調部１２２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１２２４、ビデオデコーダ１２２５、またはレコーダ制御部１２２６に出力する。
オーディオデコーダ１２２４は、入力されたオーディオデータをデコードし、記録再生部１２３３に出力する。ビデオデコーダ１２２５は、入力されたビデオデータをデコードし、ディスプレイコンバータ１２３０に出力する。レコーダ制御部１２２６は、入力されたEPGデータをEPGデータメモリ１２２７に供給し、記憶させる。
ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されたビデオデータを、ビデオエンコーダ１２４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１２３３に出力する。また、ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されるビデオデータの画面のサイズを、モニタ１２６０のサイズに対応するサイズに変換し、ビデオエンコーダ１２４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１２３２に出力する。
ディスプレイ制御部１２３２は、レコーダ制御部１２２６の制御のもと、OSD（On Screen Display）制御部１２３１が出力したOSD信号を、ディスプレイコンバータ１２３０より入力されたビデオ信号に重畳し、モニタ１２６０のディスプレイに出力し、表示させる。
モニタ１２６０にはまた、オーディオデコーダ１２２４が出力したオーディオデータが、D/Aコンバータ１２３４によりアナログ信号に変換されて供給されている。モニタ１２６０は、このオーディオ信号を内蔵するスピーカから出力する。
記録再生部１２３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
記録再生部１２３３は、例えば、オーディオデコーダ１２２４より供給されるオーディオデータを、エンコーダ１２５１によりエンコードする。また、記録再生部１２３３は、ディスプレイコンバータ１２３０のビデオエンコーダ１２４１より供給されるビデオデータを、エンコーダ１２５１によりエンコードする。記録再生部１２３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１２３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
記録再生部１２３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１２３３は、デコーダ１２５２によりオーディオデータおよびビデオデータをデコードする。記録再生部１２３３は、復号したオーディオデータをD/A変換し、モニタ１２６０のスピーカに出力する。また、記録再生部１２３３は、復号したビデオデータをD/A変換し、モニタ１２６０のディスプレイに出力する。
レコーダ制御部１２２６は、受信部１２２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１２２７から最新のEPGデータを読み出し、それをOSD制御部１２３１に供給する。OSD制御部１２３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１２３２に出力する。ディスプレイ制御部１２３２は、OSD制御部１２３１より入力されたビデオデータをモニタ１２６０のディスプレイに出力し、表示させる。これにより、モニタ１２６０のディスプレイには、EPG（電子番組ガイド）が表示される。
また、ハードディスクレコーダ１２００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
通信部１２３５は、レコーダ制御部１２２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１２２６に供給する。レコーダ制御部１２２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１２３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１２２６および記録再生部１２３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
また、レコーダ制御部１２２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１２３０に供給する。ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５から供給されるビデオデータと同様に、レコーダ制御部１２２６から供給されるビデオデータを処理し、ディスプレイ制御部１２３２を介してモニタ１２６０に供給し、その画像を表示させる。
また、この画像表示に合わせて、レコーダ制御部１２２６が、復号したオーディオデータを、D/Aコンバータ１２３４を介してモニタ１２６０に供給し、その音声をスピーカから出力させるようにしてもよい。
さらに、レコーダ制御部１２２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１２２７に供給する。
以上のようなハードディスクレコーダ１２００は、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダとして画像復号装置２００を用いる。つまり、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、画像復号装置２００の場合と同様に、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理（強デブロックフィルタ、弱デブロックフィルタ、または適応フィルタ）を行う。したがって、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、符号化効率の高い復号をより効率よく行うことができる。
したがって、ハードディスクレコーダ１２００は、例えば、チューナや通信部１２３５によるビデオデータ（符号化データ）の受信の際や、記録再生部１２３３によるビデオデータ（符号化データ）のハードディスクからの再生の際の復号において、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
また、ハードディスクレコーダ１２００は、エンコーダ１２５１として画像符号化装置１００を用いる。したがって、エンコーダ１２５１は、画像符号化装置１００の場合と同様に、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理（強デブロックフィルタ、弱デブロックフィルタ、または適応フィルタ）を行う。したがって、エンコーダ１２５１は、符号化効率の高い符号化をより効率よく行うことができる。
したがって、ハードディスクレコーダ１２００は、例えば、ハードディスクに符号化データを記録する際の、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１２００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１２００の場合と同様に、画像符号化装置１００および画像復号装置２００を適用することができる。
＜７．第７の実施の形態＞
［カメラ］
図２４は、本発明を適用した画像符号化装置１００および画像復号装置２００を用いるカメラの主な構成例を示すブロック図である。
図２４に示されるカメラ１３００は、被写体を撮像し、被写体の画像をLCD１３１６に表示させたり、それを画像データとして、記録メディア１３３３に記録したりする。
レンズブロック１３１１は、光（すなわち、被写体の映像）を、CCD/CMOS１３１２に入射させる。CCD/CMOS１３１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１３１３に供給する。
カメラ信号処理部１３１３は、CCD/CMOS１３１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１３１４に供給する。画像信号処理部１３１４は、コントローラ１３２１の制御の下、カメラ信号処理部１３１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１３４１で符号化したりする。画像信号処理部１３１４は、画像信号を符号化して生成した符号化データを、デコーダ１３１５に供給する。さらに、画像信号処理部１３１４は、オンスクリーンディスプレイ（OSD）１３２０において生成された表示用データを取得し、それをデコーダ１３１５に供給する。
以上の処理において、カメラ信号処理部１３１３は、バス１３１７を介して接続されるDRAM（Dynamic Random Access Memory）１３１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１３１８に保持させる。
デコーダ１３１５は、画像信号処理部１３１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１３１６に供給する。また、デコーダ１３１５は、画像信号処理部１３１４から供給された表示用データをLCD１３１６に供給する。LCD１３１６は、デコーダ１３１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
オンスクリーンディスプレイ１３２０は、コントローラ１３２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１３１７を介して画像信号処理部１３１４に出力する。
コントローラ１３２１は、ユーザが操作部１３２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１３１７を介して、画像信号処理部１３１４、DRAM１３１８、外部インタフェース１３１９、オンスクリーンディスプレイ１３２０、およびメディアドライブ１３２３等を制御する。FLASH ROM１３２４には、コントローラ１３２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
例えば、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５に代わって、DRAM１３１８に記憶されている画像データを符号化したり、DRAM１３１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１３１４やデコーダ１３１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
また、例えば、操作部１３２２から画像印刷の開始が指示された場合、コントローラ１３２１は、DRAM１３１８から画像データを読み出し、それを、バス１３１７を介して外部インタフェース１３１９に接続されるプリンタ１３３４に供給して印刷させる。
さらに、例えば、操作部１３２２から画像記録が指示された場合、コントローラ１３２１は、DRAM１３１８から符号化データを読み出し、それを、バス１３１７を介してメディアドライブ１３２３に装着される記録メディア１３３３に供給して記憶させる。
記録メディア１３３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１３３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
また、メディアドライブ１３２３と記録メディア１３３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
外部インタフェース１３１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１３３４と接続される。また、外部インタフェース１３１９には、必要に応じてドライブ１３３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１３３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１３２４にインストールされる。
さらに、外部インタフェース１３１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１３２１は、例えば、操作部１３２２からの指示に従って、DRAM１３１８から符号化データを読み出し、それを外部インタフェース１３１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１３２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１３１９を介して取得し、それをDRAM１３１８に保持させたり、画像信号処理部１３１４に供給したりすることができる。
以上のようなカメラ１３００は、デコーダ１３１５として画像復号装置２００を用いる。つまり、デコーダ１３１５は、画像復号装置２００の場合と同様に、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理（強デブロックフィルタ、弱デブロックフィルタ、または適応フィルタ）を行う。したがって、デコーダ１３１５は、符号化効率の高い復号をより効率よく行うことができる。
したがって、カメラ１３００は、例えば、CCD/CMOS１３１２において生成される画像データや、DRAM１３１８または記録メディア１３３３からビデオデータの符号化データを読み出す際や、ネットワークを介してビデオデータの符号化データを取得する際の、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
また、カメラ１３００は、エンコーダ１３４１として画像符号化装置１００を用いる。エンコーダ１３４１は、画像符号化装置１００の場合と同様に、画素値をクラス分類し、そのクラスに応じて適切なフィルタ処理（強デブロックフィルタ、弱デブロックフィルタ、または適応フィルタ）を行う。したがって、エンコーダ１３４１は、符号化効率の高い符号化をより効率よく行うことができる。
したがって、カメラ１３００は、例えば、DRAM１３１８や記録メディア１３３３に符号化データを記録する際や、符号化データを他の装置に提供する際の、演算量や消費電力の増大を抑制することができ、リアルタイム処理をより低いコストで実現することができる。
なお、コントローラ１３２１が行う復号処理に画像復号装置２００の復号方法を適用するようにしてもよい。同様に、コントローラ１３２１が行う符号化処理に画像符号化装置１００の符号化方法を適用するようにしてもよい。
また、カメラ１３００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
もちろん、画像符号化装置１００および画像復号装置２００は、上述した装置以外の装置やシステムにも適用可能である。
また、マクロブロックの大きさは任意である。本発明は、例えば図７に示されるようなあらゆる大きさのマクロブロックに対して適用することができる。例えば、本発明は、通常の１６×１６画素のようなマクロブロックだけでなく、３２×３２画素のような拡張されたマクロブロック（拡張マクロブロック）にも適用することができる。
図７において、上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。また、中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。さらに、下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
すなわち、３２×３２画素のマクロブロックは、上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
これらのブロックは、以下の３階層に分類することができる。すなわち、図７の上段に示される３２×３２画素、３２×１６画素、および１６×３２画素のブロックを第１階層と称する。上段の右側に示される１６×１６画素のブロック、並びに、中段に示される１６×１６画素、１６×８画素、および８×１６画素のブロックを、第２階層と称する。中段の右側に示される８×８画素のブロック、並びに、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックを、第３階層と称する。
このような階層構造を採用することにより、１６×１６画素のブロック以下に関しては、H．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックを定義することができる。
例えば、画像符号化装置１００や画像復号装置２００が、階層毎にフィルタ係数を算出するようにしてもよい。また、例えば、画像符号化装置１００や画像復号装置２００が、第２の階層よりブロックサイズが大きい階層である第１階層に対応するフィルタ係数を、第２階層に対しても設定するようにしてもよい。さらに、例えば、画像符号化装置１００や画像復号装置２００が、過去の同一の階層に対するフィルタ係数を設定するようにしてもよい。
第１階層や第２階層のように、比較的大きなブロックサイズを用いて符号化が行われるマクロブロックは、比較的高周波成分を含んでいない。これに対して、第３階層のように、比較的小さなブロックサイズを用いて符号化が行われるマクロブロックは、比較的、高周波成分を含んでいると考えられる。
そこで、ブロックサイズの異なる各階層に応じて、別々にフィルタ係数を算出することにより、画像の持つ、局所的性質に適した符号化性能向上を実現させることが可能である。
なお、フィルタのタップ数も、階層毎に異なるものであってもよい。
１００ 画像符号化装置， １１１ 適応デブロックフィルタ， １１２ フィルタ係数算出部， １５１ 画素分類部， １５２ 強デブロックフィルタ， １５３ 弱デブロックフィルタ， １５４ 適応フィルタ， ２００ 画像復号装置， ２０２ 可逆復号部， ２０６ 適応デブロックフィルタ， ２５１ フィルタ係数バッファ， ２５２ 画素分類部， ２５３ 強デブロックフィルタ， ２５４ 弱デブロックフィルタ， ２５５ 適応フィルタ

Claims (10)

  1. 画像の各画素を、ブロック歪の除去の必要性に応じて複数のクラスのいずれかに分類するクラス分類手段と、
    前記クラス分類手段により、前記ブロック歪を除去する必要性が高いクラスに分類された画素に対して前記ブロック歪を除去するためのデブロックフィルタ処理を行うデブロックフィルタ手段と、
    前記クラス分類手段により、前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して画質向上のための適応フィルタ処理を行う適応フィルタ手段と
    を備える画像処理装置。
  2. 前記デブロックフィルタ手段として、
    前記ブロック歪を強く除去する強デブロックフィルタ処理を行う強デブロックフィルタ手段と、
    前記ブロック歪を弱く除去する弱デブロックフィルタ処理を行う弱デブロックフィルタ手段と
    を備え、
    前記クラス分類手段は、前記画像の各画素を、前記ブロック歪を強く除去する必要性が高いクラス、前記ブロック歪を弱く除去する必要性が高いクラス、および、前記ブロック歪を除去する必要性が低いクラスの３つのクラスのいずれかに分類し、
    前記強デブロックフィルタ手段は、前記クラス分類手段により前記ブロック歪を強く除去する必要性が高いクラスに分類された画素に対して前記強デブロックフィルタ処理を行い、
    前記弱デブロックフィルタ手段は、前記クラス分類手段により前記ブロック歪を弱く除去する必要性が高いクラスに分類された画素に対して前記弱デブロックフィルタ処理を行い、
    前記適応フィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して画質向上のための適応フィルタ処理を行う
    請求項１に記載の画像処理装置。
  3. 前記クラス分類手段は、動きベクトル情報、若しくは、マクロブロックモード情報を含む符号化情報を用いて、前記画像の各画素のクラス分類を行う
    請求項１に記載の画像処理装置。
  4. 前記画像を符号化し、符号化データを生成する符号化手段をさらに備える
    請求項１に記載の画像処理装置。
  5. 前記クラス分類手段により分類された各クラスについて、フィルタ処理に用いられるフィルタ係数を算出するフィルタ係数算出手段をさらに備え、
    前記デブロックフィルタ手段および前記適応フィルタ手段は、前記フィルタ係数算出手段により算出されたそれぞれのクラスに対応するフィルタ係数を用いてそれぞれのフィルタ処理を行う
    請求項４に記載の画像処理装置。
  6. 前記フィルタ係数算出手段により算出された前記フィルタ係数を、前記符号化手段により前記画像が符号化されて得られた前記符号化データに付加する付加手段と、
    前記付加手段により前記フィルタ係数が付加された前記符号化データを送信する送信手段と
    をさらに備える請求項５に記載の画像処理装置。
  7. 前記フィルタ係数算出手段は、前記ブロック歪を除去する必要性が低いクラスに対して行われる前記適応フィルタのフィルタ係数のみ算出し、
    前記適応フィルタ手段は、前記フィルタ係数算出手段により算出された前記フィルタ係数を用いて前記適応フィルタを行い、
    前記デブロックフィルタ手段は、予め定められた所定のフィルタ係数を用いて前記デブロックフィルタを行う
    請求項６に記載の画像処理装置。
  8. 前記画像が符号化された符号化データを復号し、復号画像を生成する復号手段をさらに備え、
    前記クラス分類手段は、前記復号手段により前記符号化データが復号されて得られた前記復号画像の各画素を、ブロック歪の除去の必要性に応じて、複数のクラスのいずれかに分類し、
    前記デブロックフィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が高いクラスに分類された画素に対して前記デブロックフィルタ処理を行い、
    前記適応フィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して前記適応フィルタ処理を行う
    請求項１に記載の画像処理装置。
  9. 前記符号化データから前記フィルタ係数を取得するフィルタ係数取得手段をさらに備え、
    前記デブロックフィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が高いクラスに分類された画素に対して、前記フィルタ係数取得手段により取得された、前記ブロック歪を除去する必要性が高いクラスに対応するフィルタ係数を用いて、前記デブロックフィルタ処理を行い、
    前記適応フィルタ手段は、前記クラス分類手段により前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して、前記フィルタ係数取得手段により取得された、前記ブロック歪を除去する必要性が低いクラスに対応するフィルタ係数を用いて、前記適応フィルタ処理を行う
    請求項８に記載の画像処理装置。
  10. 画像処理装置のクラス分類手段が、画像の各画素を、ブロック歪の除去の必要性に応じて、複数のクラスのいずれかに分類し、
    前記画像処理装置のデブロックフィルタ手段が、前記ブロック歪を除去する必要性が高いクラスに分類された画素に対して前記ブロック歪を除去するためのデブロックフィルタ処理を行い、
    前記画像処理装置の適応フィルタ手段が、前記ブロック歪を除去する必要性が低いクラスに分類された画素に対して画質向上のための適応フィルタ処理を行う
    画像処理方法。
JP2009296949A 2009-12-28 2009-12-28 画像処理装置および方法 Pending JP2011139208A (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2009296949A JP2011139208A (ja) 2009-12-28 2009-12-28 画像処理装置および方法
EP10840893A EP2521356A1 (en) 2009-12-28 2010-12-17 Image processing device and method, and program
US13/517,158 US20120257681A1 (en) 2009-12-28 2010-12-17 Image processing device and method and program
PCT/JP2010/072736 WO2011081035A1 (ja) 2009-12-28 2010-12-17 画像処理装置および方法、並びに、プログラム
RU2012125818/08A RU2012125818A (ru) 2009-12-28 2010-12-17 Устройство, способ и программа обработки изображения
CN201080059659.4A CN102714718A (zh) 2009-12-28 2010-12-17 图像处理装置、方法和程序
BR112012015216A BR112012015216A2 (pt) 2009-12-28 2010-12-17 "dispositivo e método de processamento de imagem,e,programa".
KR1020127015971A KR20120096519A (ko) 2009-12-28 2010-12-17 화상 처리 장치 및 방법, 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009296949A JP2011139208A (ja) 2009-12-28 2009-12-28 画像処理装置および方法

Publications (1)

Publication Number Publication Date
JP2011139208A true JP2011139208A (ja) 2011-07-14

Family

ID=44226446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009296949A Pending JP2011139208A (ja) 2009-12-28 2009-12-28 画像処理装置および方法

Country Status (8)

Country Link
US (1) US20120257681A1 (ja)
EP (1) EP2521356A1 (ja)
JP (1) JP2011139208A (ja)
KR (1) KR20120096519A (ja)
CN (1) CN102714718A (ja)
BR (1) BR112012015216A2 (ja)
RU (1) RU2012125818A (ja)
WO (1) WO2011081035A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062768A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2013062767A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2013090253A (ja) * 2011-10-20 2013-05-13 Nippon Hoso Kyokai <Nhk> 画像処理装置及びプログラム
JP2013115580A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム
US9681132B2 (en) 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012510202A (ja) * 2008-11-25 2012-04-26 トムソン ライセンシング ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
CN104284199B (zh) * 2013-07-11 2019-02-01 Nxp股份有限公司 用降低复杂度的去块效应操作进行视频解码方法和装置
RU2684193C1 (ru) * 2015-05-21 2019-04-04 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ для компенсации движения в видеоизображении
CN107726991B (zh) * 2017-10-09 2020-05-05 北京航空航天大学 一种基于弱形式的数字图像相关应变场计算方案
NZ777166A (en) * 2018-12-07 2022-11-25 Huawei Tech Co Ltd An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter
CN112637610A (zh) * 2019-09-24 2021-04-09 富士通株式会社 去块滤波器的系数获取装置、方法以及图像编解码装置
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
CN112004081A (zh) * 2020-06-15 2020-11-27 广东科学技术职业学院 一种视频编码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006010276A1 (en) * 2004-07-30 2006-02-02 Algolith Inc Apparatus and method for adaptive 3d artifact reducing for encoded image signal
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression
WO2008084745A1 (ja) * 2007-01-09 2008-07-17 Panasonic Corporation 画像符号化装置および画像復号化装置
WO2009110160A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化／復号化方法及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006010276A1 (en) * 2004-07-30 2006-02-02 Algolith Inc Apparatus and method for adaptive 3d artifact reducing for encoded image signal
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression
WO2008084745A1 (ja) * 2007-01-09 2008-07-17 Panasonic Corporation 画像符号化装置および画像復号化装置
WO2009110160A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化／復号化方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNB201000706001; 大久保 榮: 改訂三版Ｈ．２６４／ＡＶＣ教科書 , 20090101, 第１４５頁-第１４８頁, 株式会社インプレスＲ＆Ｄ 井芹 昌信 *
JPN6013058228; 大久保 榮: 改訂三版Ｈ．２６４／ＡＶＣ教科書 , 20090101, 第１４５頁-第１４８頁, 株式会社インプレスＲ＆Ｄ 井芹 昌信 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9681132B2 (en) 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
JP2013062768A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2013062767A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2013090253A (ja) * 2011-10-20 2013-05-13 Nippon Hoso Kyokai <Nhk> 画像処理装置及びプログラム
JP2013115580A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム

Also Published As

Publication number Publication date
US20120257681A1 (en) 2012-10-11
KR20120096519A (ko) 2012-08-30
BR112012015216A2 (pt) 2016-04-05
CN102714718A (zh) 2012-10-03
WO2011081035A1 (ja) 2011-07-07
RU2012125818A (ru) 2013-12-27
EP2521356A1 (en) 2012-11-07

Similar Documents

Publication Publication Date Title
JP5359657B2 (ja) 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 画像符号化装置および方法、記録媒体、並びにプログラム
KR101901087B1 (ko) 화상 처리 장치 및 방법
JP5233897B2 (ja) 画像処理装置および方法
WO2011081035A1 (ja) 画像処理装置および方法、並びに、プログラム
JP5464435B2 (ja) 画像復号装置および方法
WO2011155378A1 (ja) 画像処理装置および方法
JP5556996B2 (ja) 画像処理装置および方法
WO2011125866A1 (ja) 画像処理装置および方法
WO2012050021A1 (ja) 画像処理装置および方法
JP2012147127A (ja) 画像処理装置および方法
WO2011096318A1 (ja) 画像処理装置および方法
JP2011151431A (ja) 画像処理装置および方法
WO2012005195A1 (ja) 画像処理装置および方法
JP6328076B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP6620184B2 (ja) 画像復号装置、画像復号方法、及び、記録媒体
JP6229770B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP6032296B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5875565B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5573995B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP5429418B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP5999773B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2012129925A (ja) 画像処理装置および方法、並びに、プログラム
JP2013153506A (ja) 画像符号化装置および方法、記録媒体、並びにプログラム
JP2013153507A (ja) 画像復号装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140325