JP2013093792A - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP2013093792A
JP2013093792A JP2011235881A JP2011235881A JP2013093792A JP 2013093792 A JP2013093792 A JP 2013093792A JP 2011235881 A JP2011235881 A JP 2011235881A JP 2011235881 A JP2011235881 A JP 2011235881A JP 2013093792 A JP2013093792 A JP 2013093792A
Authority
JP
Japan
Prior art keywords
unit
image
processing
deblocking filter
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011235881A
Other languages
English (en)
Inventor
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011235881A priority Critical patent/JP2013093792A/ja
Priority to CN201280051241.8A priority patent/CN103891284A/zh
Priority to PCT/JP2012/076885 priority patent/WO2013061852A1/ja
Priority to US14/346,888 priority patent/US20140233660A1/en
Publication of JP2013093792A publication Critical patent/JP2013093792A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

【課題】ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができるようにする。
【解決手段】デブロックフィルタ制御部は、適応オフセット部からのquad-tree構造の情報に基づき、デブロックフィルタ処理の対象領域が、適応オフセット処理の対象領域の境界であるか否かを判定する。デブロックフィルタ処理の対象領域が、適応オフセット処理の対象領域の境界である場合、デブロックフィルタ制御部は、フィルタ強度を強く調整する制御情報を、デブロックフィルタに供給する。本開示は、例えば、画像処理装置に適用することができる。
【選択図】図１６

Description

本開示は画像処理装置および方法に関し、特に、復号画像の画質を向上させることができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。
さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。
しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。
かかる符号化効率改善の１つとして、動き補償ループ内にFIRフィルタを持つ手法が提案されている（例えば、非特許文献１参照）。符号化装置においては、このFIRフィルタ係数を、入力画像との誤差を最小にするよう、Wiener Filterにより求めることで、参照画像における劣化を最小限に抑え、出力となる画像圧縮情報の符号化効率を向上させることが可能である。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献２参照）。
このHEVCにおいては、AVCにおけるマクロブロックと同様の処理単位としてコーディングユニット（CU（Coding Unit））が定義されている。このCUは、AVCのマクロブロックのようにサイズが16×16画素に固定されず、それぞれのシーケンスにおいて、画像圧縮情報中において指定される。
CUは、最大のLCU（Largest Coding Unit）から最小のSCU（Smallest Coding Unit）まで階層的に構成される。つまり、概ね、LCUがAVCのマクロブロックに相当し、そのLCUより下の階層のCU（LCUより小さなCU）がAVCのサブマクロブロックに相当すると考えることもできる。
ところで、HEVCにおいては、非特許文献３で提案されている適応オフセットフィルタという方法が採用されている。HEVCにおいて、適応オフセットフィルタは、デブロックフィルタと適応ループフィルタの間に設けられる。
適応オフセットの種類としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの分割領域に、上述したどの適応オフセットの種類により符号化するかを選択することができる。この方法を用いることで、符号化効率を向上させることができる。
Takeshi Chujoh,Goki Yasuda,Naofumi Wada,Takashi Watanabe,Tomoo Yamakage,"Block-based Adaptive Loop Filter",VCEG-AI18,ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group (VCEG)35th Meeting: Berlin, Germany, 16-18 July, 2008 Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan, "Working Draft 4 of High-Efficiency Video Coding ", JCTVC-F803, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011 Chih-Ming Fu,Ching-Yeh Chen,Yu-Wen Huang,Shawmin Lei,"CE8 Subtest 3:Picture Quality Adaptive Offset",JCTVC-D122,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR,20-28 January,2011
しかしながら、非特許文献３において提案されている方法は、ブロックベースで行われる。このようなブロックベースの処理を、デブロックフィルタ処理の後に行うことにより、ブロック歪みを生じさせてしまう恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させるものである。
本開示の一側面の画像処理装置は、符号化ストリームを復号処理して画像を生成する復号部と、前記復号部により生成された画像を対象として、適応オフセット処理を行う適応オフセット処理部と、前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整するデブロックフィルタ調整部と、前記適応オフセット処理部により前記適応オフセット処理が行われた画像を対象として、前記デブロックフィルタ調整部により調整された強度で、前記デブロックフィルタ処理を行うデブロックフィルタ処理部とを備える。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、前記デブロックフィルタ処理の対象領域と前記隣接領域とが、エッジオフセット、バンドオフセット、およびオフセットなしのうち、異なる種類のオフセットでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、エッジオフセットまたはバンドオフセットのうち、同じ種類のオフセットで、かつ、異なるカテゴリでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、Boundary strength値により前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を＋１として、前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を４として、前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、αの値またはβの値により前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、量子化パラメータQPと所定値ΔQPとを加算した値を用いたテーブル引きを行って、前記αの値またはβの値を決定することができる。
本開示の一側面の画像処理方法は、符号化ストリームを復号処理して画像を生成し、生成された画像を対象として、適応オフセット処理を行い、前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整し、前記適応オフセット処理が行われた画像を対象として、調整された強度で、前記デブロックフィルタ処理を行う。
本開示の他の側面の画像処理装置は、画像を符号化する際にローカル復号処理された画像を対象として、適応オフセット処理を行う適応オフセット処理部と、前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整するデブロックフィルタ調整部と、前記適応オフセット処理部により前記適応オフセット処理が行われた画像を対象として、前記デブロックフィルタ調整部により調整された強度で、前記デブロックフィルタ処理を行うデブロックフィルタ処理部と、前記デブロックフィルタ処理部により前記デブロックフィルタ処理が行われた画像を用いて、前記画像を符号化する符号化部とを備える。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、前記デブロックフィルタ処理の対象領域と前記隣接領域とが、エッジオフセット、バンドオフセット、およびオフセットなしのうち、異なる種類のオフセットでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、エッジオフセットまたはバンドオフセットのうち、同じ種類のオフセットで、かつ、異なるカテゴリでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、Boundary strength値により前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を＋１として、前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を４として、前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、αの値またはβの値により前記デブロックフィルタ処理の強度を調整することができる。
前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、量子化パラメータQPと所定値ΔQPとを加算した値を用いたテーブル引きを行って、前記 αの値またはβの値を決定することができる。
本開示の他の側面の画像処理方法は、画像処理装置が、画像を符号化する際にローカル復号処理された画像を対象として、適応オフセット処理を行い、前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整し、前記適応オフセット処理が行われた画像を対象として、調整された強度で、前記デブロックフィルタ処理を行い、前記デブロックフィルタ処理が行われた画像を用いて、前記画像を符号化する。
本開示の一側面においては、符号化ストリームを復号処理して画像が生成され、生成された画像を対象として、適応オフセット処理が行われる。そして、前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度が調整され、前記適応オフセット処理が行われた画像を対象として、調整された強度で、前記デブロックフィルタ処理が行われる。
本開示の他の側面においては、画像を符号化する際にローカル復号処理された画像を対象として、適応オフセット処理が行われ、前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整される。そして、、前記適応オフセット処理が行われた画像を対象として、調整された強度で、前記デブロックフィルタ処理が行われ、前記デブロックフィルタ処理が行われた画像を用いて、前記画像が符号化される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置
または画像復号装置を構成している内部ブロックであってもよい。
本開示の一側面によれば、画像を復号することができる。特に、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができる。
本開示の他の側面によれば、画像を符号化することができる。特に、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができる。
H．264/AVC方式の画像符号化装置の主な構成例を示すブロック図である。 H．264/AVC方式の画像復号装置の主な構成例を示すブロック図である。 適応ループフィルタを適用した画像符号化装置の主な構成例を示すブロック図である。 適応ループフィルタを適用した画像復号装置の主な構成例を示すブロック図である。 デブロックフィルタの動作原理を説明する図である。 Bsの定義の方法を説明する図である。 デブロックフィルタの動作原理を説明する図である。 indexAおよびindexBとαおよびβの値の対応関係の例を示す図である。 BsおよびindexAとtC0との対応関係の例を示す図である。 コーディングユニットの構成例を説明する図である。 HEVC方式における適応オフセット処理を説明する図である。 quad-tree構造を説明する図である。 バンドオフセットを説明する図である。 エッジオフセットを説明する図である。 エッジオフセットの規則一覧表を示す図である。 本開示の画像符号化装置の主な構成例を示すブロック図である。 適応オフセット部およびデブロックフィルタの構成例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 インループフィルタ処理の流れの例を説明するフローチャートである。 適応オフセット処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 適応オフセット部およびデブロックフィルタの構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 インループフィルタ処理の流れの例を説明するフローチャートである。 適応オフセット処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．従来の手法の説明
２．第１の実施の形態（画像符号化装置）
３．第２の実施の形態（画像復号装置）
４．第３の実施の形態（パーソナルコンピュータ）
５．応用例
＜１．第１の実施の形態＞
［H．264/AVC方式の画像符号化装置］
図１は、H．264及びMPEG（Moving Picture Experts Group）4 Part10（AVC（Advanced Video Coding））符号化方式により画像を符号化する画像符号化装置の一実施の形態の構成を表している。以下、H．264及びMPEG 符号化方式を、H．264/AVC方式と称する。
図１の例において、画像符号化装置１は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、演算部２０を含むように構成されている。また、画像符号化装置１は、デブロックフィルタ２１、フレームメモリ２２、選択部２３、イントラ予測部２４、動き予測・補償部２５、予測画像選択部２６、およびレート制御部２７も含むように構成されている。
A/D変換部１１は、入力された画像データをA/D変換し、画面並べ替えバッファ１２に出力し、記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１２は、フレームの順番を並び替えた画像を、演算部１３に供給する。また、画面並べ替えバッファ１２は、フレームの順番を並び替えた画像を、イントラ予測部２４および動き予測・補償部２５にも供給する。
演算部１３は、画面並べ替えバッファ１２から読み出された画像から、予測画像選択部２６を介してイントラ予測部２４若しくは動き予測・補償部２５から供給される予測画像を減算し、その差分情報を直交変換部１４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像から、イントラ予測部２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像から、動き予測・補償部２５から供給される予測画像を減算する。
直交変換部１４は、演算部１３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１５に供給する。
量子化部１５は、直交変換部１４が出力する変換係数を量子化する。量子化部１５は、レート制御部２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、量子化を行う。量子化部１５は、量子化された変換係数を可逆符号化部１６に供給する。
可逆符号化部１６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。係数データは、レート制御部２７の制御の下で量子化されているので、この符号量は、レート制御部２７が設定した目標値となる（若しくは目標値に近似する）。
可逆符号化部１６は、イントラ予測を示す情報などをイントラ予測部２４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き予測・補償部２５から取得する。なお、イントラ予測（画面内予測）を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測（画面間予測）を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。
可逆符号化部１６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどの各種情報を、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１６は、符号化して得られた符号化データを蓄積バッファ１７に供給して蓄積させる。
例えば、可逆符号化部１６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ１７は、可逆符号化部１６から供給された符号化データを、一時的に保持する。蓄積バッファ１７は、蓄積した符号化データを、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。すなわち、蓄積バッファ１７は、符号化データを伝送する伝送部でもある。
また、量子化部１５において量子化された変換係数は、逆量子化部１８にも供給される。逆量子化部１８は、その量子化された変換係数を、量子化部１５による量子化に対応する方法で逆量子化する。逆量子化部１８は、得られた変換係数を、逆直交変換部１９に供給する。
逆直交変換部１９は、供給された変換係数を、直交変換部１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部２０に供給される。
演算部２０は、逆直交変換部１９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部２６を介してイントラ予測部２４若しくは動き予測・補償部２５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部２０は、その差分情報にイントラ予測部２４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部２０は、その差分情報に動き予測・補償部２５から供給される予測画像を加算する。
その加算結果は、デブロックフィルタ２１またはフレームメモリ２２に供給される。
デブロックフィルタ２１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ２１は、そのフィルタ処理結果をフレームメモリ２２に供給する。なお、演算部２０から出力される復号画像は、デブロックフィルタ２１を介さずにフレームメモリ２２に供給することができる。すなわち、デブロックフィルタ２１のデブロックフィルタ処理は省略することができる。
フレームメモリ２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部２３を介してイントラ予測部２４または動き予測・補償部２５に出力する。
例えば、イントラ符号化が行われる画像の場合、フレームメモリ２２は、参照画像を、選択部２３を介してイントラ予測部２４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ２２は、参照画像を、選択部２３を介して動き予測・補償部２５に供給する。
選択部２３は、フレームメモリ２２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部２４に供給する。また、選択部２３は、フレームメモリ２２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部２５に供給する。
イントラ予測部２４は、選択部２３を介してフレームメモリ２２から供給される処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部２４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
H．264/AVC方式において、輝度信号に対しては、イントラ4×4予測モード、イントラ8×8予測モード及びイントラ16×16予測モードが定義されている。また、色差信号に関しては、それぞれのマクロブロックごとに、輝度信号とは独立した予測モードを定義することが可能である。イントラ4×4予測モードについては、それぞれの4×4輝度ブロックに対して、イントラ8×8予測モードについては、それぞれの8×8輝度ブロックに対して、１つのイントラ予測モードが定義されることになる。イントラ16×16予測モード、並びに、色差信号に対しては、１つのマクロブロックに対して、それぞれ１つの予測モードが定義されることになる。
イントラ予測部２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部２６を介して演算部１３や演算部２０に供給する。
また、上述したように、イントラ予測部２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１６に供給する。
動き予測・補償部２５は、インター符号化が行われる画像について、画面並べ替えバッファ１２から供給される入力画像と、選択部２３を介してフレームメモリ２２から供給される参照画像とを用いて、動き予測（インター予測）を行う。動き予測・補償部２５は、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部２５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。
動き予測・補償部２５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部２５は、生成された予測画像を、予測画像選択部２６を介して演算部１３や演算部２０に供給する。
また、動き予測・補償部２５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１６に供給する。
予測画像選択部２６は、イントラ符号化を行う画像の場合、イントラ予測部２４の出力を演算部１３や演算部２０に供給し、インター符号化を行う画像の場合、動き予測・補償部２５の出力を演算部１３や演算部２０に供給する。
レート制御部２７は、蓄積バッファ１７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。
［H．264/AVC方式の画像復号装置］
図２は、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像復号装置の主な構成例を示すブロック図である。図２に示される画像復号装置３１は、図１の画像符号化装置１に対応する復号装置である。
画像符号化装置１より符号化された符号化データは、例えば伝送路や記録媒体等、任意の経路を介して、この画像符号化装置１に対応する画像復号装置３１に供給され、復号される。
図２に示されるように、画像復号装置３１は、蓄積バッファ４１、可逆復号部４２、逆量子化部４３、逆直交変換部４４、演算部４５、デブロックフィルタ４６、画面並べ替えバッファ４７、およびD/A変換部４８を含むように構成される。また、画像復号装置３１は、フレームメモリ４９、選択部５０、イントラ予測部５１、動き補償部５２、および画像選択部５３を有する。
蓄積バッファ４１は、伝送されてきた符号化データを受け取り、蓄積する。すなわち、蓄積バッファ４１は、伝送されてきた符号化データの受け取り部でもある。この符号化データは、画像符号化装置１により符号化されたものである。可逆復号部４２は、蓄積バッファ４１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部１６の符号化方式に対応する方式で復号する。
また、当該フレームがイントラ符号化されたものである場合、符号化データのヘッダ部にはイントラ予測モード情報が格納されている。可逆復号部４２は、このイントラ予測モード情報も復号し、その情報をイントラ予測部５１に供給する。これに対して、当該フレームがインター符号化されたものである場合、符号化データのヘッダ部には動きベクトル情報が格納されている。可逆復号部４２は、この動きベクトル情報も復号し、その情報を動き補償部５２に供給する。
逆量子化部４３は、可逆復号部４２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部４３は、図１の逆量子化部１８と同様の方法で量子化係数の逆量子化を行う。
逆量子化部４３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部４４に供給する。逆直交変換部４４は、図１の直交変換部１４の直交変換方式に対応する方式（図１の逆直交変換部１９と同様の方式）で、その直交変換係数を逆直交変換し、画像符号化装置１において直交変換される前の残差データに対応する復号残差データを得る。例えば、４次の逆直交変換が施される。
逆直交変換されて得られた復号残差データは、演算部４５に供給される。また、演算部４５には、画像選択部５３を介して、イントラ予測部５１若しくは動き補償部５２から予測画像が供給される。
演算部４５は、その復号残差データと予測画像とを加算し、画像符号化装置１の演算部１３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部４５は、その復号画像データをデブロックフィルタ４６に供給する。
デブロックフィルタ４６は、供給された復号画像のブロック歪を除去した後、画面並べ替えバッファ４７に供給する。
画面並べ替えバッファ４７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部４８は、画面並べ替えバッファ４７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
デブロックフィルタ４６の出力は、さらに、フレームメモリ４９に供給される。
フレームメモリ４９、選択部５０、イントラ予測部５１、動き補償部５２、および画像選択部５３は、画像符号化装置１のフレームメモリ２２、選択部２３、イントラ予測部２４、動き予測・補償部２５、および予測画像選択部２６にそれぞれ対応する。
選択部５０は、インター処理される画像と参照される画像をフレームメモリ４９から読み出し、動き補償部５２に供給する。また、選択部５０は、イントラ予測に用いられる画像をフレームメモリ４９から読み出し、イントラ予測部５１に供給する。
イントラ予測部５１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部４２から適宜供給される。イントラ予測部５１は、この情報に基づいて、フレームメモリ４９から取得した参照画像から予測画像を生成し、生成した予測画像を画像選択部５３に供給する。
動き補償部５２は、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部４２から取得する。
動き補償部５２は、可逆復号部４２から供給されるそれらの情報に基づいて、フレームメモリ４９から取得した参照画像から予測画像を生成し、生成した予測画像を画像選択部５３に供給する。
画像選択部５３は、動き補償部５２またはイントラ予測部５１により生成された予測画像を選択し、演算部４５に供給する。
［適応ループフィルタの詳細］
次に、非特許文献１に提案されている適応ループフィルタ（ALF（Adaptive Loop Filter））について説明する。
図３は、適応ループフィルタを適用した画像符号化装置の構成例を示すブロック図である。なお、図３の例において、説明の便宜上、図１のA/D変換部１１、画面並べ替えバッファ１２、蓄積バッファ１７、選択部２３、イントラ予測部２４、予測画像選択部２６、およびレート制御部２７は省略されている。また、矢印なども適宜省略されている。したがって、図３の例の場合、フレームメモリ２２からの参照画像は、動き予測・補償部２５に直接入力され、動き予測・補償部２５からの予測画像は、演算部１３および２０に直接出力されている。
すなわち、図３の画像符号化装置６１は、デブロックフィルタ２１とフレームメモリ２２の間に適応ループフィルタ７１が追加された点のみが、図１の画像符号化装置１と異なっている。
適応ループフィルタ７１は、画面並べ替えバッファ１２（図示は省略）からの原画像との残差を最小とするよう、適応ループフィルタ係数の算出を行い、この適応ループフィルタ係数を用いて、デブロックフィルタ２１からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。
また、適応ループフィルタ７１は、算出した適応ループフィルタ係数を、可逆符号化部１６に送る。可逆符号化部１６においては、この適応ループフィルタ係数を、可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
図４は、図３の画像符号化装置に対応する画像復号装置の構成例を示すブロック図である。なお、図４の例において、説明の便宜上、図２の蓄積バッファ４１、画面並べ替えバッファ４７、D/A変換部４８、選択部５０、イントラ予測部５１、および画像選択部５３は省略されている。また、矢印なども適宜省略されている。したがって、図４の例の場合、フレームメモリ４９からの参照画像は、動き補償部５２に直接入力され、動き補償部５２からの予測画像は、演算部４５に直接出力されている。
すなわち、図４の画像復号装置８１は、デブロックフィルタ４６とフレームメモリ４９の間に適応ループフィルタ９１が追加された点のみが、図２の画像復号装置３１と異なっている。
適応ループフィルタ９１には、可逆復号部４２から復号され、ヘッダから抽出された適応ループフィルタ係数が供給される。適応ループフィルタ９１は供給されたフィルタ係数を用いて、デブロックフィルタ４６からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。
これにより、復号画像の画質を向上させ、さらに、参照画像の画質をも向上させることができる。
［デブロックフィルタ］
次に、H．264/AVC方式におけるデブロックフィルタについて説明する。デブロックフィルタ２１は、動き補償ループ内に含まれ、復号画像におけるブロック歪み、すなわち、処理単位の領域の歪みを除去する。これにより、動き補償処理により参照される画像へのブロック歪の伝播が抑制される。
デブロックフィルタの処理としては、符号化データに含まれる、Picture Parameter Set RBSP（Raw Byte Sequence Payload）に含まれるdeblocking_filter_control_present_flag、及び、スライスヘッダ（Slice Header）に含まれるdisable_deblocking_filter_idcという２つのパラメータによって、以下の（ａ）乃至（ｃ）の３通りの方法が選択可能である。
（ａ）ブロック境界、及びマクロブロック境界に施す
（ｂ）マクロブロック境界にのみ施す
（ｃ）施さない
量子化パラメータQPについては、以下の処理を輝度信号に対して適用する場合は、QPYを、色差信号に対して適用する場合はQPCを用いる。また、動きベクトル符号化、イントラ予測、エントロピー符号化（CAVLC/CABAC）においては、異なるスライスに属する画素値は"not available"として処理する。しかしながら、デブロックフィルタ処理においては、異なるスライスに属する画素値でも、同一のピクチャに属する場合は"available"であるとして処理を行う。
以下においては、図５に示されるように、デブロックフィルタ処理前の画素値をp0〜p3、q0〜q3とし、処理後の画素値をp0'〜p3'、q0'〜q3'とする。
まず、デブロックフィルタ処理に先立ち、図５におけるp及びqに対して、図６に示される表のように、ブロック境界強度データであるBs（Boundary Strength）が定義される。
図６に示すように、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックに属し、且つ、当該画素がマクロブロックの境界に位置する場合に、Bsは、最もフィルタ強度が高い「４」が割り当てられる。
画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックに属し、且つ、当該画素がマクロブロックの境界に位置しない場合に、Bsは、「４」の次にフィルタ強度が高い「３」が割り当てられる。
画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、且つ、いずれかの画素が変換係数を持つ場合に、Bsは、「３」の次にフィルタ強度が高い「２」が割り当てられる。
画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、且つ、いずれかの画素が変換係数を持たないという条件を満たす場合に、参照フレームが異なるか、参照フレームの枚数が異なるか、動きベクトルが異なるかのいずれかの条件を満たすとき、Bsは、「１」が割り当てられる。
画素ｐ，ｑの双方がイントラ符号化されるマクロブロックに属するものではなく、どちらの画素も変換係数を持たず、参照フレームおよび動きベクトルが同じ場合、Bsは、「０」が割り当てられる。なお。「０」は、フィルタ処理を行わないことを意味する。
図５における(p2,p1,p0,q0,q1,q2)は、以下の式（１）および式（２）により示される条件が成立する場合のみ、デブロックフィルタ処理が施される。
Bs > 0 ・・・（１）
|p0-q0| < α; |p1-p0| < β; |q1-q0| < β ・・・（２）
式（２）のαおよびβは、デフォルトでは以下のようにQPに応じてその値が定められている。ただし、符号化データの、スライスヘッダに含まれる、slice_alpha_c0_offset_div2及びslice_beta_offset_div2という２つのパラメータによって、グラフの矢印のように、ユーザがその強度を調整することが可能である。
なお、図７は、QPと閾値αの関係を示しており、QPにオフセット量を加えると、QPと閾値αの関係を示す曲線は矢印の方向に移動することから、フィルタ強度を調整することが明らかである。
また、閾値αは、隣接するブロックＰとブロックＱのそれぞれの量子化パラメータqPp，qPqを用いて、次の式（３）および（４）からindexAを算出することで、図８Ａに示すテーブルから求められる。同様に、閾値βは、隣接するブロックＰとブロックＱのそれぞれの量子化パラメータqPp，qPqを用いて、式（３）および（５）からindexBを算出することで、図８Ｂに示すテーブルから求められる。このindexAおよびindexBは、以下の式（３）乃至式（５）のように定義される。
qPaν＝（qPp＋qPq＋１）＞＞１ ・・・（３）
indexA＝Clip3（0,51,qPaν＋FilterOffsetA） ・・・（４）
indexB＝Clip3（0,51,qPaν＋FilterOffsetB） ・・・（５）
式（４）および式（５）において、FilterOffsetA及びFilterOffsetBが、ユーザによる調整分に相当する。
デブロックフィルタ処理は、以下に説明するように、Bs<4の場合と、Bs=4の場合とで、互いに異なる方法が定義されている。
まず、Bs<4の場合、デブロックフィルタ処理後の画素値p'0及びq'0が、以下の式（６）乃至式（８）のように求められる。
Δ＝Clip3（−tc,tc（（（（q0−p0）＜＜２）＋（p1−q1）＋４）＞＞３））
・・・（６）
p'0＝Clip1（p0＋Δ） ・・・（７）
q'0＝Clip1（q0＋Δ） ・・・（８）
ここで、tcは、以下の式（９）または式（１０）ように算出される。すなわち、chromaEdgeFlagの値が「０」である場合、tcは以下の式（９）のように算出される。
tc＝tc0＋（（ap＜β）?1:0）＋（（aq＜β）?1:0） ・・・（９）
また、chromaEdgeFlagの値が「０」以外である場合、tcは以下の式（１０）のように算出される。
tc＝tc0＋１ ・・・（１０）
tC0の値は、BsとindexAの値に応じて、図９Ａおよび図９Ｂに示される表のように定義される。
また、式（９）のap及びaqの値は、以下の式（１１）および（１２）のように算出される。
ap＝|p2−p0| ・・・（１１）
aq＝|q2−q0| ・・・（１２）
デブロックフィルタ処理後の画素値p'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、apの値がβ以下である場合、p'1は、以下の式（１３）のように求められる。
p'1＝p1＋Clip3（−tc0,tc0,（p2＋（（p0＋q0＋１）＞＞１）−（p1＜＜１））＞＞１）
・・・（１３）
また、式（１３）が成り立たない場合、p'1は、以下の式（１４）のように求められる。
p'1＝p1 ・・・（１４）
デブロックフィルタ処理後の画素値q'1は以下のように求められる。すなわち、chromaEdgeFlagの値が「０」で、尚且つ、aqの値がβ以下である場合、q'1は、以下の式（１５）のように求められる。
q'1＝q1＋Clip3（−tc0,tc0,（q2＋（（p0＋q0＋１）＞＞１）−（q1＜＜１））＞＞１）
・・・（１５）
また、式（１５）が成り立たない場合、q'1は、以下の式（１６）のように求められる。
q'1＝q1 ・・・（１６）
p'2及びq'2の値は、Filtering前の値p2及びq2と変わらない。すなわち、p'2は、以下の式（１７）のように求められ、q'2は、以下の式（１８）のように求められる。
p'2＝p2 ・・・（１７）
q'2＝q2 ・・・（１８）
次に、Bs=4の場合、デブロックフィルタ後の画素値p'i（i＝0..2）は、以下のように求められる。chromaEdgeFlag の値が「０」であり、以下の式（１９）に示される条件が成り立つ場合、p'0、p'1、及びp'2は、以下の式（２０）乃至式（２２）のように求められる。
ap＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（１９）
p'0＝（p2＋２×p1＋２×p0＋２×q0＋q1＋４）＞＞３ ・・・（２０）
p'1＝（p2＋p1＋p0＋q0＋２）＞＞２ ・・・（２１）
p'2＝（２×p3＋３×p2＋p1＋p0＋q0＋４）＞＞３ ・・・（２２）
また、式（１９）に示される条件が成り立たない場合、p'0、p'1、及びp'2は、以下の式（２３）乃至（２５）のように求められる。
p'0＝（２×p1＋p0＋q1＋２）＞＞２ ・・・（２３）
p'1＝p1 ・・・（２４）
p'2＝p2 ・・・（２５）
デブロックフィルタ処理後の画素値q'i（I＝0..2）は、以下のように求められる。すなわち、chromaEdgeFlagの値が「０」であり、以下の式（２６）に示される条件が成り立つ場合、q'0、q'1、及びq'2は、以下の式（２７）乃至（２９）のように求められる。
aq＜β&&|p0−q0|＜（（α＞＞２）＋２） ・・・（２６）
q'0＝（p1＋２×p0＋２×q0＋２×q1＋q2＋４）＞＞３ ・・・（２７）
q'1＝（p0＋q0＋q1＋q2＋２）＞＞２ ・・・（２８）
q'2＝（２×q3＋３×q2＋q1＋q0＋p4＋４）＞＞３ ・・・（２９）
また、式（２６）に示される条件が成り立たない場合、q'0、q'1、及びq'2は、以下の式（３０）乃至（３２）のように求められる。
q'0＝（２×q1＋q0＋p1＋２）＞＞２ ・・・（３０）
q'1＝q1 ・・・（３１）
q'2＝q2 ・・・（３２）
［コスト関数］
ところで、AVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
かかる選択方式の例として、http://iphome.hhi.de/suehring/tml/index.htm において公開されている、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエアに実装されている方法を挙げることが出来る。
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
High Complexity Modeにおけるコスト関数は、以下の式（３３）のようになる。
Cost（Mode∈Ω）＝D＋λ＊R ・・・（３３）
ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。
つまり、High Complexity Modeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モード（Mode）により、一度、仮エンコード処理を行なう必要があり、より高い演算量を要する。
Low Complexity Modeにおけるコスト関数は、以下の式（３４）のようになる。
Cost（Mode∈Ω）＝D＋QP2Quant(QP)＊HeaderBit ・・・（３４）
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネ
ルギーとなる。QP2Quant(QP) は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
すなわち、Low Complexity Modeにおいては、それぞれの候補モード（Mode）に関して、予測処理を行う必要があるが、復号化画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
［コーディングユニット］
次に、非特許文献２に記載のHEVC (High Efficiency Video Coding)符号化方式（以下、HEVC方式と称する）において定められている、コーディングユニット（Coding Unit）について説明する。
H．264/AVC方式においては、１つのマクロブロックを、複数の動き補償ブロックに分割し、それぞれに対して異なる動き情報を持たせることが可能であった。すなわち、H．264/AVC方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されているが、例えば、HEVC方式においては、図１０に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
CUは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１０の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
更に、CUは、イントラ若しくはインター予測処理の対象となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換処理の対象となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、H．264/AVC方式におけるマクロブロックはLCUに相当すると考えることができる。ただし、CUは、図１０に示されるように階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、H．264/AVC方式のマクロブロックより大きく設定されることが一般的である。
本開示は、H．264/AVC方式におけるマクロブロックを用いる符号化方式だけでなく、HEVC方式のようなCU、PU、およびTU等を用いる符号化方式にも適用することができる。すなわち、ブロックも、ユニットも、処理の対象となる領域を示すものであるので、以下、適宜、どちらも含むように、対象領域という文言を用いて説明する。
ただし、以下において、H．264/AVC方式と例として説明する場合には、ブロックを用いて説明するが、そのブロックは、処理の対象となる領域を示すものであり、HEVC方式においてはユニットである。逆に、HEVC方式を例として説明する場合には、ユニットを用いて説明するが、そのユニットは、処理の対象となる領域を示すものであり、H．264/AVC方式においてはブロックである。
［HEVC方式における適応オフセット処理］
次に、HEVC方式における適応オフセットフィルタについて説明する。HEVC方式においては、非特許文献３に記載のSample Adaptive Offset方式が採用されている。
適応オフセットフィルタ（Picture Quality Adaptive Offset:PQAO）は、図１１に示されるように、デブロックフィルタ（DB）と、適応ループフィルタ(ALF)の間に設けられている。
適応オフセットの種類としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの領域に、上述したどの適応オフセットの種類により符号化するかを選択することができる。
この選択情報が、PQAO Info.として、符号化部（Entropy Coding）により符号化され、ビットストリームが生成され、生成されたビットストリームが復号側に送信される。この方法を用いることで、符号化効率を向上させることができる。
ここで、図１２を参照して、quad-tree構造について説明する。
例えば、符号化側においては、図１２のＡ１に示されるように、領域０が分割されていない状態を示すLevel-０（分割深度０）のコスト関数値Ｊ０が計算される。また、領域０が４つの領域１乃至４に分割された状態を示すLevel-１（分割深度０）のコスト関数値Ｊ１，Ｊ２，Ｊ３，Ｊ４が計算される。
そして、Ａ２に示されるように、コスト関数値が比較され、Ｊ０＞（Ｊ１＋Ｊ２＋Ｊ３＋Ｊ４）により、Level-１の分割領域(Partitions)が選択される。
同様にして、Ａ３に示されるように、領域０が１６つの領域５乃至２０に分割された状態を示すLevel-２（分割深度２）のコスト関数値Ｊ５乃至Ｊ２０が計算される。
そして、Ａ４に示されるように、コスト関数値がそれぞれ比較され、Ｊ１＜（Ｊ５＋Ｊ６＋Ｊ９＋Ｊ１０）により、領域１においては、Level-１の分割領域(Partitions)が選択される。Ｊ２＞（Ｊ７＋Ｊ８＋Ｊ１１＋Ｊ１２）により、領域２においては、Level-２の分割領域(Partitions)が選択される。Ｊ３＞（Ｊ１３＋Ｊ１４＋Ｊ１７＋Ｊ１８）により、領域３においては、Level-２の分割領域(Partitions)が選択される。Ｊ４＞（Ｊ１５＋Ｊ１６＋Ｊ１９＋Ｊ２０）により、領域４においては、Level-１の分割領域(Partitions)が選択される。
その結果、quad-tree構造におけるＡ４に示される最終的なquad-tree領域（Partitions）が決定される。そして、quad-tree構造の決定された領域毎に、２種類のバンドオフセット、６種類のエッジオフセット、およびオフセットなしのすべてについてコスト関数値が算出され、どのオフセットにより符号化されるのかが決定される。
例えば、図１２の例においては、白矢印に示されるように、領域１に対しては、ＥＯ（４）、すなわち、エッジオフセットのうちの４種類目が決定されている。領域７に対しては、ＯＦＦ、すなわち、オフセットなしが決定されており、領域８に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１１および１２に対しては、ＯＦＦ、すなわち、オフセットなしが決定されている。
また、領域１３に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されており、領域１４に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１７に対しては、ＢＯ（２）、すなわち、バンドオフセットのうちの２種類目が決定されており、領域１８に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されている。領域４に対しては、ＥＯ（１）、すなわち、エッジオフセットのうちの１種類目が決定されている。
次に、図１３を参照して、バンドオフセットの詳細について説明する。
バンドオフセットにおいては、図１３の例においては、１つの目盛りが１バンド＝８画素を表しており、輝度画素値が３２バンドに分けられて、それぞれのバンドが独立にオフセット値を有する。
すなわち、図１３の例においては、０乃至２５５画素（３２バンド）のうち、中央の１６バンドが、第１グループに分けられ、両脇の８バンドずつが第２グループに分けられている。
そして、第１グループおよび第２グループのどちらか一方のみのオフセットが符号化され、復号側に送られる。一般的に、１つの領域において、白黒はっきりしているか、微妙な色合いがあるかのどちらかであることが多く、第１グループと第２グループ両方に全てに画素があるのは稀である。このため、一方のみのオフセットしか送らないことで、それぞれのquad-tree領域において、含まれていない値の画素値が伝送されて符号化量が増えるのが、抑制される。
なお、入力信号が放送によるものである場合、輝度信号は、16,235、色差信号は、16,240の範囲に制限される。このとき、図１３の下段に示されるbroadcast legalが適用され、×印が示されている、両脇の２バンドずつに対するオフセット値は伝送されない。
次に、図１４を参照して、エッジオフセットの詳細について説明する。
エッジオフセットにおいては、当該画素値と、当該画素値に隣接する隣接画素値の比較が行われ、これに対応したカテゴリに対して、オフセット値が伝送されることになる。
エッジオフセットには、図１４のＡ乃至図１４のＤに示される４つの１次元パターンと、図１４のＥおよび図１４のＦに示される２つの２次元パターンが存在し、それぞれ、図１５に示されるカテゴリでオフセットが伝送される。
図１４のＡは、当該画素Ｃに対して、隣接画素が左右の１次元に配置されている、すなわち、図１４のＡのパターンに対して０度をなしている1-D,0-degreeパターンを表している。図１４のＢは、当該画素Ｃに対して、隣接画素が上下の１次元に配置されている、すなわち、図１４のＡのパターンに対して９０度をなしている1-D,90-degreeパターンを表している。
図１４のＣは、当該画素Ｃに対して、隣接画素が左上と右下の１次元に配置されている、すなわち、図１４のＡのパターンに対して１３５度をなしている1-D,135-degreeパターンを表している。図１４のＤは、当該画素Ｃに対して、隣接画素が右上と左下の１次元に配置されている、すなわち、図１４のＡのパターンに対して４５度をなしている1-D,135-degreeパターンを表している。
図１４のＥは、当該画素Ｃに対して、隣接画素が上下左右２次元に配置されている、すなわち、当該画素Ｃに対して交差している2-D,crossパターンを表している。図１４のＦは、当該画素Ｃに対して、隣接画素が右上左下、左上右下の２次元に配置されている、すなわち、当該画素Ｃに対して斜めに交差している2-D,diagonalパターンを表している。
図１５のＡは、１次元パターンの規則一覧表(Classification rule for 1-D patterns)を示している。図１４のＡ乃至図１４のＤのパターンは、図１５のＡに示されるような５種類のカテゴリに分類され、そのカテゴリによりオフセットが算出されて、復号部に送られる。
当該画素Ｃの画素値が２つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より小さくて、他方の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より大きくて、他方の隣接画素の画素値と一致する場合、カテゴリ３に分類される。当該画素Ｃの画素値が２つの隣接画素の画素値より大きい場合、カテゴリ４に分類される。以上のどれでもない場合、カテゴリ０に分類される。
図１５のＢは、２次元パターンの規則一覧表(Classification rule for 2-D patterns)を示している。図１４のＥおよび図１４のＦのパターンは、図１５のＢに示されるような７種類のカテゴリに分類され、そのカテゴリによりオフセットが復号部に送られる。
当該画素Ｃの画素値が４つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値より大きい場合、カテゴリ３に分類される。
当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値より小さい場合、カテゴリ４に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値と一致する場合、カテゴリ５に分類される。当該画素Ｃの画素値が４つの隣接画素の画素値より大きい場合、カテゴリ６に分類される。以上のどれでもない場合、カテゴリ０に分類される。
以上のように、エッジオフセットにおいては、１次元パターンの方が、隣接２画素のみに対する比較を行えばよいので、演算量は低くなる。なお、high efficiency 符号化条件においては、low delay 符号化条件に比して、1bitオフセットの値を高精度にして、復号側へ送られる。
上述した適応オフセット処理は、HEVC方式において、quad-tree構造の決定された領域毎に行われる、すなわち、ブロックベースで行われる処理である。したがって、デブロックフィルタの後に、このようなブロックベースの処理が行われることで、ブロック歪みが生じてしまう恐れがあった。
以上のことを踏まえて、本実施においては、デブロックフィルタに先立ち、適応オフセット処理が行われる。また、適応オフセット処理後のデブロックフィルタにおいては、適応オフセット処理を考慮したフィルタの強度調整が施される。これにより、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させる。
［画像符号化装置の構成例］
図１６は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
図１６に示される画像符号化装置１０１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、HEVC（High Efficiency Video Coding）に準ずる方式などが用いられる。ただし、画像符号化装置１０１において、適応オフセット部１１１が、デブロックフィルタ１１２の前に設けられている点が、図１１を参照して上述したHEVC方式の場合と異なっている。
図１６の画像符号化装置１０１は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、および逆直交変換部１９を備える点で、図１の画像符号化装置１と共通している。図１６の画像符号化装置１０１は、演算部２０、フレームメモリ２２、選択部２３、イントラ予測部２４、動き予測・補償部２５、予測画像選択部２６、およびレート制御部２７を備える点で、図１の画像符号化装置１と共通している。
また、図１６の画像符号化装置１０１は、上述した図３の適応ループフィルタ７１が追加された点で、図１の画像符号化装置１と異なっている。
さらに、図１６の画像符号化装置１０１は、デブロックフィルタ２１が、デブロックフィルタ１１２に入れ替わった点と、適応オフセット部１１１およびデブロックフィルタ制御部１１３が追加された点で、図１の画像符号化装置１と異なっている。
すなわち、量子化部１５は、図１の量子化部１５と同様に、レート制御部２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、量子化を行う。ただし、その際、量子化部１５は、設定した量子化パラメータの情報を、デブロックフィルタ１１２に供給する。
可逆符号化部１６は、図１の可逆符号化部１６と同様に、量子化された変換係数を符号化するとともに、フィルタ係数、予測モード情報、および量子化パラメータなどの各種情報を、符号化データのヘッダ情報の一部とする。ただし、その際、可逆符号化部１６は、適応オフセット部１１１からのquad-tree構造とオフセット値の情報も、符号化データのヘッダ情報の一部とする。また、可逆符号化部１６は、予測モード情報や動きベクトル情報などのシンタクス要素を、デブロックフィルタ１１２に供給する。
適応オフセット部１１１、デブロックフィルタ１１２（デブロックフィルタ制御部１１３も含む）、および適応ループフィルタ７１は、その順に、動き補償ループ内に設けられている。動き補償ループとは、演算部１３、直交変換部１４、量子化部１５、逆量子化部１８、逆直交変換部１９、演算部２０、フレームメモリ２２、選択部２３、イントラ予測部２４または動き予測・補償部２５、および予測画像選択部２６からなるブロックである。なお、以下、動き補償ループ内における、適応オフセット部１１１、デブロックフィルタ１１２、および適応ループフィルタ７１が行うフィルタ処理を、インループフィルタ処理と総称する。
適応オフセット部１１１は、演算部２０からの復号画像（ローカルデコード後のベースバンド情報）に対するオフセット処理を行う。すなわち、適応オフセット部１１１は、図１２を参照して上述したquad-tree 構造を決定する。具体的には、適応オフセット部１１１は、復号画像を用いて、quad-treeによる領域分割を行い、分割された領域毎に、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの中から、オフセットの種類を決定する。また、適応オフセット部１１１は、quad-tree 構造を参照して、分割された領域毎にオフセット値を算出する。
さらに、適応オフセット部１１１は、決定したquad-tree構造とオフセット値を用いて、演算部２０からの復号画像に対してオフセット処理を行う。そして、適応オフセット部１１１は、オフセット処理後の画像を、デブロックフィルタ１１２に供給する。また、適応オフセット部１１１は、決定したquad-tree構造の情報を、デブロックフィルタ制御部１１３に供給し、決定したquad-tree構造と算出したオフセットとの情報を、可逆符号化部１６に供給する。
デブロックフィルタ１１２には、量子化部１５からの対象領域の量子化パラメータの情報、可逆符号化部１６からのシンタクス要素、および、デブロックフィルタ制御部１１３の制御情報が供給される。デブロックフィルタ１１２は、量子化パラメータおよびシンタクス要素に基づきフィルタパラメータを決定する。また、デブロックフィルタ１１２は、デブロックフィルタ制御部１１３の制御情報に基づき、決定したフィルタパラメータのフィルタ強度を調整する。デブロックフィルタ１１２は、決定または調整されたフィルタパラメータを用いてフィルタ（フィルタ特性）を決定し、オフセット処理後の画像に対して、決定したフィルタで、デブロックフィルタ処理を行う。フィルタ後の画像は、適応ループフィルタ７１に供給される。
デブロックフィルタ制御部１１３は、適応オフセット部１１１からのquad-tree構造の情報に基づき、デブロックフィルタ処理の対象領域が、適応オフセット処理の対象領域の境界であるか否かを判定する。デブロックフィルタ処理の対象領域が、適応オフセット処理の対象領域の境界である場合、デブロックフィルタ制御部１１３は、フィルタ強度を強く調整する制御情報を、デブロックフィルタ１１２に供給する。
適応ループフィルタ７１は、画面並べ替えバッファ１２からの原画像（図示は省略）との残差を最小とするよう、適応ループフィルタ係数の算出を行い、この適応ループフィルタ係数を用いて、デブロックフィルタ１１２からの復号画像にフィルタ処理を行う。このフィルタとして、例えば、ウィナーフィルタ（Wiener Filter）が用いられる。これにより画質改善を行う。
また、図示しないが、適応ループフィルタ７１は、算出した適応ループフィルタ係数を、可逆符号化部１６に送る。可逆符号化部１６においては、この適応ループフィルタ係数を、可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
［本開示のインループフィルタ処理］
図１６の適応オフセット部１１１、デブロックフィルタ１１２、デブロックフィルタ制御部１１３、および適応ループフィルタ７１からなるインループフィルタ処理について説明する。なお、適応ループフィルタ７１の動作原理は、図３を参照して上述したものと同様である。
まず、画像符号化装置１０１のインループフィルタ処理においては、デブロックフィルタ１１２に先立ち、適応オフセット部１１１のフィルタ処理が施される。その結果、適応オフセット部１１１のフィルタ処理により生じるブロック歪みを、デブロックフィルタにより除去することが可能となる。
さらに、デブロックフィルタ１１２においては、デブロックフィルタ制御部１１３により、適応オフセット処理を考慮したデブロックフィルタ処理が施される。
ここで、再度、図１２を参照して適応オフセット処理について説明する。図１２に示されたquad-tree 構造においては、ＥＯで示されるエッジオフセットが決定されている領域、ＢＯで示されるバンドオフセットが決定されている領域、ＯＦＦで示されるオフセットなしの領域がある。これらの領域のように、quad-tree 構造において異なるオフセットが決定されている２つの領域の境界には、ブロック歪みが生じやすいと考えられる。
また、対象領域と対象領域に隣接する隣接領域とが、同じエッジオフセットの領域であっても、異なるカテゴリが決定されている領域の境界には、ブロック歪みが生じやすいと考えられる。例えば、図１２に示されるＥＯ（４）で示されるカテゴリ４が決定されている領域と、ＥＯ（１）で示されるカテゴリ１が決定されている領域は、エッジオフセットであるが、異なるカテゴリが決定されている。
これは、同じバンドオフセットの領域についても同様のことがいえる。すなわち、対象領域と対象領域に隣接する隣接領域とが、同じバンドオフセットの領域であっても、異なるカテゴリが決定されている領域の境界には、ブロック歪みが生じやすいと考えられる。
そこで、デブロックフィルタ制御部１１３は、デブロックフィルタ処理の対象領域が、上述したような領域の境界である場合、次に述べるいずれかの方法により、その領域の境界に対して、より強度の高いフィルタ処理をデブロックフィルタ１１２に行わせる。
第１の方法は、かかる領域の境界に対して、図６を参照して上述したBs（Boundary Strength）の値を、＋１にする方法である。
第２の方法は、かかる領域の境界に対して、他の条件に関らず、Bsの値を、４にする方法である。
あるいは、また、第１および第２の方法のように、Bsの値による強度調整を行うのではなく、図７および図８を参照して上述した閾値α／βによる強度調整の制御を行うことも可能である。
すなわち、第３の方法は、かかる領域の境界に対して、上述した図７および図８において、量子化パラメータQPに代え、予め定められたΔQPを用いたQP＋ΔQPによりテーブル引きを行い、閾値αおよび閾値βの値を決定する方法である。
このように、デブロックフィルタ制御部１１３においては、適応オフセット処理の結果（quad-tree 構造の情報）を、後段のデブロックフィルタ１１２のフィルタ処理に反映させる。これにより、より適切に、ブロック歪みの除去を行い、復号画像の画質を向上させることができる。
［適応オフセット部およびデブロックフィルタの構成例］
次に、画像符号化装置１０１の各部について説明する。図１７は、適応オフセット部１１１およびデブロックフィルタ１１２の構成例を示すブロック図である。なお、図１７の例においては、フィルタ強度の調整方法として、第１または第２の方法を用いたBsの値によるフィルタの強度調整の例が示されている。
図１７の例において、適応オフセット部１１１は、quad-tree構造決定部１３１、オフセット算出部１３２、オフセット部１３３、および画素バッファ１３４を含むように構成されている。
デブロックフィルタ１１２は、α／β決定部１４１、Bs決定部１４２、フィルタ決定部１４３、およびフィルタリング部１４４を含むように構成されている。
演算部２０からのオフセット処理前の画素値は、quad-tree構造決定部１３１、オフセット算出部１３２、およびオフセット部１３３に供給される。また、図１６においては説明の便宜上図示されていなかったが、画面並べ替えバッファ１２からの入力画素値は、実際には、quad-tree構造決定部１３１、およびオフセット算出部１３２に供給される。
quad-tree構造決定部１３１は、オフセット処理前の画素値と画面並べ替えバッファ１２からの入力画素値とを用いて、図１２を参照して上述したようにquad-tree構造を決定する。すなわち、quad-tree構造決定部１３１は、画像をquad-treeに分割し、それぞれの分割領域に、上述したどの適応オフセットの種類により符号化するかを、オフセット処理前の画素値および入力画素値などを用いたコスト関数値を求めて決定する。
quad-tree構造決定部１３１は、決定したquad-tree構造の情報を、オフセット算出部１３２、オフセット部１３３、デブロックフィルタ制御部１１３、および可逆符号化部１６に供給する。
オフセット算出部１３２は、演算部２０からのオフセット処理前の画素値に関してquad-tree構造決定部１３１からの情報が示すquad-tree分割された各領域に対するオフセットの算出を行う。オフセット算出部１３２は、算出したオフセットの情報を、オフセット部１３３および可逆符号化部１６に供給する。
なお、可逆符号化部１６は、quad-tree構造決定部１３１からのquad-tree構造の情報およびオフセット算出部１３２からのオフセットの情報を受け取り、それらの情報を符号化し、符号化データのヘッダ情報とする。
オフセット部１３３は、演算部２０からのオフセット処理前の画素値に対して、オフセット処理を行う。すなわち、オフセット部１３３は、quad-tree構造決定部１３１によりquad-tree分割された各領域の画素値に対して、オフセット算出部１３２からの情報が示すオフセットの値を加算する。オフセット部１３３は、オフセット処理後の画素値を画素バッファ１３４に蓄積する。
画素バッファ１３４は、オフセット処理後の画素値を蓄積し、蓄積したオフセット処理後の画素値を、所定のタイミングで、フィルタ決定部１４３に供給する。
α／β決定部１４１は、量子化部１５から供給されるデブロックフィルタ処理の対象領域の量子化パラメータの情報を取得し、取得した情報が示す量子化パラメータに基づいて、図７および図８を参照して上述した閾値α／βの値を決定する。α／β決定部１４１は、決定した閾値α／βの値を、フィルタパラメータの１つとして、フィルタ決定部１４３に供給する。
Bs決定部１４２は、可逆符号化部１６からの予測モードや動きベクトル情報などのシンタクス要素を取得する。Bs決定部１４２は、取得した情報に基づき、図６を参照して上述した方法で、Bsの値を決定する。また、デブロックフィルタ制御部１１３からの制御情報を受けた場合、Bs決定部１４２は、デブロックフィルタ制御部１１３からの制御情報に基づき、上述した第１の方法、または第２の方法により、Bsの値を調整する。Bs決定部１４２は、決定または調整したBsの値を、フィルタパラメータの１つとして、フィルタ決定部１４３に供給する。
フィルタ決定部１４３は、α／β決定部１４１およびBs決定部１４２からのフィルタパラメータから、フィルタ（フィルタ特性）を決定し、決定したフィルタの制御情報を、フィルタリング部１４４に供給する。その際、フィルタ決定部１４３は、画素バッファ１３４から供給されるオフセット処理後であって、デブロックフィルタ前の画素値も、フィルタリング部１４４に供給する。
フィルタリング部１４４は、フィルタ決定部１４３からのデブロックフィルタ前の画素値に対して、フィルタ決定部１４３からのフィルタ制御情報に示されるフィルタを用いて、フィルタ処理を施す。フィルタリング部１４４は、フィルタ処理が施されたデブロックフィルタ後の画素値を、適応ループフィルタ７１に供給する。
［符号化処理の流れ］
次に、以上のような画像符号化装置１０１により実行される各処理の流れについて説明する。最初に、図１８のフローチャートを参照して、符号化処理の流れの例を説明する。
ステップＳ１０１において、A/D変換部１１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
画面並べ替えバッファ１２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ２２から読み出され、選択部２３を介してイントラ予測部２４に供給される。
これらの画像に基づいて、ステップＳ１０３において、イントラ予測部２４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、適応オフセット部１１１、デブロックフィルタ１１２、および適応ループフィルタ７１によりフィルタやオフセットされていない画素が用いられる。
この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対して、式（３３）または式（３４）に示されるコスト関数が用いられて、コスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部２６に供給される。
画面並べ替えバッファ１２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ２２から読み出され、選択部２３を介して動き予測・補償部２５に供給される。これらの画像に基づいて、ステップＳ１０４において、動き予測・補償部２５は、動き予測・補償処理を行う。
この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対して、式（３３）または式（３４）に示されるコスト関数が用いられて、コスト関数値が算出される。そして、算出したコスト関数値に基づいて、最適インター予測モードが決定され、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部２６に供給される。
ステップＳ１０５において、予測画像選択部２６は、イントラ予測部２４および動き予測・補償部２５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部２６は、決定した最適予測モードの予測画像を選択し、演算部１３，２０に供給する。この予測画像は、後述するステップＳ１０６，Ｓ１１１の演算に利用される。
なお、この予測画像の選択情報は、イントラ予測部２４または動き予測・補償部２５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部２４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１６に供給する。
最適インター予測モードの予測画像が選択された場合、動き予測・補償部２５は、最適インター予測モードを示す情報と、さらに、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
ステップＳ１０６において、演算部１３は、ステップＳ１０２で並び替えられた画像と、ステップＳ１０５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部２５から、イントラ予測する場合はイントラ予測部２４から、それぞれ予測画像選択部２６を介して演算部１３に供給される。
差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１０７において、直交変換部１４は演算部１３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
ステップＳ１０８において、量子化部１５は変換係数を量子化する。量子化部１５は、後述するステップＳ１１６の処理で説明されるように、レート制御部２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、量子化を行う。このとき、量子化部１５は、設定した量子化パラメータの情報を、デブロックフィルタ１１２に供給する。
以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部１８は、量子化部１５により量子化された変換係数を量子化部１５の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部１９は、逆量子化部１８により逆量子化された変換係数を直交変換部１４の特性に対応する特性で逆直交変換する。
ステップＳ１１１において、演算部２０は、予測画像選択部２６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部１３への入力に対応する画像）を生成する。
ステップＳ１１２において、適応オフセット部１１１、デブロックフィルタ１１２、デブロックフィルタ制御部１１３、および適応ループフィルタ７１は、インループフィルタ処理を行う。このインループフィルタ処理により、適応オフセット処理が施されて、リンギングなどが除去される。
また、このインループフィルタ処理により、量子化部１５からの量子化パラメータ、および可逆符号化部１６からのシンタクス要素の他に、適応オフセット処理の結果（quad-tree構造の情報）に基づきフィルタが決定される。そして、オフセット処理後の画素値に対して、決定されたフィルタにより、デブロックフィルタ処理が施されて、ブロック歪みが除去される。さらに、このインループフィルタ処理により、デブロックフィルタ後の画素値に対して、適応ループフィルタ処理が施されて、劣化を最小とするように、画質改善が行われる。適応フィルタ処理後の画素値は、フレームメモリ２２に出力される。
なお、詳しくは後述するが、適応オフセット処理により算出されたquad-tree構造とオフセットの情報は、可逆符号化部１６に供給される。
ステップＳ１１３においてフレームメモリ２２は、フィルタリングされた画像を記憶する。なお、フレームメモリ２２には、適応オフセット部１１１、デブロックフィルタ１１２、および適応ループフィルタ７１によりフィルタやオフセットされていない画像も演算部２０から供給され、記憶される。
一方、上述したステップＳ１０８において量子化された変換係数は、可逆符号化部１６にも供給される。ステップＳ１１４において、可逆符号化部１６は量子化部１５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。
また、このとき、上述したステップＳ１０５において可逆符号化部１６に入力された、イントラ予測部２４からのイントラ予測モード情報、または、動き予測・補償部２５からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。さらに、上述したステップＳ１１２において可逆符号化部１６に入力されたquad-tree構造とオフセットの情報も、符号化され、ヘッダ情報に付加される。
例えば、インター予測モードを示す情報は、LCU毎に符号化される。動きベクトル情報や参照フレーム情報は、対象となるPU毎に符号化される。
また、このとき、可逆符号化部１６は、予測モード情報や動きベクトル情報などのシンタクス要素を、デブロックフィルタ１１２に供給する。
ステップＳ１１５において蓄積バッファ１７は差分画像を圧縮画像として蓄積する。蓄積バッファ１７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ１１６においてレート制御部２７は、蓄積バッファ１７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。
ステップＳ１１６の処理が終了すると、符号化処理が終了される。
［インループフィルタ処理の流れ］
次に、図１９のフローチャートを参照して、図１８のステップＳ１１２において実行されるインループフィルタ処理の流れの例を説明する。このインループフィルタ処理は、適応オフセット部１１１、デブロックフィルタ１１２、デブロックフィルタ制御部１１３、および適応ループフィルタ７１により実行される処理である。
図１９のステップＳ１０８の処理により、量子化部１５は、量子化パラメータの情報を、デブロックフィルタ１１２に供給してくる。これに対応して、α／β決定部１４１は、ステップＳ１３１において、量子化部１５から供給される量子化パラメータの情報を取得する。
また、図１９のステップＳ１１４の処理により、可逆符号化部１６は、予測モード情報や動きベクトル情報などのシンタクス要素を、デブロックフィルタ１１２に供給してくる。これに対応して、Bs決定部１４２は、ステップＳ１３２において、可逆符号化部１６から供給されるシンタクス要素を取得する。
一方、図１９のステップＳ１１１の処理により演算部２０からの復号画像（ローカルデコード後のベースバンド情報）が、適応オフセット部１１１に供給される。これに対応して、ステップＳ１３３において、適応オフセット部１１１は、適応オフセット処理を行う。この適応オフセット処理については、図２０を参照して後述する。
ステップＳ１３３の処理により、図１２を参照して上述したquad-tree 構造が決定され、quad-tree 構造を参照して、分割された領域毎にオフセット値が算出される。決定したquad-tree構造とオフセット値を用いて、演算部２０からの復号画像に対してオフセット処理が行われ、オフセット処理後の画像が、デブロックフィルタ１１２に供給される。
決定したquad-tree構造の情報は、デブロックフィルタ制御部１１３に供給され、決定したquad-tree構造と算出したオフセット値とは、適応オフセットパラメータとして、可逆符号化部１６に供給される。
ステップＳ１３４において、α／β決定部１４１およびBs決定部１４２は、デブロックフィルタ１１２のフィルタパラメータを決定する。
すなわち、α／β決定部１４１は、ステップＳ１３１により取得した情報が示す量子化パラメータに基づいて、図７および図８を参照して上述したように、閾値α／βの値を決定する。決定した閾値α／βの値は、フィルタパラメータの１つとして、フィルタ決定部１４３に供給される。
一方、Bs決定部１４２は、ステップＳ１３２により取得したシンタクス要素（予測モードやLCUに関する情報）に基づき、図６を参照して上述した方法で、Bsの値を決定する。すなわち、Bs決定部２４２は、図５の画素ｐまたは画素ｑがどんな予測モードのLCU（マクロブロック）に属するかや、参照フレーム情報や動きベクトル情報などを判定し、この動き探索・モード判定処理の結果に基づいて、Bsの値を決定する。
デブロックフィルタ制御部１１３は、ステップＳ１３５において、デブロックフィルタ処理の対象領域が、適応オフセット処理境界（すなわち、適応オフセット処理の対象領域の境界）であるか否かを判定する。この判定処理は、ステップＳ１３３の処理により得られた適応オフセット処理の結果（quad-tree 構造の情報）が参照されて行われる。
ステップＳ１３５において、デブロックフィルタ処理の対象領域が、適応オフセット処理境界であると判定された場合、処理は、ステップＳ１３６に進む。ステップＳ１３６において、デブロックフィルタ制御部１１３は、デブロックフィルタ１１２のフィルタパラメータを調整する。
すなわち、デブロックフィルタ制御部１１３は、例えば、上述した第１の方法を用いて、Bs値を+1する制御情報を、Bs決定部１４２に供給する。これに対応して、Bs決定部１４２は、ステップＳ１３４において決定したBs値を+1するようにフィルタ強度の調整を行い、調整されたBs値を、フィルタパラメータの１つとして、フィルタ決定部１４３に供給する。
また、ステップＳ１３５において、デブロックフィルタ処理の対象領域が、適応オフセット処理境界ではないと判定された場合、ステップＳ１３６の処理はスキップされる。この場合、Bs決定部１４２は、ステップＳ１３４において決定したBs値を、フィルタパラメータの１つとして、フィルタ決定部１４３に供給する。
フィルタパラメータが供給されると、フィルタ決定部１４３は、フィルタを決定し、決定したフィルタとともに、画素バッファ１３４からのオフセット処理後の画素値であって、デブロックフィルタ前の画素値を、フィルタリング部１４４に供給する。
これに対応して、フィルタリング部１４４は、ステップＳ１３７において、フィルタ決定部１４３からのデブロックフィルタ前の画素値に対して、フィルタ決定部１４３からのフィルタ制御情報に示されるフィルタを用いて、フィルタ処理を施す。フィルタリング部１４４は、フィルタ処理が施されたデブロックフィルタ後の画素値を、適応ループフィルタ７１に供給する。
ステップＳ１３８において、適応ループフィルタ７１は、デブロックフィルタ１１２からのデブロックフィルタ後の画像に適応ループフィルタ処理を行う。
すなわち、適応ループフィルタ７１は、画面並べ替えバッファ１２からの原画像（図示は省略）との残差を最小とするよう、適応ループフィルタ係数の算出を行う。そして、適応ループフィルタ７１は、算出した適応ループフィルタ係数を用いて、デブロックフィルタ１１２からのデブロックフィルタ後の画像にフィルタ処理を行う。
なお、図示は省略するが、適応ループフィルタ７１は、算出した適応ループフィルタ係数を、可逆符号化部１６に送る。可逆符号化部１６においては、この適応ループフィルタ係数を、可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
以上のように、画像符号化装置１０１においては、デブロックフィルタに先立ち、適応オフセット処理を行うようにしたので、これにより、適応オフセット処理で生じるブロック歪みを抑制することができる。
さらに、画像符号化装置１０１においては、適応オフセット処理の結果であるquad-tree構造の情報に基づき、適応オフセット処理の境界に対してより強くデブロックフィルタ処理を行うことができる。これにより、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができる。
［適応オフセット処理の流れ］
次に、図２０のフローチャートを参照して、図１９のステップＳ１３４の適応オフセット処理について説明する。
ステップＳ１５１において、quad-tree構造決定部１３１は、演算部２０からの画素値を参照して、図１２を参照して上述したように、quad-tree構造を決定する。すなわち、画像がquad-treeに分割され、それぞれの分割領域に、上述したどの適応オフセットの種類により符号化するかが、コスト関数値を用いて決定されることにより、quad-tree構造が決定される。決定されたquad-tree構造の情報は、オフセット算出部１３２、およびオフセット部１３３に供給される。
ステップＳ１５２において、オフセット算出部１３２は、演算部２０からの画素値に関して、quad-tree分割された各領域に対するオフセット値の算出を行う。算出したオフセットの値を示す情報（オフセットの情報）は、オフセット部１３３に供給される。
ステップＳ１５３において、適応オフセット部１１１は、quad-tree構造、およびオフセットを、適応オフセットパラメータとして、可逆符号化部１６に送る。すなわち、quad-tree構造決定部１３１は、quad-tree構造の情報を可逆符号化部１６に供給する。オフセット算出部１３２は、算出したオフセットの情報を可逆符号化部１６に供給する。
これらの適応オフセットパラメータは、上述した図１８のステップＳ１１４において、可逆符号化部１６により符号化され、ヘッダ情報に付加される。
ステップＳ１５４において、オフセット部１３３は、演算部２０からの画素値に対して、オフセット処理を行う。すなわち、オフセット部１３３は、quad-tree構造決定部１３１によりquad-tree分割された各領域の画素値に対して、オフセット算出部１３２により算出されたオフセット値を加算する。
オフセット処理後の画素値は、画素バッファ１３４に蓄積され、所定のタイミングで、デブロックフィルタ１１２のフィルタ決定部１４３に供給される。
＜２．第２の実施の形態＞
［画像復号装置］
図２１は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図２１に示される画像復号装置２０１は、図１６の画像符号化装置１０１に対応する復号装置である。
画像符号化装置１０１より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１０１に対応する画像復号装置２０１に伝送され、復号されるものとする。
図２１の画像復号装置２０１は、蓄積バッファ４１、可逆復号部４２、逆量子化部４３、逆直交変換部４４、および演算部４５を備える点で、図２の画像復号装置３１と共通している。図２１の画像復号装置２０１は、画面並べ替えバッファ４７、D/A変換部４８、フレームメモリ４９、選択部５０、イントラ予測部５１、動き補償部５２、および画像選択部５３を備える点で、図２の画像復号装置３１と共通している。
また、図２１の画像復号装置２０１は、図４の適応ループフィルタ９１が追加された点で、図２の画像復号装置３１と異なっている。
さらに、図２１の画像復号装置２０１は、デブロックフィルタ４６が、デブロックフィルタ２１２と入れ替わった点と、適応オフセット部２１１およびデブロックフィルタ制御部２１３が追加された点で、図２の画像復号装置３１と異なっている。
すなわち、可逆復号部４２は、図２の可逆復号部４２と同様に、蓄積バッファ４１より供給された、図１６の可逆符号化部１６により符号化された情報を、可逆符号化部１６の符号化方式に対応する方式で復号する。このとき、図２１の例においては、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）、適応オフセットパラメータなども復号される。
適応オフセットパラメータは、上述したように、図１６の可逆符号化部１６により符号化されたquad-tree構造の情報、オフセットの情報などで構成される。適応オフセットパラメータは、適応オフセット部２１１に供給される。また、可逆復号部４２は、予測モード情報および動きベクトル情報などのシンタクス要素を、デブロックフィルタ２１２に供給する。
逆量子化部４３は、図２の逆量子化部４３と同様に、可逆復号部４２により復号されて得られた係数データ（量子化係数）を、可逆復号部４２により復号されて得られた量子化パラメータを用い、図１の量子化部１５の量子化方式に対応する方式で逆量子化する。また、その際、逆量子化部４３は、量子化パラメータの情報を、デブロックフィルタ２１２に供給する。
適応オフセット部２１１、デブロックフィルタ２１２（デブロックフィルタ制御部２１３も含む）、および適応ループフィルタ９１は、その順に、動き補償ループ内に設けられている。動き補償ループとは、演算部４５、デブロックフィルタ４６、適応ループフィルタ９１、フレームメモリ４９、選択部５０、動き補償部５２、および画像選択部５３からなるブロックである。なお、以下、動き補償ループ内における、適応オフセット部２１１、デブロックフィルタ２１２、および適応ループフィルタ９１が行うフィルタ処理を、インループフィルタ処理と総称する。
適応オフセット部２１１には、可逆復号部４２からの適応オフセットパラメータである、quad-tree構造の情報、およびオフセットの情報が供給される。適応オフセット部２１１は、それらの情報を用いて、演算部４５からの復号画像の画素値に対してオフセット処理を行い、オフセット処理後の画素値を、デブロックフィルタ２１２に供給する。また、適応オフセット部２１１は、quad-tree構造の情報を、デブロックフィルタ制御部２１３に供給する。
デブロックフィルタ２１２は、逆量子化部４３からの対象領域の量子化パラメータ、可逆復号部４２からのシンタクス要素、および、デブロックフィルタ制御部２１３の制御情報が供給される。デブロックフィルタ２１２は、量子化パラメータおよびシンタクス要素に基づきフィルタパラメータを決定する。また、デブロックフィルタ２１２は、デブロックフィルタ制御部２１３の制御情報に基づき、決定したフィルタパラメータのフィルタ強度を調整する。デブロックフィルタ２１２は、決定または調整されたフィルタパラメータを用いてフィルタを決定し、オフセット処理後の画像に対して、決定したフィルタで、デブロックフィルタ処理を行う。フィルタ後の画像は、適応ループフィルタ９１に供給される。
デブロックフィルタ制御部２１３は、適応オフセット部２１１からのquad-tree構造の情報に基づき、デブロックフィルタ処理の対象領域が、適応オフセット処理の対象領域の境界であるか否かを判定する。デブロックフィルタ処理の対象領域が、適応オフセット処理の対象領域の境界である場合、デブロックフィルタ制御部２１３は、フィルタ強度を強く調整する制御情報を、デブロックフィルタ２１２に供給する。
適応ループフィルタ９１は、その図示は省略するが、可逆復号部４２から復号され、ヘッダから抽出された適応ループフィルタ係数が供給される。適応ループフィルタ９１は供給されたフィルタ係数を用いて、デブロックフィルタ２１２からの復号画像にフィルタ処理を行う。
なお、適応オフセット部２１１、デブロックフィルタ２１２、およびデブロックフィルタ制御部２１３における、本技術に関連する基本的な動作原理は、図１６の適応オフセット部１１１、デブロックフィルタ１１２、およびデブロックフィルタ制御部１１３と同様である。ただし、図１６に示された画像符号化装置１０１においては、動き探索およびモード判定を行った結果得られる予測モードや動きベクトル情報などのシンタクス要素、量子化パラメータ、および生成されたquad-tree構造により、デブロックフィルタ１１２の動作が制御される。
一方、図２１に示される画像復号装置２０１においては、これらのシンタクス要素、量子化パラメータ、およびquad-tree構造の情報は、符号化データに付加されて、符号化側から送られてくる。したがって、画像復号装置２０１においては、これらの情報を復号することにより得られ、得られたシンタクス要素、量子化パラメータ、およびquad-tree構造の各情報により、デブロックフィルタ２１２の動作が制御されることになる。
［適応オフセット部およびデブロックフィルタの構成例］
次に、画像復号装置２０１の各部について説明する。図２２は、適応オフセット部２１１およびデブロックフィルタ２１２の構成例を示すブロック図である。
図２２の例において、適応オフセット部２１１は、quad-tree構造バッファ２３１、オフセットバッファ２３２、オフセット部２３３、および画素バッファ２３４を含むように構成されている。
デブロックフィルタ２１２は、α／β決定部２４１、Bs決定部２４２、フィルタ決定部２４３、およびフィルタリング部２４４を含むように構成されている。
可逆復号部４２からのquad-tree構造の情報は、quad-tree構造バッファ２３１に供給される。quad-tree構造バッファ２３１は、可逆復号部４２からのquad-tree構造の情報を蓄積し、quad-tree構造の情報を、オフセット部２３３、およびデブロックフィルタ制御部２１３に供給する。
可逆復号部４２からのオフセットの情報は、オフセットバッファ２３２に供給される。オフセットバッファ２３２は、可逆復号部４２からのオフセットの情報を蓄積し、オフセットの情報を、オフセット部２３３に供給する。
演算部４５からのオフセット処理前の画素値は、オフセット部２３３に供給される。オフセット部２３３は、図１７のオフセット部１３３と基本的に同様に構成される。オフセット部２３３は、オフセット処理前の画素値に対して、オフセット処理を行う。すなわち、オフセット部２３３は、quad-tree構造バッファ２３１によりquad-tree分割された各領域の画素値に対して、オフセットバッファ２３２からのオフセット値を加算する。オフセット部２３３は、オフセット処理後の画素値を画素バッファ２３４に蓄積する。
画素バッファ２３４は、図１７の画素バッファ１３４と基本的に同様に構成される。オフセット処理後の画素値を蓄積し、所定のタイミングで、オフセット処理後の画素値を、フィルタ決定部２４３に供給する。
逆量子化部４３からのデブロックフィルタの対象領域の量子化パラメータは、α／β決定部２４１に供給される。α／β決定部２４１は、図１７のα／β決定部１４１と基本的に同様に構成される。α／β決定部２４１は、逆量子化部４３から供給されるデブロックフィルタ処理の対象領域の量子化パラメータを取得し、取得した量子化パラメータに基づいて、図７および図８を参照して上述したように、閾値α／βの値を決定する。α／β決定部２４１は、決定した閾値α／βの値を、フィルタパラメータの１つとして、フィルタ決定部２４３に供給する。
可逆復号部４２からの予測モードや動きベクトル情報などのシンタクス要素がBs決定部２４２に供給される。Bs決定部２４２は、図１７のBs決定部１４２と基本的に同様に構成される。Bs決定部２４２は、可逆復号部４２からの予測モードやLCUに関するシンタクス要素を取得する。Bs決定部２４２は、取得した情報に基づき、図６を参照して上述した方法で、Bsの値を決定する。また、デブロックフィルタ制御部２１３からの制御情報を受けた場合、Bs決定部２４２は、デブロックフィルタ制御部２１３からの制御情報に基づき、例えば、第１または第２の方法のうち、図１７のBs決定部１４２に対応する方法により、Bsの値を調整する。Bs決定部２４２は、決定または調整したBsの値を、フィルタパラメータの１つとして、フィルタ決定部２４３に供給する。
フィルタ決定部２４３は、図１７のフィルタ決定部１４３と基本的に同様に構成される。フィルタ決定部２４３は、α／β決定部２４１およびBs決定部２４２からのフィルタパラメータから、フィルタ（フィルタ特性）を決定し、決定したフィルタの制御情報を、フィルタリング部２４４に供給する。その際、フィルタ決定部２４３は、画素バッファ２３４から供給されるオフセット処理後であって、デブロックフィルタ前の画素値も、フィルタリング部２４４に供給する。
フィルタリング部２４４は、図１７のフィルタリング部１４４と基本的に同様に構成される。フィルタリング部２４４は、フィルタ決定部２４３からのデブロックフィルタ前の画素値に対して、フィルタ決定部２４３からのフィルタ制御情報に示されるフィルタを用いて、フィルタ処理を施す。フィルタリング部２４４は、フィルタ処理が施されたデブロックフィルタ後の画素値を、適応ループフィルタ９１に供給する。
［復号処理の流れ］
次に、以上のような画像復号装置２０１により実行される各処理の流れについて説明する。最初に、図２２のフローチャートを参照して、復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ４１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部４２は、蓄積バッファ４１から供給される符号化データを復号する。すなわち、図１６の可逆符号化部１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、適応オフセットパラメータの情報も復号される。
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部５１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き補償部５２およびデブロックフィルタ２１２に供給される。また、適応オフセットパラメータであるquad-tree構造、およびオフセットは、適応オフセット部２１１に供給される。
ステップＳ２０３において、イントラ予測部５１または動き補償部５２は、可逆復号部４２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。
すなわち、可逆復号部４２からイントラ予測モード情報が供給された場合、イントラ予測部５１は、Most Probable Modeの生成を行い、並列処理により、イントラ予測モードのイントラ予測画像を生成する。可逆復号部４２からインター予測モード情報が供給された場合、動き補償部５２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。
この処理により、イントラ予測部５１により生成された予測画像（イントラ予測画像）、または動き補償部５２により生成された予測画像（インター予測画像）が画像選択部５３に供給される。
ステップＳ２０４において、画像選択部５３は予測画像を選択する。すなわち、イントラ予測部５１により生成された予測画像、または動き補償部５２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部４５に供給され、後述するステップＳ２０７において逆直交変換部４４の出力と加算される。
上述したステップＳ２０２において、可逆復号部４２により復号された変換係数は、逆量子化部４３にも供給される。ステップＳ２０５において、逆量子化部４３は可逆復号部４２により復号された変換係数を、可逆復号部４２により復号された量子化パラメータで、図１６の量子化部１５の特性に対応する特性で逆量子化する。このとき、逆量子化部４３は、用いた量子化パラメータを、デブロックフィルタ２１２に供給する。
ステップＳ２０６において逆直交変換部４４は、逆量子化部４３により逆量子化された変換係数を、図１６の直交変換部１４の特性に対応する特性で逆直交変換する。これにより図１６の直交変換部１４の入力（演算部１３の出力）に対応する差分情報が復号されたことになる。
ステップＳ２０７において、演算部４５は、上述したステップＳ２０４の処理で選択され、画像選択部５３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。
ステップＳ２０８において、適応オフセット部２１１、デブロックフィルタ２１２、デブロックフィルタ制御部２１３、および適応ループフィルタ９１は、インループフィルタ処理を行う。このインループフィルタ処理により、適応オフセット処理が施されて、リンギングなどが除去される。
また、逆量子化部４３からの量子化パラメータ、および可逆復号部４２からのシンタクス要素の他に、適応オフセット処理の結果（quad-tree構造の情報）に基づきデブロックフィルタ２１２のフィルタ特性が決定される。そして、オフセット処理後の画素値に対して、決定されたフィルタ特性により、デブロックフィルタ処理が施されて、ブロック歪みが除去される。さらに、デブロックフィルタ後の画素値に対して、適応ループフィルタ処理が施されて、画質改善が行われる。適応フィルタ処理後の画素値は、フレームメモリ４９および画面並べ替えバッファ４７に出力される。
ステップＳ２０９においてフレームメモリ４９は、適応フィルタリングされた画像を記憶する。
ステップＳ２１０において、画面並べ替えバッファ４７は、適応ループフィルタ９１後の画像の並べ替えを行う。すなわち画像符号化装置１０１の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ２１１において、D/A変換部４８は、画面並べ替えバッファ４７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
ステップＳ２１１の処理が終了すると、復号処理が終了される。
［インループフィルタ処理の流れ］
次に、図２４のフローチャートを参照して、図２３のステップＳ２０８において実行されるインループフィルタ処理の流れの例を説明する。このインループフィルタ処理は、適応オフセット部２１１、デブロックフィルタ２１２、デブロックフィルタ制御部２１３、および適応ループフィルタ９１により実行される処理である。
図２３のステップＳ２０５の処理により、逆量子化部４３は、量子化パラメータの情報を、デブロックフィルタ２１２に供給してくる。これに対応して、α／β決定部２４１は、ステップＳ２３１において、逆量子化部４３から供給される量子化パラメータの情報を取得する。
また、図２３のステップＳ２０２の処理により、可逆復号部４２は、予測モード情報および動きベクトル情報などのシンタクス要素を、デブロックフィルタ２１２に供給してくる。これに対応して、Bs決定部２４２は、ステップＳ２３２において、可逆復号部４２から供給されるシンタクス要素を取得し、動き探索・モード判定処理を行う。
すなわち、Bs決定部２４２は、図６を参照して上述したようにして、図５の画素ｐまたは画素ｑがどんな予測モードのLCU（マクロブロック）に属するかや、参照フレーム情報や動きベクトル情報などを判定する。
一方、図２３のステップＳ２０７の処理により演算部４５からの復号画像（ローカルデコード後のベースバンド情報）が、適応オフセット部２１１に供給される。これに対応して、ステップＳ２３３において、適応オフセット部２１１は、適応オフセット処理を行う。この適応オフセット処理については、図２５を参照して後述する。
ステップＳ２３３の処理により、図１２を参照して上述したquad-tree 構造とオフセット値とが可逆復号部４２から取得される。そして、取得したquad-tree構造とオフセット値を用いて、演算部４５からの復号画像に対してオフセット処理が行われ、オフセット処理後の画像が、デブロックフィルタ２１２に供給される。
ステップＳ２３４において、α／β決定部２４１およびBs決定部２４２は、デブロックフィルタ２１２のフィルタパラメータを決定する。
すなわち、α／β決定部２４１は、ステップＳ２３２により取得した量子化パラメータに基づいて、図７および図８を参照して上述したようにして、閾値α／βの値を決定する。決定した閾値α／βの値は、フィルタパラメータの１つとして、フィルタ決定部２４３に供給される。
一方、Bs決定部２４２は、ステップＳ２３２により判定された動き探索・モード判定処理の結果に基づいて、Bsの値を決定する。
デブロックフィルタ制御部２１３は、ステップＳ２３５において、デブロックフィルタ処理の対象領域が、適応オフセット処理境界（すなわち、適応オフセット処理の対象領域の境界）であるか否かを判定する。この判定処理は、ステップＳ２３３の処理により得られた適応オフセット処理の結果（quad-tree 構造の情報）が参照されて行われる。
ステップＳ２３５において、デブロックフィルタ処理の対象領域が、適応オフセット処理境界であると判定された場合、処理は、ステップＳ２３６に進む。ステップＳ２３６において、デブロックフィルタ制御部２１３は、デブロックフィルタ２１２のフィルタパラメータを調整する。
すなわち、デブロックフィルタ制御部２１３は、画像符号化装置１０１のデブロックフィルタ制御部１１３に対応する、例えば、第１の方法を用いて、Bs値を+1する制御情報を、Bs決定部２４２に供給する。これに対応して、Bs決定部２４２は、ステップＳ１３４において決定したBs値を+1するようにフィルタ強度の調整を行い、調整されたBs値を、フィルタパラメータの１つとして、フィルタ決定部２４３に供給する。
また、ステップＳ２３５において、デブロックフィルタ処理の対象領域が、適応オフセット処理境界ではないと判定された場合、ステップＳ２３６の処理はスキップされる。この場合、Bs決定部２４２は、ステップＳ２３４において決定したBs値を、フィルタパラメータの１つとして、フィルタ決定部２４３に供給する。
フィルタパラメータが供給されると、フィルタ決定部２４３は、フィルタ（の特性）を決定し、決定したフィルタとともに、画素バッファ２３４からのオフセット処理後の画素値であって、デブロックフィルタ前の画素値を、フィルタリング部２４４に供給する。
これに対応して、フィルタリング部２４４は、ステップＳ２３７において、フィルタ決定部２４３からのデブロックフィルタ前の画素値に対して、フィルタ決定部２４３からのフィルタ制御情報に示されるフィルタを用いて、フィルタ処理を施す。フィルタリング部２４４は、フィルタ処理が施されたデブロックフィルタ後の画素値を、適応ループフィルタ９１に供給する。
ステップＳ２３８において、適応ループフィルタ９１は、デブロックフィルタ２１２からのデブロックフィルタ後の画像に適応ループフィルタ処理を行う。
すなわち、図示は省略されているが、図２３のステップＳ２０２の処理により、可逆復号部４２は、適応ループフィルタ係数を、適応ループフィルタ９１に供給してくる。適応ループフィルタ９１は、可逆復号部４２からの適応ループフィルタ係数を用いて、デブロックフィルタ２１２からのデブロックフィルタ後の画像にフィルタ処理を行う。フィルタ処理後の画像は、フレームメモリ４９および画面並べ替えバッファ４７に供給される。
以上のように、画像復号装置２０１においては、デブロックフィルタに先立ち、適応オフセット処理を行うようにしたので、これにより、適応オフセット処理で生じるブロック歪みを抑制することができる。
さらに、画像復号装置２０１においては、適応オフセット処理の結果であるquad-tree構造の情報に基づき、適応オフセット処理の境界に対してより強くデブロックフィルタ処理を行うことができる。これにより、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができる。
［適応オフセット処理の流れ］
次に、図２５のフローチャートを参照して、図１４のステップＳ２３３の適応オフセット処理について説明する。
可逆復号部４２からのquad-tree構造の情報は、quad-tree構造バッファ２３１に供給される。ステップＳ２５１において、quad-tree構造バッファ２３１は、可逆復号部４２からのquad-tree構造の情報を受信し、蓄積する。その後、quad-tree構造バッファ２３１は、所定のタイミングで、オフセット部２３３に、quad-tree構造の情報を供給する。
可逆復号部４２からのオフセットの情報は、オフセットバッファ２３２に供給される。ステップＳ２５２において、オフセットバッファ２３２は、可逆復号部４２からのオフセット値の情報を受信し、蓄積する。そして、オフセットバッファ２３２は、所定のタイミングで、オフセットの情報を、オフセット部２３３に供給する。
ステップＳ２５３において、オフセット部２３３は、デブロック後の画素値に対して、オフセット処理を行う。すなわち、すなわち、オフセット部２３３は、quad-tree構造バッファ２３１によりquad-tree分割された各領域の画素値に対して、オフセットバッファ２３２からの情報が示すオフセットを加算する。オフセット部２３３は、オフセット処理後の画素値を画素バッファ２３４に蓄積する。
その後、画素バッファ２３４は、所定のタイミングで、オフセット処理後の画素値を、適応ループフィルタ９１に供給し、適応オフセット処理は終了する。
なお、上記説明においては、図１６のデブロックフィルタ制御部１１３と図２１のデブロックフィルタ制御部２１３が、デブロックフィルタのフィルタパラメータの強度を調整するための制御情報をそれぞれ生成する例を説明した。すなわち、上記説明においては、図１６のデブロックフィルタ制御部１１３と図２１のデブロックフィルタ制御部２１３において、フィルタパラメータをどのように制御するかの情報が予め設定されている例について説明されている。
これに対して、図１６の画像符号化装置１０１のデブロックフィルタ制御部１１３が生成した制御情報を、可逆符号化部１６で符号化し、符号化データに付加して、画像復号装置２０１に送る。そして、画像復号装置２０１で受信された制御情報を、可逆復号部４２で復号し、復号された制御情報を、デブロックフィルタ制御部２１３が用いるようにしてもよい。なお、このとき、デブロックフィルタ制御部１１３が生成した制御情報は、例えば、ピクチャ毎、シーケンス毎、またはスライス毎に符号化される。
この場合の制御情報には、適応オフセット処理境界と判定されるのが、異なる種類の領域であるか、同じ種類であっても異なるカテゴリの領域であるか、それらの両方であるかなどの情報が含まれるようにしてもよい。また、制御情報には、フィルタ強度の調整方法がBs値であるか、閾値αおよびβ値であるかの情報が含まれるようにしてもよい。さらに、制御情報には、Bs値または閾値αおよびβ値をどのように調整するか（例えば、＋１するか、強制的に４にするかなど）の情報が含まれるようにしてもよい。上述した情報すべてが含まれるようにしてもよいし、上述した情報の少なくとも１つが含まれ、他の情報は、予め設定されているようにしてもよい。
以上においては、HEVC方式に準ずる場合を例に説明してきたが、本技術は、適応オフセット処理およびデブロック処理を、動き補償ループ内で行う装置であれば、他の符号化方式を用いる装置でも適用することができる。
なお、本開示は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本開示は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
＜３．第３の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
図２４において、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜４．応用例＞
［第１の応用例：テレビジョン受像機］
図２５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができる。
［第２の応用例：携帯電話機］
図２６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができる。
［第３の応用例：記録再生装置］
図２７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができる。
［第４の応用例：撮像装置］
図２８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ブロック歪みの除去をより適切に行い、復号画像の画質を向上させることができる。
なお、本明細書では、適応オフセットパラメータ、予測モード情報、および動きベクトル情報などのシンタクス要素等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 符号化ストリームを復号処理して画像を生成する復号部と、
前記復号部により生成された画像を対象として、適応オフセット処理を行う適応オフセット処理部と、
前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整するデブロックフィルタ調整部と、
前記適応オフセット処理部により前記適応オフセット処理が行われた画像を対象として、前記デブロックフィルタ調整部により調整された強度で、前記デブロックフィルタ処理を行うデブロックフィルタ処理部と
を備える画像処理装置。
（２） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、前記デブロックフィルタ処理の対象領域と前記隣接領域とが、エッジオフセット、バンドオフセット、およびオフセットなしのうち、異なる種類のオフセットでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整する
前記（１）に記載の画像処理装置。
（３） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、エッジオフセットまたはバンドオフセットのうち、同じ種類のオフセットで、かつ、異なるカテゴリでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整する
前記（１）または（２）に記載の画像処理装置。
（４） 前記デブロックフィルタ調整部は、Boundary strength値により前記デブロックフィルタ処理の強度を調整する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を＋１として、前記デブロックフィルタ処理の強度を調整する
前記（４）に記載の画像処理装置。
（６） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を４として、前記デブロックフィルタ処理の強度を調整する
前記（４）に記載の画像処理装置。
（７） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、αの値またはβの値により前記デブロックフィルタ処理の強度を調整する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（８） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、量子化パラメータQPと所定値ΔQPとを加算した値を用いたテーブル引きを行って、前記αの値またはβの値を決定する
前記（７）に記載の画像処理装置。
（９） 画像処理装置が、
符号化ストリームを復号処理して画像を生成し、
生成された画像を対象として、適応オフセット処理を行い、
前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整し、
前記適応オフセット処理が行われた画像を対象として、調整された強度で、前記デブロックフィルタ処理を行う
画像処理方法。
（１０） 画像を符号化する際にローカル復号処理された画像を対象として、適応オフセット処理を行う適応オフセット処理部と、
前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整するデブロックフィルタ調整部と、
前記適応オフセット処理部により前記適応オフセット処理が行われた画像を対象として、前記デブロックフィルタ調整部により調整された強度で、前記デブロックフィルタ処理を行うデブロックフィルタ処理部と、
前記デブロックフィルタ処理部により前記デブロックフィルタ処理が行われた画像を用いて、前記画像を符号化する符号化部と
を備える画像処理装置。
（１１） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、前記デブロックフィルタ処理の対象領域と前記隣接領域とが、エッジオフセット、バンドオフセット、およびオフセットなしのうち、異なる種類のオフセットでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整する
前記（１０）に記載の画像処理装置。
（１２） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、エッジオフセットまたはバンドオフセットのうち、同じ種類のオフセットで、かつ、異なるカテゴリでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整する
前記（１０）または（１１）に記載の画像処理装置。
（１３） 前記デブロックフィルタ調整部は、Boundary strength値により前記デブロックフィルタ処理の強度を調整する
前記（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を＋１として、前記デブロックフィルタ処理の強度を調整する
前記（１３）に記載の画像処理装置。
（１５） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を４として、前記デブロックフィルタ処理の強度を調整する
前記（１３）に記載の画像処理装置。
（１６） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、αの値またはβの値により前記デブロックフィルタ処理の強度を調整する
前記（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１７） 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、量子化パラメータQPと所定値ΔQPとを加算した値を用いたテーブル引きを行って、前記αの値またはβの値を決定する
前記（１６）に記載の画像処理装置。
（１８） 画像処理装置が、
画像を符号化する際にローカル復号処理された画像を対象として、適応オフセット処理を行い、
前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整し、
前記適応オフセット処理が行われた画像を対象として、調整された強度で、前記デブロックフィルタ処理を行い、
前記デブロックフィルタ処理が行われた画像を用いて、前記画像を符号化する
画像処理方法。
１５ 量子化部， １６ 可逆符号化部， ４２ 可逆復号部， ４３ 逆量子化部， ７１ 適応ループフィルタ， ９１ 適応ループフィルタ， １０１ 画像符号化装置， １１１ 適応オフセット部， １１２ デブロックフィルタ， １１３ デブロックフィルタ制御部， １３１ quad-tree構造決定部， １３２ オフセット算出部， １３３ オフセット部， １３４ 画素バッファ， １４１ α／β決定部， １４２ Bs決定部， １４３ フィルタ決定部， １４４ フィルタリング部， ２０１ 画像復号装置， ２１１ 適応オフセット部， ２１２ デブロックフィルタ， ２１３ デブロックフィルタ制御部， ２３１ quad-tree構造バッファ， ２３２ オフセットバッファ， ２３３ オフセット部， ２３４ 画素バッファ， ２４１ α／β決定部， ２４２ Bs決定部， ２４３ フィルタ決定部， ２４４ フィルタリング部

Claims (18)

  1. 符号化ストリームを復号処理して画像を生成する復号部と、
    前記復号部により生成された画像を対象として、適応オフセット処理を行う適応オフセット処理部と、
    前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整するデブロックフィルタ調整部と、
    前記適応オフセット処理部により前記適応オフセット処理が行われた画像を対象として、前記デブロックフィルタ調整部により調整された強度で、前記デブロックフィルタ処理を行うデブロックフィルタ処理部と
    を備える画像処理装置。
  2. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、前記デブロックフィルタ処理の対象領域と前記隣接領域とが、エッジオフセット、バンドオフセット、およびオフセットなしのうち、異なる種類のオフセットでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整する
    請求項１に記載の画像処理装置。
  3. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、エッジオフセットまたはバンドオフセットのうち、同じ種類のオフセットで、かつ、異なるカテゴリでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整する
    請求項２に記載の画像処理装置。
  4. 前記デブロックフィルタ調整部は、Boundary strength値により前記デブロックフィルタ処理の強度を調整する
    請求項２に記載の画像処理装置。
  5. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を＋１として、前記デブロックフィルタ処理の強度を調整する
    請求項４に記載の画像処理装置。
  6. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を４として、前記デブロックフィルタ処理の強度を調整する
    請求項４に記載の画像処理装置。
  7. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、αの値またはβの値により前記デブロックフィルタ処理の強度を調整する
    請求項２に記載の画像処理装置。
  8. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、量子化パラメータQPと所定値ΔQPとを加算した値を用いたテーブル引きを行って、前記αの値またはβの値を決定する
    請求項７に記載の画像処理装置。
  9. 画像処理装置が、
    符号化ストリームを復号処理して画像を生成し、
    生成された画像を対象として、適応オフセット処理を行い、
    前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整し、
    前記適応オフセット処理が行われた画像を対象として、調整された強度で、前記デブロックフィルタ処理を行う
    画像処理方法。
  10. 画像を符号化する際にローカル復号処理された画像を対象として、適応オフセット処理を行う適応オフセット処理部と、
    前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整するデブロックフィルタ調整部と、
    前記適応オフセット処理部により前記適応オフセット処理が行われた画像を対象として、前記デブロックフィルタ調整部により調整された強度で、前記デブロックフィルタ処理を行うデブロックフィルタ処理部と、
    前記デブロックフィルタ処理部により前記デブロックフィルタ処理が行われた画像を用いて、前記画像を符号化する符号化部と
    を備える画像処理装置。
  11. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、前記デブロックフィルタ処理の対象領域と前記隣接領域とが、エッジオフセット、バンドオフセット、およびオフセットなしのうち、異なる種類のオフセットでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整する
    請求項１０に記載の画像処理装置。
  12. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と、前記デブロックフィルタ処理の対象領域に隣接する隣接領域とが前記適応オフセット処理の対象領域の境界であり、エッジオフセットまたはバンドオフセットのうち、同じ種類のオフセットで、かつ、異なるカテゴリでそれぞれ処理される場合、前記デブロックフィルタ処理の強度を調整する
    請求項１１に記載の画像処理装置。
  13. 前記デブロックフィルタ調整部は、Boundary strength値により前記デブロックフィルタ処理の強度を調整する
    請求項１１に記載の画像処理装置。
  14. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を＋１として、前記デブロックフィルタ処理の強度を調整する
    請求項１３に記載の画像処理装置。
  15. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、前記Boundary strength値を４として、前記デブロックフィルタ処理の強度を調整する
    請求項１３に記載の画像処理装置。
  16. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、αの値またはβの値により前記デブロックフィルタ処理の強度を調整する
    請求項１１に記載の画像処理装置。
  17. 前記デブロックフィルタ調整部は、前記デブロックフィルタ処理の対象領域と前記隣接領域とが前記適応オフセット処理の対象領域の境界であり、異なる種類のオフセットでそれぞれ処理される場合、量子化パラメータQPと所定値ΔQPとを加算した値を用いたテーブル引きを行って、前記αの値またはβの値を決定する
    請求項１６に記載の画像処理装置。
  18. 画像処理装置が、
    画像を符号化する際にローカル復号処理された画像を対象として、適応オフセット処理を行い、
    前記適応オフセット処理により用いられるquad-tree構造に関する情報に基づいて、前記画像におけるデブロックフィルタ処理の対象領域が、前記適応オフセット処理の対象領域の境界である場合、前記デブロックフィルタ処理の強度を調整し、
    前記適応オフセット処理が行われた画像を対象として、調整された強度で、前記デブロックフィルタ処理を行い、
    前記デブロックフィルタ処理が行われた画像を用いて、前記画像を符号化する
    画像処理方法。
JP2011235881A 2011-10-27 2011-10-27 画像処理装置および方法 Pending JP2013093792A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011235881A JP2013093792A (ja) 2011-10-27 2011-10-27 画像処理装置および方法
CN201280051241.8A CN103891284A (zh) 2011-10-27 2012-10-18 图像处理装置和方法
PCT/JP2012/076885 WO2013061852A1 (ja) 2011-10-27 2012-10-18 画像処理装置および方法
US14/346,888 US20140233660A1 (en) 2011-10-27 2012-10-18 Image processing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011235881A JP2013093792A (ja) 2011-10-27 2011-10-27 画像処理装置および方法

Publications (1)

Publication Number Publication Date
JP2013093792A true JP2013093792A (ja) 2013-05-16

Family

ID=48167685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011235881A Pending JP2013093792A (ja) 2011-10-27 2011-10-27 画像処理装置および方法

Country Status (4)

Country Link
US (1) US20140233660A1 (ja)
JP (1) JP2013093792A (ja)
CN (1) CN103891284A (ja)
WO (1) WO2013061852A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015053111A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US11102481B2 (en) 2015-11-17 2021-08-24 Huawei Technologies Co., Ltd. Method and apparatus for video coding

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
CN104641649B (zh) 2012-09-20 2018-01-30 索尼公司 图像处理装置和方法
US10455254B2 (en) * 2016-11-10 2019-10-22 Mediatek Inc. Method and apparatus of video coding
CN108337509A (zh) * 2018-04-06 2018-07-27 北京慧摩尔科技有限公司 块状噪声的降噪方法及装置
CN110121069B (zh) * 2019-06-27 2021-06-11 上海富瀚微电子股份有限公司 基于十字界的hevc环路滤波方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015053111A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US11102481B2 (en) 2015-11-17 2021-08-24 Huawei Technologies Co., Ltd. Method and apparatus for video coding
US11902515B2 (en) 2015-11-17 2024-02-13 Huawei Technologies Co., Ltd. Method and apparatus for video coding

Also Published As

Publication number Publication date
WO2013061852A1 (ja) 2013-05-02
CN103891284A (zh) 2014-06-25
US20140233660A1 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
JP5907367B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5942990B2 (ja) 画像処理装置および方法
US10419756B2 (en) Image processing device and method
WO2013061852A1 (ja) 画像処理装置および方法
CN107071468B (zh) 图像处理设备和图像处理方法
JP2013150173A (ja) 画像処理装置および方法
WO2013002110A1 (ja) 画像処理装置および方法
WO2014050676A1 (ja) 画像処理装置および方法
WO2012128191A1 (ja) 画像処理装置および方法
WO2013108688A1 (ja) 画像処理装置および方法
WO2014050731A1 (ja) 画像処理装置および方法
WO2013047326A1 (ja) 画像処理装置および方法
WO2013154026A1 (ja) 画像処理装置および方法
JP5999449B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2013051453A1 (ja) 画像処理装置および方法
WO2013002106A1 (ja) 画像処理装置および方法
WO2012173063A1 (ja) 画像処理装置および方法
JP6094838B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6508553B2 (ja) 画像処理装置および方法
JP6341304B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6768208B2 (ja) 画像処理装置および方法
WO2013002111A1 (ja) 画像処理装置および方法
WO2014024723A1 (ja) 画像処理装置および方法