JP2014195319A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2014195319A
JP2014195319A JP2014114195A JP2014114195A JP2014195319A JP 2014195319 A JP2014195319 A JP 2014195319A JP 2014114195 A JP2014114195 A JP 2014114195A JP 2014114195 A JP2014114195 A JP 2014114195A JP 2014195319 A JP2014195319 A JP 2014195319A
Authority
JP
Japan
Prior art keywords
unit
quantization
quantization parameter
image
coding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014114195A
Other languages
English (en)
Other versions
JP6024709B2 (ja
Inventor
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014114195A priority Critical patent/JP6024709B2/ja
Publication of JP2014195319A publication Critical patent/JP2014195319A/ja
Application granted granted Critical
Publication of JP6024709B2 publication Critical patent/JP6024709B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】画像の内容により適した量子化処理または逆量子化処理を行うことができるようにする。
【解決手段】可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを復号する。サブマクロブロック逆量子化部２２１は、逆量子化部２０３から供給された量子化パラメータを用いてサブマクロブロック毎の量子化値を求め、それを逆量子化部２０３に返す。逆量子化部２０３は、サブマクロブロック逆量子化部２２１から供給されるサブマクロブロック毎の量子化値を用いて、可逆復号部２０２により復号されて得られた量子化係数を逆量子化する。本技術は、例えば、画像処理装置に適用することができる。
【選択図】図８

Description

本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、量子化処理又は逆量子化処理を行う画像処理装置および方法、プログラム、並びに記録媒体に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及している。
昨今、ハイビジョン画像の４倍の、４０９６×２０４８画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。
これまでの画像符号化方式である、MPEG1、MPEG2、およびITU-T H.264、MPEG4-AVCにおける画像符号化の際の画像の分割単位（符号化処理単位）となる、画像の部分領域であるマクロブロックの画素サイズは、すべて１６×１６画素であった。一方、非特許文献１文献によると、次世代の画像符号化規格の要素技術として、マクロブロックの水平および垂直方向の画素数を拡張する提案がなされている。この提案によるとMPEG1、MPEG2、およびITU-T H.264、MPEG4-AVC等で規定されている１６×１６画素のマクロブロックの画素サイズのほかに、３２×３２画素、６４×６４画素からなるマクロブロックを使用することも提案されている。これは、例えば、UHD（Ultra High Definition；４０００画素×２０００画素）のように、将来的に符号化する画像の水平・垂直方向の画素サイズが増大することが予想されるが、その場合に、動きの似通った領域において、より大きな領域を単位として動き補償および直交変換を行うことで符号化効率を向上させることを目的としている。
非特許文献１においては、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
非特許文献１は、インタースライスに対して拡張されたマクロブロックを適用する提案であるが、非特許文献２においては、拡張されたマクロブロックを、イントラスライスに適用することが提案されている。
Peisong Chenn,Yan Ye,Marta Karczewicz,"Video Coding Using Extended Block Sizes", COM16-C123-E, Qualcomm Inc Sung-Chang Lim, Hahyun Lee, Jinho Lee, Jongho Kim, Haechul Choi, Seyoon Jeong, Jin Soo Choi, "Intra coding using extended block size", VCEG-AL28, 2009年7月,
ところで、非特許文献１若しくは非特許文献２において提案されているような、拡張された大きさのマクロブロックが適用されると、単一のマクロブロック内に、平坦な領域と、テクスチャを含む領域が混在する可能性が高くなる。
しかしながら、非特許文献１若しくは非特許文献２においては、１つのマクロブロックに対して、単一の量子化パラメータを指定することしか出来ないため、面内のそれぞれの領域の特性に応じた、適応量子化を行うことが困難になる。
本技術は、このような状況に鑑みてなされたものであり、より適切な量子化処理を行い、復号画像の主観画質の低減を抑制することを目的とする。
本技術の一側面は、符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部とを備える画像処理装置である。
前記設定部は、差分量子化パラメータを用いて、カレントコーディングユニットの量子化パラメータを設定することができる。
前記設定部は、前記差分量子化パラメータを設定するコーディングユニットの最小サイズを示す値を用いて、前記カレントコーディングユニットの量子化パラメータを設定することができる。
前記設定部は、前記カレントコーディングユニットがスライスにおいて復号処理順で最初である場合に、前記カレントコーディングユニットに設定された量子化パラメータと前記カレントコーディングユニットが属するスライスに設定された量子化パラメータとの差分値を前記差分量子化パラメータとして用いて、前記カレントコーディングユニットの量子化パラメータを設定することができる。
前記設定部は、前記カレントコーディングユニットが前記最大コーディングユニットの階層において復号処理順で最初である場合に、前記カレントコーディングユニットに設定された量子化パラメータと前記カレントコーディングユニットが属するスライスに設定された量子化パラメータとの差分値を前記差分量子化パラメータとして用いて、前記カレントコーディングユニットの量子化パラメータを設定することができる。
前記設定部は、前記差分量子化パラメータを設定するコーディングユニットの最小サイズを示す値を用いて、前記カレントコーディングユニットの量子化パラメータを設定することができる。
前記設定部は、前記最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記差分量子化パラメータの値が０である場合に、スライスに設定された量子化パラメータを、前記最大コーディングユニットよりも下位層にあるコーディングユニットに設定された量子化パラメータとして設定することができる。
前記設定部は、前記最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記差分量子化パラメータの値が０であるかを識別する差分識別データを用いて、スライスに設定された量子化パラメータを、前記最大コーディングユニットよりも下位層にあるコーディングユニットに設定された量子化パラメータとして設定することができる。
本技術の一側面は、また、符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成し、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定し、設定された前記量子化パラメータを用いて、生成された前記量子化データを逆量子化する画像処理方法である。
本技術の一側面は、さらに、コンピュータを、符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部として機能させるプログラムである。
本技術の一側面は、また、コンピュータを、符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
本技術の一側面においては、符号化ストリームが、階層構造を有する単位で復号されて、量子化データが生成され、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、生成された量子化データを逆量子化する際に用いる量子化パラメータが設定され、設定された量子化パラメータが用いられて、生成された量子化データが逆量子化される。
本技術によれば、より適切に量子化処理または逆量子化処理を行うことができる。
本技術を適用した画像符号化装置の主な構成例を示すブロック図である。 輝度信号の量子化パラメータと色差信号の量子化パラメータの対応関係の例を示す図である。 マクロブロックの例を示す図である。 マクロブロックの他の例を示す図である。 量子化部の詳細な構成例を示すブロック図である。 マクロブロック単位の画像の例を説明する図である。 符号化処理の流れの例を説明するフローチャートである。 量子化パラメータ算出処理の流れの例を説明するフローチャートである。 本技術を適用した画像復号装置の主な構成例を示すブロック図である。 逆量子化部の詳細な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 逆量子化処理の流れの例を説明するフローチャートである。 量子化パラメータ算出処理の流れの他の例を説明するフローチャートである。 逆量子化処理の流れの他の例を説明するフローチャートである。 コーディングユニットの構成例を説明する図である。 コーディングユニット毎に割り当てられた量子化パラメータの例を示す図である。 シンタックスの例を示す図である。 本技術を適用した画像符号化装置の他の構成例を示すブロック図である。 コーディングユニット量子化部およびレート制御部の詳細な構成例を示すブロック図である。 量子化パラメータ算出処理の流れの、さらに他の例を説明するフローチャートである。 本技術を適用した画像復号装置の他の構成例を示すブロック図である。 コーディングユニット逆量子化部の詳細な構成例を示すブロック図である。 逆量子化処理の流れの、さらに他の例を示すフローチャートである。 量子化パラメータdQPの各算出方法の特徴を比較する図である。 コーディングユニット毎に割り当てられた量子化パラメータの例を示す図である。 スライスヘッダのシンタックスの例を示す図である。 アクティビティの算出方法の例を説明する図である。 量子化パラメータと量子化スケールとの関係を説明する図である。 本技術を適用した画像符号化装置の、さらに他の構成例を示すブロック図である。 コーディングユニット量子化部、量子化部、およびレート制御部の詳細な構成例を示すブロック図である。 符号化処理の流れの他の例を説明するフローチャートである。 量子化処理の流れの例を説明するフローチャートである。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 階層画像符号化方式の例を示す図である。 本技術を適用した階層画像符号化装置の主な構成例を示す図である。 本技術を適用した階層画像復号装置の主な構成例を示す図である。 本技術を適用したコンピュータの主な構成例を示すブロック図である。 本技術を適用したテレビジョン装置の主な構成例を示すブロック図である。 本技術を適用したモバイル端末器の主な構成例を示すブロック図である。 本技術を適用した記録再生機の主な構成例を示すブロック図である。 本技術を適用した撮像装置の主な構成例を示すブロック図である。
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（画像符号化装置・画像復号装置）
４．第４の実施の形態（画像符号化装置・画像復号装置）
５．第５の実施の形態（画像符号化装置）
６．第６の実施の形態（多視点画像符号化・多視点画像復号装置）
７．第７の実施の形態（階層画像符号化・階層画像復号装置）
８．第８の実施の形態（応用例）
＜１．第１の実施の形態＞
［画像符号化装置］
図１は、本技術を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
図１に示される画像符号化装置１００は、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式と同様に画像を符号化する符号化装置である。ただし、画像符号化装置１００は、サブマクロブロック毎に量子化パラメータを指定する。
マクロブロックとは、画像を符号化する際の処理単位となる前記画像の部分領域である。サブマクロブロックとは、そのマクロブロックを複数に分割する小領域である。
図１の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
画像符号化装置１００は、さらに、サブマクロブロック量子化部１２１とサブマクロブロック逆量子化部１２２を有する。
A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き予測・補償部１１５にも供給する。
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。
量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、レート制御部１１７から供給される情報に基づいて、サブマクロブロック量子化部１２１と連携しながら、マクロブロックよりも小さな領域であるサブマクロブロック毎に量子化パラメータを設定し、量子化を行う。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
可逆符号化部１０６は、イントラ予測を示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き予測・補償部１１５から取得する。なお、イントラ予測（画面内予測）を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測（画面間予測）を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。
可逆符号化部１０６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどの各種情報を、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、サブマクロブロック逆量子化部１２２と連携しながら、量子化部１０５において設定されたサブマクロブロック毎の量子化パラメータを用いて逆量子化を行う。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き予測・補償部１１５から供給される予測画像を加算する。
その加算結果は、デブロックフィルタ１１１またはフレームメモリ１１２に供給される。
デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去するとともに、例えばウィナーフィルタ（Wiener Filter）を用いて適宜ループフィルタ処理を行うことにより画質改善を行う。デブロックフィルタ１１１は、各画素をクラス分類し、クラスごとに適切なフィルタ処理を施す。デブロックフィルタ１１１は、そのフィルタ処理結果をフレームメモリ１１２に供給する。
フレームメモリ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き予測・補償部１１５に出力する。
例えば、イントラ符号化が行われる画像の場合、フレームメモリ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ１１２は、参照画像を、選択部１１３を介して動き予測・補償部１１５に供給する。
選択部１１３は、フレームメモリ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、フレームメモリ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部１１５に供給する。
イントラ予測部１１４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。
動き予測・補償部１１５は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、動き予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
動き予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
また、動き予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。
選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。
レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。レート制御部１１７は、マクロブロックが複数に分割された少領域であるサブマクロブロック毎に、画像の複雑さを示す情報を量子化部１０５に供給する。
例えば、レート制御部１１７は、この画像の複雑さを示す情報として、画素値の分散を示す情報であるアクティビティを量子化部１０５に提供する。もちろん、この画像の複雑さを示す情報がどのような情報であっても良い。
サブマクロブロック量子化部１２１は、量子化部１０５から、サブマクロブロック毎の画像の複雑さを示す情報を取得し、その情報に基づいてサブマクロブロック毎の量子化値（量子化ステップ）を設定し、その値を量子化部１０５に返す。
サブマクロブロック逆量子化部１２２は、逆量子化部１０８から量子化パラメータを取得し、それらの値を用いてサブマクロブロック毎の量子化値を求め、それを逆量子化部１０８に返す。
［AVCの量子化］
ここで、従来の量子化処理として、AVC（Advanced Video Coding）において定められている量子化を例に説明する。
AVCにおいて定められている整数変換行列[H]は、以下の式（１）に示される直交変換行列の条件を満たさないが、整数変換後、各成分に対して異なる量子化処理を行い、整数変換と、量子化を組み合わせることにより、直交変換処理が行われることになる。
[H][H]Ｔ＝[I］
・・・（１）
AVCにおいては、量子化を行うため、「０」乃至「５１」の値を取り得る、量子化パラメータQP（Quantization Parameter）を、各マクロブロックに対して定義することが可能である。
例えば、A(QP)とB(QP)が、QPの値によらず、以下の式（２）を満たす値であるとする。
A(QP)*B(QP)＝2m+n ・・・（２）
AVCにおける直交変換及び逆直交変換は、以下の式（３）および式（４）のような演算により実現することができる。
d ＝c * A(QP) / 2m ・・・（３）
c'＝d * B(QP) / 2n ・・・（４）
なお、cは量子化前の直交変換係数、dは量子化後の直交変換係数、c'は逆量子化後の直交変換係数である。
このような処理を行うことで、AVCにおいては、除算でなくシフト演算のみにより、量子化及び逆量子化処理を実現することが可能である。
なお、AおよびBの値は、成分毎に異なる値を持つことになる。
量子化パラメータQPは、例えば６から１２へといったように、その値が６増えた時、２倍粗い量子化処理が行われるように設計されている。
また、特に、より低いビットレート、すなわち、より高いQPにおいては、色差信号における劣化が目立ちやすい。そこで、輝度信号に対する量子化パラメータQPYに対して、色差信号に対するデフォルトの量子化パラメータQPCが、図２に示される表のように定義されている。
ユーザは、画像圧縮情報中に含まれるChromaQPOffsetに関する情報を設定することで、この関係を制御することができる。
また、High Profile以上においては、ChromaQPOffsetおよび2ndChromaQPOffsetを用いて、Cb/Cr成分に対する量子化パラメータを独立に設定することが可能である。
［量子化パラメータ算出］
AVC符号化方式、並びに、非特許文献１や非特許文献２に記載の符号化方式においては、それぞれのマクロブロックに対する量子化パラメータMB_QPは、以下のように算出される。
すなわち、まず、シーケンスパラメータセットに存在するbit_depth_luma_minus8から、QpBdOffsetYが、以下の式（５）のように算出される。
QpBdOffsetY = 6 * bit_depth_luma_minus8 ・・・（５）
次に、ピクチャパラメータセットにおけるpic_init_qp_minus26によって、各ピクチャにおける量子化パラメータの初期値が指定される。
次に、スライスレイヤにおいて規定されるslice_qp_deltaにより、当該スライスにおける量子化パラメータSliceQPYが、以下の式（６）のように算出される。
SliceQPY = 26 + pic_init_qp_minus26 + slice_qp_delta ・・・（６）
最後に、マクロブロックレイヤにおけるmb_qp_deltaを用いて、それぞれのマクロブロックに対する量子化パラメータMB_QPが、以下の式（７）のように算出される。
MB_QP = ( (MB_QPPrev + mb_qp_delta + 52 + 2 * QpBdOffsetY) % (52 + QpBdOffsetY) )
- QpBdOffsetY ・・・（７）
ここで、MB_QPPrevは、直前のマクロブロックにおける量子化パラメータである。
本技術においては、これに加え、更に、画像圧縮中における、サブマクロブロックレイヤに、submb_qp_deltaに関する情報が含まれている。
この情報を用いて、各サブマクロブロックに対する量子化パラメータSubMB_QPが、以下の式（８）のように算出される。
SubMB_QP = Clip(0,51,MB_QP + submb_qp_delta) ・・・（８）
ここで、Clip(min,max,value)は、以下の式（９）のような返値を持つ関数である。
Figure 2014195319
 ・・・（９）
つまり、各サブマクロブロックに対する量子化パラメータSubMB_QPは、以下の式（１０）のように算出される。ただし、予め定義されている最小の量子化パラメータをminQPとし、予め定義されている最大の量子化パラメータをmaxQPとする。
Figure 2014195319
 ・・・（１０）
なお、画像圧縮情報内において、submb_qp_deltaが存在しない場合、その値は「０」であるとして、当該マクロブロックにおける量子化パラメータが、当該サブマクロブロックにも適用されることになる。
［量子化部］
図５は、図１の量子化部１０５の詳細な構成例を説明するブロック図である。図５に示されるように、量子化部１０５は、サブマクロブロックアクティビティバッファ１５１、量子化パラメータ算出部１５２、および量子化処理部１５３を有する。
サブマクロブロックアクティビティバッファ１５１は、レート制御部１１７から供給されるアクティビティを保持する。AVC符号化方式においては、MPEG-2 Test Modelにおいて規定されているような、アクティビティに基づく適応量子化が行われるが、レート制御部１１７は、サブマクロブロック毎にアクティビティ（サブマクロブロックアクティビティとも称する）の算出を行う。サブマクロブロックアクティビティの算出方法は、マクロブロック毎にアクティビティを算出する従来の場合と同様である。
サブマクロブロックアクティビティバッファ１５１は、レート制御部１１７から供給されるサブマクロブロックアクティビティを保持し、所定量（例えば１画面分）毎に、その保持しているサブマクロブロックアクティビティをサブマクロブロック量子化部１２１に供給する。
サブマクロブロック量子化部１２１は、サブマクロブロックアクティビティバッファ１５１から供給されるサブマクロブロックアクティビティを用いて、各サブマクロブロックについて、量子化値を算出する。このサブマクロブロック毎の量子化値は、マクロブロック毎のアクティビティからマクロブロック毎の量子化値を算出する場合と同様の方法により算出することができる。
各サブマクロブロックについて量子化値を求めると、サブマクロブロック量子化部１２１は、そのサブマクロブロック毎の量子化値を、量子化パラメータ算出部１５２に供給する。
量子化パラメータ算出部１５２は、サブマクロブロック量子化部１２１から供給されるサブマクロブロック毎の量子化値を用いて、各種量子化パラメータを算出する。
例えば、量子化パラメータ算出部１５２は、pic_init_qp_minus26、slice_qp_delta、およびmb_qp_delta等の量子化パラメータを算出する。量子化パラメータ算出部１５２は、サブマクロブロック毎の量子化値から、マクロブロック毎の量子化値を求める事ができるので、従来のAVC符号化方式等の場合と同様に、これらの各種量子化パラメータを算出し、設定する。
量子化パラメータ算出部１５２は、さらに、マクロブロック毎の量子化パラメータMB_QPと、サブマクロブロック毎の量子化パラメータSubMB_QPとの差分を示す量子化パラメータsubmb_qp_deltaを求める。このサブマクロブロック毎の量子化パラメータは復号側に伝送させる必要がある。そこで、このように差分値とすることで、このサブマクロブロック毎の量子化パラメータの符号量を低減させることができる。言わば、この量子化パラメータsubmb_qp_deltaは、量子化パラメータSubMB_QPの伝送用フォーマットである。サブマクロブロック毎の量子化パラメータSubMB_QPは、サブマクロブロック毎の量子化値を変換することにより得られる。同様に、マクロブロック毎の量子化パラメータMB_QPは、マクロブロック毎の量子化値を変換することにより得られる。量子化パラメータ算出部１５２は、例えば、上述した式（１０）を用いて、各サブマクロブロックについてsubmb_qp_deltaを算出する。
量子化パラメータ算出部１５２は、サブマクロブロック毎の量子化値を量子化処理部１５３に供給する。また、量子化パラメータ算出部１５２は、算出した各種量子化パラメータ（具体的には、pic_init_qp_minus26、slice_qp_delta、およびmb_qp_delta等）を可逆符号化部１０６に供給し、画像を符号化した符号化ストリームとともに伝送させる。なお、上述したように、submb_qp_deltaの値が「０」の場合、submb_qp_deltaの伝送は省略される。つまり、その場合、submb_qp_delta以外の量子化パラメータが可逆符号化部１０６に供給される。
さらに、量子化パラメータ算出部１５２は、サブマクロブロック毎の量子化値を逆量子化部１０８にも供給する。
量子化処理部１５３は、直交変換部１０４から供給される直交変換係数を、サブマクロブロック毎の量子化値を用いて量子化する。
量子化処理部１５３は、量子化された直交変換係数を、可逆符号化部１０６と逆量子化部１０８に供給する。
なお、逆量子化部１０８は、サブマクロブロック逆量子化部１２２を用いて、上述した量子化部１０５により量子化された直交変換係数を逆量子化する。画像符号化装置１００に対応する画像復号装置においても、この逆量子化処理と同様の処理が行われるので、逆量子化の詳細についての説明は、画像復号装置の説明の際に行う。
AVC符号化方式等の従来の場合、１マクロブロックに対して１つの量子化パラメータしか設定することができなかった。したがって、１つのマクロブロック内に、平坦な領域と、テクスチャを含む領域が混在する場合、その両方の領域に適切な量子化パラメータを設定することが困難になる。
特に、非特許文献２等において提案されている拡張されたマクロブロック（拡張部分領域）のように、マクロブロックのサイズが大きくなるほど、その領域内に互いに異なる特徴を有する画像が混在する可能性が高くなり、その各領域の特性に応じた、適応量子化を行うことがより困難になる。
これに対して、画像符号化装置１００は、レート制御部１１７においてサブマクロブロック毎に画像の複雑さを示す指標を算出し、サブマクロブロック量子化部１２１においてサブマクロブロック毎に量子化値を算出することができる。つまり、量子化処理部１５３は、サブマクロブロック毎に適切な量子化値を用いて量子化処理を行うことができる。
これにより、画像符号化装置１００は、画像の内容により適した量子化処理を行うことができる。特に、マクロブロックサイズが拡張され、単一のマクロブロック内に、フラットなエリアとテクスチャを含むエリアの両方を含んでいる場合でも、画像符号化装置１００は、それぞれのエリアに適した適応量子化処理を行い、復号画像の主観画質の劣化を抑制させることができる。
例えば、図６に示される画像１６０において、マクロブロック１６１にはフラット領域しか含まれない。したがって、仮に、画像符号化装置１００が、このようなマクロブロック１６１に対して単一の量子化パラメータを用いた量子化処理を行っても、特に画質上問題となることがない。
これに対して、マクロブロック１６２には、フラット領域と、テクスチャ領域の両方を含んでいる。単一の量子化パラメータを用いた量子化処理では、フラット領域とテクスチャ領域の両方に対して適切な適応量子化を行うことが出来ない。したがって、仮に、画像符号化装置１００が、このようなマクロブロック１６１に対して単一の量子化パラメータを用いた量子化処理を行う場合、復号画像の主観画質が低減する恐れがある。
このような場合でも、画像符号化装置１００は、上述したようにサブマクロブロック単位で量子化値を算出することができるので、より適切な量子化処理を行い、復号画像の主観画質の低減を抑制させることができる。
また、蓄積バッファ１０７において、それぞれのピクチャに対する総符号量がオーバーフローを起こしそうな時も、量子化パラメータによる制御が行われる。したがって、このときに上述したように、量子化部１０５がサブマクロブロック単位で量子化値を算出し、量子化を行うようにすることにより、画像符号化装置１００は、より細かい単位でオーバーフロー対策の制御を行うことができる。
さらに、submb_qp_deltaの値が「０」の場合、そのsubmb_qp_deltaの伝送を省略するようにしたので、不要な符号化効率の低減を抑制することができる。submb_qp_deltaの値が「０」の場合、サブマクロブロック毎の量子化パラメータSubMB_QPとマクロブロック毎の量子化パラメータMB_QPとが互いに等しいので、復号側において、マクロブロック毎の量子化パラメータMB_QPをサブマクロブロック毎の量子化パラメータSubMB_QPとすることができるので、submb_qp_deltaの値（「０」）は不要である。したがって、上述したようにsubmb_qp_deltaの伝送を省略することができる。もちろん、値が「０」のsubmb_qp_deltaを伝送するようにすることもできるが、submb_qp_deltaの伝送を省略することにより、その分符号化効率を向上させることができる。
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図７のフローチャートを参照して、符号化処理の流れの例を説明する。
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１０３において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。
差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１０４において、直交変換部１０４は、ステップＳ１０３の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
ステップＳ１０５において、量子化部１０５およびサブマクロブロック量子化部１２１は、量子化パラメータを求める。量子化パラメータ算出処理の流れの詳細については後述する。
ステップＳ１０６において、量子化部１０５の量子化処理部１５３は、ステップＳ１０５の処理により算出されたサブマクロブロック毎の量子化値を用いて、ステップＳ１０４の処理により得られた直交変換係数を量子化する。
ステップＳ１０６の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０７において、逆量子化部１０８はステップＳ１０６の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１０８において、逆直交変換部１０９は、ステップＳ１０７の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。
ステップＳ１０９において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１１０においてデブロックフィルタ１１１は、ステップＳ１０９の処理により生成された画像をフィルタリングする。これによりブロック歪みが除去される。
ステップＳ１１１において、フレームメモリ１１２は、ステップＳ１１０の処理によりブロック歪みが除去された画像を記憶する。なお、フレームメモリ１１２にはデブロックフィルタ１１１によりフィルタ処理されていない画像も演算部１１０から供給され、記憶される。
ステップＳ１１２において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１３において、動き予測・補償部１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
ステップＳ１１４において、選択部１１６は、イントラ予測部１１４および動き予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測・補償部１１５により生成された予測画像のいずれか一方を選択する。
また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１０６に供給する。
最適インター予測モードの予測画像が選択された場合、動き予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報やフラグ情報、参照フレーム情報などがあげられる。
ステップＳ１１５において、可逆符号化部１０６は、ステップＳ１０６の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
なお、可逆符号化部１０６は、ステップＳ１０５において算出された量子化パラメータを符号化し、符号化データに付加する。
また、可逆符号化部１０６は、ステップＳ１１４の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き予測・補償部１１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
ステップＳ１１６において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ１１７においてレート制御部１１７は、ステップＳ１１６の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
ステップＳ１１７の処理が終了すると、符号化処理が終了される。
［量子化パラメータ算出処理の流れ］
次に、図８のフローチャートを参照して、図７のステップＳ１０５において実行される量子化パラメータ算出処理の流れの例を説明する。
量子化パラメータ算出処理が開始されると、ステップＳ１３１において、サブマクロブロックアクティビティバッファ１５１は、レート制御部１１７から供給されるサブマクロブロックアクティビティを取得する。サブマクロブロックアクティビティバッファ１５１は、その取得したサブマクロブロックアクティビティを、例えば１画面分保持する。
ステップＳ１３２において、サブマクロブロック量子化部１２１は、サブマクロブロックアクティビティバッファ１５１から、サブマクロブロックアクティビティを、例えば１画面分取得する。そして、サブマクロブロック量子化部１２１は、取得したサブマクロブロックアクティビティを用いて、サブマクロブロック毎の量子化値を算出する。
ステップＳ１３３において、量子化パラメータ算出部１５２は、ステップＳ１３２において算出されたサブマクロブロック毎の量子化値を用いて、量子化パラメータpic_init_qp_minus26を求める。
ステップＳ１３４において、量子化パラメータ算出部１５２は、ステップＳ１３２において算出されたサブマクロブロック毎の量子化値を用いて、量子化パラメータslice_qp_deltaを求める。
ステップＳ１３５において、量子化パラメータ算出部１５２は、ステップＳ１３２において算出されたサブマクロブロック毎の量子化値を用いて、量子化パラメータmb_qp_deltaを求める。
ステップＳ１３６において、量子化パラメータ算出部１５２は、ステップＳ１３２において算出されたサブマクロブロック毎の量子化値を用いて、量子化パラメータsubmb_qp_deltaを求める。
以上のように各種量子化パラメータを求めると、量子化部１０５は、量子化パラメータ算出処理を終了し、処理を図７のステップＳ１０５に戻し、ステップＳ１０６以降の処理を実行させる。
以上のように符号化処理や量子化パラメータ算出処理を行うので、画像符号化装置１００は、サブマクロブロック毎に量子化値を設定することができ、より適切な量子化処理を行うことができる。
また、このように算出された量子化パラメータを画像復号装置に伝送するので、画像符号化装置１００は、その画像復号装置がサブマクロブロック毎に量子化値を求め、それを用いて逆量子化を行うようにすることができる。
＜２．第２の実施の形態＞
［画像復号装置］
図９は、本技術を適用した画像復号装置の主な構成例を示すブロック図である。図９に示される画像復号装置２００は、画像符号化装置１００に対応する復号装置である。
画像符号化装置１００より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に伝送され、復号されるものとする。
図９に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。
さらに、画像復号装置２００は、サブマクロブロック逆量子化部２２１を有する。
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部１０６の符号化方式に対応する方式で復号する。
逆量子化部２０３は、サブマクロブロック逆量子化部２２１と連携して動作し、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、画像符号化装置１００から供給された、サブマクロブロック毎に算出された量子化パラメータを用いて、図１の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。
逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。
逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。
演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。
デブロックフィルタ２０６は、供給された復号画像のブロック歪を除去した後、画面並べ替えバッファ２０７に供給する。
画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
デブロックフィルタ２０６の出力は、さらに、フレームメモリ２０９に供給される。
フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３は、画像符号化装置１００のフレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、および選択部１１６にそれぞれ対応する。
選択部２１０は、インター処理される画像と参照される画像をフレームメモリ２０９から読み出し、動き予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をフレームメモリ２０９から読み出し、イントラ予測部２１１に供給する。
イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
動き予測・補償部２１２は、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部２０２から取得する。
動き予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
選択部２１３は、動き予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。
サブマクロブロック逆量子化部２２１は、逆量子化部２０３から、量子化パラメータを取得し、式（１０）を用いて、サブマクロブロック毎の量子化値を求め、それを逆量子化部２０３に返す。
［逆量子化部］
図１０は、逆量子化部２０３の詳細な構成例を説明するブロック図である。
図１０に示されるように、逆量子化部２０３は、量子化パラメータバッファ２５１、直交変換係数バッファ２５２、および逆量子化処理部２５３を有する。
画像符号化装置１００から供給された符号化データのピクチャパラメータセットや、スライスヘッダといった、それぞれのレイヤにおける、量子化に関するパラメータは、可逆復号部２０２において復号され、量子化パラメータバッファ２５１に供給される。量子化パラメータバッファ２５１は、その量子化パラメータを適宜保持し、所定のタイミングでサブマクロブロック逆量子化部２２１に供給する。
サブマクロブロック逆量子化部２２１は、量子化パラメータバッファ２５１から供給される量子化パラメータを用いて、例えば、式（５）乃至式（１０）のようにして、各サブマクロブロックについて量子化パラメータSubMB_QPを算出し、それをサブマクロブロック毎の量子化値に変換し、それを逆量子化処理部２５３に供給する。
なお、第１の実施の形態において上述したように、submb_qp_deltaの値が「０」の場合、submb_qp_deltaは伝送されない。サブマクロブロック逆量子化部２２１は、量子化パラメータバッファ２５１から供給される量子化パラメータにsubmb_qp_deltaが存在しない場合、マクロブロック毎の量子化パラメータMB_QPの値を、サブマクロブロック毎の量子化パラメータSubMB_QPに適用する。
また、可逆復号部２０２において、画像符号化装置１００から供給された符号化データが復号されて得られた、量子化された直交変換係数は、直交変換係数バッファ２５２に供給される。直交変換係数バッファ２５２は、その量子化された直交変換係数を適宜保持し、所定のタイミングで逆量子化処理部２５３に供給する。
逆量子化処理部２５３は、サブマクロブロック逆量子化部２２１から供給されるサブマクロブロック毎の量子化値を用いて、直交変換係数バッファ２５２から供給される、量子化された直交変換係数を逆量子化する。逆量子化処理部２５３は、逆量子化により得られた直交変換係数を逆直交変換部２０４に供給する。
以上のように、逆量子化部２０３は、サブマクロブロック毎に算出された量子化値を用いて逆量子化処理を行うことができる。これにより、画像復号装置２００は、画像の内容により適した逆量子化処理を行うことができる。特に、マクロブロックサイズが拡張され、単一のマクロブロック内に、フラットなエリアとテクスチャを含むエリアの両方を含んでいる場合でも、画像復号装置２００は、それぞれのエリアに適した適応逆量子化処理を行い、復号画像の主観画質の劣化を抑制させることができる。
なお、図１に示される画像符号化装置１００の逆量子化部１０８も、この逆量子化部２０３と同様の構成を有し、同様の処理を行う。ただし、逆量子化部１０８は、量子化部１０５から供給される量子化パラメータと、量子化された直交変換係数を取得し、逆量子化を行う。
また、逆量子化部１０８は、サブマクロブロック逆量子化部２２１と同様の処理を行うサブマクロブロック逆量子化部１２２に、量子化パラメータを提供し、サブマクロブロック毎の量子化値を生成させる。
［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１１のフローチャートを参照して、復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データを復号する。すなわち、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、フラグや量子化パラメータ等の情報も復号される。
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き予測・補償部２１２に供給される。
ステップＳ２０３において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を逆量子化する。ステップＳ２０４において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図１の直交変換部１０４に対応する方法で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
ステップＳ２０５において、演算部２０５は、ステップＳ２０４の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。
ステップＳ２０６において、デブロックフィルタ２０６は、ステップＳ２０５の処理により得られた復号画像を適宜フィルタリングする。これにより適宜復号画像からブロック歪みが除去される。
ステップＳ２０７において、フレームメモリ２０９は、フィルタリングされた復号画像を記憶する。
ステップＳ２０８において、イントラ予測部２１１、または動き予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部２０２からインター予測モード情報が供給された場合、動き予測・補償部２１２は、インター予測モードの動き予測処理を行う。
ステップＳ２０９において、選択部２１３は予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０５の処理により差分情報に加算される。
ステップＳ２１０において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図１）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ２１１において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。
［逆量子化処理］
次に、図１２のフローチャートを参照して、逆量子化処理の流れの例を説明する。
逆量子化処理が開始されると、量子化パラメータバッファ２５１は、ステップＳ２３１において、可逆復号部２０２から供給される量子化パラメータpic_init_qp_minus26を取得する。
ステップＳ２３２において、量子化パラメータバッファ２５１は、可逆復号部２０２から供給される量子化パラメータslice_qp_deltaを取得する。
ステップＳ２３３において、量子化パラメータバッファ２５１は、可逆復号部２０２から供給される量子化パラメータmb_qp_deltaを取得する。
ステップＳ２３４において、量子化パラメータバッファ２５１は、可逆復号部２０２から供給される量子化パラメータsubmb_qp_deltaを取得する。ただし、submb_qp_deltaが存在しない場合、ステップＳ２３４の処理は省略される。
ステップＳ２３５において、サブマクロブロック逆量子化部２２１は、ステップＳ２３１乃至ステップＳ２３４の処理により取得された各種量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出する。ただし、画像符号化装置１００からsubmb_qp_deltaが供給されず、ステップＳ２３４の処理が省略された場合、サブマクロブロック逆量子化部２２１は、マクロブロック毎の量子化値を、サブマクロブロック毎の量子化値に適用する。
ステップＳ２３６において、逆量子化処理部２５３は、直交変換係数バッファ２５２に保持される、量子化された直交変換係数を、ステップＳ２３５の処理により算出されたサブマクロブロック毎の量子化値を用いて逆量子化する。
ステップＳ２３６の処理が終了すると、逆量子化部２０３は、処理をステップＳ２０３に戻し、ステップＳ２０４以降の処理を実行させる。
以上のように、復号処理および逆量子化処理を行うことにより、画像復号装置２００は、サブマクロブロック毎に算出された量子化値を用いて逆量子化処理を行うことができ、画像の内容により適した逆量子化処理を行うことができる。
＜３．第３の実施の形態＞
［submb_qp_present_flag］
以上においては、量子化パラメータとしてsubmb_qp_deltaを適宜伝送するように説明したが、さらに、submb_qp_deltaの存在の有無をマクロブロック毎に通知するフラグを伝送するようにしてもよい。
その場合、画像符号化装置１００の構成は、図１に示される構成例と同様である。また、量子化部１０５の構成も図５に示される構成例と同様である。ただし、量子化パラメータ算出部１５２は、さらに、マクロブロック毎に、値が「０」でないsubmb_qp_deltaが存在するか否かを示すフラグ情報であるsubmb_qp_present_flagを算出する。当該マクロブロックに属するサブマクロブロックのsubmb_qp_deltaが１つでも「０」でない値を有する場合、submb_qp_present_flagが例えば「１」にセットされる。また、当該マクロブロックに属する全てのサブマクロブロックのsubmb_qp_deltaが「０」の場合、submb_qp_present_flagが例えば「０」にセットされる。
もちろん、submb_qp_present_flagの値は任意であり、submb_qp_deltaが１つでも「０」でない値を有する場合と、全てのサブマクロブロックのsubmb_qp_deltaが「０」の場合とを識別することができれば、どのような値であってもよい。
量子化パラメータ算出部１５２は、このように値を設定すると、submb_qp_present_flagを量子化パラメータの１つとして、可逆符号化部１０６に供給する。可逆符号化部１０６は、このsubmb_qp_present_flagを、例えばマクロブロックヘッダに付加し、符号化する。つまり、submb_qp_present_flagは、他の量子化パラメータと同様に、符号化データとともに伝送される。
したがって、この場合の符号化処理は、図７のフローチャートを参照して上述したのと同様に行われる。また、この場合の、量子化パラメータ算出処理の流れの例を図１３のフローチャートを参照して説明する。量子化パラメータ算出処理は、この場合も、図８のフローチャートを参照して説明した場合と基本的に同様に行われる。
つまり、ステップＳ３３１乃至ステップＳ３３６の各処理は、図８のステップＳ１３１乃至ステップＳ１３６の各処理と同様に行われる。ただし、この場合、量子化パラメータ算出部１５２は、ステップＳ３３７において、量子化パラメータsubmb_qp_present_flagをさらに算出する。
以上のようにして、量子化パラメータsubmb_qp_present_flagが算出され、伝送される。
つまり、データの各マクロブロックヘッダには、submb_qp_present_flagが存在する。そして、そのsubmb_qp_present_flagの値が「１」のマクロブロックのサブマクロブロックヘッダには、submb_qp_deltaが存在し、submb_qp_present_flagの値が「０」のマクロブロックのサブマクロブロックヘッダには、submb_qp_deltaが存在しない。
このような符号化データが、画像符号化装置１００から画像復号装置２００に伝送される。
この場合の画像復号装置２００の構成は、図９に示される構成例と同様である。また、逆量子化部２０３の構成も図１０に示される構成例と同様である。ただし、サブマクロブロック逆量子化部２２１は、submb_qp_present_flagが「０」にセットされたマクロブロックについては、submb_qp_deltaの供給を待たずに、マクロブロック毎の量子化値を算出し、それをサブマクロブロック毎の量子化値に適用する。
換言すれば、サブマクロブロック逆量子化部２２１は、submb_qp_present_flagが「１」の場合のみ、submb_qp_deltaを取得し、サブマクロブロック毎の量子化値の算出を行う。
この場合の復号処理は、図１１のフローチャートを参照して上述したのと同様に行われる。また、この場合の、逆量子化処理の流れの例を図１４のフローチャートを参照して説明する。逆量子化処理は、この場合も、図１２のフローチャートを参照して説明した場合と基本的に同様に行われる。
つまり、ステップＳ４３１乃至ステップＳ４３３の各処理は、図１２のステップＳ２３１乃至ステップＳ２３３の各処理と同様に行われる。ただし、この場合、量子化パラメータバッファ２５１は、ステップＳ４３４において、マクロブロックヘッダに格納される量子化パラメータsubmb_qp_present_flagを取得する。
ステップＳ４３５において、サブマクロブロック逆量子化部２２１は、量子化パラメータsubmb_qp_present_flagの値が「１」であるか否かを判定する。量子化パラメータsubmb_qp_present_flagの値が「１」である場合、量子化パラメータバッファ２５１は、ステップＳ４３６において、量子化パラメータsubmb_qp_deltaを取得する。ステップＳ４３７において、サブマクロブロック逆量子化部２２１は、サブマクロブロック毎の量子化値を算出する。つまり、図１２のステップＳ２３４およびステップＳ２３５と同様の処理が行われる。
また、ステップＳ４３５において、量子化パラメータsubmb_qp_present_flagの値が「０」であると判定された場合、サブマクロブロック逆量子化部２２１は、ステップＳ４３８において、マクロブロック毎の量子化値を算出し、それをサブマクロブロック毎の量子化値として適用する。
以上のように量子化値が算出されると、逆量子化処理部２５３は、ステップＳ４３９において、その量子化値を用いて逆量子化を行う。
以上のように、量子化パラメータsubmb_qp_deltaの存在の有無をマクロブロック毎に示すsubmb_qp_present_flagを伝送し、逆量子化時に利用するようにすることにより、画像復号装置２００は、量子化パラメータsubmb_qp_deltaの存在の有無をより容易に把握することができ、存在しないsubmb_qp_deltaを検索する等の不要な処理を必要とせずに、より容易に量子化値を算出することができる。
以上、第１の実施の形態乃至第３の実施の形態において、AVCに準ずる方式による符号化を行う画像符号化装置、並びに、AVCに準ずる方式による復号を行う画像復号装置を例にして説明してきたが、本技術の適用範囲はこれに限らず、図４に示されるような、階層構造によるブロックに基づく符号化処理を行うあらゆる画像符号化装置並びに画像復号装置に適用することが可能である。
また、以上に説明した各種量子化パラメータは、例えば、符号化データの任意の位置に付加されるようにしてもよいし、符号化データとは別に復号側に伝送されるようにしてもよい。例えば、可逆符号化部１０６が、これらの情報を、ビットストリームにシンタックスとして記述するようにしてもよい。また、可逆符号化部１０６が、これらの情報を、補助情報として所定の領域に格納して伝送するようにしてもよい。例えば、これらの情報が、SEI（Suplemental Enhancement Information）等のパラメータセット（例えばシーケンスやピクチャのヘッダ等）に格納されるようにしてもよい。
また、可逆符号化部１０６が、これらの情報を、符号化データとは別に（別のファイルとして）、画像符号化装置から画像復号装置に伝送させるようにしてもよい。その場合、これらの情報と符号化データとの対応関係を明確にする（復号側で把握することができるようにする）必要があるが、その方法は任意である。例えば、別途、対応関係を示すテーブル情報を作成してもよいし、対応先のデータを示すリンク情報を互いのデータに埋め込むなどしてもよい。
なお、上述したサブマクロブロック毎の量子化値を用いた量子化（サブマクロブロック毎の量子化パラメータの算出）は、３２×３２以上の拡張マクロブロックに対してのみ行うようにしてもよい。
例えば、レート制御部１１７は、処理対象マクロブロックが拡張マクロブロックの場合のみ、サブマクロブロック毎にアクティビティを算出し、処理対象マクロブロックがAVC等の既存の符号化規格に規定される従来の１６×１６以下のマクロブロックの場合、マクロブロック毎にアクティビティを算出する。
サブマクロブロック量子化部１２１は、例えば、拡張マクロブロックに対してのみ、サブマクロブロック毎の量子化値を算出し、従来の１６×１６以下のマクロブロックに対しては、マクロブロック毎の量子化値を算出する。
量子化パラメータ算出部１５２は、例えば、拡張マクロブロックに対してのみ、量子化パラメータSubmb_qp_deltaを算出し、従来の１６×１６以下のマクロブロックに対しては、量子化パラメータsubmb_qp_deltaを算出しない。
量子化処理部１５３は、例えば、拡張マクロブロックに対してのみ、サブマクロブロック毎の量子化値を用いて量子化を行い、従来の１６×１６以下のマクロブロックに対しては、マクロブロック毎の量子化値を用いて量子化を行う。
以上のようにすることにより、画像符号化装置１００は、復号画像の主観画質の劣化の抑制効果を十分に期待することができる、大きな領域の拡張マクロブロックに対してのみサブマクロブロック毎の量子化値を用いた量子化を行い、効果の期待が比較的小さな、従来の大きさのマクロブロックに対しては、マクロブロック毎の量子化値を用いた量子化を行うことができる。これにより、画像符号化装置１００は、サブマクロブロック毎の量子化値を用いた量子化を行うことによる負荷の増大を抑制することができる。
もちろん、この場合、画像復号装置２００は、画像符号化装置１００と同様に、拡張マクロブロックに対してのみ、サブマクロブロック毎の量子化値を用いた逆量子化を行うようにしてもよい。
例えば、サブマクロブロック逆量子化部２２１は、拡張マクロブロックに対してのみ、サブマクロブロック毎に量子化値を算出し、従来の１６×１６以下のマクロブロックに対しては、マクロブロック毎の量子化値を算出する。
従って、逆量子化処理部２５３は、例えば、拡張マクロブロックに対してのみ、サブマクロブロック毎の量子化値を用いて逆量子化を行い、従来の１６×１６以下のマクロブロックに対しては、マクロブロック毎の量子化値を用いて逆量子化を行う。
このようにすることにより、画像復号装置２００は、復号画像の主観画質の劣化の抑制効果を十分に期待することができる、大きな領域の拡張マクロブロックに対してのみサブマクロブロック毎の量子化値を用いた逆量子化を行い、効果の期待が比較的小さな、従来の大きさのマクロブロックに対しては、マクロブロック毎の量子化値を用いた逆量子化を行うことができる。これにより、画像復号装置２００は、サブマクロブロック毎の量子化値を用いた逆量子化を行うことによる負荷の増大を抑制することができる。
なお、第３の実施の形態のように、submb_qp_present_flagを伝送させる場合、拡張マクロブロックについてのみ、この量子化パラメータsubmb_qp_present_flagを伝送させるようにすればよい。換言すれば、従来の大きさのマクロブロックについては、この量子化パラメータsubmb_qp_present_flagの伝送を省略することができる。もちろん、従来の大きさのマクロブロックに対して、値が「０」以外の量子化パラメータsubmb_qp_deltaが存在しないことを示す値の量子化パラメータsubmb_qp_present_flagを伝送させるようにしてもよい。
＜４．第４の実施の形態＞
［概要］
以上においては、量子化パラメータをサブマクロブロック単位で指定するように説明したが、サブマクロブロックに対する量子化パラメータの割り当て方は、上述した以外であってもよい。例えば、サブマクロブロック毎の量子化パラメータsubmb_qp_deltaと、その直前に符号化されたサブマクロブロックの量子化パラメータprevious_qpとを用いて、各サブマクロブロックに割り当てる量子化パラメータSubMB_QPを以下の式（１１）のように定義するようにしてもよい。
SubMB_QP = Clip（0,51,previous_qp + submb_qp_delta） ・・・（１１）
［コーディングユニット］
このような方法について、以下に説明するが、以下においては、上述したマクロブロックやサブマクロブロックの代わりにコーディングユニット（Coding Unit）という単位を用いて説明する。
例えば、"Test Model Under Consideration"（JCTVC-B205）においては、図４を参照して説明した拡張マクロブロックが、コーディングユニット（Coding Unit）という概念によって定義されている。
コーディングユニットは、画像データの符号化処理等の処理単位となる、画像（１ピクチャ）の分割単位である。つまり、コーディングユニットは、画像（１ピクチャ）が複数に分割されたブロック（部分領域）である。すなわち、コーディングユニットは、上述したマクロブロックやサブマクロブロックに相当する。
図１５は、コーディングユニットの構成例を示す図である。図１５に示されるように、コーディングユニットは、その領域をさらに複数に分割し、各領域を１階層下のコーディングユニットとすることができる。つまり、コーディングユニットは、階層状に構成されるようにする（木構造に構成される）ことができる。付言するに、コーディングユニットのサイズは任意であり、１つのピクチャ内に互いに異なるサイズのコーディングユニットが存在することもできる。
図１５の例においては、最上位層（Depth=0）のコーディングユニットのサイズが１２８画素×１２８画素とされ、それを縦横に２等分ずつ（４分割）した６４画素×６４画素の領域が１階層下（Depth=1）のコーディングユニットとされ、以下同様にコーディングユニットの階層化が繰り返され、８画素×８画素の領域が最下位層（Depth=4）のコーディングユニットとされている。
このとき、最上位層のコーディングユニットをLCU（Largest Coding Unit）と称し、最下位層のコーディングユニットをSCU（Smallest Coding Unit）と称する。つまり、LCUは、マクロブロックに相当し、それより下位層のコーディングユニットは、サブマクロブロックに相当する。
なお、各階層のコーディングユニットのサイズや形状、並びに階層数は任意である。つまり、画像（１ピクチャ）内において、LCUやSCUのサイズや形状が全て揃っている必要はなく、画像内の位置によってコーディングユニットの階層数が異なっていてもよいし、領域の分割の仕方も任意である。つまり、コーディングユニットの木構造は、任意の構造とすることができる。
もちろん、例えば、領域の分割の仕方は共通で、階層数のみ異なることができるようにする等、コーディングユニットの階層構造の自由度を一部制限するようにしてもよい。例えば、図１５に示されるように、どの位置においても、１領域（１ピクチャ若しくは１コーディングユニット）が縦横に２等分（すなわち４分割）されるようにし、各位置のLCUとSCUの大きさを定義することにより、コーディングユニットの階層構造を定義するようにしてもよい。
LCUおよびSCUの大きさは、例えば、画像圧縮情報中、シーケンスパラメータセットにおいて指定されるようにすることができる。もちろん、その他のメタデータ等において指定されるようにしてもよい。
［量子化パラメータの割り当て］
本実施の形態においては、マクロブロックやサブマクロブロックの代わりに、各コーディングユニットに量子化パラメータsubmb_qp_deltaが割り当てられる。ただし、この場合、量子化パラメータsubmb_qp_deltaは、マクロブロック毎の量子化パラメータMB_QPとサブマクロブロック毎の量子化パラメータSubMB_QPとの差分値ではなく、直前に符号化されたコーディングユニットの量子化パラメータprevious_qpと、現在の処理対象のコーディングユニットの量子化パラメータSubMB_QPとの差分値である。
換言するに、各コーディングユニットには、直前の符号化に用いられた量子化パラメータprevious_qpと、現在の処理対象のコーディングユニットの量子化パラメータSubMB_QPとの差分値を示す量子化パラメータsubmb_qp_deltaが割り当てられる。つまり、上述した式（１１）を満たす量子化パラメータsubmb_qp_deltaが各コーディングユニットに割り当てられる。
なお、画像内の全領域を量子化することができればよいので、実際には、例えばSCUのみ等のように、一部のコーディングユニットに対して量子化パラメータsubmb_qp_deltaが割り当てられる。
上述した他の実施の形態と同様に、現在処理対象のコーディングユニットの量子化パラメータSubMB_QPは、そのコーディングユニットのアクティビティより求めた量子化値を変換して得ることができる。したがって、コーディングユニット毎の量子化パラメータsubmb_qp_deltaは、式（１１）を用いて算出することができる。
図１６に１LCU内のコーディングユニットの構成例と、各コーディングユニットに割り当てられる量子化パラメータの例を示す。図１６に示されるように、各コーディングユニット（CU）には、直前の符号化に用いられた量子化パラメータprevious_qpと、現在処理対象のコーディングユニットの量子化パラメータSubMB_QPとの差分値ΔQPが量子化パラメータとして割り当てられている。
より具体的には、このLCU内の左上のコーディングユニット０（Coding Unit 0）に量子化パラメータΔQP０が割り当てられている。また、このLCU内の右上の４つのコーディングユニットの内の、左上のコーディングユニット１０（Coding Unit 10）に量子化パラメータΔQP１０が割り当てられている。さらに、このLCU内の右上の４つのコーディングユニットの内の、右上のコーディングユニット１１（Coding Unit 11）に量子化パラメータΔQP１１が割り当てられている。また、このLCU内の右上の４つのコーディングユニットの内の、左下のコーディングユニット１２（Coding Unit 12）に量子化パラメータΔQP１２が割り当てられている。さらに、このLCU内の右上の４つのコーディングユニットの内の、右下のコーディングユニット１３（Coding Unit 13）に量子化パラメータΔQP１３が割り当てられている。
このLCU内の左下の４つのコーディングユニットの内の、左上のコーディングユニット２０（Coding Unit 20）に量子化パラメータΔQP２０が割り当てられている。さらに、このLCU内の左下の４つのコーディングユニットの内の、右上のコーディングユニット２１（Coding Unit 21）に量子化パラメータΔQP２１が割り当てられている。また、このLCU内の左下の４つのコーディングユニットの内の、左下のコーディングユニット２２（Coding Unit 22）に量子化パラメータΔQP２２が割り当てられている。さらに、このLCU内の左下の４つのコーディングユニットの内の、右下のコーディングユニット２３（Coding Unit 23）に量子化パラメータΔQP２３が割り当てられている。そして、このLCU内の右下のコーディングユニット３（Coding Unit 3）に量子化パラメータΔQP３が割り当てられている。
このLCUの直前に処理されたコーディングユニットの量子化パラメータをPrevQPとする。さらに、このLCU内の左上のコーディングユニット０（Coding Unit 0）が、このLCU内において最初に処理されるコーディングユニットであり、現在の処理対象であるとする。
現在の処理対象のコーディングユニットの量子化パラメータCurrentQPは、以下の式（１２）のように算出される。
CurrentQP＝PrevQP＋ΔQP０ ・・・・（１２）
このコーディングユニット０の次に処理されるコーディングユニットが、図１６に示されるLCU内の右上の４つのコーディングユニットの内の左上のコーディングユニット１０（Coding Unit 10）であるとする。
このコーディングユニット１０が処理対象となると、現在の処理対象のコーディングユニットの量子化パラメータCurrentQPは、以下の式（１３）および式（１４）のように算出される。
PrevQP＝CurrentQP ・・・（１３）
CurrentQP＝PrevQP＋ΔQP１０ ・・・・（１４）
このように、各コーディングユニットに割り当てる量子化パラメータを、直前に符号化されたコーディングユニットの量子化パラメータと現在の処理対象の量子化パラメータとの差分値とすることにより、マクロブロック毎の量子化パラメータを算出する必要がなくなるので、より容易に量子化処理を行うことができる。
なお、符号化済みのコーディングユニットの量子化パラメータと現在の処理対象の量子化パラメータとの差分値を算出する場合、現在の処理対象のコーディングユニットよも前に符号化されたコーディングユニット(LCU内において直前に符号化されたコーディングユニットよりも前に符号化されたコーディングユニット)との差分値を算出することも可能である。ただし、直前に符号化されたコーディングユニットの量子化パラメータと現在の処理対象の量子化パラメータとの差分値をとれば好適である。
つまり、直前に符号化されたコーディングユニットの量子化パラメータと現在の処理対象の量子化パラメータとの差分値を算出する際には、直前に符号化されたコーディングユニットの量子化パラメータのみをメモリに保存しておけばよく、FIFO(First In First Out：先入れ先出し)形式で量子化パラメータを管理すればよい。したがって、量子化パラメータの差分値を算出する際には、量子化パラメータの管理が容易になり、使用するメモリ量も少なくなるので、実装面においてメリットがある。
なお、このようなコーディングユニット毎の量子化パラメータcu_qp_deltaは、例えば図１７に示されるように、コーディングユニットのシンタクスにおいて定義され、復号側に伝送される。つまり、このコーディングユニット毎の量子化パラメータcu_qp_deltaは、上述した量子化パラメータsub_qp_deltaに相当する。
［画像符号化装置］
図１８は、本技術を適用した画像符号化装置の主な構成例を示すブロック図である。図１８に示される画像符号化装置３００は、上述したように、コーディングユニット毎に量子化パラメータcu_qp_deltaの割り当てを行う。
図１８に示されるように、画像符号化装置３００は、基本的に、図１の画像符号化装置１００と同様の構成を有する。ただし、画像符号化装置３００は、画像符号化装置１００の量子化部１０５、レート制御部１１７、およびサブマクロブロック量子化部１２１の代わりに、コーディングユニット量子化部３０５およびレート制御部３１７を有する。また、画像符号化装置３００は、画像符号化装置１００の逆量子化部１０８およびサブマクロブロック逆量子化部１２２の代わりに、コーディングユニット逆量子化部３０８を有する。
レート制御部３１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、コーディングユニット量子化部３０５の量子化動作のレートを制御する。さらに、レート制御部３１７は、コーディングユニット毎に画像の複雑さを示す情報をコーディングユニット量子化部３０５に提供する。コーディングユニット量子化部３０５は、そのアクティビティを用いてコーディングユニット毎に量子化を行う。また、コーディングユニット量子化部３０５は、コーディングユニット毎に量子化パラメータを算出する。コーディングユニット量子化部３０５は、コーディングユニット毎に量子化された直交変換係数（係数データ）と、算出したコーディングユニット毎の量子化パラメータを、可逆符号化部１０６に供給し、符号化して伝送させる。さらに、コーディングユニット量子化部３０５は、コーディングユニット毎に量子化した直交変換係数（係数データ）と、算出したコーディングユニット毎の量子化パラメータを、コーディングユニット逆量子化部３０８にも提供する。
コーディングユニット逆量子化部３０８は、コーディングユニット量子化部３０５から供給された、コーディングユニット毎の量子化パラメータを用いて、コーディングユニット毎に逆量子化を行う。コーディングユニット逆量子化部３０８は、コーディングユニット毎に逆量子化した直交変換係数（係数データ）を逆直交変換部１０９に供給する。コーディングユニット逆量子化部３０８の詳細については、画像復号装置の説明において後述する。
［量子化に関する詳細な構成］
図１９は、レート制御部３１７およびコーディングユニット量子化部３０５の詳細な構成例を示すブロック図である。
図１９に示されるように、レート制御部３１７は、アクティビティ算出部３２１およびアクティビティバッファ３２２を有する。
アクティビティ算出部３２１は、画面並べ替えバッファ１０２から符号化処理対象の画像（処理対象のコーディングユニット）を取得し、その画像の複雑さを示す情報として、画素値の分散を示す情報であるアクティビティを算出する。つまり、アクティビティ算出部３２１は、コーディングユニット毎にアクティビティを算出する。なお、量子化処理が画像全体について行われるようにすればよいので、アクティビティの算出は、例えば、SCUのみ等のように、一部のコーディングユニットについてのみ行うようにしてもよい。
アクティビティバッファ３２２は、アクティビティ算出部３２１により算出されたコーディングユニット毎のアクティビティを保持し、所定のタイミングでそれを量子化部１０５に提供する。アクティビティバッファ３２２は、取得したコーディングユニット毎のアクティビティを、例えば１画面分保持する。
アクティビティの算出方法は、任意であり、例えば、上述したMPEG２ TestModelと同様の方法であってもよい。また、画像の複雑さを示す情報の内容も任意であり、このようなアクティビティ以外の情報であってもよい。
コーディングユニット量子化部３０５は、コーディングユニット量子化値算出部３３１、ピクチャ量子化パラメータ算出部３３２、スライス量子化パラメータ算出部３３３、コーディングユニット量子化パラメータ算出部３３４、およびコーディングユニット量子化部３３５を有する。
コーディングユニット量子化値算出部３３１は、レート制御部３１７から供給されるコーディングユニット毎のアクティビティ（コーディングユニット毎の画像の複雑さを示す情報）に基づいて、コーディングユニット毎の量子化値を算出する。このコーディングユニット毎の量子化値は、LCU毎のアクティビティからLCU毎の量子化値を算出する場合と同様の方法により算出することができる。なお、量子化処理が画像全体について行われるようにすればよいので、コーディングユニット毎の量子化値の算出は、一部のコーディングユニットについてのみ行うようにしてもよい。以下においては、一例として、SCUについてのみコーディングユニット毎の量子化値が算出されるものとする。
各コーディングユニットについて量子化値を求めると、コーディングユニット量子化値算出部３３１は、そのコーディングユニット毎の量子化値を、ピクチャ量子化パラメータ算出部３３２に供給する。
ピクチャ量子化パラメータ算出部３３２は、コーディングユニット毎の量子化値を用いて、ピクチャ毎の量子化パラメータpic_init_qp_minus26を求める。
スライス量子化パラメータ算出部３３３は、コーディングユニット毎の量子化値を用いて、スライス毎の量子化パラメータslice_qp_deltaを求める。
コーディングユニット量子化パラメータ算出部３３４は、直前の符号化に用いられた量子化パラメータprevQPを用いて、コーディングユニット毎の量子化パラメータcu_qp_deltaを求める。
ピクチャ量子化パラメータ算出部３３２乃至コーディングユニット量子化パラメータ算出部３３４が生成した量子化パラメータは、可逆符号化部１０６に供給され、符号化され、復号側に伝送されるとともに、コーディングユニット逆量子化部３０８にも供給される。
コーディングユニット量子化部３３５は、コーディングユニット毎の量子化値を用いて、処理対象のコーディングユニットの直交変換係数を量子化する。
コーディングユニット量子化部３３５は、コーディングユニット毎に量子化した直交変換係数を、可逆符号化部１０６及びコーディングユニット逆量子化部３０８に供給する。
［符号化処理の流れ］
画像符号化装置３００は、図６を参照して説明した、図１の画像符号化装置１００の場合と基本的に同様に符号化処理を行う。
［量子化パラメータ算出処理の流れ］
図２０のフローチャートを参照して、その符号化処理において実行される量子化パラメータ算出処理の流れの例を説明する。
量子化パラメータ算出処理が開始されると、ステップＳ５３１において、コーディングユニット量子化値算出部３３１は、レート制御部３１７から供給されるコーディングユニット毎のアクティビティを取得する。
ステップＳ５３２において、コーディングユニット量子化値算出部３３１は、コーディングユニット毎のアクティビティを用いて、コーディングユニット毎の量子化値を算出する。
ステップＳ５３３において、ピクチャ量子化パラメータ算出部３３２は、ステップＳ５３２において算出されたコーディングユニット毎の量子化値を用いて、量子化パラメータpic_init_qp_minus26を求める。
ステップＳ５３４において、スライス量子化パラメータ算出部３３３は、ステップＳ５３２において算出されたコーディングユニット毎の量子化値を用いて、量子化パラメータslice_qp_deltaを求める。
ステップＳ５３５において、コーディングユニット量子化パラメータ算出部３３４は、直前の符号化に用いられた量子化パラメータprevQPを用いて、コーディングユニット毎の量子化パラメータcu_qp_delta（図１６のΔQP０乃至ΔQP２３等）を求める。
以上のように各種量子化パラメータを求めると、コーディングユニット量子化部３０５は、量子化パラメータ算出処理を終了し、符号化処理の続きの処理を行う。
以上のように符号化処理や量子化パラメータ算出処理を行うので、画像符号化装置３００は、コーディングユニット毎に量子化値を設定することができ、画像の内容に応じて、より適切な量子化処理を行うことができる。
また、このように算出された量子化パラメータを画像復号装置に伝送するので、画像符号化装置３００は、その画像復号装置がコーディングユニット毎に逆量子化を行うようにすることができる。
なお、画像符号化装置３００が有するコーディングユニット逆量子化部３０８は、画像符号化装置３００に対応する画像復号装置が有するコーディングユニット逆量子化部と同様の処理を行う。つまり、画像符号化装置３００も、コーディングユニット毎に逆量子化を行うことができる。
［画像復号装置］
図２１は、本技術を適用した画像復号装置の主な構成例を示すブロック図である。図２１に示される画像復号装置４００は、上述した画像符号化装置３００に対応し、画像符号化装置３００が画像データを符号化して生成したコードストリーム（符号化データ）を正しく復号し、復号画像を生成する。
図２１に示されるように、画像復号装置４００は、基本的に図８の画像復号装置２００と同様の構成を有し、同様の処理を行う。ただし、画像復号装置４００は、画像復号装置２００の逆量子化部２０３およびサブマクロブロック逆量子化部２２１の代わりに、コーディングユニット逆量子化部４０３を有する。
コーディングユニット逆量子化部４０３は、画像符号化装置３００においてコーディングユニット毎に量子化された直交変換係数を、その画像符号化装置３００から供給されるコーディングユニット毎の量子化パラメータ等を用いて逆量子化する。
図２２は、コーディングユニット逆量子化部４０３の主な構成例を示すブロック図である。図２２に示されるように、コーディングユニット逆量子化部４０３は、量子化パラメータバッファ４１１、直交変換係数バッファ４１２、コーディングユニット量子化値算出部４１３、およびコーディングユニット逆量子化処理部４１４を有する。
画像符号化装置３００から供給された符号化データのピクチャパラメータセットや、スライスヘッダといった、それぞれのレイヤにおける、量子化パラメータは、可逆復号部２０２において復号され、量子化パラメータバッファ４１１に供給される。量子化パラメータバッファ４１１は、その量子化パラメータを適宜保持し、所定のタイミングでコーディングユニット量子化値算出部４１３に供給する。
コーディングユニット量子化値算出部４１３は、量子化パラメータバッファ４１１から供給される量子化パラメータを用いて、例えば、式（１１）乃至式（１４）のようにして、各コーディングユニットについて量子化値を算出し、それをコーディングユニット逆量子化処理部４１４に供給する。
また、可逆復号部２０２において、画像符号化装置３００から供給された符号化データが復号されて得られた、量子化された直交変換係数は、直交変換係数バッファ４１２に供給される。直交変換係数バッファ４１２は、その量子化された直交変換係数を適宜保持し、所定のタイミングでコーディングユニット逆量子化処理部４１４に供給する。
コーディングユニット逆量子化処理部４１４は、コーディングユニット量子化値算出部４１３から供給されるコーディングユニット毎の量子化値を用いて、直交変換係数バッファ４１２から供給される、量子化された直交変換係数を逆量子化する。コーディングユニット逆量子化処理部４１４は、逆量子化により得られた直交変換係数を逆直交変換部２０４に供給する。
以上のように、コーディングユニット逆量子化部４０３は、コーディングユニット毎に算出された量子化値を用いて逆量子化処理を行うことができる。これにより、画像復号装置４００は、画像の内容により適した逆量子化処理を行うことができる。特に、マクロブロックサイズが拡張され（LCUのサイズが大きく）、単一のLCU内に、フラットなエリアとテクスチャを含むエリアの両方を含んでいる場合でも、画像復号装置４００は、それぞれのエリアに適した適応逆量子化処理を行い、復号画像の主観画質の劣化を抑制させることができる。
なお、図１８に示される画像符号化装置３００のコーディングユニット逆量子化部３０８も、このコーディングユニット逆量子化部４０３と同様の構成を有し、同様の処理を行う。ただし、コーディングユニット逆量子化部３０８は、コーディングユニット量子化部３０５から供給される量子化パラメータと、量子化された直交変換係数を取得し、逆量子化を行う。
［復号処理の流れ］
画像復号装置４００は、図１０のフローチャートを参照して説明した、図８の画像復号装置２００の場合と基本的に同様に復号処理を行う。
［逆量子化処理の流れ］
図２３のフローチャートを参照して、この画像復号装置４００による復号処理において実行される逆量子化処理の流れの例を説明する。
逆量子化処理が開始されると、量子化パラメータバッファ４１１は、ステップＳ６３１において、可逆復号部２０２から供給される量子化パラメータpic_init_qp_minus26を取得する。
ステップＳ６３２において、量子化パラメータバッファ４１１は、可逆復号部２０２から供給される量子化パラメータslice_qp_deltaを取得する。
ステップＳ６３３において、量子化パラメータバッファ４１１は、可逆復号部２０２から供給される量子化パラメータcu_qp_deltaを取得する。
ステップＳ６３４において、コーディングユニット量子化値算出部４１３は、ステップＳ６３１乃至ステップＳ６３３の処理により取得された各種量子化パラメータや、直前に用いられた量子化パラメータPrevQPを用いて、コーディングユニット毎の量子化値を算出する。
ステップＳ６３５において、コーディングユニット逆量子化処理部４１４は、直交変換係数バッファ４１２に保持される、量子化された直交変換係数を、ステップＳ６３４の処理により算出されたコーディングユニット毎の量子化値を用いて逆量子化する。
ステップＳ６３５の処理が終了すると、コーディングユニット逆量子化部４０３は、処理を復号処理に戻し、それ以降の処理を実行させる。
以上のように、復号処理および逆量子化処理を行うことにより、画像復号装置４００は、コーディングユニット毎に算出された量子化値を用いて逆量子化処理を行うことができ、画像の内容により適した逆量子化処理を行うことができる。
以上に説明したように、コーディングユニット（サブマクロブロック）毎の量子化パラメータの符号量を低減させるために、量子化パラメータSubMB_QPそのものを伝送させるのではなく、所定の量子化パラメータと量子化パラメータSubMB_QPとの差分値dQP（量子化パラメータsubmb_qp_delta）を求め、これを伝送させる。以上においては、この量子化パラメータdQPの算出方法として、以下の式（１５）および式（１６）に示される２つの方法について説明した。
dQP = CurrentQP - LCUQP ・・・（１５）
dQP = CurrentQP - PreviousQP ・・・（１６）
式（１５）および式（１６）において、CurrentQPは、処理対象のコーディングユニット（CU）の量子化パラメータである。また、LCUQPは、処理対象のCUが属するLCU（つまり処理対象のLCU）の量子化パラメータである。さらに、PreviousQPは、現在の処理対象のCU直前に処理されたCUの量子化パラメータである。
つまり、式（１５）の場合、処理対象のLCUの量子化パラメータと、処理対象のCUの量子化パラメータとの差分値を伝送させる。また、式（１６）の場合、直前に処理されたCUの量子化パラメータと、現在の処理対象のCUの量子化パラメータとの差分値を伝送させる。
このような伝送用の量子化パラメータdQPの算出方法は、任意であり、上述した２つの例以外であってもよい。
例えば、以下の式（１７）に示されるように、処理対象のCUが属するスライス（つまり処理対象のスライス）の量子化パラメータSliceQPと、処理対象のCUの量子化パラメータとの差分値を伝送させるようにしてもよい。
dQP = CurrentQP - SliceQP ・・・（１７）
量子化パラメータCurrentQPは、例えば、図１９のコーディングユニット量子化パラメータ算出部３３４が、コーディングユニット量子化値算出部３３１が算出した処理対象のCUの量子化値を変換することにより得ることができる。また、量子化パラメータSliceQPは、例えば、図１９のスライス量子化パラメータ算出部３３３が、ピクチャ量子化パラメータ算出部３３２が求めた量子化パラメータpic_init_qp_minus26、および、自身が求めた量子化パラメータslice_qp_deltaを用いて求めることができる。
したがって、例えば、図１９のコーディングユニット量子化パラメータ算出部３３４は、これらの値を用いて量子化パラメータdQPを求めることができる。コーディングユニット量子化パラメータ算出部３３４は、この量子化パラメータdQPを可逆符号化部１０６に供給し、復号側に伝送させる。
量子化パラメータpic_init_qp_minus26や量子化パラメータslice_qp_deltaについては、例えば、"Test Model Under Consideration"（JCTVC-B205）に定義されており、従来の符号化方式と同様の方法で設定することができる。
復号側においては、符号化側から伝送された量子化パラメータdQPからCUの量子化パラメータを求めることができる。
例えば、コーディングユニット量子化値算出部４１３は、量子化パラメータdQPから、以下の式（１８）のように、CUの量子化パラメータSubMB_QPを求め、それを変換することにより、量子化値を求める。
SubMB_QP = Clip（minQP,maxQP,SliceQP + submb_qp_delta） ・・・（１８）
式（１８）において、minQPは、予め定義されている最小の量子化パラメータであり、maxQPは、予め定義されている最大の量子化パラメータである。
このように、量子化パラメータdQPを求めるのに量子化パラメータSliceQPを用いる場合も、上述した２つの方法の場合と同様に、量子化・逆量子化を行うことができる。つまり、画像の内容により適した量子化・逆量子化を行うことができるだけでなく、量子化パラメータの符号量を低減させることができる。
これらの各方法の処理の特徴を比較する表を図２４に示す。図２４に示される表において、一番上の方法（第１の方法と称する）は、LCUの量子化パラメータを用いて量子化パラメータdQPを求める方法である。上から２番目の方法（第２の方法と称する）は、処理対象のCUの直前に処理されたCUの量子化パラメータを用いて量子化パラメータｄQPを求める方法である。そして、一番下の方法（第３の方法と称する）は、処理対象のスライスの量子化パラメータを用いて量子化パラメータｄQPを求める方法である。
図２４の表は、各方法の特徴として、パイプライン処理のし易さと、符号化効率を比較している。図２４の表に示されるように、第２の方法よりも第１の方法の方がパイプライン処理が容易である。また、その第１の方法よりも第３の方法の方がパイプライン処理が容易である。さらに、第３の方法よりも第１の方法の方が符号化効率がよい。また、その第１の方法よりも第１の方法よりも第２の方法の方が符号化効率がよい。
つまり、一般的に、処理対象の領域（コーディングユニットやサブマクロブロック等）との相関性は、その処理対象の領域により近傍の領域程高い。したがって、処理対象の領域に対してより近傍の領域を利用して量子化パラメータdQPを求めることにより、量子化パラメータdQPの符号化効率をより向上させることができる。
ただし、一般的に、処理対象の領域に対してより離れた領域程、処理順が早い。したがって、処理対象の領域が処理されるまでの時間が長くなる。つまり、処理遅延等に対する許容時間が長くなる。したがって、処理対象の領域に対してより離れた領域を利用して量子化パラメータdQPを求めることにより、遅延が生じにくくなり、パイプライン処理には有利になる。
以上のように、各方法は互いに異なる特徴を有するので、どの方法がより適切であるかは優先される条件に応じて異なる。なお、各方法を選択することができるようにしてもよい。この選択方法は任意である。例えば、どの方法を適用するかを例えばユーザ等が予め定めるようにしてもよい。また、例えば、任意の条件に従って（例えば任意の処理単位毎や任意のイベント発生時等に）、適応的にいずれかの方法が選択されるようにしてもよい。
また、いずれかの方法を適応的に選択する場合、どの方法を選択したかを示すフラグ情報を生成し、そのフラグ情報を、符号化側（量子化側）から復号側（逆量子化側）に伝送させるようにしてもよい。その場合、復号側（逆量子化側）は、そのフラグ情報を参照することにより、符号化側（量子化側）と同じ方法を選択することができる。
また、量子化パラメータdQPの算出方法は、任意であり、上述した以外であってもよい。用意する算出方法の数も任意である。また、その数を可変としてもよい。また、量子化パラメータdQPを定義する情報を、符号化側（量子化側）から復号側（逆量子化側）に伝送させるようにしてもよい。
上述した各方法の特徴を考慮して、量子化パラメータの差分値の算出方法を例示する。図２５は、LCUとCUの構成の一例を示している。(番号)はコーディングユニットの符号化(復号)の処理順を示している。
LCU(0)において、コーディングユニットの符号化順は下記の通りになる：
Figure 2014195319
この場合、量子化パラメータの差分値は以下のようになる：
LCU内の先頭のコーディングユニットCU(0)は、式（１７）を用いて、CU(0)が属するスライス（つまり処理対象のスライス）の量子化パラメータSliceQPと、処理対象のCU(0)の量子化パラメータとの差分値を伝送させる。
dQP(CU(0)) ＝ CurrentQP(CU0) − SliceQP
次に、LCU内の先頭以外のコーディングユニットCU(10)乃至CU(3)は、式（１６）を用いて、処理対象のCUの量子化パラメータ(CurrentCU)と直前に符号化されたCU(PrevisousCU)の差分値を伝送させる。
dQP = CurrentQP(CUi) - PreviousQP(CUi-1)
つまり、図２５を用いて説明すると、量子化パラメータの差分値は以下のようになる：
dQP(CU(10))=CurrentQP(CU(10))-PrevisouQP(CU(0))
dQP(CU(11))=CurrentQP(CU(11))-PrevisouQP(CU(10))
dQP(CU(12))=CurrentQP(CU(12))-PrevisouQP(CU(11))
dQP(CU(13))=CurrentQP(CU(13))-PrevisouQP(CU(12))
dQP(CU(20))=CurrentQP(CU(20))-PrevisouQP(CU(13))
dQP(CU(21))=CurrentQP(CU(21))-PrevisouQP(CU(20))
dQP(CU(30))=CurrentQP(CU(30))-PrevisouQP(CU(21))
dQP(CU(31))=CurrentQP(CU(31))-PrevisouQP(CU(30))
dQP(CU(32))=CurrentQP(CU(32))-PrevisouQP(CU(31))
dQP(CU(33))=CurrentQP(CU(33))-PrevisouQP(CU32))
dQP(CU(23))=CurrentQP(CU(23))-PrevisouQP(CU33))
dQP(CU(3))=CurrentQP(CU(3))-PrevisouQP(CU23)
他のLCU(1)乃至LCU(N)についても同様に量子化パラメータの差分値を算出・伝送する。
このように、量子化パラメータの差分値を算出・伝送することにより、各方法の特徴のメリット(図中二重丸)を採用することにより、パイプライン処理のしやすさと符号化効率とをともに両立することができる。
なお、実装上の観点で、LUC内で閉じた制御を行う場合は、LCU内の先頭のコーディングユニットCU(0)は、式（１５）を用いて、量子化パラメータの差分値を算出すればよい。
なお、以上に説明した量子化パラメータdQPは、全てのコーディングユニットに設定する必要はなく、LCUQP、PreviousQP、SliceQP等といった基準となる量子化パラメータと異なる値を設定したいCUのみ設定すれば良い。
そのために、例えば、スライスヘッダ（SliceHeader）に、MinCUForDQPCodedなるシンタクスを追加するようにしてもよい。
図２６は、スライスヘッダのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図２６の例において、第２２行目にMinCUForDQPCodedが設定されている。このMinCUForDQPCodedは、dQPを設定する最小CUサイズを指定する。例えば、CUの最小サイズが８×８であったとしても、MinCUForDQPCoded=16と指定されている場合、画像符号化装置３００のコーディングユニット量子化パラメータ算出部３３４は、１６×１６以上のサイズのCUのみdQPを設定し、８×８のCUにはdQPを設定しないようにする。つまり、この場合、１６×１６以上のサイズのCUのdQPが伝送される。なお、MinCUForDQPCodedは、dQPを設定する最小CUサイズを指定する手法として、符号化（復号）の際に設定されるCUサイズ（４×４、８×８、１６×１６、３２×３２など）から、dQPを設定する最小CUサイズを識別（選択）するフラグ（例えば、０：４×４、１：８×８、２：１６×１６など）として設定することもできる。
例えば、エンコーダを作る人が、１６×１６サイズのCUでの制御しか望んでいなければ、8x8サイズのCUでは、dQPを全て0で伝送する必要があり、これにより符号化効率が低減する恐れがある。
そこでこのようなシンタックスMinCUForDQPCodedを設定することにより、このような場合に８×８サイズのCUのdQPの伝送を省略することができ、符号化効率の低減を抑制することができる。
画像復号装置４００のコーディングユニット量子化値算出部４１３は、このようなシンタックスに従って、８×８のCUのdQPは伝送されていないことを把握し、LCUQP、PreviousQP、SliceQP等といった基準となる量子化パラメータを用いて量子化値を算出する。
なお、MinCUForDQPCodedは、スライスヘッダ以外に格納するようにしてもよい。例えば、ピクチャパラメータセット（PictureParameterSet）に格納するようにしてもよい。スライスヘッダ若しくはピクチャパラメータセットに格納することにより、例えば、シーンチェンジ後にこの値を変更するといった操作に対応することができる。
ただし、MinCUForDQPCodedを、スライスヘッダに格納することにより、ピクチャをマルチスライス化し、スライス毎に並列に処理する場合にも対応することができるので、より望ましい。
＜５．第５の実施の形態＞
［概要］
以上においては、サブマクロブロック（LCUより小さいコーディングユニット）毎の量子化パラメータを画像符号化装置から画像復号装置に伝送するように説明したが、この場合、画像復号装置も、そのサブマクロブロック（LCUより小さいコーディングユニット）毎の量子化パラメータを取得し、それを用いてサブマクロブロック（LCUより小さいコーディングユニット）毎に量子化を行うことができなければならない。
そこで、画像符号化装置が、量子化処理をサブマクロブロック（LCUより小さいコーディングユニット）毎に行うものの、量子化パラメータの設定はマクロブロック（LCU）毎に行い、そのマクロブロック（LCU）毎の量子化パラメータを画像復号装置に提供するようにしてもよい。
例えば、画像符号化装置が、先述のＴｅｓｔＭｏｄｅｌ５により各マクロブロック（LCU）のアクティビティを算出する際、マクロブロック（LCU）の大きさが、６４×６４とか、１２８×１２８であっても、そのマクロブロック（LCU）より小さい、８×８とか１６×１６といったブロック（コーディングユニット）単位でアクティビティを算出するようにする。
そして、画像符号化装置が、この、各８×８若しくは１６×１６ブロック単位のアクティビティに基づき、８×８ブロック若しくは１６×１６ブロック単位の量子化パラメータ値をＴｅｓｔＭｏｄｅｌ５の方法に基づき決定するようにする。
ただし、量子化パラメータは、マクロブロック（LCU）毎に設定するようにする。
例えば、図２７に示されるように、LCU（マクロブロック）のサイズが６４×６４画素であるとする。このLCUに対して画像符号化装置が、１６×１６のコーディングユニット毎にアクティビティを算出し、量子化パラメータを算出すると、それぞれのコーディングユニット（ブロック）のアクティビティがQP00乃至QP33になるとする。
AVCの場合、量子化パラメータQPは、図２８に示されるように、例えば、６から１２へといったように、その値が６増えた時に２倍粗い量子化処理が行われるように設計されている。
また、特に、より低いビットレート、すなわち、より高いQPにおいては、色差信号における劣化が目立ちやすい。そこで、輝度信号に対する量子化パラメータQPYに対して、色差信号に対するデフォルトの量子化パラメータQPCが、予め定義されている。
ユーザは、画像圧縮情報中に含まれるChromaQPOffsetに関する情報を設定することで、この関係を制御することが可能である。
これに対して、本実施の形態の場合、画像符号化装置は、第１ステップとして、マクロブロックに対する量子化パラメータQPMBを、以下の式（１９）のように決定する。
Figure 2014195319
 ・・・（１９）
第２ステップとして、各ブロックの量子化処理を、QP00乃至QP33の値を用いて行う。この結果、各ブロックにおいて、非０（ゼロ）になる係数の位置を、メモリに記憶する。
第３ステップとして、各ブロックの量子化処理を、QPMBの値を用いて行う。
第４ステップとして、第３ステップにより得られる非０のうち、第２ステップにおいても非０係数である係数位置の値のみを、符号化情報として、可逆符号化情報に伝送する。
かかる処理を行うことにより、画像圧縮情報に伝送される量子化パラメータとしては、QPMBのみであるが、それぞれのブロックを、擬似的に、QP00乃至QP33の値を用いて行うことで、適応量子化を実現し、出力となる画像圧縮情報の主観画質を向上させることが可能となる。
［画像符号化装置］
図２９は、本技術を適用した画像符号化装置の主な構成例を示すブロック図である。図２９に示されるように、この場合の画像符号化装置５００は、図１の画像符号化装置１００と基本的に同様の構成を有し、同様の処理を行う。
ただし、画像符号化装置５００は、画像符号化装置１００の量子化部１０５、レート制御部１１７、およびサブマクロブロック量子化部１２１の代わりに、レート制御部３１７、コーディングユニット量子化部５０４、および量子化部５０５を有する。
また、画像符号化装置５００は、図１の画像符号化装置１００が逆量子化部１０８に加えてサブマクロブロック逆量子化部１２２を有するのに対して、逆量子化部１０８のみを有する。つまり、逆量子化処理は、従来のAVC等と同様にLCU（マクロブロック）毎に行われる。これは、この画像符号化装置５００に対応する画像復号装置においても同様である。
コーディングユニット量子化部５０４は、レート制御部３１７により求められたコーディングユニット毎のアクティビティを用いて、コーディングユニット（例えばSCU）毎に量子化を行う。
量子化部５０５は、LCU毎の量子化パラメータを求め、それを用いて各コーディングユニットの量子化を行う。そして、量子化部５０５は、コーディングユニット量子化部５０４が求めた各コーディングユニットの、量子化された直交変換係数のうち、非ゼロの係数を、それと同じ位置の、量子化部５０５による量子化処理結果（量子化された直交変換係数）と置き換える。
この置き換えが行われた結果が、量子化結果として可逆符号化部１０６や逆量子化部１０８に供給される。また、量子化部５０５により算出されたLCU毎の量子化パラメータが、可逆符号化部１０６や逆量子化部１０８に供給される。
逆量子化部１０８や画像復号装置の逆量子化部（図示せず）は、従来のAVC等の場合と同様に、このLCU毎の量子化パラメータを用いて逆量子化を行う。
［レート制御部、コーディングユニット量子化部、量子化部の構成］
図３０は、図２９のレート制御部、コーディングユニット量子化部、および量子化部の詳細の構成例を示すブロック図である。
図３０に示されるように、コーディングユニット量子化部５０４は、コーディングユニット量子化パラメータ決定部５１１、コーディングユニット量子化処理部５１２、および非ゼロ係数位置バッファ５１３を有する。
コーディングユニット量子化パラメータ決定部５１１は、レート制御部３１７のアクティビティバッファ３２２から供給される、LCUよりも下位層のコーディングユニット（例えばSCU）毎のアクティビティを用いて、LCUよりも下位層のコーディングユニット（例えばSCU）毎に量子化パラメータCU_QPを決定する。コーディングユニット量子化パラメータ決定部５１１は、そのコーディングユニット毎の量子化パラメータCU_QPを、コーディングユニット量子化処理部５１２、および、量子化部５０５のLCU量子化パラメータ決定部５２２に供給する。
コーディングユニット量子化処理部５１２は、コーディングユニット量子化パラメータ決定部５１１から供給されるコーディングユニット毎の量子化パラメータCU_QPを用いて、量子化部５０５の直交変換係数バッファ５２１から供給される直交変換係数を、LCUよりも下位層のコーディングユニット（例えばSCU）毎に量子化する。コーディングユニット量子化処理部５１２は、その量子化により得られた、コーディングユニット毎の、量子化された直交変換係数のうち、値がゼロでない（非ゼロ係数である）コーディングユニットの位置を非ゼロ係数位置バッファ５１３に供給し、保持させる。
非ゼロ係数位置バッファ５１３は、所定のタイミングで、保持している、非ゼロ係数の位置を量子化部５０５の係数置き換え部５２４に供給する。
図３０に示されるように、量子化部５０５は、直交変換係数バッファ５２１、LCU量子化パラメータ決定部５２２、LCU量子化処理部５２３、および係数置き換え部５２４を有する。
直交変換係数バッファ５２１は、直交変換部１０４から供給される直交変換係数を保持し、所定のタイミングにおいて、保持している直交変換係数をコーディングユニット量子化処理部５１２およびLCU量子化処理部５２３に供給する。
LCU量子化パラメータ決定部５２２は、上述した式（１９）のように、コーディングユニット量子化パラメータ決定部５１１から供給されるコーディングユニット毎の量子化パラメータCU_QPの、そのLCU内の最小値を、LCU毎の量子化パラメータLCU_QPに決定する。LCU量子化パラメータ決定部５２２は、そのLCU毎の量子化パラメータLCU_QP（処理対象LCU内におけるCU_QPの最小値）をLCU量子化処理部５２３に供給する。
LCU量子化処理部５２３は、LCU量子化パラメータ決定部５２２から供給されるLCU毎の量子化パラメータLCU_QPを用いて、直交変換係数バッファ５２１から供給される直交変換係数を、LCUよりも下位層のコーディングユニット（例えばSCU）毎に量子化する。LCU量子化処理部５２３は、その量子化により得られた、コーディングユニット毎の、量子化された直交変換係数を係数置き換え部５２４に供給する。
係数置き換え部５２４は、LCU量子化処理部５２３により量子化された直交変換係数の、値がゼロでない係数（非ゼロ係数）のうち、非ゼロ係数位置バッファ５１３から供給される非ゼロ係数の位置と異なる位置の係数を、ゼロに置き換える。
つまり、係数置き換え部５２４は、LCUよりも下位層のコーディングユニット毎に決定された量子化パラメータCU_QPを用いる量子化と、LCU毎に決定された量子化パラメータLCU_QPを用いる量子化との両方において、得られる量子化結果の値が非ゼロであった（LCUよりも下位層の）コーディングユニットについてのみ、その量子化結果の値を、量子化された直交変換係数として採用する。これに対して、その他の（LCUよりも下位層の）コーディングユニットについては、係数置き換え部５２４は、量子化された直交変換係数の値を全てゼロとする。
係数置き換え部５２４は、このように適宜、値の置き換えを行った、量子化された直交変換係数を、LCU毎に決定された量子化パラメータLCU_QPとともに、可逆符号化部１０６および逆量子化部１０８に供給する。
可逆符号化部１０６は、供給された係数データや量子化パラメータを符号化し、画像符号化装置５００に対応する（画像符号化装置５００により生成された符号化データを復号することができる）画像復号装置に供給させる。その画像復号装置は、従来のAVC等と同様に、画像符号化装置５００から供給されたLCU毎の量子化パラメータLCU_QPを用いて逆量子化を行う。
逆量子化部１０８も同様に、係数置き換え部５２４から供給されたLCU毎の量子化パラメータLCU_QPを用いて、係数置き換え部５２４から供給された係数データの逆量子化を行う。
なお、この逆量子化部１０８の構成は、図１０を参照して説明した逆量子化部２０３と基本的に同様の構成を有する。ただし、逆量子化部１０８の場合、逆量子化処理部２５３は、量子化パラメータバッファ２５１から供給される量子化パラメータ（LCU毎の量子化パラメータLCU_QP）を用いて、直交変換係数バッファ２５２から供給される、量子化された直交変換係数を逆量子化する。
［符号化処理の流れ］
次に、この画像符号化装置５００により実行される符号化処理の流れの例を、図３１のフローチャートを参照して説明する。この場合、符号化処理の各処理は、図７のフローチャートを参照して説明した符号化処理の各処理と、基本的に同様に行われる。
つまり、図７のステップＳ１０１乃至ステップＳ１０４の各処理と同様に、ステップＳ７０１乃至ステップＳ７０４の各処理が行われる。ただし、図７のステップＳ１０５およびステップＳ１０６の代わりに、ステップＳ７０５の量子化処理が行われる。また、ステップＳ１０６乃至ステップＳ１１７の各処理と同様に、ステップＳ７０６乃至ステップＳ７１６の各処理が行われる。
［量子化処理の流れ］
次に、図３２のフローチャートを参照して、図３１のステップＳ７０５において実行される量子化処理の流れの例を説明する。
量子化処理が開始されると、ステップＳ７３１において、アクティビティ算出部３２１は、コーディングユニット毎のアクティビティを算出する。
ステップＳ７３２において、コーディングユニット量子化パラメータ決定部５１１は、LCUよりも下位層のコーディングユニット単位での量子化パラメータCU_QPを決定する。
ステップＳ７３３において、LCU量子化パラメータ決定部５２２は、LCU単位での量子化パラメータLCU_QPを決定する。
ステップＳ７３４において、コーディングユニット量子化処理部５１２は、LCUよりも下位層のコーディングユニット単位の量子化パラメータCU_QPを用いて、量子化を行う。
ステップＳ７３５において、非ゼロ係数位置バッファ５１３は、ステップＳ７３４の量子化処理により生成された非ゼロ係数の位置を保持する。
ステップＳ７３６において、LCU量子化処理部５２３は、LCU単位での量子化パラメータLCU_QPを用いて、量子化を行う。
ステップＳ７３７において、係数置き換え部５２４は、ステップＳ７３５の処理により保持された非ゼロ係数の位置と異なる位置の、LCUよりも下位層のコーディングユニットの、量子化された直交変換係数の値をゼロに置き換える。
置き換えが終了すると、量子化処理が終了され、図３１のステップＳ７０５に処理を戻し、ステップＳ７０６以降の処理が実行される。
以上のように、拡張されたマクロブロックを用いた符号化方式に基づく画像圧縮情報を出力とする画像情報符号化装置並びに入力とする画像情報復号化装置において、LCUよりも下位層のコードユニット（サブマクロブロック）単位での量子化処理を擬似的に行うことにより、単一LCU（マクロブロック）内に、フラットなエリアとテクスチャエリアが混在する場合でも、それぞれの特性に基づいた適応量子化を行い、主観画質を向上させることができる。
＜６．第６の実施の形態＞
［多視画像点符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図３３は、多視点画像符号化方式の一例を示す。
図３３に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
図３３のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、量子化パラメータの差分をとることもできる：
(1)base-view：
(1-1) dQP(base view)＝Current_CU_QP(base view)−LCU_QP(base view)
(1-2) dQP(base view)＝Current_CU_QP(base view)−Previsous_CU_QP(base view)
(1-3) dQP(base view)＝Current_CU_QP(base view)−Slice_QP(base view)
(2)non-base-view：
(2-1) dQP(non-base view)＝Current_CU_QP(non-base view)−LCU_QP(non-base view)
(2-2) dQP(non-base view)＝CurrentQP(non-base view)−PrevisousQP(non-base view)
(2-3) dQP(non-base view)＝Current_CU_QP(non-base view)−Slice_QP(non-base view)
多視点画像符号化を行う場合、各ビュー(異なるビュー)において、量子化パラメータの差分をとることもできる：
(3)base-view/ non-base view：
(3-1) dQP(inter-view)＝Slice_QP(base view)−Slice_QP(non-base view)
(3-2) dQP(inter-view)＝LCU_QP(base view)−LCU_QP(non-base view)
(4)non-base view / non-base view ：
(4-1) dQP(inter-view)＝Slice_QP(non-base view i)−Slice_QP(non-base view j)
(4-2) dQP(inter-view)＝LCU_QP(non-base view i)−LCU_QP(non-base view j)
この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースビューでは、ベースビューとノンベースビューとの間においてスライスレベルで量子化パラメータの差分をとる手法(3-1と2-3とを組み合わせる)、ベースビューとノンベースビューとの間においてLCUレベルで量子化パラメータの差分をとる手法(3-2と2-1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、多視点符号化を行った場合においても、符号化効率を向上させることができる。
上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。
［多視点画像符号化装置］
図３４は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図３４に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１００（図１）、画像符号化装置３００（図１８）、または画像符号化装置５００（図２９）を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１が設定する量子化パラメータと符号化部６０２が設定する量子化パラメータとの差分値を設定して、伝送させる。
［多視点画像復号装置］
図３５は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図３５に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置２００（図９）、若しくは、画像復号装置４００（図２１）を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１が設定する量子化パラメータと符号化部６０２が設定する量子化パラメータとの差分値から量子化パラメータ設定して、逆量子化を行う。
＜７．第７の実施の形態＞
［階層画像点符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図３６は、多視点画像符号化方式の一例を示す。
図３６に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。
図３６のような階層画像符号化(空間スケーラビリティ)を行う場合、各レイヤ(同一レイヤ)において、量子化パラメータの差分をとることもできる：
(1)base-layer：
(1-1)dQP(base layer)＝Current_CU_QP(base layer)−LCU_QP(base layer)
(1-2)dQP(base layer)＝Current_CU_QP(base layer)−Previsous_CU_QP(base layer)
(1-3)dQP(base layer)＝Current_CU_QP(base layer)−Slice_QP(base layer)
(2)non-base-layer：
(2-1)dQP(non-base layer)＝Current_CU_QP(non-base layer)−LCU_QP(non-base layer)
(2-2)dQP(non-base layer)＝CurrentQP(non-base layer)−PrevisousQP(non-base layer)
(2-3)dQP(non-base layer)＝Current_CU_QP(non-base layer)−Slice_QP(non-base layer)
階層符号化を行う場合、各レイヤ(異なるレイヤ)において、量子化パラメータの差分をとることもできる：
(3)base-layer/ non-base layer：
(3-1)dQP(inter-layer)＝Slice_QP(base layer)−Slice_QP(non-base layer)
(3-2)dQP(inter-layer)＝LCU_QP(base layer)−LCU_QP(non-base layer)
(4)non-base layer / non-base layer ：
(4-1)dQP(inter-layer)＝Slice_QP(non-base layer i)−Slice_QP(non-base layer j)
(4-2)dQP(inter-layer)＝LCU_QP(non-base layer i)−LCU_QP(non-base layer j)
この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースレイヤでは、ベースレイヤとノンベースレイヤとの間においてスライスレベルで量子化パラメータの差分をとる手法(3-1と2-3とを組み合わせる)、ベースレイヤとノンベースレイヤとの間においてLCUレベルで量子化パラメータの差分をとる手法(3-2と2-1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、階層符号化を行った場合においても、符号化効率を向上させることができる。
上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。
［階層画像符号化装置］
図３７は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３７に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１００（図１）、画像符号化装置３００（図１８）、または画像符号化装置５００（図２９）を適用することができる。この場合、階層画像符号化装置６００は、符号化部６２１が設定する量子化パラメータと符号化部６２２が設定する量子化パラメータとの差分値を設定して、伝送させる。
［階層画像復号装置］
図３８は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３８に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置２００（図９）、若しくは、画像復号装置４００（図２１）を適用することができる。この場合、階層画像復号装置６３０は、符号化部６３１が設定する量子化パラメータと符号化部６３２が設定する量子化パラメータとの差分値から量子化パラメータ設定して、逆量子化を行う。
＜８．第８の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図３９に示されるようなコンピュータとして構成されるようにしてもよい。
図３９において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図３９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置１００（図１）、画像符号化装置３００（図１８）、画像符号化装置５００（図２９）、多視点画像符号化装置６００（図３４）、階層画像符号化装置６２０（図３７）、画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、並びに、階層画像復号装置６３０（図３８）は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
［テレビジョン装置］
図４０は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。
また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、または階層画像復号装置６３０（図３８）の機能を有する。従って、テレビジョン装置９００で復号される映像について、符号化側より供給されるsubmb_qp_delta等の量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出し、逆量子化を行う。したがって、画像の内容により適した逆量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させることができる。
［携帯電話機］
図４１は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声
ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１００（図１）、画像符号化装置３００（図１８）、画像符号化装置５００（図２９）、多視点画像符号化装置６００（図３４）、または階層画像符号化装置６２０（図３７）の機能と、画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、または階層画像復号装置６３０（図３８）の機能とを有する。従って、携帯電話機９２０で符号化及び復号される映像について、サブマクロブロック毎に量子化値を算出し、そのサブマクロブロック毎の量子化値を用いて直交変換係数の量子化を行う。このようにすることにより、画像の内容により適した量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させるように符号化データを生成することができる。また、符号化側より供給されるsubmb_qp_delta等の量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出し、逆量子化を行う。したがって、画像の内容により適した逆量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させることができる。
また、以上においては携帯電話機９２０として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機９２０と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機９２０の場合と同様に、本技術を適用した画像符号化装置および画像復号装置を適用することができる。
［記録再生装置］
図４２は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１００（図１）、画像符号化装置３００（図１８）、画像符号化装置５００（図２９）、多視点画像符号化装置６００（図３４）、または階層画像符号化装置６２０（図３７）の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、または階層画像復号装置６３０（図３８）の機能を有する。従って、記録再生装置９４０で符号化及び復号される映像について、サブマクロブロック毎に量子化値を算出し、そのサブマクロブロック毎の量子化値を用いて直交変換係数の量子化を行う。このようにすることにより、画像の内容により適した量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させるように符号化データを生成することができる。また、符号化側より供給されるsubmb_qp_delta等の量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出し、逆量子化を行う。したがって、画像の内容により適した逆量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させることができる。
［撮像装置］
図４３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９
６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得
る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００（図１）、画像符号化装置３００（図１８）、画像符号化装置５００（図２９）、多視点画像符号化装置６００（図３４）、または階層画像符号化装置６２０（図３７）の機能と、画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、または階層画像復号装置６３０（図３８）の機能を有する。従って、撮像装置９６０で符号化及び復号される映像について、サブマクロブロック毎に量子化値を算出し、そのサブマクロブロック毎の量子化値を用いて直交変換係数の量子化を行う。このようにすることにより、画像の内容により適した量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させるように符号化データを生成することができる。また、符号化側より供給されるsubmb_qp_delta等の量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出し、逆量子化を行う。したがって、画像の内容により適した逆量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させることができる。
もちろん、本技術を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。
なお、本明細書では、量子化パラメータが、符号化側から復号側へ伝送される例について説明した。量子化行列パラメータを伝送する手法は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
１００ 画像符号化装置， １０５ 量子化部， １０８ 逆量子化部， １１７ レート制御部， １２１ サブマクロブロック量子化部， １２２ サブマクロブロック逆量子化部， １５１ サブマクロブロックアクティビティバッファ， １５２ 量子化パラメータ算出部， １５３ 量子化処理部， ２００ 画像復号装置， ２０３ 逆量子化部， ２２１ サブマクロブロック逆量子化部， ２５１ 量子化パラメータバッファ， ２５２ 直交変換係数バッファ， ２５３ 逆量子化処理部

Claims (11)

  1. 符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、
    画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、
    前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部と
    を備える画像処理装置。
  2. 前記設定部は、差分量子化パラメータを用いて、カレントコーディングユニットの量子化パラメータを設定する
    請求項１に記載の画像処理装置。
  3. 前記設定部は、前記差分量子化パラメータを設定するコーディングユニットの最小サイズを示す値を用いて、前記カレントコーディングユニットの量子化パラメータを設定する
    請求項２に記載の画像処理装置。
  4. 前記設定部は、前記カレントコーディングユニットがスライスにおいて復号処理順で最初である場合に、前記カレントコーディングユニットに設定された量子化パラメータと前記カレントコーディングユニットが属するスライスに設定された量子化パラメータとの差分値を前記差分量子化パラメータとして用いて、前記カレントコーディングユニットの量子化パラメータを設定する
    請求項２に記載の画像処理装置。
  5. 前記設定部は、前記カレントコーディングユニットが前記最大コーディングユニットの階層において復号処理順で最初である場合に、前記カレントコーディングユニットに設定された量子化パラメータと前記カレントコーディングユニットが属するスライスに設定された量子化パラメータとの差分値を前記差分量子化パラメータとして用いて、前記カレントコーディングユニットの量子化パラメータを設定する
    請求項４に記載の画像処理装置。
  6. 前記設定部は、前記差分量子化パラメータを設定するコーディングユニットの最小サイズを示す値を用いて、前記カレントコーディングユニットの量子化パラメータを設定する
    請求項５に記載の画像処理装置。
  7. 前記設定部は、前記最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記差分量子化パラメータの値が０である場合に、スライスに設定された量子化パラメータを、前記最大コーディングユニットよりも下位層にあるコーディングユニットに設定された量子化パラメータとして設定する
    請求項２に記載の画像処理装置。
  8. 前記設定部は、前記最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記差分量子化パラメータの値が０であるかを識別する差分識別データを用いて、スライスに設定された量子化パラメータを、前記最大コーディングユニットよりも下位層にあるコーディングユニットに設定された量子化パラメータとして設定する
    請求項２に記載の画像処理装置。
  9. 符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成し、
    画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定し、
    設定された前記量子化パラメータを用いて、生成された前記量子化データを逆量子化する
    画像処理方法。
  10. コンピュータを、
    符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、
    画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、
    前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部と
    して機能させるプログラム。
  11. コンピュータを、
    符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、
    画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、
    前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部と
    して機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2014114195A 2010-06-04 2014-06-02 画像処理装置および方法、プログラム、並びに記録媒体 Active JP6024709B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014114195A JP6024709B2 (ja) 2010-06-04 2014-06-02 画像処理装置および方法、プログラム、並びに記録媒体

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2010129414 2010-06-04
JP2010129414 2010-06-04
JP2010222300 2010-09-30
JP2010222300 2010-09-30
JP2011053479 2011-03-10
JP2011053479 2011-03-10
JP2011054816 2011-03-11
JP2011054816 2011-03-11
JP2014114195A JP6024709B2 (ja) 2010-06-04 2014-06-02 画像処理装置および方法、プログラム、並びに記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012518464A Division JP6048144B2 (ja) 2010-06-04 2011-06-03 画像処理装置および方法、プログラム、並びに、記録媒体

Publications (2)

Publication Number Publication Date
JP2014195319A true JP2014195319A (ja) 2014-10-09
JP6024709B2 JP6024709B2 (ja) 2016-11-16

Family

ID=45066873

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012518464A Active JP6048144B2 (ja) 2010-06-04 2011-06-03 画像処理装置および方法、プログラム、並びに、記録媒体
JP2014114195A Active JP6024709B2 (ja) 2010-06-04 2014-06-02 画像処理装置および方法、プログラム、並びに記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012518464A Active JP6048144B2 (ja) 2010-06-04 2011-06-03 画像処理装置および方法、プログラム、並びに、記録媒体

Country Status (17)

Country Link
US (7) US8849052B2 (ja)
EP (7) EP4290860A3 (ja)
JP (2) JP6048144B2 (ja)
KR (5) KR20170118962A (ja)
CN (9) CN103369323B (ja)
AU (1) AU2011259939B2 (ja)
BR (4) BR122014013355B1 (ja)
CA (3) CA2974558C (ja)
DK (1) DK3177017T3 (ja)
HK (2) HK1213409A1 (ja)
HU (1) HUE047906T2 (ja)
MX (4) MX341890B (ja)
MY (2) MY190480A (ja)
RU (4) RU2616155C1 (ja)
TW (4) TWI454149B (ja)
WO (1) WO2011152518A1 (ja)
ZA (1) ZA201208901B (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US20130058410A1 (en) * 2010-05-13 2013-03-07 Sharp Kabushiki Kaisha Encoding device, decoding device, and data structure
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
EP4290860A3 (en) 2010-06-04 2024-02-14 Sony Group Corporation Image processing apparatus and method
MX355733B (es) * 2010-06-10 2018-04-27 Thomson Licensing Métodos y aparatos para determinar predictores de parametro de cuantificación a partir de una pluralidad de parametros de cuantificación contiguos.
KR20120016980A (ko) 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
JP5707412B2 (ja) 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
MX2013001774A (es) 2010-09-30 2013-03-18 Panasonic Corp Metodo de decodificacion de imagen, metodo de codificacion de imagen, aparato de decodificacion de imagen, aparato codificacion de imagen, programa, y circuito integrado.
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
EP3748964A1 (en) 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
PH12018501811A1 (en) 2010-12-07 2019-02-18 Sony Corp Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
BR122019025405B8 (pt) * 2011-01-13 2023-05-02 Canon Kk Aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, método de decodificação de imagem e meio de armazenamento
BR122014031521B1 (pt) 2011-02-10 2022-08-23 Velos Media International Limited Dispositivo e método de processamento de imagem
JP6327435B2 (ja) 2011-03-03 2018-05-23 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、及び、画像復号装置
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
US20140241422A1 (en) * 2011-06-28 2014-08-28 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using adaptive quantization parameter differential
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR102010160B1 (ko) 2011-06-28 2019-08-12 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
JP5900307B2 (ja) * 2011-12-13 2016-04-06 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに送信装置、送信方法及び送信プログラム
WO2013094385A1 (ja) * 2011-12-19 2013-06-27 ソニー株式会社 画像処理装置および方法
JP2014197723A (ja) 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
JP2015080002A (ja) * 2012-01-19 2015-04-23 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN106131561B (zh) 2012-01-20 2019-10-18 维洛媒体国际有限公司 解码装置和解码方法
BR112014018115B1 (pt) * 2012-01-30 2021-10-26 Samsung Electronics Co., Ltd Método de decodificar um vídeo
RU2607998C9 (ru) 2012-03-28 2017-07-07 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования изображения, способ кодирования изображения и программа кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и программа декодирования изображения
JP5664584B2 (ja) * 2012-03-28 2015-02-04 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
CN111147852B (zh) 2012-04-16 2022-05-31 韩国电子通信研究院 图像解码方法和图像编码方法
JP5943757B2 (ja) * 2012-07-23 2016-07-05 キヤノン株式会社 画像符号化装置及びその方法
JP6154588B2 (ja) * 2012-08-23 2017-06-28 日本放送協会 画像符号化装置、画像復号装置及びプログラム
JP2014236264A (ja) 2013-05-31 2014-12-15 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9218639B2 (en) * 2013-09-27 2015-12-22 Apple Inc. Processing order in block processing pipelines
GB2520002B (en) * 2013-11-04 2018-04-25 British Broadcasting Corp An improved compression algorithm for video compression codecs
CN104754361B (zh) * 2013-12-28 2018-01-23 同济大学 图像编码、解码方法及装置
GB2523736B (en) * 2014-02-19 2020-03-25 Advanced Risc Mach Ltd Rate control in video encoding
WO2018143289A1 (ja) * 2017-02-02 2018-08-09 シャープ株式会社 画像符号化装置及び画像復号装置
EP3566440B1 (en) 2017-03-21 2020-12-02 Dolby Laboratories Licensing Corporation Quantization parameter prediction using luminance information
US10750175B2 (en) 2017-05-04 2020-08-18 Sony Corporation Quantization partitioning for enhanced image compression
WO2019050300A1 (ko) * 2017-09-06 2019-03-14 가온미디어 주식회사 효과적인 차분양자화 파라미터 전송 기반 영상 부/복호화 방법 및 장치
US10616585B2 (en) 2017-11-22 2020-04-07 Arm Limited Encoding data arrays
US11818479B2 (en) 2020-05-14 2023-11-14 Board Of Trustees Of Michigan State University Sigma Delta quantization for images
US11032546B1 (en) * 2020-07-20 2021-06-08 Tencent America LLC Quantizer for lossless and near-lossless compression
CN113010715B (zh) * 2021-03-30 2023-06-23 通威太阳能(金堂)有限公司 硅片电致发光图片分拣方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262004A (ja) * 2005-03-16 2006-09-28 Toshiba Corp 動画像符号化／復号化の方法及び装置
WO2008126135A1 (ja) * 2007-03-20 2008-10-23 Fujitsu Limited 動画像符号化方法及び装置並びに動画像復号装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6915014B1 (en) * 1990-07-31 2005-07-05 Canon Kabushiki Kaisha Image processing apparatus and method
JP3271091B2 (ja) * 1993-03-22 2002-04-02 ソニー株式会社 画像信号符号化方法、装置、復号化方法及び装置
EP1711015A3 (en) * 1996-02-05 2006-11-08 Matsushita Electric Industrial Co., Ltd. Video signal recording apparatus, video signal regenerating apparatus, image coding apparatus and image decoding apparatus
JP4665372B2 (ja) * 2000-05-29 2011-04-06 ソニー株式会社 画像処理装置及び方法、通信システム及び方法、並びに記録媒体
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
US6975773B1 (en) * 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
JP4063204B2 (ja) * 2003-11-20 2008-03-19 セイコーエプソン株式会社 画像データ圧縮装置及びエンコーダ
KR20070083677A (ko) * 2004-09-14 2007-08-24 개리 데모스 고품질 광역 다중-레이어 이미지 압축 코딩 시스템
KR101158439B1 (ko) * 2005-07-08 2012-07-13 엘지전자 주식회사 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는 방법
FR2888699A1 (fr) * 2005-07-13 2007-01-19 France Telecom Dispositif de codage/decodage hierachique
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US7656410B2 (en) 2006-03-31 2010-02-02 Intel Corporation Image buffering techniques
CN100530979C (zh) * 2006-09-13 2009-08-19 华为技术有限公司 一种矢量量化方法及矢量量化器
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170793A1 (en) * 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
CN101170701B (zh) * 2007-11-16 2010-10-27 四川虹微技术有限公司 视频编解码系统中去块滤波方法及装置
US8107754B2 (en) * 2007-12-07 2012-01-31 Mediatek Inc. Systems and methods for randomly accessing compressed images
CN101281749A (zh) * 2008-05-22 2008-10-08 上海交通大学 可分级的语音和乐音联合编码装置和解码装置
JP4768779B2 (ja) * 2008-06-02 2011-09-07 株式会社東芝 動画像符号化／復号化の方法及び装置
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010011075A (ja) * 2008-06-26 2010-01-14 Toshiba Corp 動画像符号化及び動画像復号化の方法及び装置
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
TWI383684B (zh) * 2008-11-18 2013-01-21 Univ Nat Taiwan 多媒體串流之動態視訊編碼系統與方法
TWI396443B (zh) * 2008-12-22 2013-05-11 Ind Tech Res Inst 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器
CN101572817B (zh) * 2009-05-26 2011-01-05 北京邮电大学 一种用于空间可分级视频编码的编码模式选择方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
EP4290860A3 (en) 2010-06-04 2024-02-14 Sony Group Corporation Image processing apparatus and method
PH12018501811A1 (en) 2010-12-07 2019-02-18 Sony Corp Image processing device and image processing method
EP3748964A1 (en) 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
BR122014031521B1 (pt) 2011-02-10 2022-08-23 Velos Media International Limited Dispositivo e método de processamento de imagem
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
GB2498550B (en) * 2012-01-19 2016-02-24 Canon Kk Method and device for processing components of an image for encoding or decoding
RU2643490C2 (ru) 2012-06-29 2018-02-01 Вилос Медиа Интернэшнл Лимитед Устройство декодирования и способ декодирования

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262004A (ja) * 2005-03-16 2006-09-28 Toshiba Corp 動画像符号化／復号化の方法及び装置
WO2008126135A1 (ja) * 2007-03-20 2008-10-23 Fujitsu Limited 動画像符号化方法及び装置並びに動画像復号装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KEMAL UGUR, ET AL.: "Appendix to Description of video coding technology proposal by Tandberg Nokia Ericsson", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST M, vol. JCTVC-A119_Appendix_Decoder_Description, JPN6015036471, 23 April 2010 (2010-04-23), pages 1 - 44, ISSN: 0003153028 *
KEMAL UGUR, ET AL.: "Description of video coding technology proposal by Tandberg, Nokia, Ericsson", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST M, vol. JCTVC-A119, JPN6015036468, 23 April 2010 (2010-04-23), pages 1 - 9, ISSN: 0003153027 *
KEN MCCANN, ET AL.: "Samsung's Response to the Call for Proposals on Video Compression Technology", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST M, vol. JCTVC-A124, JPN6015036473, 23 April 2010 (2010-04-23), pages 1 - 7, ISSN: 0003153029 *
MADHUKAR BUDAGAVI, MINHUA ZHOU: "Delta QP signaling at sub-LCU level", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH M, vol. JCTVC-D038, JPN6015026100, 19 January 2011 (2011-01-19), pages 1 - 5, ISSN: 0003105313 *
MARTA KARCZEWICZ, ET AL.: "Video coding technology proposal by Qualcomm Inc.", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST M, vol. JCTVC-A121, JPN6015026101, 23 April 2010 (2010-04-23), pages 1 - 25, XP008167652, ISSN: 0003105312 *

Also Published As

Publication number Publication date
EP3177017B1 (en) 2020-01-29
KR20180014249A (ko) 2018-02-07
EP3675494A1 (en) 2020-07-01
CN105245895B (zh) 2019-02-26
CN103369321B (zh) 2016-07-06
MY163789A (en) 2017-10-31
AU2011259939B2 (en) 2015-07-30
CN108366264B (zh) 2022-08-26
EP3185559A1 (en) 2017-06-28
BR122020013772B1 (pt) 2021-09-28
CN102918837B (zh) 2015-09-30
BR112012030158B1 (pt) 2021-10-05
MX2012013748A (es) 2013-01-22
RU2656718C1 (ru) 2018-06-06
MX342691B (es) 2016-10-10
BR122014013355B1 (pt) 2021-11-23
US20130071039A1 (en) 2013-03-21
TWI568245B (zh) 2017-01-21
MX341890B (es) 2016-09-07
CA2974558C (en) 2020-10-27
EP3675493A1 (en) 2020-07-01
KR101918904B1 (ko) 2019-02-08
EP2916546A1 (en) 2015-09-09
TW201215151A (en) 2012-04-01
EP2579594A1 (en) 2013-04-10
CN105245895A (zh) 2016-01-13
US9369704B2 (en) 2016-06-14
BR112012030158A2 (pt) 2016-12-13
KR20180014866A (ko) 2018-02-09
EP4290860A3 (en) 2024-02-14
US20140321537A1 (en) 2014-10-30
BR122014013355A2 (pt) 2019-08-13
CA2974558A1 (en) 2011-12-08
MY190480A (en) 2022-04-22
RU2012150834A (ru) 2014-10-27
TWI565301B (zh) 2017-01-01
JPWO2011152518A1 (ja) 2013-08-01
TW201442486A (zh) 2014-11-01
KR20130084236A (ko) 2013-07-24
AU2011259939A1 (en) 2012-12-20
ZA201208901B (en) 2013-09-25
US10230964B2 (en) 2019-03-12
US20140321536A1 (en) 2014-10-30
US8849052B2 (en) 2014-09-30
US20130301739A1 (en) 2013-11-14
EP3675494B1 (en) 2021-12-15
US20180007370A1 (en) 2018-01-04
JP6024709B2 (ja) 2016-11-16
CA2974561A1 (en) 2011-12-08
HK1213714A1 (zh) 2016-07-08
RU2619720C1 (ru) 2017-05-17
CN103369320A (zh) 2013-10-23
CN103369323A (zh) 2013-10-23
KR101823316B1 (ko) 2018-01-29
BR122020013775B1 (pt) 2022-04-19
RU2616155C1 (ru) 2017-04-12
CN102918837A (zh) 2013-02-06
US20190104318A1 (en) 2019-04-04
US10375403B2 (en) 2019-08-06
CA2798927A1 (en) 2011-12-08
KR101918905B1 (ko) 2018-11-14
CN103369320B (zh) 2016-06-22
US9924177B2 (en) 2018-03-20
TWI536845B (zh) 2016-06-01
CA2798927C (en) 2019-12-31
EP2579594A4 (en) 2014-10-29
CN108366264A (zh) 2018-08-03
TW201442487A (zh) 2014-11-01
KR101828625B1 (ko) 2018-02-12
CN105245882B (zh) 2019-02-22
US8731310B2 (en) 2014-05-20
AU2011259939A2 (en) 2013-01-10
CA2974561C (en) 2019-04-30
JP6048144B2 (ja) 2016-12-21
EP4290860A2 (en) 2023-12-13
EP3185559B1 (en) 2020-02-19
US20140321538A1 (en) 2014-10-30
CN103369322B (zh) 2016-06-29
CN103369322A (zh) 2013-10-23
KR20170118962A (ko) 2017-10-25
TW201421998A (zh) 2014-06-01
HUE047906T2 (hu) 2020-05-28
TWI454149B (zh) 2014-09-21
CN103369319A (zh) 2013-10-23
CN103369321A (zh) 2013-10-23
CN103369323B (zh) 2016-12-28
DK3177017T3 (da) 2020-03-02
EP3177017A1 (en) 2017-06-07
CN105245882A (zh) 2016-01-13
RU2014115193A (ru) 2015-10-20
HK1213409A1 (zh) 2016-06-30
CN103369319B (zh) 2016-08-10
KR20170118963A (ko) 2017-10-25
US9380299B2 (en) 2016-06-28
MX362216B (es) 2019-01-09
RU2573216C2 (ru) 2016-01-20
WO2011152518A1 (ja) 2011-12-08

Similar Documents

Publication Publication Date Title
JP6024709B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
AU2015221528B2 (en) Image Processing Apparatus and Method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160624

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160926

R151 Written notification of patent or utility model registration

Ref document number: 6024709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250