JP2013012846A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2013012846A
JP2013012846A JP2011143271A JP2011143271A JP2013012846A JP 2013012846 A JP2013012846 A JP 2013012846A JP 2011143271 A JP2011143271 A JP 2011143271A JP 2011143271 A JP2011143271 A JP 2011143271A JP 2013012846 A JP2013012846 A JP 2013012846A
Authority
JP
Japan
Prior art keywords
prediction
unit
mode
layer
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011143271A
Other languages
English (en)
Inventor
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011143271A priority Critical patent/JP2013012846A/ja
Priority to US14/110,984 priority patent/US20140037002A1/en
Priority to CN201280030622.8A priority patent/CN103636211A/zh
Priority to PCT/JP2012/062925 priority patent/WO2013001939A1/ja
Publication of JP2013012846A publication Critical patent/JP2013012846A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】スケーラブル符号化においてイントラ予測の予測モードをより効率的に符号化できる仕組みを提供する。
【解決手段】第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定するモード設定部と、前記モード設定部により設定される予測モードに従って、前記第２の予測単位の予測画像を生成する予測部と、を備える画像処理装置を提供する。
【選択図】図１６

Description

本開示は、画像処理装置及び画像処理方法に関する。
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して画像の情報量を圧縮する、Ｈ．２６ｘ（ITU-T Q6/16 VCEG）標準及びＭＰＥＧ（Moving Picture Experts Group）−ｙ標準などの圧縮技術が普及している。ＭＰＥＧ４の活動の一環としてのJoint Model of Enhanced-Compression Video Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な、Ｈ．２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（Advanced Video Coding；ＡＶＣ）という名称の国際的な標準規格が策定された。
これら画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていたが、Ｈ．２６４／ＡＶＣでは、全ての画素成分についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
Ｈ．２６４／ＡＶＣでは、例えば、４×４画素、８×８画素又は１６×１６画素のブロックを１つの処理単位（即ち、予測単位（Prediction Unit：ＰＵ））として、イントラ予測が行われ得る。また、Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣ（High Efficiency Video Coding）では、予測単位のサイズは、３２×３２画素及び６４×６４画素にまで拡張されようとしている（下記非特許文献１参照）。
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、Ｈ．２６４／ＡＶＣの輝度成分の４×４画素及び８×８画素の予測単位については、８種類の予測方向（垂直、水平、斜め左下、斜め右下、垂直右、水平下、垂直左、水平上）及びＤＣ（平均値）予測に対応する９つの予測モードが選択可能であった（図２２、図２３参照）。１６×１６画素の予測単位については、２種類の予測方向（垂直、水平）、ＤＣ（平均値）予測及び平面予測に対応する４つの予測モードが選択可能であった（図２４参照）。ＨＥＶＣでは、上述したようにＰＵのサイズの範囲が拡張されるだけでなく、角度イントラ予測（Angular Intra Prediction）法が採用され、予測方向の候補の数もまた増加する（下記非特許文献２参照）。
一方で、上述した画像符号化方式において重要なもう１つの技術は、スケーラブル符号化（ＳＶＣ（Scalable Video Coding）ともいう）である。スケーラブル符号化とは、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal to Noise Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。
Sung-Chang Lim， Hahyun Lee， et al. "Intra coding using extended block size"（VCEG-AL28，2009年7月） Kemal Ugur， et al. "Description of video coding technology proposal by Tandberg, Nokia, Ericsson"（JCTVC-A119，2010年4月）
しかしながら、スケーラブル符号化においてレイヤごとに別々に予測モードを符号化することは、符号化効率の観点で最適ではない。下位レイヤの予測単位と上位レイヤの対応する予測単位との間で予測モードの候補のセットが等しければ、下位レイヤに設定された予測モードを上位レイヤで再利用することができる。しかし、レイヤ間でブロックサイズが異なるいくつかのケースでは、予測モードの候補のセットが異なるため、予測モードを単純に再利用することはできない。このような状況は、ブロックサイズの範囲が拡張され予測モードの候補のセットも多様化するＨＥＶＣでは、一層顕著となる。
従って、スケーラブル符号化においてイントラ予測の予測モードをより効率的に符号化できる仕組みが提供されることが望ましい。
本開示によれば、第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定するモード設定部と、前記モード設定部により設定される予測モードに従って、前記第２の予測単位の予測画像を生成する予測部と、を備える画像処理装置が提供される。
上記画像処理装置は、典型的には、スケーラブル符号化された画像を復号する画像復号装置として実現され得る。
また、本開示によれば、第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定することと、設定された予測モードに従って、前記第２の予測単位の予測画像を生成することと、を含む画像処理方法が提供される。
また、本開示によれば、第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定するモード設定部と、前記モード設定部により設定される予測モードに従って、前記第２の予測単位の予測画像を生成する予測部と、を備える画像処理装置が提供される。
上記画像処理装置は、典型的には、画像をスケーラブル符号化する画像符号化装置として実現され得る。
また、本開示によれば、第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定することと、設定された予測モードに従って、前記第２の予測単位の予測画像を生成することと、を含む画像処理方法が提供される。
本開示によれば、スケーラブル符号化においてイントラ予測の予測モードをより効率的に符号化できる仕組みが提供される。
一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 空間スケーラビリティについて説明するための説明図である。 一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。 ＨＥＶＣの角度イントラ予測法において選択可能な予測方向の候補について説明するための説明図である。 ＨＥＶＣの角度イントラ予測法における参照画素値の計算について説明するための説明図である。 予測モードの拡張の際に生成されるパラメータについて説明するための説明図である。 予測モードの拡張の際に生成されるパラメータの変形例について説明するための第１の説明図である。 予測モードの拡張の際に生成されるパラメータの変形例について説明するための第２の説明図である。 予測モードの集約について説明するための第１の説明図である。 予測モードの集約について説明するための第２の説明図である。 予測モードの集約の変形例について説明するための説明図である。 MostProbableModeによる予測モードの予測について説明するための説明図である。 一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。 図１２の予測モード拡張処理の詳細な流れの一例を示すフローチャートである。 図１２の予測モード集約処理の詳細な流れの第１の例を示すフローチャートである。 図１２の予測モード集約処理の詳細な流れの第２の例を示すフローチャートである。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。 一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 Ｈ．２６４／ＡＶＣにおける４×４画素の予測単位の輝度成分についての予測モードの候補のセットを示す説明図である。 ８×８画素の予測単位の輝度成分についての予測モードの候補のセットを示す説明図である。 １６×１６画素の予測単位の輝度成分についての予測モードの候補のセットを示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
４．一実施形態に係る復号時の処理の流れ
５．応用例
６．まとめ
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０を備える。
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。
並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０に供給する。
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０から出力されるコスト関数値の大きさに応じて切り替える。
動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
イントラ予測部４０は、並び替えバッファ１２から入力される原画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部４０は、最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
本実施形態においてイントラ予測部４０により選択可能な予測モードの候補の数は、予測単位のブロックサイズに応じて異なる。例えば、上述した角度イントラ予測法が採用される場合には、ブロックサイズ別の予測モードの候補の数は、次の表１の通りとなる。
Figure 2013012846
即ち、ブロックサイズが４×４画素の場合、予測モードの候補（Possible Intra Prediction Modes）の数は１７個である。このうち、ＤＣ予測に対応する予測モードを除く１６個の予測モードは、参照画素から予測対象画素への１６種類の予測方向の候補（Possible Prediction Directions）にそれぞれ対応する。ブロックサイズが８×８画素の場合、予測モードの候補の数は３４個である。このうち、ＤＣ予測に対応する予測モードを除く３３個の予測モードは、参照画素から予測対象画素への３３種類の予測方向の候補にそれぞれ対応する。ブロックサイズが１６×１６画素又は３２×３２画素の場合も、同様に、予測モードの候補は３４個、予測方向の候補は３３種類存在する。ブロックサイズが６４×６４画素の場合、予測モードの候補の数は３個である。このうち、ＤＣ予測に対応する予測モードを除く２つの予測モードは、参照画素から予測対象画素への２種類の予測方向の候補（垂直方向及び水平方向）にそれぞれ対応する
画像符号化装置１０は、ここで説明した一連の符号化処理を、スケーラブル符号化される画像の複数のレイヤの各々について繰り返す。最初に符号化されるレイヤは、ベースレイヤ（base layer）と呼ばれる、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、符号化効率を高めるためにベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤは、３つ以上であってもよい。その場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。本明細書では、依存関係を有する少なくとも２つのレイヤのうち、依存される側のレイヤを下位レイヤ（lower layer）、依存する側のレイヤを上位レイヤ（upper layer）という。
画像符号化装置１０によるスケーラブル符号化に際しては、イントラ予測の予測モードを効率的に符号化するために、イントラ予測ブロックにおいて、下位レイヤの予測モードに基づく上位レイヤの予測モードの予測が行われる。図１に示したイントラ予測部４０のモードバッファ４４は、下位レイヤの予測モード情報を一時的に記憶するために設けられる。レイヤ間でイントラ予測モードの候補の数が等しい場合には、下位レイヤの予測単位に設定された予測モードと同じ予測モードが、上位レイヤの対応する予測単位にそのまま設定されてよい。しかし、例えば空間スケーラビリティ又はクロマフォーマットスケーラビリティが採用される場合には、互いに対応する２つの予測単位のブロックサイズが異なるケースが存在することから、レイヤ間でイントラ予測モードの候補の数が異なる状況が発生し得る。
図２は、空間スケーラビリティの一例として、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。この場合、レイヤＬ２の予測単位Ｂ２のブロックサイズは、レイヤＬ１の対応する予測単位Ｂ１のブロックサイズの（一辺において）２倍である。レイヤＬ３の予測単位Ｂ３のブロックサイズは、レイヤＬ２の対応する予測単位Ｂ２のブロックサイズの２倍であり、レイヤＬ１の対応する予測単位Ｂ１のブロックサイズの４倍である。
例えば、表１の例において、下位レイヤのブロックサイズが４×４画素であって、上位レイヤのブロックサイズが８×８画素、１６×１６画素又は３２×３２画素である場合には、下位レイヤの予測モードの候補の数は、上位レイヤの予測モードの候補の数よりも少ない。一方で、下位レイヤのブロックサイズが３２×３２画素であって、上位レイヤのブロックサイズが６４×６４画素である場合には、下位レイヤの予測モードの候補の数は、上位レイヤの予測モードの候補の数よりも多い。本実施形態に係る画像符号化装置１０のイントラ予測部４０は、そのような状況において、次項で詳しく説明するように、予測モードを拡張し又は集約することにより、下位レイヤの予測モードに基づいて上位レイヤの予測モードを予測する。
なお、上位レイヤの予測単位に対応する下位レイヤの予測単位とは、例えば、上位レイヤの予測単位の所定の位置（例えば、左上）の画素に対応する画素を有する、下位レイヤの予測単位であってよい。このような定義により、下位レイヤの複数の予測単位を統合するような上位レイヤの予測単位が存在したとしても、上位レイヤの予測単位に対応する下位レイヤの予測単位を一意に決定することができる。
また、本明細書では、イントラ予測部４０において上述した角度イントラ予測法が用いられる例について主に説明する。しかしながら、本開示に係る技術は、かかる例に限定されず、スケーラブル符号化の際にレイヤ間でイントラ予測モードの候補の数が異なる状況において一般に適用可能である。
［１−２．イントラ予測部の構成例］
図３は、図１に示した画像符号化装置１０のイントラ予測部４０の詳細な構成の一例を示すブロック図である。図３を参照すると、イントラ予測部４０は、モード設定部４１、予測部４２、モード判定部４３、モードバッファ４４及びパラメータ生成部４５を有する。
ベースレイヤのイントラ予測処理において、モード設定部４１は、複数の予測モードの候補の各々を符号化単位内の１つ以上の予測単位に順次設定する。予測部４２は、モード設定部４１により設定される予測モードの候補に従い、フレームメモリ２５から入力される参照画像データを用いて、各予測単位の予測画像を生成する。モード判定部４３は、並び替えバッファ１２から入力される原画像データと予測部４２から入力される予測画像データとに基づいて、予測モードの各候補についてコスト関数値を算出する。そして、モード判定部４３は、算出したコスト関数値に基づき、最適な符号化単位内の予測単位の配置と最適な予測モードとを判定する。モードバッファ４４は、決定された最適な予測モードを表す予測モード情報を、上位レイヤでの処理のために記憶媒体を用いて一時的に記憶する。パラメータ生成部４５は、モード判定部４３により最適であると判定された予測単位の配置及び予測モードを表すパラメータを生成する。そして、モード判定部４３は、パラメータ生成部４５により生成されたパラメータを含むイントラ予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。
図４は、このようなイントラ予測において、角度イントラ予測法が用いられる場合に選択可能な予測方向の候補について説明するための説明図である。図４に示した画素Ｐ１は、予測対象画素である。画素Ｐ１が属するブロックの周囲の網掛けされた画素は、参照画素である。ブロックサイズが４×４画素である場合には、図中で実線（太線及び細線の双方）で示された、参照画素と予測対象画素とを結ぶ１７種類の予測方向（に対応する予測モード）が、（ＤＣ予測に加えて）選択可能である。ブロックサイズが８×８画素、１６×１６画素又は３２×３２画素である場合には、図中で点線並びに実線（太線及び細線の双方）で示された３３種類の予測方向（に対応する予測モード）が、（ＤＣ予測及び平面予測に加えて）選択可能である。ブロックサイズが６４×６４画素である場合には、図中で太線で示された２種類の予測方向（に対応する予測モード）が、（ＤＣ予測に加えて）選択可能である。図３に示したモード設定部４１は、各予測単位のサイズに応じてこれら複数の予測モードの候補を各予測単位に設定する。
なお、上述した角度イントラ予測法では、予測方向の角度の分解能が高く、例えば８×８画素の場合の隣り合う予測方向の間の角度の差は、１８０度／３２＝５．６２５度である。従って、予測部４２は、図５に示すような１／８画素精度の参照画素値をまず計算し、計算した参照画素値を用いて、予測モードの各候補に従って予測画素値を計算する。
エンハンスメントレイヤのイントラ予測処理は、主に予測方向の再利用、予測方向の拡張及び予測方向の集約の３種類に分類される。本実施形態において、予測方向の再利用は、下位レイヤの予測モードの候補の数が上位レイヤの予測モードの候補の数と等しい場合に行われ得る。予測方向の拡張は、下位レイヤの予測モードの候補の数が上位レイヤの予測モードの候補の数よりも少ない場合に行われ得る。予測方向の集約は、下位レイヤの予測モードの候補の数が上位レイヤの予測モードの候補の数よりも多い場合に行われ得る。なお、かかる例に限定されず、例えば、下位レイヤの予測モードの候補の数が上位レイヤの予測モードの候補の数よりも少ない場合に、予測方向の拡張ではなく予測方向の再利用が行われてもよい。
（１）予測方向の再利用
エンハンスメントレイヤのイントラ予測処理において、下位レイヤ及び上位レイヤの予測モードの候補の数が等しい場合には、モード設定部４１は、モードバッファ４４に記憶されている予測モード情報が示す予測モードを再利用する。即ち、この場合、モード設定部４１は、上位レイヤの各予測単位に、下位レイヤの対応する予測単位に設定された予測モードと同じ予測モードを設定する。予測部４２は、モード設定部４１により設定された当該１つの予測モードに従って、各予測単位の予測画像を生成する。予測方向の再利用が行われる場合には、モード判定部４３におけるコスト関数値に基づく最適な予測モードの判定は省略される（コスト関数値は算出され得る）。モードバッファ４４は、さらなる上位レイヤが存在する場合には、モード設定部４１により設定された予測モードを表す予測モード情報を記憶する。
（２）予測方向の拡張
下位レイヤの予測モードの候補の数が上位レイヤの予測モードの候補の数よりも少ない場合には、モード設定部４１は、上位レイヤの各予測単位に、下位レイヤの対応する予測単位に設定された予測モードに基づいて選択される予測モードの各候補を順次設定する。
通常、空間解像度のみが異なる２つのレイヤの対応するブロックの間では、同じ位置の部分画像は互いに相関を有する。従って、下位レイヤのあるブロックにおいて最適な予測モードは、上位レイヤの対応するブロックにおいても最適である可能性が高い。しかし、上位レイヤの方が予測方向の角度の分解能が高い場合には、分解能の差に起因して、最適な予測モードに違いが生じる可能性がある。従って、この場合、予測モードを単純に再利用するのではなく、上位レイヤにおいて最適な予測モードをあらためて探索することにより、予測精度を向上させて符号化効率を高めることができる。予測モードの探索の範囲は、処理コストを削減するために、下位レイヤにおいて設定された予測方向の近傍のいくつかの予測方向に制限されてもよい。
予測部４２は、モード設定部４１により設定される予測モードの各候補に従い、フレームメモリ２５から入力される参照画像データを用いて、各予測単位の予測画像を生成する。モード判定部４３は、原画像データと予測部４２から入力される予測画像データとに基づいて、予測モードの各候補についてコスト関数値を算出する。そして、モード判定部４３は、算出したコスト関数値に基づき、最適な予測モードを判定する。モードバッファ４４は、さらなる上位レイヤが存在する場合には、モード判定部４３により決定された最適な予測モードを表す予測モード情報を記憶する。
パラメータ生成部４５は、下位レイヤにおいて設定された予測モードとモード判定部４３により決定された最適な予測モードとの間の予測方向の差に応じて符号化される、図６に例示されるようなパラメータＰ１を生成する。
図６を参照すると、互いに対応する下位レイヤの予測単位Ｂ１及び上位レイヤの予測単位Ｂ２が示されている。一例として、予測単位Ｂ１のサイズは４×４画素、予測単位Ｂ２のサイズは８×８画素である。予測方向ＤＬは、予測単位Ｂ１に設定された予測モードの予測方向である。予測単位Ｂ２に設定され得る予測モードの予測方向の候補は、予測方向ＤＵ０、ＤＵ１、ＤＵ２、ＤＵ３、ＤＵ４…を含む。隣り合う２つの予測方向の候補の間の角度の差は、θである。
図６の右のテーブルに示したように、パラメータＰ１は、上記予測方向の差の絶対値が小さいほどより小さい符号番号で符号化される。例えば、予測単位Ｂ２に設定される最適な予測モードが予測方向ＤＵ０を表す予測モードであれば、角度の差はゼロであり、パラメータＰ１は符号番号“０”で符号化される。予測単位Ｂ２に設定される最適な予測モードが予測方向ＤＵ１又はＤＵ２を表す予測モードであれば、角度の差はθ又は−θであり、パラメータＰ１は符号番号“１”又は“２”で符号化される。予測単位Ｂ２に設定される最適な予測モードが予測方向ＤＵ３又はＤＵ４を表す予測モードであれば、角度の差は２θ又は−２θであり、パラメータＰ１は符号番号“３”又は“４”で符号化される。より小さい符号番号は、可逆符号化部１６においてより短い符号語にマッピングされる。従って、パラメータＰ１に関し、このように予測方向の（角度における）差が小さいほどより小さい符号番号を用いることで、上位レイヤにおいてより発生頻度の高い予測モードをより短い符号語にマッピングさせ、符号化効率を高めることができる。
図６の例では、正負のみが異なる予測方向の差のうち、下位レイヤから上位レイヤにかけて予測方向を時計回りに回転させる方に、より小さい符号番号が割り当てられている。このように、予測方向の差の絶対値が等しい２つの予測モードについては、予め定義されるいずれかの予測モードに、より小さい符号番号が割り当てられてよい。その代わりに、図７Ａ及び図７Ｂに例示されるように、いずれの予測モードを選択した場合に上位レイヤの予測方向が特定の方向（例えば、垂直方向又は水平方向など）により近づくかが動的に判定され、当該特定の方向により近づく方の予測方向に、より小さい符号番号が割り当てられてもよい。
図７Ａを参照すると、画像Ｉｍ１の上位レイヤの予測単位に設定され得る予測モードの予測方向の候補ＤＵ０、ＤＵ１、ＤＵ２…が示されている。下位レイヤに設定された予測モードの予測方向は予測方向ＤＬである。ここで、画像Ｉｍ１のアスペクト比（垂直／水平）Ｖ／Ｈは１よりも小さい（即ち、水平方向のサイズが垂直方向のサイズよりも大きい）。このような横長の画像では、より水平方向に近い予測方向でイントラ予測を行う方が予測精度が高くなる傾向がある。そこで、この場合、予測方向の差の絶対値が等しい２つの予測モードについて、上位レイヤの予測方向が水平方向により近づく方に、より小さい符号番号が割り当てられることが望ましい。図７Ａの例では、予測方向ＤＵ１の方が予測方向ＤＵ２よりも水平方向に近い。従って、図７Ａの右のテーブルにおいて、予測方向ＤＵ１を表す予測モードについてパラメータＰ１は符号番号“１”で符号化され、予測方向ＤＵ２を表す予測モードについてパラメータＰ１は符号番号“２”で符号化される。一方、図７Ｂの例では、画像Ｉｍ２のアスペクト比Ｖ／Ｈは１よりも大きい（即ち、水平方向のサイズが垂直方向のサイズよりも小さい）。そこで、この場合、予測方向の差の絶対値が等しい２つの予測モードについて、上位レイヤの予測方向が垂直方向により近づく方に、より小さい符号番号が割り当てられることが望ましい。従って、図７Ｂの右のテーブルにおいて、予測方向ＤＵ２を表す予測モードについてパラメータＰ１は符号番号“１”で符号化され、予測方向ＤＵ１を表す予測モードについてパラメータＰ１は符号番号“２”で符号化される。このようなパラメータＰ１についての角度差と符号番号とのマッピングは、符号化される画像のアスペクト比に応じて適応的に決定されてもよい。
（３）予測方向の集約
下位レイヤの予測モードの候補の数が上位レイヤの予測モードの候補の数よりも多い場合には、モード設定部４１は、上位レイヤの各予測単位に、下位レイヤの対応する予測単位に設定された予測モードに基づいて選択される予測モードを設定する。
上述したように、通常、空間解像度のみが異なる２つのレイヤのうち下位レイヤのある予測単位において最適な予測モードは、上位レイヤの対応する予測単位においても最適である可能性が高い。しかし、下位レイヤの予測モードの候補の数の方が多い場合には、下位レイヤと同じ予測方向を表す予測モードが上位レイヤにおいて選択可能でない可能性がある。従って、この場合、モード設定部４１は、予測モードを単純に再利用するのではなく、上位レイヤにおいて最適な予測モードを下位レイヤにおいて設定された予測モードから予測する。本実施形態において、この場合に最適であると予測される予測モードは、下位レイヤにおいて設定された予測モードの予測方向に最も近い予測方向を表す、上位レイヤの予測モードである。下位レイヤの予測方向に最も近い予測方向を表す予測モードが上位レイヤについての予測モードの候補内に複数存在する場合には、最適な予測モードを一意に選択するためのいくつかの手法が考えられる。
図８及び図９を参照すると、互いに対応する下位レイヤの予測単位Ｂ１及び上位レイヤの予測単位Ｂ２が示されている。一例として、予測単位Ｂ１のサイズは３２×３２画素、予測単位Ｂ２のサイズは６４×６４画素である。予測方向ＤＬは、予測単位Ｂ１に設定された予測モードの予測方向である。予測単位Ｂ２に設定され得る予測モードの予測方向の候補は、予測方向ＤＵ１及びＤＵ２を含む。図８の例では、予測方向ＤＵ１の方が、予測方向ＤＵ２よりも下位レイヤの予測方向ＤＬにより近い。従って、モード設定部４１は、予測方向ＤＵ１を表す予測モードを予測単位Ｂ２に設定し得る。一方、図９の例では、予測方向ＤＵ１及びＤＵ２は、下位レイヤの予測方向ＤＬから等距離にある。この場合、モード設定部４１は、１つの手法として、平均値（ＤＣ）予測を表す予測モードを予測単位Ｂ２に設定し得る。
モード設定部４１は、最適な予測モードを一意に選択できない場合に、図９の例のように平均値予測を選択する代わりに、予め定義される条件に従って、上位レイヤの予測単位に設定すべき予測モードを選択してもよい。予め定義される条件とは、例えば、所定の回転方向（時計回り又は反時計回り）に予測方向を回転させる、という条件であってもよい。例えば、図９の例において、予測方向ＤＬを時計回りに回転させて導かれる予測方向ＤＵ１が、予測単位Ｂ２に設定されてもよい。また、予め定義される条件とは、例えば、符号番号のより小さい予測方向を選択する、という条件であってもよい。これらのように、上位レイヤに設定すべき予測モードを選択するための条件を符号化側と復号側との間で合意しておくことにより、スケーラブル符号化される上位レイヤの画像データを、特別なパラメータを要することなく正しく復号することができる。
予測部４２は、モード設定部４１により設定される予測モードに従い、フレームメモリ２５から入力される参照画像データを用いて、各予測単位の予測画像を生成する。この場合、モード判定部４３におけるコスト関数値に基づく最適な予測モードの判定は省略される（コスト関数値は算出され得る）。モードバッファ４４は、さらなる上位レイヤが存在する場合には、モード設定部４１により設定された予測モードを表す予測モード情報を記憶する。
なお、最適な予測モードを一意に選択するための他の手法として、予測モードの集約の際にも最適な予測モードの探索が行われてよい。かかる変形例において、モード設定部４１は、下位レイヤの予測方向に最も近い予測方向を表す予測モードが上位レイヤについての予測モードの候補内に複数存在する場合に、上位レイヤの各予測単位に当該複数の（通常は２つの）予測モードの候補の各々を順次設定する。予測部４２は、モード設定部４１により設定される予測モードの各候補に従い、フレームメモリ２５から入力される参照画像データを用いて、各予測単位の予測画像を生成する。モード判定部４３は、原画像データと予測部４２から入力される予測画像データとに基づいて、予測モードの各候補についてコスト関数値を算出する。そして、モード判定部４３は、算出したコスト関数値に基づき、最適な予測モードを判定する。モードバッファ４４は、さらなる上位レイヤが存在する場合には、モード判定部４３により決定された最適な予測モードを表す予測モード情報を記憶する。
パラメータ生成部４５は、モード判定部４３により決定された最適な予測モードを特定する、図１０に例示されるようなパラメータＰ２を生成し得る。図１０の例において、予測方向ＤＬは、下位レイヤの予測単位Ｂ１に設定された予測モードの予測方向である。予測単位Ｂ２に設定され得る予測モードの予測方向の候補は、予測方向ＤＵａ及びＤＵｂを含み、予測方向ＤＬを含まない。予測方向ＤＵａ及びＤＵｂは、下位レイヤの予測方向ＤＬから等距離にある。この場合、パラメータ生成部４５は、モード判定部４３により決定された最適な予測モードを表す（符号番号“０”又は“１”で符号化される）１ビットのパラメータＰ２を生成し得る。
予測方向の拡張及び集約の双方において、パラメータ生成部４５により生成されるパラメータは、それぞれイントラ予測に関する情報の１つとして可逆符号化部１６により符号化され、符号化ストリームのヘッダ領域内で復号側へ伝送され得る。
（４）MostProbableMode
モード設定部４１は、予測モード情報を符号化することによる符号量の増加を抑制するために、参照ブロックに設定された予測モード（予測方向）から、予測対象ブロックにとって最適な予測モード（予測方向）を推定してもよい。この場合、推定される予測モード（以下、推定予測モードという）とコスト関数値を用いて選択される最適な予測モードとが等しいときは、予測モードを推定可能であることを示す情報のみが予測モード情報として符号化され得る。予測モードを推定可能であることを示す情報とは、例えば、Ｈ．２６４／ＡＶＣにおける「MostProbableMode」に相当する。
Ｈ．２６４／ＡＶＣでは、MostProbableModeの決定において、予測対象ブロックである予測単位の上の予測単位及び左の予測単位が参照ブロックとして使用される。MostProbableModeによって推定される推定予測モードのモード番号をＭｃ、左の参照ブロック及び上の参照ブロックの予測モードのモード番号をそれぞれＭａ及びＭｂとすると、Ｈ．２６４／ＡＶＣにおける推定予測モードのモード番号Ｍｃは次のように決定される：
Ｍｃ＝ｍｉｎ（Ｍａ，Ｍｂ）
これに対し、本実施形態では、モード設定部４１は、例えば、上位レイヤの予測単位に対応する下位レイヤの予測単位をもMostProbableModeの決定において参照することができる。但し、上位レイヤの予測単位と下位レイヤの参照ブロックである予測単位との間でブロックサイズが異なる場合には、下位レイヤの予測単位の予測モードのモード番号をそのまま利用することは適切でない。そこで、モード設定部４１は、上述した予測モードの拡張及び集約の考え方に従って下位レイヤの予測単位の予測モードを上位レイヤの予測モードの候補内の予測モードに変換した上で、MostProbableModeを決定する。例えば、図１１に示したように、下位レイヤの予測単位の予測モードのモード番号Ｍｌが上位レイヤの予測モードのモード番号Ｍｕに変換されたものとする。モード設定部４１は、上位レイヤの予測単位の推定予測モードのモード番号Ｍｃを、左及び上の参照ブロックの予測モードのモード番号Ｍａ及びＭｂ並びに下位レイヤの予測単位の変換後の予測モードのモード番号Ｍｕを用いて、次のように決定し得る：
Ｍｃ＝ｍｉｎ（Ｍａ，Ｍｂ，Ｍｕ）
なお、この式の代わりに他の式が用いられてもよい。
MostProbableModeによって推定される推定予測モードが最適な予測モードである場合には、パラメータ生成部４５により予測モードを推定可能であることを示すパラメータが生成され、生成されたパラメータが可逆符号化部１６により符号化され得る。
このように、上述した予測モードの拡張及び集約の考え方を応用して下位レイヤの予測モードをもMostProbableModeの決定に際して参照することで、レイヤ間の画像の相関を利用した高い精度での予測モードの推定が可能となる。
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図１２〜図１４Ｂを用いて、符号化時の処理の流れを説明する。
図１２は、図３に例示した構成を有するイントラ予測部４０によるイントラ予測処理の流れの一例を示すフローチャートである。図１３は、予測モード拡張処理の詳細な流れの一例を示すフローチャートである。図１４Ａ及び図１４Ｂは、予測モード集約処理の詳細な流れの第１の例及び第２の例をそれぞれ示すフローチャートである。
図１２を参照すると、まず、イントラ予測部４０は、ベースレイヤのイントラ予測処理を行う（ステップＳ１００）。その結果、各符号化単位内の予測単位の配置が決定され、各予測単位に下位レイヤにおいて最適な予測モードが設定される。モードバッファ４４は、各予測単位の最適な予測モードを表す予測モード情報をバッファリングする。
ステップＳ１１０〜Ｓ１６０の処理は、エンハンスメントレイヤのイントラ予測処理である。これら処理のうちステップＳ１１０〜Ｓ１５０の処理は、各エンハンスメントレイヤの各ブロック（各予測単位）について繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、モード設定部４１は、上位レイヤの注目ＰＵの候補予測モード数ＮＵ及び下位レイヤの対応するＰＵの候補予測モード数ＮＬを各ＰＵのブロックサイズから識別し、これら候補予測モード数ＮＵ及びＮＬを比較する（ステップＳ１１０）。例えば、ＮＬ＝ＮＵである場合には、処理はステップＳ１２０へ進む（ステップＳ１１２）。ＮＬ＜ＮＵである場合には、処理はステップＳ１３０へ進む（ステップＳ１１４）。ＮＬ＞ＮＵである場合には、処理はステップＳ１４０へ進む。
ステップＳ１２０において、モード設定部４１は、下位レイヤの対応するＰＵに設定された予測モードと同じ予測モードを注目ＰＵに設定する（即ち、予測モードが再利用される）。そして、予測部４２は、設定された予測モードに従って、注目ＰＵの予測画像を生成する（ステップＳ１２０）。
一方、ステップＳ１３０では、図１３に例示する予測モード拡張処理が行われる。ステップＳ１４０では、図１４Ａ及び図１４Ｂに例示する予測モード集約処理が行われる。
図１３の予測モード拡張処理において、ステップＳ１３２及びＳ１３３の処理は、上位レイヤの予測モードの各候補について繰り返される（ステップＳ１３１）。まず、モード設定部４１により注目ＰＵに設定される予測モードの候補に従って、予測部４２により注目ＰＵの予測画像が生成される（ステップＳ１３２）。そして、モード判定部４３により、予測画像データ及び原画像データを用いて、コスト関数値が計算される（ステップＳ１３３）。ループが終了すると、モード判定部４３は、複数の予測モードの候補について算出されたコスト関数値を比較することにより、最適な予測モードを選択する（ステップＳ１３４）。そして、パラメータ生成部４５は、選択された最適な予測モードを特定するための、レイヤ間の予測方向の差に応じたパラメータＰ１を生成する（ステップＳ１３５）。
図１４Ａの予測モード集約処理の第１の例において、まず、モード設定部４１は、下位レイヤの対応するＰＵの予測方向に最も近い予測方向が上位レイヤの予測方向の候補内に複数存在するかを判定する（ステップＳ１４１）。ここで、最も近い予測方向が複数存在する場合には、モード設定部４１は、平均値（ＤＣ）予測モード、又は予め定義される条件に従って選択される予測モードを、注目ＰＵに設定する（ステップＳ１４２）。一方、最も近い予測方向が１つのみ存在する場合には、モード設定部４１は、当該１つの予測方向を表す予測モードを注目ＰＵに設定する（ステップＳ１４３）。そして、予測部４２は、設定された予測モードに従って、注目ＰＵの予測画像を生成する（ステップＳ１４４）。
図１４Ｂの予測モード集約処理の第２の例において、まず、モード設定部４１は、下位レイヤの対応するＰＵの予測方向に最も近い予測方向が上位レイヤの予測方向の候補内に複数存在するかを判定する（ステップＳ１４１）。最も近い予測方向が１つのみ存在する場合に行われる処理は、図１４Ａの第１の例と同様である（ステップＳ１４３、Ｓ１４４）。一方、最も近い予測方向が複数存在する場合には、それら複数の予測方向の各々について、ステップＳ１４６及びＳ１４７の処理が繰り返される（ステップＳ１４５）。まず、各予測方向を表す予測モードの候補に従って、予測部４２により注目ＰＵの予測画像が生成される（ステップＳ１４６）。そして、モード判定部４３により、予測画像データ及び原画像データを用いて、コスト関数値が計算される（ステップＳ１４７）。ループが終了すると、モード判定部４３は、複数の予測モードの候補について算出されたコスト関数値を比較することにより、最適な予測モードを選択する（ステップＳ１４８）。そして、パラメータ生成部４５は、選択された最適な予測モードを特定するためのパラメータＰ２を生成する（ステップＳ１４９）。
図１２に戻り、イントラ予測部４０によるエンハンスメントレイヤのイントラ予測処理の流れの説明を継続する。
ステップＳ１２０、Ｓ１３０又はＳ１４０において注目ＰＵに予測モードが設定され、予測画像が生成された後、予測対象のレイヤ内に未処理のＰＵが残っている場合には、処理はステップＳ１１０に戻る（ステップＳ１５０）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ１６０）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ１１０以降の処理が繰り返される。予測モード情報は、モードバッファ４４によりバッファリングされる。残りのレイヤが存在しない場合には、図１２のイントラ予測処理は終了する。なお、ここで生成された予測画像データ及び（パラメータＰ１、Ｐ２を含み得る）インター予測に関する情報は、スイッチ２７を介して、モード判定部４３から減算部１３及び可逆符号化部１６へそれぞれ出力され得る。
＜３．一実施形態に係る画像復号装置の構成例＞
本節では、図１５及び図１６を用いて、本発明の一実施形態に係る画像復号装置の構成例について説明する。
［３−１．全体的な構成例］
図１５は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１５を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０を備える。
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０へ出力する。
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。
動き補償部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。イントラ予測部９０により選択可能な予測モードの候補の数は、予測単位のブロックサイズに応じて異なる。例えば、上述した角度イントラ予測法が採用される場合には、ブロックサイズ別の予測モードの候補の数は、上述した表１の通りとなる。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０によるイントラ予測処理について、後により詳細に説明する。
画像復号装置６０は、ここで説明した一連の復号処理を、スケーラブル符号化された画像の複数のレイヤの各々について繰り返す。最初に復号されるレイヤは、ベースレイヤである。ベースレイヤが復号された後、１つ以上のエンハンスメントレイヤが復号される。エンハンスメントレイヤの復号に際しては、ベースレイヤ又は他のエンハンスメントレイヤである下位レイヤを復号することにより得られた情報が用いられる。
画像復号装置６０によるスケーラブル復号に際しては、予測単位において、下位レイヤの予測モードに基づく上位レイヤの予測モードの予測が行われる。ここでの予測モードの予測とは、上で詳しく説明した予測モードの再利用、予測モードの拡張及び予測モードの集約を含み得る。図１５に示したイントラ予測部９０のモードバッファ９３は、予測モードの予測の際の下位レイヤの予測モード情報を一時的に記憶するために設けられる。
［３−２．イントラ予測部の構成例］
図１６は、図１５に示した画像復号装置６０のイントラ予測部９０の詳細な構成の一例を示すブロック図である。図１６を参照すると、イントラ予測部９０は、パラメータ取得部９１、モード設定部９２、モードバッファ９３及び予測部９４を有する。
ベースレイヤのイントラ予測処理において、パラメータ取得部９１は、可逆復号部６２により復号されるイントラ予測に関する情報を取得する。ベースレイヤについてのイントラ予測に関する情報は、例えば、各符号化単位内の予測単位の配置を特定する情報と各予測単位の予測モード情報とを含み得る。モード設定部９２は、パラメータ取得部９１により取得される情報に基づいて、各符号化単位内に予測単位を配置し、さらに各予測単位に予測モードを設定する。モードバッファ９３は、各予測単位に設定された予測モードを示す予測モード情報を一時的に記憶する。予測部９４は、モード設定部９２により設定される予測モードに従い、フレームメモリ６９から入力される参照画像データを用いて、各予測単位の予測画像を生成する。そして、予測部９４は、予測画像データを加算部６５へ出力する。
エンハンスメントレイヤのイントラ予測処理は、主に予測方向の再利用、予測方向の拡張及び予測方向の集約の３種類に分類される。
（１）予測方向の再利用
エンハンスメントレイヤのイントラ予測処理において、下位レイヤ及び上位レイヤの予測モードの候補の数が等しい場合には、追加的なパラメータは取得されない。モード設定部９２は、モードバッファ９３に記憶されている予測モード情報が示す予測モードを再利用する。即ち、この場合、モード設定部９２は、上位レイヤの各予測単位に、下位レイヤの対応する予測単位に設定された予測モードと同じ予測モードを設定する。予測部９４は、モード設定部９２により設定された予測モードに従って、各予測単位の予測画像を生成する。モードバッファ９３は、さらなる上位レイヤが存在する場合には、モード設定部９２により設定された予測モードを表す予測モード情報を記憶する。
（２）予測方向の拡張
下位レイヤの予測モードの候補の数が上位レイヤの予測モードの候補の数よりも少ない場合には、パラメータ取得部９１は、上位レイヤの予測単位と対応する下位レイヤの予測単位との間の予測方向の差に応じて符号化される上述したパラメータＰ１を取得する。パラメータＰ１は、予測方向の差の絶対値が小さいほどより小さい符号番号で符号化されたパラメータである。例えば、パラメータＰ１に相当する符号語が最も短い符号語である場合には、図１５に示した可逆復号部６２により、当該符号語が符号番号“０”ゼロにマッピングされる。そして、図６、図７Ａ又は図７Ｂに例示した符号番号テーブルに従って、符号番号“０”は予測方向の差がゼロであることを示すと解釈される。この場合、モード設定部９２は、下位レイヤの対応する予測単位に設定された予測モードと同じ予測方向を表す予測モードを、上位レイヤの予測単位に設定し得る。一方、パラメータＰ１の符号番号が“１”以上である場合には、モード設定部９２は、当該符号番号に対応する予測方向の差に従って選択される予測方向を表す予測モードを、上位レイヤの予測単位に設定し得る。その際、予測方向の差の正負は、図７Ａ及び図７Ｂを用いて説明したように、復号される画像のアスペクト比に応じて解釈されてもよい。予測部９４は、モード設定部９２により設定された予測モードに従って、各予測単位の予測画像を生成する。モードバッファ９３は、さらなる上位レイヤが存在する場合には、モード設定部９２により設定された予測モードを表す予測モード情報を記憶する。
（３）予測方向の集約
下位レイヤの予測モードの候補の数が上位レイヤの予測モードの候補の数よりも多い場合には、パラメータ取得部９１は、追加的なパラメータＰ２を取得してもよく、又は追加的なパラメータを取得しなくてもよい。
追加的なパラメータが取得されない場合には、モード設定部９２は、上位レイヤの予測単位に、下位レイヤの対応する予測単位に設定された予測モードのみに基づいて選択される予測モードを設定する。典型的には、上位レイヤの予測単位に設定される予測モードは、下位レイヤの対応する予測単位の予測方向に最も近い予測方向を表す予測モードである。下位レイヤの予測方向に最も近い予測方向を表す予測モードが複数存在する場合には、モード設定部９２は、平均値予測を表す予測モードを上位レイヤの予測単位に設定してもよい。このような手法は、例えば、上位レイヤのブロックサイズが６４×６４画素である場合に採用され得る。その代わりに、モード設定部９２は、予め定義される条件に従って、上位レイヤの予測単位に設定される予測モードを選択してもよい。予め定義される条件とは、例えば、所定の回転方向に予測方向を回転させるという条件、又は符号番号のより小さい方を選択するという条件であってよい。
一方、予測モードの選択のための上述したパラメータＰ２が符号化されている場合には、パラメータ取得部９１は、当該パラメータＰ２を取得する。この場合、モード設定部９２は、下位レイヤの対応する予測単位に設定された予測モードの予測方向に最も近い予測方向を表す２つの予測モードのうち、パラメータＰ２により指定される予測モードを、予測単位に設定する。
いずれの場合にも、予測方向拡張処理と同様、予測部９４は、モード設定部９２により設定された予測モードに従って、各予測単位の予測画像を生成する。モードバッファ９３は、さらなる上位レイヤが存在する場合には、モード設定部９２により設定された予測モードを表す予測モード情報を記憶する。
（４）MostProbableMode
ある予測単位について、予測モードを推定可能であることを示す情報がイントラ予測に関する情報に含まれる場合には、モード設定部９２は、上述したMostProbableModeによって推定される予測モードを、当該予測単位に設定してもよい。本実施形態における予測モードの推定に際しては、左及び上の参照ブロックのみならず、下位レイヤの対応する予測単位に設定された予測モードに基づいて、MostProbableModeが決定され得る。但し、モード設定部９２は、上述した予測モードの拡張及び集約の考え方に従って下位レイヤの予測単位の予測モードを上位レイヤの予測モードの候補内の予測モードに変換した上で、MostProbableModeを決定する。例えば、ある予測単位の推定予測モードのモード番号Ｍｃは、左及び上の参照ブロックの予測モードのモード番号Ｍａ及びＭｂ並びに下位レイヤの予測単位の変換後の予測モードのモード番号Ｍｕを用いて、次のように決定され得る：
Ｍｃ＝ｍｉｎ（Ｍａ，Ｍｂ，Ｍｕ）
なお、この式の代わりに他の式が用いられてもよい。
＜４．一実施形態に係る復号時の処理の流れ＞
次に、図１７を用いて、復号時の処理の流れを説明する。図１７は、図１６に例示した構成を有するイントラ予測部９０によるイントラ予測処理の流れの一例を示すフローチャートである。
図１７を参照すると、まず、イントラ予測部９０は、ベースレイヤのイントラ予測処理を行う（ステップＳ２００）。その結果、ベースレイヤの予測画像が生成されると共に、各予測単位に設定された予測モードを表す予測モード情報がモードバッファ９３によりバッファリングされる。
ステップＳ２１０〜Ｓ２７０の処理は、エンハンスメントレイヤのイントラ予測処理である。これら処理のうちステップＳ２１０〜Ｓ２６０の処理は、各エンハンスメントレイヤの各ブロック（各予測単位）について繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、モード設定部９２は、上位レイヤの注目ＰＵの候補予測モード数ＮＵ及び下位レイヤの対応するＰＵの候補予測モード数ＮＬを各ＰＵのブロックサイズから識別し、これら候補予測モード数ＮＵ及びＮＬを比較する（ステップＳ２１０）。例えば、ＮＬ＝ＮＵである場合には、処理はステップＳ２２０へ進む（ステップＳ２１２）。ＮＬ＜ＮＵである場合には、処理はステップＳ２３０へ進む（ステップＳ２１４）。ＮＬ＞ＮＵである場合には、処理はステップＳ２４０へ進む。
ステップＳ２２０では、モード設定部９２は、下位レイヤの対応するＰＵに設定された予測モードと同じ予測モードを注目ＰＵに設定する（即ち、予測モードが再利用される）（ステップＳ２２０）。
ステップＳ２３０では、モード設定部９２は、下位レイヤの対応するＰＵに設定された予測モード及びパラメータ取得部９１により取得されるパラメータＰ１に基づいて選択される予測モードを、注目ＰＵに設定する（ステップＳ２３０）。
ステップＳ２４０では、モード設定部９２は、下位レイヤの対応するＰＵに設定された予測モード、及び、パラメータＰ２が符号化されている場合には当該パラメータＰ２、に基づいて選択される予測モードを、注目ＰＵに設定する（ステップＳ２４０）。
そして、予測部９４は、モード設定部９２により設定された予測モードに従い、フレームメモリ６９から入力される参照画像データを用いて、注目ＰＵの予測画像を生成する（ステップＳ２５０）。
注目ＰＵの予測画像が生成された後、予測対象のレイヤ内に未処理のＰＵ残っている場合には、処理はステップＳ２１０に戻る（ステップＳ２６０）。一方、未処理のＰＵが残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ２７０）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ２１０以降の処理が繰り返される。予測モード情報は、モードバッファ９３によりバッファリングされる。残りのレイヤが存在しない場合には、図１７のイントラ予測処理は終了する。なお、ここで生成された予測画像データは、スイッチ７１を介して加算部６５へ出力される。
＜５．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
［５−１．第１の応用例］
図１８は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像のスケーラブル復号に際して、より効率的に符号化されたエンハンスメントレイヤの画像データを復号することができる。
［５−２．第２の応用例］
図１９は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像のスケーラブル符号化及び復号に際して、より効率的にエンハンスメントレイヤの画像データを符号化し及びそうした画像データを復号することができる。
［５−３．第３の応用例］
図２０は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像のスケーラブル符号化及び復号に際して、より効率的にエンハンスメントレイヤの画像データを符号化し及びそうした画像データを復号することができる。
［５−４．第４の応用例］
図２１は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像のスケーラブル符号化及び復号に際して、より効率的にエンハンスメントレイヤの画像データを符号化し及びそうした画像データを復号することができる。
＜６．まとめ＞
ここまで、図１〜図２１を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。本実施形態によれば、画像のスケーラブル符号化及び復号に際して、上位レイヤの予測単位についてのイントラ予測モードの候補の数が下位レイヤの対応する予測単位についての予測モードの候補の数と異なる場合にも、下位レイヤの予測単位に設定された予測モードに基づいて選択される予測モードが、上位レイヤの予測単位に設定される。従って、上位レイヤの予測モード情報の符号化に伴う符号量を削減することができる。特に、ブロックサイズの範囲が拡張され予測モードの候補のセットも多様化するＨＥＶＣでは、予測モード情報をそのまま符号化した場合に発生する符号量は少なくないため、上位レイヤについて予測モード情報の符号量の大部分を省略できる上述した仕組みは有益である。
また、本実施形態によれば、下位レイヤに対して上位レイヤの予測モードの候補の数が多い場合には、予測方向の差に応じて符号化されるパラメータを用いて、上位レイヤに設定される予測モードが選択される。上位レイヤの予測モード情報の符号化を回避しながらも、このようなビット数の少ない追加的なパラメータを導入することで、上位レイヤのイントラ予測の予測精度を向上させ、結果的に符号化効率を高めることができる。当該パラメータは、レイヤ間の予測方向の差の絶対値が小さいほど、より小さい符号番号で符号化される。通常、空間解像度のみが異なる２つのレイヤの対応する予測単位の間では、同じ位置の部分画像は互いに相関を有する。従って、予測方向の差が小さいほどより小さい符号番号で上記パラメータを符号化することで、可変長符号化の短い符号語をより多く使用することができる。その結果、符号化効率は一層高められる。
また、本実施形態によれば、下位レイヤに対して上位レイヤの予測モードの候補の数が少ない場合には、下位レイヤの予測方向に最も近い予測方向を表す予測モードが、上位レイヤの予測単位に設定される。従って、この場合には、追加的なパラメータを要することなく、上位レイヤの予測モードを適切に選択することができる。
また、本実施形態によれば、下位レイヤの対応する予測単位に設定された予測モードと同じレイヤ内の参照ブロックの予測モードとに基づくMostProbableModeを実現することも可能である。それにより、予測モード情報の符号量を削減しながら、イントラ予測の精度をさらに向上させることができる。
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
（１）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定するモード設定部と、
前記モード設定部により設定される予測モードに従って、前記第２の予測単位の予測画像を生成する予測部と、
を備える画像処理装置。
（２）
前記第１の予測単位についてのイントラ予測モードの候補の数が前記第２の予測単位についてのイントラ予測モードの候補の数よりも少ない場合に、前記第１の予測単位と前記第２の予測単位との間の予測方向の差に応じて符号化される第１のパラメータを取得するパラメータ取得部、をさらに備え、
前記モード設定部は、前記パラメータ取得部により取得される前記第１のパラメータに応じて、前記第２の予測単位に設定される予測モードを選択する、
前記（１）に記載の画像処理装置。
（３）
前記第１のパラメータは、前記予測方向の差の絶対値が小さいほどより小さい符号番号で符号化される、前記（２）に記載の画像処理装置。
（４）
正負のみが異なる前記予測方向の差のうち、予測方向を特定の回転方向に回転させる方に、より小さい符号番号が割り当てられる、前記（３）に記載の画像処理装置。
（５）
正負のみが異なる前記予測方向の差のうち、前記第２の予測単位の予測方向が特定の方向により近づく方に、より小さい符号番号が割り当てられる、前記（３）に記載の画像処理装置。
（６）
前記特定の方向は、垂直方向又は水平方向であって、前記画像のアスペクト比に応じて決定される、前記（５）に記載の画像処理装置。
（７）
前記モード設定部は、前記第１の予測単位についてのイントラ予測モードの候補の数が前記第２の予測単位についてのイントラ予測モードの候補の数よりも多い場合には、前記第１の予測単位の予測方向に最も近い予測方向を表す予測モードを前記第２の予測単位に設定する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記モード設定部は、前記第１の予測単位の予測方向に最も近い予測方向を表す予測モードが前記第２の予測単位についての予測モードの候補内に複数存在する場合には、平均値予測を表す予測モードを前記第２の予測単位に設定する、前記（７）に記載の画像処理装置。
（９）
前記モード設定部は、前記第１の予測単位の予測方向に最も近い予測方向を表す予測モードが前記第２の予測単位についての予測モードの候補内に複数存在する場合には、予め定義される条件に従って、前記最も近い予測方向を表す複数の予測モードのいずれかを選択する、前記（７）に記載の画像処理装置。
（１０）
前記予め定義される条件は、所定の回転方向に予測方向を回転させる、という条件である、前記（９）に記載の画像処理装置。
（１１）
前記予め定義される条件は、符号番号のより小さい方を選択する、という条件である、前記（９）に記載の画像処理装置。
（１２）
前記第１の予測単位の予測方向に最も近い予測方向を表す予測モードが前記第２の予測単位についての予測モードの候補内に複数存在する場合に、予測モードの選択のための第２のパラメータを取得するパラメータ取得部、をさらに備え、
前記モード設定部は、前記パラメータ取得部により取得される前記第２のパラメータに応じて、前記最も近い予測方向を表す複数の予測モードのいずれかを選択する、
前記（７）に記載の画像処理装置。
（１３）
前記モード設定部は、前記第２の予測単位に設定すべき予測モードを、前記第１の予測単位に設定された予測モードと、前記第２のレイヤ内の前記第２の予測単位に隣接する少なくとも第３の予測単位に設定された予測モードとに基づくMostProbableModeによって推定する、前記（１）に記載の画像処理装置。
（１４）
前記モード設定部は、前記第１の予測単位に設定された予測モードを前記第２の予測単位についての予測モードの候補内の予測モードに変換した上で、MostProbableModeを決定する、前記（１３）に記載の画像処理装置。
（１５）
前記第１の予測単位は、前記第２の予測単位内の所定の位置の画素に対応する画素を有する、前記第１のレイヤ内の予測単位である、前記（１）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定することと、
設定された予測モードに従って、前記第２の予測単位の予測画像を生成することと、
を含む画像処理方法。
（１７）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定するモード設定部と、
前記モード設定部により設定される予測モードに従って、前記第２の予測単位の予測画像を生成する予測部と、
を備える画像処理装置。
（１８）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定することと、
設定された予測モードに従って、前記第２の予測単位の予測画像を生成することと、
を含む画像処理方法。
１０ 画像符号化装置（画像処理装置）
４１ モード設定部
４２ 予測部
４５ パラメータ生成部
６０ 画像復号装置（画像処理装置）
９１ パラメータ取得部
９２ モード設定部
９４ 予測部

Claims (18)

  1. 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定するモード設定部と、
    前記モード設定部により設定される予測モードに従って、前記第２の予測単位の予測画像を生成する予測部と、
    を備える画像処理装置。
  2. 前記第１の予測単位についてのイントラ予測モードの候補の数が前記第２の予測単位についてのイントラ予測モードの候補の数よりも少ない場合に、前記第１の予測単位と前記第２の予測単位との間の予測方向の差に応じて符号化される第１のパラメータを取得するパラメータ取得部、をさらに備え、
    前記モード設定部は、前記パラメータ取得部により取得される前記第１のパラメータに応じて、前記第２の予測単位に設定される予測モードを選択する、
    請求項１に記載の画像処理装置。
  3. 前記第１のパラメータは、前記予測方向の差の絶対値が小さいほどより小さい符号番号で符号化される、請求項２に記載の画像処理装置。
  4. 正負のみが異なる前記予測方向の差のうち、予測方向を特定の回転方向に回転させる方に、より小さい符号番号が割り当てられる、請求項３に記載の画像処理装置。
  5. 正負のみが異なる前記予測方向の差のうち、前記第２の予測単位の予測方向が特定の方向により近づく方に、より小さい符号番号が割り当てられる、請求項３に記載の画像処理装置。
  6. 前記特定の方向は、垂直方向又は水平方向であって、前記画像のアスペクト比に応じて決定される、請求項５に記載の画像処理装置。
  7. 前記モード設定部は、前記第１の予測単位についてのイントラ予測モードの候補の数が前記第２の予測単位についてのイントラ予測モードの候補の数よりも多い場合には、前記第１の予測単位の予測方向に最も近い予測方向を表す予測モードを前記第２の予測単位に設定する、請求項１に記載の画像処理装置。
  8. 前記モード設定部は、前記第１の予測単位の予測方向に最も近い予測方向を表す予測モードが前記第２の予測単位についての予測モードの候補内に複数存在する場合には、平均値予測を表す予測モードを前記第２の予測単位に設定する、請求項７に記載の画像処理装置。
  9. 前記モード設定部は、前記第１の予測単位の予測方向に最も近い予測方向を表す予測モードが前記第２の予測単位についての予測モードの候補内に複数存在する場合には、予め定義される条件に従って、前記最も近い予測方向を表す複数の予測モードのいずれかを選択する、請求項７に記載の画像処理装置。
  10. 前記予め定義される条件は、所定の回転方向に予測方向を回転させる、という条件である、請求項９に記載の画像処理装置。
  11. 前記予め定義される条件は、符号番号のより小さい方を選択する、という条件である、請求項９に記載の画像処理装置。
  12. 前記第１の予測単位の予測方向に最も近い予測方向を表す予測モードが前記第２の予測単位についての予測モードの候補内に複数存在する場合に、予測モードの選択のための第２のパラメータを取得するパラメータ取得部、をさらに備え、
    前記モード設定部は、前記パラメータ取得部により取得される前記第２のパラメータに応じて、前記最も近い予測方向を表す複数の予測モードのいずれかを選択する、
    請求項７に記載の画像処理装置。
  13. 前記モード設定部は、前記第２の予測単位に設定すべき予測モードを、前記第１の予測単位に設定された予測モードと、前記第２のレイヤ内の前記第２の予測単位に隣接する少なくとも第３の予測単位に設定された予測モードとに基づくMostProbableModeによって推定する、請求項１に記載の画像処理装置。
  14. 前記モード設定部は、前記第１の予測単位に設定された予測モードを前記第２の予測単位についての予測モードの候補内の予測モードに変換した上で、MostProbableModeを決定する、請求項１３に記載の画像処理装置。
  15. 前記第１の予測単位は、前記第２の予測単位内の所定の位置の画素に対応する画素を有する、前記第１のレイヤ内の予測単位である、請求項１に記載の画像処理装置。
  16. 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定することと、
    設定された予測モードに従って、前記第２の予測単位の予測画像を生成することと、
    を含む画像処理方法。
  17. 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定するモード設定部と、
    前記モード設定部により設定される予測モードに従って、前記第２の予測単位の予測画像を生成する予測部と、
    を備える画像処理装置。
  18. 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の前記第１のレイヤ内の第１の予測単位についてのイントラ予測モードの候補の数が前記第２のレイヤ内の前記第１の予測単位に対応する第２の予測単位についてのイントラ予測モードの候補の数と異なる場合に、前記第１の予測単位に設定された予測モードに基づいて選択される予測モードを、前記第２の予測単位に設定することと、
    設定された予測モードに従って、前記第２の予測単位の予測画像を生成することと、
    を含む画像処理方法。
JP2011143271A 2011-06-28 2011-06-28 画像処理装置及び画像処理方法 Withdrawn JP2013012846A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011143271A JP2013012846A (ja) 2011-06-28 2011-06-28 画像処理装置及び画像処理方法
US14/110,984 US20140037002A1 (en) 2011-06-28 2012-05-21 Image processing apparatus and image processing method
CN201280030622.8A CN103636211A (zh) 2011-06-28 2012-05-21 图像处理设备以及图像处理方法
PCT/JP2012/062925 WO2013001939A1 (ja) 2011-06-28 2012-05-21 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011143271A JP2013012846A (ja) 2011-06-28 2011-06-28 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2013012846A true JP2013012846A (ja) 2013-01-17

Family

ID=47423842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011143271A Withdrawn JP2013012846A (ja) 2011-06-28 2011-06-28 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US20140037002A1 (ja)
JP (1) JP2013012846A (ja)
CN (1) CN103636211A (ja)
WO (1) WO2013001939A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130045783A (ko) * 2011-10-26 2013-05-06 인텔렉추얼디스커버리 주식회사 인트라 예측 모드 스케일러블 코딩 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645398B2 (en) 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
US10270123B2 (en) * 2015-01-09 2019-04-23 GM Global Technology Operations LLC Prevention of cell-to-cell thermal propagation within a battery system using passive cooling
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019129166A1 (en) * 2017-12-29 2019-07-04 Fg Innovation Ip Company Limited Device and method for coding video data based on mode list including different mode groups
CN110049339B (zh) 2018-01-16 2023-02-17 腾讯科技（深圳）有限公司 图像编码中的预测方向选取方法、装置和存储介质
CN111418205B (zh) * 2018-11-06 2024-06-21 北京字节跳动网络技术有限公司 用于帧间预测的运动候选

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369707B2 (en) * 2003-10-28 2008-05-06 Matsushita Electric Industrial Co., Ltd. Intra-picture prediction coding method
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR100913088B1 (ko) * 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
RU2411689C2 (ru) * 2005-07-11 2011-02-10 Томсон Лайсенсинг Способ и устройство для адаптивного к макроблоку межслойного предсказания внутренней текстуры
KR100725407B1 (ko) * 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
CN101860759B (zh) * 2009-04-07 2012-06-20 华为技术有限公司 一种编码方法和编码装置
EP3057326A1 (en) * 2011-06-10 2016-08-17 MediaTek, Inc Method and apparatus of scalable video coding

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130045783A (ko) * 2011-10-26 2013-05-06 인텔렉추얼디스커버리 주식회사 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR102176539B1 (ko) 2011-10-26 2020-11-10 인텔렉추얼디스커버리 주식회사 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR20200128375A (ko) * 2011-10-26 2020-11-12 인텔렉추얼디스커버리 주식회사 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR20210134590A (ko) * 2011-10-26 2021-11-10 인텔렉추얼디스커버리 주식회사 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR102324462B1 (ko) 2011-10-26 2021-11-12 인텔렉추얼디스커버리 주식회사 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR102435739B1 (ko) 2011-10-26 2022-08-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR20220121231A (ko) * 2011-10-26 2022-08-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR102475242B1 (ko) 2011-10-26 2022-12-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR20220165710A (ko) * 2011-10-26 2022-12-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR102508989B1 (ko) 2011-10-26 2023-03-10 돌비 레버러토리즈 라이쎈싱 코오포레이션 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR20230037527A (ko) * 2011-10-26 2023-03-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR102616143B1 (ko) 2011-10-26 2023-12-20 돌비 레버러토리즈 라이쎈싱 코오포레이션 인트라 예측 모드 스케일러블 코딩 방법 및 장치

Also Published As

Publication number Publication date
US20140037002A1 (en) 2014-02-06
WO2013001939A1 (ja) 2013-01-03
CN103636211A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
US10623761B2 (en) Image processing apparatus and image processing method
JP6296180B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
US20180070085A1 (en) Image processing device and image processing method
TWI749530B (zh) 資訊處理設備及資訊處理方法
JP5904268B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
US20150043637A1 (en) Image processing device and method
WO2013001939A1 (ja) 画像処理装置及び画像処理方法
WO2013164922A1 (ja) 画像処理装置及び画像処理方法
JP2018164300A (ja) 画像復号装置および方法
WO2012005099A1 (ja) 画像処理装置及び画像処理方法
WO2017094298A1 (ja) 画像処理装置、画像処理方法及びプログラム
JPWO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
WO2013011738A1 (ja) 画像処理装置及び画像処理方法
WO2013150838A1 (ja) 画像処理装置及び画像処理方法
WO2013088833A1 (ja) 画像処理装置及び画像処理方法
WO2014038330A1 (ja) 画像処理装置及び画像処理方法
WO2014148070A1 (ja) 画像処理装置及び画像処理方法
WO2014002900A1 (ja) 画像処理装置および画像処理方法
JP6265249B2 (ja) 画像処理装置及び画像処理方法
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
JP6048564B2 (ja) 画像処理装置及び画像処理方法
WO2014050311A1 (ja) 画像処理装置及び画像処理方法
WO2014156707A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法
US20160037184A1 (en) Image processing device and method
WO2013088838A1 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140902