JP2012138884A - 符号化装置および符号化方法、並びに復号装置および復号方法 - Google Patents

符号化装置および符号化方法、並びに復号装置および復号方法 Download PDF

Info

Publication number
JP2012138884A
JP2012138884A JP2011054556A JP2011054556A JP2012138884A JP 2012138884 A JP2012138884 A JP 2012138884A JP 2011054556 A JP2011054556 A JP 2011054556A JP 2011054556 A JP2011054556 A JP 2011054556A JP 2012138884 A JP2012138884 A JP 2012138884A
Authority
JP
Japan
Prior art keywords
unit
prediction
image
intra prediction
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011054556A
Other languages
English (en)
Inventor
Yoshitaka Morigami
義崇 森上
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011054556A priority Critical patent/JP2012138884A/ja
Priority to PCT/JP2011/077842 priority patent/WO2012077575A1/ja
Publication of JP2012138884A publication Critical patent/JP2012138884A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】Edge based predictionを行う場合の符号化効率を向上させる。
【解決手段】エッジ検出部は、符号化対象の画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像の隣接ブロックのエッジの角度θを検出する。予測画像生成部は、角度θに基づいて、隣接ブロックから予測ブロックの予測画像を生成する。演算部は、予測ブロックから、その予測ブロックの予測画像を減算する。直交変換部は、角度θに対応するフィルタ係数を用いて、減算の結果得られる残差情報をMDDTする。本技術は、例えば、符号化装置に適用することができる。
【選択図】図１４

Description

本技術は、符号化装置および符号化方法、並びに復号装置および復号方法に関し、特に、Edge based predictionを行う場合の符号化効率を向上させることができるようにした符号化装置および符号化方法、並びに復号装置および復号方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式を採用して画像を圧縮符号する装置が普及しつつある。
特に、MPEG2（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
このMPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していない。しかしながら、携帯端末の普及により、今後、そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。例えば、MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として、その規格が国際標準に承認されている。
更に、近年、テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。これは、2003年3月にH．264/MPEG-4 Part10 Advanced Video Coding（以下H．264/AVCという）という名で国際標準となっている。
H.264/AVC方式の符号化が、従来のMPEG2等に比べて高い符号化効率を実現する要因の1つとしては、イントラ予測処理およびインター予測処理を挙げることができる。以下に、イントラ予測処理について説明する。
まず、輝度信号に対するイントラ予測モードについて説明する。輝度信号のイントラ予測モードには、9種類の4×4画素単位の予測モード（以下、4×4イントラ予測モードという）、9種類の8×8画素単位の予測モード（以下、8×8イントラ予測モードという）、および4種類の16×16画素単位の予測モード（以下、16×16イントラ予測モードという）がある。図１に示すように、16×16イントラ予測モードでは、各ブロックの直流成分を集めて、4×4行列が生成され、これに対して、さらに、直交変換が施される。
なお、8×8イントラ予測モードは、ハイプロファイルまたはそれ以上のプロファイルで、マクロブロックに8×8画素単位の直交変換が施される場合についてのみ適用可能である。
図２および図３は、9種類の輝度信号の4×4イントラ予測モード(Intra_4x4_pred_mode)を示す図である。平均値（DC）予測を示すモード２以外の8種類の各モードは、それぞれ、そのモードの番号が付された図４の矢印の方向に対応している。
9種類のIntra_4x4_pred_modeについて、図５を参照して説明する。図５の例において、画素ａ乃至ｐは、イントラ予測の対象となるブロックの画素を表し、画素値Ａ乃至Ｍは、そのブロックに隣接する参照画像のブロックである隣接ブロックに属する画素の画素値を表している。
図２および図３の各イントラ予測モードでは、画素ａ乃至ｐの予測画素値は、隣接ブロックに属する画素の画素値Ａ乃至Ｍを用いて、以下のように生成される。なお、画素値が“available”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由がなく、利用可能であることを表し、画素値が“unavailable”であるとは、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により利用可能ではないことを表す。
モード０はVertical Predictionを示すモードであり、画素値A乃至Dが “available” である場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１）により求められる。
画素ａ, ｅ, ｉ, ｍの予測画素値 ＝ Ａ
画素ｂ, ｆ, ｊ, ｎの予測画素値 ＝ Ｂ
画素ｃ, ｇ, ｋ, ｏの予測画素値 ＝ Ｃ
画素ｄ, ｈ, ｌ, ｐの予測画素値 ＝ Ｄ ・・・（１）
モード１はHorizontal Predictionを示すモードであり、画素値ｉ乃至Lが “available” である場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（２）により求められる。
画素ａ, ｂ, ｃ, ｄの予測画素値 ＝ Ｉ
画素ｅ, ｆ, ｇ, ｈの予測画素値 ＝ Ｊ
画素ｉ, ｊ, ｋ, ｌの予測画素値 ＝ Ｋ
画素ｍ, ｎ, ｏ, ｐの予測画素値 ＝ Ｌ ・・・（２）
モード２はDC Predictionを示すモードであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て “available” である時、予測画素値は式（３）により求められる。
（Ａ＋Ｂ＋Ｃ＋Ｄ＋ｉ＋Ｊ＋Ｋ＋Ｌ＋４）＞＞３ ・・・（３）
また、画素値Ａ,Ｂ,Ｃ,Ｄが全て “unavailable” である時、予測画素値は式（４）により求められる。
（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）＞＞２ ・・・（４）
また、画素値Ｉ,Ｊ,Ｋ,Ｌが全て “unavailable” である時、予測画素値は式（５）により求められる。
（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）＞＞２ ・・・（５）
なお、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌが全て“unavailable” である時、128が予測画素値として用いられる。
モード３はDiagonal_Down_Left Predictionを示すモードであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”である場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（６）により求められる。
画素ａの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｂ，ｅの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｃ，ｆ，ｉの予測画素値 ＝ （Ｃ＋２Ｄ＋Ｅ＋２） ＞＞ ２
画素ｄ，ｇ，ｊ，ｍの予測画素値 ＝ （Ｄ＋２Ｅ＋Ｆ＋２） ＞＞ ２
画素ｈ，ｋ，ｎの予測画素値 ＝ （Ｅ＋２Ｆ＋Ｇ＋２） ＞＞ ２
画素ｌ，ｏの予測画素値 ＝ （Ｆ＋２Ｇ＋Ｈ＋２） ＞＞ ２
画素ｐの予測画素値 ＝ （Ｇ＋３Ｈ＋２） ＞＞ ２
・・・（６）
モード４はDiagonal_Down_Right Predictionを示すモードであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが “available”である場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（７）により求められる。
画素ｍの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
画素ｉ，ｎの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｅ，ｊ，ｏの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ａ，ｆ，ｋ，ｐの予測画素値 ＝ （Ａ＋２Ｍ＋Ｉ＋２） ＞＞ ２
画素ｂ，ｇ，ｌの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｃ，ｈの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｄの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
・・・（７）
モード５はDiagonal_Vertical_Right Predictionを示すモードであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”である場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（８）により求められる。
画素ａ，ｊの予測画素値 ＝ （Ｍ＋Ａ＋１） ＞＞ １
画素ｂ，ｋの予測画素値 ＝ （Ａ＋Ｂ＋１） ＞＞ １
画素ｃ，ｌの予測画素値 ＝ （Ｂ＋Ｃ＋１） ＞＞ １
画素ｄの予測画素値 ＝ （Ｃ＋Ｄ＋１） ＞＞ １
画素ｅ，ｎの予測画素値 ＝ （Ｉ＋２Ｍ＋Ａ＋２） ＞＞ ２
画素ｆ，ｏの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｇ，ｐの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｈの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｉの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ｍの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
・・・（８）
モード６はHorizontal_Down Predictionを示すモードであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”である場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（９）により求められる。
画素ａ，ｇの予測画素値 ＝ （Ｍ＋Ｉ＋１） ＞＞ １
画素ｂ，ｈの予測画素値 ＝ （Ｉ＋２Ｍ＋Ａ＋２） ＞＞ ２
画素ｃの予測画素値 ＝ （Ｍ＋２Ａ＋Ｂ＋２） ＞＞ ２
画素ｄの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｅ，ｋの予測画素値 ＝ （Ｉ＋Ｊ＋１） ＞＞ １
画素ｆ，ｌの予測画素値 ＝ （Ｍ＋２Ｉ＋Ｊ＋２） ＞＞ ２
画素ｉ，ｏの予測画素値 ＝ （Ｊ＋Ｋ＋１） ＞＞ １
画素ｊ，ｐの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｍの予測画素値 ＝ （Ｋ＋Ｌ＋１） ＞＞ １
画素ｎの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
・・・（９）
モード７は、Vertical_Left Predictionを示すモードであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”である場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１０）により求められる。
画素ａの予測画素値 ＝ （Ａ＋Ｂ＋１） ＞＞ １
画素ｂ，ｉの予測画素値 ＝ （Ｂ＋Ｃ＋１） ＞＞ １
画素ｃ，ｊの予測画素値 ＝ （Ｃ＋Ｄ＋１） ＞＞ １
画素ｄ，ｋの予測画素値 ＝ （Ｄ＋Ｅ＋１） ＞＞ １
画素ｌの予測画素値 ＝ （Ｅ＋Ｆ＋１） ＞＞ １
画素ｅの予測画素値 ＝ （Ａ＋２Ｂ＋Ｃ＋２） ＞＞ ２
画素ｆ，ｍの予測画素値 ＝ （Ｂ＋２Ｃ＋Ｄ＋２） ＞＞ ２
画素ｇ，ｎの予測画素値 ＝ （Ｃ＋２Ｄ＋Ｅ＋２） ＞＞ ２
画素ｈ，ｏの予測画素値 ＝ （Ｄ＋２Ｅ＋Ｆ＋２） ＞＞ ２
画素ｐの予測画素値 ＝ （Ｅ＋２Ｆ＋Ｇ＋２） ＞＞ ２
・・・（１０）
モード８は、Horizontal_Up Predictionを示すモードであり、画素値Ａ,Ｂ,Ｃ,Ｄ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍが“available”である場合のみ適用される。この場合、画素ａ乃至ｐの予測画素値は、次の式（１１）により求められる。
画素ａの予測画素値 ＝ （Ｉ＋Ｊ＋１） ＞＞ １
画素ｂの予測画素値 ＝ （Ｉ＋２Ｊ＋Ｋ＋２） ＞＞ ２
画素ｃ，ｅの予測画素値 ＝ （Ｊ＋Ｋ＋１） ＞＞ １
画素ｄ，ｆの予測画素値 ＝ （Ｊ＋２Ｋ＋Ｌ＋２） ＞＞ ２
画素ｇ，ｉの予測画素値 ＝ （Ｋ＋Ｌ＋１） ＞＞ １
画素ｈ，ｊの予測画素値 ＝ （Ｋ＋３Ｌ＋２） ＞＞ ２
画素ｋ，ｌ，ｍ，ｎ，ｏ，ｐの予測画素値 ＝ Ｌ
・・・（１１）
次に、図６を参照して、輝度信号の４×４イントラ予測モード(Intra_4x4_pred_mode)の符号化方式について説明する。
図６の例において、４×４画素からなり、符号化対象となる対象ブロックＣが示されており、対象ブロックＣに隣接する４×４画素からなるブロックＡおよびブロックＢが示されている。
この場合、対象ブロックＣにおけるIntra_4x4_pred_modeと、ブロックＡおよびブロックＢにおけるIntra_4x4_pred_modeとは高い相関があると考えられる。従って、この相関性を用いて符号化処理を行うことにより、より高い符号化効率を実現することができる。
具体的には、図６の例において、MostProbableModeが、ブロックＡのIntra_4x4_pred_modeであるIntra_4x4_pred_modeAと、ブロックＢのIntra_4x4_pred_modeであるIntra_4x4_pred_modeBを用いて、次の式（１２）により定義される。
MostProbableMode＝Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)
・・・（１２）
即ち、ブロックＡおよびブロックＢのIntra_4x4_pred_modeのうち、より小さなmode_numberがMostProbableModeとされる。
そして、ビットストリーム中には、対象ブロックＣのIntra_4x4_pred_modeを表す情報として、prev_intra4x4_pred_mode_flag[luma4x4BlkIdx]およびrem_intra4x4_pred_mode[luma4x4BlkIdx]が含められる。なお、prev_intra4x4_pred_mode_flag[luma4x4BlkIdxは、対象ブロックＣのIntra_4x4_pred_modeがMostProbableModeと一致しているかどうかを表す1ビットのフラグである。また、rem_intra4x4_pred_mode[luma4x4BlkIdx]は、対象ブロックＣのIntra_4x4_pred_modeがMostProbableModeより小さい場合、対象ブロックＣのIntra_4x4_pred_modeであり、対象ブロックＣのIntra_4x4_pred_modeがMostProbableModeより大きい場合、対象ブロックＣのIntra_4x4_pred_modeから1を減算した値である。
以上のように、対象ブロックＣのIntra_4x4_pred_modeを表す情報として、1ビットのprev_intra4x4_pred_mode_flag[luma4x4BlkIdx]およびrem_intra4x4_pred_mode[luma4x4BlkIdx]が含められることにより、Intra_4x4_pred_modeそのものが含められる場合に比べて、情報量が削減される。その結果、符号化効率は向上する。
なお、以上のようにして符号化処理が行われた場合、復号処理において、次の式（１３）により、対象ブロックＣに対するIntra_4x4_pred_modeであるIntra4x4PredMode[luma4x4BlkIdx]の値が得られる。
if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])
Intra4x4PredMode[luma4x4BlkIdx] ＝ MostProbableMode
else
if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)
Intra4x4PredMode[luma4x4BlkIdx]＝rem_intra4x4_pred_mode[luma4x4BlkIdx]
else Intra4x4PredMode[luma4x4BlkIdx]＝rem_intra4x4_pred_mode[luma4x4BlkIdx] ＋ 1
・・・（１３）
図７および図８は、9種類の輝度信号の8×8イントラ予測モード（Intra_8x8_pred_mode）を示す図である。
8×8イントラ予測モードでは、予測画素値を生成する前に、隣接ブロックにローパスフィルタリング処理が施される。ここでは、イントラ予測の対象となる８×８画素のブロックの画素値をp[x,y](0≦x≦7,0≦y≦7)と表す。また、ローパスフィルタリング処理前の隣接ブロックに属する画素の画素値をp[-1,-1],…,p[-1,7],p[0,-1],…p[15,-1]と表し、ローパスフィルタリング処理後の画素値をp’[-1,-1],…,p’[-1,7],p’[0,-1],…p’[15,-1]と表す。
p’[0,-1]は、p[-1,-1]が “available”である場合には、以下の式（１４）により求められる。
p’[0,-1]＝(p[-1,-1]＋2*p[0,-1]＋p[1,-1]＋2)＞＞2
・・・（１４）
また、p’[0,-1]は、p[-1,-1]が“unavailable”である場合には、以下の式（１５）により求められる。
p’[0,-1]＝(3*p[0,-1]＋p[1,-1]＋2)＞＞2
・・・（１５）
p’[x,-1](x＝1,・・・,7)は、以下の式（１６）により求められる。
p’[x,-1]＝(p[x-1,-1]＋2*p[x,-1]＋p[x＋1,-1]＋2)＞＞2
・・・（１６）
p’[x,-1](x＝8,・・・,15)は、p[x,-1](x＝8,・・・,15)が“available”である場合には、以下の式（１７）により求められる。
p’[x,-1]＝(p[x-1,-1]＋2*p[x,-1]＋p[x＋1,-1]＋2)＞＞2 p’[15,-1]＝(p[14,-1]＋3*p[15,-1]＋2)＞＞2
・・・（１７）
p’[-1,-1]は、p[-1,-1]が“available”であり、p[0,-1]およびp[-1,0]の双方がavailableである場合には、以下の式（１８）により求められる。
p’[-1,-1]＝(p[0,-1]＋2*p[-1,-1]＋p[-1,0]＋2)＞＞2
・・・（１８）
また、p’[-1,-1]は、p[-1,-1]が“available”であり、p[-1,0]が “unavailable” である場合には、以下の式（１９）により求められる。
p’[-1,-1]＝(3*p[-1,-1]＋p[0,-1]＋2)＞＞2
・・・（１９）
さらに、p’[-1,-1]は、p[-1,-1]が“available”であり、p[0,-1]が“unavailable”である場合には、以下の式（２０）により求められる。
p’[-1,-1]＝(3*p[-1,-1]＋p[-1,0]＋2)＞＞2
・・・（２０）
また、p’[-1,y](y＝0,・・・,7)は、p[-1,y](y＝0, … ,7)が“available”である場合、以下のように求められる。
即ち、まず、p’[-1,0]は、p[-1,-1]が“available”である場合には、以下の式（２１）により求められる。
p’[-1,0]＝(p[-1,-1]＋2*p[-1,0]＋p[-1,1]＋2)＞＞2
・・・（２１）
また、p’[-1,0]は、p[-1,-1]が“unavailable”である場合には、以下の式（２２）により求められる。
p’[-1,0]＝(3*p[-1,0]＋p[-1,1]＋2)＞＞2
・・・（２２）
p’[-1,y](y＝1,…,6)は、以下の式（２３）により求められる。
p’[-1,y]＝(p[-1,y-1]＋2*p[-1,y]＋p[-1,y＋1]＋2)＞＞2
・・・（２３）
p’[-1,7]は、以下の式（２４）により求められる。
p’[-1,7]＝(p[-1,6]＋3*p[-1,7]＋2)＞＞2
・・・（２４）
以上のように求められた画素値p’[-1,-1],…,p’[-1,7],p’[0,-1],…p’[15,-1]を用いて、図７の各イントラ予測モードにおける予測画素値は以下のように算出される。
モード０はVertical Predictionを示すモードであり、画素値p[x,-1](x＝0,・・・,7)が“available”である場合にのみ適用される。この場合、予測画素値pred8x8L[x,y]は、以下の式（２５）により求められる。
pred8x8Ｌ[x,y]＝p’[x,-1] x,y＝0,・・・,7
・・・（２５）
モード１はHorizontal Predictionを示すモードであり、画素値p’[-1,y](y＝0,・・・,7)が “available”である場合にのみ適用される。この場合、予測画素値pred8x8Ｌ[x,y]は、以下の式（２６）により求められる。
pred8x8Ｌ[x,y]＝p’[-1,y] x,y＝0,・・・,7
・・・（２６）
モード２はDC Predictionを示すモードであり、予測画素値pred8x8Ｌ[x,y]は以下のように求められる。
即ち、p’[x,-1](x＝0,・・・,7)およびp’[-1,y](y＝0,・・・,7)の両方が“available”である場合には、予測画素値pred8x8Ｌ[x,y]は以下の式（２７）により求められる。
Figure 2012138884
また、p’[x,-1](x＝0,・・・,7)は“available”であるが、p’[-1,y](y＝0,・・・,7)が“unavailable”である場合には、予測画素値pred8x8Ｌ[x,y]は以下の式（２８）により求められる。
Figure 2012138884
さらに、p’[x,-1](x＝0,・・・,7)は“unavailable”であるが、p’[-1,y](y＝0,・・・,7)が“available”である場合には、予測画素値pred8x8Ｌ[x,y]は以下の式（２９）により求められる。
Figure 2012138884
また、p’[x,-1](x＝0,・・・,7)およびp’[-1,y](y＝0,・・・,7)の両方が“unavailable”である場合には、予測画素値pred8x8Ｌ[x,y]は以下の式（３０）により求められる。
pred8x8Ｌ[x,y]＝128（但し、8ビット入力の場合）
・・・（３０）
モード３はDiagonal_Down_Left_predictionを示すモードであり、p’[x,-1](x＝0,・・・,15)が “available”である場合にのみ適用される。この場合、予測画素値pred8x8Ｌ[x,y]は以下のように求められる。
即ち、予測画素値pred8x8Ｌ[7,7]は、以下の式（３１）により求められる。
pred8x8Ｌ[x,y]＝(p’[14,-1]＋3*p[15,-1]＋2)＞＞2
・・・（３１）
また、予測画素値pred8x8Ｌ[x,y](x＝0,・・・,6,y＝0,・・・,6)は、以下の式（３２）により求められる。
pred8x8Ｌ[x,y]＝(p’[x＋y,-1]＋2*p’[x＋y＋1,-1]＋p’[x＋y＋2,-1]＋2)＞＞2
・・・（３２）
モード４はDiagonal_Down_Right_predictionを示すモードであり、p’[x,-1](x＝0,…,7)およびp’[-1,y]（y＝0,・・・,7）が“available”の時のみ適用され、予測画素値pred8x8Ｌ[x,y]は以下のように求められる。
即ち、x>yである予測画素値pred8x8Ｌ[x,y]は、以下の式（３３）により求められる。
pred8x8Ｌ[x,y]＝(p’[x-y-2,-1]＋2*p’[x-y-1,-1]＋p’[x-y,-1]＋2)＞＞2
・・・（３３）
x<yである予測画素値pred8x8Ｌ[x,y]は、以下の式（３４）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,y-x-2]＋2*p’[-1,y-x-1]＋p’[-1,y-x]＋2)＞＞2
・・・（３４）
x＝yである予測画素値pred8x8Ｌ[x,y]は、以下の式（３５）により求められる。
pred8x8Ｌ[x,y]＝(p’[0,-1]＋2*p’[-1,-1]＋p’[-1,0]＋2)＞＞2
・・・（３５）
モード５はVertical_Right_predictionを示すモードであり、p’[x,-1]（x＝0,・・・,7）およびp’[-1,y]（y＝-1,・・・,7）が“available”である場合にのみ適用される。この場合、予測値pred8x8L[x,y]は、以下のように求められる。
即ち、いま、zVRを、以下の式（３６）により定義する。
zVR＝2*x−y
・・・（３６）
このとき、zVRが0,2,4,6,8,10,12,14である場合には、予測画素値pred8x8L[x,y]は、以下の式（３７）により求められる。
pred8x8Ｌ[x,y]＝(p’[x-(y＞＞1)-1,-1]＋p’[x-(y＞＞1),-1]＋1)＞＞1
・・・（３７）
また、zVRが1,3,5,7,9,11,13である場合には、予測画素値pred8x8L[x,y]は、以下の式（３８）により求められる。
pred8x8Ｌ[x,y]＝(p’[x-(y＞＞1)-2,-1]＋2*p’[x-(y＞＞1)-1,-1]＋p’[x-(y＞＞1),-1]＋2)＞＞2
・・・（３８）
さらに、zVRが-1である場合には、予測画素値pred8x8L[x,y]は、以下の式（３９）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,0]＋2*p’[-1,-1]＋p’[0,-1]＋2)＞＞2
・・・（３９）
また、zVRが-2,-3,-4,-5,-6,-7である場合には、予測画素値pred8x8L[x,y]は、以下の式（４０）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,y-2*x-1]＋2*p’[-1,y-2*x-2]＋p’[-1,y-2*x-3]＋2)＞＞2
・・・（４０）
モード６はHorizontal_Down_predictionを示すモードであり、p’[x,-1](x＝0,・・・,7)およびp’[-1,y]（y＝-1,・・・,7）が“available”の時のみ適用される。この場合、予測画素値pred8x8Ｌ[x,y]は、以下のように求められる。
即ち、いま、zVRを以下の式（４１）により定義する。
zHD＝2*y−x
・・・（４１）
このとき、zHDが0,2,4,6,8,10,12,14である場合には、予測画素値pred8x8Ｌ[x,y]は、以下の式（４２）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,y-(x＞＞1)-1]＋p’[-1,y-(x＞＞1)＋1]＞＞1
・・・（４２）
また、zHDが1,3,5,7,9,11,13の場合には、予測画素値pred8x8Ｌ[x,y]は、以下の式（４３）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,y-(x＞＞1)-2]＋2*p’[-1,y-(x＞＞1)-1]＋p’[-1,y-(x>>1)]＋2)＞＞2
・・・（４３）
さらに、zHDが-1である場合には、予測画素値pred8x8Ｌ[x,y]は、以下の式（４４）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,0]＋2*p[-1,-1]＋p’[0,-1]＋2)＞＞2
・・・（４４）
また、zHDが-2,-3,-4,-5,-6,-7である場合には、予測画素値pred8x8Ｌ[x,y]は、以下の式（４５）により求められる。
pred8x8Ｌ[x,y]＝(p’[x-2*y-1,-1]＋2*p’[x-2*y-2,-1]＋p’[x-2*y-3,-1]＋2)＞＞2
・・・（４５）
モード７はVertical_Left_predictionを示すモードであり、p’[x,-1](x＝0,・・・,15)が“available”である場合にのみ適用される。この場合、予測画素値pred8x8Ｌ[x,y]は以下のように求められる。
即ち、予測画素値pred8x8Ｌ[x,y](x＝0,・・・,7,y＝0,2,4,6)は、以下の式（４６）により求められる。
pred8x8Ｌ[x,y]＝(p’[x＋(y＞＞1),-1]＋p’[x＋(y＞＞1)＋1,-1]＋1)＞＞1
・・・（４６）
また、予測画素値pred8x8Ｌ[x,y](x＝0,・・・,7, y＝1,3,5,7)は、以下の式（４７）により求められる。
pred8x8Ｌ[x,y]＝(p’[x＋(y＞＞1),-1]＋2*p’[x＋(y＞＞1)＋1,-1]＋p’[x＋(y＞＞1)＋2,-1]＋2)＞＞2
・・・（４７）
モード８はHorizontal_Up_predictionを示すモードであり、p’[-1,y]（y＝0,・・・,7）が“available”である場合にのみ適用される。予測画素値pred8x8Ｌ[x,y]は以下のように求められる。
即ち、いま、zHUを以下の式（４８）により定義する。
zHU＝x＋2*y
・・・（４８）
zHUが0,2,4,6,8,10,12である場合、予測画素値pred8x8Ｌ[x,y]は以下の式（４９）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,y＋(x＞＞1)]＋p’[-1,y＋(x＞＞1)＋1]＋1)＞＞1
・・・（４９）
zHUが1,3,5,7,9,11である場合、予測画素値pred8x8Ｌ[x,y]は以下の式（５０）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,y＋(x＞＞1)]
・・・（５０）
zHUが13である場合、予測画素値pred8x8Ｌ[x,y]は以下の式（５１）により求められる。
pred8x8Ｌ[x,y]＝(p’[-1,6]＋3*p’[-1,7]＋2)＞＞2
・・・（５１）
zHUが13より大きい場合、予測画素値pred8x8Ｌ[x,y]は以下の式（５２）により求められる。
pred8x8Ｌ[x,y]＝p’[-1,7]
・・・（５２）
図９および図１０は、4種類の輝度信号の16×16イントラ予測モード(Intra_16x16_pred_mode)を示す図である。
４種類のイントラ予測モードについて、図１１を参照して説明する。図１１では、イントラ予測の対象となる対象ブロックＡが示されており、P(x,y);x,y＝-1,0,…,15は、対象ブロックＡに隣接する画素の画素値を表している。
モード０は、Vertical Predictionを示すモードであり、P(x,-1); x,y＝-1,0,…,15が “available”である時のみ適用される。この場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５３）のように生成される。
Pred(x,y) ＝ P(x,-1);x,y＝0,…,15
・・・（５３）
モード１はHorizontal Predictionであり、P(-1,y); x,y＝-1,0,…,15が “available”である時のみ適用される。この場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５４）のように生成される。
Pred(x,y) ＝ P(-1,y);x,y＝0,…,15
・・・（５４）
モード２はDC Predictionを示すモードであり、P(x,-1)およびP(-1,y); x,y＝-1,0,…,15が全て“available”である場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５５）のように生成される。
Figure 2012138884
また、P(x,-1); x,y＝-1,0,…,15が“unavailable”である場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５６）のように生成される。
Figure 2012138884
P(-1,y); x,y＝-1,0,…,15が “unavailable” である場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５７）のように生成される。
Figure 2012138884
P(x,-1)およびP(-1,y); x,y＝-1,0,…,15が全て“unavailable”である場合には、予測画素値として１２８が用いられる。
モード３はPlane Predictionを示すモードであり、P(x,-1)及びP(-1,y); x,y＝-1,0,…,15が全て “available”の場合のみ適用される。この場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５８）のように生成される。
Figure 2012138884
次に、色差信号に対するイントラ予測モードについて説明する。図１２は、４種類の色差信号のイントラ予測モード(Intra_chroma_pred_mode)を示す図である。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。色差信号に対するイントラ予測モードは、上述した輝度信号の16×16イントラ予測モードに順ずる。
ただし、輝度信号の16×16イントラ予測モードが、１６×１６画素のブロックを対象としているのに対し、色差信号に対するイントラ予測モードは、８×８画素のブロックを対象としている。さらに、上述した図９と図１２に示されるように、両者においてモード番号は対応していない。
図１１を参照して上述した輝度信号の16×16イントラ予測モードの対象ブロックＡの画素値および隣接する画素値の定義に準じて、イントラ処理される対象ブロックＡ（色差信号の場合は、８×８画素）に隣接する画素の画素値をP(x,y);x,y＝-1,0,…,7とする。
モード０はDC Predictionを示すモードであり、P(x,-1)およびP(-1,y); x,y＝-1,0,…,7が全て“available”である場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（５９）のように生成される。
Figure 2012138884
また、P(-1,y) ; x,y＝-1,0,…,7が “unavailable” である場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６０）のように生成される。
Figure 2012138884
また、P(x,-1) ; x,y＝-1,0,…,7が “unavailable”である場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６１）のように生成される。
Figure 2012138884
モード１はHorizontal Predictionを示すモードであり、P(-1,y) ; x,y＝-1,0,…,7が “available”である場合にのみ適用される。この場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６２）のように生成される。
Pred(x,y) ＝ P(-1,y);x,y＝0,…,7
・・・（６２）
モード２はVertical Predictionを示すモードであり、P(x,-1) ; x,y＝-1,0,…,7が “available”である場合にのみ適用される。この場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６３）のように生成される。
Pred(x,y) ＝ P(x,-1);x,y＝0,…,7
・・・（６３）
モード３はPlane Predictionを示すモードであり、P(x,-1)及びP(-1,y) ; x,y＝-1,0,…,7 が“available”である場合にのみ適用される。この場合、対象ブロックＡの各画素の予測画素値Pred(x,y)は、次の式（６４）のように生成される。
Figure 2012138884
以上のように、輝度信号のイントラ予測モードには、９種類の４×４イントラ予測モードおよび８×８イントラ予測モード、並びに４種類の１６×１６イントラ予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８イントラ予測モードがある。輝度信号の４×４イントラ予測モードおよび８×８イントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の16×16イントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。
ところで、HEVC（High Efficiency Video Coding）は、ポストH.264/AVCとして、ISO/IECとITU−Tで標準化が進行しており、更なる符号化効率の改善を目指している。
HEVCでは、H.264/AVCよりイントラ予測モードのモード数が増加しており、イントラ予測モードの最大モード数は34である。具体的には、HEVCには、イントラ予測のブロックサイズとして4×４画素、8×8画素、16×16画素、32×32画素、および64×64画素がある。そして、4×4イントラ予測モードは、H.264/AVCと同様の9モードである。また、8×8イントラ予測モードでは、非特許文献１に記載されているAngular Predictionが行われ、モード数は33である。16×16イントラ予測モード、32×32画素単位のイントラ予測モード（以下、32×32イントラ予測モードという）、および64×64画素単位のイントラ予測モード（以下、64×64イントラ予測モードという）では、非特許文献１に記載されているADI(Arbitrary Directional Intra） Predictionが行われ、モード数は33である。
また、HEVCでは、イントラ予測モードがDC Predictionを示すモードである場合、非特許文献１に記載されているEdge based predictionを行うかどうかを選択することが可能であり、これにより符号化効率が向上する。Edge based predictionとは、隣接ブロックのエッジ情報を利用した予測である。
さらに、HEVCでは、符号化対象の画像と予測画像との差分である残差情報に対する直交変換として、非特許文献１に記載されているような、残差情報の傾きによる歪を考慮したMDDT(Mode dependent directional transform）が採用される。具体的には、HEVCでは、イントラ予測モードごとの最適なフィルタ係数を用いて、残差情報に対してMDDTが行われる。これにより、符号化効率が向上する。
"Test Model under Consideration",JCTVC-B205,21-28 July,2010
上述したように、HEVCでは、イントラ予測モードがDC Predictionを示すモードである場合、Edge based predictionを行うかどうかを選択することが可能である。しかしながら、Edge based predictionの有無によって残差情報に対する処理を変更することは考えられていない。従って、Edge based predictionの有無によらず、例えば、Edge based predictionが行われない場合に最適な処理が、残差情報に対して行われる。
しかしながら、Edge based predictionが行われる場合には残差情報に偏りがあるため、偏りのない残差情報に最適な処理が行われる場合、符号化効率を十分に向上させることができない。
本技術は、このような状況に鑑みてなされたものであり、Edge based predictionを行う場合の符号化効率を向上させることができるようにするものである。
本技術の第１の側面の符号化装置は、符号化対象の画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出部と、前記エッジ検出部により検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成部と、前記予測ブロックから、その予測ブロックの予測画像を減算する減算部と、前記エッジ検出部により検出された前記角度に応じて、前記減算部による減算の結果得られる画像に対する処理を行う処理部とを備える符号化装置である。
本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。
本技術の第１の側面においては、符号化対象の画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度が検出され、検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像が生成され、前記予測ブロックから、その予測ブロックの予測画像が減算され、前記角度に応じて、減算の結果得られる画像に対する処理が行われる。
本技術の第２の側面の復号装置は、符号化された画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出部と、前記エッジ検出部により検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成部と、前記エッジ検出部により検出された前記角度に応じて、前記予測ブロックに対する処理を行う処理部と、前記処理部により処理された前記予測ブロックと、その予測ブロックの予測画像を加算する加算部とを備える復号装置である。
本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。
本技術の第２の側面においては、符号化された画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度が検出され、検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像が生成され、前記角度に応じて、前記予測ブロックに対する処理が行われ、処理された前記予測ブロックと、その予測ブロックの予測画像が加算される。
なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術の第１の側面によれば、Edge based predictionを行う場合の符号化効率を向上させることができる。
また、本技術の第２の側面によれば、Edge based predictionを行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
輝度信号の16×16イントラ予測モードを説明する図である。 輝度信号の4×4イントラ予測モードを示す図である。 輝度信号の4×4イントラ予測モードを示す図である。 輝度信号の4×4イントラ予測モードの予測方向を示す図である。 イントラ予測の対象となるブロックと隣接ブロックを示す図である。 輝度信号の4×4イントラ予測モードの符号化方式を説明する図である。 輝度信号の8×8イントラ予測モードを示す図である。 輝度信号の8×8イントラ予測モードを示す図である。 輝度信号の16×16イントラ予測モードを示す図である。 輝度信号の16×16イントラ予測モードを示す図である。 対象ブロックＡに隣接する画素の画素値を示す図である。 色差信号のイントラ予測モードを示す図である。 本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 図１３のイントラ予測部とエッジ判定部の構成例を示すブロック図である。 輝度信号の8×8イントラ予測モードを説明する図である。 輝度信号の8×8イントラ予測モードを説明する図である。 輝度信号の16×16イントラ予測モード、32×32イントラ予測モード、および64×64イントラ予測モードを説明する図である。 予測画像の生成方法を説明する図である。 インデックスmddtIdxと輝度信号の4×4イントラ予測モード以外のイントラ予測モードとの関係を示す図である。 エッジ情報nとインデックスmddtIdxの関係を示す図である。 角度θとエッジ情報nの関係を示す図である。 角度θとエッジ情報nの関係を示す図である。 MDDTのフィルタ係数の例を示す図である。 MDDTのフィルタ係数の例を示す図である。 図１３の符号化装置による符号化処理を説明するフローチャートである。 図１３の符号化装置による符号化処理を説明するフローチャートである。 図２５の予測処理の詳細を説明するフローチャートである。 図２７のイントラ予測処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。 図２９のイントラ予測部とエッジ判定部の構成例を示すブロック図である。 図２９の復号装置による復号処理を説明するフローチャートである。 図３１のイントラ予測処理の詳細を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 図３３のイントラ予測部とエッジ判定部の構成例を示すブロック図である。 スキャン処理の第１の方法の例を示す図である。 スキャン処理の第２の方法の例を示す図である。 図３３の符号化装置による符号化処理を説明するフローチャートである。 図３３の符号化装置による符号化処理を説明するフローチャートである。 本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。 図３９のイントラ予測部とエッジ判定部の構成例を示すブロック図である。 図３９の復号装置による復号処理を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示すブロック図である。 テレビジョン受像機の主な構成例を示すブロック図である。 携帯電話機の主な構成例を示すブロック図である。 ハードディスクレコーダの主な構成例を示すブロック図である。 カメラの主な構成例を示すブロック図である。
＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図１３は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。
図１３の符号化装置１０は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、エッジ判定部２５、動き予測・補償部２６、予測画像選択部２７、およびレート制御部２８により構成される。図１３の符号化装置１０は、入力された画像をHEVC方式で圧縮符号化する。
具体的には、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部１３、イントラ予測部２４、および動き予測・補償部２６に出力する。
演算部１３は、予測画像選択部２７から供給される予測画像と、画面並べ替えバッファ１２から出力された符号化対象の画像の差分を演算する。具体的には、演算部１３は、画面並べ替えバッファ１２から出力された符号化対象の画像から、予測画像選択部２７から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。なお、予測画像選択部２７から予測画像が供給されない場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像をそのまま残差情報として直交変換部１４に出力する。
直交変換部１４は、演算部１３からの残差情報に対してMDDT等の直交変換を施す。具体的には、直交変換部１４は、所定のインデックスmddtIdxに対応付けてフィルタ係数を記憶している。直交変換部１４は、イントラ予測処理時、記憶しているフィルタ係数のうちの、エッジ判定部２５から供給されるインデックスmddtIdxに対応するフィルタ係数を読み出し、そのフィルタ係数を用いてMDDTを行う。
具体的には、直交変換部１４は、以下の式（６５）にしたがってMDDTを行う。
Y＝C’XR
・・・（６５）
なお、式（６５）において、Yは、直交変換後の係数を表し、Xは、残差情報を表している。また、CとRはフィルタ係数を表す。直交変換部１４は、直交変換の結果得られる係数を量子化部１５に供給する。
量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６に入力される。
可逆符号化部１６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）とEdge based predictionの有無を表すEdge based predictionフラグをイントラ予測部２４から取得する。また、可逆符号化部１６は、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定するための情報などを動き予測・補償部２６から取得する。
可逆符号化部１６は、量子化部１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部１６は、イントラ予測モード情報とEdge based predictionフラグ、または、インター予測モード情報、動きベクトル、参照画像を特定する情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部１６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ１７に供給し、蓄積させる。
蓄積バッファ１７は、可逆符号化部１６から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
また、量子化部１５より出力された、量子化された係数は、逆量子化部１８にも入力され、逆量子化された後、逆直交変換部１９に供給される。
逆直交変換部１９は、逆量子化部１８から供給される係数に対してIMDDT(Inverse mode dependent directional transform）等の逆直交変換を施す。具体的には、逆直交変換部１９は、所定のインデックスmddtIdxに対応付けてフィルタ係数を記憶している。逆直交変換部１９は、イントラ予測処理時、記憶している係数のうちの、エッジ判定部２５から供給されるインデックスmddtIdxに対応するフィルタ係数を読み出し、そのフィルタ係数を用いてIMDDTを行う。逆直交変換部１９は、その結果得られる残差情報を加算部２０に供給する。
加算部２０は、逆直交変換部１９から供給される復号対象の画像としての残差情報と、予測画像選択部２７から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部２７から予測画像が供給されない場合、加算部２０は、逆直交変換部１９から供給される残差情報を局部的に復号された画像とする。加算部２０は、局部的に復号された画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給して蓄積させる。
デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２１は、その結果得られる画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２６に出力される。
イントラ予測部２４は、画面並べ替えバッファ１２から読み出された画像と、フレームメモリ２２からスイッチ２３を介して読み出された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。
符号化装置１０は、HEVC方式で符号化を行うので、輝度信号の候補となるイントラ予測モードは、9種類の4×4イントラ予測モード、並びに、33種類の8×8イントラ予測モード、16×16イントラ予測モード、32×32イントラ予測モード、および64×64イントラ予測モードである。なお、以下では、輝度信号のイントラ予測モードのイントラ予測処理についてのみ説明を行うが、色差信号のイントラ予測モードのイントラ予測処理も同様に行われる。
また、イントラ予測部２４は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２４は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２７に供給する。イントラ予測部２４は、予測画像選択部２７から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報とEdge based predictionフラグを可逆符号化部１６に供給する。
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（６６）で表わされるコスト関数値が各予測モードに対して算出される。
Cost(Mode)＝D＋λ・R ・・・（６６）
Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（６７）で表わされるコスト関数が各予測モードに対して算出される。
Cost(Mode)＝D＋QPtoQuant(QP)・Header_Bit ・・・（６７）
Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
また、イントラ予測部２４は、DC Predictionを示すイントラ予測モードのイントラ予測処理としてEdge based predictionを行う場合、イントラ予測処理において生成された隣接ブロックのエッジの角度をエッジ判定部２５に供給する。
エッジ判定部２５は、イントラ予測部２４から供給されるエッジの角度またはイントラ予測モードに基づいてインデックスmddtIdxを決定し、直交変換部１４と逆直交変換部１９に供給する。
動き予測・補償部２６は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部２６は、画面並べ替えバッファ６２から供給される画像と、フレームメモリ２２からスイッチ２３を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部２６は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。
このとき、動き予測・補償部２６は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部２６は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２７に供給する。また、動き予測・補償部２６は、予測画像選択部２７から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１６に出力する。
予測画像選択部２７は、イントラ予測部２４および動き予測・補償部２６から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部２７は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。また、予測画像選択部２７は、最適予測モードの予測画像の選択をイントラ予測部２４または動き予測・補償部２６に通知する。
レート制御部２８は、蓄積バッファ１７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。
［イントラ予測部とエッジ判定部の構成例］
図１４は、図１３のイントラ予測部２４とエッジ判定部２５の構成例を示すブロック図である。
図１４に示すように、イントラ予測部２４は、予測モード決定部４１、隣接画素バッファ４２、エッジ検出部４３、予測画像生成部４４、予測画像バッファ４５、およびイントラ予測処理部４６により構成される。
イントラ予測部２４の予測モード決定部４１は、候補となるイントラ予測モードを順に、現在のイントラ予測モードとして決定する。なお、現在のイントラ予測モードがDC Predictionを示すモードである場合、予測モード決定部４１は、さらに、Edge based predictionを行うモードと、Edge based predictionを行わないモードに分け、それぞれを順に現在のイントラ予測モードとする。
また、予測モード決定部４１は、現在のイントラ予測モードのイントラ予測処理によって生成された予測画像に対して、直交変換部１４、量子化部１５、可逆符号化部１６、逆量子化部１８、逆直交変換部１９、加算部２０等による処理が行われた結果を用いてコスト関数値を求める。そして、予測モード決定部４１は、候補となる全てのイントラ予測モードのコスト関数値のうちの最小のコスト関数値に対応するイントラ予測モードを最適イントラ予測モードに決定し、最適イントラ予測モードのコスト関数値を予測画像選択部２７に供給する。
予測モード決定部４１は、予測画像選択部２７から最適イントラ予測モードで生成された予測画像の選択が通知された場合、予測モード決定部４１は、最小のコスト関数値に対応するイントラ予測処理におけるEdge based predictionの有無を表すEdge based predictionフラグを生成する。そして、予測モード決定部４１は、イントラ予測モード情報とEdge based predictionフラグを可逆符号化部１６に供給する。
隣接画素バッファ４２は、フレームメモリ２２からスイッチ２３を介して読み出される参照画像のうちの隣接ブロックを記憶する。なお、図１４では、説明の便宜上、スイッチ２３は省略してある。
エッジ検出部４３および予測画像生成部４４は、現在のイントラ予測モードがDC Predictionを示すモードであり、かつ、Edge based predictionを行うモードである場合、Edge based predictionを行う。
具体的には、エッジ検出部４３は、現在のイントラ予測モードがDC Predictionを示すモードであり、かつ、Edge based predictionを行うモードである場合、隣接画素バッファ４２に記憶されている隣接ブロックを読み出し、その隣接ブロックのエッジの角度θを検出する。エッジ検出部４３は、検出された角度θを予測画像生成部４４とエッジ判定部２５に供給する。
予測画像生成部４４は、隣接画素バッファ４２に記憶されている隣接ブロックを読み出す。予測画像生成部４４は、その隣接ブロックと、エッジ検出部４３から供給される角度θとを用いて予測画像を生成し、予測画像バッファ４５に供給する。
予測画像バッファ４５は、予測画像生成部４４およびイントラ予測処理部４６から供給される予測画像を記憶する。また、予測画像バッファ４５は、記憶している予測画像を予測画像選択部２７に供給する。
イントラ予測処理部４６は、現在のイントラ予測モードがDC Predictionを示すモード以外であるか、または、DC Predictionを示すモードであるが、Edge based predictionを行うモードではない場合、隣接画素バッファ４２に記憶されている隣接ブロックを用いて通常のイントラ予測を行う。具体的には、イントラ予測処理部４６は、隣接ブロックの各画素が”available”であるかどうかを判定し、その判定結果に基づいて隣接ブロックを用いたイントラ予測を行う。イントラ予測処理部４６は、その結果得られる予測画像を予測画像バッファ４５に供給する。
エッジ判定部２５は、角度バッファ５１、エッジ情報決定部５２、インデックス決定部５３、およびインデックスバッファ５４により構成される。
エッジ判定部２５の角度バッファ５１は、エッジ検出部４３から供給される角度θを格納する。
エッジ情報決定部５２は、グループ決定部として機能し、角度バッファ５１に格納された角度θに基づいて、その角度θを所定のグループにグループ化する。エッジ情報決定部５２は、そのグループを表す情報であるエッジ情報nをインデックス決定部５３に供給する。
インデックス決定部５３は、エッジ情報決定部５２から供給されるエッジ情報ｎに基づいてインデックスmddtIdxを決定する。また、インデックス決定部５３は、現在のイントラ予測モードがDC Predictionを示すモード以外であるか、または、DC Predictionを示すモードであるが、Edge based predictionを行うモードではない場合、イントラ予測モードに基づいてインデックスmddtIdxを決定する。インデックス決定部５３は、決定されたインデックスmddtIdxをインデックスバッファ５４に供給する。
インデックスバッファ５４は、インデックス決定部５３から供給されるインデックスmddtIdxを格納する。また、インデックスバッファ５４は、格納されているインデックスmddtIdxを読み出し、直交変換部１４と逆直交変換部１９に供給する。
［イントラ予測モードの説明］
図１５および図１６は、輝度信号の8×8イントラ予測モードを説明する図である。
輝度信号の8×8イントラ予測モードでは、Angular Predictionが行われ、図１５に示すように、IntraPredAngle＝±１は、水平および垂直を基準に5.625度の角度とされる。即ち、輝度信号の8×8イントラ予測モードは、図１５に示した33方向のイントラ予測モードとDC Predictionを示すイントラ予測モードからなり、図１６に示すように、モード数は34である。
DC Predictionを示すモード２以外の8×8イントラ予測モードのイントラ予測処理では、図１５に示すように、隣接ブロックのうちの、イントラ予測の対象となる画素から、その8×8イントラ予測モードに対応する方向に向かう線と交わる画素が予測画素とされる。
図１７は、輝度信号の16×16イントラ予測モード、32×32イントラ予測モード、および64×64イントラ予測モードを説明する図である。
16×16イントラ予測モード、32×32イントラ予測モード、および64×64イントラ予測モードではADI Predictionが行われる。図１７に示すように、各イントラ予測モードは、座標（dxIntra,dyIntra）に対応し、モード数は33である。なお、座標（dxIntra,dyIntra）は、隣接ブロックのうちの予測画素として用いられる画素が交わる線の、所定の座標（x,y）の基点画素以外の端点の基点画素に対する位置を表している。即ち、隣接ブロックのうちの予測画素として用いられる画素は、基点画素と座標（x＋dxIntra,y＋dyIntra）の位置を結んだ線と交わる。
［予測画像の生成方法の説明］
図１８は、現在のイントラ予測モードがDC Predictionを示すモードであり、Edge based predictionを行うモードである場合の予測画像の生成方法を説明する図である。
現在のイントラ予測モードがDC Predictionを示すモードであり、Edge based predictionを行うモードである場合、まず、エッジ検出部４３は、以下の式（６８）で定義されるSobelオペレータを用いて隣接ブロックの各画素のエッジの角度を検出する。
Figure 2012138884
そして、エッジ検出部４３は、検出されたエッジの角度のうちのエッジの強度が最大の角度に基づいて隣接ブロックのエッジの角度θを決定する。
次に、予測画像生成部４４は、角度θに基づいて、図１８に示すようなδxを求める。具体的には、予測画像生成部４４は、以下の式（６９）によりδxを求める。
δx＝y×cotθ
・・・（６９）
なお、式（６９）において、yは、予測画像を構成する各画素である予測画素の画素単位の位置p(x,y)のy方向の座標を表す。また、図１８において、黒色の丸は参照画素を表し、白色の丸は予測画素を表している。図１８の例では、イントラ予測のブロックサイズは4×4画素である。
そして、予測画像生成部４４は、隣接ブロックのうちの、位置p(x,y)の予測画素の生成に用いる2つの画素を、図１７に示す画素単位の位置p（x-δx,0）の画素ａと画素単位の位置p（x-δx-1,0）の画素bにする。また、予測画像生成部４４は、画素ａに対する重み係数wａと画素bに対する重み係数wbを、以下の式（７０）により求める。
wａ＝δx−floor（δx） wｂ＝ceil（δx）−δx
・・・（７０）
そして、予測画像生成部４４は、この重み係数wａとwｂを用いて、以下の式（７１）により位置p(x,y)の予測画素の予測画素値pを求める。
p＝wａ×a＋wｂ×b
・・・（７１）
［mddtIdxの説明］
図１９は、インデックスmddtIdxと輝度信号の4×4イントラ予測モード以外のイントラ予測モードとの関係を示す図である。
なお、本実施の形態では、フィルタ係数CおよびRが、9種類の輝度信号の4×4イントラ予測モードごとの学習により求められ、モード番号と同一のインデックスmddtIdxに対応付けて記憶されているものとする。
図１９に示すように、輝度信号の4×4イントラ予測モード以外のイントラ予測モードのイントラ予測処理が行われる場合、インデックスmddtIdxは、DC predictionを示すモード２以外のイントラ予測モードについては、各イントラ予測モードに対して1つ割り当てられている。
これに対して、図１９に示すように、モード２については、Edge based predictionフラグの値に応じてインデックスmddtIdxが異なる。
具体的には、Edge based predictionフラグがEdge based predictionの無しを表す0である場合、インデックスmddtIdxは2となる。一方、Edge based predictionフラグがEdge based predictionの有りを表す1である場合、エッジ情報nに対応する値となる。この場合のエッジ情報nとインデックスmddtIdxの関係は図２０に示すようになる。
なお、図示は省略するが、輝度信号の4×4イントラ予測モードに対応するインデックスmddtIdxも同様に割り当てられる。
また、インデックスmddtIdxとイントラ予測モードの対応関係を示す情報は、例えばインデックス決定部５３に記憶され、インデックス決定部５３は、その情報を参照してインデックスmddtIdxを決定する。
［エッジ情報の説明］
図２１と図２２は、角度θとエッジ情報nの関係を示す図である。
図２１および図２２に示すように、エッジ情報nは、角度θが有効である場合、角度θの値を番号1乃至8の8個のグループに分類したときのグループの番号となり、角度θの値が有効でない場合0となる。なお、角度θの値が有効でない場合とは、例えば、角度θに対応するエッジの強度が所定の閾値より小さい場合である。
［MDDTのフィルタ係数の例］
図２３および図２４は、図１３の直交変換部１４によるMDDTのフィルタ係数の例を示す図である。
図２３は、イントラ予測のブロックサイズが4×4画素である場合のMDDTのフィルタ係数の例を示す図であり、図２４は、イントラ予測のブロックサイズが8×8画素である場合のMDDTのフィルタ係数の例を示す図である。
なお、図２３において、kltRow4×4［i］（i＝0,1,3,・・・,8）は、インデックスmddtIdx「i」に対応するフィルタ係数Rであり、kltCol4×4［i］は、インデックスmddtIdx「i」に対応するフィルタ係数Cである。
また、図２４において、kltRow8×8［i］（i＝0,1,3,・・・,8）は、インデックスmddtIdx「i」に対応するフィルタ係数Rであり、kltCol8×8［i］は、インデックスmddtIdx「i」に対応するフィルタ係数Cである。
残差情報には、イントラ予測モードの予測方向に応じて偏りがある。従って、イントラ予測モードごとの学習により、残差情報のKLT（Karhunen Loeve Transform）後の係数が最小になるフィルタ係数CおよびRが求められ、直交変換部１４に記憶される。また、逆直交変換部１４には、そのフィルタ係数CおよびRに対応するフィルタ係数が記憶される。
なお、本実施の形態では、4×4イントラ予測モードごとの学習により求められたフィルタ係数CおよびRが、4×4イントラ予測モード以外の予測モードでも用いられるが、4×4イントラ予測モード以外の予測モードについて学習を行い、33種類または34種類のフィルタ係数CおよびRを記憶するようにすることもできる。また、4×4イントラ予測モード、8×8イントラ予測モード、および、それら以外のイントラ予測モードに対して、それぞれ、9種類、32種類、33種類のフィルタ係数CおよびRを求め、記憶するようにしてもよい。
［符号化装置の処理の説明］
図２５および図２６は、図１３の符号化装置１０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の画像が符号化装置１０に入力されるたびに行われる。
図２５のステップＳ１１において、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。
ステップＳ１２において、画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２は、並べ替え後のフレーム単位の画像を、演算部１３、イントラ予測部２４、および動き予測・補償部２６に供給する。
なお、以下のステップＳ１３乃至Ｓ２８の処理は、例えばマクロブロック単位で行われる。但し、先頭フレームの先頭のマクロブロックの処理時には、参照画像が存在しないため、ステップＳ１３乃至Ｓ１８およびＳ２６の処理は行われず、先頭フレームの画像が残差情報および局部的に復号された画像とされる。
ステップＳ１３において、符号化装置１０は、イントラ予測処理およびインター予測処理を含む予測処理を行う。この予測処理の詳細は、後述する図２７を参照して説明する。
ステップＳ１４において、予測画像選択部２７は、ステップＳ１３の処理によりイントラ予測部２４および動き予測・補償部２６から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部２７は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。
ステップＳ１５において、予測画像選択部２７は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部２７は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部２６に通知する。これにより、動き予測・補償部２６は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部１６に出力する。
そして、ステップＳ１６において、可逆符号化部１６は、動き予測・補償部２６から供給されるインター予測モード情報、動きベクトル、および参照画像を特定するための情報を可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ１８に進む。
一方、ステップＳ１５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部２７は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２４に通知する。これにより、イントラ予測部２４は、イントラ予測モード情報とEdge based predictionフラグを可逆符号化部１６に供給する。
そして、ステップＳ１７において、可逆符号化部１６は、イントラ予測部２４から供給されるイントラ予測モード情報とEdge based predictionフラグを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップＳ１８に進む。
ステップＳ１８において、演算部１３は、画面並べ替えバッファ１２から供給される画像から、予測画像選択部２７から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。
ステップＳ１９において、直交変換部１４は、演算部１３からの残差情報に対してMDDT等の直交変換を施す。このとき、最適予測モードがイントラ予測モードである場合には、直交変換部１４は、所定のインデックスmddtIdxに対応付けて記憶しているフィルタ係数のうち、ステップＳ１３の処理でエッジ判定部２５から供給されるインデックスmddtIdxに対応するフィルタ係数を読み出し、そのフィルタ係数を用いてMDDTを行う。直交変換部１４は、直交変換の結果得られる係数を量子化部１５に供給する。
ステップＳ２０において、量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６と逆量子化部１８に入力される。
ステップＳ２１において、可逆符号化部１６は、量子化部１５から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部１６は、ステップＳ１６またはＳ１７の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。
図２６のステップＳ２２において、可逆符号化部１６は、画像圧縮情報を蓄積バッファ１７に供給し、蓄積させる。
ステップＳ２３において、蓄積バッファ１７は、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
ステップＳ２４において、逆量子化部１８は、量子化部１５から供給される量子化された係数を逆量子化する。
ステップＳ２５において、逆直交変換部１９は、逆量子化部１８から供給される係数に対してIMDDT等の逆直交変換を施す。このとき、最適予測モードがイントラ予測モードである場合には、逆直交変換部１９は、所定のインデックスmddtIdxに対応付けて記憶しているフィルタ係数のうちの、ステップＳ１３の処理でエッジ判定部２５から供給されるインデックスmddtIdxに対応するフィルタ係数を読み出し、そのフィルタ係数を用いてIMDDTを行う。逆直交変換部１９は、逆直交変換の結果得られる残差情報を加算部２０に供給する。
ステップＳ２６において、加算部２０は、逆直交変換部１９から供給される残差情報と、予測画像選択部２７から供給される予測画像を加算し、局部的に復号された画像を得る。加算部２０は、得られた画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給する。
ステップＳ２７において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去し、フレームメモリ２２に供給する。
ステップＳ２８において、フレームメモリ２２は、フィルタリング前後の画像を蓄積する。具体的には、フレームメモリ２２は、加算部２０から供給される画像とデブロックフィルタ２１から供給される画像を蓄積する。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２６に出力される。そして、処理は終了する。
図２７は、図２５のステップＳ１３の予測処理の詳細を説明するフローチャートである。
図２７のステップＳ４１において、イントラ予測部２４は、画面並べ替えバッファ１２から供給される画像と、フレームメモリ２２からスイッチ２３を介して供給される参照画像とに基づいて、各イントラ予測モードのイントラ予測処理を行い、予測画像を生成する。このとき、イントラ予測部２４は、各イントラ予測モードのコスト関数値を算出する。なお、イントラ予測処理の詳細は、後述する図２８を参照して説明する。また、動き予測・補償部２６は、各インター予測モードの動き予測・補償処理であるインター予測処理を行い、予測画像を生成する。このとき、動き予測・補償部２６は、各インター予測モードのコスト関数値を算出する。
ステップＳ４２において、イントラ予測部２４は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。そして、イントラ予測部２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２７に供給する。また、動き予測・補償部２６は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部２６は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２７に供給する。そして、処理は図２５のステップＳ１３に戻り、ステップＳ１４に進む。
図２８は、図２７のステップＳ４１のイントラ予測処理の詳細を説明するフローチャートである。
図２８のステップＳ６０において、イントラ予測部２４の予測モード決定部４１は、候補となる全てのイントラ予測モードのうち、まだ現在のイントラ予測モードに決定されていないイントラ予測モードを現在のイントラ予測モードに決定する。なお、現在のイントラ予測モードがDC Predictionを示すモードである場合、予測モード決定部４１は、さらに、Edge based predictionを行うモードと、Edge based predictionを行わないモードに分け、それぞれを順に現在のイントラ予測モードとする。
ステップＳ６１において、隣接画素バッファ４２は、フレームメモリ２２からスイッチ２３を介して読み出される参照画像のうちの隣接ブロックを記憶する。
ステップＳ６２において、エッジ検出部４３とイントラ予測処理部４６は、現在のイントラ予測モードがDC Predictionを示すモードであり、かつ、Edge based predictionを行うモードであるかどうかを判定する。ステップＳ６２で現在のイントラ予測モードがDC Predictionを示すモード以外であるか、または、DC Predictionを示すモードであるが、Edge based predictionを行うモードではないと判定された場合、処理はステップＳ６３に進む。
ステップＳ６３において、イントラ予測処理部４６は、隣接画素バッファ４２に記憶されている隣接ブロックを用いて通常のイントラ予測を行う。イントラ予測処理部４６は、その結果得られる予測画像を、予測画像バッファ４５を介して予測画像選択部２７に供給する。
ステップＳ６４において、インデックス決定部５３は、現在のイントラ予測モードに基づいてインデックスmddtIdxを決定し、インデックスバッファ５４を介して、直交変換部１４と逆直交変換部１９に出力する。そして処理はステップＳ７０に進む。
一方、ステップＳ６２で現在のイントラ予測モードがDC Predictionを示すモードであり、かつ、Edge based predictionを行うモードであると判定された場合、処理はステップＳ６５に進む。
ステップＳ６５において、エッジ検出部４３は、隣接画素バッファ４２に記憶されている隣接ブロックを読み出し、その隣接ブロックのエッジの角度θを求める。エッジ検出部４３は、その角度θを予測画像生成部４４とエッジ判定部２５の角度バッファ５１に供給する。角度バッファ５１は、エッジ検出部４３から供給される角度θを格納する。
ステップＳ６６において、予測画像生成部４４は、隣接画素バッファ４２に記憶されている隣接ブロックを読み出し、その隣接ブロックと、エッジ検出部４３から供給される角度θとを用いて予測画像を生成する。そして、予測画像生成部４４は、その予測画像を、予測画像バッファ４５を介して予測画像選択部２７に供給する。
ステップＳ６７において、エッジ情報決定部５２は、角度バッファ５１に格納された角度θに基づいてエッジ情報nを決定し、インデックス決定部５３に供給する。
ステップＳ６８において、インデックス決定部５３は、エッジ情報決定部５２から供給されるエッジ情報nが0であるかどうかを判定する。ステップＳ６８でエッジ情報nが0ではないと判定された場合、処理はステップＳ６９に進む。
ステップＳ６９において、インデックス決定部５３は、エッジ情報決定部５２から供給されるエッジ情報ｎに基づいてインデックスmddtIdxを決定し、インデックスバッファ５４を介して、直交変換部１４と逆直交変換部１９に出力する。そして、処理はステップＳ７０に進む。
ステップＳ７０において、予測モード決定部４１は、現在のイントラ予測モードのコスト関数値を求める。具体的には、予測モード決定部４１は、ステップＳ６３またはステップＳ６６の処理によって生成された予測画像に対して、直交変換部１４、量子化部１５、可逆符号化部１６、逆量子化部１８、逆直交変換部１９、加算部２０等による処理が行われた結果を用いてコスト関数値を求める。なお、直交変換部１４によるMDDTおよび逆直交変換部１９によるIMDDTに用いられるフィルタ係数は、ステップＳ６４またはＳ６９の処理で出力されたインデックスmddtIdxに対応するフィルタ係数である。ステップＳ７０の処理後、処理はステップＳ７１に進む。
一方、ステップＳ６８でエッジ情報nが0であると判定された場合、即ち角度θが有効でない場合、コスト関数値は求められず、処理はステップＳ７１に進む。
ステップＳ７１において、予測モード決定部４１は、候補となる全てのイントラ予測モードのコスト関数値が求められたかどうか、即ち、ステップＳ６０で候補となる全てのイントラ予測モードが現在のイントラ予測モードとして決定されたかどうかを判定する。
ステップＳ７１で候補となる全てのイントラ予測モードのコスト関数値がまだ求められていないと判定された場合、処理はステップＳ６０に戻り、候補となる全てのイントラ予測モードのコスト関数値が求められるまで、ステップＳ６０乃至Ｓ７１の処理が繰り返される。
一方、ステップＳ７１で候補となる全てのイントラ予測モードのコスト関数値が求められたと判定された場合、処理は終了する。以上のようにして求められた候補となる全てのイントラ予測モードのコスト関数値は、図２７のステップＳ４２の処理において用いられる。
以上のように、符号化装置１０は、イントラ予測モードがDC predictionを示すモードであり、Edge based predictionを行うモードである場合、予測方向に対応する角度θに対応するフィルタ係数を用いて、予測方向に応じた偏りを有する残差情報に対してMDDTを行う。これにより、MDDTの変換効率を向上させ、符号化効率を向上させることができる。
また、符号化装置１０は、イントラ予測モードがDC predictionを示すモードであり、Edge based predictionを行うモードである場合、予測方向に対応する角度θに対応するフィルタ係数を用いて、MDDT後の係数に対してIMDDTを行う。従って、角度θに対応するフィルタ係数を用いた、変換効率の高いMDDTの結果得られる係数に対してIMDDTを行うことができる。
［復号装置の構成例］
図２９は、図１３の符号化装置１０から出力される画像圧縮情報を復号する、本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。
図２９の復号装置１００は、蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、エッジ判定部１１２、動き予測・補償部１１３、およびスイッチ１１４により構成される。
復号装置１００の蓄積バッファ１０１は、図１３の符号化装置１０から画像圧縮情報を受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号部１０２に供給する。
可逆復号部１０２は、蓄積バッファ１０１からの画像圧縮情報に対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数とヘッダを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、ヘッダに含まれるイントラ予測モード情報、Edge based predictionフラグなどをイントラ予測部１１１に供給し、動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き予測・補償部１１３に供給する。さらに、可逆復号部１０２は、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ１１４に供給する。
逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、エッジ判定部１１２、および、動き予測・補償部１１３は、図１３の逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、エッジ判定部２５、および、動き予測・補償部２６とそれぞれ同様の処理を行い、これにより、画像が復号される。
具体的には、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
逆直交変換部１０４は、逆量子化部１０３からの係数に対して、IMDDT等の逆直交変換を施す。具体的には、逆直交変換部１０４は、所定のインデックスmddtIdxに対応付けてフィルタ係数を記憶している。逆直交変換部１０４は、イントラ予測処理時、記憶している係数のうちの、エッジ判定部１１２から供給されるインデックスmddtIdxに対応するフィルタ係数を読み出し、そのフィルタ係数を用いてIMDDTを行う。逆直交変換部１０４は、その結果得られる残差情報を加算部１０５に供給する。
加算部１０５は、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１４から供給される予測画像を加算し、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、スイッチ１１４から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給して蓄積させる。
デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して読み出され、動き予測・補償部１１３またはイントラ予測部１１１に供給される。
画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１０７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。
イントラ予測部１１１は、フレームメモリ１０９からスイッチ１１０を介して読み出される参照画像を用いて、可逆復号部１０２から供給されるイントラ予測モード情報とEdge based predictionフラグに基づいてイントラ予測処理を行い、予測画像を生成する。そして、イントラ予測部１１１は、予測画像をスイッチ１１４に供給する。また、イントラ予測部２４は、イントラ予測モード情報がDC Predictionを示すモードであり、Edge based predictionフラグがEdge based predictionの有りを表す1である場合、イントラ予測処理において生成された隣接ブロックのエッジの角度をエッジ判定部２５に供給する。
動き予測・補償部１１３は、可逆復号部１０２から供給される参照画像を特定するための情報に基づいて、フレームメモリ１０９からスイッチ１１０を介して参照画像を読み出す。動き予測・補償部１１３は、動きベクトルと参照画像を用いて、インター予測モード情報が表すインター予測モードのインター予測処理を行う。動き予測・補償部１１３は、その結果生成される予測画像をスイッチ１１４に供給する。
スイッチ１１４は、可逆復号部１０２からイントラ予測モード情報が供給された場合、イントラ予測部１１１から供給される予測画像を加算部１０５に供給する。一方、可逆復号部１０２からインター予測モード情報が供給された場合、動き予測・補償部１１３から供給される予測画像を加算部１０５に供給する。
［イントラ予測部とエッジ判定部の構成例］
図３０は、図２９のイントラ予測部１１１とエッジ判定部１１２の構成例を示すブロック図である。
図３０に示すように、イントラ予測部１１１は、予測モード決定部１２１、隣接画素バッファ１２２、エッジ検出部１２３、予測画像生成部１２４、予測画像バッファ１２５、およびイントラ予測処理部１２６により構成される。
イントラ予測部１１１の予測モード決定部１２１は、可逆復号部１０２から供給されるイントラ予測モード情報とEdge based predictionフラグに基づいて、現在のイントラ予測モードを決定する。
隣接画素バッファ１２２、エッジ検出部１２３、予測画像生成部１２４、予測画像バッファ１２５、およびイントラ予測処理部１２６の構成は、図１４の隣接画素バッファ４２、エッジ検出部４３、予測画像生成部４４、予測画像バッファ４５、イントラ予測処理部４６の構成と同様であるので、説明は省略する。なお、予測画像バッファ１２５に記憶されている予測画像は、スイッチ１１４に供給される。
エッジ判定部１１２は、角度バッファ１３１、エッジ情報決定部１３２、インデックス決定部１３３、およびインデックスバッファ１３４により構成される。角度バッファ１３１、エッジ情報決定部１３２、インデックス決定部１３３、およびインデックスバッファ１３４の構成は、図１４の角度バッファ５１、エッジ情報決定部５２、インデックス決定部５３、およびインデックスバッファ５４と同様であるので、説明は省略する。なお、インデックスバッファ５４から読み出されたインデックスmddtIdxは、逆直交変換部１０４に供給される。
［復号装置の処理の説明］
図３１は、図２９の復号装置１００による復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位の画像圧縮情報が復号装置１００に入力されるたびに行われる。
図３１のステップＳ１０１において、復号装置１００の蓄積バッファ１０１は、図１３の符号化装置１０からフレーム単位の画像圧縮情報を受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号部１０２に供給する。なお、以下のステップＳ１０２乃至Ｓ１１０の処理は、例えばマクロブック単位で行われる。
ステップＳ１０２において、可逆復号部１０２は、蓄積バッファ１０１からの画像圧縮情報を可逆復号し、量子化された係数とヘッダを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、ヘッダに含まれるイントラ予測モード情報、Edge based predictionフラグなどをイントラ予測部１１１に供給し、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き予測・補償部１１３に供給する。さらに、可逆復号部１０２は、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ１１４に供給する。
ステップＳ１０３において、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
ステップＳ１０４において、動き予測・補償部１１３は、可逆復号部１０２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１０４でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１０５に進む。
ステップＳ１０５において、動き予測・補償部１１３は、可逆復号部１０２から供給される動きベクトル、インター予測モード情報、および参照画像を特定するための情報に基づいて、インター予測処理を行う。動き予測・補償部１１３は、その結果生成される予測画像を、スイッチ１１４を介して加算部１０５に供給し、処理をステップＳ１０７に進める。
一方、ステップＳ１０４でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１１１に供給された場合、処理はステップＳ１０６に進む。
ステップＳ１０６において、イントラ予測部１１１は、フレームメモリ１０９からスイッチ１１０を介して読み出される参照画像を用いて、可逆復号部１０２からのイントラ予測モード情報およびEdge based predictionフラグに基づいてイントラ予測処理を行う。このイントラ予測処理の詳細は、後述する図３２を参照して説明する。イントラ予測部１１１は、イントラ予測処理の結果生成される予測画像を、スイッチ１１４を介して加算部１０５に供給し、処理をステップＳ１０７に進める。
ステップＳ１０７において、逆直交変換部１０４は、逆量子化部１０３からの係数に対してIMDDT等の逆直交変換を施す。このとき、イントラ予測処理が行われる場合には、逆直交変換部１０４は、所定のインデックスmddtIdxに対応付けて記憶しているフィルタ係数のうちの、ステップＳ１０６の処理でエッジ判定部１１２から供給されるインデックスmddtIdxに対応するフィルタ係数を読み出し、そのフィルタ係数を用いてIMDDTを行う。逆直交変換部１０４は、逆直交変換の結果得られる残差情報を加算部１０５に供給する。
ステップＳ１０８において、加算部１０５は、逆直交変換部１０４から供給される残差情報と、スイッチ１１４から供給される予測画像を加算する。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、先頭のフレームの先頭のマクロブロックの処理時には、参照画像は存在しないため、ステップＳ１０４乃至Ｓ１０６およびＳ１０８の処理は行われず、残差情報である画像がデブロックフィルタ１０６に供給されるとともに、フレームメモリ１０９に供給される。
ステップＳ１０９において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。デブロックフィルタ１０６は、フィルタリング後の画像をフレームメモリ１０９に供給する。
ステップＳ１１０において、フレームメモリ１０９は、加算部１０５から供給されるフィルタリング前の画像と、デブロックフィルタ１０６から供給されるフィルタリング後の画像を蓄積する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して動き予測・補償部１１３またはイントラ予測部１１１に供給される。
ステップＳ１１１において、画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。
ステップＳ１１２において、D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。
図３２は、図３１のステップＳ１０６のイントラ予測処理の詳細を説明するフローチャートである。
図３２のステップＳ１２０において、イントラ予測部１１１の予測モード決定部１２１は、可逆復号部１０２からイントラ予測モード情報とEdge based predictionフラグを取得する。
ステップＳ１２１において、予測モード決定部１２１は、可逆復号部１０２から取得されたイントラ予測モード情報とEdge based predictionフラグに基づいて、現在のイントラ予測モードを決定する。
ステップＳ１２２において、隣接画素バッファ１２２は、フレームメモリ１０９からスイッチ１１０を介して読み出される参照画像のうちの隣接ブロックを記憶する。
ステップＳ１２３において、予測モード決定部１２１は、現在のイントラ予測モードが、DC Predictionを示すモードであり、Edge based predictionを行うモードであるかどうかを判定する。ステップＳ１２３で現在のイントラ予測モードがDC Predictionを示すモード以外であるか、または、DC Predictionを示すモードであるが、Edge based predictionを行うモードではないと判定された場合、処理はステップＳ１２４に進む。
ステップＳ１２４において、イントラ予測処理部１２６は、隣接画素バッファ１２２に記憶されている隣接ブロックを用いて通常のイントラ予測を行う。イントラ予測処理部１２６は、その結果得られる予測画像を、予測画像バッファ１２５を介してスイッチ１１４に供給する。
ステップＳ１２５において、インデックス決定部１３３は、現在のイントラ予測モードに基づいてインデックスmddtIdxを決定し、インデックスバッファ１３４を介して、逆直交変換部１０４に出力する。そして処理は図３１のステップＳ１０６に戻り、ステップＳ１０７に進む。
一方、ステップＳ１２３で現在のイントラ予測モードが、DC Predictionを示すモードであり、Edge based predictionを行うモードであると判定された場合、処理はステップＳ１２６に進む。
ステップＳ１２６において、エッジ検出部１２３は、隣接画素バッファ１２２に記憶されている隣接ブロックを読み出し、その隣接ブロックのエッジの角度θを求める。エッジ検出部１２３は、その角度θを予測画像生成部１２４とエッジ判定部１１２の角度バッファ１３１に供給する。角度バッファ１３１は、エッジ検出部１２３から供給される角度θを格納する。
ステップＳ１２７において、予測画像生成部１２４は、隣接画素バッファ１２２に記憶されている隣接ブロックを読み出し、その隣接ブロックと、エッジ検出部１２３から供給される角度θとを用いて予測画像を生成する。そして、予測画像生成部１２４は、その予測画像を、予測画像バッファ１２５を介してスイッチ１１４に供給する。
ステップＳ１２８において、エッジ情報決定部１３２は、角度バッファ１３１に格納された角度θに基づいてエッジ情報nを決定し、インデックス決定部１３３に供給する。
ステップＳ１２９において、インデックス決定部１３３は、エッジ情報決定部１３２から供給されるエッジ情報ｎに基づいてインデックスmddtIdxを決定し、インデックスバッファ１３４を介して、逆直交変換部１０４に供給する。そして、処理は図３１のステップＳ１０６に戻り、ステップＳ１０７に進む。
以上のように、復号装置１００は、イントラ予測モードがDC predictionを示すモードであり、Edge based predictionを行うモードである場合、予測方向に対応する角度θに対応するフィルタ係数を用いて、圧縮画像に対応するMDDT後の係数に対してIMDDTを行う。従って、符号化装置１０による、角度θに対応するフィルタ係数を用いた、変換効率の高いMDDTの結果得られる係数から残差情報を取得することができる。その結果、符号化装置１０により符号化効率が向上するように符号化された圧縮画像を復号することができる。
＜第２実施の形態＞
［符号化装置の第２実施の形態の構成例］
図３３は、本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。
図３３に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３３の符号化装置２１０の構成は、主に、可逆符号化部１６の代わりに可逆符号化部２１２が設けられている点、および、適応的スキャン部２１１と適応的逆スキャン部２１３が新たに設けられている点が図１３の構成と異なる。図３３の符号化装置２１０は、イントラ予測処理時、量子化された係数の２次元配列を１次元配列に変換する処理（以下では、スキャン処理という）を、インデックスmddtIdxに応じた方法で行う。
具体的には、符号化装置２１０の適応的スキャン部２１１は、量子化部１５から供給される量子化された係数をスキャン処理する。このとき、イントラ予測処理時には、適応的スキャン部２１１は、処理部として機能し、エッジ判定部２５から供給されるインデックスmddtIdxに応じた方法で、量子化された係数に対してスキャン処理を行う。なお、スキャン処理の詳細については、例えば、”Improved Intra Coding”,VCEG-AG11,20 October,2007に記載されている。適応的スキャン部２１１は、スキャン処理された係数を可逆符号化部２１２および適応的逆スキャン部２１３に供給する。
可逆符号化部２１２は、図１３の可逆符号化部１６と同様に、イントラ予測モード情報とEdge based predictionフラグをイントラ予測部２４から取得する。また、可逆符号化部２１２は、可逆符号化部１６と同様に、インター予測モード情報、動きベクトル、参照画像を特定するための情報などを動き予測・補償部２６から取得する。
可逆符号化部２１２は、適応的スキャン部２１１から供給されるスキャン処理された係数に対して可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部２１２は、可逆符号化部１６と同様に、イントラ予測モード情報とEdge based predictionフラグ、または、インター予測モード情報、動きベクトル、参照画像を特定する情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部２１２は、可逆符号化部１６と同様に、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ１７に供給し、蓄積させる。
適応的逆スキャン部２１３は、適応的スキャン部２１１から供給されるスキャン処理された係数の１次元配列を２次元配列に変換する処理（以下、逆スキャン処理という）を行う。このとき、イントラ予測処理時には、適応的逆スキャン部２１３は、逆スキャン処理部として機能し、エッジ判定部２５から供給されるインデックスmddtIdxに応じた方法で、スキャン処理された係数に対して逆スキャン処理を行う。適応的逆スキャン部２１３は、逆スキャン処理の結果得られる量子化された係数を逆量子化部１８に供給する。
［イントラ予測部とエッジ判定部の構成例］
図３４は、図３３のイントラ予測部２４とエッジ判定部２５の構成例を示すブロック図である。
図３４に示すように、図３４のイントラ予測部２４とエッジ判定部２５の構成は、図１４のイントラ予測部２４とエッジ判定部２５の構成と同一である。但し、図３４のエッジ判定部２５は、インデックスmddtIdxを、直交変換部１４および逆直交変換部１９だけでなく、適応的スキャン部２１１および適応的逆スキャン部２１３にも供給する。
[スキャン処理の方法の例]
図３５および図３６は、適応的スキャン部２１１によるスキャン処理の方法の例を示す図である。
なお、図３５および図３６の例では、マクロブロックのサイズが4×4画素である。
図３５の方法は、マクロブロックの各画素の量子化された係数を、水平方向に並ぶ画素の順を含む図中矢印で示す順に配列する方法である。図３６の方法は、マクロブロックの各画素の量子化された係数を、垂直方向に並ぶ画素の順を含む図中矢印で示す順に配列する方法である。
［符号化装置の処理の説明］
図３７および図３８は、図３３の符号化装置２１０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の画像が符号化装置２１０に入力されるたびに行われる。
図３７のステップＳ２１１乃至Ｓ２２０の処理は、図２５のステップＳ１１乃至Ｓ２０の処理と同様に行われる。
ステップＳ２２１において、符号化装置２１０の適応的スキャン部２１１は、量子化部１５から供給される量子化された係数をスキャン処理する。このとき、最適予測モードがイントラ予測モードである場合には、適応的スキャン部２１１は、エッジ判定部２５から供給されるインデックスmddtIdxに応じた方法で、量子化された係数をスキャン処理する。適応的スキャン部２１１は、スキャン処理された係数を可逆符号化部２１２および適応的逆スキャン部２１３に供給する。
ステップＳ２２２において、可逆符号化部２１２は、適応的スキャン部２１１から供給されるスキャン処理された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部２１２は、ステップＳ２１６またはＳ２１７の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。
図３８のステップＳ２２３において、可逆符号化部２１２は、図２６のステップＳ２２の処理と同様に、画像圧縮情報を蓄積バッファ１７に供給し、蓄積させる。
ステップＳ２２４において、蓄積バッファ１７は、ステップＳ２３の処理と同様に、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
ステップＳ２２５において、適応的逆スキャン部２１３は、適応的スキャン部２１１から供給されるスキャン処理された係数を逆スキャン処理する。このとき、最適予測モードがイントラ予測モードである場合には、適応的逆スキャン部２１３は、エッジ判定部２５から供給されるインデックスmddtIdxに応じた方法で、スキャン処理された係数を逆スキャン処理する。適応的逆スキャン部２１３は、逆スキャン処理の結果得られる量子化された係数を逆量子化部１８に供給する。
ステップＳ２２６において、逆量子化部１８は、適応的逆スキャン部２１３から供給される量子化された係数を逆量子化する。
ステップＳ２２７乃至Ｓ２３０の処理は、図２６のステップＳ２５乃至Ｓ２８の処理と同様である。
以上のように、符号化装置２１０は、イントラ予測モードがDC predictionを示すモードであり、Edge based predictionを行うモードである場合、予測方向に対応する角度θに対応するインデックスmddtIdxに応じた方法で、予測方向に応じた偏りを有する残差情報に対してスキャン処理を行う。これにより、符号化効率を向上させることができる。
また、符号化装置２１０は、イントラ予測モードがDC predictionを示すモードであり、Edge based predictionを行うモードである場合、予測方向に対応する角度θに対応するインデックスmddtIdxに応じた方法で、スキャン処理された係数に対して逆スキャン処理を行う。従って、角度θに対応するインデックスmddtIdxに応じた方法でスキャン処理された係数を逆スキャン処理することができる。
［復号装置の構成例］
図３９は、図３３の符号化装置１０から出力される画像圧縮情報を復号する、本技術を適用した復号装置の第２実施の形態の構成例を示すブロック図である。
図３９に示す構成のうち、図２９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３９の復号装置３００の構成は、主に、可逆復号部１０２の代わりに可逆復号部３０１が設けられている点、および、適応的逆スキャン部３０２が新たに設けられている点が図２９の構成と異なる。図３９の復号装置３００は、イントラ予測処理時、符号化装置１０から伝送されてくる画像圧縮情報に対応するスキャン処理された係数を、インデックスmddtIdxに応じた方法で逆スキャン処理する。
具体的には、復号装置３００の可逆復号部３０１は、蓄積バッファ１０１からの画像圧縮情報に対して、可変長復号や、算術復号等の可逆復号を施すことで、スキャン処理された係数とヘッダを得る。可逆復号部３０１は、スキャン処理された係数を適応的逆スキャン部３０２に供給する。また、可逆復号部３０１は、図２９の可逆復号部１０２と同様に、ヘッダに含まれるイントラ予測モード情報、Edge based predictionフラグなどをイントラ予測部１１１に供給し、動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き予測・補償部１１３に供給する。さらに、可逆復号部３０１は、可逆復号部１０２と同様に、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ１１４に供給する。
適応的逆スキャン部３０２は、可逆復号部３０１から供給されるスキャン処理された係数を逆スキャン処理する。このとき、イントラ予測処理時には、適応的逆スキャン部３０２は、処理部として機能し、エッジ判定部１１２から供給されるインデックスmddtIdxに応じた方法で、スキャン処理された係数に対して逆スキャン処理を行う。適応的逆スキャン部２１３は、逆スキャン処理の結果得られる量子化された係数を逆量子化部１０３に供給する。
［イントラ予測部とエッジ判定部の構成例］
図４０は、図３９のイントラ予測部１１１とエッジ判定部１１２の構成例を示すブロック図である。
図４０に示すように、図４０のイントラ予測部１１１とエッジ判定部１１２の構成は、図３０のイントラ予測部１１１とエッジ判定部１１２の構成と同一である。但し、図４０のエッジ判定部１１２は、インデックスmddtIdxを、逆直交変換部１０４だけでなく、適応的逆スキャン部３０２にも供給する。
［復号装置の処理の説明］
図４１は、図３９の復号装置３００による復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位の画像圧縮情報が復号装置３００に入力されるたびに行われる。
図４１のステップＳ２４１において、復号装置１００の蓄積バッファ１０１は、図３１のステップＳ１０１と同様に、図３３の符号化装置２１０からフレーム単位の画像圧縮情報を受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号部３０１に供給する。なお、以下のステップＳ２４２乃至Ｓ２５１の処理は、例えばマクロブック単位で行われる。
ステップＳ２４２において、可逆復号部３０１は、蓄積バッファ１０１からの画像圧縮情報を可逆復号し、スキャン処理された係数とヘッダを得る。可逆復号部３０１は、スキャン処理された係数を適応的逆スキャン部３０２に供給する。また、可逆復号部３０１は、ヘッダに含まれるイントラ予測モード情報、Edge based predictionフラグなどをイントラ予測部１１１に供給し、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き予測・補償部１１３に供給する。さらに、可逆復号部３０１は、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ１１４に供給する。
ステップＳ２４３において、適応的逆スキャン部３０２は、可逆復号部３０１から供給されるスキャン処理された係数を逆スキャン処理する。このとき、イントラ予測処理が行われる場合には、適応的逆スキャン部３０２は、エッジ判定部１１２から供給されるインデックスmddtIdxに応じた方法で、スキャン処理された係数を逆スキャン処理する。適応的逆スキャン部２１３は、逆スキャン処理の結果得られる量子化された係数を逆量子化部１０３に供給する。
ステップＳ２４４において、逆量子化部１０３は、適応的逆スキャン部３０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。
ステップＳ２４５乃至Ｓ２５３の処理は、図３１のステップＳ１０４乃至Ｓ１１２の処理であるので、説明は省略する。
以上のように、復号装置３００は、イントラ予測モードがDC predictionを示すモードであり、Edge based predictionを行うモードである場合、予測方向に対応する角度θに対応するインデックスmddtIdxに応じた方法で、圧縮画像に対応するスキャン処理された係数に対して逆スキャン処理を行う。従って、符号化装置２１０により、角度θに対応するインデックスmddtIdxに応じた方法でスキャン処理された係数から、スキャン処理前の係数を取得することができる。その結果、符号化装置２１０により符号化効率が向上するように符号化された圧縮画像を復号することができる。
なお、第２実施の形態では、イントラ予測処理時、直交変換、逆直交変換、スキャン処理、および逆スキャン処理がインデックスmddtIdxに応じて行われたが、スキャン処理および逆スキャン処理だけがインデックスmddtIdxに応じて行われるようにしてもよい。
また、本実施の形態では、HEVC方式をベースに用いるようにしたが、本技術はこれに限らず、隣接ブロックを抽出し、隣接ブロックのエッジに関する情報を用いて直交変換や逆直交変換を行う符号化方式/復号方式を用いる符号化装置/復号装置に適用することができる。
また、本技術は、例えば、MPEG，H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮する方式で圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる符号化装置および復号装置に適用することができる。また、本技術は、光ディスク、磁気ディスク、フラッシュメモリなどの記憶メディアに対して処理する際に用いられる符号化装置および復号装置に適用することができる。
＜第３実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した符号化処理や復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。符号化処理や復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図４２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部４０８やROM（Read Only Memory）４０２に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア４１１に格納（記録）しておくことができる。このようなリムーバブルメディア４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア４１１からドライブ４１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部４０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)４０１を内蔵しており、CPU４０１には、バス４０４を介して、入出力インタフェース４０５が接続されている。
CPU４０１は、入出力インタフェース４０５を介して、ユーザによって、入力部４０６が操作等されることにより指令が入力されると、それに従って、ROM４０２に格納されているプログラムを実行する。あるいは、CPU４０１は、記憶部４０８に格納されたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。
これにより、CPU４０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０５を介して、出力部４０７から出力、あるいは、通信部４０９から送信、さらには、記憶部４０８に記録等させる。
なお、入力部４０６は、キーボードや、マウス、マイク等で構成される。また、出力部４０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
＜第４実施の形態＞
［テレビジョン受像機の構成例］
図４３は、本技術を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
図４３に示されるテレビジョン受像機５００は、地上波チューナ５１３、ビデオデコーダ５１５、映像信号処理回路５１８、グラフィック生成回路５１９、パネル駆動回路５２０、および表示パネル５２１を有する。
地上波チューナ５１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ５１５に供給する。ビデオデコーダ５１５は、地上波チューナ５１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路５１８に供給する。
映像信号処理回路５１８は、ビデオデコーダ５１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路５１９に供給する。
グラフィック生成回路５１９は、表示パネル５２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路５２０に供給する。また、グラフィック生成回路５１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路５２０に供給するといった処理も適宜行う。
パネル駆動回路５２０は、グラフィック生成回路５１９から供給されたデータに基づいて表示パネル５２１を駆動し、番組の映像や上述した各種の画面を表示パネル５２１に表示させる。
表示パネル５２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路５２０による制御に従って番組の映像などを表示させる。
また、テレビジョン受像機５００は、音声A/D（Analog/Digital)変換回路５１４、音声信号処理回路５２２、エコーキャンセル／音声合成回路５２３、音声増幅回路５２４、およびスピーカ５２５も有する。
地上波チューナ５１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ５１３は、取得した音声信号を音声A/D変換回路５１４に供給する。
音声A/D変換回路５１４は、地上波チューナ５１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路５２２に供給する。
音声信号処理回路５２２は、音声A/D変換回路５１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路５２３に供給する。
エコーキャンセル／音声合成回路５２３は、音声信号処理回路５２２から供給された音声データを音声増幅回路５２４に供給する。
音声増幅回路５２４は、エコーキャンセル／音声合成回路５２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ５２５から出力させる。
さらに、テレビジョン受像機５００は、デジタルチューナ５１６およびMPEGデコーダ５１７も有する。
デジタルチューナ５１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ５１７に供給する。
MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ５１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路５２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路５１８に供給する。また、MPEGデコーダ５１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU５３２に供給する。
テレビジョン受像機５００は、このように映像パケットをデコードするMPEGデコーダ５１７として、上述した復号装置１００を用いる。したがって、MPEGデコーダ５１７では、復号装置１００の場合と同様に、Edge based predictionを行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
MPEGデコーダ５１７から供給された映像データは、ビデオデコーダ５１５から供給された映像データの場合と同様に、映像信号処理回路５１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路５１９において、生成された映像データ等が適宜重畳され、パネル駆動回路５２０を介して表示パネル５２１に供給され、その画像が表示される。
MPEGデコーダ５１７から供給された音声データは、音声A/D変換回路５１４から供給された音声データの場合と同様に、音声信号処理回路５２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路５２３を介して音声増幅回路５２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ５２５から出力される。
また、テレビジョン受像機５００は、マイクロホン５２６、およびA/D変換回路５２７も有する。
A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路５２３に供給する。
エコーキャンセル／音声合成回路５２３は、テレビジョン受像機５００のユーザ（ユーザＡ）の音声のデータがA/D変換回路５２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路５２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。
さらに、テレビジョン受像機５００は、音声コーデック５２８、内部バス５２９、SDRAM（Synchronous Dynamic Random Access Memory)５３０、フラッシュメモリ５３１、CPU５３２、USB（Universal Serial Bus) I/F５３３、およびネットワークI/F５３４も有する。
A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック５２８に供給する。
音声コーデック５２８は、A/D変換回路５２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス５２９を介してネットワークI/F５３４に供給する。
ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F５３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック５２８から供給された音声データを送信する。また、ネットワークI/F５３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子５３５を介して受信し、それを、内部バス５２９を介して音声コーデック５２８に供給する。
音声コーデック５２８は、ネットワークI/F５３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路５２３に供給する。
エコーキャンセル／音声合成回路５２３は、音声コーデック５２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。
SDRAM５３０は、CPU５３２が処理を行う上で必要な各種のデータを記憶する。
フラッシュメモリ５３１は、CPU５３２により実行されるプログラムを記憶する。フラッシュメモリ５３１に記憶されているプログラムは、テレビジョン受像機５００の起動時などの所定のタイミングでCPU５３２により読み出される。フラッシュメモリ５３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
例えば、フラッシュメモリ５３１には、CPU５３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ５３１は、例えばCPU５３２の制御により、そのMPEG-TSを、内部バス５２９を介してMPEGデコーダ５１７に供給する。
MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機５００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ５１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
また、テレビジョン受像機５００は、リモートコントローラ５５１から送信される赤外線信号を受光する受光部５３７も有する。
受光部５３７は、リモートコントローラ５５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU５３２に出力する。
CPU５３２は、フラッシュメモリ５３１に記憶されているプログラムを実行し、受光部５３７から供給される制御コードなどに応じてテレビジョン受像機５００の全体の動作を制御する。CPU５３２とテレビジョン受像機５００の各部は、図示せぬ経路を介して接続されている。
USB I/F５３３は、USB端子５３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機５００の外部の機器との間でデータの送受信を行う。ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
テレビジョン受像機５００は、MPEGデコーダ５１７として復号装置１００を用いることにより、Edge based predictionを行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
＜第５実施の形態＞
［携帯電話機の構成例］
図４４は、本技術を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
図４４に示される携帯電話機６００は、各部を統括的に制御するようになされた主制御部６５０、電源回路部６５１、操作入力制御部６５２、画像エンコーダ６５３、カメラI/F部６５４、LCD制御部６５５、画像デコーダ６５６、多重分離部６５７、記録再生部６６２、変復調回路部６５８、および音声コーデック６５９を有する。これらは、バス６６０を介して互いに接続されている。
また、携帯電話機６００は、操作キー６１９、CCD（Charge Coupled Devices）カメラ６１６、液晶ディスプレイ６１８、記憶部６２３、送受信回路部６６３、アンテナ６１４、マイクロホン（マイク）６２１、およびスピーカ６１７を有する。
電源回路部６５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機６００を動作可能な状態に起動する。
携帯電話機６００は、CPU、ROMおよびRAM等でなる主制御部６５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
例えば、音声通話モードにおいて、携帯電話機６００は、マイクロホン（マイク）６２１で集音した音声信号を、音声コーデック６５９によってデジタル音声データに変換し、これを変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
また、例えば、音声通話モードにおいて、携帯電話機６００は、アンテナ６１４で受信した受信信号を送受信回路部６６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部６５８でスペクトラム逆拡散処理し、音声コーデック６５９によってアナログ音声信号に変換する。携帯電話機６００は、その変換して得られたアナログ音声信号をスピーカ６１７から出力する。
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機６００は、操作キー６１９の操作によって入力された電子メールのテキストデータを、操作入力制御部６５２において受け付ける。携帯電話機６００は、そのテキストデータを主制御部６５０において処理し、LCD制御部６５５を介して、画像として液晶ディスプレイ６１８に表示させる。
また、携帯電話機６００は、主制御部６５０において、操作入力制御部６５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機６００は、その電子メールデータを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機６００は、復元された電子メールデータを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示する。
なお、携帯電話機６００は、受信した電子メールデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。
この記憶部６２３は、書き換え可能な任意の記憶媒体である。記憶部６２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機６００は、撮像によりCCDカメラ６１６で画像データを生成する。CCDカメラ６１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部６５４を介して、画像エンコーダ６５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
携帯電話機６００は、このような処理を行う画像エンコーダ６５３として、上述した符号化装置１０を用いる。したがって、画像エンコーダ６５３は、符号化装置１０の場合と同様に、Edge based predictionを行う場合の符号化効率を向上させることができる。
なお、携帯電話機６００は、このとき同時に、CCDカメラ６１６で撮像中にマイクロホン（マイク）６２１で集音した音声を、音声コーデック６５９においてアナログデジタル変換し、さらに符号化する。
携帯電話機６００は、多重分離部６５７において、画像エンコーダ６５３から供給された符号化画像データと、音声コーデック６５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機６００は、その結果得られる多重化データを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
なお、画像データを送信しない場合、携帯電話機６００は、CCDカメラ６１６で生成した画像データを、画像エンコーダ６５３を介さずに、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させることもできる。
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機６００は、多重分離部６５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
携帯電話機６００は、画像デコーダ６５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ６１８に表示される。
携帯電話機６００は、このような処理を行う画像デコーダ６５６として、上述した復号装置１００を用いる。したがって、画像デコーダ６５６は、復号装置１００の場合と同様に、Edge based predictionを行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
このとき、携帯電話機６００は、同時に、音声コーデック６５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ６１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
なお、電子メールの場合と同様に、携帯電話機６００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。
また、携帯電話機６００は、主制御部６５０において、撮像されてCCDカメラ６１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
さらに、携帯電話機６００は、赤外線通信部６８１で赤外線により外部の機器と通信することができる。
携帯電話機６００は、画像エンコーダ６５３として符号化装置１０を用いることにより、Edge based predictionを行う場合の符号化効率を向上させることができる。
また、携帯電話機６００は、画像デコーダ６５６として復号装置１００を用いることにより、Edge based predictionを行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
なお、以上において、携帯電話機６００が、CCDカメラ６１６を用いるように説明したが、このCCDカメラ６１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機６００は、CCDカメラ６１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
また、以上においては携帯電話機６００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機６００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機６００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。
＜第６実施の形態＞
［ハードディスクレコーダの構成例］
図４５は、本技術を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
図４５に示されるハードディスクレコーダ（HDDレコーダ）７００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
ハードディスクレコーダ７００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ７００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
さらに、ハードディスクレコーダ７００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることができる。
ハードディスクレコーダ７００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることもできる。
もちろん、この他の動作も可能である。
図４５に示されるように、ハードディスクレコーダ７００は、受信部７２１、復調部７２２、デマルチプレクサ７２３、オーディオデコーダ７２４、ビデオデコーダ７２５、およびレコーダ制御部７２６を有する。ハードディスクレコーダ７００は、さらに、EPGデータメモリ７２７、プログラムメモリ７２８、ワークメモリ７２９、ディスプレイコンバータ７３０、OSD（On Screen Display）制御部７３１、ディスプレイ制御部７３２、記録再生部７３３、D/Aコンバータ７３４、および通信部７３５を有する。
また、ディスプレイコンバータ７３０は、ビデオエンコーダ７４１を有する。記録再生部７３３は、エンコーダ７５１およびデコーダ７５２を有する。
受信部７２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部７２６に出力する。レコーダ制御部７２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ７２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部７２６は、このとき、ワークメモリ７２９を必要に応じて使用する。
通信部７３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部７３５は、レコーダ制御部７２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
復調部７２２は、チューナより供給された信号を、復調し、デマルチプレクサ７２３に出力する。デマルチプレクサ７２３は、復調部７２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ７２４、ビデオデコーダ７２５、またはレコーダ制御部７２６に出力する。
オーディオデコーダ７２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部７３３に出力する。ビデオデコーダ７２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ７３０に出力する。レコーダ制御部７２６は、入力されたEPGデータをEPGデータメモリ７２７に供給し、記憶させる。
ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されたビデオデータを、ビデオエンコーダ７４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部７３３に出力する。また、ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されるビデオデータの画面のサイズを、モニタ７６０のサイズに対応するサイズに変換する。ディスプレイコンバータ７３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ７４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部７３２に出力する。
ディスプレイ制御部７３２は、レコーダ制御部７２６の制御のもと、OSD（On Screen Display）制御部７３１が出力したOSD信号を、ディスプレイコンバータ７３０より入力されたビデオ信号に重畳し、モニタ７６０のディスプレイに出力し、表示させる。
モニタ７６０にはまた、オーディオデコーダ７２４が出力したオーディオデータが、D/Aコンバータ７３４によりアナログ信号に変換されて供給されている。モニタ７６０は、このオーディオ信号を内蔵するスピーカから出力する。
記録再生部７３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
記録再生部７３３は、例えば、オーディオデコーダ７２４より供給されるオーディオデータを、エンコーダ７５１によりMPEG方式でエンコードする。また、記録再生部７３３は、ディスプレイコンバータ７３０のビデオエンコーダ７４１より供給されるビデオデータを、エンコーダ７５１によりMPEG方式でエンコードする。記録再生部７３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部７３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
記録再生部７３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部７３３は、デコーダ７５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部７３３は、復号したオーディオデータをD/A変換し、モニタ７６０のスピーカに出力する。また、記録再生部７３３は、復号したビデオデータをD/A変換し、モニタ７６０のディスプレイに出力する。
レコーダ制御部７２６は、受信部７２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ７２７から最新のEPGデータを読み出し、それをOSD制御部７３１に供給する。OSD制御部７３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部７３２に出力する。ディスプレイ制御部７３２は、OSD制御部７３１より入力されたビデオデータをモニタ７６０のディスプレイに出力し、表示させる。これにより、モニタ７６０のディスプレイには、EPG（電子番組ガイド）が表示される。
また、ハードディスクレコーダ７００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
通信部７３５は、レコーダ制御部７２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部７２６に供給する。レコーダ制御部７２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部７３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部７２６および記録再生部７３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
また、レコーダ制御部７２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ７３０に供給する。ディスプレイコンバータ７３０は、ビデオデコーダ７２５から供給されるビデオデータと同様に、レコーダ制御部７２６から供給されるビデオデータを処理し、ディスプレイ制御部７３２を介してモニタ７６０に供給し、その画像を表示させる。
また、この画像表示に合わせて、レコーダ制御部７２６が、復号したオーディオデータを、D/Aコンバータ７３４を介してモニタ７６０に供給し、その音声をスピーカから出力させるようにしてもよい。
さらに、レコーダ制御部７２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ７２７に供給する。
以上のようなハードディスクレコーダ７００は、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダとして復号装置１００を用いる。したがって、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダは、復号装置１００の場合と同様に、Edge based predictionを行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
また、ハードディスクレコーダ７００は、エンコーダ７５１として符号化装置１０を用いる。したがって、エンコーダ７５１は、符号化装置１０の場合と同様に、Edge based predictionを行う場合の符号化効率を向上させることができる。
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ７００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ７００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。
＜第７実施の形態＞
［カメラの構成例］
図４６は、本技術を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。
図４６に示されるカメラ８００は、被写体を撮像し、被写体の画像をLCD８１６に表示させたり、それを画像データとして、記録メディア８３３に記録したりする。
レンズブロック８１１は、光（すなわち、被写体の映像）を、CCD/CMOS８１２に入射させる。CCD/CMOS８１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部８１３に供給する。
カメラ信号処理部８１３は、CCD/CMOS８１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部８１４に供給する。画像信号処理部８１４は、コントローラ８２１の制御の下、カメラ信号処理部８１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ８４１で例えばMPEG方式により符号化したりする。画像信号処理部８１４は、画像信号を符号化して生成した符号化データを、デコーダ８１５に供給する。さらに、画像信号処理部８１４は、オンスクリーンディスプレイ（OSD）８２０において生成された表示用データを取得し、それをデコーダ８１５に供給する。
以上の処理において、カメラ信号処理部８１３は、バス８１７を介して接続されるDRAM（Dynamic Random Access Memory）８１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM８１８に保持させる。
デコーダ８１５は、画像信号処理部８１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD８１６に供給する。また、デコーダ８１５は、画像信号処理部８１４から供給された表示用データをLCD８１６に供給する。LCD８１６は、デコーダ８１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
オンスクリーンディスプレイ８２０は、コントローラ８２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス８１７を介して画像信号処理部８１４に出力する。
コントローラ８２１は、ユーザが操作部８２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス８１７を介して、画像信号処理部８１４、DRAM８１８、外部インタフェース８１９、オンスクリーンディスプレイ８２０、およびメディアドライブ８２３等を制御する。FLASH ROM８２４には、コントローラ８２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
例えば、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５に代わって、DRAM８１８に記憶されている画像データを符号化したり、DRAM８１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部８１４やデコーダ８１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
また、例えば、操作部８２２から画像印刷の開始が指示された場合、コントローラ８２１は、DRAM８１８から画像データを読み出し、それを、バス８１７を介して外部インタフェース８１９に接続されるプリンタ８３４に供給して印刷させる。
さらに、例えば、操作部８２２から画像記録が指示された場合、コントローラ８２１は、DRAM８１８から符号化データを読み出し、それを、バス８１７を介してメディアドライブ８２３に装着される記録メディア８３３に供給して記憶させる。
記録メディア８３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア８３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
また、メディアドライブ８２３と記録メディア８３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
外部インタフェース８１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ８３４と接続される。また、外部インタフェース８１９には、必要に応じてドライブ８３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア８３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM８２４にインストールされる。
さらに、外部インタフェース８１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ８２１は、例えば、操作部８２２からの指示に従って、DRAM８１８から符号化データを読み出し、それを外部インタフェース８１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ８２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース８１９を介して取得し、それをDRAM８１８に保持させたり、画像信号処理部８１４に供給したりすることができる。
以上のようなカメラ８００は、デコーダ８１５として復号装置１００用いる。したがって、デコーダ８１５は、復号装置１００の場合と同様に、Edge based predictionを行う場合の符号化効率を向上させるように符号化された画像を復号することができる。
また、カメラ８００は、エンコーダ８４１として符号化装置１０を用いる。したがって、エンコーダ８４１は、符号化装置１０の場合と同様に、Edge based predictionを行う場合の符号化効率を向上させることができる。
なお、コントローラ８２１が行う復号処理に復号装置１００の復号方法を適用するようにしてもよい。同様に、コントローラ８２１が行う符号化処理に符号化装置１０の符号化方法を適用するようにしてもよい。
また、カメラ８００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
もちろん、符号化装置１０および復号装置１００は、上述した装置以外の装置やシステムにも適用可能である。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は、以下のような構成もとることができる。
（１）
符号化対象の画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出部と、
前記エッジ検出部により検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成部と、
前記予測ブロックから、その予測ブロックの予測画像を減算する減算部と、
前記エッジ検出部により検出された前記角度に応じて、前記減算部による減算の結果得られる画像に対する処理を行う処理部と
を備える符号化装置。
（２）
前記処理部は、前記エッジ検出部により検出された前記角度に対応する変換係数を用いて、前記減算部による減算の結果得られる画像に対して直交変換を行う
前記（１）に記載の符号化装置。
（３）
前記エッジ検出部により検出された前記角度に対応する変換係数を用いて、前記処理部による前記直交変換の結果得られる係数を逆直交変換する逆直交変換部
をさらに備える
前記（２）に記載の符号化装置。
（４）
前記処理部は、前記エッジ検出部により検出された前記角度に応じた方法で、前記減算部による減算の結果得られる画像に対して、２次元配列を１次元配列に変換するスキャン処理を行う
前記（１）乃至（３）のいずれかに記載の符号化装置。
（５）
前記エッジ検出部により検出された前記角度に応じた方法で、前記処理部による前記スキャン処理の結果得られる画像に対して、１次元配列を２次元配列に変換する逆スキャン処理を行う逆スキャン処理部
をさらに備える
前記（４）に記載の符号化装置。
（６）
前記エッジ検出部により検出された前記角度を所定のグループにグループ化するグループ決定部
をさらに備え、
前記処理部は、前記グループ決定部により決定された前記グループに応じて、前記減算部による減算の結果得られる画像に対する処理を行う
前記（１）乃至（５）のいずれかに記載の符号化装置。
（７）
前記エッジ検出部は、前記イントラ予測のモードがDC予測モードである場合に、前記角度を検出する
前記（１）乃至（６）のいずれかに記載の符号化装置。
（８）
前記エッジ検出部は、前記イントラ予測のモードがDC予測モードであり、Edge based predictionを行うモードである場合に、前記角度を検出する
前記（１）乃至（６）のいすれかに記載の符号化装置。
（９）
符号化装置が、
符号化対象の画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出ステップと、
前記エッジ検出ステップで検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成ステップと、
前記予測ブロックから、その予測ブロックの予測画像を減算する減算ステップと、
前記エッジ検出ステップで検出された前記角度に応じて、前記減算ステップの減算の結果得られる画像に対する処理を行う処理ステップと
を含む符号化方法。
（１０）
符号化された画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出部と、
前記エッジ検出部により検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成部と、
前記エッジ検出部により検出された前記角度に応じて、前記予測ブロックに対する処理を行う処理部と、
前記処理部により処理された前記予測ブロックと、その予測ブロックの予測画像を加算する加算部と
を備える復号装置。
（１１）
前記処理部は、前記エッジ検出部により検出された前記角度に対応する変換係数を用いて、前記予測ブロックに対して逆直交変換を行う
前記（１０）に記載の復号装置。
（１２）
前記処理部は、前記エッジ検出部により検出された前記角度に応じた方法で、前記予測ブロックに対して、１次元配列を２次元配列に変換する逆スキャン処理を行う
前記（１０）または(１１)に記載の復号装置。
（１３）
前記エッジ検出部により検出された前記角度を所定のグループにグループ化するグループ決定部
をさらに備え、
前記処理部は、前記グループ決定部により決定された前記グループに応じて、前記予測ブロックに対する処理を行う
前記（１０）乃至（１２）のいずれかに記載の復号装置。
（１４）
前記エッジ検出部は、前記イントラ予測のモードがDC予測モードである場合に、前記角度を検出する
前記(１０)乃至（１３）のいずれかに記載の復号装置。
（１５）
前記エッジ検出部は、前記イントラ予測のモードがDC予測モードであり、Edge based predictionを行うモードである場合に、前記角度を検出する
前記(１０)乃至（１３）のいずれかに記載の復号装置。
（１６）
復号装置が、
符号化された画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出ステップと、
前記エッジ検出ステップで検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成ステップと、
前記エッジ検出ステップで検出された前記角度に応じて、前記予測ブロックに対する処理を行う処理ステップと、
前記処理ステップで処理された前記予測ブロックと、その予測ブロックの予測画像を加算する加算ステップと
を含む復号方法。
１０ 符号化装置， １３ 演算部， １４ 直交変換部， １９ 逆直交変換部， ４３ エッジ検出部， ４４ 予測画像生成部， ５２ エッジ情報決定部， １００ 復号装置， １０４ 逆直交変換部， １０５ 加算部， １２３ エッジ検出部， １２４ 予測画像生成部， １３２ エッジ情報決定部， ２１０ 符号化装置， ２１１ 適応的スキャン部， ２１３ 適応的逆スキャン部， ３００ 復号装置， ３０２ 適応的逆スキャン部

Claims (16)

  1. 符号化対象の画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出部と、
    前記エッジ検出部により検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成部と、
    前記予測ブロックから、その予測ブロックの予測画像を減算する減算部と、
    前記エッジ検出部により検出された前記角度に応じて、前記減算部による減算の結果得られる画像に対する処理を行う処理部と
    を備える符号化装置。
  2. 前記処理部は、前記エッジ検出部により検出された前記角度に対応する変換係数を用いて、前記減算部による減算の結果得られる画像に対して直交変換を行う
    請求項１に記載の符号化装置。
  3. 前記エッジ検出部により検出された前記角度に対応する変換係数を用いて、前記処理部による前記直交変換の結果得られる係数を逆直交変換する逆直交変換部
    をさらに備える
    請求項２に記載の符号化装置。
  4. 前記処理部は、前記エッジ検出部により検出された前記角度に応じた方法で、前記減算部による減算の結果得られる画像に対して、２次元配列を１次元配列に変換するスキャン処理を行う
    請求項１に記載の符号化装置。
  5. 前記エッジ検出部により検出された前記角度に応じた方法で、前記処理部による前記スキャン処理の結果得られる画像に対して、１次元配列を２次元配列に変換する逆スキャン処理を行う逆スキャン処理部
    をさらに備える
    請求項４に記載の符号化装置。
  6. 前記エッジ検出部により検出された前記角度を所定のグループにグループ化するグループ決定部
    をさらに備え、
    前記処理部は、前記グループ決定部により決定された前記グループに応じて、前記減算部による減算の結果得られる画像に対する処理を行う
    請求項１に記載の符号化装置。
  7. 前記エッジ検出部は、前記イントラ予測のモードがDC予測モードである場合に、前記角度を検出する
    請求項１に記載の符号化装置。
  8. 前記エッジ検出部は、前記イントラ予測のモードがDC予測モードであり、Edge based predictionを行うモードである場合に、前記角度を検出する
    請求項１に記載の符号化装置。
  9. 符号化装置が、
    符号化対象の画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出ステップと、
    前記エッジ検出ステップで検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成ステップと、
    前記予測ブロックから、その予測ブロックの予測画像を減算する減算ステップと、
    前記エッジ検出ステップで検出された前記角度に応じて、前記減算ステップの減算の結果得られる画像に対する処理を行う処理ステップと
    を含む符号化方法。
  10. 符号化された画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出部と、
    前記エッジ検出部により検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成部と、
    前記エッジ検出部により検出された前記角度に応じて、前記予測ブロックに対する処理を行う処理部と、
    前記処理部により処理された前記予測ブロックと、その予測ブロックの予測画像を加算する加算部と
    を備える復号装置。
  11. 前記処理部は、前記エッジ検出部により検出された前記角度に対応する変換係数を用いて、前記予測ブロックに対して逆直交変換を行う
    請求項１０に記載の復号装置。
  12. 前記処理部は、前記エッジ検出部により検出された前記角度に応じた方法で、前記予測ブロックに対して、１次元配列を２次元配列に変換する逆スキャン処理を行う
    請求項１０に記載の復号装置。
  13. 前記エッジ検出部により検出された前記角度を所定のグループにグループ化するグループ決定部
    をさらに備え、
    前記処理部は、前記グループ決定部により決定された前記グループに応じて、前記予測ブロックに対する処理を行う
    請求項１０に記載の復号装置。
  14. 前記エッジ検出部は、前記イントラ予測のモードがDC予測モードである場合に、前記角度を検出する
    請求項１０に記載の復号装置。
  15. 前記エッジ検出部は、前記イントラ予測のモードがDC予測モードであり、Edge based predictionを行うモードである場合に、前記角度を検出する
    請求項１０に記載の復号装置。
  16. 復号装置が、
    符号化された画像のうちのイントラ予測の対象となるブロックである予測ブロックに隣接する参照画像のブロックのエッジの角度を検出するエッジ検出ステップと、
    前記エッジ検出ステップで検出された前記角度に基づいて、前記参照画像から前記予測ブロックの予測画像を生成する生成ステップと、
    前記エッジ検出ステップで検出された前記角度に応じて、前記予測ブロックに対する処理を行う処理ステップと、
    前記処理ステップで処理された前記予測ブロックと、その予測ブロックの予測画像を加算する加算ステップと
    を含む復号方法。
JP2011054556A 2010-12-10 2011-03-11 符号化装置および符号化方法、並びに復号装置および復号方法 Withdrawn JP2012138884A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011054556A JP2012138884A (ja) 2010-12-10 2011-03-11 符号化装置および符号化方法、並びに復号装置および復号方法
PCT/JP2011/077842 WO2012077575A1 (ja) 2010-12-10 2011-12-01 符号化装置および符号化方法、並びに復号装置および復号方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010276426 2010-12-10
JP2010276426 2010-12-10
JP2011054556A JP2012138884A (ja) 2010-12-10 2011-03-11 符号化装置および符号化方法、並びに復号装置および復号方法

Publications (1)

Publication Number Publication Date
JP2012138884A true JP2012138884A (ja) 2012-07-19

Family

ID=46207065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011054556A Withdrawn JP2012138884A (ja) 2010-12-10 2011-03-11 符号化装置および符号化方法、並びに復号装置および復号方法

Country Status (2)

Country Link
JP (1) JP2012138884A (ja)
WO (1) WO2012077575A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013543315A (ja) * 2010-10-01 2013-11-28 クゥアルコム・インコーポレイテッド ビデオコード化のためのイントラ平滑化フィルタ
CN105979261A (zh) * 2016-06-21 2016-09-28 浙江大华技术股份有限公司 一种帧内预测模式的选择方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090095316A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013543315A (ja) * 2010-10-01 2013-11-28 クゥアルコム・インコーポレイテッド ビデオコード化のためのイントラ平滑化フィルタ
US9008175B2 (en) 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
CN105979261A (zh) * 2016-06-21 2016-09-28 浙江大华技术股份有限公司 一种帧内预测模式的选择方法及装置
CN105979261B (zh) * 2016-06-21 2019-03-26 浙江大华技术股份有限公司 一种帧内预测模式的选择方法及装置

Also Published As

Publication number Publication date
WO2012077575A1 (ja) 2012-06-14

Similar Documents

Publication Publication Date Title
US20220335657A1 (en) Image Processing Device and Method
WO2011018965A1 (ja) 画像処理装置および方法
WO2012096229A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
WO2011089972A1 (ja) 画像処理装置および方法
WO2010095560A1 (ja) 画像処理装置および方法
US20110176741A1 (en) Image processing apparatus and image processing method
WO2010101064A1 (ja) 画像処理装置および方法
WO2010095559A1 (ja) 画像処理装置および方法
US20110170605A1 (en) Image processing apparatus and image processing method
KR20120058521A (ko) 화상 처리 장치 및 방법
WO2010035732A1 (ja) 画像処理装置および方法
WO2011125866A1 (ja) 画像処理装置および方法
WO2011089973A1 (ja) 画像処理装置および方法
WO2011152315A1 (ja) 画像処理装置および方法
US20110229049A1 (en) Image processing apparatus, image processing method, and program
US20120288004A1 (en) Image processing apparatus and image processing method
JPWO2010064675A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2013065572A1 (ja) 符号化装置および方法、並びに、復号装置および方法
WO2010101063A1 (ja) 画像処理装置および方法
WO2010038858A1 (ja) 画像処理装置および方法
WO2012105406A1 (ja) 画像処理装置および方法
WO2010035735A1 (ja) 画像処理装置および方法
US20130107940A1 (en) Image processing device and method
WO2012077575A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
JP2012019447A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140513