JP2016201829A - 画像符号化装置及び画像復号装置 - Google Patents

画像符号化装置及び画像復号装置 Download PDF

Info

Publication number
JP2016201829A
JP2016201829A JP2016140559A JP2016140559A JP2016201829A JP 2016201829 A JP2016201829 A JP 2016201829A JP 2016140559 A JP2016140559 A JP 2016140559A JP 2016140559 A JP2016140559 A JP 2016140559A JP 2016201829 A JP2016201829 A JP 2016201829A
Authority
JP
Japan
Prior art keywords
prediction mode
estimated
prediction
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016140559A
Other languages
English (en)
Inventor
将伸 八杉
Masanobu Yasugi
将伸 八杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2016201829A publication Critical patent/JP2016201829A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

【課題】推定予測モードと予測モードの符号化に要する符号化の増加量を抑えながら、推定される推定予測モードと実際の予測モードの一致確率を高めることのできる画像の予測モード推定装置を提供する。【解決手段】動画像符号化装置の予測情報符号化決定部は、対象ブロックに対して、隣接ブロックを選択する比較ブロック選択部１２２３ａと、隣接ブロックの予測モードに重複がある場合に、隣接ブロックの予測モードおよび予測モードに近接する方向のイントラ予測モードを、イントラ予測モードの推定値である推定予測モードとして導出する推定予測モード導出部１２２１ａと、対象ブロックの予測モードを符号化する予測モード符号化部とを備える。【選択図】図３

Description

本発明は画像を符号化する画像符号化装置および符号化された画像を復号する画像復号装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化する動画像符号化装置、及び、動画像を復号する動画像復号装置が広く用いられている。代表的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ（非特許文献１）や、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式などが挙げられる。
これらの符号化方式において、動画像を構成する各ピクチャは、ピクチャを分割することにより得られるスライス、スライスを分割することにより得られるマクロブロック、及び、マクロブロックを分割することにより得られるブロックからなる階層構造により管理される。
動画像符号化装置は、動画像をブロック単位で符号化する。具体的には、（１）原画像から予測画像を減算して得た予測残差をブロックごとにＤＣＴ変換（Discrete Cosine Transform）し、（２）得られたＤＣＴ係数を量子化し、（３）量子化されたＤＣＴ係数を可変長符号化する。原画像をＤＣＴ変換／量子化／符号化するのではなく、予測残差をＤＣＴ変換／量子化／符号化することによって、通常、符号量の削減を図ることができる。
動画像符号化装置は、上述した予測画像を、量子化されたＤＣＴ係数を逆量子化／逆ＤＣＴ変換して得た局所復号画像に基づいて生成する。予測画像の生成方法には、画面間予測（インター予測）と画面内予測（イントラ予測）とがあり、動画像符号化装置において、どちらの予測方法を用いるかをマクロブロック毎に選択する。なお、本発明はイントラ予測に関するものであり、以下ではイントラ予測を選択して用いる場合を想定して説明し、インター予測に関する処理の説明については省略する。
一方、動画像復号装置は、動画像をブロック単位で復号する。具体的には、（１）可変長符号化および量子化されたＤＣＴ係数を復号し、（２）得られたＤＣＴ係数を逆量子化し、（３）ブロック毎に逆ＤＣＴ変換して得た予測残差を予測画像に加算して復号画像を得る。予測画像の生成方法は動画像符号化装置と同様である。
従来技術の動画像符号化装置及び動画像復号装置は、ブロックごとのイントラ予測画像の生成にイントラ予測モード（以下、単に予測モードと呼ぶ）という値を用いる。予測モードの値には、推定予測モードと呼ばれる周辺のブロックから推定される推定値を１つ対応づける（非特許文献１）。動画像符号化装置は、推定予測モードを用いて予測モードの値を符号化し、動画像復号装置では同様に推定予測モードを用いて、動画像符号化装置が生成した符号化データから予測モードを復号する。推定予測モードが実際の予測モードと一致するときは、実際の予測モードをそのまま符号化するよりも短い符号化が行われる。
さらに近年では、デジタル画像の高精細化に伴い、より大きなマクロブロックを用いた符号化が試みられている。また、大きなマクロブロックにおいてより正確なイントラ予測を行うために、予測方向の細分化により予測モード総数を増加させることが試みられている。図１４の（ｂ）は、多数の方向予測の具体例として、３２種類の予測方向を示す図である。例えば、非特許文献２の技術においては、非特許文献１の技術よりも多様な処理単位（ブロック）および、図１４の（ｂ）に類似した多様な方向予測を含む予測モードを用いることができる。特に、大きさが１６×１６および３２×３２のブロックにおいて、予測モード総数Ｍ＝３３である。
「Recommendation ITU-T H.264」,Telecommunication Standardization Sector of ITU,03/2009（２００９年３月公開） Ken McCann et. al.,"Samsung’s Response to the Call for Proposals on Video Compression Technology（JCTVC-A124）", 1st Meeting: Dresden, DE, 15-23 April, 2010（２０１０年４月公開）
本発明者は、予測モードの総数を増加させたブロックにおいて推定予測モードに一つの値のみを用いると、推定予測モードが実際の予測モードに一致する確率が低下し、予測モードの符号化効率が低下する傾向があることを見出した。
上記の符号化効率の低下を避ける為には、推定予測モードの数を増やして推定予測モードが実際の予測モードに一致する確率を上げることが考えられる。しかしながら、そのように推定予測モードの総数を増加させると、推定予測モードおよび実際の予測モードの符号化に要する符号量を増加させることになるので、実際には符号化効率が改善されない場合がある。
本発明は、上記の問題に鑑みてなされたものであり、その目的は複数のブロックから構成されるデジタル画像の符号化処理または復号処理における画像の予測モードの推定において、推定予測モードと予測モードの符号化に要する符号化の増加量を抑えながら、推定される推定予測モードと実際の予測モードの一致確率を高めることのできる画像の予測モード推定装置を実現し、画像の符号化効率を高めることにある。
上記の課題を解決するために、本発明に係る画像符号化装置は、複数のブロックから構成されるデジタル画像の符号化処理において、画像のイントラ予測モードを推定する処理を含む画像符号化装置であって、イントラ予測モードを推定する対象ブロックに対して、１つ以上の隣接ブロックを選択する選択部と、前記隣接ブロックの予測モードに重複がある場合に、前記隣接ブロックの予測モードおよび該予測モードに近接する方向のイントラ予測モードを、該イントラ予測モードの推定値である推定予測モードとして導出する導出部と、前記対象ブロックの予測モードを符号化する予測モード符号化部を備え、前記予測モード符号化部は、（ａ）前記対象ブロックに対する１つ以上の推定予測モードからなる集合に含まれる予測モードのいずれかが、前記対象ブロックの予測モードに一致することを表す情報、及び、前記対象ブロックの予測モードと一致する前記集合に含まれる予測モードを指定する情報、又は、（ｂ）前記対象ブロックに対する１つ以上の推定予測モードからなる集合に含まれる予測モードのいずれも、前記対象ブロックの予測モードに一致しないことを表す情報、及び、前記予測モードの情報、を符号化する。
また、上記の課題を解決するために、本発明に係る画像復号装置は、複数のブロックから構成されるデジタル画像の復号処理において、画像のイントラ予測モードを推定する処理を含む画像復号装置であって、イントラ予測モードを推定する対象ブロックに対して、１つ以上の隣接ブロックを選択する選択部と、前記隣接ブロックの予測モードに重複がある場合に、前記隣接ブロックの予測モードおよび該予測モードに近接する方向のイントラ予測モードを、該イントラ予測モードの推定値である推定予測モードとして導出する導出部と、前記対象ブロックの予測モードを復号する予測モード復号部を備え、前記予測モード復号部は、（ａ）前記対象ブロックに対する１つ以上の推定予測モードからなる集合に含まれる予測モードのいずれかが、前記対象ブロックの予測モードに一致することを表す情報、及び、前記対象ブロックの予測モードと一致する前記集合に含まれる予測モードを指定する情報、又は、（ｂ）前記対象ブロックに対する１つ以上の推定予測モードからなる集合に含まれる予測モードのいずれも、前記対象ブロックの予測モードに一致しないことを表す情報、及び、前記予測モードの情報、を復号する。
以上のように、本発明に係るイントラ予測モード推定装置は、複数のブロックから構成されるデジタル画像の符号化処理または復号処理において、画像のイントラ予測モードを推定するイントラ予測モード推定装置であって、イントラ予測モードを推定する対象ブロックに対して、１つ以上の比較ブロックを選択する選択部と、イントラ予測モードの推定値である推定予測モードを、前記対象ブロックに対して推定する総数を決定する推定数決定部と、前記選択された比較ブロックの符号化処理に用いられた予測モードに基づいて、前記対象ブロックに対して、前記推定する総数の推定予測モードを推定する推定部と、を備える構成である。
よって、推定する総数を適応的に決定することで、平均的により少ない符号量で、効率よく予測モードを符号化および復号することができる。
また、以上のように、本発明に係る動画像符号化装置では、多数の予測モードが選択可能である場合においても、複数の推定予測モードの選択的な利用により、平均的により少ない符号量で、効率よく予測モードを符号化することが可能である。また、本発明に係る動画像復号装置は、そのような動画像符号化装置で符号化された符号化データを復号することが可能である。
予測情報符号化部１２ａの構成を示す図である。 ＭＢ符号化部１０ａの構成を示す図である。 推定予測モード決定部１２２ａの構成要素を示す図である。 推定予測モードを導出する手順を示す図である。 寄与度を導出するための所定のテーブルの具体例を示す図である。 対象ブロックと隣接ブロックの状態の具体例を示す図である。（ａ）は、対象ブロックの大きさと各隣接ブロックの大きさとが同じ場合を示しており、（ｂ）および（ｃ）は、対象ブロックの大きさとその左隣接ブロックの大きさとが異なる場合を示している。 予測モードから符号化データへの符号化方法の具体例を示す表である。 ＭＢ復号部２０ａの構成を示す図である。 予測情報復号部２３ａの構成を示す図である。 符号化データから予測モードへの復号方法の具体例を示す表である。 マクロブロックＭＢ１〜ＭＢｎから構成されるスライスを模式的に示す図である。 従来の動画像符号化装置１におけるＭＢ符号化部１０を示す図である。 従来の動画像符号化装置２におけるＭＢ復号部２０を示す図である。 方向に関連付けられた予測モードの具体例を示す図である。（ａ）は、８種類の予測方向を示しており、（ｂ）は、３２種類の予測方向を示している。 予測情報符号化部１２の構成を示す図である。 予測情報符号化部１２における処理の流れを示す図である。 推定予測モード決定部１２２の構成を示す図である。 推定予測モード導出部１２２１における処理を示す図である。 予測モードから符号化データへの符号化方法の具体例を示す表である。 予測情報復号部２３の構成を示す図である。 予測情報復号部２３における処理の流れを示す図である。 符号化データから予測モードへの復号方法の具体例を示す表である。
以下、図面を参照して、本発明の各実施形態について説明する。なお、各構成要素について、初出でない場合は初出時と同じ番号を付し、説明を省略する。
まず、上記従来のイントラ予測の符号化処理および復号処理について、図を参照しながら詳細に説明する。
図１１は、マクロブロックＭＢ１〜ＭＢｎから構成されるスライスを模式的に示した図である。また、図１２は、従来の動画像符号化装置１におけるＭＢ符号化部１０を示した図であり、図１３は、従来の動画像符号化装置２におけるＭＢ復号部２０を示した図である。
動画像符号化装置１における符号化処理、および、動画像復号装置２における復号処理は、概略的には次のように行なわれる。まず、動画像符号化装置１は、スライスに含まれるマクロブロックＭＢｉ（ｉ＝１〜ｎ）について、スライスごとに所定の順序、例えばラスタスキャン順で符号化処理を行う（図１１参照）。符号化処理はＭＢ符号化部１０により行われ、ＭＢ符号化データが出力される。
一方、動画像復号装置２は、スライスに含まれるマクロブロックＭＢｉ（ｉ＝１〜ｎ）について、スライスごとに所定の順序、例えばラスタスキャン順でＭＢ符号化データの復号処理を行う。復号処理はＭＢ復号部２０により行われ、ＭＢ復号画像が出力される。ピクチャを構成するスライスの全てのＭＢ復号画像が出力されることにより、１枚のピクチャが完成する。
動画像符号化装置１および動画像復号装置２において、各マクロブロックは、マクロブロック以下の大きさの処理単位に分割して処理される。以下ではこの処理単位をブロックと呼ぶ。なお、以下では簡単のため、ブロックの形状は正方形を基本として説明する。
ここで、図１２を用いて、動画像符号化装置１におけるＭＢ符号化部１０の内部処理について説明する。図１２に示すように、動画像符号化装置１のＭＢ符号化部１０は、予測情報決定部１１、予測情報符号化部１２、予測画像生成部１３、予測残差符号化部１４、およびＭＢ符号化データ多重化部１５を備える。
最初に、予測情報決定部１１は、イントラ予測モードおよびブロックサイズを決定する。予測モードはイントラ予測画像の生成方法を示し、ブロックサイズはブロックの大きさを示す。前記決定には任意の方法が利用可能であるが、一般には、符号量と残差を勘案して導出されるＲＤコストを最小化する値の組合せが選ばれる。
予測情報符号化部１２は、予測モードとブロックサイズに対応した予測情報符号化データを生成する。
予測画像生成部１３は、予測モードおよびブロックサイズに応じた方法でイントラ予測を行い、予測画像を出力する。予測画像と予測残差との和が、対象ブロックの局所復号画像となる。
予測残差符号化部１４は、予測残差をＤＣＴ変換および量子化し、予測残差符号化データを出力する。
ＭＢ符号化データ多重化部１５は、予測残差符号化データと予測情報符号化データを多重化し、ＭＢ符号化データとして出力する。
ここで、動画像復号装置２におけるＭＢ復号部２０の内部処理について説明する。図１３に示すように、動画像復号装置２のＭＢ復号部２０は、ＭＢ符号化データ逆多重化部２１、予測残差復号部２２、予測情報復号部２３、および予測画像生成部１３を備える。
最初に、ＭＢ符号化データ逆多重化部２１は、各種符号化データを単一の符号化データから逆多重化により分離する。ＭＢ符号化データ逆多重化部２１はまた、予測残差復号部２２には予測残差符号化データを出力し、予測情報復号部２３には予測情報符号化データを出力する。
次に、ＭＢ復号部２０内の他のモジュールの動作を説明する。
予測残差復号部２２は、予測残差符号化データを復号してＤＣＴ係数を得、逆量子化／逆ＤＣＴ変換して予測残差を出力する。
予測情報復号部２３は、予測情報符号化データから予測モードおよびブロックサイズを導出し、出力する。
予測画像生成部１３は、動画像符号化装置１と同じものであり、生成された予測画像に予測残差が加算され、ＭＢ復号画像となる。
上記各処理が、対象マクロブロックに含まれる全てのブロックについて、動画像符号化装置１と同じブロックの順序で実行される。全てのブロックの局所復号画像の集合が、対象マクロブロックにおけるＭＢ復号画像となる。
ここで、図１４〜図２２を参照しながら、予測情報符号化部１２および予測情報復号部２３における、予測モードの符号化および復号の動作に関して説明する。まず、予測モード、および、推定予測モードについて補足しておくと次のとおりである。
予測モードは、イントラ予測において選択可能な複数の予測方法のうち、どの予測方法を用いるかを示すパラメータである。予測モードとして選択可能な予測方法の数すなわち予測モード総数Ｍは、例えばブロックサイズに応じて定まる。具体例としては、非特許文献１の技術では、４×４および８×８のブロックサイズにおいてはＭ＝９であり、１６×１６のブロックサイズにおいてはＭ＝４である。一般的には、予測モードは全ての画素値を同一の値、例えば隣接画素の平均値にすることにより予測画像生成を行うモードと、各参照画素値を所定の方向に外挿あるいは補間して予測画像を生成するモードの２種類がある。図１４は、方向に関連付けられた予測モードの具体例を示す図であり、図１４の（ａ）は、予測モードが８種類である場合を示した図である。
予測モードの符号化には、基本的には予測モード総数Ｍに応じた符号量が必要となる。例えばＭ＝８の場合に８個の予測モードから１個を選ぶには、単純には３ビットの符号が必要である。しかし、画素値は空間的相関が高いため、予測モードの値も局所的には相関が高い。つまり、予測モードの推定が可能であり、これを利用したのが推定予測モードの仕組みである。
推定予測モードは、対象ブロックにおいて選択される可能性が高い予測モードである。推定予測モードの導出には、動画像符号化装置１と動画像復号装置２とで同じであれば、任意の方法を使うことができる。例えば、非特許文献１では、対象ブロックの上隣接ブロックの予測モードと左隣接ブロックの予測モードのうち、モードの値が小さい方を対象ブロックの推定予測モードとしている。
次に、図１５および図１７を用いて、予測情報符号化部１２の構成およびその処理の流れについて説明する。図１５は、予測情報符号化部１２の構成を示した図である。また、図１６は、予測情報符号化部１２における処理の流れを示した図である。図１６に示すように、予測情報符号化部１２は、
（ステップＳ１）まず推定予測モードを導出し、
（ステップＳ２）次にその推定予測モードを用いて予測モードを符号化し、
（ステップＳ３）また、予測モードを、後の処理における参照に備えて記録する。
以下、図１５を参照しながら、これらの処理を行う、予測情報符号化部１２を構成する各部について説明する。図１５に示すように、予測情報符号化部１２は、予測モード記録部１２１、推定予測モード決定部１２２、および予測モード符号化部１２３を備える。
予測モード記録部１２１は、処理済みの各マクロブロックおける予測モードの情報を保持し、参照に応じて出力する。
推定予測モード決定部１２２は、近隣ブロックの予測モードに基づいて推定予測モードを出力する。ここで、図１７および図１８を用いて、推定予測モード決定部１２２の詳細な構成およびその処理の流れについて説明すると次のとおりである。図１７は、推定予測モード決定部１２２の構成を示した図である。また、図１８は、推定予測モード導出部１２２１における処理を示した図である。図１７に示すように推定予測モード決定部１２２は、推定予測モード導出部１２２１を備える。また、図１８に示すように、推定予測モード導出部１２２１は、
（ステップＳ４）上隣接ブロックおよび左隣接ブロックで用いられた予測モードを、推定予測モード候補として取得し、
（ステップＳ５）それらのうちモードの値が小さい方を推定予測モードとして選択する。
予測モード符号化部１２３は、予測モードを、対象ブロックのブロックサイズおよび推定予測モードに基づいて予測情報符号化データへ符号化し、出力する。ブロックサイズは、例えば、マクロブロックの分割方法に対応したサイド情報として符号化する。予測モードの符号化方法については、図１９を参照して説明する。
図１９は、予測モード符号化部１２３における予測モードの符号化方法の具体例を示す表である。図１９中、ｍは予測モードの値、ｐは推定予測モードの値、 k=binary(x,BM’) は値ｘを２進数表現でＢＭ’桁のビット列kに変換することを表す。ＢＭ’は予測モード総数Ｍから推定予測モードを除外した予測モード総数Ｍ’（ここではＭ−１に等しい）を表すために必要なビット数であり、ＢＭ’＝ｃｅｉｌ（ｌｏｇ（Ｍ’））で得られる数である。
図１９に示すように、予測モード符号化部１２３は、flag_bitと、さらに、予測モードが満たす条件に応じて、rem_bitsを出力する。条件および各場合の動作は次の３通りである。
（ａ）予測モードｍが推定予測モードｐと等しい場合には、予測モード符号化部１２３は、符号化データとして flag_bit=1 の１ビットのみ出力する。
（ｂ）予測モードｍが推定予測モードｐと一致しない場合、予測モード符号化部１２３は、flag_bit=0 を出力し、さらにｍの値に応じて下記のいずれかの方法で導出したビット列rem_bitsを出力する。
（ｂ１）ｍ＜ｐ の場合、予測モード符号化部１２３は、ｍをビット列rem_bitsに変換する。
（ｂ２）ｍ＞ｐ の場合、予測モード符号化部１２３は、ｍ−１をビット列rem_bitsに変換する。
上記（ｂ）について補足する。まず、（ｂ）の場合にはｍ＝ｐでないことは自明である。したがって、ｍ＞ｐの場合にはｍをｍ−１と置き換えてビット列に変換すれば、rem_bitsの値域を１つ縮減でき、符号量の削減に役立つ。
以上のように、従来は、１個の推定予測モードを用いて、予測モードの符号化データの符号量を削減していた。
次に、図２０および図２１を値いて、予測情報復号部２３の構成およびその処理の流れについて説明する。図２０は、予測情報復号部２３の構成を示した図である。図２０に示す予測モード記録部１２１および推定予測モード決定部１２２は、予測情報符号化部１２を構成するものと同一である。また、図２１は、予測情報復号部２３における予測情報符号化データの復号処理の流れを示した図である。図２１に示すように、予測情報復号部２３では、
（ステップＳ６）まず、推定予測モード決定部１２２が推定予測モードを導出し、
（ステップＳ７）次に、予測モード復号部２３１が、予測情報符号化データから復号したフラグに基づいて予測モードを復号する。
（ステップＳ８）さらに、予測モード記録部１２１が、予測モードを、後の処理における参照に備えて記録する。
以下では、ステップＳ７における予測モード復号処理を行う予測モード復号部２３１について、図２２を参照して説明する。
図２２は、予測モード復号部２３１における符号化データから予測モードへの復号方法の具体例を示す表である。図２２中、ｋはＢＭ’桁のビット列である。 m’=decimal(k,BM’) はＢＭ’桁のビット列ｋを１０進数ｍ’に変換することを表す。図１９と共通の記号については説明を省略する。桁数ＢＭ’の導出に必要な、対象ブロックにおける予測モード総数Ｍは、予測情報符号化データを復号して得られるブロックサイズに基づいて導出することができる。
予測モード復号部２３１はまず、flag_bitを復号する。図２２に示すように、flag_bit=1であれば、推定予測モードｐが予測モードｍに等しいことを意味する。この場合はrem_bitsの復号は不要であり、予測モードｍ＝ｐを出力する。flag_bit=0の場合には、予測モード復号部２３１は、rem_bitsとして、続くＢＭ’ビットの符号化データｋを１０進数ｍ’に変換し、図２２の最下段に示すように、ｍ’とｐの大小関係に基づいて予測モードｍを導出する。
以上のようにして、従来の動画像符号化装置１および動画像復号装置２は、１つの推定予測モードを用いて予測モードを符号化および復号していた。
（動画像符号化装置）
本発明の一実施形態による動画像符号化装置１ａについて図１〜図７を参照して説明する。本発明の第１の実施形態による動画像符号化装置１ａは、概略的には、従来の動画像符号化装置１と同様に、入力画像をマクロブロック単位で符号化し、符号化データとして出力する装置である。動画像符号化装置１ａは、その一部に、Ｈ２６４／ＡＶＣ規格に採用されている技術を用いている動画像符号化装置である。図２は、動画像符号化装置１ａにおける、ＭＢ符号化部１０ａの構成を示した図である。図２に示すＭＢ符号化部１０ａは、図１２に示したＭＢ符号化部１０において、予測情報符号化部１２を、予測情報符号化部１２ａに変更したものである。予測情報符号化部１２ａは、予測モード情報およびブロックサイズを符号化し、予測情報符号化データを出力する点においては、動画像符号化装置１の予測情報符号化部１２と同様である。予測情報符号化部１２と異なる点について、以下で説明する。
図１は、予測情報符号化部１２ａの構成を示す図である。予測情報符号化部１２ａは、推定予測モード決定部１２２ａと、予測モード符号化部１２３ａと、動画像符号化装置１と同じ予測モード記録部１２１から構成されている。以下、推定予測モード決定部１２２ａ、予測モード符号化部１２３ａの順で、各部の詳細について説明する。
まず、図１を参照しながら、推定予測モード決定部１２２ａについて説明すると次のとおりである。図１の推定予測モード決定部１２２ａは、図１５の推定予測モード決定部１２２とは異なり、複数の推定予測モードを導出する。導出された推定予測モードは、その個数すなわち推定数Ｐとともに推定予測モード情報として出力される。つまり、推定予測モード情報は、推定数Ｐと、推定数Ｐに等しい数の推定予測モードを含む情報である。以下では、推定数Ｐ＝２の場合を例にして説明するが、Ｐ＝１やＰ≧３でも同様に可能である。ただし、複数の推定予測モードから最終的に１個を選択するために符号量が必要であることから、過度に多い推定予測モードの使用は好ましくない。
ここで、図３を用いて、推定予測モード決定部１２２ａの処理について、詳細に説明する。図３は、推定予測モード決定部１２２ａの構成要素を示す図である。
推定予測モード決定部１２２ａでは、対象ブロックの隣接ブロックの予測モードの寄与度を求め、それらを比較して、推定予測モードを導出する。寄与度とは、隣接ブロックの予測モードが対象ブロックの予測モードと一致している可能性を示す指標である。図３に示すように、推定予測モード決定部１２２ａは、推定数決定部１２２２ａ、および比較ブロック選択部１２２３ａを備える。
推定数決定部１２２２ａは、推定数Ｐを決定する。比較ブロック選択部１２２３ａは、推定予測モード候補を取得するために用いるブロックを選択する。推定予測モード導出部１２２１ａは、推定予測モード候補から、推定予測モードを推定数Ｐの数だけ導出する。次に、推定予測モード決定部１２２ａにおいて推定予測モードを導出する手順について説明する。図４は、推定予測モード決定部１２２ａにおいて、推定予測モードを導出する手順を示す図である。以下、図４を参照し、各手順を説明する。
（ステップＳ１ａ）推定数決定部１２２２ａは、対象ブロックにおける予測モード総数Ｍに基づいて、推定数Ｐを決定する。本実施形態における推定数決定部においては、予測モード総数Ｍに関する所定の閾値をＭｔ＝１０としたとき、Ｍ≧ＭｔであればＰ＝２とし、Ｍ＜ＭｔであればＰ＝１とする。前述のように、一般には予測モード総数Ｍが多くなるほど、１個の推定予測モードが実際の予測モードに一致する可能性が低くなる。したがって、このように予測モード総数Ｍが多いブロックにおいてＰの値が相対的に大きくなるように設定すれば、推定予測モードが実際の予測モードに一致する可能性を高めることができる。
ここで、予測モード総数Ｍは対象ブロックのブロックサイズに基づいて決定される値である。例えば、ブロックサイズが４×４または８×８の場合にはＭ＝９，ブロックサイズが１６×１６または３２×３２の場合にはＭ＝３３，ブロックサイズがその他の場合にはＭ＝５と定められる。したがって上記のような場合には、予測モード総数Ｍの代わりに、ブロックサイズに基づいて推定数Ｐを導出することもできる。
（ステップＳ２ａ）比較ブロック選択部１２２３ａは、対象ブロックの左辺および上辺および左上角に隣接する３個のブロックを、推定予測モード候補を取得するために用いられる比較ブロックとして選択する。ただし、対象ブロックの一辺に複数のブロックが隣接する場合には、左辺であれば最も上、上辺であれば最も左のブロックを選択する。以下、左隣接ブロック、上隣接ブロック、左上隣接ブロックをそれぞれ、ブロックＬ、ブロックＵ、ブロックＵＬとする（例えば、図６の（ａ）参照）。また、対象ブロックが画面端に位置する場合や、選択すべきブロックが未処理である場合など、比較ブロックとして選択できないブロックがある場合には、選択しないか、別のブロックを選択しても良い。例えば、フレームで最初に処理されるブロックについては、比較ブロックとして選択できるブロックが同一フレーム内に存在しないが、所定のデフォルト値を持つ仮想的なブロックを比較ブロックとすればよい。
（ステップＳ３ａ）推定予測モード導出部１２２１ａは、選択された比較ブロックに基づいて、推定予測モード候補およびその寄与度を導出する。推定予測モード候補およびその寄与度の導出は、以下の手順で行われる。まず、推定予測モード導出部１２２１ａは、推定予測モード候補として、ブロックＬ、ブロックＵ、ブロックＵＬそれぞれの予測モードであるｍＬ，ｍＵ，ｍＵＬを取得する。
次に、推定予測モード導出部１２２１ａは、推定予測モード候補ｍＬ，ｍＵ，ｍＵＬについて、０．０〜１．０の値で表される寄与度ｃＬ，ｃＵ，ｃＵＬを導出する。ここで、図５および図６を用いて、寄与度の導出のためのテーブルおよびその処理手順について説明すると次のとおりである。図５は予測モード総数Ｍ＝９である場合に、ｍＬ，ｍＵ，ｍＵＬそれぞれについて寄与度を導出するための所定のテーブルの例である。左隣接ブロックＬ、上隣接ブロックＵ、および左上隣接ブロックのそれぞれについて、推定予測モード候補がモード０〜モード８である場合に対して寄与度が規定されている。例えば、図５に示すテーブルでは、左隣接ブロックＬの行の推定予測モード候補ｍＬ＝１（モード１）の列において寄与度“１．０”が規定されている。ここで、９種類の予測モードの内訳は、図１４の（ａ）に示す８方向（モード０から７）、および、１種類の平面予測（モード８）であるとする。
寄与度の導出処理について、図６を用いて説明する。図６は、対象ブロックと隣接ブロックの状態の具体例を示す図である。図６の（ａ）は、左隣接ブロックＬによる推定予測モード候補ｍＬ＝１（モード１），上隣接ブロックＵによる推定予測モード候補ｍＵ＝１（モード１），左上隣接ブロックＵＬによる推定予測モード候補ｍＵＬ＝８（モード８）の場合を示している。推定予測モード決定部１２２ａは、これらの寄与度ｃＬ，ｃＵ，ｃＵＬを、図５のテーブルを参照して、それぞれ１．０，０．０，０．１と決定する。左隣接ブロックの推定予測モード候補ｍＬはモード１（水平方向）であるが、このことから、左隣接ブロック周辺では水平方向における画素値の相関が非常に強くなっている可能性が高い。したがって、左隣接ブロックがモード１をとる場合の寄与度は高く設定されている。一方、上隣接ブロック周辺の推定予測モード候補ｍＵもモード１であるが、対象ブロックとの位置関係が水平方向ではないため、上隣接ブロックにおける寄与度は低く設定されている。また、モード８については画素値の相関に関して特定の方向性を持たないことから、低い寄与度として０．１が設定されている。図５のテーブルの他の隣接ブロックとモードの組合せについても、同様に、相関の強い方向、および、対象ブロックとの位置関係を考慮して寄与度が設定されている。このように相関の高さを利用すれば、推定予測モードが実際の予測モードと一致する可能性を高めることができる。
（ステップＳ４ａ）再び図４に戻りステップＳ４ａについて説明する。
上記ステップＳ３ａは、推定予測モード導出部１２２１ａにおける処理を、少ない処理量で高速に導出できる、テーブルを用いた方法である。ただし、寄与度の導出は符号化装置と復号装置とで共通である限り、他の方法を用いることもできる。他の寄与度の導出方法として、例えば、予測方向の示す角度から計算によって導出する方法や、テーブルを用いて導出した寄与度を、対象ブロックと隣接ブロックの特性や状態に応じてさらに調整する方法がある。ここでは、ステップＳ４ａとして、導出後に寄与度の調整を行う例を説明する。
図６の（ｂ）および図６の（ｃ）は、対象ブロックＣと、その左の隣接ブロックＬの大きさが異なる場合を示す図である。まず、図６の（ｂ）は、隣接ブロックＬの一辺の大きさが、対象ブロックＣの半分である場合を示す図である。図６の（ｂ）に示す隣接ブロックＬの予測方向（ｍＬ＝１：水平方向）からは、図５のテーブルを用いるならば、寄与度ｃＬ＝１．０が導出できる。ただし、ブロックの大きさが異なるため、隣接ブロックＬに接する部分以外については寄与の度合は低いと考えられる。また、ブロックの大きさが異なるということは、領域の性質に違いがあり寄与の度合が低い可能性を示している。このような場合には、対象ブロックと隣接ブロックとの面積比に応じて寄与度を低減するとよい。ただし、比率の計算は、対象ブロックと隣接ブロックの大きさが等しい場合に寄与度が最大になるようにするため、常に小さな方のブロックの面積が分子となるように行う。図６の（ｂ）の例に適用すれば、係数１／４となり、寄与度ｃＬ＝１．０×１／４＝０．２５である。
一方、図６の（ｃ）は、隣接ブロックＬの一辺の大きさが、対象ブロックＣの２倍である場合を示す図である。この場合も、図６の（ｂ）と同様に、寄与の度合が実際は高くない可能性を考慮して、寄与度を調整するとよい。図６の（ｃ）の例に適用すれば、係数１／４となり、寄与度ｃＬ＝１．０×１／４＝０．２５である。推定予測モード導出部１２２１ａは、このような調整を行うことにより、ブロックの大きさが異なる場合に寄与度を過大評価することを回避できる。
上記で説明した寄与度の調整方法は、処理単位が正方形でない形状をとる場合にも適用できる。
（ステップＳ５ａ）最後に、推定予測モード導出部１２２１ａは、３個の推定予測モード候補ｍＬ，ｍＵ，ｍＵＬの寄与度ｃＬ，ｃＵ，ｃＵＬを比較し、寄与度の高い方から、推定数で指定されたＰ個を推定予測モードとする。例えば、推定数Ｐ＝２である場合は、第１の推定予測モードｐ１，第２の推定予測モードｐ２を出力する。図６の（ａ）を例にすれば、ｃＬ＝１．０，ｃＵ＝０．０，ｃＵＬ＝０．１であり、ｐ１＝ｍＬ＝１，ｐ２＝ｍＵＬ＝８と導出される。
推定予測モード導出部１２２１ａは、以上のようにして得られたＰ個の推定予測モードおよび推定数Ｐを、推定予測モード情報として出力する。このように寄与度に応じた順位付けにより、最も確からしい予測モードを第１の推定予測モードとし、さらに他の確からしい予測モードも第２以降の推定予測モードとして導出できる。
なお、推定予測モード導出部１２２１ａの処理は、上記説明に限定されない。以下では、各ステップにおける他の方法について、例を示す。
ステップＳ１ａにおいて、予測モード総数Ｍは、方法および値ともに必ずしも上記の通り定められたものでなくともよい。例えば、予測モード総数Ｍ＝９とＭ＝１７を明示的に選択するフラグを導入し、該フラグの値を対象ブロックの予測モードに先立って決定（復号装置においては復号）することによって、各対象ブロックに対して明示的に予測モード総数Ｍを設定しても構わない。このようにすれば、予測モード総数をブロックのサイズによらず画像の特徴に合わせて適応的に設定することができる。上記のように、予測モード総数Ｍがブロックサイズに依存しない場合は、ブロックサイズを用いないよう推定予測モード導出部１２２１ａを構成することができる。
また、ステップＳ１ａにおいて、推定数Ｐの求め方は上記説明に限定されない。例えば、本実施形態においては予測モード総数がブロックサイズに基づくと仮定していることから、対象ブロックにおけるブロックサイズに基づいて推定数Ｐを導出してもよい。具体的には、ブロックサイズが１６×１６および３２×３２の場合は推定数Ｐ＝２，その他の場合は推定数Ｐ＝１とする。別の例としては、対象ブロックと比較ブロックにおけるブロックサイズの比較結果に基づいて導出してもよい。具体的には、対象ブロックと同じブロックサイズのブロックが比較ブロックに含まれる場合には、寄与度が高い推定予測モード候補が存在することから推定予測モードが実際の予測モードに一致する可能性が高いため、推定数Ｐ＝１とし、その他の場合は推定予測モードが実際の予測モードに一致する可能性が低いために推定数を相対的に多くし、推定数Ｐ＝２とする。
さらに、ステップＳ１ａにおいて、上記説明では推定数Ｐはブロック毎に求められるが、別の例としては、推定数Ｐは、スライスあるいはピクチャなど、ブロックよりも大きな処理単位に対して最適な値を設定してもよい。その場合、スライスあるいはピクチャに対してデフォルトの推定数Ｐｄを設定および符号化するようにし、ステップＳ１ａでは該推定数Ｐｄを参照するようにする。
ステップＳ２ａにおいて、選択されるブロックは上記３個の場合に限定されない。上記３個のブロックは、左上から右下へのラスタスキャン順の処理を仮定した場合に、対象ブロックの処理時点では処理済みすなわち予測モードが確定していることから、比較ブロックとして好適である。処理済みであればこれ以外にも、例えば、右上に隣接するブロックを選択してもよいし、右や左下に隣接するブロックなど、その他のブロックを選択してもよい。
また、ステップＳ２ａにおいて、例えば、対象ブロックの一辺に複数のブロックが隣接する場合に、当該辺に隣接する最も大きなブロックを選択してもよいし、隣接する全てのブロックを選択してもよい。さらに、比較ブロック選択部１２２３ａが選択するブロックは、対象ブロックに近接する他のブロックを含んでもよい。例えば、隣接ブロックにさらに隣接するブロックや、対象ブロックから所定の距離以内に含まれるブロックである。さらには、対象ブロック以前に処理された全てのブロックを含んでもよい。このように比較ブロックの選択範囲を変化させることで、局所的な画像特徴の変化への適応性を調節できる。
また、ステップＳ２ａにおいては、推定数決定部１２２２ａの出力する推定数Ｐに応じて、選択する比較ブロックを変更することもできる。たとえば推定数Ｐ＝１の場合のみ、比較ブロックを左隣接ブロックおよび上隣接ブロックの２個としてもよい。
ステップＳ１ａとステップＳ２ａは、処理内容や互いの出力データの依存関係に応じ、その処理順序を入れ替えてもよい。
ステップＳ３ａにおいて、テーブルの値は図５の例には限定されない。ただし、ブロックの隣接方向毎に推定予測モード候補を導出するのであれば、予測方向と隣接ブロックの位置関係を考慮して設定するのが好ましい。また、推定予測モード候補の導出方法も、上記には限定されない。特に、比較ブロックを多数選択する場合には、比較ブロックの集合から統計的に導出した予測モードを推定予測モードとすれば、推定予測モードの導出における局所的な画像特徴の変化の影響を低減できる。例えば、ステップＳ２ａにおいて、比較ブロックとして対象ブロックの左辺に接するブロック全ておよび上辺に接するブロック全てを選択したような場合、複数の左隣接ブロックの予測モードのうち最多の予測モード、および、複数の上隣接ブロックの予測モードのうち最多の予測モードを推定予測モード候補としてもよい。さらには、最多の予測モードではなく、平均的な予測方向に最も近い予測モードとしてもよい。
また、ステップＳ３ａにおいて、テーブルを推定数Ｐに応じて切り替えるようにしてもよい。例えば、比較ブロック選択部１２２３ａが推定数Ｐに応じて比較ブロックの選択方法を切り替える場合には、選択される比較ブロックに合わせてテーブルを切り替える。
ステップＳ４ａにおいて、寄与度の調整には、面積比以外の尺度を用いてもよい。例えば、対象ブロックと隣接ブロックが接する辺の長さの比に基づいて調整を行うことができる。ステップＳ４ａにおける調整を辺の長さの比に基づいた比率１／２で行えば、ｃＬ＝０．５が得られる。この方法は、処理単位が正方形でない形状をとりうる場合に有用である。他の例としては、比較ブロックと対象ブロックとの距離に応じた調整、さらには、１個の推定予測モード候補を導出するために用いた比較ブロックの個数に基づいた調整をしてもよい。
また、ステップＳ４ａにおいて寄与度を計算により調整する方法の代替として、ステップＳ４ａにおける各種判定を先に行い、判定結果に応じてステップＳ３ａにおいて用いるテーブルそのものを切り替えてもよい。
ステップＳ５ａにおいて、推定予測モード候補の導出結果や寄与度の導出結果に応じて推定数Ｐを変更してもよい。例えば、推定数Ｐ＝２で、かつ、３個の推定予測モード候補が全て同一（ｍ１とする）であれば、推定予測モードは１種類しかない。このような場合には第１の推定予測モードとしてｍ１を用い、推定数Ｐ＝１と変更すれば、同じ推定予測モードを複数用いる無駄を削減できる。また別の例として、推定数Ｐ＝２で、かつ、推定予測モード候補ｍＬ，ｍＵ，ｍＵＬが全て異なり、かつ、寄与度ｃＬ，ｃＵ，ｃＵＬが全て等しい場合には、いずれの推定予測モード候補も同等の寄与度であると判定される。このような場合には推定数Ｐ＝３と変更して、ｐ１＝ｍＬ，ｐ２＝ｍＵ，ｐ３＝ｍＵＬ（この順序以外でもよい）とすれば、同等の寄与度でありながら推定予測モードとして用いられない推定予測モード候補の発生を回避できる。
また、ステップＳ５ａにおいては、推定予測モードの一部あるいは全てを、推定予測モード候補以外に基づいて導出してもよい。例えば、推定数Ｐに対して、第１の推定予測モードから第Ｐ−１の推定予測モードは上記で説明したように寄与度の導出結果に応じて導出し、第Ｐの推定予測モードは、モード８とするようにしてもよい。このようにすれば、局所的な画像特徴に影響されず、全体として使用頻度が高い予測モードを推定予測モードに含めることができる。
また、ステップＳ５ａにおけるさらに別の例としては、推定数Ｐ＝２のとき、第１の推定予測モードを寄与度の導出結果に応じて導出し、第２の推定予測モードを、第１の推定予測モードに近い値の別の予測モードとしてもよい。具体的には、第１の推定予測モードの次に大きいモード値を持つ予測モードを第２の推定予測モードとしたり、水平や垂直や４５度など、主要な方向に関連付けられた予測モードのうち、第１の推定予測モードに最も近いものを第２の推定予測モードとしたりするとよい。このように、第１の推定予測モードと概ね同じだが異なる予測方向を第２の推定予測モードとすれば、推定予測モードと実際の予測モードが、概ね同じ方向ながら異なる値をとる場合にも、推定予測モードが一致する可能性を高めることができる。
さらに、推定予測モード導出部１２２１ａの処理を、推定数Ｐに基づいて変更してもよい。例えば、推定数Ｐ≧２の場合は、上記ステップＳ１ａ〜ステップＳ５ａの通りとし、推定数Ｐ＝１の場合には、従来技術と同じ簡易な方法、すなわち、左隣接ブロックと上隣接ブロックの予測モードのうち小さな値の方を推定予測モードとしてもよい。
推定予測モード導出部１２２１ａの処理の、別の具体例を説明する。推定予測モード導出部１２２１ａでは、隣接ブロックの予測モードを順位付けして比較することで、推定予測モードを求めてもよい。例えば、隣接ブロックの予測モードを、重複を排して予測モードの番号の小さい順序や発生確率の高い順序に並べて、先頭からＰ個を推定予測モードとして採用してもよい。また、前記順序は、エンコーダ（動画像符号化装置１ａ）が符号化して伝送してもよいし、デコーダ（動画像復号装置２ａ）が復号済みの情報から導出してもよい。ただし、隣接ブロックの予測モードに重複があるようなときにおいて、上記のように重複を排すると、順位付け対象となる予測モードの数が減るので、隣接ブロックの予測モードをすべて推定予測モードに採用しても、推定予測モードの数がＰ個未満となる場合がある。その場合には、既に推定予測モードに採用されていない限り、所定の予測モードを追加し、推定予測モードの数がＰ個になるようにしてもよい。追加する所定の予測モードはエンコーダとデコーダとで共通に定めておくことができる。また、追加する所定の予測モードとしては、例えば、ＤＣモード、Ｐｌａｎａｒモード、水平または垂直方向予測モード、左隣接ブロックの予測モードの示す方向と上隣接ブロックの予測モードの示す方向との中間方向に最も近い予測モード、推定予測モードに採用された予測モードに近接する方向の予測モード、などが挙げられる。また、予測モードの重複とは、予測モードが完全に一致する場合だけでなく、予測モードの示す方向の差が近い場合や、ＤＣモードとＰｌａｎａｒモードとの組合せの場合も、重複とみなすことができる。
図１に戻り、予測モード符号化部１２３ａについて説明する。予測モード符号化部１２３ａでは、予測モードを、ブロックサイズおよび推定予測モード情報に基づいて予測情報符号化データへ符号化し、出力する。具体的には、図７を参照して説明する。
図７は、推定数Ｐ＝２の場合に、予測モード符号化部１２３ａにおける予測モードの符号化方法の具体例を示す表である。推定数Ｐは、推定予測モード情報の一部として入力される。図７中、ｐｍｉｎは第１の推定予測モードｐ１と第２の推定予測モードｐ２の小さい方の値、ｐｍａｘはｐ１とｐ２の大きな方の値を意味する。その他既出の符号についての説明は省略する。
図７に示すように、予測モード符号化部１２３ａは、flag_bit0と、さらにｍが満たす条件に応じて、flag_bit1とrem_bitsを出力する。条件および各場合の動作は次の通りである。
（ａ）予測モードｍが第１の推定予測モードｐ１と等しい場合には、予測モード符号化部１２３ａは、符号化データとしてflag_bit0=1の１ビットのみ出力する。
（ｂ）予測モードｍが第１の推定予測モードｐ１と一致せず、かつ、予測モードｍが第２の推定予測モードｐ２と一致する場合、予測モード符号化部１２３ａは、flag_bit0=0 および flag_bit1=1 の２ビットを出力する。
（ｃ）予測モードｍが第１の推定予測モードｐ１および第２の推定予測モードｐ２のいずれとも一致しない場合、予測モード符号化部１２３ａはflag_bit0=0 および flag_bit1=0 を出力し、さらにｍの値に応じて下記のいずれかの方法で導出したビット列rem_bitsを出力する。
（ｃ１）ｍ＜ｐｍｉｎ の場合、予測モード符号化部１２３ａは、ｍをビット列rem_bitsに変換する。
（ｃ２）ｐｍｉｎ＜ｍ＜ｐｍａｘ の場合、予測モード符号化部１２３ａは、ｍ−１をビット列rem_bitsに変換する。
（ｃ３）ｐｍａｘ＜ｍ の場合、予測モード符号化部１２３ａは、ｍ−２をビット列rem_bitsに変換する。
条件（ｃ）における処理は、従来技術における予測モード符号化部１２３の場合と同様に、rem_bitsの値域から複数の推定予測モードを除外して値域を小さくし、符号化効率を向上するのに役立つ。
次に、予測モード符号化部１２３ａにおける予測モードの符号化方法の、別の具体例を示す。推定数Ｐ＝２とするとき、予測モード符号化部１２３ａは、推定予測モードのグループＧに含まれるいずれかの推定予測モードと予測モードとの一致を表すフラグflag_bitGと、さらに、複数の推定予測モードから１つを選ぶためにmpm_idxとを出力する。条件および各場合の動作は次のとおりである。
（ｄ） 予測モードｍが前記グループＧに含まれるいずれかの推定予測モード、すなわち第１の推定予測モードｐ１または第２の推定予測モードｐ２と等しい場合には、予測モード符号化部１２３ａは、符号化データとしてflag_bitG=1を出力する。さらに、予測モードｍと等しい推定予測モードを示す識別子mpm_idxを出力する。Ｐ＝２の場合、mpm_idxは、１ビットである。なお、ｐ１＝ｐ２である場合には、ｍの値は自明であるため、mpm_idxの符号化を省略することにより符号化効率を向上することができる。
（ｅ） 予測モードｍが第１の推定予測モードｐ１および第２の推定予測モードｐ２のいずれとも一致しない場合、予測モード符号化部１２３ａは、符号化データとしてflag_bitG=0を出力する。さらに、ｍの値に応じて、前記（ｃ１）〜（ｃ３）に記載の方法を用いてrem_bitsを導出し、出力する。
このようにして、予測モード符号化部１２３ａは、複数の推定予測モードに基づき、予測モードから符号化データを生成する。推定予測モードのいずれかが実際に対象ブロックで用いられている場合には、より少ない符号量で符号化でき、さらに複数の推定予測モードを用いることにより、予測モード総数が多いブロックにおいても、推定予測モードと実際の予測モードが一致する可能性を高めることができる。ここでは推定数Ｐ＝２の場合について説明したが、Ｐ＝１の場合は予測モード符号化部１２３と同様にすればよい。Ｐ≧３の場合にも、例えば、flag_bit0およびflag_bit1と同様のフラグを３ビット以上用いて、Ｐ＝２の場合と同様にすれば、予測モードの符号化が可能である。
つまり、flag_bit0およびflag_bit1と同様のフラグを用い、さらに上記条件（ｃ）と同様にして、rem_bitsの値域から推定予測モードを除外して値域を小さくすることで、Ｐ＝２の場合と同様に予測モードの符号化が可能である。あるいは、flag_bitGおよび推定数Ｐに応じた値域のmpm_idxを用いることで、Ｐ≧３の場合にも前記別の具体例を用いるときと同様にして予測モードの符号化が可能である。
このように、動画像符号化装置１ａから出力される符号化データにおいて、複数の推定予測モードと実際の予測モードとの一致の状態を表す情報を先に符号化し、複数の推定予測モードのいずれとも実際の予測モードが一致しない場合にのみ実際の予測モードを符号化することで、予測モードの符号量を全体として低下させることが可能である。
以上説明したように、動画像符号化装置１ａでは、対象ブロックの隣接ブロックにおける予測モードを推定予測モード候補として、その寄与度に基づいて、従来技術よりも精度の高い、複数の順位付けされた推定予測モードを導出する。さらにこれを予測モードの符号化データ生成に用いることにより、単一の推定予測モードが対象ブロックの予測モードに一致しない場合にも、第２の推定予測モードによって、少ない符号量で符号化を行う可能性を高め、符号化効率の向上を実現する。
（動画像復号装置）
本発明の一実施形態による動画像復号装置２ａについて図８〜図１０を参照して説明する。本発明の第１の実施形態による動画像復号装置２ａは、概略的には、従来の動画像復号装置２と同様に、マクロブロック単位の符号化データを復号し、復号画像を出力する装置である。動画像復号装置２ａは、その一部に、Ｈ２６４／ＡＶＣ規格に採用されている技術を用いている動画像復号装置である。図８は、動画像復号装置２ａにおける、ＭＢ復号部２０ａの構成を示す図である。図８に示すＭＢ復号部２０ａは、図１３に示したＭＢ復号部２０において、予測情報復号部２３を、予測情報復号部２３ａに変更したものである。予測情報復号部２３ａは、予測情報符号化データを復号し、予測モードおよびブロックサイズを出力する点においては、動画像復号装置２の予測情報復号部２３と同様である。以下では、予測情報復号部２３と異なる、予測モードの復号方法について具体的に説明する。
図９は、予測情報復号部２３ａの構成を示す図である。予測情報復号部２３ａは、予測モード復号部２３１ａおよび、既に説明した予測モード記録部１２１および推定予測モード決定部１２２ａとで構成されている。
以下では、予測モード復号部２３１ａについて説明する。予測モード復号部２３１ａでは、まず予測情報符号化データからブロックサイズを復号し、ブロックサイズを用いて推定予測モード決定部１２２ａが導出した推定予測モード情報に基づいて、予測モードを復号する。具体的には、図１０を参照して説明する。
図１０は、推定数Ｐ＝２の場合に、予測モード復号部２３１ａにおける予測モードの復号方法の具体例を示す表である。既出の符号についての説明は省略する。
予測モード復号部２３１ａはまず、flag_bit0を復号する。図１０に示すように、flag_bit0=1であれば、推定予測モードｐ１が予測モードｍに等しいことを意味し、flag_bit1およびrem_bitsの復号は不要である。flag_bit0=0の場合には、予測モード復号部２３１ａは次に、flag_bit1を復号する。flab_bit1=1であれば、推定予測モードｐ２が予測モードｍに等しいことを意味し、rem_bitsの復号は不要である。flag_bit0=0かつflag_bit1=0であれば、推定予測モードがいずれも予測モードに一致しなかったことを意味する。この場合、予測モード復号部２３１ａは、rem_bitsとして、続くＢＭ’ビットの符号化データｋを１０進数ｍ’に変換し、図１０に示すように、ｍ’とｐｍｉｎおよびｐｍａｘの大小関係に基づき予測モードｍを導出する。
このように、予測モード復号部２３１ａは、複数の推定予測モードに基づき、符号化データから予測モードを復号する。ここでは推定数Ｐ＝２の場合について説明したが、Ｐ＝１の場合は予測モード復号部２３１と同様にすればよい。Ｐ≧３の場合にも、例えば、Ｐ＝２の場合と同様にすればよく、flag_bit0およびflag_bit1と同様のフラグを３ビット以上符号化データに含めれば、予測モードの復号が可能である。
あるいは、予測モードと各推定予測モードとの一致を示すフラグの構成としては、flag_bit0やflag_bit1以外に、次の方法を用いても同じ効果を得ることができる。例えば、推定数Ｐ＝２の場合、まず、実際の予測モードが２つの推定予測モードからなるグループＧのいずれかと一致することを示すフラグflag_bitGを復号する。flag_bitG=0であれば、グループＧの推定予測モードが、いずれも実際の予測モードに一致しないことを意味し、rem_bitsを復号して予測モードを確定する。一方、flag_bitG=1である場合には、グループＧの推定予測モードのいずれかが実際の予測モードに一致することを意味する。この場合にはさらに、グループＧの推定予測モードのいずれと一致したのかを示す識別子mpm_idxを復号する。識別子mpm_idx=0であれば、推定予測モードｐ１が実際の予測モードに一致することを示し、mpm_idx=1であれば、推定予測モードｐ２が実際の予測モードに一致することを示す。推定数≧３の場合であっても同様に、flag_bitG=1である場合には、識別子mpm_idxを用いて、どの推定予測モードが実際の予測モードと一致したのかを示せばよい。なお、識別子mpm_idxの符号長は、ビット列にしてＢＭ’桁よりも短くすることが望ましい。
さらには、上記では、推定予測モードを１つのグループＧとしたが、複数の推定予測モードを２つ以上のグループに分けてもよい。そして当該２つ以上のグループそれぞれについて、当該グループを構成する推定予測モードのいずれかかが実際の予測モードと一致することを表すフラグを復号してもよい。また、フラグを判定した結果、当該グループを構成する推定予測モードのいずれかかが実際の予測モードと一致する場合には、さらに当該グループを構成する推定予測モードのうち実際の予測モードと一致したものを示すインデクスを復号することもできる。このフラグおよびインデクスは、前記flag_bitGおよびmpm_idxと同様である。
このように、動画像復号装置２ａに入力される符号化データにおいて、複数の推定予測モードと予測モードとの一致の状態を表す情報を先に復号し、複数の推定予測モードのいずれとも予測モードが一致しない場合にのみ予測モードを指定する情報をさらに復号することで、予測モードの符号量を全体として低下させることが可能である。なお、推定予測モードは、隣接ブロックの予測モードから算出することが好ましい。また、推定予測モードの数は、用いる予測モードの数に応じて変更することが好ましい。例えば、推定予測モードの数は、所定の定数Ｍを用いて、予測モードの数がＭ個以上である場合には、２個とし、Ｍ個未満である場合には、１個とすることができる。この例のように、予測モードの数が多いほど、推定予測モードの数を多くすることが好ましい。また、例えば、所定の定数Ｍを用いて、予測モードの数がＭ個以上である場合には、３個、Ｍ個未満である場合には２個とすることも好ましい。
また、例えば、残りの予測モードの数が２のＮ乗個になるように、推定予測モードの数を決定する構成も好ましい。２のＮ乗個であれば固定ビット数でほぼ等確率で符号化が可能である。この意味では、例えば、予測モードの数が１８個の場合、推定予測モードの数を２個とすると、残りの予測モードの数は１６個になり好ましい。また、例えば、予測モードの数が３５個の場合には、推定予測モードの数を３個とすると、残りの予測モードの数は３２個になり好ましい。
以上説明したように、動画像復号装置２ａは、動画像符号化装置１ａと同一の方法で複数の順位付けされた推定予測モードを導出することにより、動画像符号化装置１ａの生成した符号化データを復号できる。
（付記事項１）
本実施形態においては、実際の予測モードと各推定予測モードとの一致を示すフラグを符号化および復号する方法を説明したが、他の方法を用いてもよい。例えば、実際の予測モードは複数の推定予測モードのいずれかと一致することを示すフラグを符号化し、一致する場合にはさらに、複数の推定予測モードのいずれかに対応づけられる識別子を符号化データに含むようにしてもよい。この場合、識別子の符号長は、ビット列にしてＢＭ’桁よりも短くすることが望ましい。
（付記事項２）
本実施形態においては、各所でブロックサイズを用いた判定を行うが、ブロックサイズを用いないように構成することも可能である。例えば、各対象ブロックにおける予測モード総数が、ブロックサイズに依存せず一定の場合である。
（付記事項３）
なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、上述した動画像復号装置１、１ａおよび動画像符号化装置２、２ａの各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ／ブルーレイ・ディスク（登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）（登録商標）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
（付記事項４）
本発明は次のように表現することができる。すなわち、本発明の一側面に係るイントラ予測モード推定装置は、複数のブロックから構成されるデジタル画像の符号化処理または復号処理において、画像のイントラ予測モードを推定するイントラ予測モード推定装置であって、イントラ予測モードを推定する対象ブロックに対して、１つ以上の比較ブロックを選択する選択部と、イントラ予測モードの推定値である推定予測モードを、前記対象ブロックに対して推定する総数を決定する推定数決定部と、前記選択された比較ブロックの符号化処理に用いられた予測モードに基づいて、前記対象ブロックに対して、前記推定する総数の推定予測モードを推定する推定部と、を備える構成である。
また、本発明の他の側面に係る符号化装置は、複数のブロックから構成されるデジタル画像の符号化処理を行う符号化装置であって、符号化の対象ブロックに対して、１つ以上の比較ブロックを選択する選択部と、イントラ予測モードの推定値である推定予測モードを、前記対象ブロックに対して推定する総数を決定する推定数決定部と、前記選択された比較ブロックの符号化処理に用いられた予測モードに基づいて、前記対象ブロックに対して、前記推定する総数の推定予測モードを推定する推定部と、前記対象ブロックに対する予測モードを決定する予測モード決定部と、前記予測モードが前記推定予測モードのいずれかに一致するときと一致しないときで、前記推定予測モードおよび前記予測モードを異なる長さで符号化する予測モード符号化部と、前記予測モードを用いて、前記対象ブロックの予測画像を生成する予測画像生成部とを備え、前記予測モード符号化部は、前記予測モードが前記推定予測モードのいずれかに一致するときは、一致しないときに比べて短く符号化する構成である。
また、本発明のさらに他の側面に係る復号装置は、複数のブロックから構成されるデジタル画像を符号化した符号化データの復号処理を行う復号装置であって、復号の対象ブロックに対して、１つ以上の比較ブロックを選択する選択部と、イントラ予測モードの推定値である推定予測モードを、前記対象ブロックに対して推定する総数を決定する推定数決定部と、前記選択された比較ブロックの符号化処理に用いられた予測モードに基づいて、前記対象ブロックに対して、前記推定する総数の推定予測モードを推定する推定部と、前記推定する総数および前記推定予測モードに基づいて、前記符号化データから、前記対象ブロックの予測画像の生成に用いる予測モードを復号する予測モード復号部と、前記予測モードを用いて、前記対象ブロックの予測画像を生成する予測画像生成部とを備える構成である。
また、本発明の他の側面に係る上記符号化装置が外部に出力する複数のブロックから構成される画像の符号化データは、符号化される個々のブロックに対して、ａ）前記ブロックに対する第一の推定予測モードが前記ブロックの予測モードに一致することを表す情報、ｂ）前記第一の推定予測モードが前記予測モードに一致せずに前記ブロックに対する第二の推定予測モードが前記予測モードに一致することを表す情報、又はｃ）前記第一の推定予測モードと前記第二の推定予測モードが前記予測モードに一致しないことを表す情報及び前記予測モード情報、を含むデータ構造である。
また、本発明の他の側面に係る上記符号化装置が外部に出力する複数のブロックから構成される画像の符号化データは、符号化される個々のブロックに対して、ａ）前記ブロックに対する１つ以上の推定予測モードからなる集合に含まれる推定予測モードのいずれかが前記ブロックの予測モードに一致することを表す情報、及び、前記ブロックの予測モードと一致する前記集合に含まれる推定予測モードを指定する情報、又は、ｂ）前記ブロックに対する１つ以上の推定予測モードからなる集合に含まれる推定予測モードのいずれも前記ブロックの予測モードに一致しないことを表す情報、及び、前記予測モード情報、を含むデータ構造である。
上記構成によれば、推定予測モードを推定する総数を対象ブロック毎に適応的に決定することができる。一般に多数の推定予測モードを用いれば、実際の予測モードに一致する可能性を高めることができるが、いずれも一致しなければ符号量の増加につながる。したがって上記構成によれば、推定する総数を適応的に決定することで、平均的により少ない符号量で、効率よく予測モードを符号化および復号する効果を奏する。
本発明に係るイントラ予測モード推定装置では、前記推定数決定部は、前記対象ブロックの符号化処理に用いる予測モードの総数に応じて前記推定する総数を決定することが好ましい。
上記構成によれば、対象ブロックの符号化処理に用いる予測モードの総数に応じて、推定予測モードを推定する総数を調節するので、予測モードの総数すなわち予測モードの選択肢の幅広さに合わせた数の推定予測モードを導出する効果を奏する。
例えば、予測モードの総数が多い場合には、推定予測モードが実際の予測モードに一致する可能性が低くなるため、推定する総数を多くすれば、推定予測モードのいずれかが予測モードに一致する可能性を高める効果を奏する。
本発明に係るイントラ予測モード推定装置では、前記推定数決定部は、第一の対象ブロックの符号化処理に用いる予測モードの総数が第二の対象ブロックの符号化処理に用いる予測モードの総数より大きい場合には、第一の対象ブロックに対する前記推定する総数を第二の対象ブロックに対する前記推定する総数より大きな値に決定することが好ましい。
上記構成によれば、予測モードの総数が多い対象ブロックにおいては、推定する総数が大きな値に決定し、予測モードの総数が少ない対象ブロックにおいては、推定する総数が小さな値に決定する。これにより、予測モードの総数が多い対象ブロックで、少数の推定予測モードしか用いないことによる符号化効率の低下を防ぐ効果を奏する。
本発明に係るイントラ予測モード推定装置では、前記推定数決定部は、前記対象ブロックの大きさに応じて前記推定する総数を決定することが好ましい。
上記構成によれば、対象ブロックの大きさに基づいて推定予測モードを推定する総数を決定するので、対象ブロックの大きさに応じて予測モードの総数が決定される場合には、予測モードの総数を参照せず前記推定する総数を決定できるという効果を奏する。
本発明に係るイントラ予測モード推定装置では、前記推定数決定部は、前記対象ブロックと前記比較ブロックの大きさの相対関係に応じて前記推定する総数を決定することが好ましい。
上記構成によれば、対象ブロックと比較ブロックの類似性に合わせた数として、推定する総数を決定することができる。例えば、対象ブロックと比較ブロックの大きさが異なるということは、対象ブロックにおける画像と比較ブロックにおける画像の性質が異なる可能性を示している。性質が異なる比較ブロックを用いて導出する推定予測モードが実際の予測モードに一致する可能性は低いため、推定予測モードを推定する総数を大きな値にすることで、一致する可能性を高めることができる。あるいは、対象ブロックと比較ブロックの違いが大きすぎる場合には、推定予測モードを推定する総数を小さくすれば、符号量の増加を抑制できるという効果を奏する。
本発明に係るイントラ予測モード推定装置では、前記推定数決定部は、前記大きさの相対関係を、面積または辺の長さに基づいて決定することが好ましい。
上記構成によれば、大きさの相対関係を、対象ブロックと比較ブロックの面積または辺の長さに基づいて容易に決定することが可能であり、大きさの相対関係を評価するための計算量の増加を抑制できるという効果を奏する。
本発明に係るイントラ予測モード推定装置では、前記推定部はさらに、前記対象ブロックと前記比較ブロックの位置関係に基づいて、前記推定予測モードを推定することが好ましい。
上記構成によれば、位置関係に基づいて推定予測モードの推定を行うことにより、推定予測モードが実際の予測モードに一致する可能性を向上できる。例えば、予測モードの示す予測方向は画素値の相関が強い方向を示していることから、対象ブロックと比較ブロックの位置関係を示す方向が、比較ブロックにおける予測方向と類似している場合には、予測モードの相関も高くなることから、推定予測モードとしてより正確であると判定できる。これにより、推定予測モードの推定精度を向上するという効果を奏する。
本発明に係るイントラ予測モード推定装置では、前記選択部は、前記対象ブロック以前に予測モードが決定したブロックを比較ブロックとして選択することが好ましい。
上記構成によれば、比較ブロックは実際に用いられた予測モードを情報として持っており、これを用いて推定予測モードを推定できるようになるという効果を奏する。
本発明に係るイントラ予測モード推定装置では、前記選択部は、前記対象ブロックの左上方向、上方向、左方向に近接するブロックを比較ブロックとして選択することが好ましい。
上記構成によれば、近接する比較ブロックを用いて推定予測モードを推定できる。例えばラスタスキャン順にブロックを処理する場合においては、対象ブロックに対して上と左と左上方向のブロックは処理済みであり、予測モードが既に決定しているため、比較ブロックとして好適である。そしてこのように近接するブロックを用いて推定することで、画像の局所的な特徴に適応して推定予測モードを推定することができるという効果を奏する。
（付記事項５）
上記実施形態における、マクロブロックは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後継規格として提案されているＨＥＶＣ（High Efficiency Video Coding）のＬＣＵ（最大コーディングユニット：Largest Coding Unit、コーディングツリー（Coding Tree）のrootと呼ばれることもある）に相当し、マクロブロックおよびブロックは、ＨＥＶＣのＣＵ（コーディングユニット：Coding Unit、コーディングツリーのleafと呼ばれることもある）、ＰＵ（Prediction Unit）、またはＴＵ（Transformation Unit）に相当するものである。また、ＬＣＵは、ツリーブロックと呼ばれることもある。
（付記事項６）
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
本発明は、動画像を符号化する動画像符号化装置、符号化された動画像を復号する動画像復号装置を備える動画像処理システムにおいて好適に利用することができる。
１…動画像符号化装置
１ａ…動画像符号化装置（イントラ予測モード推定装置、符号化装置）
２…動画像復号装置
２ａ…動画像復号装置（イントラ予測モード推定装置、復号装置）
１０…ＭＢ符号化部
１１…予測情報決定部
１２…予測情報符号化部
１３…予測画像生成部
１４…予測残差符号化部
１５…ＭＢ符号化データ多重化部
２０…ＭＢ復号部
２１…ＭＢ符号化データ逆多重化部
２２…予測残差復号部
２３…予測情報復号部
１２１…予測モード記録部
１２２…推定予測モード決定部
１２３…予測モード符号化部
２３１…予測モード復号部
１２２１…推定予測モード導出部
１０ａ…ＭＢ符号化部
１２ａ…予測情報符号化部
２０ａ…ＭＢ復号部
２３ａ…予測情報復号部
１２２ａ…推定予測モード決定部
１２３ａ…予測モード符号化部
２３１ａ…予測モード復号部
１２２１ａ…推定予測モード導出部（推定部）
１２２２ａ…推定数決定部
１２２３ａ…比較ブロック選択部（選択部）

Claims (2)

  1. 複数のブロックから構成されるデジタル画像の符号化処理において、画像のイントラ予測モードを推定する処理を含む画像符号化装置であって、
    イントラ予測モードを推定する対象ブロックに対して、１つ以上の隣接ブロックを選択する選択部と、
    前記隣接ブロックの予測モードに重複がある場合に、前記隣接ブロックの予測モードおよび該予測モードに近接する方向のイントラ予測モードを、該イントラ予測モードの推定値である推定予測モードとして導出する導出部と、
    前記対象ブロックの予測モードを符号化する予測モード符号化部とを備え、
    前記予測モード符号化部は、
    （ａ）前記対象ブロックに対する１つ以上の推定予測モードからなる集合に含まれる予測モードのいずれかが、前記対象ブロックの予測モードに一致することを表す情報、及び、前記対象ブロックの予測モードと一致する前記集合に含まれる予測モードを指定する情報、又は、
    （ｂ）前記対象ブロックに対する１つ以上の推定予測モードからなる集合に含まれる予測モードのいずれも、前記対象ブロックの予測モードに一致しないことを表す情報、及び、前記予測モードの情報、
    を符号化することを特徴とする画像符号化装置。
  2. 複数のブロックから構成されるデジタル画像の復号処理において、画像のイントラ予測モードを推定する処理を含む画像復号装置であって、
    イントラ予測モードを推定する対象ブロックに対して、１つ以上の隣接ブロックを選択する選択部と、
    前記隣接ブロックの予測モードに重複がある場合に、前記隣接ブロックの予測モードおよび該予測モードに近接する方向のイントラ予測モードを、該イントラ予測モードの推定値である推定予測モードとして導出する導出部と、
    前記対象ブロックの予測モードを復号する予測モード復号部とを備え、
    前記予測モード復号部は、
    （ａ）前記対象ブロックに対する１つ以上の推定予測モードからなる集合に含まれる予測モードのいずれかが、前記対象ブロックの予測モードに一致することを表す情報、及び、前記対象ブロックの予測モードと一致する前記集合に含まれる予測モードを指定する情報、又は、
    （ｂ）前記対象ブロックに対する１つ以上の推定予測モードからなる集合に含まれる予測モードのいずれも、前記対象ブロックの予測モードに一致しないことを表す情報、及び、前記予測モードの情報、
    を復号することを特徴とする画像復号装置。
JP2016140559A 2010-07-15 2016-07-15 画像符号化装置及び画像復号装置 Pending JP2016201829A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010160266 2010-07-15
JP2010160266 2010-07-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012524587A Division JP6342116B2 (ja) 2010-07-15 2011-07-14 イントラ予測モード推定装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018119278A Division JP2018174569A (ja) 2010-07-15 2018-06-22 画像符号化装置及び画像復号装置

Publications (1)

Publication Number Publication Date
JP2016201829A true JP2016201829A (ja) 2016-12-01

Family

ID=45469510

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2012524587A Active JP6342116B2 (ja) 2010-07-15 2011-07-14 イントラ予測モード推定装置
JP2016140559A Pending JP2016201829A (ja) 2010-07-15 2016-07-15 画像符号化装置及び画像復号装置
JP2018119278A Pending JP2018174569A (ja) 2010-07-15 2018-06-22 画像符号化装置及び画像復号装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012524587A Active JP6342116B2 (ja) 2010-07-15 2011-07-14 イントラ予測モード推定装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018119278A Pending JP2018174569A (ja) 2010-07-15 2018-06-22 画像符号化装置及び画像復号装置

Country Status (6)

Country Link
US (8) US9380301B2 (ja)
EP (2) EP4106331A1 (ja)
JP (3) JP6342116B2 (ja)
CN (3) CN107277527B (ja)
MY (1) MY186093A (ja)
WO (1) WO2012008514A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150435A1 (ja) * 2018-01-30 2019-08-08 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JPWO2020059051A1 (ja) * 2018-09-19 2021-09-09 富士通株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
JP2022120186A (ja) * 2018-09-19 2022-08-17 富士通株式会社 映像復号方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2838214C (en) * 2011-06-13 2019-02-12 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN106851300B (zh) 2011-09-13 2020-05-26 寰发股份有限公司 基于最可能模式的帧内预测模式的方法及装置
US9210438B2 (en) * 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
US20150103883A1 (en) * 2013-10-11 2015-04-16 Mediatek Inc. Method and apparatus for fast intra prediction
CN105850136B (zh) 2013-12-22 2019-10-15 Lg电子株式会社 使用预测信号和变换编译信号预测视频信号的方法和装置
WO2017073362A1 (ja) * 2015-10-30 2017-05-04 ソニー株式会社 画像処理装置および方法
JP6886825B2 (ja) * 2017-01-27 2021-06-16 日本放送協会 予測装置、符号化装置、復号装置、及びプログラム
US10630978B2 (en) * 2017-05-12 2020-04-21 Blackberry Limited Methods and devices for intra-coding in video compression
CN107277577A (zh) * 2017-07-14 2017-10-20 深圳创维－Rgb电子有限公司 广告的推送方法、装置及计算机可读存储介质
CN110337811A (zh) * 2018-02-14 2019-10-15 北京大学 运动补偿的方法、装置和计算机系统
WO2020130477A1 (ko) * 2018-12-17 2020-06-25 세종대학교산학협력단 비디오 부호화/복호화 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005529527A (ja) * 2002-06-11 2005-09-29 ノキア コーポレイション イントラ符号化に基づく空間予測

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778757B1 (en) * 1998-10-23 2004-08-17 Hitachi, Ltd. Data recording/reproduction apparatus and method
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US7289672B2 (en) * 2002-05-28 2007-10-30 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode estimation
EP2860977A1 (en) * 2002-05-28 2015-04-15 Sharp Kabushiki Kaisha Method and systems for image intra-prediction mode estimation, communication, and organization
CN101568035B (zh) * 2002-05-28 2012-02-01 夏普株式会社 图像内预测模式估计、通信和组织的方法和系统
US20030231795A1 (en) 2002-06-12 2003-12-18 Nokia Corporation Spatial prediction based intra-coding
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
JP2006520796A (ja) * 2003-03-17 2006-09-14 タケダ サン ディエゴ インコーポレイテッド ヒストンデアセチラーゼインヒビター
US7369707B2 (en) * 2003-10-28 2008-05-06 Matsushita Electric Industrial Co., Ltd. Intra-picture prediction coding method
CN1717056A (zh) * 2004-07-02 2006-01-04 三菱电机株式会社 用于小波视频编码中的高通时间滤波帧的帧内预测
JP2006100871A (ja) * 2004-09-28 2006-04-13 Sony Corp 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JPWO2008012918A1 (ja) * 2006-07-28 2009-12-17 株式会社東芝 画像符号化と復号の方法及び装置
WO2008031817A2 (en) * 2006-09-15 2008-03-20 Janssen Pharmaceutica Nv Histone deacetylase inhibitors with combined activity on class-i and class-iib histone deacetylases in combination with proteasome inhibitors
JP4999860B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US20100118943A1 (en) 2007-01-09 2010-05-13 Kabushiki Kaisha Toshiba Method and apparatus for encoding and decoding image
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8139875B2 (en) * 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN103338365B (zh) * 2007-06-29 2017-04-12 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
JP4569840B2 (ja) 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
JP2009089267A (ja) * 2007-10-02 2009-04-23 Canon Inc イントラ予測符号化装置、イントラ予測符号化方法及びプログラム
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
WO2009080133A1 (en) * 2007-12-21 2009-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive intra mode selection
KR101439847B1 (ko) 2008-01-02 2014-09-16 삼성전자주식회사 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치
JPWO2009107777A1 (ja) * 2008-02-27 2011-07-07 株式会社東芝 動画像符号化／復号装置
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
JP4995789B2 (ja) * 2008-08-27 2012-08-08 日本電信電話株式会社 画面内予測符号化方法，画面内予測復号方法，これらの装置，およびそれらのプログラム並びにプログラムを記録した記録媒体
JP5400798B2 (ja) * 2008-12-10 2014-01-29 株式会社日立製作所 動画像復号化方法及び装置、動画像符号化方法及び装置
US8603521B2 (en) * 2009-04-17 2013-12-10 Pharmacyclics, Inc. Formulations of histone deacetylase inhibitor and uses thereof
JP6800750B2 (ja) * 2013-08-02 2020-12-16 ファーマサイクリックス エルエルシー 固形腫瘍の処置方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005529527A (ja) * 2002-06-11 2005-09-29 ノキア コーポレイション イントラ符号化に基づく空間予測

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TORU KUMAKURA, SHIGERU FUKUSHIMA, MOTOHARU UEDA, FIXING THE NUMBER OF MPM CANDIDATES, JPN6015023574, 1 July 2011 (2011-07-01), ISSN: 0003697428 *
WEI-JUNG CHIEN ET AL., PARSING FRIENDLY INTRA MODE CODING, JPN6014035498, 2 July 2011 (2011-07-02), ISSN: 0003697427 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150435A1 (ja) * 2018-01-30 2019-08-08 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JPWO2019150435A1 (ja) * 2018-01-30 2020-11-19 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
US11218705B2 (en) 2018-01-30 2022-01-04 Fujitsu Limited Information processing device and video encoding method
JP6992825B2 (ja) 2018-01-30 2022-01-13 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JPWO2020059051A1 (ja) * 2018-09-19 2021-09-09 富士通株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
JP2022120186A (ja) * 2018-09-19 2022-08-17 富士通株式会社 映像復号方法
JP7180679B2 (ja) 2018-09-19 2022-11-30 富士通株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
JP7323014B2 (ja) 2018-09-19 2023-08-08 富士通株式会社 映像復号方法

Also Published As

Publication number Publication date
CN103081471B (zh) 2017-06-06
US20170070737A1 (en) 2017-03-09
US10230963B2 (en) 2019-03-12
WO2012008514A1 (ja) 2012-01-19
US20230179775A1 (en) 2023-06-08
US9538198B2 (en) 2017-01-03
EP4106331A1 (en) 2022-12-21
US20220166987A1 (en) 2022-05-26
US9380301B2 (en) 2016-06-28
US11570448B2 (en) 2023-01-31
US11109040B2 (en) 2021-08-31
JP2018174569A (ja) 2018-11-08
MY186093A (en) 2021-06-21
US20180234684A1 (en) 2018-08-16
CN103081471A (zh) 2013-05-01
US20190166374A1 (en) 2019-05-30
CN107277527B (zh) 2020-02-18
EP2595387A1 (en) 2013-05-22
US20160269750A1 (en) 2016-09-15
EP2595387A4 (en) 2014-11-05
JPWO2012008514A1 (ja) 2013-09-09
US10609386B2 (en) 2020-03-31
US9924173B2 (en) 2018-03-20
JP6342116B2 (ja) 2018-06-13
CN107277527A (zh) 2017-10-20
US20130121414A1 (en) 2013-05-16
US20200288147A1 (en) 2020-09-10
CN107277526B (zh) 2020-02-18
CN107277526A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
JP6342116B2 (ja) イントラ予測モード推定装置
JP7299221B2 (ja) 隣接サンプルに応じた線形モデルに基づく映像符号化及び復号のための方法と装置
CN108605126B (zh) 滤波视频数据的经解码块的方法和装置及存储介质
US10244262B2 (en) Pixel-based intra prediction for coding in HEVC
US20190020882A1 (en) Image filter device
US20160373767A1 (en) Encoding and Decoding Methods and Apparatuses
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US9635388B2 (en) Moving image encoding device, moving image encoding method, and computer program product
US20210360246A1 (en) Shape adaptive discrete cosine transform for geometric partitioning with an adaptive number of regions
EP2428032B1 (en) Bitstream syntax for graphics-mode compression in wireless hd 1.1
CN114342391A (zh) 用于编码和解码视频样本的块的方法、设备和系统
US20180309996A1 (en) Method for encoding and decoding video signal
EP4322528A1 (en) Image encoding/decoding method and device for performing prediction of image on basis of multiple intra predictions, and method for transmitting bitstream
TW202005371A (zh) 視訊編碼及解碼

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180403