JP2009089267A - イントラ予測符号化装置、イントラ予測符号化方法及びプログラム - Google Patents

Abstract

【課題】Ｈ．２６４イントラ予測を高速に低コストで実現する。
【解決手段】イントラ予測符号化装置は、複数の予測単位から符号化に使用する予測単位を決定する予測単位決定手段と、複数の予測モードから符号化に使用する予測モードの候補の数を全予測モード数に１を減算した数以下に絞り込む予測モード絞込み手段と、前記予測モード絞込み手段において絞り込まれた複数の予測モードの中から符号化に使用する予測モードを１つに決定する予測モード決定手段と、前記予測単位決定手段から入力された予測単位信号と、前記予測モード決定手段から入力された予測モードとに基づき、入力画像と参照画像とから予測値と予測誤差とを算出するイントラ予測手段とを備える。
【選択図】図２

Description

本発明は映像の符号化に係り、特にマクロブロック単位のイントラ予測においても良好な画質を高速に得ることを可能とするイントラ予測符号化装置、イントラ予測符号化方法及びプログラムに関する。

近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった動画像の蓄積メディアへの記録や伝送路を介した動画像の伝送が行われている。この場合に、動画像を構成する各々のピクチャに圧縮符号化処理を施した符号化ストリームはデータ量が大幅に削減される。ＪＶＴ（ＪｏｉｎｔＶｉｄｅｏＴｅａｍ）は、このような動画圧縮符号化方式としてＨ．２６４/ＡＶＣという規格を策定している。

Ｈ．２６４の勧告によると、符号化の基本単位はスライスであり、１つのピクチャはＰ、Ｂ、Ｉ、ＳＰ又はＳＩと呼ばれる複数のスライスから構成される。また、スライスはマクロブロック（ＭＢ）とよばれる矩形領域の集合であり、各スライスはＭＢ単位で順次符号化される。全スライス（Ｐ、Ｂ、Ｉ、ＳＰ、ＳＩ）のＭＢは、フレーム内予測であるイントラ予測を用いた符号化モードがサポートされている。

Ｈ．２６４のイントラ予測では、ＭＢ毎にＭＢを更に分割する矩形領域を予測単位とし、予測単位の種類は、４画素×４ライン、１６画素×１６ライン又は８画素×８ラインの３種類がある。そして、４画素×４ラインの予測単位に予測値算出方式を規定した予測モードは９モードが規定されている。１６画素×１６ラインの予測単位に予測値算出方式を規定した予測モードは４モードが規定されている。また、８画素×８ラインの予測単位に予測値算出方式を規定した予測モードは９モードが規定されている。しかし、予測単位及び予測モードをどのように決定するかについては、Ｈ．２６４の勧告では規格化されていない。

ここで、従来のイントラ予測の予測単位及び予測モードを決定するイントラ予測符号化装置を図４に示す。イントラ予測部は、予測単位４×４のイントラ予測手段３０３−１と、予測単位８×８のイントラ予測手段３０３−２、予測単位１６×１６のイントラ予測手段３０３−３によって、予測単位毎に規定された予測モード全ての予測値及び予測誤差が各々算出される。例えば、予測単位が４×４の場合、ＭＢのサイズは１６×１６画素であるため、４×４画素ブロックの組み合わせ候補（４×４予測モードの組み合わせ）で予測値と予測誤差とが算出される。

予測単位４×４の予測モード決定手段３０４−１は、前記予測単位４×４のイントラ予測手段３０３−１から入力された予測値、又は予測誤差を用いてモード判定を行い、最適な予測モード、或いは予測モードの組み合わせを決定する。同様に、予測単位８×８の予測モード決定手段３０４−２、予測単位１６×１６の予測モード決定手段３０４−３においても、モード判定を施し、最適な予測モード、或いは予測モードの組み合わせを決定する。

予測単位決定手段３０１は、予測単位４×４の予測モード決定手段３０４−１、予測単位８×８の予測モード決定手段３０４−２、予測単位１６×１６の予測モード決定手段３０４−３から入力された予測値、予測誤差、評価値から予測単位を決定する。
予測誤差選択手段３０５は、前記予測単位決定手段３０１から入力された予測単位に従い、前記予測モード決定手段３０４−１、３０４−２、３０４−３から入力された予測誤差の中から、イントラ予測符号化される予測誤差を出力する。

特開２００５−８６２４９号公報

しかしながら、従来のイントラ予測符号化装置は、選択可能な予測単位及び予測モードの全ての評価値を算出し、最小の評価値に対応する予測単位及び予測モードを用いてイントラ予測符号化を行うために演算量が膨大になる。そのため、高速化のために半導体に実装した場合にも実装コストが高く、リアルタイム符号化が困難であるという問題があった。そこで、本発明は低コストで高速なイントラ予測符号化装置を提供することを目的とする。

上記課題を解決するために本発明は、２つ以上の予測単位と、予測単位毎に２つ以上の予測モードとが予め定められ、マクロブロック毎に１つの予測単位を決定すると共に予測単位毎に１つの予測モードを決定し、前記決定された予測単位と予測モードとを用いてイントラ予測をするイントラ予測符号化装置であって、複数の予測単位から符号化に使用する予測単位を決定する予測単位決定手段と、複数の予測モードから符号化に使用する予測モードの候補の数を全予測モード数に１を減算した数以下に絞り込む予測モード絞込み手段と、前記予測モード絞込み手段において絞り込まれた複数の予測モードの中から符号化に使用する予測モードを１つに決定する予測モード決定手段と、前記予測単位決定手段から入力された予測単位信号と、前記予測モード決定手段から入力された予測モードとに基づき、入力画像と参照画像とから予測値と予測誤差とを算出するイントラ予測手段とを備えることを特徴とする。

本発明によれば、イントラ予測を開始する前に予測単位を決定し、予測単位毎に予測モードを決定するにあたり予測モードを絞り込むことで、算出すべき評価値の数を削減し、演算量を大幅に抑制することができる。従って、高速なイントラ予測符号化装置を低コストで実装することができる。

以下、本発明の好適な実施形態を詳細に説明する。
（第１の実施形態）
本発明を適用可能な符号化装置の基本構成は図１に示す。
第１の実施形態は、２つ以上の予測単位と予測単位毎に２つ以上の予測モードが予め定められ、マクロブロック毎（ＭＢ毎）に１つの予測単位を決定すると共に予測単位毎に１つの予測モードを決定する。次に、決定された予測単位と予測モードを用いてイントラ予測をするイントラ予測符号化装置である。

このイントラ予測符号化装置は、複数の予測単位から符号化に使用する予測単位を決定する予測単位決定手段を有する。また、複数の予測モードから符号化に使用する予測モードの候補の数を全予測モード数に１を減算した数以下に絞り込む予測モード絞込み手段を有する。また、予測モード絞込み手段において絞り込まれた複数の予測モードの中から符号化に使用する予測モードを１つに決定する予測モード決定手段を有する。また、予測単位決定手段から入力された予測単位信号と、予測モード決定手段から入力された予測モードにと基づき、入力画像と参照画像とから予測値と予測誤差とを算出するイントラ予測手段を有する。

符号化装置は、イントラ予測部２０１、インター予測部２０２、予測誤差選択部２０３、予測値選択部２０４、整数変換部２０５、量子化部２０６を備える。また、符号化装置は、可変長符号化部２０７、ストリームバッファ２０８、逆量子化部２１０、逆整数変換部２１１、画素再構成部２１２、フレームバッファ２１３、デブロッキングフィルタ部２１４、参照画像バッファ２００を備える。

Ｈ．２６４ではスライスが符号化の基本単位であり、１つのピクチャはＰ、Ｂ、Ｉ、ＳＰ又はＳＩと呼ばれる複数のスライスから構成できる。全スライス（Ｐ、Ｂ、Ｉ、ＳＰ、ＳＩ）のＭＢは、フレーム内予測であるイントラ予測を用いた符号化モードがサポートされている。

まず、符号化対象画像は、イントラ予測手段としてのイントラ予測部２０１において符号化対象画像とフレームバッファ２１３から読み出した参照画素とからフレーム内予測をする。
また、インター予測手段としてのインター予測部２０２において、符号化対象画像と参照画像バッファ２００から読み出した参照フレームとからフレーム間予測し、各々予測誤差と予測値とを算出する。

予測誤差選択手段としての予測誤差選択部２０３において、イントラ予測部２０１から入力された予測誤差と、インター予測部２０２から入力された予測誤差のうち、符号化対象画像に好適な予測手段から入力された予測誤差を出力する。
また、予測値選択手段としての予測値選択部２０４においても同様に、イントラ予測部２０１から入力された予測値と、インター予測部２０２から入力された予測値のうち、符号化対象画像に好適な予測手段から入力された予測値を出力する。

整数変換手段としての整数変換部２０５は、予測誤差選択部２０３から入力された予測誤差を画素空間ドメインから周波数ドメインへ変換する。
量子化手段としての量子化部２０６は、整数変換部２０５から入力された変換係数を量子化する。
可変長符号化部２０７は、量子化部２０６から入力された量子化された変換係数を可変長符号化し、符号ストリームを生成する。
ストリームバッファ２０８は、外部の要求に応じて、符号ストリームを送出する。

一方、量子化部２０６から出力された量子化された変換係数は、逆量子化手段としての逆量子化部２１０及び逆整数変換手段としての逆整数変換部２１１において、局所復号化される。画素再構成手段としての画素再構成部２１２は、予測値選択部２０４から入力された予測値と復号化された予測誤差とから再構成画素を算出する。
画素再構成部２１２から入力された再構成画素は、フレームバッファ２１３において記憶保持される。

符号化対象画像がインター予測された場合は、デブロッキングフィルタ部２１４において、フレームバッファ２１３から読み出したフレームデータに対し、フィルタ処理を施し、処理されたフレームデータを参照画像バッファ２００において記憶保持する。
イントラ予測部２０１では、複数の予測単位から１つの予測単位を、また、複数の予測モードから１つの予測モードを決定し、決定された予測単位及び予測モードに従ってイントラ予測を施す。

次に、イントラ予測部における予測モード決定方法について説明する。図２はイントラ予測部の構成を示す図である。図２において、イントラ予測部は、予測単位決定手段４０１、予測モード絞込み手段４０２、予測モード決定手段４０４から構成されている。
予測モード決定部のデータフローについて説明する。
なお、説明を簡単にするため、予測単位は輝度の１６×１６、色差の１６×１６とし、予測モードは水平方向、垂直方向、平均値、プレーンの４種類とする。

まず、入力画像は予測単位決定手段４０１と予測モード絞込み手段４０２に入力される。
入力画像は予め定められたＭＢに切り出され、符号化対象ＭＢがイントラ予測部に輝度、色差、もう一方の色差の順に面順次で入力される。例えば、符号化対象ＭＢがＹＵＶの画像で構成される場合は、輝度Ｙ、色差Ｕ、色差Ｖの順で入力される。
本発明において、入力される符号化対象ＭＢのコンポーネントの順番に言及するものではなく、色差Ｕ、輝度Ｙ、色差Ｖなどの順で入力されても構わない。

予測単位決定手段４０１は、入力画像のコンポーネントが輝度である場合は１６×１６に、色差にある場合には８×８に決定する。また、予測モード絞込み手段４０２は、符号化対象画像及び周辺画素から符号化対象画像の特徴を抽出し、過去に選択された予測モード等符号化情報を用いて予測モードを絞り込む。例えば、符号化対象画像の特徴から水平方向の相関が高いと判定された場合は、水平方向、平均値、プレーンの３つの予測モードのみを使用可能とする。このように、使用する予測モードの候補の数を全予測モード数から１を減算した数以下に絞りこむ。

なお、予測モード絞込み手段４０２における予測単位絞込み方法はどのような方式で決定しても構わない。例えば、垂直方向の予測モードのみ使用可能とすれば、符号化対象ＭＢの左隣接する参照画素を待たずに高速にイントラ予測符号化を施すことが可能となる。
予測モード決定手段４０４は、前記予測単位決定手段４０１から入力された予測単位、前記予測モード絞込み手段４０２から入力された予測モード絞り込み信号、符号化対象画像や量子化パラメータ、過去の符号化情報等から符号化適正を判断する。そして、これらから最も符号化適正の良い予測モードをイントラ予測符号化する予測モードとする。

最後にイントラ予測手段４０３は、前記予測モード決定手段４０４からの予測モード信号と前記予測単位決定手段４０１からの予測単位信号とに基づき既に局所復号された参照画像から予測値を算出し符号化対象画像との予測値の差分から予測誤差画像を生成する。図１に示した符号化装置は、イントラ予測部２０１から出力された予測誤差を、予測誤差選択部２０３を介して整数変換部２０５へ入力し、またイントラ予測部２０１から出力された予測値を予測値選択部２０４を介して画素再構成部２１２に入力する。

（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態において、符号化装置は図１に示したものであるため、説明を省略する。
第２の実施形態におけるイントラ予測部における予測モード決定方法について説明する。図３はイントラ予測部の構成を示す図である。図３において、イントラ予測部は、予測単位決定手段１０１、予測モード絞込み手段１０２、イントラ予測手段１０３、予測モード決定手段１０４から構成されている。予測モード決定部のデータフローについて説明する。

まず、入力画像は予測単位決定手段１０１と予測モード絞込み手段１０２とイントラ予測手段１０３とに入力される。予測単位決定手段１０１は、符号化対象画像及び周辺画素から符号化対象画像の特徴を抽出し、符号化対象画像の特徴と量子化パラメータから予測単位を決定する。
なお、予測単位の決定方法はどのような方式で決定しても構わないが、後述するイントラ予測手段１０３において予測誤差を算出する以前に予測単位決定手段１０１において、予測単位を決定していなければならない。

予測モード絞込み手段１０２は、符号化対象画像及び周辺画素から符号化対象画像の特徴を抽出し、過去に選択された予測モード等の符号化情報を用いて予測モードを絞り込む。例えば、符号化対象画像の特徴から水平方向の相関が高いと判定された場合は、予測モードは水平方向の相関が高い予測モードのみを使用可能とする。
なお、予測モード絞込み手段１０２における予測単位絞込み方法はどのような方式で決定しても構わないが、後述するイントラ予測手段１０３において予測誤差を算出する以前に予測モードの絞込みを完了していなければならない。

イントラ予測手段１０３は、入力画像から切り出された符号化対象画像と隣接し、既に局所復号された参照画像から予測値を算出し、符号化対象画像との予測値の差分から予測誤差画像を生成する。このとき、前記イントラ予測手段１０３で算出する予測画像は、前記予測単位決定手段１０１から入力された予測単位信号と前記予測モード絞込み手段１０２から入力された予測モード判定信号とから、使用可能な予測モード全ての予測誤差画像を算出する。また、イントラ予測手段１０３は、予測残差を算出する。前記イントラ予測手段１０３で算出された予測誤差画像は、予測モード決定手段１０４に入力される。

予測モード決定手段１０４は、入力された予測誤差画像や量子化パラメータ、過去の符号化情報等から符号化適正を表す評価値を予測モード毎に算出する。その中で、最も符号化適正の良い予測モードを符号化する予測モードとし、この予測モードに対応する予測誤差および予測値を出力する。図１に示した符号化装置は、イントラ予測部２０１から出力された予測誤差を、予測誤差選択部２０３を介して整数変換部２０５へ入力し、またイントラ予測部２０１から出力された予測値を予測値選択部２０４を介して画素再構成部２１２に入力する。

上述した本発明の実施形態におけるイントラ予測符号化装置を構成及び制御する各手段、並びにイントラ予測符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

符号化装置を示す図である。 第１の実施形態に係るイントラ予測部を示す図である。 第２の実施形態に係るイントラ予測部を示す図である。 従来のイントラ予測モード決定部を示す図である。

符号の説明

１０１ 予測単位決定手段
１０２ 予測モード絞込み手段
１０３ イントラ予測手段
１０４ 予測モード決定手段
４０１ 予測単位決定手段
４０２ 予測モード絞込み手段
４０３ イントラ予測手段
４０４ 予測モード決定手段

Claims (6)

1. ２つ以上の予測単位と、予測単位毎に２つ以上の予測モードとが予め定められ、マクロブロック毎に１つの予測単位を決定すると共に予測単位毎に１つの予測モードを決定し、前記決定された予測単位と予測モードとを用いてイントラ予測をするイントラ予測符号化装置であって、
   複数の予測単位から符号化に使用する予測単位を決定する予測単位決定手段と、
   複数の予測モードから符号化に使用する予測モードの候補の数を全予測モード数に１を減算した数以下に絞り込む予測モード絞込み手段と、
   前記予測モード絞込み手段において絞り込まれた複数の予測モードの中から符号化に使用する予測モードを１つに決定する予測モード決定手段と、
   前記予測単位決定手段から入力された予測単位信号と、前記予測モード決定手段から入力された予測モードとに基づき、入力画像と参照画像とから予測値と予測誤差とを算出するイントラ予測手段とを備えることを特徴とするイントラ予測符号化装置。
2. ２つ以上の予測単位と、予測単位毎に２つ以上の予測モードとが予め定められ、マクロブロック毎に１つの予測単位を決定すると共に予測単位毎に１つの予測モードを決定し、前記決定された予測モードを用いてイントラ予測をするイントラ予測符号化装置であって、
   複数の予測単位から符号化に使用する予測単位を決定する予測単位決定手段と、
   複数の予測モードから符号化に使用する予測モードの候補の数を全予測モード数に１を減算した数以下に絞り込む予測モード絞込み手段と、
   前記予測単位決定手段から入力された予測単位信号と、前記予測モード絞込み手段から入力された予測モード判定信号とから、使用可能な予測モードと予測単位で予測残差とを算出するイントラ予測手段と、
   前記イントラ予測手段で演算した複数の予測モードの中から符号化に使用する予測モードを決定する予測モード決定手段とを備えることを特徴とするイントラ予測符号化装置。
3. 前記予測単位決定手段は、過去の符号化情報及び量子化パラメータから予測単位を決定することを特徴とする請求項１又は２に記載のイントラ予測符号化装置。
4. 前記予測モード絞込み手段は、過去の符号化情報及び予測値算出に使用する参照画素に基づいて、複数の予測モード数から全予測モード数に１を減算した数以下の予測モードに絞り込むことを特徴とする請求項１又は２に記載のイントラ予測符号化装置。
5. ２つ以上の予測単位と、予測単位毎に２つ以上の予測モードとが予め定められ、マクロブロック毎に１つの予測単位を決定すると共に予測単位毎に１つの予測モードを決定し、前記決定された予測単位と予測モードとを用いてイントラ予測をするイントラ予測符号化方法であって、
   複数の予測単位から符号化に使用する予測単位を決定する予測単位決定工程と、
   複数の予測モードから符号化に使用する予測モードの候補の数を全予測モード数に１を減算した数以下に絞り込む予測モード絞込み工程と、
   前記予測モード絞込み工程において絞り込まれた複数の予測モードの中から符号化に使用する予測モードを１つに決定する予測モード決定工程と、
   前記予測単位決定工程から入力された予測単位信号と、前記予測モード決定工程から入力された予測モードとに基づき、入力画像と参照画像とから予測値と予測誤差とを算出するイントラ予測工程とを備えることを特徴とするイントラ予測符号化方法。
6. ２つ以上の予測単位と、予測単位毎に２つ以上の予測モードとが予め定められ、マクロブロック毎に１つの予測単位を決定すると共に予測単位毎に１つの予測モードを決定し、前記決定された予測単位と予測モードとを用いてイントラ予測をするイントラ予測符号化装置を制御するプログラムであって、
   複数の予測単位から符号化に使用する予測単位を決定する予測単位決定ステップと、
   複数の予測モードから符号化に使用する予測モードの候補の数を全予測モード数に１を減算した数以下に絞り込む予測モード絞込みステップと、
   前記予測モード絞込みステップにおいて絞り込まれた複数の予測モードの中から符号化に使用する予測モードを１つに決定する予測モード決定ステップと、
   前記予測単位決定ステップから入力された予測単位信号と、前記予測モード決定ステップから入力された予測モードとに基づき、入力画像と参照画像とから予測値と予測誤差とを算出するイントラ予測ステップとをコンピュータに実行させるためのプログラム。

Images