JP2014146988A - 動画像符号化装置 - Google Patents

Abstract

【課題】より少ない演算量で、イントラ予測モード判定の精度をよくして、画質を向上させる動画像符号化装置を提供する。
【解決手段】符号化対象画像の１フレーム前の画像を用いて、復号画像のイントラ予測モード毎に、復号画像と原画像とからフィルタ係数を算出し、符号化対象ブロックの周辺ブロックのイントラ予測モード判定用参照画素に、当該周辺ブロックのイントラ予測モードに基づいて、フィルタ係数を抽出してフィルタ処理をしてイントラ予測モード判定用参照画像を生成し、イントラ予測モード判定用参照画像を用いて符号化対象ブロックのイントラ予測モードを選択し、符号化対象ブロックのイントラ予測画像を生成する動画像符号化装置とする。
【選択図】図７

Description

本発明は、動画像符号化装置に関する。

動画像は、時間的に連続した複数の静止画像である。動画像データは、一般的に、静止画像データ等と比べて情報量が大きいため、動画像データの伝送にはデータ圧縮が求められる。動画像データは、例えば、動画像符号化処理により、圧縮され得る。ここで、「動画像符号化処理」とは、動画像データのデータ列を他のデータ列に変換する符号化処理である。動画像符号化処理では、データ量が大きい動画像データを圧縮することができる。そのため、動画像符号化処理を含む動画像符号化技術は、地上デジタル放送、Blu-Ray（
登録商標）、デジタルビデオカメラなどで、動画像を、伝送、記録する際に、利用されている。動画像符号化方式の１つとして、Ｈ．２６４／ＡＶＣが挙げられる。また、Ｈ．２６４／ＡＶＣの２倍以上の符号化効率を有する次世代動画像符号化技術であるＨＥＶＣが、今後、規格化される予定である。

図１は、Ｈ．２６４／ＡＶＣやＨＥＶＣを含む一般的な動画像符号化方式による動画像符号化装置の構成例を示す図である。動画像の一般的な性質として、画面内や画面間の相関が強いことが挙げられる。画面内の相関性を利用して符号化対象画素の予測画素を生成する方式は、イントラ予測方式と呼ばれる。画面間の相関性を利用する方式は、インター予測方式と呼ばれる。エンコーダは、イントラ予測方式またはインター予測方式による予測誤差に直交変換、量子化処理、可変長符号化を行うことでビットストリームを生成する。直交変換は、画像の空間周波数変換であり、予測誤差を周波数ごとの振幅成分に分解する。量子化処理は、直交変換により得られた係数に対して、量子化ステップで除算した結果を整数に丸める処理である。直交変換、量子化処理により情報量が大幅に削減される。

図２は、一般的な動画像符号化方式による動画像符号化装置の構成例を示す図である。デコーダは、エンコーダと逆の手順で画像を復元（復号化）する。

エンコーダには、デコーダが含まれる。エンコーダに含まれるデコーダは、ローカルデコーダと呼ばれる。ローカルデコーダは、符号化済みの画像を次に符号化する画像の予測値として用いて、符号化を行う。

〈イントラ予測〉
ここで、イントラ予測について説明する。イントラ予測とは、１画面（フレーム）中の画素を複数のブロックに分け、隣り合ったブロック同士の画素値（色、輝度など）が類似しているという性質を利用して、あるブロックの画素から周辺のブロックの画素を予測することでデータ量を減らす予測方法である。例えば、Ｈ．２６４規格（デコーダ）では、復号化対象ブロックの周辺ブロックのうち、既に復号されている周辺ブロックの画素を参照し、予測画像が生成される。

イントラ予測では、１画面中の画素が複数の小ブロックに分割され、ブロック単位で符号化が行われる。イントラ予測では、符号化対象ブロックの周辺にある、既に符号化されたブロックの画素（画素値）から、符号化対象ブロックの画素を予測し、予測残差を符号化することで、情報量が削減される。

イントラ予測において、エンコーダは、エンコーダにおける予測画像とデコーダにおける予測画像とを一致させるため、エンコーダ内でデコーダと同じ復号画像を生成して参照
する。そのため、エンコーダ内に、逆量子化／逆直交変換手段を含むローカルデコーダが配置される。エンコーダは、エンコーダ内で生成された復号画像を参照画像として、予測画像を生成する。

〈イントラ予測モード判定〉
エンコーダでは、イントラ予測の性能を十分に発揮するために、イントラ予測モード判定が行われる。エンコーダのイントラ予測モード判定部は、複数のイントラ予測モード（例えば、予測方向）から、１つのイントラ予測モードを選択する。選択方法として、例えば、イントラ予測モード判定部は、各イントラ予測モードにおけるＳＡＤ（Sum of Absolute Difference：入力画像と予測画像との予測誤差の絶対値和）を計算し、計算結果を符号化コストとして用い、符号化コストを最小化する１モードを選択する。

図３は、ＨＥＶＣのイントラ予測の予測方向の例を示す図である。ＨＥＶＣのイントラ予測では、３５種類の予測方向が使用される。予測方向は、イントラ予測モードの一例である。イントラ予測モードは、予測モードともいう。

イントラ予測モード判定が行われる際に、周辺ブロックの参照画素からモード判定用参照画像が生成される。周辺ブロックは、符号化対象ブロックに隣接するブロックである。参照画素は、周辺ブロック内の画素であって、符号化対象ブロックに隣接する画素である。

図４は、ＨＥＶＣの符号化対象ブロックの周辺ブロックの位置の例を示す図である。図４のように、ＨＥＶＣでは、例えば、符号化対象ブロックを符号化する際に、Ａ、Ｂ、Ｃ、Ｄ、Ｅのブロックが参照される。符号化に用いる予測画像を生成する際に、周辺ブロック（参照ブロック）の復号画素が参照される。そのため、一般的に、イントラ予測モード判定においても復号画素が参照されることで、イントラ予測モード判定の精度が上がる。

特開２０１０−１８３１６２号公報 国際公開第２００７／１１１２９２号 国際公開第２００８／０６９０７３号

図５及び図６は、それぞれ、従来のエンコーダ及びデコーダの例を示す図である。図５のエンコーダでは、入力画像（原画像）をすべてイントラ予測で符号化し、イントラ予測判定を、エンコーダにおける復号画素を参照することで行う。

イントラ予測モード判定において復号画像を参照する際に、イントラ予測モード判定に使用する参照画素を含む周辺の符号化済ブロック（図４のＡ、Ｂ、Ｃ、Ｄ、Ｅブロックに相当）の画素値が使用される。そのため、周辺の符号化済ブロック（周辺ブロック）を、最良として選択した予測モードで復号することが求められる。すなわち、同一画面内の、周辺ブロックと符号化対象ブロックとに依存関係が生じ、ハードウェア実装時には並列化が困難である。さらに、復号画素を参照するために、直交変換・量子化処理、及び、逆量子化・逆直交変換処理を行うので、復号画素を得るための演算量が莫大になる。

また、イントラ予測の前段階のイントラ予測モード判定部分で周辺ブロックの原画素を参照することにより、イントラ予測モード判定用参照画像作成の並列処理を可能とし、処理時間を短縮する技術がある。しかし、この技術では、原画像と復号画像との間に量子化
誤差が存在するので、復号画像の代わりに原画素を参照するとイントラ予測モード判定の精度が低くなる。

さらに、イントラ予測モード判定で参照する周辺ブロックの原画像に対し擬似離散コサイン変換・量子化変換処理を行い、近似的な局部復号画像を求めることにより、予測モード判定精度の劣化を抑制する技術がある。しかし、この技術では、擬似離散コサイン変換・量子化変換処理の演算量が多い。

本件開示の技術は、より少ない演算量で、イントラ予測モード判定の精度をよくして、画質を向上させる動画像符号化を実現することを課題とする。

開示の技術は、上記課題を解決するために、以下の手段を採用する。
即ち、第１の態様は、
１フレーム毎に入力される原画像を、イントラ予測を用いて、前記原画像のブロック単位に符号化を行う動画像符号化装置であって、
前記原画像の符号化対象のブロックである符号化対象ブロックを含む画像の１フレーム前の画像の復号画像を格納する復号画像メモリと、
前記復号画像に対応する原画像を格納する原画像メモリと、
前記復号画像のブロック毎のイントラ予測モードを格納する復号画像周辺情報格納部と、
前記復号画像のイントラ予測モード毎に、前記復号画像と前記原画像とからフィルタ係数を算出するフィルタ係数分類部と、
前記符号化対象ブロックの周辺ブロックのイントラ予測モードを読み出す符号化対象ブロック周辺情報読出部と、
前記周辺ブロックのイントラ予測モードに基づいて、前記周辺ブロック毎に、フィルタ係数を選択するフィルタ係数選択部と、
前記フィルタ係数選択部によって選択されたフィルタ係数を用いて、前記周辺ブロックのイントラ予測モード判定用参照画素にフィルタ処理をし、前記周辺ブロックのイントラ予測モード判定用参照画素の復号画像としての画素値を算出する原画像補正部と、
前記原画像補正部から得られた復号画像としての画素値からイントラ予測モード判定用参照画像を生成する参照画像生成部と、
参照画像生成部が生成した前記参照画像を用いて、前記符号化対象ブロックのイントラ予測モードを選択するイントラ予測モード判定部と、
前記イントラ予測モード判定部で選択されたイントラ予測モードを使用して符号化対象ブロックのイントラ予測画像を生成するイントラ予測画像生成部、
を有する動画像符号化装置である。

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。

開示の技術によれば、より少ない演算量で、イントラ予測モード判定の精度をよくして、画質を向上させる動画像符号化を実現することができる。

図１は、Ｈ．２６４／ＡＶＣやＨＥＶＣを含む一般的な動画像符号化方式による動画像符号化装置の構成例を示す図である。 図２は、一般的な動画像符号化方式による動画像符号化装置の構成例を示す図である。 図３は、ＨＥＶＣのイントラ予測の予測方向の例を示す図である。 図４は、ＨＥＶＣの符号化対象ブロックの周辺ブロックの位置の例を示す図である。 図５は、従来のエンコーダの例を示す図である。 図６は、従来のデコーダの例を示す図である。 図７は、実施形態における動画像符号化装置の例を示す図である。 図８は、コンピュータの構成例を示す図である。 図９は、動画像符号化装置における符号化対象ブロックの符号化の動作フローの例を示す図である。 図１０は、フィルタ処理対象画素の位置の例を示す図である。 図１１は、フィルタ係数算出方法の動作フローの例を示す図である。 図１２は、４×４の処理対象ブロックの周辺の参照画素（上）の例を示す図である。 図１３は、４×４の処理対象ブロックの周辺の参照画素（左）の例を示す図である。 図１４は、フィルタ係数分類部における、参照画素の位置に対応する復号画素及び原画素の分類の例を示す図である。 図１５は、処理対象ブロックのサイズと周辺ブロックサイズが同じ場合の例を示す図である。 図１６は、処理対象ブロックのサイズが周辺ブロックのサイズより大きい場合の例を示す図である。 図１７は、符号化対象ブロックのサイズが周辺ブロックのサイズより小さい場合の例を示す図である。 図１８は、符号化対象ブロックのサイズが周辺ブロックのサイズより小さい場合の例を示す図である。 図１９は、フィルタ係数選択方法の動作フローの例を示す図である。 図２０は、変形例１における動画像符号化装置の例を示す図である。 図２１は、フィルタ係数分類部における、参照画素の位置に対応する復号画素及び原画素の分類の例を示す図である。 図２２は、変形例２における動画像符号化装置の例を示す図である。 図２３は、エッジ方向の算出の際に使用する符号化対象ブロックの周辺ブロック内の参照画素を含む２×２のブロックの例を示す図である。 図２４は、補正対象画素を含む２×２のブロックの例を示す図である。

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の構成は、開示の実施形態の具体的構成に限定されない。開示の構成の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

〔実施形態〕
（構成例）
図７は、本実施形態における動画像符号化装置の例を示す図である。動画像符号化装置１００は、イントラ予測画像生成部１０２、差分画像生成部１０４、直交変換量子化部１０６、エントロピー（Entropy）符号化部１０８、逆量子化逆直交変換部１１０、復号画
像生成部１１２、復号画像メモリ１１４を有する。また、動画像符号化装置１００は、復号画像周辺情報格納部１１６、原画像メモリ１１８、符号化対象ブロック周辺情報読出部１２０、フィルタ係数分類部１３０、フィルタ係数選択部１４０を有する。さらに、動画
像符号化装置１００は、原画素補正部１４２、参照画像生成部１４４、イントラ予測モード判定部１４６を有する。

イントラ予測画像生成部１０２は、イントラ予測モード判定部１４６で決定された符号化対象ブロックのイントラ予測モード（予測モード）を用いて、復号画像メモリ１１４から符号化対象ブロックの周辺ブロックの復号画素を取得する。イントラ予測画像生成部１０２は、取得した復号画素を参照して、符号化対象ブロックの予測画像を生成し、差分画像生成部１０４に出力する。

差分画像生成部１０４は、イントラ予測画像生成部１０２で生成した符号化対象ブロックの予測画像と入力画像（原画像）との差分画像を求めて、直交変換量子化部１０６に出力する。

直交変換量子化部１０６は、差分画像生成部１０４から入力された差分画像を直交変換処理する。さらに、直交変換量子化部１０６は、直交変換処理で得られた周波数信号の量子化を行い、エントロピー符号化部１０８及び逆量子化逆直交変換部１１０に出力する。直交変換量子化部１０６は、直交変換部と量子化部とに分かれていてもよい。

エントロピー符号化部１０８は、入力された量子化信号をエントロピー符号化（可変長符号化）してストリーム出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てることである。

逆量子化逆直交変換部１１０は、入力された量子化信号に対し、逆量子化処理、及び、逆直交変換処理をする。逆量子化逆直交変換部１１０は、処理した信号を、復号画像生成部１１２に出力する。逆量子化逆直交変換部１１０によって復号化処理が行われることにより、符号化前の差分画像と同程度の信号が得られる。逆量子化逆直交変換部１１０は、逆量子化部と逆直交変換部とに分かれていてもよい。

復号画像生成部１１２は、イントラ予測画像生成部１０２が出力した予測画像と、逆量子化逆直交変換部１１０により復号処理された差分画像とを加算することにより、現在の符号化対象ブロック（現符号化対象ブロック）の画像データを生成する。復号画像生成部１１２は、生成した画像データを、復号画像メモリ１１４に出力（格納）する。

復号画像メモリ１１４は、復号画像生成部１１２によって生成された復号画像を、新たな復号画像のデータとして格納する。復号画像メモリ１１４は、フィルタ係数分類部１３０及びイントラ予測画像生成部１０２によって、保存された復号画像を、取り出される。

復号画像周辺情報格納部１１６は、符号化対象画像の１フレーム前の画像の復号画像に対して、ブロック毎にイントラ予測モード（予測方向）を格納する。復号画像周辺情報格納部１１６は、フィルタ係数分類部１３０の求めに応じて、イントラ予測モードを出力する。

原画像メモリ１１８は、入力画像（原画像）データを保存して、フィルタ係数分類部１３０に出力する。

符号化対象ブロック周辺情報読出部１２０は、符号化対象ブロックの周辺ブロックの予測方向を格納する。

フィルタ係数分類部１３０は、Ｎ個のフィルタ係数分類部（第１フィルタ係数分類部１３０−１、・・・、第Ｎフィルタ係数分類部１３０−Ｎ）を含む。Ｎは、予測モード（例
えば、予測方向）の種類の数である。予測モードの種類の数は、例えば、予測方向の種類の数である。複数の予測モード（例えば、予測方向が似ているもの）を１つのグループの予測モードにして、予測モードの種類の数を減らしてもよい。フィルタ係数分類部１３０は、復号画像周辺情報格納部１１６から、処理対象ブロックのイントラ予測モード判定用参照画素が含まれている周辺ブロックの予測方向を読み出す。フィルタ係数分類部１３０は、読み出した予測モード（予測方向）毎にイントラ予測モード判定用参照画素の復号画素と原画素とを読み出し、予測モード毎に復号画素と原画素とからフィルタ係数を算出する。フィルタ係数分類部１３０は、動画像の時間的な相関性を利用して、復号画像メモリ１１４から取得した現在符号化しているピクチャの１フレーム前のピクチャの復号画像データと、原画像メモリ１１８から取得した原画像データを用いてフィルタ係数を算出する。

フィルタ係数選択部１４０は、符号化対象ブロック周辺情報読出部１２０から周辺ブロックの予測モード（予測方向）を読み出す。フィルタ係数選択部１４０は、読み出した予測モード（予測方向）の種類に従い、フィルタ係数分類部１３０から出力したフィルタ係数の中から同様の特徴をもつカテゴリー（予測モード）のフィルタ係数を選択する。

原画像補正部１４２は、符号化対象ブロックの周辺ブロックのイントラ予測モード判定用参照画素にフィルタ係数選択部１４０で選択されたフィルタ係数をかけて、原画像の復号画像相当の画素値を推定し補正し、参照画像生成部１４４に出力する。

参照画像生成部１４４は、イントラ予測モード判定用参照原画素を補正した後の画素を用いて、イントラ予測モード判定用の参照画像を生成し、イントラ予測モード判定部１４６に出力する。

イントラ予測モード判定部１４６は、符号化対象ブロックにおいて、参照画像生成部１４４が出力した参照画像を用いて、複数のイントラ予測モードから１つの予測モードを選択して、イントラ予測画像生成部１０２に出力する。イントラ予測モード判定部１４６は、符号化対象ブロックの予測モードを、符号化対象ブロック周辺情報読出部１２０に通知する。

動画像符号化装置１００は、パーソナルコンピュータ（ＰＣ、Personal Computer）の
ような汎用のコンピュータまたはサーバマシンのような専用のコンピュータを使用して実現可能である。また、動画像符号化装置１００は、ワークステーション（ＷＳ、Work Station）、ＰＤＡ（Personal Digital Assistant）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。また、動画像符号化装置１００は、スマートフォン、携帯電話、カーナビゲーション装置のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。

図８は、コンピュータの構成例を示す図である。コンピュータ、すなわち、情報処理装置は、プロセッサ、主記憶装置、及び、二次記憶装置や、通信インタフェース装置のような周辺装置とのインタフェース装置を含む。主記憶装置及び二次記憶装置は、コンピュータ読み取り可能な記録媒体である。

コンピュータは、プロセッサが記録媒体に記憶されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。

プロセッサは、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signa
l Processor）である。主記憶装置は、例えば、ＲＡＭ（Random Access Memory）やＲＯ
Ｍ（Read Only Memory）を含む。

二次記憶装置は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディス
クドライブ（ＨＤＤ、Hard Disk Drive）である。また、二次記憶装置は、リムーバブル
メディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。

通信インタフェース装置は、例えば、ＬＡＮ（Local Area Network）インタフェースボードや、無線通信のための無線通信回路である。

周辺装置は、上記の二次記憶装置や通信インタフェース装置の他、キーボードやポインティングデバイスのような入力装置や、ディスプレイ装置やプリンタのような出力装置を含む。また、入力装置は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。また、出力装置は、スピーカのような音声の出力装置を含むことができる。インタフェース装置には、複数の周辺装置が接続されうる。

動画像符号化装置１００を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、各処理部としての機能を実現する。一方、復号画像メモリ１１４、原画像メモリ１１８は、主記憶装置または二次記憶装置の記憶領域に設けられる。

動画像符号化装置１００の各ユニットは、ハードウェアの構成要素、ソフトウェアの構成要素、又は、これらの組み合わせとして、それぞれ実現され得る。

ハードウェアの構成要素は、ハードウェア回路であり、例えば、ＦＰＧＡ（Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ）、ゲートアレイ、論理ゲー
トの組み合わせ、アナログ回路等がある。

ソフトウェアの構成要素は、ソフトウェアとして所定の処理を実現する部品である。ソフトウェアの構成要素は、ソフトウェアを実現する言語、開発環境等を限定する概念ではない。

プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。

（動作例）
動画像符号化装置１００の動作について説明する。動画像符号化装置１００で符号化された画像データは、動画像復号化装置で復号されて、復号画像となる。動画像符号化装置１００は、入力される動画像を、１フレームずつ、ブロック毎に符号化する。ここでは、符号化の対象となる１フレームの画像を符号化対象画像という。符号化対象画像は、複数のブロックに分割される。符号化対象画像のうち、符号化しようとするブロックを符号化対象ブロックという。ここでは、符号化対象画像内の１つの符号化対象ブロックの符号化について説明する。

図９は、動画像符号化装置における符号化対象ブロックの符号化の動作フローの例を示す図である。

ステップＳ１０１において、フィルタ係数分類部１３０は、符号化対象画像の１フレーム前の画像のブロック毎に、復号画像メモリ１１４から、符号化対象画像の１フレーム前の符号化済の復号画像を抽出する。符号化対象画像の１フレーム前の画像は、既に、複数のブロックに分割されて、符号化されている。フィルタ係数分類部１３０は、符号化対象画像の１フレーム前の画像のブロック毎に、復号画像周辺情報格納部１１６から、復号画像メモリ１１４から抽出された復号画像に対応する予測モード（予測方向）を抽出する。フィルタ係数分類部１３０は、符号化対象画像の１フレーム前の画像のブロック毎に、原画像メモリ１１８から、復号画像メモリ１１４から抽出された復号画像に対応する原画像を抽出する。フィルタ係数分類部１３０は、符号化対象画像の１フレーム前の画像のブロック毎に、復号画像メモリ１１４から抽出した復号画像と、復号画像周辺情報格納部１１６から抽出した予測モードと、原画像メモリ１１８から抽出した原画像とを、対応づける。フィルタ係数分類部１３０は、予測モード毎に、復号画像と原画像とから、フィルタ係数を算出する。フィルタ係数分類部１３０は、１つの予測モードに対して複数のブロックの復号画像及び原画像が存在する場合、復号画像の平均値と原画像の平均値とから、フィルタ係数を算出する。具体的なフィルタ係数の算出方法については、後述する。ステップＳ１０１のフィルタ係数の算出はフレーム毎に行われる。

ステップＳ１０２において、フィルタ係数選択部１４０は、符号化対象ブロック周辺情報読出部１２０から、符号化対象ブロックの周辺ブロックの予測モード（予測方向）を読み出す。符号化対象ブロックの周辺ブロックは既に符号化されている。フィルタ係数選択部１４０は、フィルタ係数分類部１３０で求めたフィルタ係数の中から、読み出した予測モード（予測方向）と、同じ予測モード（予測方向）のフィルタ係数を選択し、原画素補正部１４２に出力する。具体的なフィルタ係数の選択方法については、後述する。

ステップＳ１０３において、原画像補正部１４２は、符号化対象画像の符号化対象ブロックの周辺のフィルタ処理対象画素に、フィルタ係数選択部１４０で選択されたフィルタ係数を用いて、フィルタをかける。フィルタ処理対象画素は、符号化対象画像の符号化対象ブロックの周辺ブロックの符号化対象ブロックに隣接する画素である。

原画像補正部１４２は、フィルタをかけられたフィルタ処理対象画素を、参照画素として、参照画像生成部１４４に、出力する。参照画像生成部１４４は、原画像補正部１４２から出力される参照画素に基づいて、イントラ予測モード判定用参照画像を生成し、イントラ予測モード判定部１４６に出力する。イントラ予測モード判定用参照画像は、フィルタ処理対象画素が原画像補正部１４２で生成された参照画素である画像である。

図１０はフィルタ処理対象画素の位置の例を示す図である。例えば、図１０のように、ＨＥＶＣでは、フィルタ処理対象画素は、８×８（８画素×８画素）の符号化対象ブロックに対して、符号化対象ブロックと隣接する、左下ブロックＡ内の８画素、左ブロックＢ内の８画素、左上ブロックＣ内の１画素、上ブロックＤ内の８画素、及び、右上ブロックＥ内の８画素の計３３画素である。フィルタ処理対象画素は、符号化対象ブロックの参照画素である。

符号化対象ブロックのサイズが８×８以外であっても、同様に、フィルタ処理対象画素が選択される。フィルタ処理対象画素の画素数は、符号化対象ブロックのサイズに依存する。符号化対象ブロックのサイズがｎ×ｎである場合、フィルタ処理対象画素の画素数は、４×ｎ＋１画素である。例えば、符号化対象ブロックのサイズが４×４である場合、フィルタ処理対象画素の画素数は、１７（＝４×４＋１）画素である。

図９に戻って、ステップＳ１０４において、イントラ予測モード判定部１４６は、参照画像生成部１４４が出力するイントラ予測モード判定用参照画像を用いて、各予測モード
に対する符号化対象ブロックの予測画像を生成し、最適な予測モードを決定する。

最適な予測モードの決定に際して、イントラ予測モード判定部１４６は、最初に、ブロックサイズを固定し、最適な予測モード（予測方向）を求める。イントラ予測モード判定部１４６は、イントラ予測モード判定用参照画像及び各々の予測モード（予測方向）で得られた符号化対象ブロックの予測画像と符号化対象ブロックの原画像との差分絶対値和ＳＡＤを計算し、ＳＡＤの値が最小となる予測方向を選択する。Ｎは、所定の予測モード（予測方向）の数である。

ここで、予測モード（予測方向）ｊ（ｊ＝１、．．．、Ｎ）のＳＡＤ値を、ＳＡＤｊとする。ＳＡＤ１からＳＡＤＮまでのうち最小のものをＳＡＤｋとすると、イントラ予測モード判定部１４６は、予測モード（予測方向）ｋを最適な予測モード（予測方向）として選択する。

次に、イントラ予測モード判定部１４６は、符号化対象ブロックを所定のブロックサイズで分割する。例えば、ＨＥＶＣでは、所定のブロックサイズは、４×４、８×８、１６×１６、３２×３２、６４×６４である。イントラ予測モード判定部１４６は、各ブロックサイズのブロックで、イントラ予測モード判定用参照画像及び選択された最適な予測モード（予測方向）を用いて符号化対象ブロックの予測画像を生成し、予測画像と原画像との差分絶対値和ＳＡＤを計算する。イントラ予測モード判定部１４６は、ＳＡＤが最小となるブロックサイズを選択する。

また、イントラ予測モード判定部１４６は、選択された最適な予測モード（予測方向）を、符号化対象ブロックと対応づけて、符号化対象ブロック周辺情報読出部１２０、復号画像周辺情報格納部１１６に出力する。符号化対象ブロックの情報として、画面における符号化対象ブロックの位置やブロックサイズ等が含まれる。

ステップＳ１０５において、イントラ予測画像生成部１０２は、イントラ予測モード判定用参照画像、及び、イントラ予測モード判定部１４６が出力した予測モードを用いて、符号化対象ブロックの予測画像を生成する。差分画像生成部１０４は、符号化対象ブロックの原画像とイントラ予測画像生成部１０２で生成された予測画像との差分画像を生成し、直交変換量子化部１０６に出力する。

ステップＳ１０６において、直交変換量子化部１０６は、差分画像生成部１０４が出力した差分画像に対して、直交変換を行い、周波数信号を生成する。直交変換量子化部１０６は、生成した周波数信号に対して、量子化処理を行う。

ステップＳ１０７において、エントロピー符号化部１０８は、直交変換量子化部１０６が出力した量子化信号を、エントロピー符号化（可変長符号化）してストリーム出力する。エントロピー符号化は、シンボルの出現頻度に応じて可変長の符号を割り当てることである。

ステップＳ１０８において、逆量子化逆直交変換部１１０は、直交変換量子化部１０６が出力した信号に対し、逆量子化を行い周波数信号に変換し、直交変換の逆変換を行うことで復号処理された差分画像信号を生成する。逆量子化逆直交変換部１１０は、生成した差分画像信号を、復号画像生成部１１２に出力する。復号画像生成部１１２は、イントラ予測画像生成部１０２が出力した予測画像のブロックデータと、逆量子化逆直交変換部１１０が出力した差分画像信号とを加算することにより、復号後のブロックデータの画素データ（復号画像のデータ）を生成する。復号画像生成部１１２は、生成した画素データを、復号画像メモリ１１４に出力する。復号画像メモリ１１４では、復号画像生成部１１２
が出力した画素データを、新たな参照ピクチャのデータとして記憶し、イントラ予測画像生成部１０２及びフィルタ係数分類部１３０に供給する。

〈フィルタ係数の算出方法〉
フィルタ係数の算出方法について説明する。符号化対象画像の１フレーム前の画像は、既に、ブロック毎に、符号化されている。ここでは、符号化対象画像の１フレーム前の画像の１つのブロックを、処理対象ブロックとする。

図１１は、フィルタ係数算出方法の動作フローの例を示す図である。
ステップＳ２０１において、フィルタ係数分類部１３０は、処理対象ブロック毎に、符号化対象画像の１フレーム前の画像における処理対象ブロックの上の参照画素を含むブロックの予測モード（予測方向）を、復号画像周辺情報格納部１１６から読み出す。フィルタ係数分類部１３０は、復号画像メモリ１１４から、符号化対象画像の１フレーム前の画像における処理対象ブロックの上の参照画素を含むブロックの復号化画像を、抽出する。フィルタ係数分類部１３０は、原画像メモリ１１８から、符号化対象画像の１フレーム前の画像における処理対象ブロックの上の参照画素を含むブロックの原画像を、抽出する。

さらに、フィルタ係数分類部１３０は、符号化対象画像の１フレーム前の画像における処理対象ブロックの左の参照画素を含むブロックの予測モード（予測方向）を、復号画像周辺情報格納部１１６から読み出す。フィルタ係数分類部１３０は、復号画像メモリ１１４から、符号化対象画像の１フレーム前の画像における処理対象ブロックの左の参照画素を含むブロックの復号化画像を、抽出する。フィルタ係数分類部１３０は、原画像メモリ１１８から、符号化対象画像の１フレーム前の画像における処理対象ブロックの左の参照画素を含むブロックの原画像を、抽出する。

即ち、ステップＳ２０１では、符号化対象画像の１フレーム前の処理対象ブロックの参照画素を含むブロックの、復号化画像と、原画像と、予測モード（予測方向）とが抽出される。

ステップＳ２０２において、フィルタ係数分類部１３０は、参照画素を含むブロックの復号化画像と原画像とを、参照画素を含むブロックの予測モードで分類して、格納する。即ち、フィルタ係数分類部１３０は、当該予測モードと、当該復号化画像と、当該原画像とを対応づけて、予測モードで分類して、格納する。例えば、フィルタ係数分類部１３０は、当該予測モードが予測モードｉ（予測方向が予測方向ｉ）である場合、第ｉフィルタ係数分類部１３０−ｉに、当該復号化画像と当該原画像とを格納する。第ｉフィルタ係数分類部１３０−ｉは、予測モードｉに対応する。予測モードは、イントラ予測モードともいう。

予測モードとして予測方向を使用する場合、符号化対象ブロックの上１行の画素（参照画素）、及び、符号化対象ブロックの左１列の画素（参照画素）に分けられて、フィルタ処理が行われてもよい。

図１２は、４×４の処理対象ブロックの周辺の参照画素（上）の例を示す図である。図１２の「ａ」、「ｂ」、「ｃ」、「ｄ」は、処理対象ブロックの上１行の参照画素である。図１２の例では、処理対象ブロックの上のブロック（参照画素（上）を含むブロック）は、４×４のブロックである。

処理対象ブロックの周辺ブロックサイズが４×４である場合、参照画素の位置（図１２のａ、ｂ、ｃ、ｄ）に対応する復号画素Recon_i[4]と、参照画素の位置（図１２のａ、ｂ
、ｃ、ｄ）に対応する原画素Org_i[4]とを、予測方向ｉに対応づけて、分類する。復号画
素Recon_i[4]は、予測方向がｉである４×４のブロックの復号画素の平均値である。[4]は、４×４のブロックを示す。原画素Org_i[4]は、予測方向がｉである４×４のブロックの
原画素の平均値である。

復号画素Recon_i[4]は、次のように表される。

recon_i,k[4]は、予測方向がｉのブロック（４×４）のうち、ｋ番目のブロック（４ｘ
４）の復号画素の画素値である。N_iは、予測方向がｉである４×４のブロック数である。Ar_i, Br_i, Cr_i, Dr_iは、それぞれ、図１２のａ、ｂ、ｃ、ｄの位置の復号画素の平均値である。ar_i,k, br_i,k, cr_i,k, dr_i,kは、それぞれ、ｋ番目のブロックの図１２のａ、ｂ、ｃ、ｄの位置の復号画素の画素値である。

原画素Org_i[4]は、次のように表される。

org_i,k[4]は、予測方向がｉのブロック（４×４）のうち、ｋ番目のブロックの原画素
の画素値である。N_jは、予測方向がｉであるブロック数である。Ao_i, Bo_i, Co_i, Do_iは、図１２のａ、ｂ、ｃ、ｄの位置の原画素の平均値である。ao_i,k, bo_i,k, co_i,k, do_i,kは、図１２のａ、ｂ、ｃ、ｄの位置の原画素の画素値である。

図１３は、４×４の処理対象ブロックの周辺の参照画素（左）の例を示す図である。図１３の「ａ」、「ｂ」、「ｃ」、「ｄ」は、処理対象ブロックの左１列の参照画素である。図１３の例では、処理対象ブロックの左のブロック（参照画素（左）を含むブロック）は、４×４のブロックである。

処理対象ブロックの上１行の参照画素と同様に、処理対象ブロックの左１列の参照画素についても、予測方向毎に、原画素の平均値、復号画素の平均値が求められる。

参照画素（上）の平均値と参照画素（左）の平均値とは、別々に求められてもよいし、合わせて１つの平均値として求められてもよい。

図１４は、フィルタ係数分類部１３０における、参照画素の位置に対応する復号画素及び原画素の分類の例を示す図である。図１４の例では、参照画素が４×４のブロックに含
まれる場合の例である。図１４の例では、イントラ予測モード毎に、参照画素の位置に対応する復号画素及び原画素が分類されている。参照画素が４×４のブロックに以外のブロックに含まれる場合についても、同様に、イントラ予測モード毎に、復号画素及び原画素が分類される。参照画素の位置が、処理対象ブロックの上に存在する場合と、処理対象ブロックの左に存在する場合とで、復号画素及び原画素が、別々に分類されてもよい。横に並ぶ参照画素と縦に並ぶ参照画素とで、画素の特徴が異なることがあるからである。

図１５は、処理対象ブロックのサイズと周辺ブロックサイズが同じ場合の例を示す図である。

フィルタ係数分類部１３０は、復号画像周辺情報格納部１１６から処理対象ブロックの上の周辺ブロックの予測方向を読み出す。フィルタ係数分類部１３０は、処理対象ブロックの上の周辺ブロック内の処理対象ブロックに隣接する１行の画素（参照画素）に対応する復号画素を、復号画像メモリ１１４から読み出す。フィルタ係数分類部１３０は、処理対象ブロックの上の周辺ブロック内の処理対象ブロックに隣接する１行の画素（参照画素）に対応する原画素を、原画像メモリ１１８から読み出す。フィルタ係数分類部１３０は、周辺ブロックの予測方向及び周辺ブロックのサイズ毎に、読み出した復号画素と読み出した原画素とを分類する。

フィルタ係数分類部１３０は、処理対象ブロックの左の周辺ブロックに対しても同様にする。

図１６は、処理対象ブロックのサイズが周辺ブロックのサイズより大きい場合の例を示す図である。

フィルタ係数分類部１３０は、復号画像周辺情報格納部１１６から処理対象ブロックの上の周辺ブロックの予測方向を、周辺ブロック毎に、読み出す。フィルタ係数分類部１３０は、処理対象ブロックの上の周辺ブロック内の処理対象ブロックに隣接する１行の画素（参照画素）に対応する復号画素を、周辺ブロック毎に、復号画像メモリ１１４から読み出す。フィルタ係数分類部１３０は、処理対象ブロックの上の周辺ブロック内の処理対象ブロックに隣接する１行の画素（参照画素）に対応する原画素を、周辺ブロック毎に、原画像メモリ１１８から読み出す。フィルタ係数分類部１３０は、周辺ブロックの予測方向、周辺ブロックのサイズ毎に、読み出した復号画素と読み出した原画素とを分類する。

フィルタ係数分類部１３０は、処理対象ブロックの左の周辺ブロックに対しても同様にする。

図１７及び図１８は、符号化対象ブロックのサイズが周辺ブロックのサイズより小さい場合の例を示す図である。

フィルタ係数分類部１３０は、復号画像周辺情報格納部１１６から処理対象ブロックの上の周辺ブロックの予測方向を読み出す。フィルタ係数分類部１３０は、処理対象ブロックの上の周辺ブロック内の処理対象ブロックに隣接する１行の画素（参照画素）に対応する復号画素を、復号画像メモリ１１４から読み出す。フィルタ係数分類部１３０は、処理対象ブロックの上の周辺ブロック内の処理対象ブロックに隣接する１行の画素（参照画素）に対応する原画素を、原画像メモリ１１８から読み出す。フィルタ係数分類部１３０は、周辺ブロックの予測方向及び周辺ブロックのサイズ毎に、読み出した復号画素と読み出した原画素とを分類する。

フィルタ係数分類部１３０は、処理対象ブロックの左の周辺ブロックに対しても同様に
する。

符号化対象画像の１フレーム前の画像のすべてのブロックについて、ステップＳ２０１及びステップＳ２０２が行われる。符号化対象画像の１フレーム前の画像のすべてのブロックについて、ステップＳ２０１及びステップＳ２０２が行われると、処理がステップＳ２０３に進む。

ステップＳ２０３において、フィルタ係数分類部１３０は、第１フィルタ係数分類部１３０−１から第Ｎフィルタ係数分類部１３０−Ｎまでのそれぞれにおいて、フィルタ係数を算出する。例えば、第ｉフィルタ係数分類部１３０−iでは、予測モードｉ（予測方向
ｉ）のブロックの復号画像と原画像とが格納されている。フィルタ係数は、ブロックサイズ毎に算出される。

フィルタ係数の一例として、ウィーナフィルタ（Wiener Filter）の係数が挙げられる
。ウィーナフィルタの係数は、次の式で求められる。フィルタ係数は、ウィーナフィルタの係数に限定されない。

ここで、Ｈは求めるウィーナフィルタの係数、Ｒは原画像の参照画素の自己相関行列、Ｐは復号画像の参照画素と原画像の参照画素との相互相関行列を表す。Ｒ^−１は、Ｒの逆行列である。

例えば、参照画素が４画素である（参照画素が含まれるブロックが４×４である）とき、行列Ｐは、次のように表される。

例えば、参照画素が４画素であるとき、行列Ｒは、次のように表される。

参照画素が４画素ではなく、８画素などの場合であっても、同様に、フィルタ係数が求められる。

（フィルタ係数の選択方法）
フィルタ係数の選択方法について説明する。

図１９は、フィルタ係数選択方法の動作フローの例を示す図である。
ステップＳ３０１において、フィルタ係数選択部１４０は、符号化対象ブロックの周辺ブロックの予測モード及び周辺ブロックのブロックサイズを、符号化対象ブロック周辺情報読出部１２０から読み出す。符号化対象ブロックの周辺ブロックは既に符号化されている。よって、符号化対象ブロックの周辺ブロックの予測モードは、既に、イントラ予測モード判定部１４６によって、判定されている。ここで、符号化対象ブロックの周辺ブロックは、フィルタ処理対象画素を含むブロックである（図１０）。

ステップＳ３０２において、フィルタ係数選択部１４０は、符号化対象ブロック周辺情報読出部１２０から読み出した予測モード及びブロックサイズに基づいて、周辺ブロック毎に、フィルタ係数分類部１３０から、フィルタ係数を選択する。

フィルタ係数選択部１４０は、符号化対象ブロックの参照画素が含まれる周辺ブロックの予測方向とブロックサイズに基づいて、ブロック毎に、フィルタ係数分類部１３０で求めたフィルタ係数を抽出する。原画像補正部１４２は、周辺ブロックのフィルタ処理対象画素に、フィルタ係数選択部１４０が抽出したフィルタ係数を用いてフィルタ処理することで、参照画素を生成する。

（実施形態の作用、効果）
動画像符号化装置１００は、符号化対象画像の１フレーム前の画像の復号画像を使用して、フィルタ係数を算出する。符号化対象画像の１フレーム前の画像の復号画像は、符号化対象画像の１フレーム前の画像の符号化データを復号化することで得られる。フィルタ係数は、ブロックの予測モード及びブロックサイズ毎に算出される。動画像符号化装置１００は、原画像補正部１４２でイントラ予測モード判定に用いる原画素に算出したフィルタ係数をかけることで、符号化対象画像の復号画素に似せた参照画素を生成する。動画像符号化装置１００は、生成した参照画素を使用して、符号化対象ブロックの予測モードを選択する。符号化対象画像の復号画素に似せた参照画素を用いて符号化対象ブロックを選択することで、イントラ予測モード判定の精度がよくなり、符号化された画像の画質が向上する。

動画像符号化装置１００は、符号化対象画像の復号画像を擬似した画素（イントラ予測モード判定用参照画素）を用いて、符号化対象画像のイントラ予測モード判定を行う。動画像符号化装置１００は、符号化対象画像の符号化データの復号画像を得ることなく、イントラ予測モード判定を行うことができる。よって、動画像符号化装置１００は、符号化対象画像の符号化データの復号画像を得るための逆量子化、逆直交変換（復号化）等を行うことなく、符号化対象画像のイントラ予測モード判定を行うことができる。動画像符号化装置１００は、符号化対象画像の復号画像を擬似した画素を得ることで、符号化対象画像の符号化データの復号画像を得るための逆量子化、逆直交変換等を待つことなく、符号化対象画像のイントラ予測モード判定を行うことができる。したがって、動画像符号化装置１００によれば、符号化対象画像の符号化データの復号画像を得るための逆量子化、逆直交変換等を待たないため、符号化処理の高速化を図れる。動画像符号化装置１００によれば、符号化対象画像の復号画像を擬似した画素をイントラ予測モード判定に使用することで、原画像の画素を使用するよりも、より精度の高い符号化を行うことができる。動画像符号化装置１００は、符号化対象画像のイントラ予測モード判定と、符号化対象画像の逆量子化、逆直交変換とを並列処理することができる。

符号化対象ブロックの周辺ブロックのイントラ予測モードは、当該周辺ブロックが符号化されるときに得られる。動画像符号化装置１００は、符号化対象ブロックの周辺ブロックのイントラ予測モード、符号化対象画像の１フレーム前の画像から得られるフィルタ係数等を用いて、イントラ予測画像を生成する。

〈変形例１〉
次に変形例１について説明する。変形例１は、実施形態との共通点を有する。従って、主として相違点について説明し、共通点については、説明を省略する。

図２０は、変形例１における動画像符号化装置の例を示す図である。動画像符号化装置２００は、イントラ予測画像生成部２０２、差分画像生成部２０４、直交変換量子化部２０６、エントロピー（Entropy）符号化部２０８、逆量子化逆直交変換部２１０、復号画
像生成部２１２、復号画像メモリ２１４を有する。また、動画像符号化装置２００は、復号画像周辺情報格納部２１６、原画像メモリ２１８、符号化対象ブロック周辺情報読出部２２０、フィルタ係数分類部２３０、フィルタ係数選択部２４０を有する。さらに、動画像符号化装置２００は、原画素補正部２４２、参照画像生成部２４４、イントラ予測モード判定部２４６を有する。

上記の実施形態の動画像符号化装置１００では、フィルタ係数を求める際の分類項目として、イントラ予測モード（予測方向）が使用された。変形例１の動画像符号化装置２００では、フィルタ係数を求める際の分類項目として、参照画素の分散値が使用される。

復号画像周辺情報格納部２１６は、符号化対象画像の１フレーム前の画像の復号画像に対して、ブロック毎に当該ブロックの参照画素の分散値を格納する。復号画像周辺情報格納部２１６は、フィルタ係数分類部２３０の求めに応じて、参照画素の分散値を出力する。ブロック毎の参照画素の分散値は、イントラ予測モード判定部２４６で算出され、復号画像周辺情報格納部２１６に格納される。

図２１は、フィルタ係数分類部における、参照画素の位置に対応する復号画素及び原画素の分類の例を示す図である。図２１の例では、参照画素が４×４のブロックに含まれる場合の例である。ここでは、例えば、参照画素の分散値が閾値Ｔｈ以上の場合にグループ１とし、参照画素の分散値が閾値Ｔｈ未満の場合にグループ０とする。参照画素の分散値が、２以上の閾値を用いて、３以上のグループに分けられてもよい。図２１の例では、グループ毎に対応する復号画素及び原画素が分類されている。参照画素が４×４のブロックに以外のブロックに含まれる場合についても、同様に、分散値のグループ毎に、復号画素及び原画素が分類される。参照画素の位置が、処理対象ブロックの上に存在する場合と、処理対象ブロックの左に存在する場合とで、復号画素及び原画素が、別々に分類されてもよい。横に並ぶ参照画素と縦に並ぶ参照画素とで、画素の特徴が異なることがあるからである。

フィルタ係数分類部２３０は、分散値のグループ毎に、フィルタ係数を算出する。
符号化対象ブロック周辺情報読出部２２０は、各ブロックの周辺の参照画素の分散値を算出し、格納する。

フィルタ係数分類部２３０は、Ｎ個のフィルタ係数分類部（第１フィルタ係数分類部２３０−１、・・・、第Ｎフィルタ係数分類部２３０−Ｎ）を含む。Ｎは、参照画素の分散値のグループの数である。フィルタ係数分類部２３０は、復号画像周辺情報格納部２１６から、処理対象ブロックのイントラ予測モード判定用参照画素が含まれている周辺ブロックの参照画素の分散値を読み出す。フィルタ係数分類部２３０は、読み出した参照画素の分散値毎にイントラ予測モード判定用参照画素の復号画素と原画素とを読み出し、分散値のグループ毎に復号画素と原画素とからフィルタ係数を算出する。フィルタ係数分類部２３０は、動画像の時間的な相関性を利用して、復号画像メモリ２１４から取得した現在符号化しているピクチャの１フレーム前のピクチャの復号画像データと、原画像メモリ２１８から取得した原画像データを用いてフィルタ係数を算出する。

（変形例１の作用、効果）
参照画素の分散値が大きい場合、参照画素が互いに大きく異なり、周波数変換すると低周波領域から高周波領域までほぼ均一に分布することになる。従って、参照画素の分散値が大きい場合、強めのフィルタをかける。また、参照画素の分散値が小さい場合、参照画素同士の差異が小さく、周波数変換すると低周波領域に集中する。従って、参照画素の分散値が小さい場合、弱めのフィルタをかける。参照画素の分散値に応じて、フィルタ係数を変更することで、より精度の高い符号化が可能となる。

〈変形例２〉
次に変形例２について説明する。変形例２は、実施形態、変形例１との共通点を有する。従って、主として相違点について説明し、共通点については、説明を省略する。

図２２は、変形例２における動画像符号化装置の例を示す図である。動画像符号化装置３００は、イントラ予測画像生成部３０２、差分画像生成部３０４、直交変換量子化部３０６、エントロピー（Entropy）符号化部３０８、逆量子化逆直交変換部３１０、復号画
像生成部３１２、復号画像メモリ３１４を有する。また、動画像符号化装置３００は、復号画像周辺情報格納部３１６、原画像メモリ３１８、符号化対象ブロック周辺情報読出部３２０、フィルタ係数分類部３３０、フィルタ係数選択部３４０を有する。さらに、動画像符号化装置３００は、原画素補正部３４２、参照画像生成部３４４、イントラ予測モード判定部３４６を有する。

上記の実施形態の動画像符号化装置１００では、フィルタ係数を求める際の分類項目として、イントラ予測モード（予測方向）が使用された。変形例２の動画像符号化装置３００では、フィルタ係数を求める際の分類項目として、参照画素のエッジ方向が使用される。

復号画像周辺情報格納部３１６は、符号化対象画像の１フレーム前の画像の復号画像に対して、ブロック毎に当該ブロックの参照画素のエッジ方向を格納する。復号画像周辺情報格納部３１６は、フィルタ係数分類部３３０の求めに応じて、参照画素のエッジ方向を出力する。ブロック毎の参照画素のエッジ方向は、イントラ予測モード判定部３４６で算出され、復号画像周辺情報格納部３１６に格納される。

（エッジ方向の算出方法）
エッジ方向の算出方法について説明する。エッジ方向は、イントラ予測モード判定部３４６によって算出される。エッジ方向は、イントラ予測モード判定部３４６以外の処理部で算出されてもよい。

図２３は、エッジ方向の算出の際に使用する符号化対象ブロックの周辺ブロック内の参照画素を含む２×２のブロックの例を示す図である。図２３において、符号化対象ブロックに隣接する参照画素を含む２×２のブロック（例えば、点線の四角で囲まれた部分）が、エッジ方向を算出する際に使用されるブロックである。この２×２のブロックには、符号化対象ブロック内の画素は含まれない。

イントラ予測モード判定部３４６は、符号化対象ブロックの周辺の２×２のブロックのそれぞれのエッジ強度∇ｆを求める。エッジ強度∇ｆは、次のように表される。

ここで、ｄｘ、ｄｙは、それぞれ、Ｘ軸方向の勾配、Ｙ軸方向の勾配である。ｄｘ、ｄｙは、次のように表される。

ａ０、ａ１、ａ２、ａ３は、図２３のように、２×２のブロック内の画素を表す。
エッジ方向θ（ｘ，y）は、次のように表される。

エッジ方向は、図２３のように、５種類のタイプに分類される。エッジ強度∇ｆが所定の閾値より小さい場合、エッジなし（タイプ０）とする。エッジ強度∇ｆが所定の閾値以上である場合、エッジ方向θにより４タイプに分ける。例えば、Ｘ軸方向に変化がなく、Ｙ軸方向に変化があるブロックの場合、当該ブロックのエッジ方向のタイプは、タイプ２になる。また、Ｘ軸方向に変化があり、Ｙ軸方向に変化がないブロックの場合、当該ブロックのエッジ方向のタイプは、タイプ１になる。

イントラ予測モード判定部３４６は、参照画素を含む周辺２列の画素を用いて２×２のブロック単位で、１画素ずつずらしながら、順次、エッジ強度及びエッジ方向を算出する。算出されたエッジ方向は、２×２のブロック毎に、復号画像周辺情報格納部３１６に格納される。１つの画像のすべてのブロック周辺の参照画素を含むすべての２×２のブロックについて、エッジ方向が算出される。

（フィルタ係数の算出方法）
フィルタ係数の算出方法について説明する。符号化対象画像の１フレーム前の画像は、既に、ブロック毎に、符号化されている。符号化対象画像の１フレーム前の画像についての算出されたエッジ方向は、２×２のブロック毎に、復号画像周辺情報格納部３１６に格納されている。ここでは、参照画素を、補正対象画素とする。

図２４は、補正対象画素を含む２×２のブロックの例を示す図である。図２４のように、補正対象画素（例えば、図２４のａ４）は、左ブロック（例えば、図２４のａ０、ａ１、ａ３、ａ４）及び右ブロック（例えば、図２４のａ１、ａ２、ａ４、ａ５）に含まれる。上記のように、各ブロックのエッジ方向は５通りに分類されると、１つの補正対象画素に対して、５×５＝２５通りのエッジ方向の組み合わせが存在する。即ち、補正対象画素は、左ブロックのエッジ方向及び右ブロックのエッジ方向により２５通り（２５種類）に分類され得る。

フィルタ係数分類部３３０は、補正対象画素毎に、符号化対象画像の１フレーム前の画像における補正対象画素のエッジ方向の組み合わせを、復号画像周辺情報格納部３１６から読み出す。フィルタ係数分類部３３０は、符号化対象画像の１フレーム前の画像の復号画像における、補正対象画素（例えば、図２４のａ４）及び補正対象画素の周辺画素（例えば、図２４のａ０、ａ１、ａ２、ａ３、ａ５）を、復号画像メモリ３１４から、抽出する。フィルタ係数分類部３３０は、符号化対象画像の１フレーム前の画像の原画像における、補正対象画素及び補正対象画素の周辺画素を、原画像メモリ３１８から、抽出する。

フィルタ係数分類部３３０は、抽出した、補正対象画素及び補正対象画素の周辺画素の復号画像と原画像とを、補正対象がそのエッジ方向の組み合わせで分類して、格納する。即ち、フィルタ係数分類部３３０は、当該組み合わせと、当該復号画像と、当該原画像とを対応づけて、エッジ方向の組み合わせ（予測モード）で分類して、格納する。さらに、フィルタ係数分類部３３０は、符号化対象ブロックのブロックサイズで、分類してもよい。例えば、ＨＥＶＣでは、ブロックサイズは４×４、８×８、１６×１６、３２×３２、６４×６４の５種類であるので、フィルタ係数分類部３３０は、エッジ方向の組み合わせと合わせて１２５種類のグループに分類する。

符号化対象ブロックが４×４である場合、補正対象画素及び補正対象画素の周辺画素の位置に対応する復号画素Recon_i_4[6]と、補正対象画素及び補正対象画素の周辺画素の位
置に対応する原画素Org_i_4[6]とを、エッジ方向の組み合わせｉに対応づけて、分類する
。ｉは、エッジ方向の組み合わせに割り当てられる番号である。ｉは、１から２５までのいずれかの値をとる。復号画素Recon_i_4[6]は、エッジ方向の組み合わせがｉである４×
４のブロックの復号画素の平均値である。[6]は、補正対象画素及び補正対象画素の周辺
画素の数である。原画素Org_i_4[6]は、エッジ方向の組み合わせがｉである４×４のブロ
ックの原画素の平均値である。

復号画素Recon_i_4[6]は、次のように表される。

recon_i,k_4[6]は、エッジ方向の組み合わせがｉの補正対象画素のうち、ｋ番目の補正
対象画素の復号画素の画素値である。N_iは、エッジ方向の組み合わせがｉである補正対象画素の数である。A0_i, A1_i, A2_i, A3_i, A4_i, A5_iは、それぞれ、図２４のａ０、ａ１、ａ２、ａ３、ａ４、ａ５の位置の復号画素の平均値である。a0_i,k, a1_i,k, a2_i,k, a3_i,k, a4_i,k, a5_i,kは、それぞれ、ｋ番目の補正対象画素の図２４のａ０、ａ１、ａ２、ａ３、ａ４、ａ５の位置の復号画素の画素値である。

原画素Org_i_4[6]も、復号画素Recon_i_4[6]と同様に表わされる。
フィルタ係数分類部３３０は、復号画素Recon_i_4[6]及び原画素Org_i_4[6]を用いて、上記の実施形態と同様に、エッジ方向の組み合わせ（及びブロックサイズ）毎に、フィルタ係数を算出する。

（フィルタ係数の選択方法）
フィルタ係数の選択方法について説明する。

フィルタ係数選択部３４０は、符号化対象ブロックの周辺の各補正対象画素に対して、上記と同様にして、エッジ方向の組み合わせを求める。

フィルタ係数選択部３４０は、算出した補正対象画素のエッジ方向の組み合わせ（及び符号化対象ブロックのブロックサイズ）に基づいて、補正対象画素毎に、フィルタ係数を
抽出する。原画像補正部３４２は、周辺ブロックの補正対象画素に、抽出したフィルタ係数を用いてフィルタ処理することで、参照画素を生成する。

（変形例２の作用、効果）
動画像符号化装置３００は、補正対象画素のエッジ方向の組み合わせ毎に、フィルタ係数を算出する。補正対象画素のエッジ方向の組み合わせに応じて、フィルタ係数を変更することで、より精度の高い符号化が可能となる。

〈変形例３〉
次に変形例３について説明する。変形例３は、上記の実施形態との共通点を有する。従って、主として相違点について説明し、共通点については、説明を省略する。

上記の実施形態の動画像符号化装置１００では、フィルタ係数を求める際の分類項目として、イントラ予測モード（予測方向）が使用された。上記の実施形態において、予測方向を３５種類として分類したが、変形例３では予測方向では分類しない。即ち、変形例３では、上記の実施形態において、予測方向を１つとする。このとき、変形例３では、符号化対象ブロックの周辺ブロックのブロックサイズがフィルタ係数を求める際の分類項目となる。

変形例３では、参照画素が符号化対象ブロックの上にある場合と左にある場合とで、場合分けをしなくてもよい。

（変形例３の作用、効果）
参照画素を含む周辺ブロックのブロックサイズが大きい場合、当該周辺ブロックの画像が平坦でモード判定用参照画素の高周波成分が少ないと考えられる。また、参照画素を含む周辺ブロックのブロックサイズが小さい場合、当該周辺ブロックの画像が複雑でモード判定用参照画素の高周波成分が多いと考えられる。そこで、参照画素を含む周辺ブロックのブロックサイズに応じて、フィルタ係数を変更することで、より精度の高い符号化が可能となる。

〔その他〕
以上の実施形態、各変形例は、可能な限りこれらが組み合わされて実施され得る。

１００ 動画像符号化装置
１０２ イントラ予測画像生成部
１０４ 差分画像生成部
１０６ 直交変換量子化部
１０８ Entropy符号化部
１１０ 逆量子化逆直交変換部
１１２ 復号画像生成部
１１４ 復号画像メモリ
１１６ 復号画像周辺情報格納部
１１８ 原画像メモリ
１２０ 符号化対象ブロック周辺情報読出部
１３０ フィルタ係数分類部
１４０ フィルタ係数選択部
１４２ 原画像補正部
１４４ 参照画像生成部
１４６ イントラ予測モード判定部
２００ 動画像符号化装置
３００ 動画像符号化装置

Claims (5)

1. １フレーム毎に入力される原画像を、イントラ予測を用いて、前記原画像のブロック単位に符号化を行う動画像符号化装置であって、
   前記原画像の符号化対象のブロックである符号化対象ブロックを含む画像の１フレーム前の画像の復号画像を格納する復号画像メモリと、
   前記復号画像に対応する原画像を格納する原画像メモリと、
   前記復号画像のブロック毎のイントラ予測モードを格納する復号画像周辺情報格納部と、
   前記復号画像のイントラ予測モード毎に、前記復号画像と前記原画像とからフィルタ係数を算出するフィルタ係数分類部と、
   前記符号化対象ブロックの周辺ブロックのイントラ予測モードを読み出す符号化対象ブロック周辺情報読出部と、
   前記周辺ブロックのイントラ予測モードに基づいて、前記周辺ブロック毎に、フィルタ係数を選択するフィルタ係数選択部と、
   前記フィルタ係数選択部によって選択されたフィルタ係数を用いて、前記周辺ブロックのイントラ予測モード判定用参照画素にフィルタ処理をし、前記周辺ブロックのイントラ予測モード判定用参照画素の復号画像としての画素値を算出する原画像補正部と、
   前記原画像補正部から得られた復号画像としての画素値からイントラ予測モード判定用参照画像を生成する参照画像生成部と、
   参照画像生成部が生成した前記参照画像を用いて、前記符号化対象ブロックのイントラ予測モードを選択するイントラ予測モード判定部と、
   前記イントラ予測モード判定部で選択されたイントラ予測モードを使用して符号化対象ブロックのイントラ予測画像を生成するイントラ予測画像生成部、
   を有する動画像符号化装置。
2. 前記復号画像周辺情報格納部は、前記復号画像のブロック毎のイントラ予測方向を格納し、
   前記フィルタ係数分類部は、イントラ予測方向毎に、前記復号画像と前記原画像とからフィルタ係数を算出し、
   前記符号化対象ブロック周辺情報読出部は、前記符号化対象ブロックの周辺ブロックのイントラ予測方向を読み出し、
   前記フィルタ係数選択部は、前記周辺ブロックのイントラ予測方向に基づいて、前記周辺ブロック毎に、フィルタ係数を選択する
   請求項１に記載の動画像符号化装置。
3. 前記復号画像周辺情報格納部は、前記復号画像のブロック毎に当該ブロックのイントラ予測モード判定用参照画素の分散値を格納し、
   前記フィルタ係数分類部は、イントラ予測モード判定用参照画素の分散値を複数の所定の閾値を境界とする複数のグループに分類し、前記グループ毎に、前記復号画像と前記原画像とからフィルタ係数を算出し、
   前記符号化対象ブロック周辺情報読出部は、前記符号化対象ブロックの周辺ブロックのイントラ予測モード判定用参照画素の分散値を読み出し、
   前記フィルタ係数選択部は、前記周辺ブロックのイントラ予測モード判定用参照画素の分散値に基づいて、前記周辺ブロック毎に、フィルタ係数を選択する
   請求項１に記載の動画像符号化装置。
4. 前記復号画像周辺情報格納部は、前記復号画像のブロック毎に当該ブロックのイントラ予測モード判定用参照画素のエッジ方向を格納し、
   前記フィルタ係数分類部は、イントラ予測モード判定用参照画素のエッジ方向毎に、前
   記復号画像と前記原画像とからフィルタ係数を算出する、
   前記符号化対象ブロック周辺情報読出部は、前記符号化対象ブロックの周辺ブロックのイントラ予測モード判定用参照画素のエッジ方向を読み出し、
   前記フィルタ係数選択部は、前記周辺ブロックのイントラ予測モード判定用参照画素のエッジ方向に基づいて、前記周辺ブロックのイントラ予測モード判定用参照画素毎に、フィルタ係数を選択する
   請求項１に記載の動画像符号化装置。
5. 前記復号画像周辺情報格納部は、前記復号画像のブロック毎に当該ブロックのブロックサイズを格納し、
   前記フィルタ係数分類部は、前記ブロックのブロックサイズ毎に、前記復号画像と前記原画像とからフィルタ係数を算出する、
   前記符号化対象ブロック周辺情報読出部は、前記符号化対象ブロックの周辺ブロックのブロックサイズを読み出し、
   前記フィルタ係数選択部は、前記周辺ブロックのブロックサイズに基づいて、前記周辺ブロック毎に、フィルタ係数を選択する、
   請求項１に記載の動画像符号化装置。

Images