JP2009100318A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】Ｈ．２６４の符号化において、ピクチャ間の参照関係に制約を設けた場合、ピクチャタイプをＢｒピクチャ又はＢピクチャにするか選択して符号化することができるため、最適なピクチャタイプを選択することにより、Ｂピクチャの符号化効率を向上させることができる画像符号化装置を提供する。
【解決手段】画像符号化装置は、符号化対象ピクチャ及び符号化対象ピクチャと特定の関係にあるピクチャの特徴量を抽出する画像特徴量抽出部６１と、画像特徴量抽出部６１によって算出された特徴量から、前記ピクチャ間の画像の類似の度合いを示す相関度を算出する相関度算出部６２と、算出された相関度により符号化対象ピクチャのピクチャタイプを、異なる画面間予測を行う２種類のピクチャタイプのうちから決定するピクチャタイプ決定部６３と、決定されたピクチャタイプで符号化対象ピクチャを符号化する符号化部６４とを備える。
【選択図】図１

Description

本発明は、画像符号化装置および画像符号化方法に関し、特に、予測符号化によって符号化された画像符号化ストリームを復号し、復号したピクチャデータを、所定の予測符号化方式によって再符号化する画像符号化装置および画像符号化方法に関する。

近年、ＡＶ情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。映像信号は、膨大な情報量を有するので、記録容量および伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術として、ＭＰＥＧ−２，Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）という国際規格が定められている。

これら規格では、画面内予測を用いるＩピクチャ、１枚の画像から予測が可能なＰピクチャ、２枚の画像から予測が可能なＢピクチャを用いて画像を符号化する。なお、以下では、プログレッシブ方式の符号化におけるフレームと、インタレース方式の符号化におけるフィールドの両方を総称して「ピクチャ」という。

Ｈ．２６４では、それまでの参照画像として用いられなかったＢピクチャを参照可能なピクチャ（Ｂｒピクチャ）とすることが可能になり、符号化効率の向上を実現している。

図１０は、プログレッシブ方式の符号化で、Ｂｒピクチャを利用しない場合のＢピクチャの参照関係の一例を示す図である。また、図１１は、プログレッシブ方式の符号化で、Ｂｒピクチャを利用した場合のＢピクチャの参照関係の一例を示す図である。ＭＰＥＧ−１・ＭＰＥＧ−２ではＢｒピクチャは存在せず、図１０の参照関係のみとなる。図１０に示すように、Ｂｒピクチャを利用しない場合には、Ｂピクチャは前後のＰピクチャ（又は前後のＩピクチャとＰピクチャと）を参照するだけである。しかし、Ｂｒピクチャを利用できる場合には、図１１に示すように、Ｂピクチャは前後２枚のＰピクチャ（又はＩピクチャとＰピクチャ）と、Ｂｒピクチャとを参照することができる。

Ｈ．２６４では、Ｂｒピクチャが利用できるため、より符号化効率の高い参照画像を選択することができるが、参照画像メモリの管理や符号化効率の高い参照画像を選択する処理が複雑である。従来、Ｂｒピクチャを利用する場合のピクチャタイプの例として、表示順がＰ→Ｂｒ→Ｂｒ→Ｐとなる例と、表示順がＰ→Ｂｒ→Ｂ→Ｐとなる例とが挙げられる。以下では、例えば、フィールドピクチャ構造で、表示順がＰ→Ｂｒ→Ｂｒ→Ｐとなるように符号化した場合について説明する。図１２は、フィールドピクチャ構造で、表示順がＰ→Ｂｒ→Ｂｒ→Ｐとなるように符号化した場合の参照関係の一例を示す図である。このようにＢｒピクチャを利用できる場合には、従来とは異なり、各ピクチャが多数のピクチャを参照ピクチャとして利用できるために参照関係は複雑になる。例えば、３番目のフレームの第１フィールドであるＢｒピクチャは、１番目のＰフレームのフィールドペア、２番目のＢｒフレームのフィールドペア及び４番目のＰフレームのフィールドペアを参照することができる。すなわち、３番目のフレームの第１フィールドであるＢｒピクチャは、６つのフィールドのうちから符号化効率が最も高くなる参照画像を、マクロブロックごとに選択することができる。さらに、３番目のフレームの第２フィールドであるＢｒピクチャは、１番目のＰフレームのフィールドペア、２番目のＢｒフレームのフィールドペア、及び４番目のＰフレームのフィールドペアに加えてさらに、３番目のＢｒフレームの第１フィールドを参照することができる。従って、３番目のフレームの第２フィールドであるＢｒピクチャは、７つのフィールドのうちから符号化効率が最も高くなる参照画像を、マクロブロックごとに選択することができることになる。このため、エンコーダやデコーダでは、少ない符号量で高画質の動画像符号化ストリームを生成することができるものの、参照される可能性のあるピクチャをすべて参照画像メモリに格納しておかなければならないので、記憶容量の大きい参照画像メモリが必要となる上、参照画像メモリのメモリ管理が複雑になるという課題がある。

そのため、参照関係に制約を設けることにより、エンコーダやデコーダのメモリ管理や構成を簡単にでき、符号化ストリームの互換性を取ることが容易となる。

例えば、「Ｂｒピクチャは、プログレッシブ方式の場合、再生順で前方、及び後方に位置する直近のＩフレームまたはＰフレームを参照可能とする。インタレース方式の場合、再生順で前方、後方に位置する直近のＩフレーム又はＰフレームに含まれるフィールドペアと、さらに、同じＢｒフレームのフィールドペアのうち他方のＢｒピクチャのみを参照可能とし、それ以外のＢｒピクチャは参照不可とする。」という制約を設け、参照可能なフィールドの数を削減している。図１３は、Ｂｒピクチャの参照関係に制約を設けた場合のＢｒピクチャの参照関係の一例を示す図である。上記のような制約を設けることにより、図１３に示すように、３番目のフレームの第１フィールドであるＢｒピクチャは、前後２枚のＰフレームのフィールドペアしか参照できなくなる。したがって、３番目のフレームの第１フィールドであるＢｒピクチャは、２枚の参照ピクチャを削減されており、前後の４つのＰピクチャのフィールドから参照画像を選択することになる。また、３番目のフレームの第２フィールドであるＢｒピクチャは、前後２枚のＰフレームのフィールドペアと、同じフレーム内の第１フィールドしか参照できなくなる。これによって、３番目のフレームの第２フィールドであるＢｒピクチャは、２枚の参照ピクチャを削減されており、５つのフィールドのうちから符号化効率が最大となる参照画像を選択することになる。これにより、Ｂｒピクチャの参照関係の複雑さが軽減されている。

図１４は、Ｂピクチャの参照関係に制約を設けた場合のＢピクチャの参照関係の一例を示す図である。同様に、例えば、「Ｂピクチャは、プログレッシブ方式の場合、再生順で前方、及び後方に位置する直近のＩフレームまたはＰフレームを参照可能とし、インタレース方式の場合、再生順で前方、後方に位置する直近のＩフレーム又はＰフレームに含まれるフィールドペアを参照可能とする。さらに、Ｂピクチャは、再生順で前方または後方に位置する直近のＢｒフレームに含まれるフィールドペアを参照可能とするが、参照可能な参照ピクチャの枚数は４枚とする。」という制約を設ける。

しかしながら、上記のような制約を設けると、図１３及び図１４からも分かるように、符号化対象ピクチャをＢピクチャとして符号化するか、Ｂｒピクチャとして符号化するかによって、参照可能なピクチャが変化する。このため、符号化対象ピクチャをＢピクチャとして符号化するか、Ｂｒピクチャとして符号化するかによって、符号化効率が異なってくることになる。

そこで、本発明は、Ｂｒピクチャ及びＢピクチャの参照関係に制約を設けたことで、符号化対象ピクチャの参照画像が変化することによって符号化効率が変化することを利用して、適応的に、符号化効率のよい画像符号化装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像符号化装置は、画面間予測を用いて画像を符号化する画像符号化装置であって、符号化対象ピクチャ及び前記符号化対象ピクチャと特定の関係にあるピクチャの特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって算出された前記特徴量から、前記ピクチャ間の画像の類似の度合いを示す相関度を算出する相関度算出手段と、前記相関度により前記符号化対象ピクチャのピクチャタイプを、異なる画面間予測を行う２種類のピクチャタイプのうちから決定するピクチャタイプ決定手段と、決定されたピクチャタイプで前記符号化対象ピクチャを符号化する符号化手段とを備える。

また、前記特徴量抽出手段は、前記符号化対象ピクチャである符号化対象フレームの第１フィールドと、前記符号化対象フレームの第２フィールドと、前記符号化対象フレームの直前に符号化されたフレームの第２フィールドとのそれぞれの特徴量を抽出し、前記相関度算出手段は、特徴量が算出された各前記フィールドのうちで前記符号化対象フレームに属する１つと残りの２つのフィールドそれぞれとの間で、画像の類似の度合いが高いほど小さい値となる２つの相関度を算出し、前記ピクチャタイプ決定手段は、２つの前記相関度のうち、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプを他のピクチャから参照可能なＢｒピクチャと決定し、それ以外のとき、他のピクチャから参照されないＢピクチャと決定するとしてもよい。

さらに、前記相関度算出手段は、前記符号化対象フレームの前記第１フィールドとその直前に符号化されたフレームの第２フィールドとの間の相関度である第１の相関度と、前記符号化対象フレームの前記第１フィールドと前記符号化対象フレームの前記第２フィールドとの間の相関度である第２の相関度とを算出し、前記ピクチャタイプ決定手段は、前記相関度算出手段によって算出された第１の相関度と第２の相関度とを比較し、前記比較の結果、前記第２の相関度が前記第１の相関度より小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定するとしてもよい。

また、本発明の前記相関度算出手段は、前記符号化対象フレームの前記第２フィールドとその直前に符号化されたフレームの第２フィールドとの間の相関度である第３の相関度と、前記符号化対象フレームの前記第２フィールドと前記符号化対象フレームの前記第１フィールドとの間の相関度である第４の相関度とを算出し、前記ピクチャタイプ決定手段は、前記相関度算出手段によって算出された第３の相関度と第４の相関度とを比較し、前記比較の結果、前記第４の相関度が前記第３の相関度より小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定するとしてもよい。

本発明の前記ピクチャタイプ決定手段は、前記相関度算出手段によって算出された２つの前記相関度の差または比を算出して、算出された差または比と所定の閾値とを比較し、前記比較の結果、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定するとしてもよい。

また、本発明の前記特徴量抽出手段は、前記符号化対象フレームの直前に符号化されたフレームの第２フィールド、前記符号化対象フレームの第１フィールド、および前記符号化対象フレームの第２フィールドの各特徴量として、各前記フィールド内の画素の輝度総和を算出し、前記相関度算出手段は、2つの前記相関度として、対応する前記フィールド間の前記輝度総和の差分値、または、前記輝度総和の差分の絶対値を算出し、前記ピクチャタイプ決定手段は、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定するとしてもよい。

さらに、前記特徴量抽出手段は、前記符号化対象フレームの直前に符号化されたフレームの第２フィールド、前記符号化対象フレームの第１フィールド及び前記符号化対象フィールドの第２フィールドの各特徴量として、各前記フィールドの画素ごとの輝度を算出し、前記相関度算出手段は、２つの前記相関度として、対応する前記フィールド同士の同位置画素間の輝度差の総和、または対応する前記フィールド同士の同位置画素間の輝度差の絶対値総和を算出し、前記ピクチャタイプ決定手段は、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定するとしてもよい。

また、前記ピクチャタイプ決定手段は、算出された前記相関度に応じて、表示順でＩピクチャとＰピクチャ又は２枚のＰピクチャの間に挟まれる２枚のＢピクチャのうちの２枚目について、他のピクチャから参照可能なＢｒピクチャにするか、他のピクチャから参照されないＢピクチャにするかを決定するとしてもよい。

以上のように本発明によれば、符号化対象ピクチャと特定のピクチャ（直前に符号化されたピクチャ）との特徴量から、最適なピクチャタイプを決定することができるので、ピクチャタイプに応じて参照できる参照ピクチャに制約がある場合でも、符号化効率を向上させ、符号化画像の高画質化を可能にすることができる。

以下、本発明に係る画像符号化装置の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
まず、本発明の実施の形態１に係る画像符号化装置の構成を説明する。

図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。図１に示す画像符号化装置は、画像データを入力とし、Ｂピクチャ及びＢｒピクチャの参照関係に制約が設けられていることを前提として、符号化対象ピクチャがＢまたはＢｒピクチャである場合に、符号化対象ピクチャとその前後のピクチャとの輝度に基づいて符号化対象ピクチャのピクチャタイプを決定し、符号化されたＨ．２６４ビットストリームを出力する。画像符号化装置は、画像特徴量抽出部６１と相関度算出部６２とピクチャタイプ決定部６３と符号化部６４とを備える。

図２から図９は、入力画像が２−３プルダウンされている場合の参照関係と符号化効率との関係を示す図である。なお、２−３プルダウンとは、映画フィルムなど毎秒２４フレームで記録された映像を、テレビ放送などで用いられる毎秒３０フレーム（６０フィールド）の映像信号に変換（プルダウン）することを言う。同図において、斜線のハッチングで示す領域は映画フィルムの１コマ（１フレーム）を示している。図のように、２−３プルダウンでは、映画フィルムの各コマを、テレビ画像の２フィールドの映像信号と３フィールドの映像信号とに交互に割り当てることにより変換を行う。また、同図において、参照関係を示す矢印が太いほど符号化効率が高いことを示している。なお、ここでは上記で説明した制約に加えて、Ｂピクチャ及びＢｒピクチャの各マクロブロックは、それぞれ参照可能な時間的に最も近い前方の２ピクチャと後方の２ピクチャの合計４つのピクチャしか参照できないという制約が設けられているものとする。

図２（ａ）は、映画フィルムの第１コマがテレビ画像の第１フレームに、第２コマがテレビ画像の第２フレームに、第３コマがテレビ画像の第３フレーム及び第４フレームの第１フィールドに割り当てられる場合で、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。図２（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図２（ａ）と同じで、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。図２（ａ）では、例えば、映画フィルムの１コマ目が、先頭１フィールド分を空白として、テレビ放送の第１フレームであるＩ（又はＰ）フィールドとＰフィールドとを含む３フィールドに割り当てられている。また、２コマ目が第２フレームの２枚のＢｒフィールドに相当するように割り当てられている。さらに、３コマ目は、図２（ａ）では第３フレームの２枚のＢｒフィールドと第４フレームのＰピクチャの第１フィールドに割り当てられるように、第３フレームの第１フィールドが第４フレームの第１フィールドにコピーされている。なお、図２（ｂ）では、３コマ目が第３フレームの２枚のＢフィールドと、第４フレームのＰピクチャの第１フィールドに割り当てられていることが図２（ａ）と異なる点である。

また、図２（ａ）に示す第３フレームでは、第１フィールドであるＢｒフィールドは、第１フレームの第１フィールドであるＩフィールド、第１フレームの第２フィールドであるＰフィールド、第４フレームの第１フィールドであるＰフィールド及び第４フレームの第２フィールドであるＰフィールドを参照することができる。しかし、この場合、第３フレームの第１フィールドは、他のどのフィールドを参照するよりも、第４フレームの第１フィールドであるＰフィールドを参照するときに符号化効率が最も高くなる。これは、第３フレームの第１フィールドが、同じコマの同じ第１フィールドの画像を参照しているからである。さらに、第３フレームの第２フィールドであるＢｒフィールドでは、前後のＰフィールド、すなわち、第１フレームの第２フィールド、第４フレームの第１フィールド及び第４フレームの第２フィールドと、同一フレームのフィールドペアである第３フレームの第１フィールドとを参照することができる。しかし、この場合、第３フレームの第２フィールドは、第１フレームの第２フィールドであるＰフィールド及び第４フレームの第２フィールドであるＰフィールドのいずれを参照するよりも、同一フレームのフィールドペアであるＢｒフィールド、及び第４フレームの第１フィールドであるＰフィールドを参照する方が符号化効率が高くなる。その理由は、第３フレームの第２フィールドは、フィールドは異なるが同じコマの画像を参照しているからである。つまり、第３フレームのフィールドペアのＢｒピクチャはそれぞれ、符号化効率が高い参照画像をもつ。

一方、第３フレームのフィールドペアをＢピクチャとして符号化した場合の参照画像を図２（ｂ）に示す。この場合も、第３フレームのフィールドペアをＢｒフィールドとして符号化した場合と同様に、第３フレームの第１フィールドであるＢフィールドは、符号化効率のよい第４フレームの第１フィールドを参照可能である。また、第３フレームの第２フィールドのＢピクチャは符号化効率のよい第４フレームの第１フィールドであるＰピクチャを参照可能である。従って、２−３プルダウンにおいて図２（ａ）及び図２（ｂ）に示したようにフィールドを割り当てた場合には、第３フレームのフィールドペアをＢｒピクチャとして符号化しても、Ｂピクチャとして符号化しても、符号化効率には大きな差はない。

図３（ａ）は、映画フィルムの図示しない第１コマがテレビ画像の第１フレームの第１フィールドに、第２コマがテレビ画像の第１フレームの第２フィールドと第２フレームに、第３コマがテレビ画像の第３フレームに、第４コマがテレビ画像の第４フレーム及び第５フレームの第１フィールドに割り当てられる場合で、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。また、図３（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図３（ａ）と同じで、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。図３（ａ）は、表示順がＰ→Ｂｒ→Ｂｒ→Ｐとなる例で、映画フィルムの図示しない第１コマが、第１フレームの第１フィールドであるＩ（又はＰ）フィールドに割り当てられている。第２コマは、第１フレームの第２フィールドであるＰフィールドと第２フレームの２枚のＢｒフィールドとを含む３フィールドとなるように、第１フレームの第２フィールドが第２フレームの第２フィールドにコピーされている。さらに、第３コマは第３フレームの２枚のＢｒフィールドに割り当てられている。映画フィルムの第４コマは、第４フレームの２枚のＰフィールドとテレビ画像の第５フレームのＢｒフィールドの第１フィールドに割り当てられるように、第４フレームの第１フィールドが第５フレームの第１フィールドにコピーされ、重複して使用される。

図３（ａ）のように２−３プルダウンを６０ｉの各フィールドに割り当てると、第３フレームの第１フィールドであるＢｒフィールドでは、第１フレームの第１フィールドであるＩ（又はＰ）フィールド、第２フィールドであるＰフィールド、第４フレームの第１フィールドであるＰフィールド及び第２フィールドであるＰフィールドを参照することになる。しかし、この場合、第３フレームの第１フィールドであるＢｒフィールドは、いずれも異なるコマの画像を参照するので、符号化効率が低くなる。一方、第３フレームの第２フィールドであるＢｒフィールドでは、同じコマの画像であるフィールドペア、すなわち、第１フィールドのＢｒフィールドを参照する。この第２フィールドのＢｒフィールドは、フィールドペアの他に第１フレームの第２フィールドであるＰフィールド、第４フレームの第１フィールドであるＰフィールド及び第４フレームの第２フィールドであるＰフィールドを参照するが、いずれも異なるコマの画像を参照するので、同じコマの画像である第１フィールドのＢｒフィールドを参照する場合が、最も符号化効率が高くなる。

これに対し、図３（ｂ）のように、第３フレームをＢピクチャとした場合、第３フレームの第１フィールドであるＢフィールドでは、第２フレームの第１フィールドであるＢｒフィールド、第２フィールドであるＢｒフィールド、第４フレームの第１フィールドであるＰフィールド及び第２フィールドであるＰフィールドを参照することになる。この場合、第３フレームの第１フィールドであるＢフィールドは、いずれも異なるコマの画像を参照するので、符号化効率が低くなる。また、第３フレームの第２フィールドであるＢフィールドでは、第２フレームの第１フィールドであるＢｒフィールド、第２フィールドであるＢｒフィールド、第４フレームの第１フィールドであるＰフィールド及び第２フィールドであるＰフィールドを参照することになる。従って、第３フレームの第１フィールドであるＢフィールドの場合と同様、第２フィールドであるＢフィールドは、いずれも異なるコマの画像を参照するので、符号化効率が低くなる。従って、２−３プルダウンに対して図３（ａ）及び図３（ｂ）のようなフィールドの割り当てを行った場合には、第３フレームをＢｒピクチャとした方が、第３フレームをＢピクチャとするよりも符号化効率が高くなる。

図４（ａ）は、映画フィルムの図示しない第１コマがテレビ画像の第１フレームの第１フィールドに、第２コマがテレビ画像の第１フレームの第２フィールドであるＰフィールドと第２フレームの第１フィールドであるＢｒフィールドに、第３コマがテレビ画像の第２フレームの第２フィールドであるＢｒフィールド及び第３フレームのフィールドペアであるＢフィールドに、図示しない第４コマがテレビ画像の第４フレームのフィールドペアであるＰフィールドに割り当てられる場合で、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。また、図４（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図４（ａ）と同じで、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。

図４（ａ）は、表示順がＰ→Ｂｒ→Ｂ→Ｐとなる例で、入力画像が２−３プルダウンされている場合の参照関係と符号化効率との関係を示す図である。図４（ａ）の２−３プルダウンでは、図示しない最初のコマがテレビ画像の第１フレームの第１フィールドであるＩ（又はＰ）フィールドのみに割り当てられ、第２コマがテレビ画像の第１フレームの第２フィールドであるＰフィールドと、第２フレームの第１フィールドであるＢｒフィールドとの２フィールドに割り当てられている。この例では、第３コマは第２フレームの第２フィールドであるＢｒフィールドと第３フレームのフィールドペアである２つのＢフィールドとからなる３フィールドに割り当てられている。このため、第２フレームの第２フィールドであるＢｒフィールドが第３フレームの第２フィールドであるＢフィールドにコピーされている。また、映画フィルムの図示しない第４コマは第４フレームのフィールドペアである２つのＰフィールドに割り当てられる。この結果、第３フレームの第１フィールドであるＢフィールドでは、第２フレームのフィールドペアであるＢｒフィールドと第４フレームのフィールドペアであるＰフィールドとを参照することになるが、このうち、第２フレームの第２フィールドであるＢｒフィールドを参照した場合、同じコマの画像を参照することになるので、符号化効率が高くなる。また、第３フレームの第２フィールドであるＢフィールドでは、第１フィールドのＢフィールドと同様、第２フレームのフィールドペアである２つのＢｒフィールドと第４フレームのフィールドペアである２つのＰフィールドとを参照することができる。これらの中でも特に、第２フレームの第２フィールドであるＢｒフィールドを参照した場合、同じコマの同じフィールドの全く同じ画像を参照することになるので、第１フィールドのＢフィールドが第２フレームの第２フィールドであるＢｒフィールドを参照する場合よりもさらに符号化効率が高くなる。理由は、第３フレームの第１フィールドでは、同じコマの画像を参照しているが、異なるフィールドの画像を参照しているからである。

図４（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図４（ａ）と同じで、表示順がＰ→Ｂｒ→Ｂｒ→Ｐとなる例を示している。第３フレームの第１フィールドであるＢｒフィールドでは、自分より後に符号化される第２フィールドのＢｒフィールドは参照できない。さらに、他のフレームのＢｒピクチャを参照できないという制約があるので、第１フレームの第１フィールドであるＩ（又はＰ）フィールド、第１フレームの第２フィールドであるＰフィールド及び第４フレームのフィールドペアである２つのＰフィールドを参照することになる。この場合、第１フレーム及び第４フレームのいずれのフィールドも第３フレームの第１フィールドとは異なるコマの画像であるので、符号化効率が低くなる。一方、第３フレームの第２フィールドであるＢｒフィールドでは、第１フレームの第２フィールドであるＰフィールドと、第３フレームの第１フィールドであるＢｒフィールドと、第４フレームのフィールドペアである２つのＰフィールドとを参照することができる。これらのうち、第３フレームの第２フィールドでは、フィールドペアである第３フレームの第１フィールドであるＢｒフィールドを参照した場合、符号化効率が高くなる。理由は、第３フレームの第２フィールドでは、同じコマの画像を参照しているからである。

図４（ａ）及び図４（ｂ）のように、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方をした場合には、第３フレームをＢピクチャとした方が、第３フレームをＢｒピクチャとするよりも符号化効率が高くなる。理由は、第３フレームをＢピクチャとした場合には、図４（ａ）で説明したように、第３フレームの第２フィールドであるＢフィールドでは、同じコマの同じフィールドの全く同じ画像を参照することができるからである。また、第３フレームの第１フィールドでも、フィールドは異なるが同じコマの画像を参照することができるからである。

図５（ａ）は、映画フィルムの第１コマがテレビ画像の第１フレームのフィールドペアであるＩ（又はＰ）フィールド及びＰフィールドと第２フレームの第１フィールドであるＢｒフィールドとに割り当てられ、第２コマがテレビ画像の第２フレームの第２フィールドであるＢｒフィールドと第３フレームの第１フィールドであるＢフィールドに、第３コマがテレビ画像の第３フレームの第２フィールドであるＢフィールドと第４フレームのフィールドペアである２枚のＰフィールドに割り当てられる場合で、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。また、図５（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図５（ａ）と同じで、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。

図５（ａ）に示す例では、第３フレームの第１フィールドであるＢフィールドでは、第２フレームのフィールドペアである２枚のＢｒフィールドと、第４フレームのフィールドペアである２枚のＰフィールドを参照することができる。この場合、第３フレームの第１フィールドでは、直前の第２フレームの第２フィールドであるＢｒフィールドを参照した場合、フィールドは異なるが同じコマの画像を参照することになるので符号化効率が高くなる。他に参照可能な３つのフィールド、すなわち、第２フレームの第１フィールド、第４フレームの第１フィールド及び第４フレームの第２フィールドはいずれも異なるコマの画像であるからである。また、第３フレームの第２フィールドであるＢフィールドでは、第３フレームの第１フィールドと同様に、直前の第２フレームのフィールドペアである２枚のＢｒフィールドと第４フレームのフィールドペアである２枚のＰフィールドを参照することができる。この場合、第３フレームの第２フィールドは第２フレームのフィールドペアを参照するよりも、第４フレームのフィールドペアである２枚のＰフィールドを参照した方が、同じコマの画像を参照することになるので、符号化効率が高くなる。さらにこの場合、特に、第４フレームの第１フィールドのＰフィールドを参照するよりも、第２フィールドのＰフィールドを参照する方が、同じコマの同じフィールドである全く同じ画像を参照することになるので、より符号化効率が高くなる。

また、図５（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図５（ａ）と同じで、表示順がＰ→Ｂｒ→Ｂｒ→Ｐとなる例を示している。第３フレームの第１フィールドであるＢｒフィールドでは、第１フレームの第１フィールドであるＩ（又はＰ）フィールド、第１フレームの第２フィールドであるＰフィールド及び第４フレームのフィールドペアである２つのＰフィールドを参照することになる。この場合、第１フレーム及び第４フレームのいずれのフィールドも第３フレームの第１フィールドとは異なるコマの画像であるので、符号化効率が低くなる。一方、第３フレームの第２フィールドであるＢｒフィールドでは、第１フレームの第２フィールドであるＰフィールドと、第３フレームの第１フィールドであるＢｒフィールドと、第４フレームのフィールドペアである２つのＰフィールドとを参照することができる。これらのうち、第３フレームの第２フィールドでは、第４フレームのフィールドペアである２枚のＰフィールドを参照した方が、同じコマの画像を参照することになるので、符号化効率が高くなる。さらにこの場合、特に、第４フレームの第１フィールドのＰフィールドを参照するよりも、第２フィールドのＰフィールドを参照する方が、同じコマの同じフィールドである全く同じ画像を参照することになるので、より符号化効率が高くなる。

以上のことから、図５（ａ）及び図５（ｂ）に示したように、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方をした場合には、第３フレームをＢピクチャとした方が、第３フレームをＢｒピクチャとするよりも符号化効率が高くなる。理由は、第３フレームをＢピクチャとした場合には、第１フィールドでも第２フィールドでも符号化効率が高くなる同じコマの画像を参照することができるからである。特に第３フレームの第２フィールドであるＢフィールドでは、同じコマの同じフィールドの全く同じ画像を参照することができる。また、第３フレームの第１フィールドでも、フィールドは異なるが同じコマの画像を参照することができる。これに対し、第３フレームをＢｒピクチャとした場合には、第２フィールドではＢピクチャと同程度の符号化効率の高さを達成できるが、第１フィールドでは同じコマの画像を参照できないため符号化効率が低くなるからである。

さらに、図６（ａ）は、映画フィルムの第１コマがテレビ画像の第１フレームのフィールドペアであるＩ（又はＰ）フィールド及びＰフィールドに割り当てられ、第２コマがテレビ画像の第２フレームのフィールドペアと第３フレームの第１フィールドであるＢフィールドとに割り当てられ、第３コマがテレビ画像の第３フレームの第２フィールドであるＢフィールドと第４フレームの第１フィールドであるＰフィールドとに割り当てられる場合で、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。また、図６（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図６（ａ）と同じで、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。

この例では、第３フレームの第１フィールドであるＢフィールドでは、第２フレームのフィールドペアである２枚のＢｒフィールドと第４フレームのフィールドペアである２枚のＰフィールドを参照することができる。この場合、第３フレームの第１フィールドでは、第４フレームのフィールドペアであるＰフィールドを参照するよりも、第２フレームのフィールドペアである２枚のＢｒフィールドを参照した方が、同じコマの画像を参照することになるので、符号化効率が高くなる。この場合、特に、同じコマの同じフィールドである第１フィールドのＢｒフィールドを参照した方が、第２フィールドのＢｒフィールドを参照するよりも、全く同じ画像を参照しているので、より符号化効率が高くなる。また、第３フレームの第２フィールドであるＢフィールドでは、フィールドペアである第１フィールドと同様に、第２フレームのフィールドペアである２枚のＢｒフィールドと第４フレームのフィールドペアである２枚のＰフィールドを参照することができる。ただし、第３フレームの第２フィールドでは、前方のフィールドペアであるＢｒフィールド及び第４フレームの第２フィールドであるＰフィールドのいずれかを参照する場合には、異なるコマの画像を参照することになるので、符号化効率が低くなる。これに対し、第４フレームの第１フィールドであるＰフィールドを参照する場合には、フィールドは異なるが同じコマの画像を参照することになるので、符号化効率が高くなる。

また、図６（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図６（ａ）と同じで、表示順がＰ→Ｂｒ→Ｂｒ→Ｐとなる例を示している。第３フレームの第１フィールドであるＢｒフィールドでは、第１フレームの第１フィールドであるＩ（又はＰ）フィールド、第１フレームの第２フィールドであるＰフィールド及び第４フレームのフィールドペアである２つのＰフィールドを参照することになる。この場合、第１フレーム及び第４フレームのいずれのフィールドも第３フレームの第１フィールドとは異なるコマの画像であるので、符号化効率が低くなる。一方、第３フレームの第２フィールドであるＢｒフィールドでは、第１フレームの第２フィールドであるＰフィールドと、第３フレームの第１フィールドであるＢｒフィールドと、第４フレームのフィールドペアである２つのＰフィールドとを参照することができる。これらのうち、第３フレームの第２フィールドでは、第４フレームの第１フィールドであるＰフィールドを参照した場合に、符号化効率が高くなる。第３フレームの第２フィールドから第４フレームの第１フィールドを参照する場合には、同じコマの画像を参照することになるからである。

以上のことから、図６（ａ）及び図６（ｂ）に示したように、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方をした場合には、第３フレームをＢピクチャとした方が、第３フレームをＢｒピクチャとするよりも符号化効率が高くなる。理由は、図５（ａ）及び図５（ｂ）で説明した場合と同様に、第３フレームをＢピクチャとした場合には、第１フィールドでも第２フィールドでも符号化効率が高くなる同じコマの画像を参照することができるからである。特に第３フレームの第１フィールドであるＢフィールドでは、第２フレームの第１フィールドを参照することにより、同じコマの同じフィールドの全く同じ画像を参照することができる。また、第３フレームの第２フィールドでも、フィールドは異なるが同じコマの画像を参照することができる。これに対し、第３フレームをＢｒピクチャとした場合には、第２フィールドでは第３フレームをＢピクチャとした場合と同程度の符号化効率の高さを達成できるが、第１フィールドでは同じコマの画像を参照できないため符号化効率が低くなるからである。

なお、上記のようにフィールド間の参照関係のパターンに応じて符号化効率が変化するのは、２−３プルダウンの場合に限らず、例えば、画面を大きな物体が横切ったような場合や、放送画像のように画像データにＭＰＥＧ２のノイズが混じている場合などが考えられる。

図７は、インタレース方式によるフィールドピクチャ構造で符号化した場合の２枚のＰフレームに挟まれる２枚のＢフレームのうちの２枚目（ピクチャ７５とピクチャ７６）を、ＢｒフィールドまたはＢフィールドのどちらのフィールドのペアとするかを決定する場合を例として示す図である。図８は、図７に示したピクチャ７５とピクチャ７６とのピクチャタイプを決定するためにピクチャ間の相関度を比較する場合の比較パターンの一例を示す図である。画像特徴量抽出部６１は、「符号化対象ピクチャ及び前記符号化対象ピクチャと特定の関係にあるピクチャの特徴量を抽出する特徴量抽出手段」、「前記符号化対象ピクチャである符号化対象フレームの第１フィールドと、前記符号化対象フレームの第２フィールドと、前記符号化対象フレームの直前に符号化されたフレームの第２フィールドとのそれぞれの特徴量を抽出する前記特徴量抽出手段」および「前記符号化対象フレームの直前に符号化されたフレームの第２フィールド、前記符号化対象フレームの第１フィールド、および前記符号化対象フレームの第２フィールドの各特徴量として、各前記フィールド内の画素の輝度総和を算出する前記特徴量抽出手段」の一例であり、画像特徴量抽出部６１は、符号化対象ピクチャである第３フレームの直近に符号した画像（第２フレーム）の第２フィールド（ピクチャ７４）と、符号化対象ピクチャの画像データ（ピクチャ７５とピクチャ７６とのフィールドペア）を入力として、フィールド毎の特徴量を算出する。ここで、特徴量は、各フィールドの輝度総和とする。また、各フィールドの輝度総和をＳＵＭ＿Ｌ（ピクチャ７４）、ＳＵＭ＿Ｌ（ピクチャ７５）、ＳＵＭ＿Ｌ（ピクチャ７６）とする。各フィールドの輝度総和ＳＵＭ＿Ｌ（）は、以下の式から算出される。

ここで、Ｗは画像の水平サイズ、Ｈは垂直サイズを表す。

相関度算出部６２は、「前記特徴量抽出手段によって算出された前記特徴量から、前記ピクチャ間の画像の類似の度合いを示す相関度を算出する相関度算出手段」、「前記相関度算出手段は、特徴量が算出された各前記フィールドのうちの前記符号化対象フレームに属する特定の１つと残りの２つのフィールドそれぞれとの間で、画像の類似の度合いが高いほど小さい値となる２つの相関度を算出する前記相関度算出手段」、「前記符号化対象フレームの前記第１フィールドとその直前に符号化されたフレームの第２フィールドとの間の相関度である第１の相関度と、前記符号化対象フレームの前記第１フィールドと前記符号化対象フレームの前記第２フィールドとの間の相関度である第２の相関度とを算出する前記相関度算出手段」および「２つの前記相関度として、対応する前記フィールド間の前記輝度総和の差分値、または、前記輝度総和の差分の絶対値を算出する前記相関度算出手段」の一例であり、画像特徴量抽出部６１で算出されたフィールド輝度総和（ＳＵＭ＿Ｌ（ピクチャ７４）、ＳＵＭ＿Ｌ（ピクチャ７５）、ＳＵＭ＿Ｌ（ピクチャ７６））を用いてフィールド間の相関度を求める。ここでは、符号化対象ピクチャの直近に符号化したフレームの第２フィールド（ピクチャ７４）と符号化対象ピクチャの第１フィールド（ピクチャ７５）間の相関度Ａと、符号化対象ピクチャの第１フィールド（ピクチャ７５）と第２フィールド（ピクチャ７６）間の相関度Ｂを求める。相関度を計る値として、輝度総和の差の絶対値を用いる。

相関度Ａ＝ ｜ＳＵＭ＿Ｌ（ピクチャ７４）−ＳＵＭ＿Ｌ（ピクチャ７５）｜
相関度Ｂ＝ ｜ＳＵＭ＿Ｌ（ピクチャ７５）−ＳＵＭ＿Ｌ（ピクチャ７６）｜

この相関度Ａ、Ｂは、ピクチャ間の画像の差異の大きさを表し、値が小さい程、２つのピクチャ間の相関が強く、値が大きい程、相関が弱いと判断する。

次に、ピクチャタイプ決定部６３は、「前記相関度により前記符号化対象ピクチャのピクチャタイプを、異なる画面間予測を行う２種類のピクチャタイプのうちから決定するピクチャタイプ決定手段」、「２つの前記相関度のうち、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプを他のピクチャから参照可能なＢｒピクチャと決定し、それ以外のとき、他のピクチャから参照されないＢピクチャと決定する前記ピクチャタイプ決定手段」、「前記ピクチャタイプ決定手段は、前記相関度算出手段によって算出された第１の相関度と第２の相関度とを比較し、前記比較の結果、前記第２の相関度が前記第１の相関度より小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する」、「前記相関度算出手段によって算出された２つの前記相関度の差または比を算出して、前記算出値と所定の閾値とを比較し、前記比較の結果、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する前記ピクチャタイプ決定手段」および「算出された前記相関度に応じて、表示順でＩピクチャとＰピクチャ又は２枚のＰピクチャの間に挟まれる２枚のＢピクチャのうちの２枚目について、Ｂｒピクチャにするか、Ｂピクチャにするかを決定する前記ピクチャタイプ決定手段」の一例であり、相関度Ａと相関度Ｂとを用いて、ピクチャ７５とピクチャ７６の符号化ピクチャタイプを決定する。相関度Ａが相関度Ｂより小さい場合、ピクチャ７５とピクチャ７６の符号化ピクチャタイプをＢピクチャとする。逆に、相関度Ｂが相関度Ａより小さい場合、Ｂｒピクチャとする。相関度Ａは、第２フレームの第２フィールドと第３フレームの第１フィールドとの相関の度合いを表しており、相関度Ａが小さいときは、直前の第２フレームのＢｒフィールドを参照するＢフィールドの符号化効率が高くなるからである。また、相関度Ｂは、第３フレームの第１フィールドと第２フィールドとの相関の度合いを表しており、相関度Ｂが小さいときは、同一フレーム内のフィールドペアの他方を参照するＢｒフィールドの符号化効率が高くなるからである。

符号化ピクチャタイプ＝Ｂピクチャ （相関度Ａ＜＝相関度Ｂ）の場合
＝Ｂｒピクチャ それ以外の場合

言い換えると、ピクチャ７４とピクチャ７５の相関が、ピクチャ７５とピクチャ７６の相関より強い場合には、Ｂピクチャとし、その逆の場合には、Ｂｒピクチャとして符号化する。

例えば、図２（ａ）及び図２（ｂ）に示した２−３プルダウンでのフィールド割り当てでは、ピクチャ７５とピクチャ７６は同じコマの画像であり、ピクチャ７４とピクチャ７５は異なるコマの画像である。従って、ピクチャ７５とピクチャ７６との相関度である相関度Ｂの方が、ピクチャ７４とピクチャ７５との相関度である相関度Ａ以下になるはずであるので、第３フレームのピクチャタイプはＢｒピクチャとして符号化される。

また、図３（ａ）及び図３（ｂ）に示した２−３プルダウンでのフィールド割り当てでは、ピクチャ７５とピクチャ７６とが同じコマの画像であり、ピクチャ７４とピクチャ７５は異なるコマの画像である。従って、ピクチャ７５とピクチャ７６との相関度である相関度Ｂの方が、ピクチャ７４とピクチャ７５との相関度である相関度Ａの値以下になるので、第３フレームのピクチャタイプはＢｒピクチャとして符号化される。

また、図４（ａ）及び図４（ｂ）に示した２−３プルダウンでのフィールド割り当てでは、ピクチャ７４とピクチャ７５とピクチャ７６とがすべて同じコマの画像である。従って、ピクチャ７５とピクチャ７６との相関度である相関度Ｂと、ピクチャ７４とピクチャ７５との相関度である相関度Ａとは同じ値になるので、第３フレームのピクチャタイプはＢピクチャとして符号化される。

さらに、図５（ａ）及び図５（ｂ）に示した２−３プルダウンでのフィールド割り当てでは、ピクチャ７４とピクチャ７５とが同じコマの画像であり、ピクチャ７５とピクチャ７６とは異なるコマの画像である。従って、ピクチャ７５とピクチャ７６との相関度である相関度Ｂの方が、ピクチャ７４とピクチャ７５との相関度である相関度Ａよりも大きくなるので、第３フレームのピクチャタイプはＢピクチャとして符号化される。

また、図６（ａ）及び図６（ｂ）に示した２−３プルダウンでのフィールド割り当てでは、ピクチャ７４とピクチャ７５とが同じコマの画像であり、ピクチャ７５とピクチャ７６とは異なるコマの画像である。従って、ピクチャ７５とピクチャ７６との相関度である相関度Ｂの方が、ピクチャ７４とピクチャ７５との相関度である相関度Ａよりも大きくなるので、第３フレームのピクチャタイプはＢピクチャとして符号化される。

ここで、相関度の小さな差でピクチャタイプの判定が変わらないように、ある閾値を用いて、相関度Ａと相関度Ｂの差を閾値と比較して、ピクチャタイプをＢピクチャとするか否かを判定してもよい。

符号化ピクチャタイプ＝Ｂピクチャ （（相関度Ｂ−相関度Ａ）＞＝閾値）の場合
＝Ｂｒピクチャ それ以外の場合

さらに、符号化部６４は、「決定されたピクチャタイプで前記符号化対象ピクチャを符号化する符号化手段」の一例であり、ピクチャタイプ決定部６３で決定されたピクチャタイプに応じて、ピクチャ７５、ピクチャ７６をＨ．２６４に従った方式で符号化する。

このように相関度を用いて、ピクチャタイプをＢｒピクチャにするかまたはＢピクチャにするかを選択して符号化することにより、最適な参照画像をピクチャごとに選択することが可能となり、符号化効率を向上させることができる。

（実施の形態２）
実施の形態２の画像符号化装置の構成は、実施の形態１と同様である。しかしながら、本実施の形態２では各画素の差分絶対値和を相関度として算出する点が実施の形態１と異なるため、画像特徴量抽出部６１と相関度算出部６２の動作が異なる。

画像特徴量抽出部６１は、「前記符号化対象フレームの直前に符号化されたフレームの第２フィールド、前記符号化対象フレームの第１フィールド及び前記符号化対象フィールドの第２フィールドの各特徴量として、各前記フィールドの画素ごとの輝度を算出する前記特徴量抽出手段」の一例であり、ピクチャの画素ごとの輝度値を抽出する。相関度算出部６２は、「２つの前記相関度として、対応する前記フィールド同士の同位置画素間の輝度差の総和、または対応する前記フィールド同士の同位置画素間の輝度差の絶対値総和を算出する前記相関度算出手段」の一例であり、相関度を計る値として、画素毎の差分絶対値和を算出する。

相関度を表すために画素毎の差分絶対値和を用いることにより、ピクチャ間での画像の変化などが相関度に反映されることになり、相関度の精度が向上する。

なお、本実施の形態２においても、相関度の小さな差でピクチャタイプの判定が変わらないように、相関度Ａと相関度Ｂの差を閾値と比較して、ピクチャタイプをＢピクチャとするか否かを判定してもよい。

（実施の形態３）
実施の形態３の画像符号化装置の構成は、実施の形態１、２と同様である。しかしながら、相関度算出部６２、ピクチャタイプ決定部６３が相関を求めるフィールド同士の関係が異なる。

図９は、図７に示したピクチャ７５とピクチャ７６とのピクチャタイプを決定するためにピクチャ間の相関度を比較する場合の比較パターンの他の例を示す図である。相関度算出部６２は、「前記符号化対象フレームの前記第２フィールドとその直前に符号化されたフレームの第２フィールドとの間の相関度である第３の相関度と、前記符号化対象フレームの前記第２フィールドと前記符号化対象フレームの前記第１フィールドとの間の相関度である第４の相関度とを算出する前記相関度算出手段」の一例であり、直近に符号化した画像（図９の第２フレーム）の第２フィールド（ピクチャ７４）と符号化対象フレームの第２フィールド（ピクチャ７６）との間の相関度Ａと、符号化対象フレームの第１フィールド（ピクチャ７５）と第２フィールド（ピクチャ７６）との間の相関度Ｂを求める。

ピクチャタイプ決定部６３は、「前記相関度算出手段によって算出された第３の相関度と第４の相関度とを比較し、前記比較の結果、前記第４の相関度が前記第３の相関度より小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する前記ピクチャタイプ決定手段」の一例であり、ピクチャタイプ決定部６３は、相関度Ａが相関度Ｂより小さい場合、ピクチャ７５とピクチャ７６の符号化ピクチャタイプをＢピクチャとする。逆に、相関度Ｂが相関度Ａより小さい場合、Ｂｒピクチャとする。

なお、相関度Ａ及び相関度Ｂの算出方法は、実施の形態１で説明した方法であってもよいし、実施の形態２の方法であってもよい。

（実施の形態４）
実施の形態４の画像符号化装置の構成は、実施の形態１、２、３と同様である。しかしながら、ピクチャタイプ決定部６３のピクチャタイプの判定式が異なる。

ピクチャタイプ決定部６３は、「前記相関度算出手段によって算出された２つの前記相関度の差または比を算出して、前記算出値と所定の閾値とを比較し、前記比較の結果、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する前記ピクチャタイプ決定手段」の一例であり、相関度Ａと相関度Ｂとの比率を用いてピクチャタイプを決定する。相関度Ａと相関度Ｂの比率がある閾値より小さい場合、ピクチャ７５とピクチャ７６の符号化ピクチャタイプをＢピクチャとする。逆に、大きい場合、Ｂｒピクチャとする。なお、閾値は、１以上の値とする。また、以下の式において、相関度Ｂに閾値を乗算するだけでなく、オフセットを加算するとしてもよい。

符号化ピクチャタイプ＝Ｂピクチャ （相関度Ａ＜＝相関度Ｂ＊閾値）の場合
＝Ｂｒピクチャ それ以外の場合

以上のように、上記実施の形態１〜４によれば、２枚のＩ又はＰフレームで挟まれた２枚のＢフレームのうち、２枚目のＢフレームに含まれるフィールドペアをＢピクチャとするかＢｒピクチャとするかを、ピクチャ間の相関度に応じて、適応的にしかも多様な方法で選択することができるので、最適な参照画像を選択し、符号化効率を向上することができる。

なお、上記実施の形態１〜４では、インタレース方式による符号化で、第１フィールドを第２フィールドよりも先に符号化する場合を例に説明したが、第１フィールドよりも第２フィールドの方を先に符号化する場合でも、上記ピクチャタイプ決定方法を適用することができる。

また、上記実施の形態１〜４では、連続する２枚のＢフレームのうちの２枚目のＢフレームについてのみ、ＢピクチャとするかＢｒピクチャとするかを判定したが、本発明はこれに限定されず、１枚目のＢｒピクチャについても上記判定を行い、ピクチャタイプを決定するようにしてもよい。

なお、上記実施の形態１〜４は、どのように組み合わせて使用してもよい。
なお、ブロック図（図１など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明は、画像符号化装置および画像符号化方法に適用でき、特に、通信機能を備えるパーソナルコンピュータ、ＰＤＡ（Personal Digital Assistants）、携帯電話機およびデジタル放送の放送局等に適用できる。

本発明の実施の形態１、２、３及び４に係る画像符号化装置の構成を示すブロック図である。 （ａ）は、映画フィルムの第１コマがテレビ画像の第１フレームに、第２コマがテレビ画像の第２フレームに、第３コマがテレビ画像の第３フレーム及び第４フレームの第１フィールドに割り当てられる場合で、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図２（ａ）と同じで、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。 （ａ）は、映画フィルムの図示しない第１コマがテレビ画像の第１フレームの第１フィールドに、第２コマがテレビ画像の第１フレームの第２フィールドと第２フレームに、第３コマがテレビ画像の第３フレームに、第４コマがテレビ画像の第４フレーム及び第５フレームの第１フィールドに割り当てられる場合で、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図３（ａ）と同じで、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。 （ａ）は、映画フィルムの図示しない第１コマがテレビ画像の第１フレームの第１フィールドに、第２コマがテレビ画像の第１フレームの第２フィールドであるＰフィールドと第２フレームの第１フィールドであるＢｒフィールドに、第３コマがテレビ画像の第２フレームの第２フィールドであるＢｒフィールド及び第３フレームのフィールドペアであるＢフィールドに、図示しない第４コマがテレビ画像の第４フレームのフィールドペアであるＰフィールドに割り当てられる場合で、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図４（ａ）と同じで、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。 （ａ）は、映画フィルムの第１コマがテレビ画像の第１フレームのフィールドペアであるＩ（又はＰ）フィールド及びＰフィールドと第２フレームの第１フィールドであるＢｒフィールドとに割り当てられ、第２コマがテレビ画像の第２フレームの第２フィールドであるＢｒフィールドと第３フレームの第１フィールドであるＢフィールドに、第３コマがテレビ画像の第３フレームの第２フィールドであるＢフィールドと第４フレームのフィールドペアである２枚のＰフィールドに割り当てられる場合で、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図５（ａ）と同じで、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。 （ａ）は、映画フィルムの第１コマがテレビ画像の第１フレームのフィールドペアであるＩ（又はＰ）フィールド及びＰフィールドに割り当てられ、第２コマがテレビ画像の第２フレームのフィールドペアと第３フレームの第１フィールドであるＢフィールドとに割り当てられ、第３コマがテレビ画像の第３フレームの第２フィールドであるＢフィールドと第４フレームの第１フィールドであるＰフィールドとに割り当てられる場合で、テレビ画像の第３フレームがＢピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。（ｂ）は、映画フィルムの各コマに対するテレビ画像のフィールドの割り当て方は図６（ａ）と同じで、テレビ画像の第３フレームがＢｒピクチャのときの第３フレームの各フィールドペアの参照関係及び符号化効率を示す図である。 インタレース方式によるフィールドピクチャ構造で符号化した場合の２枚のＰフレームに挟まれる２枚のＢフレームのうちの２枚目（ピクチャ７５とピクチャ７６）を、ＢｒフィールドまたはＢフィールドのどちらのフィールドのペアとするかを決定する場合を例として示す図である。 図７に示したピクチャ７５とピクチャ７６とのピクチャタイプを決定するためにピクチャ間の相関度を比較する場合の比較パターンの一例を示す図である。 図７に示したピクチャ７５とピクチャ７６とのピクチャタイプを決定するためにピクチャ間の相関度を比較する場合の比較パターンの他の例を示す図である。 プログレッシブ方式の符号化で、Ｂｒピクチャを利用しない場合のＢピクチャの参照関係の一例を示す図である。 プログレッシブ方式の符号化で、Ｂｒピクチャを利用した場合のＢピクチャの参照関係の一例を示す図である。 フィールドピクチャ構造で、表示順がＰ→Ｂｒ→Ｂｒ→Ｐとなるように符号化した場合の参照関係の一例を示す図である。 Ｂｒピクチャの参照関係に制約を設けた場合のＢｒピクチャの参照関係の一例を示す図である。 Ｂピクチャの参照関係に制約を設けた場合のＢピクチャの参照関係の一例を示す図である。

符号の説明

６１ 画像特徴量抽出部
６２ 相関度算出部
６３ ピクチャタイプ決定部
６４ 符号化部
７１〜７８ ピクチャ

Claims (11)

1. 画面間予測を用いて画像を符号化する画像符号化装置であって、
   符号化対象ピクチャ及び前記符号化対象ピクチャと特定の関係にあるピクチャの特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段によって算出された前記特徴量から、前記ピクチャ間の画像の類似の度合いを示す相関度を算出する相関度算出手段と、
   前記相関度により前記符号化対象ピクチャのピクチャタイプを、異なる画面間予測を行う２種類のピクチャタイプのうちから決定するピクチャタイプ決定手段と、
   決定されたピクチャタイプで前記符号化対象ピクチャを符号化する符号化手段と
   を備えることを特徴とする画像符号化装置。
2. 前記特徴量抽出手段は、前記符号化対象ピクチャである符号化対象フレームの第１フィールドと、前記符号化対象フレームの第２フィールドと、前記符号化対象フレームの直前に符号化されたフレームの第２フィールドとのそれぞれの特徴量を抽出し、
   前記相関度算出手段は、特徴量が算出された各前記フィールドのうちで前記符号化対象フレームに属する１つと残りの２つのフィールドそれぞれとの間で、画像の類似の度合いが高いほど小さい値となる２つの相関度を算出し、
   前記ピクチャタイプ決定手段は、２つの前記相関度のうち、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプを他のピクチャから参照可能なＢｒピクチャと決定し、それ以外のとき、他のピクチャから参照されないＢピクチャと決定する
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記相関度算出手段は、前記符号化対象フレームの前記第１フィールドとその直前に符号化されたフレームの第２フィールドとの間の相関度である第１の相関度と、前記符号化対象フレームの前記第１フィールドと前記符号化対象フレームの前記第２フィールドとの間の相関度である第２の相関度とを算出し、
   前記ピクチャタイプ決定手段は、前記相関度算出手段によって算出された第１の相関度と第２の相関度とを比較し、前記比較の結果、前記第２の相関度が前記第１の相関度より小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する
   ことを特徴とする請求項２記載の画像符号化装置。
4. 前記相関度算出手段は、前記符号化対象フレームの前記第２フィールドとその直前に符号化されたフレームの第２フィールドとの間の相関度である第３の相関度と、前記符号化対象フレームの前記第２フィールドと前記符号化対象フレームの前記第１フィールドとの間の相関度である第４の相関度とを算出し、
   前記ピクチャタイプ決定手段は、前記相関度算出手段によって算出された第３の相関度と第４の相関度とを比較し、前記比較の結果、前記第４の相関度が前記第３の相関度より小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する
   ことを特徴とする請求項２記載の画像符号化装置。
5. 前記ピクチャタイプ決定手段は、前記相関度算出手段によって算出された２つの前記相関度の差または比を算出して、算出された差または比と所定の閾値とを比較し、前記比較の結果、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する
   ことを特徴とする請求項２記載の画像符号化装置。
6. 前記特徴量抽出手段は、前記符号化対象フレームの直前に符号化されたフレームの第２フィールド、前記符号化対象フレームの第１フィールド、および前記符号化対象フレームの第２フィールドの各特徴量として、各前記フィールド内の画素の輝度総和を算出し、
   前記相関度算出手段は、２つの前記相関度として、対応する前記フィールド間の前記輝度総和の差分値、または、前記輝度総和の差分の絶対値を算出し、
   前記ピクチャタイプ決定手段は、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する
   ことを特徴とする請求項２記載の画像符号化装置。
7. 前記特徴量抽出手段は、前記符号化対象フレームの直前に符号化されたフレームの第２フィールド、前記符号化対象フレームの第１フィールド及び前記符号化対象フィールドの第２フィールドの各特徴量として、各前記フィールドの画素ごとの輝度を算出し、
   前記相関度算出手段は、２つの前記相関度として、対応する前記フィールド同士の同位置画素間の輝度差の総和、または対応する前記フィールド同士の同位置画素間の輝度差の絶対値総和を算出し、
   前記ピクチャタイプ決定手段は、同じフレームに属するフィールド間の前記相関度が、異なるフレームに属するフィールド間の前記相関度よりも小さいとき、前記符号化対象フレームのピクチャタイプをＢｒピクチャと決定する
   ことを特徴とする請求項２記載の画像符号化装置。
8. 前記ピクチャタイプ決定手段は、算出された前記相関度に応じて、表示順でＩピクチャとＰピクチャ又は２枚のＰピクチャの間に挟まれる２枚のＢピクチャのうちの２枚目について、Ｂｒピクチャにするか、Ｂピクチャにするかを決定する
   ことを特徴とする請求項１記載の画像符号化装置。
9. 画面間予測を用いて画像を符号化する画像符号化方法であって、
   特徴量抽出手段が符号化対象ピクチャ及び前記符号化対象ピクチャと特定の関係にあるピクチャの特徴量を抽出する特徴量抽出ステップと、
   相関度算出手段が、前記特徴量抽出手段によって算出された前記特徴量から、前記ピクチャ間の画像の類似の度合いを示す相関度を算出する相関度算出ステップと、
   ピクチャタイプ決定手段が、前記相関度により前記符号化対象ピクチャのピクチャタイプを、異なる画面間予測を行う２種類のピクチャタイプのうちから決定するピクチャタイプ決定ステップと、
   符号化手段が、決定されたピクチャタイプで前記符号化対象ピクチャを符号化する符号化ステップと
   を含むことを特徴とする画像符号化方法。
10. 画面間予測を用いて画像を符号化する画像符号化装置のためのプログラムであって、コンピュータに、
    特徴量抽出手段が符号化対象ピクチャ及び前記符号化対象ピクチャと特定の関係にあるピクチャの特徴量を抽出する特徴量抽出ステップと、相関度算出手段が、前記特徴量抽出手段によって算出された前記特徴量から、前記ピクチャ間の画像の類似の度合いを示す相関度を算出する相関度算出ステップと、ピクチャタイプ決定手段が、前記相関度により前記符号化対象ピクチャのピクチャタイプを、異なる画面間予測を行う２種類のピクチャタイプのうちから決定するピクチャタイプ決定ステップと、符号化手段が、決定されたピクチャタイプで前記符号化対象ピクチャを符号化する符号化ステップとを実行させるプログラム。
11. 画面間予測を用いて画像を符号化する集積回路であって、
    符号化対象ピクチャ及び前記符号化対象ピクチャと特定の関係にあるピクチャの特徴量を抽出する特徴量抽出手段と、
    前記特徴量抽出手段によって算出された前記特徴量から、前記ピクチャ間の画像の類似の度合いを示す相関度を算出する相関度算出手段と、
    前記相関度により前記符号化対象ピクチャのピクチャタイプを、異なる画面間予測を行う２種類のピクチャタイプのうちから決定するピクチャタイプ決定手段と、
    決定されたピクチャタイプで前記符号化対象ピクチャを符号化する符号化手段と
    を備えることを特徴とする集積回路。

Images