JP2010016806A - フレーム符号化とフィールド符号化の判定方法、画像符号化方法、画像符号化装置およびプログラム - Google Patents

Abstract

【課題】動き補償の処理量を増加させずに、フレーム符号化とフィールド符号化の判定精度を高める方法を提供する。
【解決手段】フレーム符号化とフィールド符号化の判定方法は、参照ピクチャにおいて符号化対象ブロックに対応する対応ブロックを特定する対応ブロック特定ステップ（Ｓ１２）と、特定された対応ブロックに基づいて判定指標を取得する判定指標取得ステップ（Ｓ１３）と、取得された判定指標に応じて符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する判定ステップ（Ｓ１４）とを含む。
【選択図】図４

Description

本発明は、ブロック単位でフィールド符号化とフレーム符号化を切り替えてピクチャを符号化する動画像符号化におけるフレーム符号化とフィールド符号化の判定方法に関する。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声およびテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをデジタル化することにより、統一的にメディアを扱うことが可能になる。しかしながら、デジタル化された画像は膨大なデータ量を持つため、蓄積または伝送のためには、画像の情報圧縮技術が不可欠である。

その一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、例えば、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ／ＩＥＣ（国際標準化機構国際電気標準会議）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、および、ＭＰＥＧ−４などがある。また、ＩＴＵ−ＴとＭＰＥＧの合同であるＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）により現在標準化が進められているＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がある。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは、１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。

インタレース画像の符号化処理においては、１つのフレームをフレーム構造のまま符号化したり、２つのフィールド構造として独立に符号化したり、フレーム内のブロック毎にフレーム構造またはフィールド構造を切り替えて符号化できる（例えば、特許文献１参照）。なお、フレーム構造として符号化することを、フレーム符号化と呼ぶ。フィールド構造として符号化することを、フィールド符号化と呼ぶ。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚の参照画像のみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚の参照画像を参照して画面間予測符号化を行うことができるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方および後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像または参照画像を含むピクチャである参照ピクチャは、符号化の基本単位であるマクロブロックごとに指定することができる。ただし、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。

ＰピクチャおよびＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを「動きベクトル」と呼ぶ。）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

図１９は、上記特許文献１の画像符号化装置の構成図である。

画像符号化装置９００は、ＰピクチャまたはＢピクチャのブロック単位に、フィールド符号化とフレーム符号化の判定をする符号化装置である。なお、フィールド符号化とフレーム符号化の判定は、フィールドフレーム判定と呼ばれる場合がある。

画像符号化装置９００は、指標生成部９０２、フィールドフレーム判定部９０４、スイッチ９０５、符号化部９０７、復号化部９０９、参照ピクチャメモリ９１０、フィールド符号化用動き補償部９１１、フレーム符号化用動き補償部９１３、フィールド符号化用減算部９１５およびフレーム符号化用減算部９１６を備える。

指標生成部９０２は、ブロックに分割された入力映像信号９０１を取得し、入力映像信号９０１の性質に基づき、フィールド符号化がよいかフレーム符号化がよいかを示す判定指標Ｘを生成する。

判定指標Ｘは、フィールド構造の場合の垂直隣接画素差分の大きさと、フレーム構造の場合の垂直隣接画素差分の大きさとを比較することで得られる。判定指標の基となる誤差の演算は、垂直隣接画素差分に限らず、二乗誤差でもよいし、垂直方向のＤＣＴ変換やアダマール変換の高域成分の大きさでも同様である。ここでは判定指標Ｘが正の場合にフィールド符号化が適していることとして説明するが、判定指標Ｘが負の場合にフィールド符号化が適していると読み替えても発明の本質は変わらない。

フィールドフレーム判定部９０４は、判定指標Ｘを入力として、正であればフィールド符号化、正でなければフレーム符号化を選択するようにスイッチ９０５を制御する。

スイッチ９０５は、指標生成部９０２で生成された判定指標Ｘに基づいて、入力映像信号９０１を、フィールド符号化用減算部９１５またはフレーム符号化用減算部９１６へ出力する。

フィールド符号化用減算部９１５は、フィールド符号化用動き補償映像信号９１２を入力映像信号９０１より減算し、減算結果である残差信号９０６を符号化部９０７へ出力する。

フレーム符号化用減算部９１６は、フレーム符号化用動き補償映像信号９１４を入力映像信号９０１より減算し、減算結果である残差信号９０６を符号化部９０７へ出力する。

符号化部９０７は、残差信号９０６に対して、直交変換、量子化および可変符号化を行い、符号化データ９０８を出力する。さらに、符号化部９０７は、符号化データ９０８を復号化部９０９へ出力する。

復号化部９０９は、符号化データ９０８を復号して、復号した結果を参照ピクチャの映像信号として参照ピクチャメモリ９１０に格納する。

参照ピクチャメモリ９１０は、時間の異なる複数のピクチャを格納できる構造となっている。参照ピクチャメモリに格納されたピクチャは、入力映像信号９０１に対応する時間と異なる時間に対応する参照ピクチャとして参照される。

フィールド符号化用動き補償部９１１は、参照ピクチャメモリ９１０に格納された参照ピクチャを参照し、フィールド符号化用動き補償映像信号９１２を出力する。

フレーム符号化用動き補償部９１３は、参照ピクチャメモリ９１０に格納された参照ピクチャを参照し、フレーム符号化用動き補償映像信号９１４を出力する。

図２０は、図１９に示された特許文献１記載の画像符号化装置におけるフィールドフレーム判定方法を示すフローチャートである。

はじめに、指標生成部９０２は、入力された映像信号の現在のフレームの現在のブロックの判定指標Ｘを算出する（Ｓ９１）。

次に、フィールドフレーム判定部９０４は、判定指標Ｘに基づいて、フィールド符号化するか、または、フレーム符号化するかを決定する（Ｓ９２）。

特許第２９９１８３３号公報

しかしながら、上記特許文献１の画像符号化装置では、フレーム符号化とフィールド符号化の判定精度が低く、圧縮率を向上することができないという問題点がある。以下、具体的に説明する。

圧縮効率を高めるためには、残差信号９０６の大きさを小さくすることが一つの方法である。残差信号９０６は、入力映像信号９０１とフィールド符号化用動き補償映像信号９１２またはフレーム符号化用動き補償映像信号９１４との差分である。しかしながら、入力映像信号９０１による判定では、その差分を十分に小さくすることができない。

これを解決するための一つの方法として、フィールド符号化用動き補償部９１１とフレーム符号化用動き補償部９１３の双方を動作させ、それぞれの残差信号９０６の大きさを比較して、残差信号９０６が小さい方を選択する構成が考えられる。しかし、動き補償部では二次元のフィルタをブロック内の画素に適用する必要があり、フィールド符号化用動き補償部９１１およびフレーム符号化用動き補償部９１３による動き補償の処理量は一般的には大きいため、それらの動き補償部をともに動作させると、動き補償の処理量が非常に増加してしまう。

そこで、本発明は、上記の背景を鑑みて、ＰピクチャまたはＢピクチャにおけるブロック単位のフレーム符号化とフィールド符号化の判定において、動き補償の処理量を増加させずに、判定精度を高める方法を提供することを目的とする。

上記課題を解決するために、本発明によるフィールド符号化とフレーム符号化の判定方法は、ブロック単位でフレーム符号化とフィールド符号化とを切り替えて符号化する動画像符号化におけるフレーム符号化とフィールド符号化の判定方法であって、符号化対象ブロックの符号化において参照される第１の参照ピクチャにおいて、当該符号化対象ブロックに対応する第１対応ブロックを特定する第１対応ブロック特定ステップと、前記第１対応ブロック特定ステップにより特定された第１対応ブロックに基づいて、前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第１判定指標を取得する第１判定指標取得ステップと、前記第１判定指標取得ステップにより取得された第１判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する判定ステップとを含む。

これによって、参照ピクチャのブロックに基づいて判定されるため、動き補償の処理量を増加させずに、判定精度を高めることができる。

また、前記第１対応ブロック特定ステップでは、前記符号化対象ブロックのピクチャ内の位置と同じ位置にあるブロックを第１対応ブロックとして特定してもよい。

これによって、フィールドフレーム判定における処理量を削減できる。

また、前記第１判定指標取得ステップでは、前記第１対応ブロック内の垂直方向の画素値の変化量を示す値を前記第１判定指標として取得してもよい。

また、前記第１判定指標取得ステップでは、前記第１対応ブロック内の垂直方向に隣接する各２画素の画素値の差分と、前記第１対応ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分とから計算処理により求められる値を前記第１判定指標として取得し、前記判定ステップでは、前記第１判定指標として示される値が、前記第１対応ブロック内の垂直方向に隣接する各２画素の画素値の差分が前記第１対応ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分より小さいことを示していれば、フレーム符号化と判定してもよい。

これらによって、フィールド符号化またはフレーム符号化の適性を示す判定指標を具体的な数値として得ることができる。

また、前記第１判定指標取得ステップでは、前記第１判定指標として、前記第１対応ブロックの画像が静止しているか否かを示すフラグを取得し、前記判定ステップでは、前記第１判定指標取得ステップにより取得された前記フラグが静止していることを示していれば、フレーム符号化と判定してもよい。

これによって、フィールド符号化またはフレーム符号化の適性を示す判定指標をフィールド符号化またはフレーム符号化のいずれかを示すフラグとして得ることができる。

また、前記フレーム符号化とフィールド符号化の判定方法では、さらに、前記符号化対象ブロックの画像に基づいて前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第２判定指標を取得する第２判定指標取得ステップを含み、前記判定ステップでは、前記第１判定指標と前記第２判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定してもよい。

これによって、符号化対象ブロックと参照ピクチャのブロックの両方が考慮されるため、フィールドフレーム判定の性能をさらに向上させることができる。

また、前記第２判定指標取得ステップでは、前記第１判定指標取得ステップが前記第１判定指標を取得するときに前記第１対応ブロックに対して行う処理と同じ処理を前記符号化対象ブロックに対して行うことにより前記第２判定指標を取得してもよい。

これによって、容易に判定指標を得ることができる。

また、前記フレーム符号化とフィールド符号化の判定方法は、さらに、前記第２判定指標取得ステップによって、符号化対象のブロックに基づいて取得された前記第２判定指標を当該ブロックに対応づけて記憶領域に格納する指標格納ステップを含み、前記第１対応ブロック特定ステップでは、前記記憶領域に既に格納されている複数の第２判定指標のそれぞれに対応づけた複数のブロックから、前記第１対応ブロックを特定し、前記第１判定指標取得ステップでは、前記記憶領域に既に格納されている複数の第２判定指標から、前記第１対応ブロックに対応する第２判定指標を前記第１判定指標として取得してもよい。

これによって、第１判定指標を得るときに発生する処理量を抑制することができる。

また、前記判定ステップでは、前記第１判定指標と前記第２判定指標に重み付けをして演算処理した結果から前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定してもよい。

これによって、符号化対象ブロックと参照ピクチャのブロックのいずれかから得られる判定指標を優先して、判定することができる。

また、前記フレーム符号化とフィールド符号化の判定方法は、さらに、符号化対象ブロックの符号化において参照される第２の参照ピクチャから、当該符号化対象ブロックに対応する第２対応ブロックを特定する第２対応ブロック特定ステップと、前記第２対応ブロック特定ステップにより特定された第２対応ブロックに基づいて前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第３判定指標を取得する第３判定指標取得ステップとを含み、前記判定ステップでは、前記第１判定指標と前記第３判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定してもよい。

これによって、２つの参照ピクチャのブロックから得られる判定指標に基づいて、判定されるため、フィールドフレーム判定の精度が向上する。

また、前記判定ステップでは、前記第１の参照ピクチャが前記第２の参照ピクチャより前記符号化対象ブロックを含むピクチャから時間的に近い関係にある場合に、前記第１判定指標に前記第３判定指標より大きな重み付けをして演算処理した結果から前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定してもよい。

これによって、時間的に近い参照ピクチャのブロックから得られる判定指標を優先して判定するため、フィールドフレーム判定の精度が向上する。

また、前記第１判定指標取得ステップでは、前記第１判定指標として、前記第１対応ブロックの画像が静止しているか否かを示す第１フラグを取得し、前記第３判定指標取得ステップでは、前記第３判定指標として、前記第２対応ブロックの画像が静止しているか否かを示す第２フラグを取得し、前記判定ステップでは、前記第１の参照ピクチャが前記第２の参照ピクチャより前記符号化対象ブロックを含むピクチャから時間的に近い関係にある場合で、かつ、前記第１フラグが静止していることを示している場合は、フレーム符号化と判定し、前記第１の参照ピクチャが前記第２の参照ピクチャより前記符号化対象ブロックを含むピクチャから時間的に近い関係にある場合で、かつ、前記第１フラグが静止していることを示していない場合は、フィールド符号化と判定してもよい。

これによって、２つの参照ピクチャのブロックから得られる２つのフラグに基づいて判定することができる。

また、前記フレーム符号化とフィールド符号化の判定方法は、さらに、前記符号化対象ブロックの画像に基づいて前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第２判定指標を取得する第２判定指標取得ステップを含み、前記判定ステップでは、前記第１判定指標と前記第２判定指標と前記第３判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定してもよい。

これによって、３つの判定指標が得られるため、フィールドフレーム判定の精度が向上する。

また、前記判定ステップでは、前記第１判定指標と前記第２判定指標が同じ適性を示す場合は、前記第３判定指標を使用せずに、前記第１判定指標または前記第２判定指標で示された適性の符号化方法と判定してもよい。

これによって、フィールド符号化とフレーム符号化の頻繁な切り替えを抑制することができる。

また、前記判定ステップでは、前記第１判定指標と前記第２判定指標と前記第３判定指標に重み付けをして演算処理した結果から前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定してもよい。

これによって、符号化対象ブロックとの２つの参照ピクチャのブロックのいずれを優先するかを考慮することができる。

また、前記第１判定指標取得ステップでは、前記第１対応ブロック内の垂直方向に隣接する各２画素の画素値の差分と、前記第１対応ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分とから計算処理により差の大きさを示す数値を前記第１判定指標として取得し、前記第２判定指標取得ステップでは、前記符号化対象ブロック内の垂直方向に隣接する各２画素の画素値の差分と、前記符号化対象ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分とから前記計算処理と同一の計算処理により差の大きさを示す数値を前記第２判定指標として取得し、前記第３判定指標取得ステップでは、前記第２対応ブロック内の垂直方向に隣接する各２画素の画素値の差分と、前記第２対応ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分とから前記計算処理と同一の計算処理により差の大きさを示す数値を前記第３判定指標として取得し、前記判定ステップでは、前記第１判定指標と前記第２判定指標と前記第３判定指標の和を示す数値が、垂直方向に隣接する各２画素の画素値の差分として前記第１対応ブロックと前記符号化対象ブロックと前記第２対応ブロックとから得られる差分の和が、垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分として前記第１対応ブロックと前記符号化対象ブロックと前記第２対応ブロックとから得られる差分の和より、小さいことを示しいている場合に、フレーム符号化と判定してもよい。

これによって、それぞれの判定指標を足し合わせるという簡単な処理によって、判定することができる。

また、ブロック単位でフレーム符号化とフィールド符号化とを切り替えて符号化する画像符号化方法であって、前記フレーム符号化とフィールド符号化の判定方法に含まれるステップを含む画像符号化方法でもよい。

これによって、フレーム符号化とフィールド符号化の判定精度が高い画像符号化方法として利用することができる。

また、ブロック単位でフレーム符号化とフィールド符号化とを切り替えて符号化する画像符号化装置であって、符号化対象ブロックの符号化において参照される第１の参照ピクチャにおいて、当該符号化対象ブロックに対応する第１対応ブロックを特定する第１対応ブロック特定部と、前記第１対応ブロック特定部により特定された第１対応ブロックに基づいて、前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第１判定指標を取得する第１判定指標取得部と、前記第１判定指標取得部により取得された第１判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する判定部とを備える画像符号化装置でもよい。

これによって、フレーム符号化とフィールド符号化の判定精度が高い画像符号化装置として利用することができる。

また、前記フレーム符号化とフィールド符号化の判定方法に含まれるステップをコンピュータに実行させるプログラムでもよい。

これによって、フレーム符号化とフィールド符号化の判定方法をプログラムとして提供することができる。

本発明により、ＰピクチャまたはＢピクチャにおけるブロック単位のフレーム符号化とフィールド符号化の判定において、動き補償の処理量を増加させずに、判定精度を向上させることができる。

図１は、実施の形態１における画像符号化装置の構成図である。 図２は、実施の形態１におけるＰピクチャのブロックと判定指標との関係を示す概念図である。 図３は、実施の形態１における判定指標を生成する処理を説明する概念図である。 図４は、実施の形態１におけるＰピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。 図５は、実施の形態１におけるＢピクチャのブロックと判定指標との関係を示す概念図である。 図６は、実施の形態１におけるＢピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。 図７は、実施の形態２における画像符号化装置の構成図である。 図８は、実施の形態２におけるＢピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。 図９は、表示順で前の参照ピクチャにおけるｃｏｌＺｅｒｏＦｌａｇを説明する図である。 図１０は、表示順で後の参照ピクチャにおけるｃｏｌＺｅｒｏＦｌａｇを説明する図である。 図１１は、実施の形態３における画像符号化装置の構成図である。 図１２は、実施の形態３におけるｃｏｌＺｅｒｏＦｌａｇの値が静止を示している場合の判定方法を示す概念図である。 図１３は、実施の形態３におけるｃｏｌＺｅｒｏＦｌａｇの値が非静止を示している場合の判定方法を示す概念図である。 図１４は、実施の形態３におけるＰピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。 図１５は、実施の形態３における２つのｃｏｌＺｅｒｏＦｌａｇの値が静止を示している場合の判定方法を示す概念図である。 図１６は、実施の形態３における２つのｃｏｌＺｅｒｏＦｌａｇの値が非静止を示している場合の判定方法を示す概念図である。 図１７は、実施の形態３における２つのｃｏｌＺｅｒｏＦｌａｇの値が静止と非静止を示している場合の判定方法を示す概念図である。 図１８は、実施の形態３におけるＢピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。 図１９は、特許文献１記載の画像符号化装置の構成図である。 図２０は、特許文献１記載の画像符号化装置におけるフィールドフレーム判定方法を示すフローチャートである。

（実施の形態１）
まず、本発明の実施の形態１について、図を用いて説明する。

図１は、実施の形態１における画像符号化装置の構成図である。

画像符号化装置１００は、ブロック単位に、フレーム符号化とフィールド符号化の判定をする画像符号化装置である。ここでは、Ｐピクチャの場合を想定している。

画像符号化装置１００は、ハードウェアに組み込まれた電子回路として実現され、第１の指標生成部１０２、フィールドフレーム判定部１０４、スイッチ１０５、符号化部１０７、復号化部１０９、参照ピクチャメモリ１１０、フィールド符号化用動き補償部１１１、フレーム符号化用動き補償部１１３、フィールド符号化用減算部１１５、フレーム符号化用減算部１１６および第２の指標生成部１２１を備える。

第１の指標生成部１０２は、ブロックに分割された入力映像信号１０１を取得し、入力映像信号１０１の性質に基づき、フィールド符号化がよいかフレーム符号化がよいかを示す判定指標Ｘを生成する。

第２の指標生成部１２１は、入力映像信号１０１から得られる情報とは別の情報から判定指標Ｘｒ１を生成する。ここで、第２の指標生成部１２１は、フィールド符号化用動き補償映像信号１１２あるいはフレーム符号化用動き補償映像信号１１４を用いることは画素単位の二次元フィルタのための処理量が大幅に増加するため使用できない。そのため、参照ピクチャメモリ１１０を参照して、参照ピクチャにおける対応ブロックの映像信号からフレーム符号化またはフィールド符号化に対する適性を示す判定指標Ｘｒ１を生成して、フィールドフレーム判定部１０４に通知する。

フィールドフレーム判定部１０４は、対応ブロックを特定して、第２の指標生成部１２１に通知する。対応ブロックとは、例えば、現在ブロックの画像と類似しているか、類似していると推定される参照ピクチャ中のブロックである。また、フィールドフレーム判定部１０４は、対応ブロックのピクチャ内の位置を得るために、過去のピクチャの動き補償の結果を基にフィルタの不要な整数精度位置に限定してその対応ブロックの位置を推定しても良いし、周辺ブロックの動き補償の結果を基にフィルタの不要な整数精度位置に限定してその対応ブロックの位置を推定しても良い。あるいは、更なる処理量削減のために、当該ブロックと同一位置をその対応ブロックの位置としても良い。

フィールドフレーム判定部１０４は、さらに、現在ブロックの判定指標Ｘと参照ピクチャの対応ブロックの判定指標Ｘｒ１との組み合わせによって得られる新たな指標Ｙで判定を行う。例えば、フィールドフレーム判定部１０４は、判定指標Ｘが示す値をＸとして、判定指標Ｘｒ１が示す値をＸｒ１として、新たな指標Ｙが示す値をＹとした場合に、式１によって得られるＹにより判定を行う。

Ｙ＝Ｘ＋Ｋ×Ｘｒ１ （式１）

式１におけるＫは、例えば予め定められる定数であって、Ｘｒ１に重み付けをする数値である。すなわち、式１におけるＫは、対応ブロックから得られる判定指標Ｘｒ１を考慮する割合を示す。

そして、判定指標Ｘおよび判定指標Ｘｒ１の示す値が正の場合にフィールド符号化が適していることを前提とすれば、フィールドフレーム判定部１０４は、指標Ｙの値が正であればフィールド符号化、正でなければフレーム符号化と判定する。

なお、本実施の形態１では、フィールドフレーム判定部１０４は、対応ブロックを特定する対応ブロック特定部と、ブロックに基づく判定指標を取得する判定指標取得部と、判定指標に応じてフレーム符号化またはフィールド符号化と判定する判定部を備えている。

スイッチ１０５は、第１の指標生成部１０２で生成された判定指標Ｘに基づいて、入力映像信号１０１を、フィールド符号化用減算部１１５またはフレーム符号化用減算部１１６へ出力する。

フィールド符号化用減算部１１５は、フィールド符号化用動き補償映像信号１１２を入力映像信号１０１より減算し、減算結果である残差信号１０６を符号化部１０７へ出力する。

フレーム符号化用減算部１１６は、フレーム符号化用動き補償映像信号１１４を入力映像信号１０１より減算し、減算結果である残差信号１０６を符号化部１０７へ出力する。

符号化部１０７は、残差信号１０６に対して、直交変換、量子化および可変符号化を行い、符号化データ１０８を出力する。さらに、符号化部１０７は、符号化データ１０８を復号化部１０９へ出力する。

復号化部１０９は、符号化データ１０８を復号して、復号した結果を参照ピクチャの映像信号として参照ピクチャメモリ１１０に格納する。

参照ピクチャメモリ１１０は、時間の異なる複数のピクチャを格納できる構造となっている。参照ピクチャメモリに格納されたピクチャは、入力映像信号１０１に対応する時間と異なる時間に対応する参照ピクチャとして参照される。

フィールド符号化用動き補償部１１１は、参照ピクチャメモリに格納された参照ピクチャを参照し、参照ピクチャに対して動き補償することにより、フィールド符号化用動き補償映像信号１１２を出力する。

フレーム符号化用動き補償部１１３は、参照ピクチャメモリに格納された参照ピクチャを参照し、参照ピクチャに対して動き補償することにより、フレーム符号化用動き補償映像信号１１４を出力する。

この判定方法により、ブロック毎のフィールドフレーム判定に処理量の大きなフィールド符号化用動き補償部１１１およびフレーム符号化用動き補償部１１３の両方を動作させなくてよい。また、残差信号１０６を構成する入力映像信号１０１および参照ピクチャの映像信号を用いて判定することから、判定精度が向上する。したがって、残差信号１０６の大きさの削減が可能となり、圧縮率向上が可能となる。

特に、現在ブロックの絵柄がはっきりとせず、現在ブロックの判定指標Ｘの示す値が大きな値とならず、フィールド符号化とするべきかフレーム符号化とするべきか判定に迷う状況で改善効果が顕著である。このような状況でも、参照ピクチャにより示されるフィールド符号化またはフレーム符号化のどちらかの適性がはっきりとしていれば、参照ピクチャの判定指標Ｘｒ１の示す値は大きな値を示すため、式１に定義された指標Ｙを用いることで判定精度の向上が可能となる。

なお、判定指標Ｘおよび判定指標Ｘｒ１は、フィールド構造の場合の垂直隣接画素差分の大きさと、フレーム構造の場合の垂直隣接画素差分の大きさとを比較することで得られる。判定指標の基となる誤差の演算は、垂直隣接画素差分に限らず、二乗誤差でもよいし、垂直方向のＤＣＴ変換やアダマール変換の高域成分の大きさでも同様である。ここでは判定指標Ｘおよび判定指標Ｘｒ１が正の場合にフィールド符号化が適していることとして説明したが、判定指標Ｘおよび判定指標Ｘｒ１が負の場合にフィールド符号化が適していると読み替えても発明の本質は変わらない。

図２は、図１で示された実施の形態１におけるＰピクチャのブロックと判定指標との関係を示す概念図である。

現在フレーム１５１は、入力映像信号１０１に対応する画像であって、符号化対象となる画像である。

現在ブロック１５２は、現在フレーム１５１に含まれるブロックであって、符号化対象ブロックである。第１の指標生成部１０２は、現在ブロック１５２の画像から判定指標Ｘを算出する。

参照ピクチャ１５３は、現在フレーム１５１の符号化において参照されるピクチャである。

対応ブロック１５４は、参照ピクチャ１５３に含まれるブロックであって、符号化対象ブロックである現在ブロック１５２に対応するブロックである。第２の指標生成部１２１は、対応ブロック１５４の画像から判定指標Ｘｒ１を算出する。

図３は、図１で示された実施の形態１における判定指標を生成する処理の例を説明する概念図である。

ブロック９２０は、入力された映像信号に対応する符号化対象ブロックである。フィールド符号化またはフレーム符号化の適性を示す判定指標は、例えば、図３において、実線矢印で示された各２画素の画素値の差分と、破線矢印で示された各２画素の画素値の差分とを比較して得られる結果である。２画素毎に得られる差分の比較については、各差分の絶対値の総和を比較してもよいし、各差分の絶対値の平均を比較してもよい。また各差分の二乗の総和を比較してもよいし、各差分の二乗の平均を比較してもよい。

そして、実線矢印で示された各２画素の画素値の差分が、破線矢印で示された各２画素の画素値の差分と比較して、大きければ大きいほど、判定指標は、フィールド符号化に適していることを示す値となる。一方、実線矢印で示された各２画素の画素値の差分が、破線矢印で示された各２画素の画素値の差分と比較して、小さければ小さいほど、判定指標は、フレーム符号化に適していることを示す値となる。

なお、インタレース画像において、実線矢印で示された各２画素は、時刻が異なるフィールドにある画素であり、破線矢印で示された各２画素は、時刻が同じフィールドにある画素である。よって、動画像では、実線矢印で示された各２画素の画素値の差分は相対的に大きくなる傾向にあり、静止画像では、実線矢印で示された各２画素は空間的に近い位置にあるため、画素値の差分は相対的に小さくなる傾向にある。

図４は、図１で示された実施の形態１におけるＰピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。

はじめに、第１の指標生成部１０２は、入力された映像信号の現在のフレームの現在のブロックの判定指標Ｘを算出する（Ｓ１１）。

次に、フィールドフレーム判定部１０４は、参照ピクチャの対応位置のブロックを算出する（Ｓ１２）。参照ピクチャの対応位置を算出する際には、周辺ブロックの動き補償の結果から算出してもよいし、類似性の最も高いブロックの位置を検出（動き検出）してもよいし、表示順で前のピクチャの動き補償または動き検出の結果から求めてもよい。あるいは単にピクチャ内の同一位置のブロックとしてもよい。簡略化のために整数精度に限定してもよい。

次に、第２の指標生成部１２１は、参照ピクチャの対応位置のブロックの判定指標Ｘｒ１を算出する（Ｓ１３）。

次に、フィールドフレーム判定部１０４は、判定指標Ｘと判定指標Ｘｒ１との組み合わせから新たな指標Ｙを算出する（Ｓ１４）。

次に、フィールドフレーム判定部１０４は、指標Ｙからフィールド構造として符号化するかフレーム構造として符号化するかを決定する（Ｓ１５）。

以上、Ｐピクチャのブロック単位のフィールド符号化とフレーム符号化の判定方法を説明したが、Ｂピクチャについても同様である。Ｂピクチャの場合でも、図１で示された実施の形態１における画像符号化装置１００の構成により、対応ブロックから判定指標を取得することができる。そして、２つの参照ピクチャがあるので、それぞれの参照ピクチャの対応ブロックに基づいて、第２の指標生成部１２１は、フィールド符号化またはフレーム符号化の適性を示す判定指標Ｘｒ１と判定指標Ｘｒ２を生成する。

図５は、実施の形態１におけるＢピクチャのブロックと判定指標との関係を示す概念図である。

現在フレーム３５１は、入力映像信号１０１に対応する画像であって、符号化対象となる画像である。

現在ブロック３５２は、現在フレーム３５１に含まれるブロックであって、符号化対象ブロックである。第１の指標生成部１０２は、判定指標Ｘを現在ブロック３５２の画像から算出する。

第１の参照ピクチャ３５３は、現在フレーム３５１の符号化において参照される第１のピクチャである。

第１の対応ブロック３５４は、第１の参照ピクチャ３５３に含まれるブロックであって、符号化対象ブロックである現在ブロック３５２に対応するブロックである。第２の指標生成部１２１は、判定指標Ｘｒ１を第１の対応ブロック３５４の画像から算出する。

第２の参照ピクチャ３５５は、現在フレーム３５１の符号化において参照される第２のピクチャである。

第２の対応ブロック３５６は、第２の参照ピクチャ３５５に含まれるブロックであって、符号化対象ブロックである現在ブロック３５２に対応するブロックである。第２の指標生成部１２１は、判定指標Ｘｒ２を第２の対応ブロック３５６の画像から算出する。

例えば、フィールドフレーム判定部１０４は、判定指標Ｘが示す値をＸ、判定指標Ｘｒ１が示す値をＸｒ１、判定指標Ｘｒ２が示す値をＸｒ２、および、新たな指標Ｙが示す値をＹとした場合において、式２によって得られる指標Ｙに基づいて当該ブロックをフィールド符号化するか、または、フレーム符号化するかの判定を行う。

Ｙ＝Ｘ＋Ｋ１×Ｘｒ１＋Ｋ２×Ｘｒ２ （式２）

式２におけるＫ１およびＫ２は、例えば予め定められる定数であって、Ｘｒ１およびＸｒ２に重み付けをする数値である。すなわち、式２におけるＫ１およびＫ２は、それぞれの対応ブロックから得られる判定指標Ｘｒ１および判定指標Ｘｒ２を考慮する割合を示す。

そして、判定指標Ｘ、判定指標Ｘｒ１および判定指標Ｘｒ２の示す値が正の場合にフィールド符号化が適していることを前提とすれば、フィールドフレーム判定部１０４は、指標Ｙの値が正であればフィールド符号化、正でなければフレーム符号化と判定する。

また、フィールド符号化とフレーム符号化との判定は、同一位置であれば、時間方向に頻繁に切り替わらない方が、主観的に安定して好印象な場合がある。この効果を考慮して、判定指標Ｘｒ１と判定指標Ｘｒ２が同一の適性を示している場合、フィールドフレーム判定部１０４は、判定指標Ｘを参照せずに判定しても良い。すなわち、判定指標Ｘ、判定指標Ｘｒ１および判定指標Ｘｒ２の示す値が正の場合にフィールド符号化が適していることを前提とすれば、フィールドフレーム判定部１０４は、判定指標Ｘｒ１および判定指標Ｘｒ２の値が同一の符号を持つ場合には、現在ブロックの判定指標Ｘを参照せずにフィールド符号化とフレーム符号化の判定をしても良い。

図６は、実施の形態１におけるＢピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。

はじめに、第１の指標生成部１０２は、入力された映像信号の現在のフレームの現在のブロックの判定指標Ｘを算出する（Ｓ３１）。

次に、フィールドフレーム判定部１０４は、第１の参照ピクチャの対応ブロックの位置を算出する（Ｓ３２）。

次に、第２の指標生成部１２１は、第１の参照ピクチャの対応ブロックの位置の判定指標Ｘｒ１を算出する（Ｓ３３）。

次に、フィールドフレーム判定部１０４は、第２の参照ピクチャの対応ブロックの位置を算出する（Ｓ３４）。

次に、第２の指標生成部１２１は、第２の参照ピクチャの対応ブロックの位置の判定指標Ｘｒ２を算出する（Ｓ３５）。

次に、フィールドフレーム判定部１０４は、判定指標Ｘと判定指標Ｘｒ１と判定指標Ｘｒ２から組み合わせの指標Ｙを算出する（Ｓ３６）。

次に、フィールドフレーム判定部１０４は、指標Ｙからフィールド符号化とするかフレーム符号化とするかを決定する（Ｓ３７）。

（実施の形態２）
図７は、実施の形態２における画像符号化装置の構成図である。

画像符号化装置２００は、ブロック単位にフレーム符号化とフィールド符号化の判定をする画像符号化装置である。実施の形態１との相違点は、第２の指標生成部１２１を指標格納メモリ２２２に置き換えた点である。これにより、参照ピクチャメモリ１１０からの映像信号読み出しを削減できる。

指標生成部２０２は、生成された判定指標Ｘを、指標格納メモリ２２２にブロック単位に格納する。指標格納メモリ２２２は時間の異なる複数のピクチャに関する判定指標を格納できる構造となっており、参照ピクチャメモリの時間管理と同様の振る舞いをする。

フィールドフレーム判定部２０４は、指標生成部２０２から判定指標Ｘを取得し、指標格納メモリ２２２から判定指標Ｘｒ１を取得して、判定指標Ｘと判定指標Ｘｒ１の組み合わせによりフィールドフレーム判定をする。

なお、スイッチ２０５、符号化部２０７、復号化部２０９、参照ピクチャメモリ２１０、フィールド符号化用動き補償部２１１、フレーム符号化用動き補償部２１３、フィールド符号化用減算部２１５およびフレーム符号化用減算部２１６は、図１で示された実施の形態１におけるスイッチ１０５、符号化部１０７、復号化部１０９、参照ピクチャメモリ１１０、フィールド符号化用動き補償部１１１、フレーム符号化用動き補償部１１３、フィールド符号化用減算部１１５およびフレーム符号化用減算部１１６と同様の動作をする。

図８は、図７で示された実施の形態２におけるＰピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。

はじめに、指標生成部２０２は、入力された映像信号の現在のフレームの現在のブロックの判定指標Ｘを算出する（Ｓ２１）。

次に、指標生成部２０２は、判定指標Ｘを現在のフレームの現在のブロックの位置に関連付けて指標格納メモリ２２２に格納する（Ｓ２２）。

次に、フィールドフレーム判定部２０４は、参照ピクチャの対応ブロックの位置を算出する（Ｓ２３）。これについては、図４で示された実施の形態１における処理（Ｓ１２）と同様である。

次に、フィールドフレーム判定部２０４は、指標格納メモリ２２２より、参照ピクチャの対応ブロックの位置に関連付けられた判定指標Ｘｒ１を読み出す（Ｓ２４）。

次に、フィールドフレーム判定部２０４は、判定指標Ｘと判定指標Ｘｒ１とから組み合わせの指標Ｙを算出する（Ｓ２５）。これについては、図４で示された実施の形態１における処理（Ｓ１４）と同様である。

次に、フィールドフレーム判定部２０４は、指標Ｙからフィールド構造として符号化するかフレーム構造として符号化するかを決定する（Ｓ２６）。これについては、図４で示された実施の形態１における処理（Ｓ１５）と同様である。

なお、Ｂピクチャであっても、同様に判定をすることができる。すなわち、フィールドフレーム判定部２０４は、第２の参照ピクチャの対応ブロックの判定指標Ｘｒ２を指標格納メモリ２２２から取得することによって、判定指標Ｘ、判定指標Ｘｒ１および判定指標Ｘｒ２を使用して実施の形態１と同様の判定方法で判定してもよい。

（実施の形態３）
実施の形態３の画像符号化装置は、画像が符号化されるときに生成されるｃｏｌＺｅｒｏＦｌａｇを判定指標として用いる画像符号化装置である。

ここで、ｃｏｌＺｅｒｏＦｌａｇとは、標準規格Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおいて、Ｐピクチャの各ブロックに定義される必須情報のことであって、ブロックの画像に動きがあるかを示す。実施の形態３における画像符号化装置は、ｃｏｌＺｅｒｏＦｌａｇを判定指標として利用することにより、判定指標を取得するための特別な演算処理をしなくてもよい。

図９は、現在フレームより表示順で前の参照ピクチャにおけるｃｏｌＺｅｒｏＦｌａｇを説明する図である。

現在フレーム４４１は、ＰピクチャまたはＢピクチャであって、参照ピクチャ４４３を用いて符号化される。

現在ブロック４４２は、現時点において符号化されるブロックである。

参照ピクチャ４４３は、Ｐピクチャであって、現在フレーム４４１が符号化されるときに参照されるピクチャである。

対応ブロック４４４は、参照ピクチャ４４３内にあるブロックであって、現在ブロック４４２に対応するブロックである。対応ブロック４４４のピクチャ内の位置は、実施の形態１で示した特定の方法と同様に定められ、例えば、現在ブロック４４２の現在フレーム４４１における位置と、同じ位置にあるブロックである。

参照ピクチャ４４３の対応ブロック４４４が標準規格Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに基づいて符号化されたときに、その対応ブロック４４４にｃｏｌＺｅｒｏＦｌａｇが定義される。対応ブロック４４４の画像が静止している場合は、ｃｏｌＺｅｒｏＦｌａｇの値は１である。対応ブロック４４４の画像が動いている場合は、ｃｏｌＺｅｒｏＦｌａｇの値は０である。

図１０は、現在フレームより表示順で後の参照ピクチャにおけるｃｏｌＺｅｒｏＦｌａｇを説明する図である。

現在フレーム４４５は、Ｂピクチャであって、参照ピクチャ４４７を用いて符号化される。

現在ブロック４４６は、現時点において符号化されるブロックである。

参照ピクチャ４４７は、Ｐピクチャであって、現在フレーム４４５が符号化されるときに参照されるピクチャである。

対応ブロック４４８は、参照ピクチャ４４７内にあるブロックであって、現在ブロック４４６に対応するブロックである。対応ブロック４４８のピクチャ内の位置は、実施の形態１で示した特定の方法と同様に定められ、例えば、現在ブロック４４６の現在フレーム４４５における位置と、同じ位置にあるブロックである。

参照ピクチャ４４７の対応ブロック４４８が符号化されたときにも、その対応ブロック４４８にｃｏｌＺｅｒｏＦｌａｇが定義される。対応ブロック４４８の画像が静止している場合は、ｃｏｌＺｅｒｏＦｌａｇの値は１である。対応ブロック４４８の画像が動いている場合は、ｃｏｌＺｅｒｏＦｌａｇの値は０である。

図１１は、実施の形態３における画像符号化装置の構成図である。

画像符号化装置４００は、ブロック毎にフレーム符号化とフィールド符号化の判定をする画像符号化装置である。

画像符号化装置４００は、フィールドフレーム判定部４０４、スイッチ４０５、符号化部４０７、復号化部４０９、参照ピクチャメモリ４１０、フィールド符号化用動き補償部４１１、フレーム符号化用動き補償部４１３、フィールド符号化用減算部４１５、フレーム符号化用減算部４１６およびフラグ格納メモリ４２３を備える。

実施の形態１における画像符号化装置１００と比較して、フラグ格納メモリ４２３が追加されている。また、実施の形態１におけるフィールドフレーム判定部１０４と比較して、フィールドフレーム判定部４０４の動作が変更されている。さらに、実施の形態１における符号化部１０７と比較して、符号化部４０７の動作が変更されている。そして、実施の形態１における第１の指標生成部１０２は、実施の形態３では必要とされない。

符号化部４０７は、ブロック毎にｃｏｌＺｅｒｏＦｌａｇを定義し、各ブロックに対応づけてフラグ格納メモリ４２３に格納する。

フラグ格納メモリ４２３は、ブロック毎にｃｏｌＺｅｒｏＦｌａｇの値を格納できる構造となっている。

フィールドフレーム判定部４０４は、フラグ格納メモリ４２３から、対応ブロックに定義されたｃｏｌＺｅｒｏＦｌａｇを取得して、フィールド符号化およびフレーム符号化のいずれかの判定をする。

なお、スイッチ４０５、復号化部４０９、参照ピクチャメモリ４１０、フィールド符号化用動き補償部４１１、フレーム符号化用動き補償部４１３、フィールド符号化用減算部４１５およびフレーム符号化用減算部４１６は、図１で示された実施の形態１におけるスイッチ１０５、復号化部１０９、参照ピクチャメモリ１１０、フィールド符号化用動き補償部１１１、フレーム符号化用動き補償部１１３、フィールド符号化用減算部１１５およびフレーム符号化用減算部１１６と同様の動作をする。

図１２は、図１１で示された実施の形態３におけるｃｏｌＺｅｒｏＦｌａｇの値が静止を示している場合の判定方法を示す概念図である。

現在フレーム４５１は、入力映像信号４０１に対応する画像であって、符号化対象となる画像である。

現在ブロック４５２は、現在フレーム４５１に含まれるブロックであって、符号化対象ブロックである。

参照ピクチャ４５３は、現在フレーム４５１の符号化において参照されるピクチャである。

対応ブロック４５４は、参照ピクチャ４５３に含まれるブロックであって、符号化対象ブロックである現在ブロック４５２に対応するブロックである。図１２に示された対応ブロック４５４においては、ｃｏｌＺｅｒｏＦｌａｇの値は静止を示している。この場合、ｃｏｌＺｅｒｏＦｌａｇの値は１であり、判定指標の値として現在ブロック４５２をフレーム符号化する傾向を示す値である。したがって、フィールドフレーム判定部４０４は、フレーム符号化と判定する。

図１３は、図１１で示された実施の形態３におけるｃｏｌＺｅｒｏＦｌａｇの値が非静止を示している場合の判定方法を示す概念図である。

現在フレーム４６１は、入力映像信号４０１に対応する画像であって、符号化対象となる画像である。

現在ブロック４６２は、現在フレーム４６１に含まれるブロックであって、符号化対象ブロックである。

参照ピクチャ４６３は、現在フレーム４６１の符号化において参照されるピクチャである。

対応ブロック４６４は、参照ピクチャ４６３に含まれるブロックであって、符号化対象ブロックである現在ブロック４６２に対応するブロックである。図１３に示された対応ブロック４６４においては、ｃｏｌＺｅｒｏＦｌａｇの値は非静止を示している。この場合、ｃｏｌＺｅｒｏＦｌａｇの値は０であり、判定指標の値として現在ブロック４６２をフィールド符号化する傾向を示す値である。したがって、フィールドフレーム判定部４０４は、フィールド符号化と判定する。

図１４は、図１１に示された実施の形態３におけるＰピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。

はじめに、フィールドフレーム判定部４０４は、参照ピクチャから符号化対象ブロックに対する対応ブロックを算出する（Ｓ４１）。

次に、フィールドフレーム判定部４０４は、フラグ格納メモリより対応ブロックに定義されたｃｏｌＺｅｒｏＦｌａｇを読み出す（Ｓ４２）。

次に、フィールドフレーム判定部４０４は、ｃｏｌＺｅｒｏＦｌａｇの値が０か否かを判定する（Ｓ４３）。

そして、ｃｏｌＺｅｒｏＦｌａｇの値が０の場合（Ｓ４３でＹｅｓ）、フィールドフレーム判定部４０４は、フィールド構造によるフィールド符号化と決定する（Ｓ４４）。

一方、ｃｏｌＺｅｒｏＦｌａｇの値が０ではない場合（Ｓ４３でＮｏ）、フィールドフレーム判定部４０４は、フレーム構造によるフレーム符号化と決定する（Ｓ４５）。

以上、実施の形態３におけるＰピクチャのフィールド符号化とフレーム符号化の判定方法を説明したが、Ｂピクチャについても同様である。

Ｂピクチャの場合でも、図１１で示された実施の形態３における画像符号化装置４００は、判定指標の値として、対応ブロックに定義されたｃｏｌＺｅｒｏＦｌａｇを取得することができる。そして、参照ピクチャが２枚あるので、画像符号化装置４００は、それぞれの参照ピクチャに含まれる対応ブロックよりそれぞれのｃｏｌＺｅｒｏＦｌａｇの値を取得し、２つの値に基づいて、フィールド符号化するか、または、フレーム符号化するかの判定を行う。以下、図を用いて説明する。

図１５は、実施の形態３における２つのｃｏｌＺｅｒｏＦｌａｇの値が静止を示している場合の判定方法を示す概念図である。

現在フレーム５５１は、入力映像信号４０１に対応する画像であって、符号化対象となる画像である。

現在ブロック５５２は、現在フレーム５５１に含まれるブロックであって、符号化対象ブロックである。

第１の参照ピクチャ５５３は、現在フレーム５５１の符号化において参照されるピクチャであって、現在フレーム５５１より表示順で前のピクチャである。

第１の対応ブロック５５４は、第１の参照ピクチャ５５３に含まれるブロックであって、符号化対象ブロックである現在ブロック５５２に対応するブロックである。静止を示すｃｏｌＺｅｒｏＦｌａｇが第１の対応ブロック５５４に定義されている。この場合、ｃｏｌＺｅｒｏＦｌａｇの値は１であり、判定指標の値として現在ブロック５５２をフレーム符号化する傾向を示す値である。

第２の参照ピクチャ５５５は、現在フレーム５５１の符号化において参照されるピクチャであって、現在フレーム５５１より表示順で後のピクチャである。

第２の対応ブロック５５６は、第２の参照ピクチャ５５５に含まれるブロックであって、符号化対象ブロックである現在ブロック５５２に対応するブロックである。静止を示すｃｏｌＺｅｒｏＦｌａｇが第２の対応ブロック５５６に定義されている。この場合、ｃｏｌＺｅｒｏＦｌａｇの値は１であり、判定指標の値として現在ブロック５５２をフレーム符号化する傾向を示す値である。

この場合は、２つのｃｏｌＺｅｒｏＦｌａｇの値がともに１であって、現在ブロック５５２をフレーム符号化する傾向を示す値であるから、フィールドフレーム判定部４０４は、現在ブロック５５２をフレーム符号化するように判定する。

図１６は、実施の形態３における２つのｃｏｌＺｅｒｏＦｌａｇの値が非静止を示している場合の判定方法を示す概念図である。

現在フレーム５６１は、入力映像信号４０１に対応する画像であって、符号化対象となる画像である。

現在ブロック５６２は、現在フレーム５６１に含まれるブロックであって、符号化対象ブロックである。

第１の参照ピクチャ５６３は、現在フレーム５６１の符号化において参照されるピクチャであって、現在フレーム５６１より表示順で前のピクチャである。

第１の対応ブロック５６４は、第１の参照ピクチャ５６３に含まれるブロックであって、符号化対象ブロックである現在ブロック５６２に対応するブロックである。非静止を示すｃｏｌＺｅｒｏＦｌａｇが第１の対応ブロック５６４に定義されている。この場合、ｃｏｌＺｅｒｏＦｌａｇの値は０であり、判定指標の値として現在ブロック５６２をフィールド符号化する傾向を示す値である。

第２の参照ピクチャ５６５は、現在フレーム５６１の符号化において参照されるピクチャであって、現在フレーム５６１より表示順で後のピクチャである。

第２の対応ブロック５６６は、第２の参照ピクチャ５６５に含まれるブロックであって、符号化対象ブロックである現在ブロック５６２に対応するブロックである。非静止を示すｃｏｌＺｅｒｏＦｌａｇが第２の対応ブロック５６６に定義されている。この場合、ｃｏｌＺｅｒｏＦｌａｇの値は０であり、判定指標の値として現在ブロック５６２をフィールド符号化する傾向を示す値である。

この場合は、２つのｃｏｌＺｅｒｏＦｌａｇの値がともに０であって、現在ブロック５６２をフィールド符号化する傾向を示す値であるから、フィールドフレーム判定部４０４は、現在ブロック５６２をフィールド符号化するように判定する。

図１７は、実施の形態３における２つのｃｏｌＺｅｒｏＦｌａｇの値が静止と非静止を示している場合の判定方法を示す概念図である。

現在フレーム５７１は、入力映像信号４０１に対応する画像であって、符号化対象となる画像である。

現在ブロック５７２は、現在フレーム５７１に含まれるブロックであって、符号化対象ブロックである。

第１の参照ピクチャ５７３は、現在フレーム５７１の符号化において参照されるピクチャであって、現在フレーム５７１より表示順で前のピクチャである。

第１の対応ブロック５７４は、第１の参照ピクチャ５７３に含まれるブロックであって、符号化対象ブロックである現在ブロック５７２に対応するブロックである。非静止を示すｃｏｌＺｅｒｏＦｌａｇが第１の対応ブロック５７４に定義されている。この場合、ｃｏｌＺｅｒｏＦｌａｇの値は０であり、判定指標の値として現在ブロック５７２をフィールド符号化する傾向を示す値である。

第２の参照ピクチャ５７５は、現在フレーム５７１の符号化において参照されるピクチャであって、現在フレーム５７１より表示順で後のピクチャである。

第２の対応ブロック５７６は、第２の参照ピクチャ５７５に含まれるブロックであって、符号化対象ブロックである現在ブロック５７２に対応するブロックである。静止を示すｃｏｌＺｅｒｏＦｌａｇが第２の対応ブロック５７６に定義されている。この場合、ｃｏｌＺｅｒｏＦｌａｇの値は１であり、判定指標の値として現在ブロック５７２をフレーム符号化する傾向を示す値である。

すなわち、２つのｃｏｌＺｅｒｏＦｌａｇの値のうち、一方が０であって現在ブロック５７２をフィールド符号化する傾向を示す値であり、他方が１であってフレーム符号化する傾向を示す値である。

この場合、フィールドフレーム判定部４０４は、第１の参照ピクチャ５７３と現在フレーム５７１とにおける時間（Ｔ１）と、第２の参照ピクチャ５７５と現在フレーム５７１とにおける時間（Ｔ２）とを比較して、時間的に現在フレーム５７１と近いピクチャに含まれる対応ブロック５７４または対応ブロック５７６から得られるｃｏｌＺｅｒｏＦｌａｇの値を優先して判定してもよい。

図１８は、実施の形態３におけるＢピクチャのブロック単位のフィールドフレーム判定方法を示すフローチャートである。

まず、フィールドフレーム判定部４０４は、第１の参照ピクチャから符号化対象ブロックに対する第１の対応ブロックを算出する（Ｓ５１）。これについては、図４で示された実施の形態１における処理（Ｓ１２）と同様である。

次に、フィールドフレーム判定部４０４は、フラグ格納メモリ４２３より対応ブロックに定義されたｃｏｌＺｅｒｏＦｌａｇを読み出す（Ｓ５２）。これについては、図１４で示された実施の形態１における処理（Ｓ４２）と同様である。

次に、フィールドフレーム判定部４０４は、第２の参照ピクチャから符号化対象ブロックに対する第２の対応ブロックを算出する（Ｓ５３）。これについては、図６で示された実施の形態１における処理（Ｓ３４）と同様である。

次に、フィールドフレーム判定部４０４は、フラグ格納メモリ４２３より対応ブロックに定義されたｃｏｌＺｅｒｏＦｌａｇを読み出す（Ｓ５４）。

次に、フィールドフレーム判定部４０４は、読み出された２つのｃｏｌＺｅｒｏＦｌａｇの値が一致するかを判定する（Ｓ５５）。

そして、ｃｏｌＺｅｒｏＦｌａｇの値が一致する場合（Ｓ５５でＹｅｓ）、フィールドフレーム判定部４０４は、当該ｃｏｌＺｅｒｏＦｌａｇの値を用いて、次の処理（Ｓ５７）を行う。

一方、ｃｏｌＺｅｒｏＦｌａｇの値が一致しない場合（Ｓ５５でＮｏ）、フィールドフレーム判定部４０４は、現在フレームから時間的に近い参照ピクチャ側から得られるｃｏｌＺｅｒｏＦｌａｇの値を用いて、次の処理（Ｓ５７）を行う（Ｓ５６）。

次に、フィールドフレーム判定部４０４は、ｃｏｌＺｅｒｏＦｌａｇの値が０か否かを判定する（Ｓ５７）。

そして、ｃｏｌＺｅｒｏＦｌａｇの値が０の場合（Ｓ５７でＹｅｓ）、フィールドフレーム判定部４０４は、フィールド構造によるフィールド符号化と決定する（Ｓ５８）。

一方、ｃｏｌＺｅｒｏＦｌａｇの値が０ではない場合（Ｓ５７でＮｏ）、フィールドフレーム判定部４０４は、フレーム構造によるフレーム符号化と決定する（Ｓ５９）。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）または半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線、有線通信回線、インターネットを代表とするネットワークまたはデータ放送等を経由して伝送するものとしてもよい。

上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上のように、本発明における符号化または復号化装置は、例えば携帯電話、ＤＶＤ装置、次世代ＤＶＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ、ＨＤ−ＤＶＤ等）装置、およびデジタルＴＶ装置等で、画像を符号化して符号列を生成する装置において有用である。

１００、２００、４００、９００ 画像符号化装置
１０１、２０１、４０１、９０１ 入力映像信号
１０２、１２１、２０２、９０２ 指標生成部
１０４、２０４、４０４、９０４ フィールドフレーム判定部
１０５、２０５、４０５、９０５ スイッチ
１０６、２０６、４０６、９０６ 残差信号
１０７、２０７、４０７、９０７ 符号化部
１０８、２０８、４０８、９０８ 符号化データ
１０９、２０９、４０９、９０９ 復号化部
１１０、２１０、４１０、９１０ 参照ピクチャメモリ
１１１、２１１、４１１、９１１ フィールド符号化用動き補償部
１１２、２１２、４１２、９１２ フィールド符号化用動き補償映像信号
１１３、２１３、４１３、９１３ フレーム符号化用動き補償部
１１４、２１４、４１４、９１４ フレーム符号化用動き補償映像信号
１１５、２１５、４１５、９１５ フィールド符号化用減算部
１１６、２１６、４１６、９１６ フレーム符号化用減算部
１５１、３５１、４４１、４４５、４５１、４６１、５５１、５６１、５７１ 現在フレーム
１５２、３５２、４４２、４４６、４５２、４６２、５５２、５６２、５７２ 現在ブロック
１５３、３５３、３５５、４４３、４４７、４５３、４６３、５５３、５５５、５６３、５６５、５７３、５７５ 参照ピクチャ
１５４、３５４、３５６、４４４、４４８、４５４、４６４、５５４、５５６、５６４、５６６、５７４、５７６ 対応ブロック
２２２ 指標格納メモリ
４２３ フラグ格納メモリ
９２０ ブロック

Claims (19)

1. ブロック単位でフレーム符号化とフィールド符号化とを切り替えて符号化する動画像符号化におけるフレーム符号化とフィールド符号化の判定方法であって、
   符号化対象ブロックの符号化において参照される第１の参照ピクチャにおいて、当該符号化対象ブロックに対応する第１対応ブロックを特定する第１対応ブロック特定ステップと、
   前記第１対応ブロック特定ステップにより特定された第１対応ブロックに基づいて、前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第１判定指標を取得する第１判定指標取得ステップと、
   前記第１判定指標取得ステップにより取得された第１判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する判定ステップと
   を含むフレーム符号化とフィールド符号化の判定方法。
2. 前記第１対応ブロック特定ステップでは、前記符号化対象ブロックのピクチャ内の位置と同じ位置にあるブロックを第１対応ブロックとして特定する
   請求項１記載のフレーム符号化とフィールド符号化の判定方法。
3. 前記第１判定指標取得ステップでは、前記第１対応ブロック内の垂直方向の画素値の変化量を示す値を前記第１判定指標として取得する
   請求項１記載のフレーム符号化とフィールド符号化の判定方法。
4. 前記第１判定指標取得ステップでは、前記第１対応ブロック内の垂直方向に隣接する各２画素の画素値の差分と、前記第１対応ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分とから計算処理により求められる値を前記第１判定指標として取得し、
   前記判定ステップでは、前記第１判定指標として示される値が、前記第１対応ブロック内の垂直方向に隣接する各２画素の画素値の差分が前記第１対応ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分より小さいことを示していれば、フレーム符号化と判定する
   請求項１記載のフレーム符号化とフィールド符号化の判定方法。
5. 前記第１判定指標取得ステップでは、前記第１判定指標として、前記第１対応ブロックの画像が静止しているか否かを示すフラグを取得し、
   前記判定ステップでは、前記第１判定指標取得ステップにより取得された前記フラグが静止していることを示していれば、フレーム符号化と判定する
   請求項１記載のフレーム符号化とフィールド符号化の判定方法。
6. 前記フレーム符号化とフィールド符号化の判定方法では、さらに、
   前記符号化対象ブロックの画像に基づいて前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第２判定指標を取得する第２判定指標取得ステップを含み、
   前記判定ステップでは、前記第１判定指標と前記第２判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する
   請求項１記載のフレーム符号化とフィールド符号化の判定方法。
7. 前記第２判定指標取得ステップでは、前記第１判定指標取得ステップが前記第１判定指標を取得するときに前記第１対応ブロックに対して行う処理と同じ処理を前記符号化対象ブロックに対して行うことにより前記第２判定指標を取得する
   請求項６記載のフレーム符号化とフィールド符号化の判定方法。
8. 前記フレーム符号化とフィールド符号化の判定方法は、さらに、
   前記第２判定指標取得ステップによって、符号化対象のブロックに基づいて取得された前記第２判定指標を当該ブロックに対応づけて記憶領域に格納する指標格納ステップを含み、
   前記第１対応ブロック特定ステップでは、前記記憶領域に既に格納されている複数の第２判定指標のそれぞれに対応づけた複数のブロックから、前記第１対応ブロックを特定し、
   前記第１判定指標取得ステップでは、前記記憶領域に既に格納されている複数の第２判定指標から、前記第１対応ブロックに対応する第２判定指標を前記第１判定指標として取得する
   請求項６記載のフレーム符号化とフィールド符号化の判定方法。
9. 前記判定ステップでは、前記第１判定指標と前記第２判定指標に重み付けをして演算処理した結果から前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する
   請求項６記載のフレーム符号化とフィールド符号化の判定方法。
10. 前記フレーム符号化とフィールド符号化の判定方法は、さらに、
    符号化対象ブロックの符号化において参照される第２の参照ピクチャから、当該符号化対象ブロックに対応する第２対応ブロックを特定する第２対応ブロック特定ステップと、
    前記第２対応ブロック特定ステップにより特定された第２対応ブロックに基づいて前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第３判定指標を取得する第３判定指標取得ステップとを含み、
    前記判定ステップでは、前記第１判定指標と前記第３判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する
    請求項１記載のフレーム符号化とフィールド符号化の判定方法。
11. 前記判定ステップでは、前記第１の参照ピクチャが前記第２の参照ピクチャより前記符号化対象ブロックを含むピクチャから時間的に近い関係にある場合に、前記第１判定指標に前記第３判定指標より大きな重み付けをして演算処理した結果から前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する
    請求項１０記載のフレーム符号化とフィールド符号化の判定方法。
12. 前記第１判定指標取得ステップでは、前記第１判定指標として、前記第１対応ブロックの画像が静止しているか否かを示す第１フラグを取得し、
    前記第３判定指標取得ステップでは、前記第３判定指標として、前記第２対応ブロックの画像が静止しているか否かを示す第２フラグを取得し、
    前記判定ステップでは、前記第１の参照ピクチャが前記第２の参照ピクチャより前記符号化対象ブロックを含むピクチャから時間的に近い関係にある場合で、かつ、前記第１フラグが静止していることを示している場合は、フレーム符号化と判定し、前記第１の参照ピクチャが前記第２の参照ピクチャより前記符号化対象ブロックを含むピクチャから時間的に近い関係にある場合で、かつ、前記第１フラグが静止していることを示していない場合は、フィールド符号化と判定する
    請求項１０記載のフレーム符号化とフィールド符号化の判定方法。
13. 前記フレーム符号化とフィールド符号化の判定方法は、さらに、
    前記符号化対象ブロックの画像に基づいて前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第２判定指標を取得する第２判定指標取得ステップを含み、
    前記判定ステップでは、前記第１判定指標と前記第２判定指標と前記第３判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する
    請求項１０記載のフレーム符号化とフィールド符号化の判定方法。
14. 前記判定ステップでは、前記第１判定指標と前記第２判定指標が同じ適性を示す場合は、前記第３判定指標を使用せずに、前記第１判定指標または前記第２判定指標で示された適性の符号化方法と判定する
    請求項１３記載のフレーム符号化とフィールド符号化の判定方法。
15. 前記判定ステップでは、前記第１判定指標と前記第２判定指標と前記第３判定指標に重み付けをして演算処理した結果から前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する
    請求項１３記載のフレーム符号化とフィールド符号化の判定方法。
16. 前記第１判定指標取得ステップでは、前記第１対応ブロック内の垂直方向に隣接する各２画素の画素値の差分と、前記第１対応ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分とから計算処理により差の大きさを示す数値を前記第１判定指標として取得し、
    前記第２判定指標取得ステップでは、前記符号化対象ブロック内の垂直方向に隣接する各２画素の画素値の差分と、前記符号化対象ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分とから前記計算処理と同一の計算処理により差の大きさを示す数値を前記第２判定指標として取得し、
    前記第３判定指標取得ステップでは、前記第２対応ブロック内の垂直方向に隣接する各２画素の画素値の差分と、前記第２対応ブロック内の垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分とから前記計算処理と同一の計算処理により差の大きさを示す数値を前記第３判定指標として取得し、
    前記判定ステップでは、前記第１判定指標と前記第２判定指標と前記第３判定指標の和を示す数値が、垂直方向に隣接する各２画素の画素値の差分として前記第１対応ブロックと前記符号化対象ブロックと前記第２対応ブロックとから得られる差分の和が、垂直方向に連続する画素においてひとつおきの位置にある各２画素の画素値の差分として前記第１対応ブロックと前記符号化対象ブロックと前記第２対応ブロックとから得られる差分の和より、小さいことを示しいている場合に、フレーム符号化と判定する
    請求項１３記載のフレーム符号化とフィールド符号化の判定方法。
17. ブロック単位でフレーム符号化とフィールド符号化とを切り替えて符号化する画像符号化方法であって、
    請求項１記載のフレーム符号化とフィールド符号化の判定方法に含まれるステップを含む画像符号化方法。
18. ブロック単位でフレーム符号化とフィールド符号化とを切り替えて符号化する画像符号化装置であって、
    符号化対象ブロックの符号化において参照される第１の参照ピクチャにおいて、当該符号化対象ブロックに対応する第１対応ブロックを特定する第１対応ブロック特定部と、
    前記第１対応ブロック特定部により特定された第１対応ブロックに基づいて、前記符号化対象ブロックのフレーム符号化またはフィールド符号化に対する適性を示す第１判定指標を取得する第１判定指標取得部と、
    前記第１判定指標取得部により取得された第１判定指標に応じて前記符号化対象ブロックの符号化方法をフレーム符号化またはフィールド符号化と判定する判定部とを備える
    画像符号化装置。
19. 請求項１記載のフレーム符号化とフィールド符号化の判定方法に含まれるステップをコンピュータに実行させる
    プログラム。

Images