JP2008005183A - 映画素材に適した映像符号化方法および符号化装置 - Google Patents

Abstract

【課題】テレシネ変換されたビデオ信号を効率的に圧縮符号化処理し、低ビットレートでも高画質の映像データを得る。
【解決手段】ビデオ信号を圧縮符号化処理する装置であって、フレーム間差分量に基づいてテレシネ変換パターンを検出する手段１０１を具備し、テレシネ変換パターンにしたがってフレーム内符号化、あるいは、前方向フレーム間予測符号化、あるいは、両方向フレーム間予測符号化を選択する。
【選択図】図１

Description

本発明は、テレビ信号などの映像信号を圧縮符号化する方法および装置に関する。

デジタル映像信号を記録メディアに記録する際にＭＰＥＧ符号化方式を用いてデータ圧縮して得られたビデオストリームを記録することが一般的に用いられている（非特許文献１、２参照）。ＭＰＥＧ符号化方式はフレーム内符号化（Ｉピクチャ）、前方向フレーム間予測符号化（Ｐピクチャ）、両方向フレーム間予測符号化（Ｂピクチャ）を行う。ここで、Ｉピクチャを先頭としたフレーム群をグループオブピクチャ（以下、ＧＯＰと略す）と呼ぶ。Ｐピクチャは直前のＩピクチャまたはＰピクチャを参照画像として予測符号化し、Ｂピクチャは直前、直後に位置するＩピクチャまたはＰピクチャを参照画像として予測符号化する。Ｉピクチャはフレーム内で独立に符号化される。

ＭＰＥＧ２符号化方式は８×８画素のブロック単位に離散コサイン変換（ＤＣＴ）を行うが、インタレースビデオ信号の圧縮符号化に適するようにＤＣＴを行うブロックをフレームで構成するフレームＤＣＴモードと、フィールドで構成するフィールドＤＣＴモードとが選択できる。ＤＣＴモードは１６×１６画素のマクロブロック単位で選択可能である。図１１にＤＣＴモードを示す。○がトップフィールドの画素、●がボトムフィールドの画素である。図１１（ａ）はフレームＤＣＴモードでのブロック化、図１１（ｂ）はフィールドＤＣＴモードでのブロック化である。フレームＤＣＴモードはトップフィールドとボトムフィールドをあわせてブロック化し、８×８画素のブロック１１０１、１１０２、１１０３、１１０４をＤＣＴブロックとしてＤＣＴ処理する。フィールドＤＣＴモードはトップフィールドとボトムフィールドで各々ブロック化し、ブロック１１１１、１１１２、１１１３、１１１４をＤＣＴブロックとしてＤＣＴ処理する。ＤＣＴモードの選択方法としては、フレーム単位でブロック化した場合のブロック分散値の大きさとフィールド単位でブロック化したときの分散値の大きさとを比較し、小さい方を選択する。

また、フレーム間予測方法についても、フレーム単位の予測モードとフィールド単位の予測モードを併せ持ち、マクロブロック単位に選択が可能である。図３（ａ）を用いてＭＰＥＧ２のフレーム予測モードとフィールド予測モードについて説明する。なお、図３（ａ）はフレーム構造符号化の場合であるが、ピクチャ構造については後述する。

図３（ａ）はフレーム３０１をＩピクチャ、フレーム３０２、３０３をＢピクチャ、フレーム３０４をＰピクチャとした例である。フレーム３０１はトップフィールド３０１ｔ、ボトムフィールド３０１ｂからなり、フレーム３０２はトップフィールド３０２ｔ、ボトムフィールド３０２ｂからなり、フレーム３０３はトップフィールド３０３ｔ、ボトムフィールド３０３ｂからなり、フレーム３０４はトップフィールド３０４ｔ、ボトムフィールド３０４ｂからなる。トップフィールドはフレームの奇数ラインからなり、ボトムフィールドはフレームの偶数ラインからなる。

まず、フレーム３０１のＩピクチャは他のフレームを用いることなくフレーム３０１内のみで独立符号化される。

フレーム３０４のＰピクチャは直前のＩピクチャであるフレーム３０１を参照画像として予測符号化される。ここでフレーム予測モードは、フレーム３０１を参照画像としてフレーム単位で予測符号化するものである。フィールド予測モードは、各フィールドで予測符号化する。つまり、トップフィールド３０４ｔをトップフィールド３０１ｔとボトムフィールド３０１ｂを参照画像として予測符号化する。同様に、ボトムフィールド３０４ｂはトップフィールド３０１ｔとボトムフィールド３０１ｂを参照画像として予測符号化する。これら予測モードは１６×１６画素のマクロブロックと呼ばれる単位ごとに決定することができる。

次に、フレーム３０２はＢピクチャとして符号化されるが、Ｉピクチャであるフレーム３０１とＰピクチャであるフレーム３０４を参照画像とする。Ｂピクチャの予測方向のモードとしては、フレーム３０１を参照画像とする前方向予測モード、フレーム３０４を参照画像とする後方向予測モード、フレーム３０１および３０４から生成した補間画像を参照画像とする両方向予測（補間予測）モードの３つのモードをマクロブロック単位に切り替えることができる。

また、Ｐピクチャと同様にフレーム単位で予測符号化するフレーム予測モードとフィールド単位で予測符号化するフィールド予測モードとがある。したがって、予測方向モードとあわせて６つの予測モードをマクロブロック単位に切り替えることができる。

これら予測モードは予測誤差信号の大きさによって選択され、予測誤差信号の小さな予測モードを選択することで効率的な予測符号化を行うことができる。

また、前述したのはフレーム単位にピクチャを構成するフレーム構造符号化であるが、各フィールドごとにピクチャを構成して符号化するフィールド構造符号化も可能である。フレーム構造符号化とフィールド構造符号化はフレーム単位に選択することができる。フィールド構造の場合の予測符号化について図３（ｂ）を用いて説明する。

図３（ｂ）はトップフィールド３０１ｔをＩピクチャとし、ボトムフィールド３０１ｂをＰピクチャ、フィールド３０２ｔ、３０２ｂ、３０３ｔ、３０３ｂをＢピクチャ、フィールド３０４ｔおよび３０４ｂをＰピクチャとした例である。

まず、フィールド３０１ｔのＩピクチャは他のフレーム、フィールドを用いることなくフィールド３０１ｔ内のみで独立符号化される。

フィールド３０１ｂのＰピクチャは直前のＩピクチャであるフィールド３０１ｔを参照画像としてフィールド間予測符号化される。

次にフィールド３０４ｔのＰピクチャは、Ｉピクチャであるフィールド３０１ｔおよびＰピクチャであるフィールド３０１ｂを参照画像としてフィールド間予測符号化する。

フィールド３０４ｂのＰピクチャは、フィールド３０４ｔおよびフィールド３０１ｂを参照画像としてフィールド間予測符号化する。つまり、トップフィールドおよびボトムフィールドで直前にあるＩピクチャまたはＰピクチャを参照画像として予測符号化する。

次に、フィールド３０２ｔ、３０２ｂ、３０３ｔ、３０３ｂはＢピクチャとして符号化されるが、直前と直後に位置するＩピクチャまたはＰピクチャを参照画像としてフィールド間予測符号化される。Ｂピクチャの予測方向のモードは、フィールド３０１ｔ、または３０１ｂを参照画像とする前方向予測モード、フィールド３０４ｔ、またはフィールド３０４ｂを参照画像とする後方向予測モード、フィールド３０１ｔまたは３０１ｂ、および３０４ｔまたは３０４ｂから生成した補間画像を参照画像とする両方向予測（補間予測）モードの３つのモードをマクロブロック単位に切り替えることができる。

これら予測モードは予測誤差信号の大きさによって選択され、予測誤差信号の小さな予測モードを選択することで効率的な予測符号化を行うことができる。

なお、フィールド構造符号化の場合のＤＣＴはフィールド単位で行われる。

ところで、Ｉピクチャ、Ｐピクチャ、Ｂピクチャといったピクチャタイプを決定する方法として、所定の周期にしたがって決定する方法が一般的である。

図５に従来のピクチャタイプの一例を示す。Ｐピクチャの間隔ＧＯＰ＿Ｍを３としており、フレーム５１３をＩピクチャとし、フレーム５１６、５１９はＰピクチャとし、残りのフレームはＢピクチャとしている。

図７にピクチャタイプを決定するフローチャートを示している。ここで、ｎはＩピクチャから数えたフレーム数、ｍはＰピクチャから数えたフレーム数、ＧＯＰ＿ＮはＩピクチャの所定の周期フレーム数、ＧＯＰ＿ＭはＰピクチャの所定の周期フレーム数である。ＧＯＰ＿ＮはＧＯＰ＿Ｍの整数倍としている。例えば、ＧＯＰ＿Ｎ＝１５、ＧＯＰ＿Ｍ＝３とする。つまり、３フレームごとにＰピクチャとなるが、１５フレームごとにはＩピクチャとなり、これ以外のフレームはＢピクチャとなる。

以下、ピクチャタイプの決定処理フローを各ステップにしたがって順に説明する。

（ステップ７０１） 過去のＰピクチャからのフレーム数ｍがＧＯＰ＿Ｍ以上であるか判断する。ＧＯＰ＿Ｍ以上の場合はステップ７０２へ、そうでない場合はステップ７０８へ進む。

（ステップ７０２） 過去のＩピクチャからのフレーム数ｎがＧＯＰ＿Ｎ以上であるか判断する。ＧＯＰ＿Ｎ以上の場合はステップ７０３へ、そうで無い場合は、ステップ７０７へ進む。

（ステップ７０３） ピクチャタイプをＩピクチャとする。ステップ７０４へ進む。

（ステップ７０４） ｎを０にリセットする。ステップ７０５へ進む。

（ステップ７０５） ｍを０にリセットする。ステップ７０６へ進む。

（ステップ７０６） ｎ、ｍを１つずつ加算していく。終了。

（ステップ７０７） ピクチャタイプをＰピクチャとする。ステップ７０５へ進む。

（ステップ７０８） ピクチャタイプをＢピクチャとする。ステップ７０６へ進む。

さらに、参照画像（ＩピクチャまたはＰピクチャ）の周期（ＧＯＰ＿Ｍ、ＧＯＰ＿Ｎ）を適応的に決定する符号化方法が提案されている。

例えば、フレーム間予測誤差信号の大きさに従って予測効率を求め、予測効率が低いと参照フレーム間隔を小さくし、予測効率が高いと参照フレーム間隔を大きくすることにより効率的な符号化が実現できることが開示されている（例えば、特許文献１参照）。

また、入力された画像の特性を示す画像特性パラメータとして、動きベクトルの分布検出、フラッシュ映像検出、ディゾルブ映像検出、フェード映像検出などを行った結果にしたがって参照フレーム間隔を決定する方法が開示されている（例えば、特許文献２参照）。

また、入力映像の符号化に先立って簡易的な動き検出を行い、この結果にしたがって参照フレーム間隔を決定する方法が開示されている（例えば、特許文献３参照）。

いずれも、映像の絵柄の動きが大きくなるとＰピクチャの間隔を小さくし、動きが小さくなるとＰピクチャの間隔を大きくしている。これは、動きが大きく、かつフレーム間距離が大きくなると、動き量が相対的に大きくなるために、より広い動き検出範囲が必要になる、さらには、予測効率が低下する、といった問題を解決するために提案されたものである。

ところで、フレームレートが２４Ｈｚのフィルム映画素材を６０Ｈｚのインターレースビデオ信号に変換する際にフレームレートの変換がなされる。この変換はテレシネ変換、あるいは２３変換、２３プルダウンなどと呼ばれる。テレシネ変換は、フィルムの１コマを２フィールドに変換することと、３フィールドに変換することを交互に繰り返す。

図２にテレシネ変換の様子を示す。テレシネ変換は、フィルムのコマ２０１、２０２、２０３、２０４をインタレース信号のフレーム２２１、２２２、２２３、２２４、２２５の５フレーム（１０フィールド）に変換する。まず、フィルムの１コマ２０１の奇数ラインをフレーム２２１のトップフィールド２１１ｔとし、偶数ラインをボトムフィールド２１１ｂとする。同様に、コマ２０２の奇数ラインはフレーム２２２のトップフィールド２１２ｔ、偶数ラインはボトムフィールド２１２ｂとする。さらにコマ２０２の奇数ラインはフレーム２２３のトップフィールド２１３ｔとする。つまり、フレーム２２２のトップフィールド２１２ｔとフレーム２２３のトップフィールド２１３ｔは同じであり、トップフィールド２１２ｔと２１３ｔはコピーフィールドであると呼ぶ。フィルムのコマ２０２は３フィールドに変換されたことになる。

次に、フィルムのコマ２０３の偶数ラインはフレーム２２３のボトムフィールド２１３ｂに、奇数ラインはフレーム２２４のトップフィールド２１４ｔとする。同様に、フィルムのコマ２０４の偶数ラインはフレーム２２４のボトムフィールド２１４ｂとし、奇数ラインはフレーム２２５のトップフィールド２１５ｔとする。さらに、コマ２０４の偶数ラインはフレーム２２５のボトムフィールド２１５ｂとする。つまり、ボトムフィールド２１４ｂと２１５ｂはコピーフィールドであり、フィルムのコマ２０４は３フィールドに変換される。

テレシネ変換はこのようにフィルム４コマをインタレースビデオ信号５フレーム（１０フィールド）に変換することを繰り返すことである。

テレシネ変換されたインタレースビデオ信号を効率的に圧縮符号化する方法として、テレシネ変換の逆変換（逆テレシネ変換、逆２３変換、逆２３プルダウン）を行ってから符号化する方法が提案されている（例えば、特許文献４、５参照）。つまり、６０フィールド（３０フレーム）のインタレース信号からコピーフィールドを検出し、一方のコピーフィールドを削除することで、元の２４コマの信号に変換してから圧縮符号化するのである。これにより符号化処理する画面数を減らすことができ、圧縮効率が上げることができる。
特許第３６０４８６４号公報 特開２００２−１０２７０号公報 特開２０００−２６１８０９号公報 特開平１０−３０４３７９号公報 特開２０００−３４１６８５号公報 ＩＳＯ／ＩＥＣ １３８１８−２（ＭＰＥＧ２ビデオ） ＩＳＯ／ＩＥＣ １１１７２−２（ＭＰＥＧ１ビデオ）

しかしながら、テレシネ映像を高効率に圧縮符号化する際に、逆テレシネ変換を行うためには専用ハードウェアが必要であり、コストアップにつながるという課題を有していた。また、一般のテレビ信号などでは外部から混入するノイズの影響を受けるなどして必ずしも逆テレシネ変換が正しく行うことができず、逆に誤った変換によって再生映像が不自然な動きになるなどの課題も有していた。

さらに、動き量にしたがって参照フレーム間隔を決定する方法では、テレシネ変換された映像に対しては必ずしも最適な参照フレーム間隔ではなく予測符号化効率を高めることができていないという課題も有していた。

そこで、本発明は上記のような問題点に鑑みてなされたもので、テレシネ変換されたインタレース信号の符号化効率をコストアップすることなく向上させ、高画質に圧縮符号化する符号化方法および符号化装置を提供することを目的とする。

この発明（請求項１）に係る符号化装置は、インタレースビデオ信号を圧縮符号化する装置であって、フレームまたはフィールド内符号化手段と、前方向フレームまたはフィールド間予測符号化手段と、両方向フレームまたはフィールド間予測符号化手段と、コピーフィールド検出手段とを具備し、前記コピーフィールドの検出結果にしたがって、前記フレームまたはフィールド内符号化手段と前記前方向フレームまたはフィールド間予測符号化手段と前期両方向フレームまたはフィールド間予測符号化手段のうちいずれか一つを選択して符号化処理するように構成したものである。

この発明（請求項２）は、請求項１記載の符号化装置において、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドを属するフレームをフレーム内符号化、または前方向フレーム間予測符号化とするように構成したものである。

この発明（請求項３）は、請求項１記載の符号化装置において、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドをフィールド内符号化、または前方向フィールド間予測符号化とするように構成したものである。

この発明（請求項４）は、請求項１記載の符号化装置において、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方が属するフレームを参照フレームとし、他方のフィールドが属するフレームをフレーム間予測符号化するように構成したものである。

この発明（請求項５）は、請求項１記載の符号化装置において、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照フィールドとし、他方のフィールドをフィールド間予測符号化するように構成したものである。

この発明（請求項６）に係る符号化装置は、テレシネ変換されたインターレースビデオ信号を圧縮符号化する装置であって、フレームまたはフィールド内符号化手段と、前方向フレームまたはフィールド間予測符号化手段と、両方向フレームまたはフィールド間予測符号化手段と、テレシネ変換パターン検出手段とを具備し、テレシネ変換パターンにしたがって前記フレームまたはフィールド内符号化手段と前記前方向フレームまたはフィールド間予測符号化手段と前記両方向フレーム間予測符号化手段のうちいずれか一つを選択して符号化処理するように構成したものである
この発明（請求項７）は、請求項６記載の符号化装置において、テレシネ変換パターンを検出する手段は、ビデオフレームが同一のフィルムコマから変換されたものであるか、異なるフィルムコマから変換されたものであるかを検出するように構成したものである。

この発明（請求項８）は、請求項６記載の符号化装置において、テレシネ変換パターンを検出する手段は、ビデオフレームまたはフィールド間の信号レベル差を演算する手段を具備したものである。

この発明（請求項９）は、請求項７記載の符号化装置において、ビデオフレームが同一のフィルムコマから変換されたものである場合、該ビデオフレームをフレームまたはフィールド内符号化、または前方向フレームまたはフィールド間予測符号化するように構成したものである。

この発明（請求項１０）に係る符号化装置は、テレシネ変換されたインターレースビデオ信号を圧縮符号化する装置であって、フィールド単位で符号化処理する手段とフレーム単位で符号化処理する手段と、テレシネ変換パターンを検出する手段とを具備し、テレシネ変換パターンにしたがってフレーム単位で符号化処理するか、フィールド単位で符号化処理するかを選択するように構成したものである。

この発明（請求項１１）は、請求項１０記載の符号化装置において、フレーム単位で複数の画素からなるブロックに分割する手段と、フィールド単位で複数の画素かなるブロックに分割する手段と、前記フレーム単位でブロック化するかフィールド単位でブロック化するかを選択する手段と、選択されたブロックを周波数変換して符号化する手段を具備し、ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム単位でブロック化することが選ばれやすくし、そうでない場合はフィールド単位でブロック化することが選ばれやすくするように構成したものである。

この発明（請求項１２）は、請求項１０記載の符号化装置において、フレーム単位で複数の画素からなるブロックに分割する手段と、フィールド単位で複数の画素かなるブロックに分割する手段と、前記フレーム単位でブロック化するかフィールド単位でブロック化するかを選択する手段と、選択されたブロック単位で参照画像から予測処理する手段を具備し、ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム単位でブロック化することが選ばれやすくし、そうでない場合はフィールド単位でブロック化することが選ばれやすくするように構成したものである。

この発明（請求項１３）は、請求項１０記載の符号化装置において、フレーム内符号化処理する手段と、フレーム間予測符号化処理する手段と、フィールド内符号化処理する手段と、フィールド間予測符号化処理する手段と、フレーム内符号化処理、フレーム間予測符号化処理、フィールド内符号化処理、およびフィールド間予測符号化処理のうちいずれか１つを選択する手段を具備し、ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム内符号化処理もしくはフレーム間予測符号化処理することが選ばれやすくし、そうでない場合はフィールド内符号化処理もしくはフィールド間予測符号化処理することが選ばれやすくするようにするようにしたものである。

この発明（請求項１４）は、請求項１０記載の符号化装置において、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照画像とし、他方のフィールドを予測符号化し、同一フィルムコマからなるビデオフレームはフレーム単位で符号化処理し、異なるフィルムコマからなるビデオフレームはフィールド単位で符号化処理するよう構成したものである。

この発明（請求項１５）に係る符号化方法は、インタレースビデオ信号を圧縮符号化する方法であって、フレームまたはフィールド内符号化ステップと、前方向フレームまたはフィールド間予測符号化ステップと、両方向フレームまたはフィールド間予測符号化ステップと、コピーフィールド検出ステップとを具備し、前記コピーフィールドの検出結果にしたがって、前記フレームまたはフィールド内符号化ステップと前記前方向フレームまたはフィールド間予測符号化ステップと前記両方向フレームまたはフィールド間予測符号化ステップのうちいずれか一つを選択して符号化処理するようにしたものである。

この発明（請求項１６）は、請求項１５記載の符号化方法において、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方が属するフレームを参照フレームとし、他方のフィールドが属するフレームをフレーム間予測符号化するようにしたものである。

この発明（請求項１７）は、請求項１５記載の符号化方法において、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照フィールドとし、他方のフィールドをフィールド間予測符号化するようにしたものである。

この発明（請求項１８）に係る符号化方法は、テレシネ変換されたインターレースビデオ信号を圧縮符号化する方法であって、フレームまたはフィールド内符号化ステップと、前方向フレームまたはフィールド間予測符号化ステップと、両方向フレームまたはフィールド間予測符号化ステップと、テレシネ変換パターン検出ステップとを具備し、テレシネ変換パターンにしたがって前記フレームまたはフィールド内符号化ステップと前記前方向フレームまたはフィールド間予測符号化ステップと前記両方向フレームまたはフィールド間予測符号化ステップのうちいずれか一つを選択して符号化処理するようにしたものである。

この発明（請求項１９）に係る符号化方法は、テレシネ変換されたインターレースビデオ信号を圧縮符号化する方法であって、フィールド単位で符号化処理するステップとフレーム単位で符号化処理するステップと、テレシネ変換パターンを検出するステップとを具備し、テレシネ変換パターンにしたがってフレーム単位で符号化処理するか、フィールド単位で符号化処理するかを選択するようにしたものである。

以上のようにこの発明（請求項１）によれば、コピーフィールドの検出結果にしたがって、フレームまたはフィールド内符号化と前方向フレームまたはフィールド間予測符号化と両方向フレームまたはフィールド間予測符号化のうちいずれか一つを選択するように構成したので、コピーフィールドを利用した効率的なフレームまたはフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項２）によれば、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドを属するフレームをフレーム内符号化、または前方向フレーム間予測符号化とするように構成したので、コピーフィールドに対する予測誤差信号を小さくすることで効率的にフレーム間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項３）によれば、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドをフィールド内符号化、または前方向フィールド間予測符号化とするように構成したので、コピーフィールドに対する予測誤差信号を小さくすることで効率的にフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項４）によれば、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方が属するフレームを参照フレームとし、他方のフィールドが属するフレームをフレーム間予測符号化するように構成したので、コピーフィールドに対するフレーム間予測誤差信号を小さくすることができ、効率的に圧縮符号化できるので、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項５）によれば、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照フィールドとし、他方のフィールドをフィールド間予測符号化するように構成したので、コピーフィールドに対するフィールド間予測誤差信号を小さくすることができ、効率的に圧縮符号化できるので、低ビットレートにおいても高画質の映像を得ることが可能となる。この発明（請求項６）によれば、テレシネ変換されたインターレースビデオ信号のテレシネ変換パターンにしたがってフレームまたはフィールド内符号化と前方向フレームまたはフィールド間予測符号化と両方向フレームまたはフィールド間予測符号化のうちいずれか一つを選択するように構成したので、テレシネ変換パターンを利用した効率的なフレームまたはフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項７）によれば、テレシネ変換パターンを検出する手段は、ビデオフレームが同一のフィルムコマから変換されたものであるか、異なるフィルムコマから変換されたものであるかを検出するように構成したので、テレシネ変換におけるフィールドコピー処理を利用した効率的なフレームまたはフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。
この発明（請求項８）によれば、テレシネ変換パターンを検出する手段は、ビデオフレームまたはフィールド間の信号レベル差を演算する手段を具備するようにしたので、ビデオ信号からテレシネ変換パターンを正確に検出し、テレシネ変換におけるフィールドコピー処理を利用した効率的なフレームまたはフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項９）によれば、ビデオフレームが同一のフィルムコマから変換されたものである場合、該ビデオフレームをフレームまたはフィールド内符号化、または前方向フレームまたはフィールド間予測符号化するように構成したので、テレシネ変換におけるフィールドコピー処理を利用した効率的なフレームまたはフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１０）によれば、テレシネ変換パターンにしたがってフレーム単位で符号化処理するか、フィールド単位で符号化処理するかを選択するように構成したので、フレーム、フィールド処理を最適化することができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１１）によれば、ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム単位でブロック化して周波数変換されやすくし、そうでない場合はフィールド単位でブロック化して周波数変換されやすくしたので、垂直方向の相関性が高いブロックに対して周波数変換することができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１２）によれば、ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム単位でブロック化して予測符号化されやすくし、そうでない場合はフィールド単位でブロック化して予測符号化されやすくしたので、相関性の高いブロック間での予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１３）によれば、ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム内符号化処理もしくはフレーム間予測符号化処理することが選ばれやすくし、そうでない場合はフィールド内符号化処理もしくはフィールド間予測符号化処理することが選ばれやすくしたので、相関性の高い画像単位で圧縮符号化処理することができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１４）によれば、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照画像とし、他方のフィールドを予測符号化し、同一フィルムコマからなるビデオフレームはフレーム単位で符号化処理し、異なるフィルムコマからなるビデオフレームはフィールド単位で符号化処理するように構成したので、コピーフィールドに対する予測効率を高めるとともに、相関性の高い画像単位で圧縮符号化処理することができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１５）によれば、前記コピーフィールドの検出結果にしたがって、フレームまたはフィールド内符号化と前方向フレームまたはフィールド間予測符号化と両方向フレームまたはフィールド間予測符号化のうちいずれか一つを選択するようにしたので、コピーフィールドを利用した効率的なフレームまたはフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１６）によれば、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方が属するフレームを参照フレームとし、他方のフィールドが属するフレームをフレーム間予測符号化するようにしたので、コピーフィールドに対する予測誤差信号を小さくすることで効率的にフレーム間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１７）によれば、第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照フィールドとし、他方のフィールドをフィールド間予測符号化するようにしたので、コピーフィールドに対する予測誤差信号を小さくすることで効率的にフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１８）によれば、テレシネ変換パターンにしたがってフレームまたはフィールド内符号化と前方向フレームまたはフィールド間予測符号化と両方向フレームまたはフィールド間予測符号化のうちいずれか一つを選択するようにしたので、テレシネ変換パターンを利用した効率的なフレームまたはフィールド間予測符号化を行うことができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

この発明（請求項１９）よれば、テレシネ変換パターンにしたがってフレーム単位で符号化処理するか、フィールド単位で符号化処理するかを選択するようにしたので、フレーム、フィールド処理を最適化することができ、低ビットレートにおいても高画質の映像を得ることが可能となる。

以下、本発明の実施の形態について説明する。

（実施の形態１）
図１は本発明の実施の形態１であるビデオ符号化装置の実施例を説明するためのブロック図である。

この符号化装置は、フレーム遅延器１００、テレシネ変換パターン検出器１０１、ピクチャタイプ決定器１０２、セレクタ１０３、フレーム内符号化部１０４、前方向フレーム間予測符号化部１０５、両方向フレーム間予測符号化部１０６とから構成され、ＭＰＥＧ２ビデオストリームを出力する符号化装置である。

フレーム値延器１００はメモリから構成され、入力ビデオ信号をいったん蓄積することで１フレーム以上の遅延を行う。

セレクタ１０３は入力フレームをフレーム内符号化部１０４にてフレーム内符号化処理してＩピクチャとするか、前方向フレーム間予測符号化部１０５で前方向フレーム間予測符号化処理してＰピクチャとするか、両方向フレーム間予測符号化部１０６で両方向フレーム間予測符号化処理してＢピクチャとするかを選択するためのセレクタであり、ピクチャタイプ決定器１０２によって制御される。

テレシネ変換パターン検出器１０１は、フレーム間差分値の大きさなどでコピーフィールドを検出しテレシネ変換における変換パターンを検出するものである。

図６にテレシネ変換パターン検出器１０１の一例を示す。これは、第１のフィールドメモリ６０１、第２のフィールドメモリ６０２、絶対値差分演算部６０３、比較器６０４から構成されコピーフィールドを検出するものである。入力された画像信号は、第１のフィールドメモリ６０１に格納された後、次に、第２のフィールドメモリ６０２に格納される。つまり、第２のフィールドメモリ６０２の出力は入力画像に対して１フレーム期間遅延する。絶対値差分演算部６０３は入力画像と１フレーム期間遅延させたフィールドとの絶対値差分を累積し、各フィールドのフレーム間差分値を計算する。比較器６０４は各フィールドのフレーム間差分値と所定のしきい値Ｄｔとの比較を行い、フレーム間差分値が所定値以下であれば、コピーフィールドとして検出する。

なお、テレシネ変換パターン検出器１０１の一例を示したが、コピーフィールドの検出に用いる所定のしきい値Ｄｔは過去のフレーム間差分値の大きさにしたがって更新するなどしてもよい。例えば、過去のフレーム間差分値が平均的に大きな場合はしきい値を大きくするなどする。こうすることでノイズが混入した映像においてもコピーフィールドを検出することができる。

また、テレシネ変換は５フレーム周期になされるので、この周期性を利用してもよい。例えば、５フレームごとにトップフィールドでのコピーフィールド、およびボトムフィールドでのコピーフィールドが存在するので、この周期に同期してフレーム間差分値のしきい値Ｄｔを決定する。周期性からコピーフィールドが検出される可能性が高い場合は、しきい値Ｄｔを小さくすることで、コピーフィールド検出を精度よくおこなうことができる。

次に、ピクチャタイプ決定器１０２はnフレーム（例えばｎ＝１５）ごとにＩピクチャとし、ｍフレーム（例えばｍ＝３）ごとにＰピクチャとし、残りをＢピクチャとするように周期的にピクチャタイプを決定するが、これに加えて、テレシネ変換パターン検出器１０１の出力によってもピクチャタイプを決定する。すなわち、テレシネ変換パターン検出によって互いにコピーフィールドの関係にあるフレームである場合は、いずれか一方のフレームを参照フレームとし、他方のフレームをフレーム間予測符号化するようにピクチャタイプを決定する。図８にピクチャタイプ決定器１０２における各フレームのピクチャタイプ決定フローチャートを示す。図８で、ｍはＩまたはＰピクチャから数えたフレーム数、ｎはＩピクチャから数えたフレーム数、ＧＯＰ＿ＭはＰピクチャの基本周期（フレーム数）、ＧＯＰ＿ＮはＩピクチャの基本周期（フレーム数）であり、ピクチャタイプｐｔｙｐｅを決定する。周期的にピクチャタイプを決定する方法は、図７に示した従来方法のフローチャートと同様であるが、ステップ８０２が追加されていることが異なる。以下、ＧＯＰ＿Ｎ＝１５フレーム、ＧＯＰ＿Ｍ＝３フレームとした場合の例を説明する。

図８のピクチャタイプ決定フローチャートの各ステップを説明する。

（ステッ７０１） 過去のＰピクチャからのフレーム数ｍがＧＯＰ＿Ｍ以上であるか判断する。ＧＯＰ＿Ｍ以上の場合はステップ７０２へ、そうでない場合はステップ８０２へ進む。

（ステップ７０２） 過去のＩピクチャからのフレーム数ｎがＧＯＰ＿Ｎ以上であるか判断する。ＧＯＰ＿Ｎ以上の場合はステップ７０３へ、そうで無い場合は、ステップ７０７へ進む。

（ステップ７０３） ピクチャタイプをＩピクチャとする。ステップ７０４へ進む。

（ステップ７０４） ｎを０にリセットする。ステップ７０５へ進む。

（ステップ７０５） ｍを０にリセットする。ステップ７０６へ進む。

（ステップ７０６） ｎ、ｍを１つずつ加算していく。終了。

（ステップ７０７） ピクチャタイプをＰピクチャとする。ステップ７０５へ進む。

（ステップ８０２） 現在のフレームのトップフィールドもしくはボトムフィールドがコピーフィールドであるかどうかの判定を行う。コピーフィールドでない場合はステップ７０８へ、コピーフィールドである場合はステップ７０２へ進む。

（ステップ７０８） ピクチャタイプをＢピクチャとする。ステップ７０６へ進む。

上記のように、ｍがＧＯＰ＿Ｍ（３フレーム）未満の場合、従来は常にＢピクチャとしていたが、本発明の符号化装置では現在のフレームのトップフィールドもしくはボトムフィールドがコピーフィールドである場合は、ＩピクチャまたはＰピクチャとする。

図５に、テレシネ変換パターンの一例と、従来の周期的に決定されたピクチャタイプを示す。ここで、フレーム５１３のトップフィールド５０３ｔはフレーム５１２のトップフィールド５０２ｔのコピーフィールドとし、フレーム５１５のボトムフィールド５０５ｂはフレーム５１４のボトムフィールド５０４ｂのコピーフィールドである。同様にフレーム５１８のトップフィールド５０８ｔ、フレーム５２０のボトムフィールド５１０ｂはコピーフィールドである。ここで、従来はフレーム５１３をＩピクチャとし、フレーム５１６、５１９をＰピクチャとし、残りをＢピクチャとなる。

次に、図４（ａ）に、図５と同じテレシネ変換パターンの映像に対して、本発明の符号化装置によって決定したピクチャタイプを示す。

ここで、フレーム４２３のトップフィールド４１３ｔはフレーム４２２のトップフィールド４１２ｔのコピーフィールドとし、フレーム４２５のボトムフィールド４１５ｂはフレーム４２４のボトムフィールド４１４ｂのコピーフィールドである。同様にフレーム４２８のトップフィールド４１８ｔ、フレーム４３０のボトムフィールド４２０ｂはコピーフィールドである。

図８に示した本発明のピクチャタイプ決定方法によれば、コピーフィールド４１３ｔをもつフレーム４２３はＩピクチャとし、フレーム４２５、４２８、４３０はＰピクチャとし、残りをＢピクチャとする。

Ｂピクチャとしたフレーム４２４の参照画像はＩピクチャとしたフレーム４２３とＰピクチャとしたフレーム４２５であるが、Ｂピクチャのボトムフィールド４１４ｂとＰピクチャのボトムフィールド４１５ｂはコピーフィールドの関係にあるので、Ｂピクチャのボトムフィールド４１４ｂの予測誤差信号はほぼ０とすることができる。

したがって、フレーム４２４のＢピクチャのうちボトムフィールド４１４ｂに対する符号量を大きく削減することが可能となる。

同様に、Ｂピクチャであるフレーム４２７のトップフィールド４１７ｔ、フレーム４２９のボトムフィールド４１９ｂの符号量を従来よりも大きく削減することが可能となる。
これにより、従来符号化よりも効率的に符号量を削減することができ、高画質な圧縮符号化を実現することができる。なお、各フレームはフィールド構造で符号化するとしてもよい。すなわち、互いにコピーフィールドでの関係にある場合、いずれか一方のフィールドを参照フィールドとし、他方のフィールドをフィールド間予測符号化するようにピクチャタイプを決定する。

図１２（ａ）に各フィールドに対するピクチャタイプを示している。ピクチャタイプの決定方法は図８のフローチャートと同様にフレーム単位で各フィールドのピクチャ単位を決定すればよい。なお、Ｉフレームに対しては、トップフィールドをＩピクチャ、ボトムフィールドをＰピクチャとしている。

Ｂピクチャとしたフィールド４１４ｂの参照画像はＩピクチャとしたフィールド４１３ｔとＰピクチャとした４１３ｂ、４１５ｔ、４１５ｂであるが、フィールド４１４ｂとＰピクチャのフィールド４１５ｂはコピーフィールドの関係にあるので、フィールド４１４ｂの予測誤差信号はほぼ０とすることができる。したがって、フィールド４１４ｂに対する符号量を大きく削減することが可能となる。

これにより、従来符号化よりも効率的に符号量を削減することができ、高画質な圧縮符号化を実現することができる。

（実施の形態２）
図１０は、本発明の実施の形態２であるビデオ符号化装置の実施例を説明するためのピクチャタイプ決定のフローチャートである。

本発明の実施の形態２のビデオ符号化装置ブロック図は、本発明の実施の形態１と同様であるが、ピクチャタイプ決定器１０２の動作内容が異なる。以下、図１０のピクチャタイプ決定フローチャートの各ステップを説明する。

（ステップ７０１） 過去のＰピクチャからのフレーム数ｍがＧＯＰ＿Ｍ以上であるか判断する。ＧＯＰ＿Ｍ以上の場合はステップ７０２へ、そうでない場合はステップ１００２へ進む。

（ステップ７０２） 過去のＩピクチャからのフレーム数ｎがＧＯＰ＿Ｎ以上であるか判断する。ＧＯＰ＿Ｎ以上の場合はステップ７０３へ、そうで無い場合は、ステップ７０７へ進む。

（ステップ７０３） ピクチャタイプをＩピクチャとする。ステップ７０４へ進む。

（ステップ７０４） ｎを０にリセットする。ステップ７０５へ進む。

（ステップ７０５） ｍを０にリセットする。ステップ７０６へ進む。

（ステップ７０６） ｎ、ｍを１つずつ加算していく。終了。

（ステップ７０７） ピクチャタイプをＰピクチャとする。ステップ７０５へ進む。

（ステップ１００２） 次のフレームのトップフィールドが現フレームのトップフィールドのコピーであるか、もしくは現在のフレームのボトムフィールドが前フレームのボトムフィールドのコピーであるかの判定を行う。いずれもコピーフィールドでない場合はステップ７０８へ、どちらかがコピーフィールドである場合はステップ７０２へ進む。

（ステップ７０８） ピクチャタイプをＢピクチャとする。ステップ７０６へ進む。

なお、ステップ１００２において次フレームのトップフィールドがコピーフィールドであることを検出するためには、フレーム遅延器１００によってセレクタへの入力を１フレーム以上遅延させればよい。

従来のビデオ符号化装置では、ｍがＧＯＰ＿Ｍ以下の場合は常にＢピクチャとしていたが、本発明の実施の形態２の符号化装置では、次フレームのトップフィールドが現フレームのトップフィールドのコピーである場合、もしくは現フレームのボトムフィールドが前フレームのボトムフィールドのコピーである場合は、ＩピクチャまたはＰピクチャとする。

次に、図４（ｂ）に、従来例として示した図５と同じテレシネ変換パターンの映像に対して、本発明の実施の形態２の符号化装置によって決定したピクチャタイプを示す。

ここで、フレーム４５３のトップフィールド４４３ｔはフレーム４５２のトップフィールド４４２ｔのコピーフィールドであり、フレーム４５５のボトムフィールド４４５ｂはフレーム４５４のボトムフィールド４４４ｂのコピーフィールドである。同様にフレーム４５８のトップフィールド４４８ｔ、フレーム４６０のボトムフィールド４５０ｂはコピーフィールドである。

図１０に示した本発明のピクチャタイプ決定方法によれば、コピーフィールド４４２ｔをもつフレーム４５２はＩピクチャとし、フレーム４５５、４５７、４６０はＰピクチャとし、残りをＢピクチャとする。

例えば、Ｂピクチャとしたフレーム４５３の符号化において、参照画像はＩピクチャとしたフレーム４５２とＰピクチャとしたフレーム４５５であるが、Ｂピクチャのトップフィールド４４３ｔはＩピクチャのトップフィールド４４２ｔのコピーフィールドであるので、予測誤差信号はほぼ０とすることができる。したがって、フレーム４５３のＢピクチャのうちトップフィールド４４３ｔに対する符号量を大きく削減することが可能となる。

さらに、Ｉピクチャとしたフレーム４５２はフィルムの１つのコマに対応する。つまり、トップフィールド４４２ｔとボトムフィールド４４２ｂは同一時刻の映像信号（プログレッシブフレーム）である。同様に、ピクチャとしたフレーム４５５、４５７、４６０はフィルム１コマに対応し、それぞれトップ／ボトムフィールドは同一時刻のフレームである。

一般的にインターレース信号のフレームはトップフィールドとボトムフィールドは１／６０秒の時間的ずれがあるので、１／６０秒の絵柄の動き、あるいは変化が含まれる。つまり、フレーム内において時間的変化と空間的変化の両方をあわせて持った信号である。例えば、フレーム４５３、４５４、４５６、４５８、４５９はインタレースのフレーム信号である。

一方、フレーム４５２、４５５、４５７、４６０のトップ／ボトムフィールドは同一時刻の信号であるので、フレーム内における時間的変化はなく空間的な信号変化のみとなる。これは通常のインタレースビデオ信号のフレームと比べてフレーム内の信号の相関性が高いことを意味する。圧縮符号化は信号の相関性を利用して行われるので、信号の相関性が高いとより効率的に圧縮することが可能である。

また、Ｐピクチャの符号化において、フィールド間の時間的ずれはないのでフレーム単位での予測符号化を行うことで効率的な符号化を行うことができる。

以上のように、テレシネ変換パターンにしたがってピクチャタイプを決定することで、Ｉピクチャのフレーム内相関を高めることで圧縮効率を向上させ、Ｐピクチャにおいてはフレーム内相関を高めるとともにフレーム間予測効率を向上させることができ、さらにＢピクチャではコピーフィールドを利用して効率的な予測符号化を実現することができる。

なお、テレシネ変換パターンの検出としてコピーフィールドを検出する方法を説明したが、これに限定されるものではない。例えば、フレーム内のトップフィールドとボトムフィールド間の時間的なズレを検出することによってテレシネ変換パターンを検出してもよい。トップ／ボトムフィールドが同一時刻の信号であるとして検出した場合、そのフレームをＩピクチャまたはＰピクチャとし、同一時刻でない信号の場合はＢピクチャとすればよい。これにより、実施の形態２と同様の効果を得ることができる。なお、フィールド間の時間的なズレの検出にはトップフィールドとボトムフィールド間の差分、あるいは相関係数などを算出すればよい。

なお、ＤＣＴをフレーム単位またはフィールド単位で行うかのＤＣＴモード選択において、トップ／ボトムフィールドが同一時刻である場合は、フレームＤＣＴモードを選択しやすくなるように制御してもよい。また、逆に同一時刻でない場合は、フィールドＤＣＴモードを選択しやすいようにしてもよい。

なお、Ｐピクチャにおいてトップ／ボトムフィールドが同一時刻である場合は、フレーム単位での予測をフィールド単位予測よりも選択しやすくしてもよい。

（実施の形態３）
図１３は、本発明の実施の形態３であるビデオ符号化装置のブロック図である。

本発明の実施の形態３のビデオ符号化装置は、本発明の実施の形態２と同様であるが、ピクチャ構造決定器１３０１を備えている点が異なる。ピクチャタイプ決定器１０２のピクチャタイプ決定フローチャートは図１０の同じである。

ピクチャ構造決定器１３０１はピクチャタイプ決定器１０２によって選択された各符号化手段１０４、１０５、１０６で処理するフレームをフレーム構造とするか、フィールド構造として符号化するかを決定し、各符号化手段１０４、１０５、１０６を制御するものである。ピクチャ構造決定器１３０１は、同一のフィルムコマからなるフレームの場合はフレーム構造とし、そうでないフレームはフィールド構造になるようにする。

図１２（ｂ）に本発明の実施の形態３によって選択されたピクチャタイプおよびピクチャ構造の例を示している。

このように同一のフィルムコマなるフレームはフレーム内の相関が高いためフレーム単位で符号化した方が圧縮効率が高い。一方、異なるフィルムコマからなるフレームはフレーム内の相関性が低いためフィールド単位で符号化するほうが圧縮効率は高まり、より低レートで高画質の映像を得ることが可能となる。

また、図１２（ｃ）にあるようにＩピクチャのフレーム、Ｐピクチャのフレームはフレーム構造とし、Ｂピクチャのフレームはフィールド構造としてもよい。

Ｂピクチャとしたフィールド４４３ｔはコピーフィールドの関係にあるフレーム４５２を参照画像とすることで予測効率は高まり、フィールド４４３ｂはフレーム４５２と４５５を参照画像として両方向予測することで符号化効率が高めることができる。このようにテレシネ変換パターンによって決定したピクチャタイプによって一意的にフレーム構造／フィールド構造を決定することで、フレーム構造／フィールド構造の選択が簡素化できる。

（実施の形態４）
図９は、本発明の実施の形態４であるビデオ符号化装置の実施例を説明するためのブロック図である。実施の形態１のビデオ符号化装置と同様にテレシネ変換パターンにしたがってピクチャタイプを決定するが、符号化モード制御９０１を備えており、符号化モード制御９０１がフレーム内符号化処理部９０４、前方向フレーム間予測符号化処理部９０５、両方向フレーム間予測符号化処理部９０６を制御することが異なる。

符号化モード制御９０１はテレシネ変換パターンにしたがって各ピクチャタイプでの符号化モード選択動作を制御する。

以下、各ピクチャタイプにおける動作を説明する。

まず、Ｉピクチャの場合、対象フレームがテレシネ変換パターン検出からフィルムの同一コマから構成されたフレーム（プログレッシブフレーム）であると判断した場合は、ＤＣＴモード選択におけるフレームＤＣＴモードを選択しやすくする。ＤＣＴモード選択はフレーム単位でブロック化した場合の信号分散値とフィールド単位でブロック化した場合の信号分散値を比較し、分散値の小さい方を選択すればよい。ここで、プログレッシブフレームの場合はフィールドＤＣＴブロックの信号分散値に対して所定の正のオフセット、あるいは１以上の所定倍率をかけるなどして、フィールドＤＣＴブロックの信号分散値が大きくなるように重み付ける。これにより、プログレッシブフレームの場合はフレームＤＣＴモードを選択しやすいようにする。ところで、フィールドＤＣＴモードは、トップフィールドとボトムフィールドの時刻が異なることから絵柄が変化している場合はフィールド単位でブロック化するほうが有効である。しかし、フィールド単位のブロック化は偶数ラインおき、あるいは奇数ラインおきでブロックを構成するので、ブロックの垂直画素間の距離が２ラインになり垂直方向の相関性は低下する。一方、フレーム内で動きがない場合はフレームＤＣＴモードが有効である。これはブロックの垂直画素間の距離が１ラインであり、垂直方向の相関性が高いので圧縮効率が高まるのである。

このように、フィルムの１コマから構成されるフレームであればフレームＤＣＴモードを選択することで、効率的に圧縮することができる。

対象フレームがプログレッシブフレームであることを検出するためには、トップフィールドとボトムフィールド間の差分、相関係数などを検出すればよいが、コピーフィールドの検出結果から検出してもよい。例えば、トップフィールドのコピーフィールドが検出された場合、コピー元のトップフィールドをもつフレームはプログレッシブフレームである。２つのトップフィールドが同一時刻の信号であるということは、このトップフィールドの時間的間に位置するボトムフィールドもまた同一時刻の信号であると判断できるからである。つまり、コピー元のトップフィールドとボトムフィールドで構成されるフレームはプログレッシブフレームと判断できる。同様にボトムフィールドがコピーフィールドであるフレームもプログレッシブフレームとして判断できる。

また、通常のテレシネ変換パターンは図２にあるように、プログレッシブフレームが３フレーム続いた後、インタレースフレームが２フレーム続くことから、コピーフィールドの検出位置と変換パターンからプログレッシブフレームを検出してもよい。

また、実施の形態２で説明したビデオ符号化装置では、テレシネ変換パターンにしたがって決定したＩピクチャはプログレッシブフレームとなるので、常にフレームＤＣＴを選択しやすくしてもよい。

次にＰピクチャの場合について説明する。Ｉピクチャと同様にフィルムの同一コマから構成されたフレーム（プログレッシブフレーム）であればフレームＤＣＴを選択しやすいようにＤＣＴモード選択において重み付けを行う。また、予測モード選択はフレーム間予測モードとフィールド間予測モードとをマクロブロック単位に選択することができるが、プログレッシブフレームの場合は、フレーム間予測モードを選択しやすいようにする。予測モード選択は予測誤差信号の分散、絶対値総和などを評価値として、評価値の小さい方を選択するが、プログレッシブフレームの場合は、フィールド間予測の評価値を大きくなるように重み付けるなどすればよい。

フィールド間予測モードはトップフィールド、ボトムフィールドで異なる動きをしている場合に有効であるが、各々のフィールドに対する動きベクトル量を伝送する必要があり、動きベクトル符号量はフレーム間予測モードよりも多くなる。したがって、フィルムの同一コマからなるフレームである場合はフレーム間予測により符号化する方が効率よく圧縮することができるのである。

対象フレームがプログレッシブフレームであることを検出する方法はＩピクチャの場合と同様である。また、実施の形態２で説明したビデオ符号化装置では、テレシネ変換パターンにしたがって決定したＰピクチャはプログレッシブフレームとなるので、常にフレームＤＣＴモード、およびフレーム間予測モードを選択するようにしてもよい。

次にＢピクチャの場合について説明する。

テレシネ変換パターンにしたがって予測モードを制御する。図４（ｂ）を用いて予測モードの制御例を説明する。Ｂピクチャであるフレーム４５３を例にする。フレーム４５３のトップフィールド４４３ｔはＩピクチャであるフレーム４５２のトップフィールド４４２ｔのコピーフィールドである。この場合、トップフィールド４４３ｔはフレーム４５２を参照画像とする前方予測モードを選択する。こうすることでトップフィールド４４３ｔの予測誤差信号は０とすることができ符号量を削減することができる。また、トップフィールド４４２ｔを参照画像としたフィールド間予測モードを選択してもよい。ボトムフィールド４４３ｂについては、同様にフレーム４５２を参照画像としてもよいし、フレーム４５２およびフレーム４５５を参照画像としてもよい。トップフィールド４４３ｔとボトムフィールド４４３ｂとを各々フィールド構造として符号化してもよい。フィールド構造とすることで、それぞれのフィールドに最適な参照画像を選択することができる。

以上のように、テレシネ変換パターンにしたがって、ＤＣＴモード、予測モードといった符号化モードを選択制御することで効率的な圧縮符号化を実現することができる。

なお、ＭＰＥＧ２符号化方式に適用した場合を説明したが、これに限らずＭＰＥＧ４などフレーム内符号化、フレーム間予測符号化を行う符号化方式であれば何でも構わない。

なお、本発明の実施の形態として符号化装置を説明したが、ソフトウェアのプログラムとして実現してよい。各ブロックを処理ステップとして置き換えればよい。

本発明にかかるビデオ符号化装置および符号化方法は、映画フィルム素材をテレシネ変換して得られたビデオ信号をテレシネ変換パターンに従って効率的に圧縮符号化するので、長時間で高画質な記録が必要な録画装置、あるいは、限られた伝送レートの伝送路においても高画質な映像を伝送するといった用途にも適用できる。

本発明の実施の形態１による記録装置を説明するためのブロック図 フィルムコマをビデオフレームに変換するテレシネ変換パターンの図 ＭＰＥＧ２符号化方式のピクチャタイプ、および、フレーム予測とフィールド予測を示した図 本発明の実施の形態１および実施の形態２によるテレシネ変換パターンとピクチャタイプを説明した図 従来例のピクチャタイプを説明した図 本発明の実施の形態１のテレシネ変換パターン検出器の構成例を説明するためのブロック図 従来例のピクチャタイプ決定フローチャート 本発明の実施の形態１のピクチャタイプ決定フローチャート 本発明の実施の形態４によるビデオ符号化装置を説明するためのブロック図 本発明の実施の形態２のピクチャタイプ決定フローチャート ＭＰＥＧ２符号化方式のＤＣＴモードのブロック化を示した図 本発明の実施の形態１および実施の形態３によるピクチャタイプおよびピクチャ構造を説明した図 本発明の実施の形態３であるビデオ符号化装置のブロック図

符号の説明

１００ フレーム遅延器
１０１ テレシネ変換パターン検出器
１０２ ピクチャタイプ決定器
１０３ セレクタ
１０４ フレーム内符号化部
１０５ 前方向フレーム間予測符号化部
１０６ 両方向フレーム間予測符号化部
２０１、２０２、２０３、２０４ フィルムのコマ
２１１ｔ、２１２ｔ、２１３ｔ、２１４ｔ、２１５ｔ トップフィールド
２１１ｂ、２１２ｂ、２１３ｂ、２１４ｂ、２１５ｂ ボトムフィールド
２２１、２２２、２２３、２２４、２２５ フレーム
３０１ Ｉピクチャのフレーム（Ｉフレーム）
３０１ｔ Ｉフレームのトップフィールド
３０１ｂ Ｉフレームのボトムフィールド
３０２、３０３ Ｂピクチャのフレーム（Ｂフレーム）
３０２ｔ、３０３ｔ Ｂフレームのトップフィールド
３０２ｂ、３０３ｂ Ｂフレームのボトムフィールド
３０４ Ｐピクチャのフレーム（Ｐフレーム）
３０４ｔ Ｐフレームのトップフィールド
３０４ｂ Ｐフレームのボトムフィールド
４１１ｔ、４１２ｔ、４１３ｔ、４１４ｔ、４１５ｔ、４１６ｔ、４１７ｔ、４１８ｔ、４１９ｔ、４２０ｔ トップフィールド
４１１ｂ、４１２ｂ、４１３ｂ、４１４ｂ、４１５ｂ、４１６ｂ、４１７ｂ、４１８ｂ、４１９ｂ、４２０ｂ ボトムフィールド
４２１、４２２、４２３、４２４、４２５、４２６、４２７、４２８、４２９、４３０ フレーム
４３１ｔ、４３２ｔ、４３３ｔ、４３４ｔ、４３５ｔ、４３６ｔ、４３７ｔ、４３８ｔ、４３９ｔ、４４０ｔ トップフィールド
４３１ｂ、４３２ｂ、４３３ｂ、４３４ｂ、４３５ｂ、４３６ｂ、４３７ｂ、４３８ｂ、４３９ｂ、４４０ｂ ボトムフィールド
４５１、４５２、４５３、４５４、４５５、４５６、４５７、４５８、４５９、４５０ フレーム
５０１ｔ、５０２ｔ、５０３ｔ、５０４ｔ、５０５ｔ、５０６ｔ、５０７ｔ、５０８ｔ、５０９ｔ、５１０ｔ トップフィールド
５０１ｂ、５０２ｂ、５０３ｂ、５０４ｂ、５０５ｂ、５０６ｂ、５０７ｂ、５０８ｂ、５０９ｂ、５１０ｂ ボトムフィールド
５１１、５１２、５１３、５１４、５１５、５１６、５１７、５１８、５１９、５２０ フレーム
６０１ 第１のフィールドメモリ
６０２ 第２のフィールドメモリ
６０３ 絶対値差分演算部
６０４ 比較器
７０１ Ｐピクチャの挿入周期をチェックするステップ
７０２ Ｉピクチャの挿入周期をチェックするステップ
７０３ ピクチャタイプをＩピクチャに設定するステップ
７０４ Ｉピクチャからの数えるフレームカウンタｎをリセットするステップ
７０５ Ｉ、Ｐピクチャからの数えるフレームカウンタｍをリセットするステップ
７０６ フレームカウンタｎ、ｍをイクリメントするステップ
７０７ ピクチャタイプをＰピクチャに設定するステップ
７０８ ピクチャタイプをＢピクチャに設定するステップ
８０２ コピーフィールドをチェックするステップ
９０１ 符号化モード制御部
９０４ フレーム内符号化部
９０５ 前方向フレーム間予測符号化部
９０６ 両方向フレーム間予測符号化部
１００２ コピーフィールドをチェックするステップ
１１０１、１１０２、１１０３、１１０４ フレームＤＣＴモードのＤＣＴブロック
１１１１、１１１２ フィールドＤＣＴモードのトップフィールドのＤＣＴブロック
１１１３、１１１４ フィールドＤＣＴモードのボトムフィールドのＤＣＴブロック

Claims (19)

1. インタレースビデオ信号を圧縮符号化する装置であって、フレームまたはフィールド内符号化手段と、前方向フレームまたはフィールド間予測符号化手段と、両方向フレームまたはフィールド間予測符号化手段と、コピーフィールド検出手段とを具備し、前記コピーフィールドの検出結果にしたがって、前記フレームまたはフィールド内符号化手段と前記前方向フレームまたはフィールド間予測符号化手段と前記両方向フレームまたはフィールド間予測符号化手段のうちいずれか一つを選択して符号化処理することを特徴とする符号化装置。
2. 第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドを属するフレームをフレーム内符号化、または前方向フレーム間予測符号化とすることを特徴とする請求項１記載の符号化装置。
3. 第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドをフィールド内符号化、または前方向フィールド間予測符号化とすることを特徴とする請求項１記載の符号化装置。
4. 第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方が属するフレームを参照フレームとし、他方のフィールドが属するフレームをフレーム間予測符号化することを特徴とする請求項１記載の符号化装置。
5. 第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照フィールドとし、他方のフィールドをフィールド間予測符号化することを特徴とする請求項１記載の符号化装置。
6. テレシネ変換されたインターレースビデオ信号を圧縮符号化する装置であって、フレームまたはフィールド内符号化手段と、前方向フレームまたはフィールド間予測符号化手段と、両方向フレームまたはフィールド間予測符号化手段と、テレシネ変換パターン検出手段とを具備し、テレシネ変換パターンにしたがって前記フレームまたはフィールド内符号化手段と前記前方向フレームまたはフィールド間予測符号化手段と前記両方向フレームまたはフィールド間予測符号化手段のうちいずれか一つを選択して符号化処理することを特徴とする符号化装置。
7. テレシネ変換パターンを検出する手段は、ビデオフレームが同一のフィルムコマから変換されたものであるか、異なるフィルムコマから変換されたものであるかを検出することを特徴とする請求項６記載の符号化装置。
8. テレシネ変換パターンを検出する手段は、ビデオフレームまたはフィールド間の信号レベル差分を演算する手段を具備することを特徴とする請求項６記載の符号化装置。
9. ビデオフレームが同一のフィルムコマから変換されたものである場合、該ビデオフレームをフレームまたはフィールド内符号化、または前方向フレームまたはフィールド間予測符号化することを特徴とする請求項７記載の符号化装置。
10. テレシネ変換されたインターレースビデオ信号を圧縮符号化する装置であって、フィールド単位で符号化処理する手段とフレーム単位で符号化処理する手段と、テレシネ変換パターンを検出する手段とを具備し、テレシネ変換パターンにしたがってフレーム単位で符号化処理するか、フィールド単位で符号化処理するかを選択することを特徴とする符号化装置。
11. フレーム単位で複数の画素からなるブロックに分割する手段と、フィールド単位で複数の画素かなるブロックに分割する手段と、前記フレーム単位でブロック化するかフィールド単位でブロック化するかを選択する手段と、選択されたブロックを周波数変換して符号化する手段を具備し、ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム単位でブロック化することが選ばれやすくし、そうでない場合はフィールド単位でブロック化することが選ばれやすくするようにすることを特徴とする請求項１０記載の符号化装置。
12. フレーム単位で複数の画素からなるブロックに分割する手段と、フィールド単位で複数の画素かなるブロックに分割する手段と、前記フレーム単位でブロック化するかフィールド単位でブロック化するかを選択する手段と、選択されたブロック単位で参照画像から予測処理する手段を具備し、
    ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム単位でブロック化することが選ばれやすくし、そうでない場合はフィールド単位でブロック化することが選ばれやすくするようにすることを特徴とする請求項１０記載の符号化装置。
13. フレーム内符号化処理する手段と、フレーム間予測符号化処理する手段と、１つのフレームをフィールドに分割してフィールド内符号化処理する手段と、フィールド間予測符号化処理する手段と、フレーム内符号化処理、フレーム間予測符号化処理、フィールド内符号化処理、およびフィールド間予測符号化処理のうちいずれか１つを選択する手段を具備し、ビデオフレームが同一のフィルムコマから変換されたものである場合、フレーム内符号化処理もしくはフレーム間予測符号化処理することが選ばれやすくし、そうでない場合はフィールド内符号化処理もしくはフィールド間予測符号化処理することが選ばれやすくするようにすることを特徴とする請求項１０記載の符号化装置。
14. 第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照画像とし、他方のフィールドを予測符号化し、同一フィルムコマからなるビデオフレームはフレーム単位で符号化処理し、異なるフィルムコマからなるビデオフレームはフィールド単位で符号化処理することを特徴とする請求項１０記載の符号化装置。
15. インタレースビデオ信号を圧縮符号化する方法であって、フレームまたはフィールド内符号化ステップと、前方向フレームまたはフィールド間予測符号化ステップと、両方向フレームまたはフィールド間予測符号化ステップと、コピーフィールド検出ステップとを具備し、前記コピーフィールドの検出結果にしたがって、前記フレームまたはフィールド内符号化ステップと前記前方向フレームまたはフィールド間予測符号化ステップと前記両方向フレームまたはフィールド間予測符号化ステップのうちいずれか一つを選択して符号化処理することを特徴とする符号化方法。
16. 第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方が属するフレームを参照フレームとし、他方のフィールドが属するフレームをフレーム間予測符号化することを特徴とする請求項１５記載の符号化方法。
17. 第１のフィールドが第２のフィールドのコピーフィールドである場合、前記第１のフィールドまたは前記第２のフィールドのいずれか一方を参照フィールドとし、他方のフィールドをフィールド間予測符号化することを特徴とする請求項１５記載の符号化方法。
18. テレシネ変換されたインターレースビデオ信号を圧縮符号化する方法であって、フレームまたはフィールド内符号化ステップと、前方向フレームまたはフィールド間予測符号化ステップと、両方向フレームまたはフィールド間予測符号化ステップと、テレシネ変換パターン検出ステップとを具備し、テレシネ変換パターンにしたがって前記フレームまたはフィールド内符号化ステップと前記前方向フレームまたはフィールド間予測符号化ステップと前記両方向フレームまたはフィールド間予測符号化ステップのうちいずれか一つを選択して符号化処理することを特徴とする符号化方法。
19. テレシネ変換されたインターレースビデオ信号を圧縮符号化する方法であって、フィールド単位で符号化処理するステップとフレーム単位で符号化処理するステップと、テレシネ変換パターンを検出するステップとを具備し、テレシネ変換パターンにしたがってフレーム単位で符号化処理するか、フィールド単位で符号化処理するかを選択することを特徴とする符号化方法。

Images