JP2007104012A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】 フレーム単位での符号化およびフィールド単位での符号化における各々の長所を利用して各々の短所を相殺できる動画像符号化装置を提供する。
【解決手段】 符号化部（１１）は、符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する。符号化制御部（１４）は、符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるときにフィールド単位での符号化を符号化部（１１）に指示する。符号化制御部（１４）は、符号化対象フレームがＢピクチャであるときにフレーム単位での符号化を符号化部（１１）に指示する。従って、符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるとき、符号化対象フレームはフィールド単位で符号化される。一方、符号化対象フレームがＢピクチャであるとき、符号化対象フレームはフレーム単位で符号化される。
【選択図】 図１

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）規格に従って動画像を符号化する動画像符号化装置および動画像符号化方法に関する。

近時、ＭＰＥＧ規格に準拠する動画像符号化装置（ＭＰＥＧデコーダ）により動画像を符号化してビットストリームを生成し、そのビットストリームをＤＶＤ（Digital Versatile Disk）やＨＤＤ（Hard Disk Drive）等の記録メディアに保存するディジタルビデオレコーダが市場に浸透しつつある。ＭＰＥＧ規格に準拠する動画像符号化装置では、動画像を構成する各フレーム（１／３０秒単位の画像）は、Ｉピクチャ（Intra-coded picture；フレーム内符号化画像）、Ｐピクチャ（Predictive-coded picture；フレーム間順方向予測符号化画像）またはＢピクチャ（Bidirectionally predictive-coded picture；フレーム間両方向予測符号化画像）のいずれかとして符号化される。なお、各フレームは、トップフィールドおよびボトムフィールドと称される２つのフィールド（１／６０秒単位の画像）で構成されている。

また、ＭＰＥＧ規格に準拠する動画像符号化装置では、現時点で符号化の対象とされるフレーム（符号化対象フレーム）に対して、フレーム単位での符号化およびフィールド単位での符号化の双方が実施可能である。フレーム単位での符号化により生成されるビットストリームの構造はフレーム構造と称され、フィールド単位での符号化により生成されるビットストリームの構造はフィールド構造と称される。一般に、ＭＰＥＧ規格に準拠する動画像符号化装置では、フレーム単位またはフィールド単位のいずれかに限定した状態で動画像の符号化が実施され、その多くでは、フレーム単位に限定した状態で動画像の符号化が実施される。

例えば、フレーム単位での符号化に限定されている場合、符号化対象フレームがＩピクチャであるとき、符号化対象フレーム単独での符号化（フレーム内符号化）が実施される。具体的には、符号化対象フレームがＩピクチャであるとき、符号化対象フレームに対して、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、量子化および可変長符号化（ＶＬＣ：Variable Length Coding）が順次実施されてビットストリームが生成される。

一方、符号化対象フレームがＰピクチャまたはＢピクチャのいずれかであるとき、フレーム間の相関を利用した符号化（フレーム間符号化）が実施される。具体的には、符号化対象フレームがＰピクチャであるとき、時間的に前方のフレーム（ＩピクチャまたはＰピクチャ）の符号化データを局所復号化して生成された参照画像に基づく動き補償により予測画像が生成され、符号化対象フレームと予測画像との差分に対して、離散コサイン変換、量子化および可変長符号化が順次実施されてビットストリームが生成される。

また、符号化対象フレームがＢピクチャであるとき、時間的に前方のフレーム（ＩピクチャまたはＰピクチャ）の符号化データを局所復号化して生成された参照画像と時間的に後方のフレーム（ＩピクチャまたはＰピクチャ）の符号化データを局所復号化して生成された参照画像との双方に基づく動き補償により予測画像が生成され、符号化対象フレームと予測画像との差分に対して、離散コサイン変換、量子化および可変長符号化が順次実施されてビットストリームが生成される。

特許文献１には、フレーム構造とフィールド構造とが混在するビットストリームからシーンチェンジ（シーンの変わり目）を検出する技術が開示されている。特許文献２には、符号化対象フレームをフレーム単位またはフィールド単位のどちらで符号化するかを符号化対象フレームのトップフィールドおよびボトムフィールド間の動きベクトルに基づいて決定することで、動画像を効率よく符号化する技術が開示されている。特許文献３には、フレーム単位での符号化とフィールド単位での符号化とをマクロブロック毎に切り替えて符号化対象フレームを符号化する場合に、フレーム単位での符号化またはフィールド単位での符号化のいずれについても参照インデックス（参照画像を指定するための識別番号）を適切に活用する技術が開示されている。
特開２００１−１６９２８７号公報 特許第３３３１３５１号公報 特開２００４−１９４２９７号公報

ところで、フレーム単位での符号化に限定されている場合、以下に示すような問題がある。ＭＰＥＧ規格に準拠する動画像符号化装置では、符号化対象フレームがＩピクチャまたはＰピクチャであるとき、前述のように、局所復号化画像が動き補償等における参照画像として利用される。このため、ＩピクチャまたはＰピクチャの符号化対象フレームがフレーム単位で符号化されると、局所復号化画像に画質劣化が生じて次回以降の符号化データに劣化誤差が重畳されてしまい、結果的に画質劣化の伝搬が発生する恐れがある。

また、動画像におけるシーンチェンジはフィールド間に存在するため、符号化対象フレームのトップフィールドとボトムフィールドとでシーンが全く異なる場合がある。このような場合、符号化対象フレームのトップフィールドおよびボトムフィールド間の信号差分値（例えば、輝度信号の差分値）が大きくなる。このような符号化対象フレームがフレーム単位で符号化されると、予測画像が符号化対象フレームから大きく外れ、符号化対象フレームと予測画像との差分を離散コサイン変換して得られるＤＣＴ係数が無駄に多くなり、符号化効率が悪化してしまう恐れがある。

さらに、ＭＰＥＧ規格の動画像符号化方式において最も汎用性が高いＭＰ＠ＭＬ（Main Profile at Main Level）では、色差フォーマットとして４：２：０フォーマットが用いられている。４：２：０フォーマットでは、色差信号のサンプリング点は、水平方向および垂直方向の双方で、輝度信号のサンプリング点に対して、その数が１／２である。従って、４：２：０フォーマットが用いられている場合、フレーム単位での符号化において、ビットストリームにおける色差信号の信号値は、符号化対象フレームにおけるトップフィールドの色差信号の信号値とボトムフィールドの色差信号の信号値との線型演算により決定される。このため、トップフィールドとボトムフィールドとで色差信号の信号値が大きく異なる符号化対象フレームがフレーム単位で符号化されると、各フィールドの色差信号が正しく符号化されないという問題が生じる。このため、色差信号に著しい画質劣化が発生してしまう。

一方、フィールド単位での符号化に限定されている場合、前述のようなフレーム単位での符号化に限定されている場合の問題は解消されるが、ビットストリームにおけるヘッダ部分のデータ量が定常的に増大してしまう。このため、ビットストリームにおける符号化データ部分に割り当てられるデータ量が相対的に減少し、符号化歪み等の画質劣化が発生してしまう恐れがある。従って、フレーム単位での符号化とフィールド単位での符号化とを必要に応じて切り替えながら動画像を符号化し、フレーム単位での符号化およびフィールド単位での符号化における各々の長所を利用して各々の短所を相殺できる動画像符号化装置が望まれている。

本発明は、このような従来の問題点に鑑みてなされたものであり、フレーム単位での符号化およびフィールド単位での符号化における各々の長所を利用して各々の短所を相殺できる動画像符号化装置を提供することを目的とする。

本発明の一形態では、動画像符号化装置は、動画像を構成する各フレームをＭＰＥＧ規格に従って順次符号化する動画像符号化装置であって、符号化部および符号化制御部を備えて構成される。符号化部は、符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する。符号化制御部は、符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるときにフィールド単位での符号化を符号化部に指示する。符号化制御部は、符号化対象フレームがＢピクチャであるときにフレーム単位での符号化を符号化部に指示する。すなわち、符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるとき、符号化対象フレームはフィールド単位で符号化される。また、符号化対象フレームがＢピクチャであるとき、符号化対象フレームはフレーム単位で符号化される。

符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであり、局所復号化画像が生成される場合には、符号化対象フレームのトップフィールドおよびボトムフィールドが別々に符号化されるため、局所復号化画像の画質劣化を最小限に抑えることができ、画質劣化の伝搬を抑制することができる。一方、符号化対象フレームがＢピクチャである場合には、符号化対象フレームのトップフィールドおよびボトムフィールドが纏めて符号化されるため、フィールド単位での符号化の導入によるビットストリームにおけるパケット部分のデータ量の増大を極力抑えることができる。従って、ビットストリームにおけるパケット部分のデータ量と画質とのバランスがとれた符号化を実現することができる。

本発明の別形態では、動画像符号化装置は、動画像を構成する各フレームをＭＰＥＧ規格に従って順次符号化する動画像符号化装置であって、輝度差分検出部、符号化部および符号化制御部を備えて構成される。輝度差分検出部は、符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の輝度信号の差分値を検出する。符号化部は、符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する。符号化制御部は、輝度差分検出部により検出された差分値が予め設定された閾値より大きいときにフィールド単位での符号化を符号化部に指示する。符号化制御部は、輝度差分検出部により検出された差分値が閾値より小さいときにフレーム単位での符号化を符号化部に指示する。すなわち、符号化対象フレームのトップフィールドおよびボトムフィールド間の輝度信号の差分値が閾値より大きいとき、符号化対象フレームはフィールド単位で符号化される。また、符号化対象フレームのトップフィールドおよびボトムフィールド間の輝度信号の差分値が閾値より小さいとき、符号化対象フレームはフレーム単位で符号化される。

符号対象フレームのトップフィールドおよびボトムフィールド間にシーンチェンジが存在し、トップフィールドの輝度信号の信号値とボトムフィールドの輝度信号の信号値との差分が大きい場合には、トップフィールドとボトムフィールドとが別々に符号化されるため、予測画像が符号化対象フレームから大きく外れることを回避でき、無駄なＤＣＴ係数の発生が極力抑えられ、効率のよい符号化を実現できる。一方、符号対象フレームにおけるトップフィールドの輝度信号の信号値とボトムフィールドの輝度信号の信号値との差分が小さい場合には、トップフィールドとボトムフィールドとが纏めて符号化されるため、フィールド単位での符号化の導入によるビットストリームにおけるパケット部分のデータ量の増大を極力抑えることができる。

本発明の別形態では、動画像符号化装置は、動画像を構成する各フレームをＭＰＥＧ規格に従って順次符号化する動画像符号化装置であって、色差差分検出部、符号化部および符号化制御部を備えて構成される。色差差分検出部は、符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の色差信号の差分値を検出する。符号化部は、符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する。符号化制御部は、色差差分検出部により検出された差分値が予め設定された閾値より大きいときにフィールド単位での符号化を符号化部に指示する。符号化制御部は、色差差分検出部により検出された差分値が閾値より小さいときにフレーム単位での符号化を符号化部に指示する。すなわち、符号化対象フレームのトップフィールドおよびボトムフィールド間の色差信号の差分値が閾値より大きいとき、符号化対象フレームはフィールド単位で符号化される。また、符号化対象フレームのトップフィールドおよびボトムフィールド間の色差信号の差分値が閾値より小さいとき、符号化対象フレームはフレーム単位で符号化される。

符号対象フレームのトップフィールドとボトムフィールドとで画像が大きく異なり、トップフィールドの色差信号の信号値とボトムフィールドの色差信号の信号値との差分が大きい場合には、トップフィールドとボトムフィールドとが別々に符号化されるため、色差フォーマットが４：２：０フォーマットであるときに発生し得る各フィールドの色差信号の混ざり合いを回避でき、色差信号における画質劣化を低減できる。一方、符号対象フレームにおけるトップフィールドの輝度信号の信号値とボトムフィールドの輝度信号の信号値との差分が小さい場合には、トップフィールドとボトムフィールドとが纏めて符号化されるため、フィールド単位での符号化の導入によるビットストリームにおけるパケット部分のデータ量の増大を極力抑えることができる。

本発明では、フレーム単位での符号化とフィールド単位での符号化とを符号化対象フレームの特徴（ピクチャタイプあるいはフィールド間の信号差分値）に応じて切り替えながら動画像を符号化することで、フレーム単位での符号化およびフィールド単位での符号化における各々の長所を利用して各々の短所を相殺できる。

以下、図面を用いて本発明の実施形態を説明する。図１は、本発明の第１実施形態を示している。動画像符号化装置１は、バッファメモリ１０、符号化部１１、バッファメモリ１２、符号化構造選択部１３および符号化制御部１４を有している。動画像符号化装置１は、例えば、ＭＰＥＧ２ビデオＭＰ＠ＭＬ方式に準拠する動画像符号化装置である。バッファメモリ１０は、順次入力される動画像の各フレームを一時的に格納する。

符号化部１１は、バッファメモリ１０から符号化対象フレームを読み出し、符号化対象フレームに対する符号化処理を符号化制御部１４からの指示に基づいて実施する。図示を省略するが、例えば、符号化部１１は、符号化対象フレームと参照画像とから動きベクトルを検出する動きベクトル検出回路、動きベクトルと参照画像とに基づいて予測画像を生成する動き補償回路、符号化対象フレームと予測画像との差分を検出する減算回路、符号化対象フレームと予測画像との差分を離散コサイン変換するＤＣＴ回路、ＤＣＴ係数を量子化する量子化回路、および量子化係数や量子化ステップサイズ等を可変長符号化するＶＬＣ回路を備えて構成されている。なお、符号化制御部１４から符号化部１１にＩピクチャでの符号化が指示されたとき、動きベクトル検出回路、動き補償回路および減算回路は動作せず、符号化対象フレームがＤＣＴ回路に直接供給される。量子化回路は、符号化制御部１４から符号化部１１に通知された量子化ステップサイズでＤＣＴ係数を量子化する。また、符号化部１１は、量子化回路の出力データを逆量化する逆量子化回路、逆量子化回路の出力データを逆離散コサイン変換する逆ＤＣＴ回路、逆ＤＣＴ回路の出力データと動き補償回路の出力データ（予測画像）とを加算して参照画像を生成する加算回路、および参照画像を一時的に格納するバッファメモリも有している。なお、符号化制御部１４から符号化部１１にＢピクチャでの符号化が指示されたとき、逆量子化回路、逆ＤＣＴ回路および加算回路は動作せず、バッファメモリに参照画像が格納されることはない。以上のような回路構成による符号化処理は周知の技術であるため、詳細な説明は省略する。

バッファメモリ１２は、符号化部１１（ＶＬＣ回路）からの符号化データを一時的に格納し、所定のタイミングでビットストリームとして出力する。また、バッファメモリ１２は、データ蓄積量を符号化制御部１４に通知する。符号化構造選択部１３は、符号化制御部１４（ピクチャタイプ決定回路１４０）からのピクチャタイプ信号ＰＴがＩピクチャまたはＰピクチャのいずれかを示すとき、符号化制御部１４への符号化構造信号ＣＳを”１”（フィールド構造を示す論理レベル）に設定する。符号化構造選択部１３は、ピクチャタイプ信号ＰＴがＢピクチャを示すとき、符号化構造信号ＣＳを”０”（フレーム構造を示す論理レベル）に設定する。

符号化制御部１４は、ピクチャタイプ決定回路１４０を有している。ピクチャタイプ決定回路１４０は、所定規則（例えば、Ｉ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ）に従って、動画像の各フレームのピクチャタイプをＩピクチャ、ＰピクチャまたはＢピクチャのいずれかに決定し、符号化構造選択部１３へのピクチャタイプ信号ＰＴを、決定したピクチャタイプを示す論理レベルに設定する。

符号化制御部１４は、符号化構造選択部１３からの符号化構造信号ＣＳが”１”を示すとき、フィールド単位での符号化を符号化部１１に指示する。符号化制御部１４は、符号化構造信号ＣＳが”０”を示すとき、フレーム単位での符号化を符号化部１１に指示する。また、符号化制御部１４は、ピクチャタイプ決定回路１４０により決定されたピクチャタイプ（Ｉピクチャ、ＰピクチャまたはＢピクチャのいずれか）での符号化を符号化部１１に指示する。さらに、符号化制御部１４は、バッファメモリ１２のオーバーフローおよびアンダーフローを防止するために、バッファメモリ１２からのデータ蓄積量に基づいて、符号化部１１（量子化回路）の量子化ステップサイズを決定して符号化制御部１１に通知する。

図２は、第１実施形態におけるピクチャ構成の一例を示している。この例は、動画像を構成するフレームＦ１〜Ｆ７がバッファメモリ１０に順次入力され、符号化制御部１４のピクチャタイプ決定回路１４０により、フレームＦ１のピクチャタイプがＩピクチャに決定され、フレームＦ４、Ｆ７のピクチャタイプがＰピクチャに決定され、フレームＦ２、Ｆ３、Ｆ５、Ｆ６のピクチャタイプがＢピクチャに決定される場合を示している。各フレームＦｉ（ｉ＝１〜７）は、トップフィールドＴＦｉとボトムフィールドＢＦｉとで構成されている。なお、バッファメモリ１０に格納されたフレームＦ１〜Ｆ７は、フレームＦ１、Ｆ４、Ｆ２、Ｆ３、Ｆ７、Ｆ５、Ｆ６の順序で符号化対象フレームとして符号化部１１により読み出される。

前述のような構成の動画像符号化装置１では、図２に示すように、ＩピクチャのフレームＦ１およびＰピクチャのフレームＦ４、Ｆ７は、フィールド単位で符号化される。従って、フレームＦ１（Ｆ４、Ｆ７）を構成するトップフィールドＴＦ１（ＴＦ４、ＴＦ７）およびボトムフィールドＢＦ１（ＢＦ４、ＢＦ７）は別々に符号化される。また、ＢピクチャのフレームＦ２、Ｆ３、Ｆ５、Ｆ６は、フレーム単位で符号化される。従って、フレームＦ２（Ｆ３、Ｆ５、Ｆ６）を構成するトップフィールドＴＦ２（ＴＦ３、ＴＦ５、ＴＦ６）およびボトムフィールドＢＦ２（ＢＦ３、ＢＦ５、ＢＦ６）は纏めて符号化される。

図３は、本発明の比較例を示している。図３を説明するにあたって、図１において説明した要素と同一の要素については、同一の符号を付して説明を省略する。動画像符号化装置９は、バッファメモリ１０、符号化部１１、バッファメモリ１２、符号化構造選択部９０および符号化制御部１４を有している。例えば、動画像符号化装置９は、ＭＰＥＧ２ビデオＭＰ＠ＭＬ方式に準拠する動画像符号化装置である。

符号化構造選択部９０は、符号化構造（フレーム構造またはフィールド構造のいずれか）を指示するための外部制御信号に応じて、符号化制御部１４への符号化構造信号ＣＳの論理レベルを設定する。ここで、外部制御信号は、フレーム構造を指示するために”０”に設定され、フィールド構造を指示するために”１”に設定される。外部制御信号は、動画像符号化装置９の符号化動作中に変化することはない。符号化構造選択部９０は、外部制御信号が”１”に設定されているとき、符号化構造信号ＣＳを”１”（フィールド構造を示す論理レベル）に設定する。符号化構造選択部９０は、外部制御信号が”０”に設定されているとき、符号化構造信号ＣＳを”０”（フレーム構造を示す論理レベル）に設定する。

図４は、比較例におけるピクチャ構成の一例を示している。この例は、図２と同様に、動画像を構成するフレームＦ１〜Ｆ７がバッファメモリ１０に順次入力され、符号化制御部１４のピクチャタイプ決定回路１４０により、フレームＦ１のピクチャタイプがＩピクチャに決定され、フレームＦ４、Ｆ７のピクチャタイプがＰピクチャに決定され、フレームＦ２、Ｆ３、Ｆ５、Ｆ６のピクチャタイプがＢピクチャに決定される場合を示している。

前述のような構成の動画像符号化装置９では、符号化構造選択部９０への外部制御信号が”０”に設定されているとき、図４（ａ）に示すように、フレームＦ１〜Ｆ７は、ピクチャタイプに拘わらず、全てフレーム単位で符号化される。従って、フレームＦ１（Ｆ２〜Ｆ７）を構成するトップフィールドＴＦ１（ＴＦ２〜ＴＦ７）およびボトムフィールドＢＦ１（ＢＦ２〜ＢＦ７）は纏めて符号化される。また、符号化構造選択部９０への外部制御信号が”１”に設定されているとき、図４（ｂ）に示すように、フレームＦ１〜Ｆ７は、ピクチャタイプに拘わらず、全てフィールド単位で符号化される。従って、フレームＦ１（Ｆ２〜Ｆ７）を構成するトップフィールドＴＦ１（ＴＦ２〜ＴＦ７）およびボトムフィールドＢＦ１（ＢＦ２〜ＢＦ７）は別々に符号化される。

このため、動画像符号化装置９では、フレーム単位での符号化に限定されている場合、符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるとき、局所復号化画像（参照画像）に画質劣化が生じて次回以降の符号化データに劣化誤差が重畳されてしまい、結果的に画質劣化の伝搬が発生する恐れがある。また、フィールド単位での符号化に限定されている場合、フレーム単位での符号化における問題は解消されるが、ビットストリームにおけるヘッダ部分のデータ量が定常的に増大してしまう。

これに対して、前述の動画像符号化装置１では、符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであり、局所復号化画像が生成されるとき、符号化対象フレームのトップフィールドおよびボトムフィールドが別々に符号化されるため、局所復号化画像の画質劣化を最小限に抑えることができ、画質劣化の伝搬を抑制することができる。一方、符号化対象フレームがＢピクチャであるとき、符号化対象フレームのトップフィールドおよびボトムフィールドが纏めて符号化されるため、フィールド単位での符号化の導入によるビットストリームにおけるパケット部分のデータ量の増大を極力抑えることができる。この結果、ビットストリームにおけるパケット部分のデータ量と画質とのバランスがとれた符号化を実現することができる。

図５は、本発明の第２実施形態を示している。図５を説明するにあたって、図１において説明した要素と同一の要素については、同一の符号を付して説明を省略する。動画像符号化装置２は、バッファメモリ１０、符号化部１１、バッファメモリ１２、輝度差分検出部２０、閾値判定部２１、符号化構造選択部２２および符号化制御部１４を有している。例えば、動画像符号化装置２は、ＭＰＥＧ２ビデオＭＰ＠ＭＬ方式に準拠する動画像符号化装置である。

輝度差分検出部２０は、バッファメモリ１０から符号化対象フレームを読み出し、符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の輝度信号の差分値を検出して閾値判定部２１に供給する。閾値判定部２１は、輝度差分検出部２０からの差分値が予め設定された閾値以上であるとき、符号化構造選択部２２への出力信号を”１”に設定する。閾値判定部２１は、輝度差分検出部２０からの差分値が閾値未満であるとき、出力信号を”０”に設定する。符号化構造選択部２２は、閾値判定部２１の出力信号が”１”に設定されているとき、符号化制御部１４への符号化構造信号ＣＳを”１”（フィールド構造を示す論理レベル）に設定する。符号化構造選択部２２は、閾値判定部２１の出力信号が”０”に設定されているとき、符号化構造信号ＣＳを”０”（フレーム構造を示す論理レベル）に設定する。

図６は、第２実施形態におけるピクチャ構成の一例を示している。この例は、図２と同様に、動画像を構成するフレームＦ１〜Ｆ７がバッファメモリ１０に順次入力され、符号化制御部１４のピクチャタイプ決定回路１４０により、フレームＦ１のピクチャタイプがＩピクチャに決定され、フレームＦ４、Ｆ７のピクチャタイプがＰピクチャに決定され、フレームＦ２、Ｆ３、Ｆ５、Ｆ６のピクチャタイプがＢピクチャに決定される場合を示している。また、この例は、閾値判定部２１により、フレームＦ５のみがフィールド間の輝度信号の差分値が閾値以上であると判定される場合を示している。

前述のような構成の動画像符号化装置２では、図６に示すように、フレームＦ５を構成するトップフィールドＴＦ５およびボトムフィールドＢＦ５間の輝度信号の差分値が閾値以上であるため、フレームＦ５はフィールド単位で符号化される。従って、フレームＦ５を構成するトップフィールドＴＦ５およびボトムフィールドＢＦ５が別々に符号化される。一方、フレームＦ１（Ｆ２〜Ｆ４、Ｆ６、Ｆ７）を構成するトップフィールドＴＦ１（ＴＦ２〜ＴＦ４、ＴＦ６、ＴＦ７）およびボトムフィールドＢＦ１（ＢＦ２〜ＢＦ４、ＢＦ６、ＢＦ７）間の輝度信号の差分値が閾値未満であるため、フレームＦ１（Ｆ２〜Ｆ４、Ｆ６、Ｆ７）はフレーム単位で符号化される。従って、フレームＦ１（Ｆ２〜Ｆ４、Ｆ６、Ｆ７）を構成するトップフィールドＴＦ１（ＴＦ２〜ＴＦ４、ＴＦ６、ＴＦ７）およびボトムフィールドＢＦ１（ＢＦ２〜ＢＦ４、ＢＦ６、ＢＦ７）は纏めて符号化される。

以上のような動画像符号化装置２では、符号対象フレームのトップフィールドおよびボトムフィールド間にシーンチェンジが存在し、トップフィールドの輝度信号の信号値とボトムフィールドの輝度信号の信号値との差分が大きいとき、トップフィールドとボトムフィールドとが別々に符号化されるため、予測画像が符号化対象フレームから大きく外れることを回避でき、無駄なＤＣＴ係数の発生が極力抑えられ、効率のよい符号化を実現できる。一方、符号対象フレームにおけるトップフィールドの輝度信号の信号値とボトムフィールドの輝度信号の信号値との差分が小さいとき、トップフィールドとボトムフィールドとが纏めて符号化されるため、フィールド単位での符号化の導入によるビットストリームにおけるパケット部分のデータ量の増大を極力抑えることができる。

図７は、本発明の第３実施形態を示している。図７を説明するにあたって、図１において説明した要素と同一の要素については、同一の符号を付して説明を省略する。動画像符号化装置３は、バッファメモリ１０、符号化部１１、バッファメモリ１２、色差差分検出部３０、閾値判定部３１、符号化構造選択部３２および符号化制御部１４を有している。例えば、動画像符号化装置３は、ＭＰＥＧ２ビデオＭＰ＠ＭＰ方式に準拠する動画像符号化装置である。

色差差分検出部３０は、バッファメモリ１０から符号化対象フレームを読み出し、符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の色差信号の差分値を検出して閾値判定部３１に供給する。閾値判定部３１は、色差差分検出部３０からの差分値が予め設定された閾値以上であるとき、符号化構造選択部３２への出力信号を”１”に設定する。閾値判定部３１は、色差差分検出部３０からの差分値が閾値未満であるとき、出力信号を”０”に設定する。符号化構造選択部３２は、閾値判定部３１の出力信号が”１”に設定されているとき、符号化制御部１４への符号化構造信号ＣＳを”１”（フィールド構造を示す論理レベル）に設定する。符号化構造選択部３２は、閾値判定部２１の出力信号が”０”に設定されているとき、符号化構造信号ＣＳを”０”（フレーム構造を示す論理レベル）に設定する。

図８は、第３実施形態におけるピクチャ構成の一例を示している。この例は、図２と同様に、動画像を構成するフレームＦ１〜Ｆ７がバッファメモリ１０に順次入力され、符号化制御部１４のピクチャタイプ決定回路１４０により、フレームＦ１のピクチャタイプがＩピクチャに決定され、フレームＦ４、Ｆ７のピクチャタイプがＰピクチャに決定され、フレームＦ２、Ｆ３、Ｆ５、Ｆ６のピクチャタイプがＢピクチャに決定される場合を示している。また、この例は、閾値判定部３１により、フレームＦ３〜Ｆ５のみがフィールド間の色差信号の差分値が閾値以上であると判定される場合を示している。

前述のような構成の動画像符号化装置３では、図８に示すように、フレームＦ３（Ｆ４、Ｆ５）を構成するトップフィールドＴＦ３（ＴＦ４、ＴＦ５）およびボトムフィールドＢＦ３（ＢＦ４、ＢＦ５）間の色差信号の差分値が閾値以上であるため、フレームＦ３（Ｆ４、Ｆ５）はフィールド単位で符号化される。従って、フレームＦ３（Ｆ４、Ｆ５）を構成するトップフィールドＴＦ３（ＴＦ４、ＴＦ５）およびボトムフィールドＢＦ３（ＢＦ４、ＢＦ５）が別々に符号化される。一方、フレームＦ１（Ｆ２、Ｆ６、Ｆ７）を構成するトップフィールドＴＦ１（ＴＦ２、ＴＦ６、ＴＦ７）およびボトムフィールドＢＦ１（ＢＦ２、ＢＦ６、ＢＦ７）間の色差信号の差分値が閾値未満であるため、フレームＦ１（Ｆ２、Ｆ６、Ｆ７）はフレーム単位で符号化される。従って、フレームＦ１（Ｆ２、Ｆ６、Ｆ７）を構成するトップフィールドＴＦ１（ＴＦ２、ＴＦ６、ＴＦ７）およびボトムフィールドＢＦ１（ＢＦ２、ＢＦ６、ＢＦ７）は纏めて符号化される。

図９は、４：２：０フォーマットの概要を示している。図中、”Ｔ”を記した四角および”Ｂ”を記した四角は、トップフィールドの輝度信号のサンプリング点およびボトムフィールドの輝度信号のサンプリング点をそれぞれ示している。”Ｔ”を記した丸および”Ｂ”を記した丸は、トップフィールドの色差信号のサンプリング点およびボトムフィールドの色差信号のサンプリング点をそれぞれ示している。ＭＰＥＧ２ビデオＭＰ＠ＭＬ方式に準拠する動画像符号化装置３では、色差フォーマットとして４：２：０フォーマットが用いられる。４：２：０フォーマットでは、図９に示すように、４個の輝度信号のサンプリング点に対して、１個の色差信号のサンプリング点が割り当てられる。このため、４：２：０フォーマットでは、符号化対象フレームのトップフィールドおよびボトムフィールド間の色差信号の差分値が大きいとき、符号化対象フレームをフレーム単位で符号化すると、各フィールドの色差信号の混ざり合いが発生して、色差信号に著しい画質劣化が発生してしまう。

しかしながら、前述の動画像符号化装置３では、符号対象フレームのトップフィールドとボトムフィールドとで画像が大きく異なり、トップフィールドの色差信号の信号値とボトムフィールドの色差信号の信号値との差分が大きいとき、トップフィールドとボトムフィールドとが別々に符号化されるため、色差フォーマットが４：２：０フォーマットであるときに発生し得る各フィールドの色差信号の混ざり合いを回避でき、色差信号における画質劣化を低減できる。一方、符号対象フレームにおけるトップフィールドの輝度信号の信号値とボトムフィールドの輝度信号の信号値との差分が小さいとき、トップフィールドとボトムフィールドとが纏めて符号化されるため、フィールド単位での符号化の導入によるビットストリームにおけるパケット部分のデータ量の増大を極力抑えることができる。

なお、第１〜第３実施形態では、ＭＰＥＧ２ビデオＭＰ＠ＭＬ方式に準拠する動画像符号化装置に本発明を適用した例について述べたが、本発明はかかる実施形態に限定されるものではない。例えば、ＭＰＥＧ規格におけるその他の動画像符号化方式に準拠する動画像符号化装置に本発明を適用してもよい。
以上の実施形態において説明した発明を整理して、付記として以下に開示する。
（付記１）
動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化装置であって、
符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する符号化部と、
前記符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるときにフィールド単位での符号化を前記符号化部に指示し、前記符号化対象フレームがＢピクチャであるときにフレーム単位での符号化を前記符号化部に指示する符号化制御部とを備えていることを特徴とする動画像符号化装置。
（付記２）
動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化装置であって、
符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の輝度信号の差分値を検出する輝度差分検出部と、
前記符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する符号化部と、
前記輝度差分検出部により検出された差分値が予め設定された閾値より大きいときにフィールド単位での符号化を前記符号化部に指示し、前記輝度差分検出部により検出された差分値が前記閾値より小さいときにフレーム単位での符号化を前記符号化部に指示する符号化制御部とを備えていることを特徴とする動画像符号化装置。
（付記３）
動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化装置であって、
前記符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の色差信号の差分値を検出する色差差分検出部と、
前記符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する符号化部と、
前記色差差分検出部により検出された差分値が予め設定された閾値より大きいときにフィールド単位での符号化を前記符号化部に指示し、前記色差差分検出部により検出された差分値が前記閾値より小さいときにフレーム単位での符号化を前記符号化部に指示する符号化制御部とを備えていることを特徴とする動画像符号化装置。
（付記４）
動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化方法であって、
符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるときに前記符号化対象フレームをフィールド単位で符号化し、前記符号化対象フレームがＢピクチャであるときに前記符号化対象フレームをフレーム単位で符号化することを特徴とする動画像符号化方法。
（付記５）
動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化方法であって、
符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の輝度信号の差分値を検出し、
検出した差分値が予め設定された閾値より大きいときに前記符号化対象フレームをフィールド単位で符号化し、検出した差分値が前記閾値より小さいときに前記符号化対象フレームをフレーム単位で符号化することを特徴とする動画像符号化方法。
（付記６）
動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化方法であって、
符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の色差信号の差分値を検出し、
検出した差分値が予め設定された閾値より大きいときに前記符号化対象フレームをフィールド単位で符号化し、検出した差分値が前記閾値より小さいときに前記符号化対象フレームをフレーム単位で符号化することを特徴とする動画像符号化方法。

以上、本発明について詳細に説明してきたが、前述の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれらに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

本発明の第１実施形態を示すブロック図である。 第１実施形態におけるピクチャ構成の一例を示す説明図である。 本発明の比較例を示すブロック図である。 比較例におけるピクチャ構成の一例を示す説明図である。 本発明の第２実施形態を示すブロック図である。 第２実施形態におけるピクチャ構成の一例を示す説明図である。 本発明の第３実施形態を示すブロック図である。 第３実施形態におけるピクチャ構成の一例を示す説明図である。 ４：２：０フォーマットの概要を示す説明図である。

符号の説明

１‥動画像符号化装置；１０‥バッファメモリ；１１‥符号化部；１２‥バッファメモリ；１３‥符号化構造選択部；１４‥符号化制御部；２‥動画像符号化装置；２０‥輝度差分検出部；２１‥閾値判定部；２２‥符号化構造選択部；３‥動画像符号化装置；３０‥色差差分検出部；３１‥閾値判定部；３２‥符号化構造選択部

Claims (5)

1. 動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化装置であって、
   符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する符号化部と、
   前記符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるときにフィールド単位での符号化を前記符号化部に指示し、前記符号化対象フレームがＢピクチャであるときにフレーム単位での符号化を前記符号化部に指示する符号化制御部とを備えていることを特徴とする動画像符号化装置。
2. 動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化装置であって、
   符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の輝度信号の差分値を検出する輝度差分検出部と、
   前記符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する符号化部と、
   前記輝度差分検出部により検出された差分値が予め設定された閾値より大きいときにフィールド単位での符号化を前記符号化部に指示し、前記輝度差分検出部により検出された差分値が前記閾値より小さいときにフレーム単位での符号化を前記符号化部に指示する符号化制御部とを備えていることを特徴とする動画像符号化装置。
3. 動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化装置であって、
   前記符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の色差信号の差分値を検出する色差差分検出部と、
   前記符号化対象フレームをフレーム単位またはフィールド単位のいずれかで符号化する符号化部と、
   前記色差差分検出部により検出された差分値が予め設定された閾値より大きいときにフィールド単位での符号化を前記符号化部に指示し、前記色差差分検出部により検出された差分値が前記閾値より小さいときにフレーム単位での符号化を前記符号化部に指示する符号化制御部とを備えていることを特徴とする動画像符号化装置。
4. 動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化方法であって、
   符号化対象フレームがＩピクチャまたはＰピクチャのいずれかであるときに前記符号化対象フレームをフィールド単位で符号化し、前記符号化対象フレームがＢピクチャであるときに前記符号化対象フレームをフレーム単位で符号化することを特徴とする動画像符号化方法。
5. 動画像を構成する各フレームをＭＰＥＧ規格に基づいて順次符号化する動画像符号化方法であって、
   符号化対象フレームを構成するトップフィールドおよびボトムフィールド間の輝度信号の差分値を検出し、
   検出した差分値が予め設定された閾値より大きいときに前記符号化対象フレームをフィールド単位で符号化し、検出した差分値が前記閾値より小さいときに前記符号化対象フレームをフレーム単位で符号化することを特徴とする動画像符号化方法。

Images