JP2008016986A - 動画像符号化装置 - Google Patents

Abstract

【課題】従来の画像符号化方法では、符号化の際にＩピクチャ、Ｐピクチャ、Ｂピクチャというピクチャタイプを考慮せずに、フレームフィールド構造を決定しているため、最適なフレームフィールド構造を選択できず、符号化効率が低下するという問題がある。
【解決手段】アクティビティ算出手段１０１は、符号化対象画像信号のフィールド単位アクティビティＦｉとフレーム単位アクティビティＦｒとをそれぞれ算出する。フレームフィールド決定手段１０２は、フィールド単位アクティビティとフレーム単位アクティビティの比率Ｆｒ／Ｆｉと、符号化の際のピクチャタイプ別に定めた閾値とを比較することで、フィールド単位の符号化とフレーム単位の符号化とを切り替える。符号化手段１０３は、フレームフィールド決定手段１０２により決定したフレーム構造又はフィールド構造にて符号化対象画像信号の符号化を行う。
【選択図】図１

Description

本発明は動画像符号化装置に係り、特に動画像に関する画像データを所定画素数のブロックに分割し、前記ブロックを単位として動き補償予測を用いて圧縮符号化を行う動画像符号化装置に関する。

一般に画像データの圧縮符号化は、画素間の相関を利用してデータの圧縮を行う。画像データがインターレース画像の場合、図４に示すように垂直方向の１ライン毎に時間軸がずれた状態で構成される。このとき、同じ時間軸に属する画素の集合をフィールド、隣接２フィールドをまとめたものをフレームと呼ぶ。図４では、白丸がトップフィールド（奇数フィールド）のある４ラインにおける各１つの画素の位置を示し、黒丸がボトムフィールド（偶数フィールド）の上記トップフィールドの各画素と隣接する４ラインの各１つの画素の位置を示す。周知のように、上記のトップフィールドとボトムフィールドとの組でインターレース画像のフレームが構成される。

フィールド構成はフレーム構成と比較し、垂直方向の画素が間引きとなるため垂直方向の画素空間相関（空間解像度）が低くなるが、１フレーム分の時間を２フィールドで表現するため画素時間相関（時間解像度）が高くなる。よって、時間的変化が少ない、動きの少ない画像データの場合は、空間解像度が高くなるフレーム構成で符号化を行うと効率が良くなる。逆に、時間的変化が大きい、動きの多い画像データの場合は、時間解像度が高くなるフィールド構成で符号化を行うと効率が良くなる。このように、効率的な符号化を行うためには、画像データの性質によってフレーム構成又はフィールド構成のいずれか最適な構成を選択する必要がある。

そこで、フィールド単位で計算したフィールドアクティビティとフレーム単位で計算したフレームアクティビティを１フレーム毎に比較して、フレームアクティビティの方が小さい時には、フレームを単位とした符号化を行い、フィールドアクティビティの方が小さい時にはフィールドを単位とした符号化を行う画像符号化方法が従来より知られている（例えば、特許文献１参照）。これにより、画像データの動きの大きな部分はフィールド単位の符号化を行い、動きの少ない部分では空間相関を利用したフレーム単位の符号化を行う。

特許第２６８４９４１号公報

ところで、ＭＰＥＧ（Moving Picture Experts Group）などの動画像に関する画像データを所定画素数のブロックに分割し、前記ブロックを単位として動き補償予測を用いて圧縮符号化を行う符号化方式では、圧縮効率向上などのために、現符号化対象フレーム又はフィールドにおいて、他のフレーム又はフィールドの情報を用いずフレーム内又はフィールド内の画像データのみを画像内符号化して得る画像内符号化画像：イントラ符号化画像（以下、Ｉピクチャという）と、過去の画像信号からの動き予測を含む順方向画像間予測符号化により得る順方向画像間予測符号化画像（以下、Ｐピクチャという）と、過去及び未来の双方向の動き予測を含む双予測画像間予測符号化により得る双方向画像間予測符号化画像（以下、Ｂピクチャという）とのいずれかの符号化画像を得る圧縮符号化を行い、これらＩピクチャ、Ｐピクチャ及びＢピクチャを適切に所定順序で組み合わせて出力するようにしている。

しかるに、上記特許文献１記載の従来の画像符号化方法では、符号化の際に上記Ｉピクチャ、Ｐピクチャ、Ｂピクチャというピクチャタイプを考慮せずに、フレームフィールド構造を決定しているため、最適なフレームフィールド構造を選択できず、符号化効率が低下するという問題がある。

本発明は上記の点に鑑みなされたもので、ピクチャタイプを考慮してフレームフィールド構造を決定することにより、最適なフレームフィールド構造を選択して符号化を行い得る動画像符号化装置を提供することを目的とする。

上記目的を達成するため、本発明の動画像符号化装置は、入来動画像信号を予め定めた所定の画素数のブロックを単位として符号化する動画像符号化装置であり、入来動画像信号の現符号化対象フレーム又はフィールドにおいて、そのフレーム内又はフィールド内を独立した画像内符号化して得られるＩピクチャと、過去からの動き予測を含む順方向画像間予測符号化して得られるＰピクチャと、過去と未来の双方向の動き予測を含む双方向画像間予測符号化して得られるＢピクチャとのいずれかの符号化画像を得る圧縮符号化を行う動画像符号化装置において、入来動画像信号のフィールド単位でフィールド単位アクティビティＦｉを算出する第１の算出手段と、入来動画像信号のフレーム単位でフレーム単位アクティビティＦｒを算出する第２の算出手段と、入来動画像信号をＩピクチャ、Ｐピクチャ又はＢピクチャのいずれで符号化するかを示すピクチャタイプ信号と、フィールド単位アクティビティＦｉ及びフレーム単位アクティビティＦｒとを入力として受け、現符号化対象フィールド又はフレームのフィールド単位アクティビティとフレーム単位アクティビティとの比率Ｆｒ／Ｆｉを算出した後、ピクチャタイプ別にそれぞれ予め定めた閾値のうち現符号化対象フレーム又はフィールドのピクチャタイプ信号が示すピクチャタイプの閾値を選択して比率Ｆｒ／Ｆｉと比較し、該比率Ｆｒ／Ｆｉが選択した閾値よりも大きいときはフィールド構造に決定し、選択した閾値以下のときはフレーム構造に決定する構造決定情報を生成するフレームフィールド決定手段と、構造決定情報が示すフレーム構造又はフィールド構造で、かつ、ピクチャタイプ信号が示すピクチャタイプにて、入来の現符号化対象フレーム又はフィールドを符号化する符号化手段とを有することを特徴とする。

この発明では、フィールド単位アクティビティとフレーム単位アクティビティとの比率Ｆｒ／Ｆｉと、ピクチャタイプ別にそれぞれ予め定めた閾値のうちピクチャタイプ信号が示すピクチャタイプの閾値とを比較し、比率Ｆｒ／Ｆｉが閾値よりも大きいときはフィールド構造に決定し、比率Ｆｒ／Ｆｉが閾値以下のときはフレーム構造に決定し、その決定したフレーム構造又はフィールド構造で、かつ、ピクチャタイプ信号が示すピクチャタイプにて、符号化対象の動画像信号を符号化するようにしたため、ピクチャタイプを考慮した最適なフレームフィールド構造を選択することができる。

また、上記の目的を達成するため、本発明は、上記のフレームフィールド決定手段は、ピクチャタイプ別にＩピクチャ用閾値、Ｐピクチャ用閾値及びＢピクチャ用閾値を予め定めており、Ｉピクチャ用閾値はＰピクチャ用閾値及びＢピクチャ用閾値よりも大なる値に設定されていることを特徴とする。

本発明によれば、フィールド単位アクティビティとフレーム単位アクティビティとの比率Ｆｒ／Ｆｉと、ピクチャタイプ別にそれぞれ予め定めた閾値のうちピクチャタイプ信号が示すピクチャタイプの閾値とを比較し、その比較結果に応じて、フレーム構造又はフィールド構造を選択するようにしたため、ピクチャタイプ毎に最適なフレームフィールド構造を選択することができ、符号化効率を向上できる。

また、Ｉピクチャ用閾値はＰピクチャ用閾値及びＢピクチャ用閾値よりも大なる値に設定した場合は、同じ値のフィールド単位アクティビティとフレーム単位アクティビティとの比率Ｆｒ／Ｆｉに対して、フレームフィールド決定手段にてＩピクチャではフレーム構造が選択され易くなり、ＰピクチャやＢピクチャでは動き補償の画面間予測距離が短くできるフィールド構造を選択され易くできるという効果がある。

次に、本発明の動画像符号化装置の実施の形態について図を参照しながら説明する。図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。同図に示すように、この実施の形態の動画像符号化装置は、アクティビティ算出手段１０１と、フレームフィールド決定手段１０２と、符号化手段１０３とより構成されている。アクティビティ算出手段１０１は、符号化対象の動画像に関する画像データ（符号化対象画像信号）のフィールド単位アクティビティとフレーム単位アクティビティとをそれぞれ算出する。

フレームフィールド決定手段１０２は、フィールド単位アクティビティとフレーム単位アクティビティの比率と、符号化の際のピクチャタイプ別に定めた閾値とをブロック単位で比較することで、フィールド単位の符号化とフレーム単位の符号化とを切り替える。符号化手段１０３は、フレームフィールド決定手段１０２により決定したフレーム構造又はフィールド構造にて符号化対象画像信号の符号化を行う。

次に、本実施の形態の動作について説明する。符号化対象画像信号はアクティビティ算出手段１０１に供給されて、そのフィールド単位アクティビティとフレーム単位アクティビティとがそれぞれ算出される。図２はアクティビティ算出手段１０１にて算出されるフィールド単位アクティビティ(Field Activity)及びフレーム単位アクティビティ(Frame Activity)について示した図である。

ここで、上記のフィールド単位アクティビティとは、図２（ａ）に示すように白丸で示すトップフィールド（奇数フィールド）の画素のうち垂直方向に隣接する２つの画素間のエネルギーの総和、又は黒丸で示すボトムフィールド（偶数フィールド）の画素のうち垂直方向に隣接する２つの画素間のエネルギーの総和で、後述の（１）式によりフィールド単位で算出される。

一方、上記のフレーム単位アクティビティとは、図２（ｂ）に示すように白丸で示すトップフィールド（奇数フィールド）の画素と、黒丸で示すボトムフィールド（偶数フィールド）の画素のうち、垂直方向に隣接する２ラインの画素間のエネルギーの総和であり、後述の（２）式によりフレーム単位で算出される。

ここで、（１）式及び（２）式はエネルギーを垂直画素間絶対差分とみなしたアクティビティ算出方法の一例である。また、（１）式、（２）式中、Ｐ（ｘ，ｙ）はフレーム画像における水平座標ｘ、垂直座標ｙにおける画素値である。

図１のフレームフィールド決定手段１０２では、符号化対象画像信号を符号化する際のピクチャタイプを示すピクチャタイプ信号が供給され、ピクチャタイプ（Ｉ，Ｐ，Ｂ）に応じて定めた閾値と、アクティビティ算出手段１０１から供給される符号化対象画像信号のフィールド単位アクティビティ及びフレーム単位アクティビティとをそれぞれブロック単位で比較し、最適な構成を判断する。

すなわち、フレームフィールド決定手段１０２では、まず、アクティビティ算出手段１０１から供給される符号化対象画像信号の（１）式で算出されたフィールド単位アクティビティＦｉと、（２）式で算出されたフレーム単位アクティビティＦｒとに基づいて、それらの比率（フレームフィールドアクティビティ比率）Ｆｒ／Ｆｉを算出し、続いて、このフレームフィールドアクティビティ比率Ｆｒ／Ｆｉを、フレームフィールド決定手段１０２にて予め定められているＩピクチャの場合の閾値α、Ｐピクチャの場合の閾値β、Ｂピクチャの場合の閾値γとそれぞれフレーム単位で比較する。

そして、フレームフィールド決定手段１０２は、上記の比較の結果、フレームフィールドアクティビティ比率Ｆｒ／Ｆｉがピクチャタイプに対応した各閾値（α、β、γ）よりも小さければフレーム構造を選択し、各閾値（α、β、γ）よりも大きければフィールド構造を選択する。これは、ピクチャタイプ毎に使用できる符号化モードが決まっているため、同じフレームフィールドアクティビティ比率Ｆｒ／Ｆｉでも最適なフレームフィールド構造が異なることを利用している。

ここで、ＰピクチャやＢピクチャでは動き補償を使用できるため、Ｉピクチャの場合にはフレーム構造が最適な場合にも、ＰピクチャやＢピクチャではフィールド構造が最適な場合が多く、上記の閾値はα＞β、α＞γとして、Ｉピクチャの場合はフレーム構造の方がより多く選択され、ＰピクチャやＢピクチャではフィールド構造の方がより多く選択できるようにするのがよい。

これは、図３（Ａ）に示す、あるフレーム３０１と次のフレーム３０２との間のフレーム構造の動き補償の画面間予測距離は、図３（Ｂ）に示す、トップフィールド３１１、ボトムフィールド３１２、トップフィールド３２１、ボトムフィールド３２２の順で表示されるフィールド構造でのボトムフィールド３１２とトップフィールド３２１の動き補償の画面間予測距離や、トップフィールド３２１とボトムフィールド３２２の動き補償の画面間予測距離の方が短くできるためである。

ここで、一例として上記の閾値α、β、γとして、α＝１.０、β＝０.９、γ＝０.８と設定し、フレームアクティビティＦｒ＝１０００、フィールドアクティビティＦｉ＝１１００でフレームフィールドアクティビティ比率Ｆｒ／Ｆｉ＝１０００／１１００である場合、Ｉピクチャの場合は、１０００／１１００＜α（＝１.０）となるため、フレーム構造を選択するが、Ｐピクチャの場合は、上記と同じフレームフィールドアクティビティ比率でも１０００／１１００＞β（＝０.９）となるため、フィールド構造を選択する。同じく、Ｂピクチャの場合は、上記と同じフレームフィールドアクティビティ比率でも１０００／１１００＞γ（＝０.８）となるため、フィールド構造を選択する。ただし、閾値α、β、γの設定はこの限りでなく、どのような設定でもかまわない。

再び図１に戻って説明するに、符号化手段１０３は、フレームフィールド決定手段１０２からフィールド構造かフレーム構造かを示すフレームフィールド選択情報を受け、その選択情報に応じて符号化対象画像信号を符号化する。この符号化は、フィールド構造またはフレーム構造の符号化対象画像信号を所定画素数のブロックに分割し、前記ブロックを単位としてＰピクチャやＢピクチャでは動き補償予測を用いて圧縮符号化しＩピクチャではフレーム内又はフィールド内符号化が行われる。

このように、本実施の形態では、フィールドアクティビティとフレームアクティビティの比率と、符号化の際のピクチャタイプ別に定めた閾値を比較してフレームフィールド構造を選択することで、ピクチャタイプ毎に最適なフレームフィールド構造を選択することができ、符号化効率が向上する。

また、フレームフィールド構造の選択は、フレーム単位で選択することもできるが、特定サイズの画素の集合であるブロック単位で選択することにも応用可能である。

なお、本発明は上記の実施の形態に限定されるものではなく、上記の実施の形態の符号化装置の各構成をコンピュータにより実行させるコンピュータプログラムも含むものである。この場合、コンピュータプログラムは、記録されている記録媒体からコンピュータに取り込まれてもよいし、通信ネットワークを介して配信されてコンピュータに取り込まれてもよい。また、コンピュータにファームウェアとして組み込まれていてもよい。

本発明の一実施の形態のブロック図である。 フィールド単位アクティビティ及びフレーム単位アクティビティの構成を示す図である。 フレーム構造とフィールド構造の画面間予測の説明図である。 インターレース画像におけるフィールド構造とフレーム構造の画素対応図である。

符号の説明

１０１ アクティビティ算出手段
１０２ フレームフィールド決定手段
１０３ 符号化手段

Claims (2)

1. 入来動画像信号を予め定めた所定の画素数のブロックを単位として符号化する動画像符号化装置であり、前記入来動画像信号の現符号化対象フレーム又はフィールドにおいて、そのフレーム内又はフィールド内を独立した画像内符号化して得られるＩピクチャと、過去からの動き予測を含む順方向画像間予測符号化して得られるＰピクチャと、過去及び未来の双方向の動き予測を含む双予測画像間予測符号化して得られるＢピクチャとのいずれかの符号化画像を得る圧縮符号化を行う動画像符号化装置において、
   前記入来動画像信号のフィールド単位でフィールド単位アクティビティＦｉを算出する第１の算出手段と、
   前記入来動画像信号のフレーム単位でフレーム単位アクティビティＦｒを算出する第２の算出手段と、
   前記入来動画像信号を前記Ｉピクチャ、Ｐピクチャ又はＢピクチャのいずれで符号化するかを示すピクチャタイプ信号と、前記フィールド単位アクティビティＦｉ及び前記フレーム単位アクティビティＦｒとを入力として受け、現符号化対象フィールド又はフレームの前記フィールド単位アクティビティと前記フレーム単位アクティビティとの比率Ｆｒ／Ｆｉを算出した後、ピクチャタイプ別にそれぞれ予め定めた閾値のうち現符号化対象フレーム又はフィールドの前記ピクチャタイプ信号が示すピクチャタイプの閾値を選択して前記比率Ｆｒ／Ｆｉと比較し、該比率Ｆｒ／Ｆｉが前記選択した閾値よりも大きいときはフィールド構造に決定し、前記選択した閾値以下のときはフレーム構造に決定する構造決定情報を生成するフレームフィールド決定手段と、
   前記構造決定情報が示すフレーム構造又はフィールド構造で、かつ、前記ピクチャタイプ信号が示すピクチャタイプにて、前記入来の現符号化対象フレーム又はフィールドを符号化する符号化手段と
   を有することを特徴とする動画像符号化装置。
2. 前記フレームフィールド決定手段は、前記ピクチャタイプ別にＩピクチャ用閾値、Ｐピクチャ用閾値及びＢピクチャ用閾値を予め定めており、前記Ｉピクチャ用閾値は前記Ｐピクチャ用閾値及び前記Ｂピクチャ用閾値よりも大なる値に設定されていることを特徴とする請求項１記載の動画像符号化装置。
   

Images