JP2005244382A

JP2005244382A - サムネイル画像生成装置

Info

Publication number: JP2005244382A
Application number: JP2004048896A
Authority: JP
Inventors: Atsushi Shimizu; 敦志清水
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-02-25
Filing date: 2004-02-25
Publication date: 2005-09-08

Abstract

【課題】フレーム構造でフィールド動き補償を含む映像に対して、オリジナルの映像と比べて著しく画質が劣化することなく、動画サムネイルの再生を可能とする。
【解決手段】 DCT変換により圧縮されたインタレース画像を用いてサムネイル画像を生成するサムネイル画像生成装置において、フレーム構造におけるフィールド動き補償を行う場合、インタレース画像のトップフィールドとボトムフィールドの両方の情報を保持するようにサムネイル画像を構成し、評価点を将来の参照画像に適する位置に配置し、簡易的なデコードを行う。
【選択図】図1

Description

本発明は、MPEG(Moving Picture coding Experts Group)映像データを復号する画像再生装置に関し、特に、MPEG映像データから縮小画像（以下、静止画・動画に関わらず、この縮小画像をサムネイルと称す）を生成するサムネイル画像生成装置に関するものである。

映像情報から複数のサムネイルを同時再生する方法として、特許文献１には、MPEG-1、MPEG-2映像において通常のデコード方法(フルデコード)と比較して一部の処理を省略して、計算コストを抑えることで、複数の動画サムネイルを再生する技術が開示されている（以降、一部の処理を省略し動画再生を行うデコード方法を簡易デコードと呼ぶ）。

しかし、この方法をそのままインタレース画像に適用すると、動画サムネイル生成画像の画質がフルデコードを行って縮小した画像と比較して、著しく劣化してしまう。これは、特にMPEG-2映像におけるフレーム構造でフィールド動き補償(以降、フィールドMCと称す)を行う場合に顕著となる。

一方、インタレース画像のMPEGストリームから、処理量を削減して解像度変換を行う方法として、特許文献２には、インタレース画像をフレーム構造で扱う際に用いられるフィールドDCTがなされたMPEGデータに対する処理が開示されている。

ここで、特許文献１および特許文献２における、処理量を削減したデコード方法により構成されたサムネイル画像を図８に示す。

MPEGでは8x8画素のブロック単位でDCT変換が行われる。このとき、４個のブロックをまとめたものをマクロブロックと呼び、動き補償はこの単位で行われる。

図８（Ａ）は、マクロブロックのDCT係数をフルデコードして得られた画素群である。

図８（Ｂ）は、マクロブロックからサムネイル画像を生成したときの画素群を示すものである。このサムネイル画像は、例えばDCT係数のうち2x2の低域成分を用いて逆DCT変換(以降、IDCTと称す)を行い、得られた画素値もとに、オリジナル画像サイズを４分の１に縮小して、サムネイル画像を生成する場合を模式的に示している。ここで、従来方法では、4x4画素の平均値や4x4画素の中の１点を代表値としてサムネイル上の画素値としている。図８（Ｂ）は、4x4画素の中の1点を代表値とする場合を示すものである。なお、MPEGではフレーム間の参照関係があるため、縮小画像を参照画像とする場合、動きベクトルも縮小比率に合わせて縮める必要がある。

ここで、図８において、白丸をインタレース画像のトップフィールドの情報、黒丸をボトムフィールドの情報とすると、等間隔で間引いて再構成されたサムネイル画像は、トップフィールドの縮小画像になっていることが分かる。

フィールドMCの場合、PピクチャやBピクチャにおける各マクロブロックは、時間的に直前または直後のIピクチャやPピクチャのトップフィールドまたはボトムフィールドを参照する可能性があるが、上記方法で生成されたサムネイル画像を次回の参照画像にすると、ボトムフィールドの情報は間引かれ、トップフィールドの情報のみを保持することになる。このため、本来ボトムフィールドを参照すべきような場合にも、これをトップフィールドで代用することになるため、動きの激しいシーンでは、その参照画像の近似誤差が大きくなり、画質が著しく劣化するとの現象が生じる。

また、特許文献３には、一般的なインタレース画像に対してラインを間引くことによって縮小する技術が示されている。これによれば、MPEG-2映像は、間引かれた画像を表示するだけでなく、将来の参照画像にもなるため、一般的な間引き方法では画質が劣化してしまう。
特開平５−２９２４９０号公報特開２０００−２１７１１１号公報特願平１１−１６８６６５号公報

本発明は、動きの激しいシーンにおいても、オリジナルの映像と比べて著しく画質が劣化することなく、動画サムネイルを生成できるサムネイル画像生成装置を提供する。

本発明は、サムネイル画像の表示において、インタレース画像のトップフィールドとボトムフィールドの両方の情報を保持するようにサムネイル画像を構成し、評価点を将来の参照画像に適する位置に配置して簡易デコードを行う。

これにより、サムネイル画像を構成しながら、著しい画像劣化を防ぐことが可能となる。

各請求項に係る発明の特徴は以下の通りである。

請求項１の発明は、DCT変換により圧縮された原画像データを用いてサムネイル画像を生成するサムネイル画像生成装置であって、前記原画像データのDCT係数を逆DCT変換処理してサムネイル画像の画素値を取得する際、原画像のトップフィールドとボトムフィールドに対応する画素値を同時に含むよう、前記サムネイル画像の画素値を取得するサムネイル画像生成手段を有することを特徴とする。

請求項２の発明は、請求項１に記載のサムネイル画像生成装置であって、前記逆ＤＣＴ変換処理は、前記DCT係数のうち、DC成分または低域側から所定の次数までのDCT係数を用いて行う、ことを特徴とする。

請求項３の発明は、請求項１または請求項２に記載のサムネイル画像生成装置であって、前記サムネイル画像生成手段は、前記原画像のうち、トップフィールドの所定のライン位置と、これに連続するボトムフィールドのライン位置の画素に対応する画素値を含むよう、前記サムネイル画像の画素値を取得することを特徴とする。

請求項４の発明は、請求項１から４のいずれかに記載のサムネイル画像生成装置であって、前記サムネイル画像生成手段は、前記原画像中の予め決められた画素位置の画素値を直接取得する算出処理により、前記DCT係数を用いて逆DCT変換処理を行い、前記サムネイル画像の画素値を取得することを特徴とする。

本発明によれば、前記原画像データのDCT係数を逆DCT変換処理してサムネイル画像の画素値を取得する際、原画像のトップフィールドとボトムフィールドに対応する画素値を同時に含むよう、前記サムネイル画像の画素値を取得するものであるから、動きの激しいシーンにおいても、オリジナルの映像と比べて著しく画質が劣化することなく、動画サムネイルを表示することが可能となる。

加えて、請求項２の発明によれば、サムネイル画像生成時の逆ＤＣＴ変換処理を簡素化することができる。また、請求項３の発明によれば、動き補償による画質劣化をさらに効果的に抑制することができる。さらに、請求項４の発明によれば、サムネイル画素値の算出処理を簡素化することができる。

この他、本発明の効果は、以下に示す実施の形態の説明により、さらに明瞭となろう。

本発明の実施の形態について、図を参照しながら以下に説明する。

まず、動画サムネイル生成装置１０の構成について説明する。

図１に、実施の形態に関する動画サムネイル生成装置１０の機能ブロック図を示す。図示の如く、動画サムネイル生成装置１０は、データ読出し部１１、ストリームバッファ１２，１３，１４，１５．バッファ読み取り制御部１６、サムネイル復号部１７、フレームバッファ１８，１９、合成およびＤＡ変換部２０、モニター２１から構成されている。

データ読出し部１１は、再生すべき映像データを記憶媒体から読み出す。ストリームバッファ１２，１３，１４，１５は、データ読出し部１１から読み出されたデータを一時的にストアするバッファである。本動画サムネイル生成装置１０では、例えば４つのストリームから同時にサムネイル画像の生成を行うため、４つのストリームバッファを用いている。バッファ読み取り制御部１６は、ストリームバッファ１２，１３，１４，１５から読出したデータをサムネイル復号部１７に供給する。サムネイル復号部１７は、原画像データを用いてサムネイル画像を生成する。フレームバッファ１８，１９は、サムネイル復号時、参照画像を格納するバッファである。合成およびＤＡ変換部２０は、各サムネイル画像を１つの画面の所望の位置に合成し、合成した画像をデジタルーアナログ変換してモニター２１へ出力する。モニター２１は、合成およびＤＡ変換部２０から出力された映像信号を表示する。

本実施例の動画サムネイル生成装置１０は、フレームバッファを２つ備えているが、これはBピクチャのサムネイル画像の生成を想定していないためであり、仮にBピクチャのサムネイル画像を生成する場合には、さらにもう１つのフレームバッファを備えることになる。

次に、図２を用いてサムネイル画像の生成について説明する。ここでは、説明を簡単にするために、IピクチャとPピクチャのサムネイル画像の生成について説明する。

図２（Ａ）は、マクロブロックをフルデコードしたときの画素群である。図２（Ｂ）はマクロブロックに相当するサムネイル画像サイズの画素群である。サムネイル画像サイズの画素群は、各ブロック毎に低域側2x2のDCT係数を用いて、例えば矢印位置の画素値を簡易デコードし、これにより、ブロック毎に2x2画素サイズの画素値を取得することにより構成される。

このとき、サムネイル画像サイズの画素中に、トップフィールドとボトムフィールドの画素が同様に含まれるよう、ラインの位置を設定する。例えば5ライン目、13ライン目と、各々その直後の6ライン目、14ライン目を選ぶ。

これにより、サムネイル画像サイズの画素値中に、トップフィールドの情報のみならず、ボトムフィールドの情報も保持することができる。

また、評価点の位置は、ブロックの中心に近い位置に設定する。これにより、動き補償による画質劣化を抑えることができる。

また、図２に示すように、トップフィールドのラインとその直後のボトムフィールドのラインから評価点を取ることによって、動き補償による画質劣化を抑える効果を高めることができる。同様に、図３に示すように、ボトムフィールドのラインとその直後のトップフィールドのラインから評価点を取る場合にも、動き補償による画質劣化を抑える効果を高めることができる。

図４は、図１におけるサムネイル復号部１７およびフレームバッファ１８，１９の構成を示すブロック図である。

サムネイル復号部１７は、VLD部１７１、IQ部１７２、簡易IDCT部１７３、MC部１７４、加算部１７５、フレームバッファ制御部１７６から構成される。

VLD部１７１は、可変長符号をデコードするものである。

IQ部１７２は、量子化されているDCT係数に対して逆量子化を行う。

簡易IDCT部１７３は、DCT係数のうち、低域周波数にあたるDCT係数だけを用いて、例えば、図２の矢印位置の画素について逆DCTを行う。

MC部１７４は、原画像の動きベクトルをサムネイル画像のサイズに合わせて縮小する。この縮小した動きベクトルに合わせて、参照画像であるサムネイル画像の該当する位置の画素値を取得する。

加算部１７５は、取得した参照画像の画素値と逆DCTの結果とを加算する。

フレームバッファ制御部１７６は、フレームバッファに対して、参照画像の取得や再構成した画像の格納を制御する。

次に、図４を参照して、サムネイル画像生成時の処理について説明する。

まず、入力されたMPEGストリームに対して、VLD部１７１は可変長符号をデコードし、デコード結果をIQ部１７２に出力する。IQ部１７２は、それを逆量子化し、DCT係数および動きベクトルを得る。ここで得られたDCT係数は簡易IDCT部１７３へ、動きベクトルはMC部１７４にそれぞれ入力される。

DCT係数については、必要な低域成分、例えば2x2の係数を簡易IDCT部１７３において逆DCTを行う。ここでは逆DCTの一例として、各ブロックにおいて2x2のDCT係数より、例えば、図２の矢印位置から構成される2x2サイズの画素値を求めるものとする。

例えば、2x2サイズの画素の各々の値は、2x2のDCT係数の各々に、該DCT係数に係る係数と、該画素の位置に対応した該DCT係数に係る係数とを乗じ、各々のDCT係数の積の和とする演算によって求めることができる。

ここで、DCT係数の次数と、IDCT後の画素値の次数、およびフレーム間の画素値の差分の次数は、必ずしも一致する必要がない。例えば、DCT係数のDC成分のみを用いて、2x2の画素値を求めてもよく、また2x2のDCT係数を用いて、4x4の画素値を求めてもよい。

簡易IDCT部１７３におけるIDCTの後、Iピクチャの場合はこれがそのまま出力画像となる。同時に、将来の参照画像として、フレームバッファ１８に格納される。なお、Pピクチャの場合、DCT係数を持たないブロックも存在し、この場合にはIDCTは必要ない。

フレームバッファ１８，１９は通常のMPEGデコーダと同じように、各フレームをデコードするたびに役割が変わる。仮にフレームバッファ１８が参照フレームを格納しているとすると、フレームバッファ１９は現在デコード中の画像を格納する。現在デコード中の画像のデコードが終了すると、次の画像がPピクチャのときはデコードのため、フレームバッファ１９の画像を参照フレームとする。参照フレームとしての役割を終えたフレームバッファ１８にあらたにデコードする画像を格納する。また、仮に４つのストリームを同時にサムネイル生成する場合、各フレームバッファ１８、１９はデコードしたフレームを格納するため、それぞれの４つのセグメントに分けて使用する。このようなフレームバッファの制御は、フレームバッファ制御部176によって行われる。

次に、MC部１７４における動き補償の処理について説明する。

Pピクチャの場合、フレームバッファに格納されている参照画像を用いて、現在のフレームを近似計算する必要がある。ここで、参照画像の参照位置における画素値を参照近似データと呼ぶこととする。

図５（Ｂ）に、現在のフレームにおける処理対象となっているブロックを、また、その処理対象となっているブロックの参照画像上における参照位置を図５（Ａ）に示す。

黒矢印が参照フレーム上の評価点の位置であり、白抜き矢印は現在のフレームの評価点の位置である。

フィールド動き補償の場合、デコード時に、参照先がトップフィールドもしくはボトムフィールドかを選択できる。トップフィールドの白抜き矢印の評価点Ａ点は、参照先がボトムフィールドの場合、参照画像のボトムフィールドにおける近傍の評価点Ｃ点の値を用いる。

フレーム動き補償の場合には、同じフィールドを参照することになり、トップフィールドの白抜き矢印の評価点Ａ点は、参照画像のトップフィールドにおける近傍の評価点Ｂ点の値を用いる。

このようにして、逆DCT変換された値と近似的に構成された参照近似データとを、必要ならば加算部１７５で加算し出力画像とする。同時に、この出力画像は次の参照画像としてフレームバッファ１８，１９に格納する。

上記の如く、本実施の形態によれば、サムネイル画像の表示において、復号時に用いられる参照画像にトップフィールドおよびボトムフィールドの情報を含むことができる。

これにより、マクロブロックがフィールド動き補償となる傾向にある動きの激しいシーンなど、トップフィールドとボトムフィールドの差が大きい場合でも、画質劣化なく表示することができる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではなく、他に種々の変更が可能であることは言うまでもない。

例えば、上記実施例では、ブロックより2x2の画素を作り出すように構成したが、図６（Ｂ）に示すように4x4の画素を構成するようにしてもよい。この場合の評価点の位置の一例を図６（Ａ）に示す。左側がフルデコードした場合のブロック、右側がサムネイルサイズである。

また、図７（Ｂ）に示すように原画像を８分の１に縮小した画像を動画サムネイルとする場合には、同図（Ａ）に示すように評価点を位置づけ、DCT係数のDC成分のみを用いてサムネイル画像を復号することもできる。この場合、図４における簡易IDCT部は、特に演算処理を行うことなく、DCT係数のDC成分を取り出すだけの処理となる。

また、上記実施例では、処理の対象ピクチャを、IピクチャおよびPピクチャとしたが、BピクチャについてもPピクチャと同様に処理することによって、サムネイルを生成することができる。

実施例１に係るサムネイル画像生成装置の機能ブロック図実施例１に係るサムネイル画像生成装置におけるサムネイル画像を近似構成する際の評価点を表す模式図(出力画像のブロックサイズが2x2の場合) サムネイル画像を近似構成する際の評価点を表す模式図(出力画像のブロックサイズが2x2の場合) 実施例１に係るサムネイル画像生成装置におけるサムネイル用復号部の構成図実施例１に係るサムネイル画像生成装置におけるサムネイル画像を近似構成する際の評価点を表す模式図(出力画像のブロックサイズが2x2の場合) サムネイル画像を近似構成する際の評価点を表す模式図(出力画像のブロックサイズが4x4の場合) サムネイル画像を近似構成する際の評価点を表す模式図(出力画像のブロックサイズが1x1の場合) 従来のサムネイル画像生成装置におけるサムネイル画像を近似構成する際の評価点を表す模式図

符号の説明

１０動画サムネイル生成装置
１１データ読出し部
１２，１３，１４，１５ストリームバッファ
１６バッファ読み取り制御部
１７サムネイル復号部
１８，１９フレームバッファ
２０合成およびＤＡ変換部
２１モニター

Claims

DCT変換により圧縮された原画像データを用いてサムネイル画像を生成するサムネイル画像生成装置であって、
前記原画像データのDCT係数を逆DCT変換処理してサムネイル画像の画素値を取得する際、原画像のトップフィールドとボトムフィールドに対応する画素値を同時に含むよう、前記サムネイル画像の画素値を取得するサムネイル画像生成手段を有することを特徴とするサムネイル画像生成装置。
請求項１において、
前記逆ＤＣＴ変換処理は、前記DCT係数のうち、DC成分または低域側から所定の次数までのDCT係数を用いて行う、
ことを特徴とするサムネイル画像生成装置。
請求項１または請求項２において、
前記サムネイル画像生成手段は、前記原画像のうち、トップフィールドの所定のライン位置と、これに連続するボトムフィールドのライン位置の画素に対応する画素値を含むよう、前記サムネイル画像の画素値を取得することを特徴とするサムネイル画像生成装置。
請求項１から４のいずれかにおいて、
前記サムネイル画像生成手段は、前記原画像中の予め決められた画素位置の画素値を直接取得する算出処理により、前記DCT係数を用いて逆DCT変換処理を行い、前記サムネイル画像の画素値を取得することを特徴とするサムネイル画像生成装置。