JP2006311079A

JP2006311079A - 画像ビットストリーム変換装置

Info

Publication number: JP2006311079A
Application number: JP2005129731A
Authority: JP
Inventors: Motoharu Ueda; 基晴上田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-04-27
Filing date: 2005-04-27
Publication date: 2006-11-09

Abstract

【課題】シーン毎に瞬間的な符号化難易度の高いシーンに対応する適切な符号化制御を行い、少ない符号量で最適な符号化処理を行う画像ビットストリーム変換装置を提供する。
【解決手段】対象となる映像の画像ビットストリームを復号する際にジャンル／キーワード検索回路１０３で得られる符号化処理の対象となる映像のジャンルに関する情報と、符号化情報算出回路１０５で得られる符号化情報を基にシーン分別回路１０７で区切られたシーン毎の特性を表すシーン特性情報とを基に、シーン情報データベース１０４から符号化処理を制御するパラメータの補正値をデータベース管理回路１０８で取得し、取得された設定値に符号化制御パラメータ設定回路１１３でパラメータを設定して再符号化を行う。
【選択図】図１

Description

本発明は、予め符号化処理が施されている画像ビットストリームを効率良く再符号化する変換処理をすることが可能な画像ビットストリーム変換装置に関する。

近年、デジタル化された映像の画像データに対して高能率な符号化を施して情報を圧縮することにより、長時間のコンテンツを記録媒体に記録したり、衛星回線、地上回線、および電話回線などの伝送路で送受信したりするサービスが多く利用されている。これらのサービスにおいては、動画像および音声の高能率符号化方式として国際規格であるＭＰＥＧ２、ＭＰＥＧ４−ＡＳＰ、ＭＰＥＧ４−ＡＶＣなどが用いられている。これらの規格では、隣接画素（空間方向）の相関、および、隣接フレーム間もしくは隣接フィールド間（時間方向）の相関を利用して情報量を圧縮する画像符号化方式が用いられている。

例えば、ＭＰＥＧ２規格における画像符号化記録装置の一例として、以下のようなアルゴリズムで符号化処理が行われる装置がある。すなわち、時間的に連続する１２の符号化対象画像フレームのうち１フレームの静止画が基準フレームとして捉えられ、空間方向の相関のみを用いて符号化される。この基準フレームの符号化データは、このフレームの符号化データのみで復元できる。

基準フレーム以外の１１フレームでは、まず参照画像フレームとの間での被写体の動きから検出された動きベクトルを用いて画像が予測されることにより予測フレームが作成され、この予測フレームとの差分が求められる。この差分が空間方向の相関および時間方向の相関を用いて符号化されるため、基準フレームに比べてより高い符号化効率で符号化することができる。この予測フレームを用いて符号化されたデータは、参照フレームデータ、動きベクトルデータ、および予測フレームとの差分の符号化データより復元される。

ＭＰＥＧ２規格による画像符号化について図１０を用いて具体的に説明する。図１０は連続する基準フレームおよび予測フレームが平面状に並べられた状態を示している。Ｉで示されるＩピクチャ（Intra−coded picture：Ｉフレーム）は入力された符号化対象画像フレームであり、符号化処理において定期的に用いられ、復号処理で基準フレームとして用いられる。また、Ｐ１〜Ｐ３で示されるＰピクチャ（Predictive−coded picture：Ｐフレーム）は時間的に前（過去）の基準フレーム（Ｉピクチャ）のみを参照フレームとして作成される予測フレームであり、Ｂ１〜Ｂ８で示されるＢピクチャ（Bi−directionally predictive coded picture：Ｂフレーム）は時間的に前後（過去と未来）の２つの参照フレームから作成される予測フレームである。Ｐピクチャは、それ自身が予測フレームであるとともに、続いて作成されるＢピクチャやＰピクチャの参照フレームにもなる。

図１０の矢印は、予測方向を示す。例えば、Ｐ１ピクチャは時間的に前のＩピクチャから予測され、Ｂ１ピクチャおよびＢ２ピクチャは時間的に前のＩピクチャとＰ１ピクチャから予測され、Ｂ３ピクチャおよびＢ４ピクチャはＰ１ピクチャとＰ２ピクチャから予測される。

Ｉピクチャの画像データは、輝度信号が水平１６画素×垂直１６画素であるマクロブロックと呼ばれる処理単位に分割される。分割され得られたマクロブロックデータは、さらに８×８画素単位の２次元ブロックに分割され、この２次元ブロックごとに直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）変換処理および量子化処理が行われる。

ＤＣＴ変換で得られたデータはこの２次元ブロックデータの周波数成分に準じた値を示し、一般的な画像では成分が低周波域に集中する。この低周波成分は、高周波成分よりも視覚的に情報劣化が目立つ性質がある。よって量子化される際は、低周波成分域が細かく、高周波成分域が粗く処理され、その係数成分と成分がない係数０との連続する長さが可変長符号化されることにより、情報量が圧縮される。

Ｐピクチャを用いて符号化対象フレームを圧縮する処理について図１０を参照して説明する。図１０のＰ１ピクチャ、Ｐ２ピクチャ、およびＰ３ピクチャに時間的に対応する符号化対象画像フレームも水平１６画素×垂直１６画素のマクロブロック単位に分割され、このマクロブロック毎に参照フレームであるＩピクチャまたはＰピクチャとの間の動きベクトルが検出される。動きベクトルは、一般的にブロックマッチング法により求められる。このブロックマッチング法では、動きベクトル検出対象である符号化対象画像フレームのマクロブロックデータの各画素と、このマクロブロックデータと近似の参照フレームのマクロブロックデータの各画素との差分絶対値和（もしくは差分二乗和）が求められ、その値が最小となるときの動きベクトルの値が検出された動きベクトルとして出力される。

参照フレームの画像を、このマクロブロック毎に検出された動きベクトル分ずらして作成された画像をＰピクチャとする。Ｐピクチャの画像信号は、Ｉピクチャと同様に輝度信号で水平１６画素×垂直１６画素のマクロブロック単位に分割される。そして、得られたＰピクチャのマクロブロックデータの各画素と符号化対象画像フレームのマクロブロックデータの各画素との差分ブロックデータが検出され、この差分ブロックデータが符号化される。正確な動きベクトルが検出された場合には、差分ブロックデータの情報量は元のマクロブロックデータの持っている情報量よりも大幅に少なくなる。そのため、Ｐピクチャを用いて符号化されたデータは、Ｉピクチャが符号化されたデータよりも粗い量子化処理が可能になる。実際には、差分ブロックデータを符号化するか、非差分ブロックデータ（符号化対象フレームのIntraブロックデータ）を符号化するかが予測モード判定で選択され、選択されたブロックデータに対してＩピクチャと同様のＤＣＴ変換処理および量子化処理が施され、圧縮が行われる。

Ｂピクチャを用いて符号化対象フレームを圧縮する処理について説明する。図１０のＢ１ピクチャ、Ｂ２ピクチャ、・・・Ｂ８ピクチャに時間的に対応する符号化対象画像フレームもＰピクチャを用いる場合と同様の処理が行われるが、参照フレームであるＩピクチャおよびＰピクチャが時間的に前後に存在するため、それぞれの参照フレームと符号化対象フレームとの間で動きベクトルが検出される。この際、マクロブロック毎に選択される予測モードにより動きベクトルの検出が行われる。この予測モードには、時間的に前の基準フレームからブロックデータが予測される（Forward予測）モード、時間的に後の基準フレームからブロックデータが予測される（Backward予測）モード、これら２つの予測ブロックデータの画素毎の平均値からブロックデータが予測される（Average予測）モードの３種類が存在する。これら３種類のモードによりそれぞれ得られるＢピクチャのマクロブロックデータと符号化対象画像フレームのマクロブロックデータとの差分ブロックデータ、および、符号化対象フレームのIntraブロックデータの４種類のブロックデータからいずれかのデータが判定により選択され、選択されたブロックデータにＩピクチャおよびＰピクチャと同様のＤＣＴ変換処理および量子化処理が施され、圧縮が行われる。

Ｂピクチャは時間的に前後の基準フレームから予測が可能であるため、Ｐピクチャよりもさらに予測効率が向上する。よって、一般的にＰピクチャよりもさらに粗く量子化される。

このＢピクチャを用いる符号化は時間的に後の基準フレームからの予測処理も行われるため、参照フレームを用いた符号化がＢピクチャを用いる符号化に先行して行われる。そのため、入力された画像信号は図１１に示すように、Ｂピクチャを用いて符号化される符号化対象画像フレームは、その参照フレームであるＩピクチャまたはＰピクチャの後に並べ替えが行われ、符号化される。復号される際は、図１２に示すように、図１１の逆の並べ替えを行って出力することにより、入力された画像信号の順に復号された画像が再生される。

次に、ＭＰＥＧ２画像符号化を実現する従来の画像符号化記録装置の構成について説明する。図１３は従来の画像符号化記録装置２０を示すブロック図である。従来の画像符号化記録装置２０は、対象画像入力端子２０１と、入力画像メモリ２０２と、２次元ブロックデータ変換回路２０３と、減算器２０４と、直交変換回路２０５と、量子化回路２０６と、符号化回路２０７と、符号化テーブル２０８と、マルチプレクサ２０９と、画像ビットストリームバッファ２１０と、逆量子化回路２１２と、逆直交変換回路２１３と、加算器２１４と、デブロック回路２１５と、参照画像メモリ２１６と、動きベクトル検出回路２１７と、動き補償予測回路２１８と、符号量制御回路２１９とを有する。

画像入力端子２０１は、符号化対象となるデジタル画像データを入力する。

入力画像メモリ２０２は、画像入力端子２０１で入力されたデジタル画像データを記憶して遅延させ、符号化される順番にフレームを並べ替えて２次元ブロックデータ変換回路２０３に送信する。

２次元ブロックデータ変換回路２０３は、受信したデジタル画像データのフレームをマクロブロックデータに分割する。

減算器２０４は、符号化対象のフレームがＩピクチャの場合はそのまま直交変換回路２０５に送信し、Ｉピクチャ以外の場合は後述する予測ブロックデータと符号化対象フレームのマクロブロックデータとの差分を直交変換回路２０５に送信する。

直交変換回路２０５は、受信したマクロブロックデータをＤＣＴ変換し、このＤＣＴ変換により得られたＤＣＴ係数を量子化回路２０６に送信する。

量子化回路２０６は、受信したＤＣＴ係数を量子化マトリクスにより算出される値で除算して量子化処理を行う。

符号化回路２０７は、符号化テーブル２０８を参照することにより得られる符号化レートで、量子化されたＤＣＴ係数を可変長または固定長で符号化し、マルチプレクサ２０９に送信する。

符号化テーブル２０８は、ＤＣＴ係数に対応する符号化レートを記憶している。

マルチプレクサ２０９は、符号化回路２０７から受信した符号化データと２次元ブロックデータ変換回路２０３から受信したフレーム内でのマクロブロックデータの位置等を示す付加情報とを多重化して画像ビットストリームとし、画像ビットストリームバッファ２１０および符号量制御回路２１９に送信する。

画像ビットストリームバッファ２１０は、マルチプレクサ２０９から受信した画像ビットストリームを格納し、必要に応じて記録媒体もしくは伝送路２１１に送信する。

逆量子化回路２１２は、量子化回路２０６から受信した量子化されたＤＣＴ係数を逆量子化し、得られたＤＣＴ係数を逆直交変換回路２１３に送信する。

逆直交変換回路２１３は、受信したＤＣＴ係数を逆ＤＣＴ変換処理し、得られたマクロブロックデータを加算器２１４に送信する。

加算器２１４は、逆直交変換回路２１３から受信したマクロブロックデータに後述する動き補償予測回路２１８から得られる予測ブロックデータを加算し、デブロック回路２１５に送信する。

デブロック回路２１５は、予測ブロックデータが加算されたマクロブロックデータを受信して復号し、得られた参照画像データを参照画像メモリ２１６に送信する。

参照画像メモリ２１６は、受信した参照画像データを記憶し、ＰピクチャまたはＢピクチャの参照フレームとして動きベクトル検出回路２１７および動き補償予測回路２１８に送信する。

動きベクトル検出回路２１７は、２次元ブロックデータ変換回路２０３から受信した符号化対象画像のマクロブロックデータと参照画像メモリ２１６から受信した参照画像のマクロブロックデータとの間の動きベクトルを検出する。

動き補償予測回路２１８は、参照画像メモリ２１６から受信した参照画像データを、動きベクトル検出回路２１７で求められた動きベクトル分ずらして予測ブロックデータを作成し、減算器２０４および加算器２１４に送信する。

符号量制御回路２１９は、マルチプレクサ２０９から送信された画像ビットストリームの符号量と予め設定された目標とする符号量とを比較し、目標符号量に近づけるために量子化する細かさ（量子化スケール）を算出し、算出された量子化スケールで量子化が行われるように量子化回路２０６を制御する。

次に、上記の従来の画像符号化記録装置２０の動作を説明する。

まず、符号化対象となる映像のデジタル画像データが、画像入力端子２０１から入力されて入力画像メモリ２０２に送信される。入力画像メモリ２０２では受信したデジタル画像データが記憶されて遅延され、図１０の符号化シンタックスに従って符号化される順番にフレームが並べ替えられて２次元ブロックデータ変換回路２０３に送信される。２次元ブロックデータ変換回路２０３においては、受信したデジタル画像データがマクロブロックデータに分割される。

次に、入力画像メモリ２０２から入力されたデジタル画像データがＩピクチャである場合の符号化処理について説明する。まず、マクロブロックデータに分割されたＩピクチャの画像データは減算器２０４を介して直交変換回路２０５に送信される。そして直交変換回路２０５でさらに水平８画素×垂直８画素単位に分割されてＤＣＴ変換処理が行われ、ＤＣＴ係数が出力される。出力されたＤＣＴ係数は輝度信号が水平１６画素×垂直１６画素となるマクロブロック単位にまとめられ、量子化回路２０６に送られる。量子化回路２０６においては、ＤＣＴ係数が周波数成分毎に異なった値を持つ量子化マトリクスにより算出される値で除算されることにより、量子化処理が行われる。量子化処理が行われたＤＣＴ係数は、符号化回路２０７において符号化テーブル２０８のＤＣＴ係数に対応したアドレスが参照されることにより可変長または固定長の符号化が行われ、得られた符号化データがマルチプレクサ２０９に送信される。

マルチプレクサ２０９では、符号化回路２０７から受信された符号化データと２次元ブロックデータ変換回路２０３から受信されたフレーム内での該当するマクロブロックデータの位置等を示す付加情報とが多重化され、画像ビットストリームバッファ２１０に格納される。この多重化されたデータは、画像ビットストリームとして記録媒体もしくは伝送路２１１に出力される。

一方、量子化回路２０６において量子化されたＤＣＴ係数は、逆量子化回路２１２および逆直交変換回路２１３において逆量子化および逆ＤＣＴ変換処理が行われ、量子化されたＤＣＴ係数が復号されマクロブロック毎のデータが得られる。この得られたマクロブロック毎のデータは加算器２１４を介してデブロック回路２１５に送信され、デブロック回路２１５でデブロックされて復号された参照画像データが得られる。復号された参照画像データは参照画像メモリ２１６に供給されて格納される。参照画像メモリ２１６に格納された画像データは、予測フレームであるＰピクチャやＢピクチャを用いて符号化処理する時に参照フレームとして使用される。

次に、入力画像メモリ２０２から出力されたデジタル画像データが、予測フレームであるＰピクチャまたはＢピクチャを用いて符号化処理される場合について説明する。まず、２次元ブロックデータ変換回路２０３で分割された符号化対象となる画像フレームのマクロブロックデータと参照画像メモリ２１６に格納されている参照画像のマクロブロックデータとの間の動きベクトルが、動きベクトル検出回路２１７で求められる。動きベクトル検出回路２１７で求められた動きベクトルのデータは動き補償予測回路２１８に送信される。動き補償予測回路２１８では、参照画像メモリ２１６から取得した参照フレームのマクロブロックデータが動きベクトル検出回路２１７で求められた動きベクトル分ずらされることにより予測ブロックデータが作成される。さらに動き補償予測回路２１８では、複数の予測モードの中から最適な予測モードで作成された予測ブロックデータが選択される。そして、減算器２０４で符号化対象となる画像のマクロブロックデータと動き補償予測回路２１８で選択された予測ブロックデータとの差分データが算出され、直交変換回路２０５に送信される。この差分データはＩピクチャと同様にＤＣＴ変換処理および量子化処理が行われ、動きベクトルデータおよび予測ブロックデータとともに画像ビットストリームとして画像ビットストリームバッファ２１０から記録媒体もしくは伝送路２１１に出力される。

符号量の制御に関しては、符号量制御回路２１９においてマルチプレクサ２０９から出力された画像ビットストリームの符号量と目標とする符号量とが比較され、目標とする符号量に近づけるための量子化スケール（量子化の細かさ）の算出が行われる。そして、この算出された量子化スケールで量子化が行われるように量子化回路２０６が制御される。

この装置では前述した３種類のピクチャタイプを用いた情報量の異なる符号化処理が行われるため、それぞれのピクチャタイプの目標符号量はピクチャタイプの性質と出現頻度により算出される。

一般的に各画像フレームの目標符号量は、一定時間における目標符号量に対し各ピクチャタイプを用いた符号化画像が持つ情報量から算出し、割り当てていく。具体的には、以前に各ピクチャタイプを用いて符号化したときに要した符号量をBits、各ピクチャタイプの量子化スケールの平均値をAvgQとした場合、各ピクチャタイプの持つ符号化の複雑度（以下、「符号化難易度」と称する）の近似値Cは以下の式（１）で算出される。

この値Cは、複雑な場面や動きの大きな場面程、値が大きい。ここで、Aはピクチャタイプの重要度や符号化時の劣化レベルを想定して各ピクチャタイプに対して設定される重み付けである。一般的にはこの重み付けは、A(I)＞A(P)＞A(B)となる。

一定時間内に含まれるF個のフレームに与えられる目標符号量TotalBitsに対して、各ピクチャタイプが用いられるFnum個のフレームに与えられる目標符号量Budgetは、下記式（２）〜（４）で算出される。

符号量制御回路２１９では、仮想的に復号装置がシュミレートされたＶＢＶ（Video Buffer Verifier）バッファと呼ばれるストリームバッファに対して復号バッファにオーバーフローまたはアンダーフローが起きないように、上記のように設定される目標符号量Budgetに対する制御が行われる。

また、量子化スケールと出力符号量とは一般的にほぼ反比例の関係にある。これを利用して、フレームタイプ毎にピクチャ内の各マクロブロックデータに対する量子化スケール値が目標符号量Budgetから算出され、量子化処理が行われる。そして、ブロック毎に目標符号量に近づくように量子化スケールが変動されることによって、目標符号量内に画像ビットストリームが抑えられる。

上記のように、画像信号の空間方向相関や時間方向相関を利用して情報量を圧縮する方式を用いた場合、符号化難易度が高い場面で高い符号化効率を得ることができない。そのため、一定の目標符号量内に情報量を収めるには粗い量子化スケールにて量子化処理を行う必要があり、画像信号が復元されたときに画像の劣化が大きくなる。

このような画像の劣化を抑えるため、ＭＰＥＧ２規格においては、符号化された情報量が既知である画像を記録媒体に格納するときに、記録媒体の最大転送レートの符号化レート以内で上記符号化難易度に応じて符号化レートを変動させる、可変転送レート（ＶＢＲ）符号化が可能になっている。

近年は上記のＭＰＥＧ２規格により符号化処理が施されたデシタル放送を受信して記録し、復号して再生することにより番組を閲覧することが多く行われている。

ＭＰＥＧ２規格により符号化された画像ビットストリームを復号する従来の画像復号装置の構成について説明する。図１４は、従来の画像復号装置３０を示すブロック図である。従来の画像復号装置３０は、画像ビットストリームバッファ３０２と、可変長復号回路３０３と、符号化テーブル３０４と、逆量子化回路３０５と、逆直交変換回路３０６と、加算器３０７と、デブロック回路３０８と、参照画像メモリ３０９と、動き補償予測回路３１０と、出力フレームメモリ３１１と、画像出力端子３１２とを有する。

画像ビットストリームバッファ３０２は、記録媒体もしくは伝送路３０１から入力された符号化された画像ビットストリームを蓄積し、可変長復号回路３０３に送信する。

可変長復号回路３０３は、受信した符号化された画像ビットストリームから量子化スケール、予測モード、動きベクトル、マクロブロックデータの位置等の付加情報を分離して予測モードおよび動きベクトルを動き補償予測回路３１０に送信し、マクロブロックデータの位置の情報をデブロック回路３０８に送信する。また、符号化デーブル３０４を参照することにより得られる符号化レートにより符号化された画像ビットストリームを量子化されたＤＣＴ係数に復号して量子化スケールとともに逆量子化回路３０５に送信する。

符号化テーブル３０４は、ＤＣＴ係数に対応する符号化レートを記憶している。

逆量子化回路３０５は、受信した量子化されたＤＣＴ係数をＤＣＴ係数に逆量子化して逆直交変換回路３０６に送信する。

逆直交変換回路３０６は、受信したＤＣＴ係数をＩピクチャのマクロブロックデータまたは予測ブロックデータと符号化対象フレームのマクロブロックデータとの差分データに復号し、加算器３０７に送信する。

加算器３０７は、逆直交変換回路３０６から受信したデータがＩピクチャのマクロブロックデータの場合はそのままデブロック回路３０８に送信し、予測ブロックデータと符号化対象フレームのマクロブロックデータとの差分データの場合は後述する動き補償予測回路３１０から得られる予測ブロックデータを加算し、デブロック回路３０８に送信する。

デブロック回路３０８は、加算器３０７から受信したデータを可変長復号回路３０３から受信したマクロブロックデータの位置の情報を基にデジタル画像データのフレームに復元して出力する順にフレームを並べ替える。並べ替えられたフレームのうち、ＩピクチャおよびＰピクチャは参照画像メモリ３０９に送信し、Ｂピクチャは出力フレームメモリ３１１に送信する。

参照画像メモリ３０９は、デブロック回路３０８から受信したＩピクチャおよびＰピクチャを、ＰピクチャまたはＢピクチャの参照画像データとして動き補償予測回路２１８に送信するとともに、出力フレームメモリ３１１にも送信する。

動き補償予測回路３１０は、参照画像メモリ２１６から受信した参照画像データを、可変長復号回路３０３から受信した予測モードおよび動きベクトルを基に予測ブロックデータを作成し、加算器３０７に送信する。

出力フレームメモリ３１１は、図１２に示される復号画像の出力順にＩピクチャ、Ｐピクチャ、およびＢピクチャを画像出力端子３１２に送信する。

次に、上記の従来の従来の画像復号装置３０の動作を説明する。

まず、符号化された画像ビットストリームが、記録媒体もしくは伝送路３０１から入力されて画像ビットストリームバッファ３０２に蓄積される。符号化された画像ビットストリームには仮想的にシュミレートされたバッファ値が付加されており、画像ビットストリームバッファ３０２ではそのバッファ値分の画像ビットストリームが蓄えられてから、以下の復号処理が行われる。このバッファ値ごとの処理により、バッファが破綻して復号処理が止まることが防止される。

次に、画像ビットストリームバッファ３０２に蓄積された符号化された画像ビットストリームは、可変長復号回路３０３で量子化スケール、予測モード、動きベクトル、マクロブロックデータの位置等の付加情報が分離され、このうち予測モードおよび動きベクトルが動き補償予測回路３１０に送信される。また、マクロブロックデータの位置の情報がデブロック回路３０８に送信される。さらに、符号化デーブル３０４を参照することにより得られる符号化レートにより符号化された画像ビットストリームが、量子化されたＤＣＴ係数に復号して量子化スケールとともに逆量子化回路３０５に送信される。

量子化されたＤＣＴ係数は逆量子化回路３０５でＤＣＴ係数に逆量子化されて逆直交変換回路３０６に送信される。

このＤＣＴ係数は、逆直交変換回路３０６でＩピクチャのマクロブロックデータまたは予測ブロックデータと符号化対象フレームのマクロブロックデータとの差分データに復号され、加算器３０７に送信される。

加算器３０７では、逆直交変換回路３０６から受信されたデータがＩピクチャのマクロブロックデータの場合はそのままデブロック回路３０８に送信され、予測ブロックデータと符号化対象フレームのマクロブロックデータとの差分データの場合は後述する動き補償予測回路３１０から得られる予測ブロックデータが加算されてデブロック回路３０８に送信される。

デブロック回路３０８では、加算器３０７から受信されたＩピクチャのマクロブロックデータおよび予測ブロックデータが加算された差分データが、データを可変長復号回路３０３から受信したマクロブロックデータの位置の情報を基にデジタル画像データのフレームに復元されて出力する順にフレームが並べ替えられる。並べ替えられたフレームのうち、ＩピクチャおよびＰピクチャは参照画像メモリ３０９に送信され、Ｂピクチャは出力フレームメモリ３１１に送信される。

参照画像メモリ３０９に送信されたＩピクチャおよびＰピクチャは、ＰピクチャまたはＢピクチャの参照画像データとして動き補償予測回路２１８に送信されるとともに、出力フレームメモリ３１１にも送信される。

動き補償予測回路２１８では、参照画像メモリ２１６から受信した参照画像データと、可変長復号回路３０３から受信した予測モードおよび動きベクトルとを基に予測ブロックデータが作成され、加算器３０７に送信される。

出力フレームメモリ３１１で受信されたＩピクチャ、Ｐピクチャ、およびＢピクチャは、図１２に示される復号画像の出力順に画像出力端子に送信され、再生される。

ところで、デジタル放送波で送られてくるＭＰＥＧ２規格により符号化処理が施されたデジタル画像データは、解像度の高いＨＤＴＶ（High Definition Television）フォーマットの情報を有している場合もあり、長時間のデータを記録媒体に保存する場合には復号したデータを低い符号化レートで変換することよる再符号化が必要である。この再符号化処理は、復号装置の画像データの出力端子と符号化装置の入力端子が直接接続された構成の装置において実現することができる。

この再符号化処理を行う装置において、再符号化時の符号化劣化を低減させるための装置が特許文献１に記載されている。この技術は、第１の符号化時に符号化データとは別に符号化データの発生符号量と、量子化スケールの平均値と、動きベクトルに関するパラメータとが符号化情報としてフレーム毎に記録され、記録された符号化情報を用いて第２の符号化である再符号化時にＶＢＲ符号化が行われ、その場合のフレーム毎の目標符号量が設定される手法が採られている。

また特許文献２には、テレビ番組を記録媒体に録画する場合に番組別に符号化レートを変動させる方法が記載されている。この方法は、番組内容に依存して大まかな符号化難易度の傾向があることを利用するものである。処理が行われる際は、電子番組ガイド（以下「ＥＰＧ」と称する）から番組ジャンル情報が取得され、この情報を基準に好ましい符号化レートがテーブルから参照され、その符号化レートで符号化処理が行われる。

これらの方法により、設定された符号化レートに対して無駄な符号化情報を省いたり、予め認識できるコンテンツの情報を使用したりすることが可能になり、大局的な制御を行うことができる。
特開２００４−１４０８５４号公報特開２００２−４４６０４号公報

しかし、上記の特許文献１に示される装置においては第１の符号化時に符号化情報を生成しておく必要があるが、デジタル放送のように既に符号化されて放送波として伝送されてくるデジタル画像データからは符号化情報を取得することができない。ここで、復号時にデジタル画像データから取得できる符号化情報を記録することが考えられるが、この方法では第２の再符号化時の目標符号量が第１の符号化時の符号化特性に影響され、第１と第２との符号化装置の符号化特性の差により十分な機能が発揮できない可能性があるという問題があった。

また、特許文献２に示されるような高能率符号化記録装置は、番組のジャンル情報に依存して番組ごとに１つの設定を行うため、１つのジャンルの番組を１つの記録媒体全体に記録する際には有効ではないという問題があった。さらに、ジャンルによって区分けされた番組の中にもシーン毎に特徴が存在するため、１つの番組中が同一の制御では充分な効果が発揮されず、例えば瞬間的に符号化難易度が高いシーンが入力されたときにシーンに合わせた有効な制御ができないという問題もあった。これら以外にも、ＥＰＧ情報が存在しない入力ソースはジャンル情報が取得できないため、有効な処理ができないという問題もあった。

本発明は上記事情に鑑みてなされたものであり、符号化された画像ビットストリームを再符号化する際に、シーンごとに符号化制御を行うことにより少ない符号量で最適な符号化処理を行うことが可能な画像ビットストリーム変換装置を提供することを目的とする。

上記目的を達成するための請求項１に記載の画像ビットストリーム変換装置は、映像情報が符号化処理された画像ビットストリームを入力して復号し、この復号された画像ビットストリームから符号化制御パラメータを算出し、この算出された符号化制御パラメータを用いて復号された画像ビットストリームを再符号化するものであり、入力された画像ビットストリームに含まれている電子番組ガイド情報を基に、または入力された画像ビットストリームから算出されるジャンル予測情報を基に、映像のジャンルに関する情報を取得するジャンル情報取得手段と、復号された画像ビットストリームから、映像情報の空間的な相関に関する情報と、時間的な相関に関する情報と、輝度レベルに関する情報と、色差レベルに関する情報とのうち少なくとも１つを符号化情報として算出する符号化情報算出手段と、算出された符号化情報を基に、復号された画像ビットストリームから映像のシーンが変化するシーン変化点に関するシーン区切り情報を検出するシーン変化点検出手段と、検出されたシーン区切り情報により復号された画像ビットストリームをシーン別に区切り、区切られたシーンごとの符号化情報に基づくシーン特性情報を算出するシーン分別手段と、ジャンルに関する情報とシーン特性情報とから算出されたシーン識別信号と、符号化情報とを基に符号化制御パラメータを算出する再符号化制御パラメータ取得手段と、区切られたシーンごとに算出された符号化制御パラメータを設定する再符号化制御パラメータ設定手段と、区切られたシーンごとに設定された符号化制御パラメータに従って、復号された画像ビットストリームを区切られたシーンごとに再符号化処理を行う再符号化手段とを備えることを特徴とする。

また、請求項２は請求項１に記載の画像ビットストリーム変換装置であり、シーン変化点検出手段では、符号化情報として、復号された画像ビットストリームのフレームごとに算出される平均輝度レベル値と、復号された画像ビットストリームのフレームごとに算出される平均色差レベル値と、復号された画像ビットストリームのフレームごとに算出される総符号量と、復号された画像ビットストリームのフレームごとに算出される平均量子化スケールと、復号された画像ビットストリームのフレームごとに算出される動きベクトル距離の総和値とのうち少なくとも１つの値を使用して復号された画像ビットストリームからシーン区切り情報の検出を行う。

また、請求項３は請求項１または２に記載の画像ビットストリーム変換装置であり、シーン分別手段において、シーン特性情報は、復号された画像ビットストリームのフレームごとに算出される平均輝度レベル値と、復号された画像ビットストリームのフレームごとに算出される平均色差レベル値と、復号された画像ビットストリームのフレームごとに算出される総符号量と、復号された画像ビットストリームのフレームごとに算出される平均量子化スケールと、復号された画像ビットストリームのフレームごとに算出される動きベクトル距離の総和値とのうち少なくとも１つの値が用いられて算出されることを特徴する。

また、請求項４は請求項１ないし３いずれか１項に記載の画像ビットストリーム変換装置であり、記録手段は、復号された画像ビットストリームのフレームごとに算出される平均輝度レベル値と、復号された画像ビットストリームのフレームごとに算出される平均色差レベル値と、復号された画像ビットストリームのフレームごとに算出される総符号量と、復号された画像ビットストリームのフレームごとに算出される平均量子化スケールと、復号された画像ビットストリームのフレームごとに算出される動きベクトル距離の総和値とのうち少なくとも１つの値から算出されたシーン識別信号を記録することを特徴する。

また、請求項５は請求項１ないし４いずれか１項に記載の画像ビットストリーム変換装置であり、再符号化制御パラメータ取得手段は、再符号化制御パラメータとして、動きベクトルの検出範囲を示す値と、動きベクトルを検出する際に参照フレームとなるフレームを挿入する間隔を指定する値と、フレームタイプ別の目標とする符号量に対して重み付けを行う値と、シーンごとの目標とする符号量に対して重み付けを行う値と、輝度信号を量子化するための量子化マトリクス値と、色差信号を量子化するための量子化マトリクス値とのうち少なくとも１つの値を算出することを特徴とする。

また、請求項６は請求項１ないし５いずれか１項に記載の画像ビットストリーム変換装置であり、ジャンル情報検出手段において取得されるジャンルに関する情報は、画像ビットストリームに含まれる電子番組ガイド情報から取得したジャンル情報と、予め設定されたキーワードで電子番組ガイド情報から取得したテキストデータを検索処理することにより取得される、キーワードに関連付けられたジャンル情報ＩＤとを含むことを特徴とする。

また、請求項７は請求項１ないし５いずれか１項に記載の画像ビットストリーム変換装置であり、シーン識別信号の出現頻度を累積加算して記録する頻度記録手段を有し、ジャンル情報取得手段は、電子番組ガイド情報から映像のジャンルに関する情報を取得できなかったときは、シーン分別手段から取得したシーン特性情報を基に全てのジャンルに対するシーン識別信号をそれぞれ算出し、この算出されたシーン識別信号の中で累積加算された出現頻度が最も高いシーン識別信号を選択してジャンル予測情報を算出することを特徴とする。

本発明の画像ビットストリーム変換装置によれば、符号化された画像ビットストリームを再符号化するときに、瞬間的に入力される符号化難易度の高いシーンや特徴のあるシーンに対して適切な符号化制御を行うことができる。これにより、限られた容量の記録媒体に、符号化品質を保ち効率良くデジタル画像データを記録することができる。

〈画像ビットストリーム変換装置の構成〉
本発明の第１実施形態における画像ビットストリーム変換装置の構成について説明する。本実施形態における画像ビットストリーム変換装置は、符号化された画像ビットストリームを復号するとともに再符号化のための情報を取得する復号処理部１１と、この復号処理部１１で取得された情報を基に再符号化を行う再符号化処理部１２とから構成されている。

本実施形態における画像ビットストリーム変換装置の復号処理部１１の構成について図１を参照して説明する。

本実施形態における画像ビットストリーム変換装置の復号処理部１１は、画像ビットストリーム入力端子１０１と、番組情報取得回路１０２と、ジャンル／キーワード検索回路１０３と、シーン情報データベース（記録媒体）１０４と、符号化情報算出回路１０５と、シーン検出回路１０６と、シーン分別回路１０７と、データベース管理回路１０８と、符号化情報記録回路１０９と、中間記録媒体１１０と、ジャンル予測回路１１１と、画像ビットストリームバッファ３０２と、可変長復号回路３０３と、符号化テーブル３０４と、逆量子化回路３０５と、逆直交変換回路３０６と、加算器３０７と、デブロック回路３０８と、参照画像メモリ３０９と、動き補償予測回路３１０と、出力フレームメモリ３１１と、画像出力端子３１２とを有する。このうち、画像ビットストリームバッファ３０２以降に記載の構成要件は図１４に示す従来の復号装置３０と同様であるため、説明を省略する。ただし、可変長復号回路３０３は、マクロブロック復号毎に復号に要したビット数と、量子化スケールと、動きベクトルの大きさを示す値と、復号されたＤＣＴ係数の輝度および色差のＤＣ成分とを符号化情報算出回路１０５に送信する。さらに可変長復号回路３０３は、フレーム毎にフレームタイプを符号化情報算出回路１０５に送信する。

画像ビットストリーム入力端子１０１は、記録媒体もしくは伝送路３０１から符号化された画像ビットストリームを入力する。

番組情報取得回路１０２は、受信した画像ビットストリームから分離されたＥＰＧ情報を取得し、処理を行っている映像のジャンル情報および番組内容を示すテキストデータをこのＥＰＧ情報から取得し、ジャンル／キーワード検索回路１０３に送信する。ＥＰＧ情報は、地上・ＢＳデジタル放送の場合、パケット化された符号化データであるＴＳ（トランスポートストリーム）と呼ばれるデータの中に特定の識別情報とともに周期的に送られてくるＳＩ（番組配列情報）から取得可能である。

ジャンル／キーワード検索回路１０３は、ジャンル情報および番組内容を示すテキストデータを受信するとともに後述するシーン情報データベース１０４に格納されているキーワード情報を読み込み、番組内容を示すテキストデータの中にキーワード情報の中のキーワードがあるかどうか検索し抽出する。そして、検索の結果抽出されたキーワード情報のジャンル情報ＩＤおよび番組情報取得回路１０２から受信したジャンル情報を、シーン分別回路１０７に送信する。ここで、ＥＰＧ情報が取得できないなどの理由でジャンル情報およびキーワード情報の抽出によるデータがともに取得できなかった場合には、情報取得不可を示す情報をシーン分別回路１０７およびジャンル予測回路１１１に送信する。

シーン情報データベース１０４は、メインジャンル情報と、このメインジャンル情報を細分化するための番組詳細を示すキーワードとしてのサブジャンル情報と、このサブジャンル情報に対応するジャンル情報ＩＤとで構成されたキーワード情報を格納している。またこのジャンル情報ＩＤ毎に、符号化制御を行うために予め設定された符号化制御パラメータを設定するためのデータであるシーン識別信号を格納している。またこのジャンルＩＤ毎に、出現頻度を累積加算したデータを格納している。

符号化情報算出回路１０５は、可変長復号回路３０３から画像ビットストリームのマクロブロック毎の復号に要したビット数と、量子化スケールと、動きベクトルの大きさを示す値と、復号されたＤＣＴ係数の輝度および色差のＤＣ成分とを取得する。そして、取得したこれらの値から、符号化情報として復号された画像ビットストリームのフレームごとに算出される平均輝度レベル値と、復号された画像ビットストリームのフレームごとに算出される平均色差レベル値と、復号された画像ビットストリームのフレームごとに算出される総符号量と、復号された画像ビットストリームのフレームごとに算出される平均量子化スケールと、復号された画像ビットストリームのフレームごとに算出される動きベクトル距離の総和値とを算出してシーン検出回路１０６および符号化情報記録回路１０９に送信する。

シーン検出回路１０６は、受信した符号化情報を用いてシーンの変化点を含むフレームを検出する処理を行う。行った結果、シーン変化点が検出されたフレームであるかどうかを示すシーン区切り情報をフレーム毎に作成し、シーン分別回路１０７に送信する。また、このとき符号化情報もシーン分別回路１０７に送信する。

シーン分別回路１０７は、シーン検出回路１０６から受信したシーン区切り情報によりシーンの区切りを認識する。また、シーン検出回路１０６から受信した符号化特性の１シーン区間の平均値（以下、「シーン特性情報」と称する）を算出し、ジャンル／キーワード検索回路１０３から受信したジャンル情報ＩＤと合わせてデータベース管理回路１０８へ送信する。

データベース管理回路１０８は、シーン分別回路１０７から受信したジャンル情報ＩＤと、シーン特性情報とを基にシーン情報データベース１０４をアクセスしてシーンを識別するシーン識別信号を算出し、符号化情報記録回路１０９に送信する。

符号化情報記録回路１０９は、受信したシーン識別信号と符号化情報算出回路１０５から受信した符号化情報とをフレーム毎に合わせ、画像ビットストリームバッファ３０２から取得した画像ビットストリームとともに中間記録媒体１１０に送信する。

中間記録媒体１１０は、受信したシーン識別信号、符号化情報、および画像ビットストリームを記録する。

ジャンル予測回路１１１は、シーン検出回路１０６からシーン区切り情報を取得し、ジャンル情報未取得フラグが存在する場合は予測ジャンル情報を作成してシーン分別回路１０７に送信する。

次に、本実施形態における画像ビットストリーム変換装置の再符号化処理部１２の構成について図２を参照して説明する。

本実施形態における画像ビットストリーム変換装置の再符号化処理部１２は、復号装置３０と、再符号化制御パラメータ取得回路１１２と、再符号化制御パラメータ設定回路１１３と、画像入力端子２０１と、入力画像メモリ２０２と、２次元ブロックデータ変換回路２０３と、減算器２０４と、直交変換回路２０５と、量子化回路２０６と、符号化回路２０７と、符号化テーブル２０８と、マルチプレクサ２０９と、画像ビットストリームバッファ２１０と、記録媒体もしくは伝送路２１１と、逆量子化回路２１２と、逆直交変換回路２１３と、加算器２１４と、デブロック回路２１５と、参照画像メモリ２１６と、動きベクトル検出回路２１７と、動き補償予測回路２１８と、符号量制御回路２１９とを有する。このうち、復号画像３０および画像入力端子２０１以降に記載の構成要件は図１３および図１４に示す従来の画像符号化装置および復号装置と同様であるため、説明を省略する。

再符号化制御パラメータ取得回路１１２は、中間記録媒体１１０からシーン識別信号を取得し、このシーン識別信号を基にシーン情報データベース１０４をアクセスして再符号化制御パラメータ設定データを取得し、再符号化制御パラメータ設定回路１１３に送信する。

再符号化制御パラメータ設定回路１１３は、受信した再符号化制御パラメータ設定データを反映すべき処理モジュールに対して設定を行うように符号化シンタックス制御回路１１４に再符号化制御パラメータ設定データを送信する。

符号化シンタックス制御回路１１４は、受信した再符号化制御パラメータ設定データに応じて、制御する処理モジュールに再符号化制御パラメータ設定データを送信する。

〈画像ビットストリーム変換装置の動作〉
本発明の第１実施形態における画像ビットストリーム変換装置の動作について説明する。

図３は、本発明の第１実施形態における画像ビットストリーム変換装置全体の動作を示すフローチャートである。まず、画像ビットストリーム変換装置の復号処理部１１において画像ビットストリームが受信され、この受信された画像ビットストリームが復号される一方で記録媒体に記録される（Ｓ１）。次に、復号された画像ビットストリームから再符号化を制御するパラメータおよび目標符号量が設定される（Ｓ２）。記録された画像ビットストリームが、設定されたパラメータおよび目標符号量を基に符号化される（Ｓ３）。

以下、このステップＳ１〜ステップＳ３の動作について詳細に説明する。

まず、記録媒体もしくは伝送路３０１から画像ビットストリーム入力端子１０１に符号化された画像ビットストリームが入力される。次に、入力された画像ビットストリームからＥＰＧ情報が分離されて、この分離されたＥＰＧ情報が番組情報取得回路１０２に送信される。番組情報取得回路１０２で取得されるＥＰＧ情報の例として、デジタル放送で伝送されるＥＰＧ情報の大まかな内容を図４に示す。

そして、ＥＰＧ情報以外の画像ビットストリームは、画像ビットストリームバッファ３０２に送信される。この画像ビットストリームバッファ３０２に送信された画像ビットストリームの符号処理部１１内でのデータの流れについては従来の復号装置３０の場合と同様であるため説明を省略する。ただし、可変長復号回路３０３からはマクロブロック毎にマクロブロック復号に要したビット数と、量子化スケールと、動きベクトルの大きさを示す値と、復号されたＤＣＴ係数の輝度および色差のＤＣ成分が、符号化情報算出回路１０５に送信される。さらに可変長復号回路３０３からは、フレーム毎にフレームタイプが符号化情報算出回路１０５に送信される。

また、画像ビットストリームバッファ３０２で受信された画像ビットストリームは、中間記録媒体１１０に記録されるため、符号化情報記録回路１０９へも送信される。

次に、図４に示すＥＰＧ情報から番組情報取得回路１０２でジャンルを特定するための情報として符号化処理中の番組の「番組名」、「番組記述」、「ジャンル」、「番組詳細情報」が取得され、ジャンル／キーワード検索回路１０３に送信される。

ジャンル／キーワード検索回路１０３では、番組情報取得回路１０２から受信された情報のうち「ジャンル」からジャンル情報が作成される。また、ジャンル／キーワード検索回路１０３ではシーン情報データベース１０４からキーワード情報が取得され、番組情報取得回路１０２から受信された「番組名」「番組記述」「番組詳細情報」の情報内容が取得されたキーワード情報の中のキーワードに含まれているかどうか検索され、抽出される。

シーン情報データベース１０４に格納されているキーワード情報のデータ構成例を図５に示す。このキーワード情報は、メインジャンル情報およびこのメインジャンル情報を細分化するための番組詳細を示すキーワードとしてのサブジャンル情報と、このサブジャンル情報に対応するジャンル情報ＩＤとで構成されている。

次に、ジャンル／キーワード検索回路１０３で作成されたジャンル情報と、検索された結果抽出されたキーワード情報のジャンル情報ＩＤとが、シーン分別回路１０７に送信される。このとき、ＥＰＧ情報が取得できないなどの理由により、ジャンル／キーワード検索回路１０３でジャンル情報の取得およびキーワード情報からのジャンル情報ＩＤがともに取得不可能な場合は、ジャンル／キーワード検索回路１０３からシーン分別回路１０７にジャンル情報取得不可を示す情報が送信される。

一方、符号化情報算出回路１０５において、可変長復号回路３０３から取得されたマクロブロック（MB）復号に要したビット数MB_Bitused、量子化スケールMB_Qscal、動きベクトル距離MV、および復号されたＤＣＴ係数の輝度および色差のＤＣ成分MB_luma、MB_cb、MB_crを用いて、フレーム毎の空間的または時間的な相関に関する符号化情報や輝度および色差レベルに関する符号化情報が算出される。また、可変長復号回路３０３からフレーム毎のフレームタイプが取得される。

符号化情報算出回路１０５における符号化情報の算出について説明する。算出される符号化特性情報とは、具体的には、フレーム総符号量Bitused、フレーム平均量子化スケールAvgQ、動きベクトル距離のフレーム総和SumMV、フレーム平均輝度信号LDC、フレーム平均色差信号CBDC、CRDC、である。

フレーム総符号量Bitusedは、下記式（５）で算出される。

フレーム平均量子化スケールAvgQは、下記式（６）で算出される。

動きベクトル距離のフレーム総和SumMVは、下記式（７）で算出される。

フレーム平均輝度信号LDC（以下、「フレーム輝度ＤＣ」と称する）は、輝度信号のレベルをlumaとすると、下記式（８）で算出される。

フレーム平均色差情報CBDCおよびCRDCは、色差信号のレベルをcbおよびcrとすると、下記式（９）および（１０）で算出される。

符号化情報算出回路１０５で上記のように算出された符号化情報は、シーン検出回路１０６に送信される。シーン検出回路１０６では、受信したこれらの符号化情報を用いてシーンが切り替わるシーン変化点を検出する処理が行われる。

この検出処理を図６を参照して説明する。この処理では、符号化情報の中の、フレーム輝度ＤＣ成分、フレーム総符号量Bitused、フレーム平均量子化スケールAgvQ、およびフレームタイプを用いて処理が行われる。具体的には、Ｉフレームで算出されるフレーム輝度ＤＣ成分と、Ｐフレームでフレーム総符号量Bitusedおよびフレーム平均量子化スケールAgvQから算出される複雑度を示すComplexが算出され、これらの変化の観測によりシーン変化点が検出される。以下の、J、K、M、およびLは変数である。

まず、フレームタイプがＩフレームであるかどうかが判断される（Ｓ１１）。判断の結果Ｉフレームであれば（Ｓ１１の「Yes」）、フレーム輝度ＤＣ成分の履歴バッファであるI_LDCに、入力されたフレーム輝度ＤＣ成分が格納される。ここでＩフレーム間隔のフレーム数をMとしたとき、フレームJ=0〜M-1の、フレーム輝度ＤＣ成分の履歴バッファI_LDCの値は以前のＩフレームの算出結果より残っているため、フレームJ=0〜M-1であれば（Ｓ１２の「Yes」）、下記式（１１）の処理が行われる（Ｓ１３）。

ステップＳ１２においてフレームJ=Mになると（Ｓ１２の「No」）、フレーム輝度ＤＣ成分の履歴バッファであるI_LDCに、入力されたフレーム輝度ＤＣ成分が下記式（１２）により格納される（Ｓ１４）。

次に、Ｉフレーム間におけるI_LDCの差分絶対値が算出される。ここで、フレームJ=1〜M-2の差分絶対値は以前の算出結果より残っているため、フレームJ=1〜M-2であれば（Ｓ１５の「Yes」）、下記式（１３）の処理が行われる（Ｓ１６）。

ステップＳ１５において、フレームJ=M-1になると（Ｓ１５の「No」）、Ｉフレーム間におけるI_LDCの差分絶対値が下記式（１４）により算出される（Ｓ１７）。

次に、フレームJ（1≦J≦M-2）がシーン変化点であるかどうかの判定のためにフレームI=J-K（0≦K≦J）〜M-2までのフレーム輝度ＤＣの差分絶対値総和とフレームJの差分絶対値とが下記式（１５）により比較される（Ｓ１８）。比較された結果、式（１５）が満たされる場合（Ｓ１８の「Yes」）は仮シーン変化点が検出されたと判断され、フレームJが仮シーン変化点ポイントとして出力される（Ｓ１９）。

ここで、通常閾値は０．５より大きく１に近い値となる。式（１５）の条件を満たさない場合（Ｓ１８の「No」）は、シーン変化点は未検出である旨の情報が出力される（Ｓ２０）。

一方、ステップＳ１１において、フレームタイプがＩフレームではない場合（Ｓ１１の「No」）、Ｐフレームであるかどうかが判断される（Ｓ２１）。判断の結果Ｐフレームであれば（Ｓ２１の「Yes」）、フレーム総符号量BitusedおよびAvgQによりＰフレームの複雑度を示すパラメータComplexが算出され、履歴バッファであるPcomplexに格納される。ここでＰフレーム間隔のフレーム数をNとしたとき、フレームL=0〜N-1のＰフレームの複雑度を示すパラメータの履歴バッファPcomplexの値は以前のＰフレームの算出結果より残っているため、フレームL=0〜N-1であれば（Ｓ２２の「Yes」）、下記式（１６）の処理が行われる（Ｓ２３）。

ステップＳ２２においてフレームL=Nになると（Ｓ２２の「No」）、フレーム総符号量BitusedおよびAvgQによりＰフレームの複雑度を示すパラメータComplexが算出され、下記式（１７）により履歴バッファであるPcomplexに格納される（Ｓ２４）。

次に、フレームL（1≦L≦N-2）がシーン変化点であるかどうかの判定のためにI=L-K（0≦K≦L）〜N-2までの複雑度を示すパラメータの総和とフレームLの複雑度を示すパラメータが下記式（１８）により比較される（Ｓ２５）。比較された結果、式（１８）が満たされる場合（Ｓ２５の「Yes」）はシーン変化点が検出されたと判断され、フレームLがシーン変化点ポイントとして出力される（Ｓ２６）。

ここで、通常閾値は０．５より大きく１に近い値となる。式（１８）の条件を満たさない場合（Ｓ２５の「No」）は、シーン変化点は未検出である旨の情報が出力される（Ｓ２０）。

また、Ｐフレーム間隔でシーン変化点が検出されるとともに直前のＩフレーム間隔で仮シーン変化点が検出されているときは、実際はＰフレーム間隔において検出されたフレームLが変化点であったと判断され、直前のＩフレームの仮シーン変化点を無効とするフラグが出力される（Ｓ２７）。

また、ステップＳ２１においてＰフレームではないと判断されたとき（Ｓ２１の「No」）は検出処理は行われず、処理は終了する。

シーン検出回路１０６では、上記の処理結果から、Ｉ／Ｐフレーム毎にシーン変化点が検出されたかどうかを示すフラグが作成され、シーン分別回路１０７に送信される。また、同様にシーン検出回路１０６からシーン分別回路１０７に、符号化情報も送信される。

シーン分別回路１０７では、シーン検出回路１０６から受信したシーン区切り情報によってシーンの区切りが認識される。

またシーン分別回路１０７では、シーン検出回路１０６からフレーム毎の符号化情報が受信され、ジャンル／キーワード検索回路１０３からジャンル情報ＩＤが受信される。この符号化情報から、１つのシーンが続いている区間の平均値（以下、「シーン特性情報」と称する）が算出され、ジャンル／キーワード検索回路１０３から受信されたジャンル情報ＩＤと合わせられてデータベース管理回路１０８へ送信される。

このシーン特性情報は、シーン開始後のフレーム数をＰ、Ｉフレームの数をＲとすると、下記式（１９）〜（２３）で算出される。

上記により算出されたシーン特性情報は、シーンが続いていると判断されている間は新しく入力されるフレームの符号化情報によって補正されていき、シーンの区切りでリセットされる。

データベース管理回路１０８において、シーン分別回路１０７から受信したジャンル情報ＩＤとシーン特性情報とを基にシーンの区分け処理が行われる。シーンの区分け処理の動作について、図７を参照して説明する。図７はシーンの区分け処理が行われるときの動作を示すアルゴリズムのフローチャートであり、Rは変数である。

まず、データベース管理回路１０８から、ジャンル情報ＩＤを基にシーン特性情報の区分けを行うための閾値が、シーン情報データベース１０４から読み出される。この閾値は、N種類に区分けを行う場合、(N-1)種類がジャンル情報ＩＤ毎にシーン情報データベース１０４に格納されている。またこの閾値は、シーン特性情報のAvgFAct、AvgLDC、AvgCBDC、AvgCRDC、AvgSumMVの５種類に対して作成されており、各々の情報が該当する閾値と比較され区分けが行われる。本実施形態においては、AvgCBDC、AvgCRDC、AvgSumMVに関しては２種類、AvgFAct、AvgLDCに関しては４種類に区分けが行われる。

これらの値うち、最初にAvgFActに関する区分けが行われる。その動作は、まずデータベース管理回路１０８からシーン情報データベース１０４にアクセスされ、ジャンル情報ＩＤを基にAvgFActに関する３種類の閾値ε(R)(R=0〜2)が読み込まれる（Ｓ３１）。そして、R=0におけるAvgFActとε(R)の比較が行われる（Ｓ３２、Ｓ３３）。その結果、AvgFAct＜ε(R)の場合には（Ｓ３３の「Yes」）、「R」が出力される（Ｓ３４）。この処理がR=2となるまで繰り返し処理が行われ（Ｓ３５、Ｓ３６）、最終的にAvgFAct=ε(2)の場合（Ｓ3５の「Yes」）には「3」が出力される（Ｓ３７）。

このAvgFActに関する区分け処理と同様に、AvgLDC、AvgCBDC、AvgCRDC、AvgSumMVに関しても区分け処理が行われる（Ｓ３８〜Ｓ４１）。その結果、出力された値が束ねられ、計７ビットの信号（以下、「シーン識別信号」と称する）が作成される（Ｓ４２）。

このデータベース管理回路１０８で作成されたシーン識別信号は、符号化情報記録回路１０９に送信される（Ｓ４３）。また、データベース管理回路１０８では、シーン変化点が検出されたと判断したときは（Ｓ４４の「Yes」）、シーン変化前の最後のジャンル情報ＩＤとシーン識別信号で管理されているデータの出現頻度回数Timesを１増加するためのデータがシーン情報データベース１０４に送信され、記録される（Ｓ４５、Ｓ４６）。

符号化情報記録回路１０９では、データベース管理回路１０９から受信したシーン識別信号と、符号化情報算出回路１０５から受信した符号化情報と、画像ビットストリームバッファ３０２から受信した画像ビットストリームとが合わせられ、中間記録媒体１１０に記録される。

上記のように記録されたシーン識別信号と符号化情報と画像ビットストリームとが用いられて再符号化される際は、再符号化を行うための符号化制御パラメータおよび目標符号量を算出する処理が行われる。

再符号化を行うための符号化制御パラメータおよび目標符号量の算出処理について説明する。

まず、中間記録媒体１１０に記録されているシーン識別信号によって、再符号化処理を制御するパラメータとしてシーン情報データベース１０４に格納されているテーブルのデータ（以下、「再符号化制御パラメータ設定データ」と称する）が取得され、再符号化制御パラメータ取得回路１１２に送信される。

この再符号化制御パラメータ設定データの構成例を図８に示す。再符号化制御パラメータ取得回路１１２からシーン情報データベース１０４のこのテーブルがアクセスされることにより、動きベクトルの検出範囲を示すMVMax、参照フレームを挿入する間隔を指定する値を示すSyntaxM、目標符号量のフレームタイプ別の重み付け乗数を示すA(T)、シーンに対しての目標符号量に対する複雑度に依存しない重み付け値RateWeight、輝度信号用量子化マトリクス値であるQmatL、色差信号用量子化マトリクス値であるQmatCの再符号化制御パラメータ設定データが取得される。

そして、これらのデータを用いてフレーム毎のフレームタイプおよび目標符号量が算出される。フレームタイプは、Ｉフレームが保存された状態においてSyntaxMにて取得された値に応じてフレームタイプが再設定されることにより生成される。目標符号量は、入力された画像ビットストリームのシンタックスと、シーン情報データベース１０４から取得されたSyntaxの値とが異なる場合には算出されず、再符号化の内部制御に任せることを示すフラグをセットしてシーン符号化レートが算出される。入力された画像ビットストリームのシンタックスと、シーン情報データベース１０４から取得されたSyntaxの値とが一致する場合には、シーン符号化レートおよび各フレームの目標符号量が算出される。

このシーン符号化レートは、シーン特性情報のAvgFActと再符号化制御パラメータ設定データのRateWeightとが掛け合わせられた値がシーン全体のフレームで積算されることにより算出される。そのシーン特性情報のAvgFActと算出されたシーン全体の積算値の比率がシーン全体の目標符号量に掛け合わせられることにより、各フレームの目標符号量が算出される。この基本的な処理は、特許文献１に記載のアルゴリズムにより実現可能であるが、符号化レートや目標符号量を算出するためのパラメータの構成要素としてシーンに対しての目標符号量に対する重み付け値であるRateWeightが追加されている部分が相違点である。

上記の符号化制御パラメータの取得処理においてジャンル情報として「スポーツ／サッカー」が選択されている場合について説明する。

ジャンル情報として「スポーツ／サッカー」が選択されている場合には、検出されたシーン毎にシーン特性情報のAvgLDC、AvgCBDC、AvgCRDCに特徴付けられた芝生の認識が行われ、AvgFActの大小によって画面のズーム度合いが測定される。芝生が映されていると認識されていない状態でAvgFActが大きい場合には、観客席が映されていると認識される。

芝生が映されていると認識されている場合には、番組での注目点は試合の選手の動きである。このとき遠景で映されている場合には、動きベクトルの検出範囲MVMaxを水平方向に大きく取るように設定されることにより画面上で小さい選手の移動が正確に捉えられる。また、近景で映されている場合には、瞬間的な早い動きに対応するように動きベクトルの検出範囲MVMaxは水平・垂直に同じように与えられ、シーン符号化レートが大きく設定されて瞬間的な変化に備えられ、さらに参照フレームを挿入する間隔SyntaxMが短く設定されることにより予測効率が向上される。

一方、観客席が映されていると認識された場合は、動きベクトルの検出範囲MVMaxは小さめに設定されるとともに、シーン符号化レートが小さく設定され瞬間的に大きな符号量が与えられないようにする。さらに、Ｉピクチャの割当が増やされ、高解像度の観客席において動きのスムーズさよりもブロックノイズ等の符号化ノイズが出現しにくいように制御される。

シーン特性情報において、上記と同じように芝生が映されていると認識された場合でも、例えばキーワード情報として「音楽／ライブ」が選択されておりAvgFActが高い場合には、上記の観客席の場合と同じ制御が行われる。このとき、観客席の重要度は低いため、高域の輝度信号用量子化マトリクス値QmatL、および色差信号用量子化マトリクス値QmatCで制御され、粗い量子化処理が許可される。

このような再符号化制御パラメータ設定データが、シーン識別信号の特徴ある推移から予測できる多種のシーンに対して設定されシーン情報データベースに格納されている。

上記のような処理により符号化制御パラメータの設定および目標符号量の算出が行われた後、再符号化処理が行われる。再符号化時の動作について図２を参照して説明する。

まず、中間記録媒体１１０に格納された画像ビットストリームが復号装置３０により復号されて画像入力端子２０１から入力される。入力された画像ビットストリームは、基本的な符号化処理に関しては図１３に示す従来の画像符号化装置２０と同様の処理が行われるが、その中の量子化回路２０６、逆量子化回路２１２、符号化回路２１４、動きベクトル検出回路２１７、動き補償予測回路２１８、および符号化制御回路２１９に関しては、再符号化制御パラメータ設定回路１１３から送信される値により回路動作に関わるパラメータが制御される。

また、再符号化制御パラメータ取得回路１１２で受信された再符号化制御パラメータ設定データは、フレーム毎に再符号化制御パラメータ設定回路１１３に送信される。

再符号化制御パラメータ設定回路１１３からは、フレームタイプ、MVMax、SyntaxM、A(T)、シーン符号化レート、QmatL、QmatCがそれぞれ反映すべきモジュールに対して設定され、符号化制御が行われる。具体的には、MVMaxに関しては動きベクトル検出回路２１７に、SyntaxMとフレームタイプは符号化回路２０７、動きベクトル検出回路２１７、動き補償予測回路２１８、および符号量制御回路２１９に、A(T)、シーン符号化レートに関しては符号量制御回路２１９に、QmatL、QmatCに関しては量子化回路２０６、符号化回路２０７、逆量子化回路２１２に送信され、設定される。

このように本実施形態によれば、再符号化制御パラメータ設定データがシーン識別信号の特徴ある推移から予測できる多種のシーンに対して設定されているためシーンが切り替わったときに好適な符号化制御に切り替えることが可能になり、従来は困難であったシーン毎に適応したダイナミックな制御が実現可能である。

以上は番組情報取得回路１０２においてＥＰＧ情報が取得できた場合についての画像ビットストリーム変換装置の動作について説明したが、次にＥＰＧ情報が取得できなかった場合について説明する。

符号化対象となる画像ビットストリームがＴＶ番組ではなくチューナー以外から入力された場合などは、ＥＰＧ情報から作成されるジャンル情報およびキーワード情報の取得が不可能である。このような場合には、ジャンル情報の予測処理が行われる。

ジャンル情報の予測処理について図９を参照して説明する。図９は、ジャンル情報の予測処理の動作のアルゴリズムを示すフローチャートであり、Hは変数である。

まず、ジャンル／キーワード検索回路１０３では、番組情報取得回路１０２からＥＰＧ情報に含まれる情報が取得されなかったときはジャンル予測回路１１１に対して情報が取得できなかったことを知らせるジャンル情報未取得フラグが送信される。

ジャンル予測回路１１１では、シーン検出回路１０６からシーン区切り情報存在する場合はシーン検出回路１０６からシーン区切り情報が受信される（Ｓ５１）。このとき、ジャンル予測回路１１１にジャンル情報未取得フラグが存在している場合は（Ｓ５２の「Yes」）、ジャンル予測回路１１１からデータベース管理回路１０８に対してジャンル取得要求が送信される（Ｓ５３）。

データベース管理回路１０８では、シーン分別回路１０７から取得したシーン特性情報により全てのジャンルにおけるシーン識別信号が生成される。そして、生成されたそれぞれのシーン識別信号に属する各ジャンル情報ＩＤの出現頻度が取得される（Ｓ５４、Ｓ５５、Ｓ５６）。次に取得されたジャンル情報ＩＤの出現頻度が比較され（Ｓ５７）、最も多く検出されたジャンル情報ＩＤとその出現頻度がジャンル予測回路１１１に送信される（Ｓ５８、Ｓ５５の「Yes」）。

ジャンル予測回路１１１では、受信した出現頻度がΛ以上であった場合（Ｓ５９）にそのジャンル情報ＩＤが有効であると判断され、このジャンル情報ＩＤが予測ジャンル情報としてシーン分別回路１０７に送信される（Ｓ６０）。

シーン分別回路１０７において受信された予測ジャンル情報はデータベース管理回路１０８に送信され、この予測ジャンル情報によって符号化制御パラメータが補正される。

このように本実施形態によれば、ジャンル情報ＩＤの出現頻度が比較されることによって、ＥＰＧ情報の取得が不可能であっても、該当するシーン識別信号に属するジャンルの出現確率からジャンルの予測を行うことが可能であるとともに、ユーザのジャンル嗜好が選択判断に加えられ、有効な予測制御が可能になる。

本実施形態においては、シーン毎の符号化情報の平均値をシーン特性情報として算出したが、この算出方法には限定されず、シーン内の符号化情報のヒストグラムを取ってその代表値をシーン特性情報として算出してもよい。

また、本実施形態においては、５種類の符号化制御パラメータを使用したが、大きな特徴のあるシーンでは少ない符号化制御パラメータでも識別できるため、符号化時に考慮したいシーンに特化した形で識別するための符号化制御パラメータを管理することも可能である。その場合には、必要な符号化制御が実現される状態で、データベースに蓄積されるデータ量を削減することができる。またそれに伴い、算出する符号化情報およびシーン特性情報の種類も削減することができる。

また、本実施形態においては、画像ビットストリーム変換装置として回路構成のブロック図を用いて説明したが、これらの回路は同じ処理アルゴリズムを用いてコンピュータ等のソフトウェア上で処理される場合にも同様の効果が得られる。

また、このコンピュータ等のソフトウェア上で処理される場合を含め、復号処理部および再符号化処理部に関して共通の処理を行う部分の共有化は可能である。

また、本実施形態においてはＭＰＥＧ２規格の画像ビットストリーム変換記録装置について説明したが、同様に画像信号の隣接画素間（空間方向）の相関および、隣接フレーム間もしくは隣接フィールド間（時間方向）の相関を利用して情報量を圧縮するＭＰＥＧ４ＡＳＰや、ＭＰＥＧ４ＡＶＣを用いた符号化記録装置においても適用可能であり、同様の効果が得られる。ＭＰＥＧ４ＡＶＣの場合には、量子化の細かさを輝度信号と色差信号とで異なる設定で符号化することができるため、符号化制御パラメータとして輝度信号と色差信号の量子化の比率を制御する値を用意することにより効果的な制御をすることが可能になる。

本発明の第１実施形態における画像ビットストリーム変換装置の復号処理部を示すブロック図である。本発明の第１実施形態における画像ビットストリーム変換装置の再符号化処理部を示すブロック図である。本発明の第１実施形態における画像ビットストリーム変換装置の動作を示すフローチャートである。本発明の第１実施形態における画像ビットストリーム変換装置で利用するＥＰＧ情報として伝送される番組情報の表示例を示す説明図である。本発明の第１実施形態における画像ビットストリーム変換装置で利用するキーワード情報のデータ構成例を示す説明図である。本発明の第１実施形態における画像ビットストリーム変換装置においてシーン変化点が検出される動作のアルゴリズムを示すフローチャートである。本発明の第１実施形態における画像ビットストリーム変換装置において再符号化制御パラメータ設定データが取得される動作のアルゴリズムを示すフローチャートである。本発明の第１実施形態における画像ビットストリーム変換装置のシーン情報データベースに格納されている再符号化制御パラメータ設定データのテーブル内容を示す説明図である。本発明の第１実施形態における画像ビットストリーム変換装置において予測ジャンル情報が取得される動作のアルゴリズムを示すフローチャートである。従来のＭＰＥＧ２画像符号化で用いられる符号化体系を示す模式図である。従来のＭＰＥＧ２画像符号化で用いられる符号化時の符号化順への並べ替えのタイミングを示す模式図である。従来のＭＰＥＧ２画像符号化で用いられる復号時のストリーム到達順から復号画像出力順への並べ替えのタイミングを示す模式図である。従来のＭＰＥＧ２画像符号化記録装置を示すブロック図である。従来のＭＰＥＧ２画像復号装置を示すブロック図である。

符号の説明

１１…復号処理部
１２…再符号化処理部
２０…画像符号化記録装置
３０…復号装置
１０１…ＥＰＧ情報入力端子
１０２…番組情報取得回路
１０３…ジャンル／キーワード検索回路
１０４…シーン情報データベース
１０５…符号化情報算出回路
１０６…シーン検出回路
１０７…シーン分別回路
１０８…データベース管理回路
１０９…符号化情報記録回路
１１０…中間記録媒体
１１１…ジャンル予測回路
２０１…画像入力端子
２０２…入力画像メモリ
２０３…２次元ブロックデータ変換回路
２０４…減算器
２０５…直交変換回路
２０６…量子化回路
２０７…符号化回路
２０８…符号化テーブル
２０９…マルチプレクサ
２１０…画像ビットストリームバッファ
２１１…記録媒体もしくは伝送路
２１２…逆量子化回路
２１３…逆直交変換回路
２１４…加算器
２１５…デブロック回路
２１６…参照画像メモリ
２１７…動きベクトル検出回路
２１８…補償予測回路
２１９…符号量制御回路
３０１…記録媒体もしくは伝送路
３０２…画像ビットストリームバッファ
３０３…可変長復号回路
３０４…符号化テーブル
３０５…逆量子化回路
３０６…逆直交変換回路
３０７…加算器
３０８…デブロック回路
３０９…参照画像メモリ
３１０…動き補償予測回路
３１１…出力フレームメモリ
３１２…画像出力端子

Claims

映像情報が符号化処理された画像ビットストリームを入力して復号し、この復号された画像ビットストリームから符号化制御パラメータを算出し、この算出された符号化制御パラメータを用いて前記復号された画像ビットストリームを再符号化する画像ビットストリーム変換装置において、
前記入力された画像ビットストリームに含まれている電子番組ガイド情報を基に、または前記復号された画像ビットストリームから算出されるジャンル予測情報を基に、前記映像のジャンルに関する情報を取得するジャンル情報取得手段と、
前記復号された画像ビットストリームから、前記映像情報の空間的な相関に関する情報と、時間的な相関に関する情報と、輝度レベルに関する情報と、色差レベルに関する情報とのうち少なくとも１つを符号化情報として算出する符号化情報算出手段と、
前記算出された符号化情報を基に、前記復号された画像ビットストリームから前記映像のシーンが変化するシーン変化点に関するシーン区切り情報を検出するシーン変化点検出手段と、
前記検出されたシーン区切り情報により前記復号された画像ビットストリームをシーン別に区切り、区切られたシーンごとの前記符号化情報に基づくシーン特性情報を算出するシーン分別手段と、
前記ジャンルに関する情報と前記シーン特性情報とから算出されたシーン識別信号と、前記符号化情報とを基に前記符号化制御パラメータを算出する再符号化制御パラメータ取得手段と、
前記区切られたシーンごとに前記算出された符号化制御パラメータを設定する再符号化制御パラメータ設定手段と、
前記区切られたシーンごとに設定された前記符号化制御パラメータに従って、前記復号された前記画像ビットストリームを前記区切られたシーンごとに再符号化処理を行う再符号化手段と、
を備えることを特徴とする画像ビットストリーム変換装置。
前記符号化情報算出手段は、前記符号化情報として、
前記復号された画像ビットストリームのフレームごとに算出される平均輝度レベル値と、
前記復号された画像ビットストリームのフレームごとに算出される平均色差レベル値と、
前記復号された画像ビットストリームのフレームごとに算出される総符号量と、
前記復号された画像ビットストリームのフレームごとに算出される平均量子化スケールと、
前記復号された画像ビットストリームのフレームごとに算出される動きベクトル距離の総和値と、
のうち少なくとも１つの値を算出する
ことを特徴とする請求項１に記載の画像ビットストリーム変換装置。
前記シーン分別手段において、前記シーン特性情報は、
前記復号された画像ビットストリームのフレームごとに算出される平均輝度レベル値と、
前記復号された画像ビットストリームのフレームごとに算出される平均色差レベル値と、
前記復号された画像ビットストリームのフレームごとに算出される総符号量と、
前記復号された画像ビットストリームのフレームごとに算出される平均量子化スケールと、
前記復号された画像ビットストリームのフレームごとに算出される動きベクトル距離の総和値と、
のうち少なくとも１つの値が用いられて算出される
ことを特徴する請求項１または２に記載の画像ビットストリーム変換装置。
前記記録手段は、
前記復号された画像ビットストリームのフレームごとに算出される平均輝度レベル値と、
前記復号された画像ビットストリームのフレームごとに算出される平均色差レベル値と、
前記復号された画像ビットストリームのフレームごとに算出される総符号量と、
前記復号された画像ビットストリームのフレームごとに算出される平均量子化スケールと、
前記復号された画像ビットストリームのフレームごとに算出される動きベクトル距離の総和値と、
のうち少なくとも１つの値から算出された前記シーン識別信号を記録する
ことを特徴する請求項１〜３の何れか１項に記載の画像ビットストリーム変換装置。
前記再符号化制御パラメータ取得手段は、前記再符号化制御パラメータとして、
動きベクトルの検出範囲を示す値と、
前記動きベクトルを検出する際に参照フレームとなるフレームを挿入する間隔を指定する値と、
フレームタイプ別の目標とする符号量に対して重み付けを行う値と、
シーンごとの目標とする符号量に対して重み付けを行う値と、
輝度信号を量子化するための量子化マトリクス値と、
色差信号を量子化するための量子化マトリクス値と、
のうち少なくとも１つの値を算出する
ことを特徴とする請求項１〜４の何れか１項に記載の画像ビットストリーム変換装置。
前記ジャンル情報取得手段において取得されるジャンルに関する情報は、
前記画像ビットストリームに含まれる電子番組ガイド情報から取得したジャンル情報と、
予め設定されたキーワードで前記電子番組ガイド情報から取得したテキストデータを検索処理することにより取得される、前記キーワードに関連付けられたジャンル情報ＩＤと、
を含むことを特徴とする請求項１〜５の何れか１項に記載の画像ビットストリーム変換装置。
前記シーン識別信号の出現頻度を累積加算して記録する頻度記録手段を有し、
前記ジャンル情報取得手段は、前記電子番組ガイド情報から前記映像のジャンルに関する情報を取得できなかったときは、前記シーン分別手段から取得したシーン特性情報を基に全てのジャンルに対するシーン識別信号をそれぞれ算出し、この算出されたシーン識別信号の中で前記累積加算された出現頻度が最も高いシーン識別信号を選択して前記ジャンル予測情報を算出する
ことを特徴とする請求項１〜５の何れか１項に記載の画像ビットストリーム変換装置。