上述したように、異なるデータフォーマットのディジタル映像機器間をディジタル接続するために、符号化方式の変換を含むデータフォーマットの変換を行う場合、従来の符号化データ(ディジタルデータ)レベルで変換を行う方法では、特殊再生、エフェクト処理、映像ミキシングといった処理の自由度が小さいという問題点があり、また符号化データを復号化してベースバンド信号レベルで特殊再生、エフェクト処理、映像ミキシングなどの処理を行って所望の符号化方式で再符号化する方法は、画質の劣化やディジタル映像機器のコスト増を招くという問題点があった。
本発明は、ベースバンド信号レベルでの処理により特殊再生その他の処理の自由度を持ち、且つ符号化方式を含むデータフォーマット変換による画質劣化を抑え、さらに付加的な再符号化のためのコストを大幅に低下させることが可能な動画像再符号化装置を提供することを目的とする。
上記課題を解決するため、本発明は符号化された動画像データを復号化して得られるベースバンド信号である動画像信号に対して、早送り、スロー、ポーズ等の特殊再生処理、副映像或いはGUIのオーバレイ等の処理を施し、さらに復号時に動画像符号化データから抽出された各種符号化パラメータの情報、特殊再生およびオーバレイ処理等の情報を基に最適な符号化パラメータの決定を行い、低コストで高画質な再符号化を実現可能としたものである。
すなわち、本発明に係る第1の動画像再符号化装置は、動画像信号を動き補償予測符号化して得られた第1の符号化データを復号化して動画像信号を得る復号化手段と、前記第1の符号化データから、少なくとも動きベクトル、符号化モードおよび量子化ステップの情報を含む符号化パラメータを抽出する符号化パラメータ抽出手段と、前記復号化手段により得られた動画像信号を前記符号化パラメータ抽出手段により抽出された符号化パラメータに従って再符号化して第2の符号化データを得る再符号化手段とを有し、前記再符号化手段は、(a)前記抽出された符号化パラメータと同一の符号化パラメータを用いた符号化、(b)既定の動きベクトルを用いた動き補償予測符号化、および(c)イントラ符号化のいずれかの一つの符号化モードをマクロブロック毎に選択する符号化モード選択手段を有することを特徴とする。
この第1の動画像再符号化装置では、再符号化において通常の符号化装置では多くのリソースを必要とする動きベクトル検出回路が不要となり、大幅なコスト低下を実現することが可能となる。
また、復号化により得られた動画像信号である映像信号に何ら処理が加えられていない領域では、再符号化の符号化モードとして基本的に(a)が自動的に選択され、第1の符号化データと全ての符号化パラメータを一致させることによって、再符号化に伴う画質劣化を最小限に抑えることが可能となる。一方、映像信号に何らかの処理が施された領域では、再符号化の符号化モードとして(b)の既定の動きベクトルを用いた予測符号化か、或いは(c)のフレーム内符号化が選択される場合がある。映像信号に対する処理内容に応じて、既定の動きベクトルの値を設定することにより、動きベクトル検出回路を必要とすることなく符号化効率の高い予測符号化を行うことが可能となる。
本発明に係る第2の動画像再符号化装置は、前記復号化手段により得られた動画像信号の映像フレーム或いは映像フィールドに対応して副映像信号或いはGUI(Graphical User Interface)画像信号を生成する手段と、前記映像フレーム或いは映像フィールドに対して前記副映像信号或いは前記GUI画像信号のオーバレイ処理を順次施す手段とをさらに有し、前記再符号化手段は、前記符号化パラメータ抽出手段により抽出された符号化パラメータを一時記憶する記憶手段を有し、前記オーバレイ処理が施された映像フレーム或いは映像フィールドを該記憶手段に記憶された前記符号化パラメータを用いて再符号化することを特徴とする。
MPEG2等の動画像符号化では、フレーム間の前方および後方予測が存在するため、符号化および復号化のフレーム順序と、表示のフレーム順序が一般に一致しない。これらのフレーム順序の違いは、符号化装置および復号化装置それぞれでのフレームの並べ替え処理により吸収される。グラフィックスオーバレイ等を表示順序で行うシステムでは、復号化のタイミングで再符号化することが困難となる。この場合、再符号化は復号化およびグラフィックオーバレイ処理後に行うため、一定の復号化から再符号化までの間に所定の遅延が発生する。しかし、抽出した符号化パラメータを一時記憶して、抽出した符号化パラメータも同様に遅延させることにより、第1の符号化データと同一の符号化パラメータを用いた再符号化が可能となる。
本発明に係る第3の動画像再符号化装置は、第1の動画像再符号化装置において、前記復号化手段により得られた動画像信号の映像フレーム或いは映像フィールドの復号化順序に対応して副映像信号或いはGUI画像信号を生成する手段と、前記映像フレーム或いは映像フィールドに対して前記副映像信号或いは前記GUI画像信号のオーバレイ処理を順次施す手段とをさらに有し、前記再符号化手段は、前記オーバレイ処理が施された映像フレーム或いは映像フィールドを前記復号化順序に従って再符号化することを特徴とする。
上述したように、MPEG2等の符号化と表示のフレーム順の違いのため、復号化および再符号化でフレーム並べ替えによる遅延が発生し、また再符号化のために通常の符号化と同様のフレーム並べ替えのためのフレームメモリを必要とする。これに対し、本発明に係る第3の動画像再符号化装置では、復号化される順序で、復号化とほぼ同時に副映像やGUIのオーバレイ処理を行い、さらに再符号化処理を復号化およびオーバレイ処理と同時に行うことが可能であるため、フレーム並べ替えに伴う遅延量を最小化することが可能となり、また、再符号化手段でのフレーム並べ替えのためのメモリを必要としない構成とすることが可能となる。再符号化手段では、予測符号化のための参照画像用のフレームメモリだけを持てばよいことになる。
本発明に係る第4の動画像再符号化装置は、上述した第1乃至第3の動画像再符号化装置において、前記符号化パラメータ抽出手段が前記第1の符号化データから前記符号化パラメータとしてさらにフレーム/フィールド適応直交変換タイプを抽出し、前記再符号化手段がフレーム/フィールド適応直交変換手段を有し、前記符号化モード選択手段により(a)前記符号化パラメータと同一の符号化パラメータを用いた符号化モードが選択されたマクロブロックについては前記第1の符号化データから抽出されたフレーム/フィールド適応直交変換タイプを選択し、前記符号化モード選択手段により(b)既定の動きベクトルを用いた動き補償予測符号化、および(c)イントラ符号化のいずれかの符号化モードが選択されたマクロブロックについては最適なフレーム/フィールド適応直交変換タイプを選択して、前記フレーム/フィールド適応直交変換手段によりそれぞれ直交変換を施すことを特徴とする。
上述したように、映像信号に何ら処理が加えられていない領域では、第1の符号化データと全ての符号化パラメータを一致させることにより、再符号化に伴う画質劣化を最小限に抑えることが可能となる。しかし、映像信号に特殊再生やオーバレイ等の処理を施された部分では、必ずしも第1の符号化データと全ての符号化パラメータを一致させることが、最適ではない。このような部分は、自動的に(b)の既定の動きベクトルによる予測符号化、または(c)のイントラ符号化が選択される頻度が高くなる。従って、(b)または(c)が選択されたマクロブロックでは、フィールド/フレーム適応直交変換(MPEG2等ではDCT(離散コサイン変換)について、最適なタイプの再選択を行い、選択されたタイプでの符号化を行うことで、符号化効率を向上させることが可能となる。
本発明に係る第5の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、特に(b)の既定の動きベクトルがゼロベクトルであることを特徴としている。
早送り、スロー、こま送りといった特殊再生では、同一フレームの映像が複数回の表示されることがあり、また字幕等の副映像の表示では、連続する数フレーム間に渡って画面内の同一の位置に副映像が表示される場合が多い。いずれもゼロベクトルを用いた動き補償を用いることで、動きベクトル検出回路が無くとも効率的な予測符号化を実現することが可能となる。
本発明に係る第6の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、特に(b)の既定の動きベクトルが前記副映像信号或いは前記GUI画像の表示位置およびその動き量から決定されることを特徴とする。
映像信号にオーバレイされる高度な副映像やGUI画像では、静止画像を映像フレーム内で時間的に移動さすることが可能な場合がある。第6の動画像再符号化装置では、オーバレイされる領域のマクロブロック位置に応じてオーバレイされる画像の動き量から最適な動きベクトルを算出することが可能となり、(b)の既定の動きベクトルの値に最適な動きベクトル値に設定させることにより、符号化効率を向上させることが可能となる。
本発明に係る第7の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、前記符号化モード選択手段が前記副映像信号或いは前記GUI画像信号の表示位置およびその動き量、前記復号化手段により得られた動画像信号の各マクロブロックに対する面積比およびミキシング比率の少なくとも一つを用いて前記符号化モードの選択を行うことを特徴とする。
第1乃至第4の動画像再符号化装置では、(a)前記符号化パラメータと同一の符号化パラメータを用いた符号化、(b)既定の動きベクトルを用いた動き補償予測符号化、(c)イントラ符号化のいずれかをマクロブロック毎に選択するため、例えば(a)の符号化における動き補償予測誤差電力、(b)の符号化における動き補償予測誤差電力、および(c)の符号化における符号化対象マクロブロックの信号電力等を算出し、それぞれを比較して最適モードを決定する必要がある。
ここで、第6の動画像再符号化装置では、(a)と(b)の符号化モードの比較を誤差電力ではなくオーバレイ比率を用いて行い、そこで選択された符号化モードと(c)のイントラ符号化とを予測誤差電力等を用いて比較する構成とすることができる。オーバレイ比率は、マクロブロック内に占めるオーバレイ画素の面積比および映像信号とのミキシングが施される場合は、そのミキシング比利率等から決定される。オーバレイ比率が閾値以上であれば、(b)のモードを選択し、そうでなければ(a)のモードを選択する構成とすることができる。これにより、誤差および信号電力算出回数を各マクロブロック毎に3回から2回に削減することが可能となる。
本発明に係る第8の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、前記再符号化手段が前記復号化手段により得られた動画像信号の少なくとも一部に対して拡大或いは縮小の解像度変換を行う解像度変換手段と、前記解像度変換手段の変換比率に応じて、前記第1の符号化データより抽出された動きベクトル或いは前記既定の動きベクトルに対するスケーリングを施すスケーリング手段とを有し、前記符号化モード選択手段が前記スケーリングが施された後の動きベクトルを用いて前記符号化モードの選択を行うことを特徴とする。
復号後に解像度変換がなされて映像信号を再符号化出力をする場合、第1の符号化データの動きベクトルおよび符号化パラメータは、そのままでは使用かることができない。しかし、動きベクトル情報については、解像度変換比率に応じて適宜スケーリングすることにより、再符号化時に動きベクトル検出を行わなくとも、ほぼ適切な動きベクトルを得ることが可能となる。
本発明に係る第9の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、前記再符号化手段が前記復号化手段により得られた動画像信号の少なくとも一部に対して表示フレームレート或いは表示フィールドレートの変換を行うレート変換手段と、前記レート変換の変換比率に応じて、前記第1の符号化データより抽出された動きベクトル或いは前記既定の動きベクトルに対するスケーリングを施すスケーリング手段とを有し、前記符号化モード選択手段が前記スケーリングが施された後の動きベクトルを用いて前記符号化モードの選択を行うことを特徴とする。
復号化された映像信号に対して、フレーム或いはフィールドの間引き、繰り返し表示、補間等により、フレーム周波数やフィールド周波数の変換が行われた後に、再符号化し出力される場合、第1符号化データから抽出された動きベクトルおよび符号化パラメータをそのまま使用すると、画質劣化を引き起こす場合がある。これらのフレーム或いはフィールド周波数の変換に対応して、抽出された動きベクトルに対する、スケーリングを含む変換処理を施すことにより、上記画質劣化を抑えることが可能となる。
本発明に係る第10の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、前記再符号化手段が前記復号化手段が持つ早送り、スロー、こま送りおよび一時停止の少なくとも一つを含む特殊再生機能に関連する再生パラメータに応じて、前記第1の符号化データより抽出された動きベクトルに対して変換を施す動きベクトル変換手段を有し、前記符号化モード選択手段が前記動きベクトル変換手段による変換後の動きベクトルを用いて前記符号化モードの選択を行うことを特徴とする。
特殊再生時には、インターレース画像の片フィールドを削除し、残ったフィールドを連続して表示する場合や、復号化するフレーム或いはフィールドの間引きや、復号化されたフレーム或いはフィールドの複数回表示等の処理が行われる。第10の動画像再符号化装置では、これらの特殊再生処理に応じて動きベクトルの変換を行うことで、特殊再生画像を再符号化する際の画質劣化を抑制することが可能となる。
本発明に係る第11の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、前記再符号化手段が前記第1の符号化データからフレーム或いはマクロブロック単位の符号化データを抽出するデータ抽出手段と、前記データ抽出手段により抽出された符号化データについて、少なくとも表示順序および表示フィールドの構成に関連するデータを含む所定のヘッダデータを変更するヘッダデータ変更手段と、前記第2の符号化データの一部を前記データ抽出手段により抽出されかつ前記ヘッダデータ変更手段により前記ヘッダデータが変更された符号化データに置き換えるデータ置き換え手段とを有することを特徴とする。
符号化画像フレームおよび符号化フレームに関連する参照画像フレームのそれぞれについて、復号後に何ら処理を加えられずに再符号化されるフレーム或いは領域については、第1の符号化データと同一の符号化パラメータを用いて再符号化することにより、再符号化に伴う画質の低下は、十分小さいものとなる。しかし、復号化処理あるいは再符号化処理における演算精度に起因する、丸め、リミッタ処理等の影響で、完全可逆とはならない場合がある。
第11の動画像再符号化装置では、再符号化された第2の符号化データのうち、上記の様に映像信号に何ら処理が施されていない領域については、該当する第1の符号化データと置き換えて出力することで、演算精度に起因する僅かな画質劣化をも、完全に除去することが可能となる。また、特殊再生処理やフレームレート変換等の処理がなされている場合は、出力される符号化データの正当性を満たすために、必要に応じて、第1の符号化データのうち、ヘッダ領域の表示順序や表示フィールド構成を示す所定データの値を、適宜変更を行うことで、第1の符号化データを再符号化データとして出力することが可能となる。
本発明に係る第12の動画像再符号化装置は、第11の動画像再符号化装置において、前記符号化データ置き換え手段が前記第1の符号化データから抽出された動きベクトルと、前記副映像信号或いは前記GUI画像信号の表示位置およびその動き量から、符号化データの置き換えをマクロブロック単位で行うことを特徴とする。
この第12の動画像再符号化装置では、オーバレイ処理される領域と、復号化された動画像の各マクロブロックが動き補償予測符号化において参照する領域のいずれも特定することが可能である。これらの情報から、オーバレイ処理の影響を受けるマクロブロックと、受けないマクロブロックを判別することが可能となり、第1の符号化データをそのまま出力するか、或いは再符号化された第2の符号化データを出力するかを、マクロブロック毎に切り替えて再符号化出力することが可能となる。
本発明に係る第13の動画像再符号化装置は、第11の動画像再符号化装置において、前記符号化データ置き換え手段がインターレース動画像信号の早送り、スロー、こま送りおよび一時停止の少なくとも一つを含む特殊再生時には、第2の符号化データを選択して出力し、通常再生およびプログレッシブ動画像信号の特殊再生時には、前記データ抽出手段により抽出されかつ前記ヘッダデータ変更手段により前記ヘッダデータが変更された符号化データを選択して出力することを特徴とする。
ここで、インターレース動画像信号とは、フレーム内の偶数ラインと奇数ラインの映像がフレーム周期の半分の時間だけ離れた時刻の映像であるものであり、プログレッシブ動画像信号とは、フレーム内の偶数ラインと奇数ラインの映像が同時刻の映像であるものである。
スロー再生やこま送りでは、同一の映像フレームを繰り返し表示する処理が行われる。また、早送り再生においても、符号化データの転送レートに応じて、フレーム間引きと同一の映像フレームの繰り返し表示が組み合わせて行われる場合がある。このように、同一映像フレームが繰り返し表示される場合、インターレースされたフレームで、動きのある映像を表示する場合、偶数ラインと奇数ラインとで映像に動きがあるため、表示がギクシャクした動きをすることになる。通常は、偶数ラインまたは奇数ラインのいずれかを、選択して繰り返し表示することにより、表示をスムーズに行う処理が行われる。しかし、インターレースされた動画像信号の動き補償予測符号化データでは、片方のライン(すなわちフィールド)の映像のみを符号化データレベルで抽出することは困難である。
このような場合は、本発明に従い特殊再生処理後のベースバンド動画像信号を符号化して得られた第2の符号化データを出力することにより、滑らかな表示を実現することが可能となる。また、プログレッシブ画像ではフレーム内での映像の動きが存在しないため、第1の符号化データの並べ替えおよびヘッダデータの変更修正等により、特殊再生を実現することが可能となる。この両者を適応的に組み合わせて出力することにより、再符号化に伴う画質劣化を最小化し、且つ特殊再生時の画像の乱れも防ぐことが可能となる。
本発明に係る第14の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、前記再符号化手段が前記第1の符号化データとは異なるフレーム間予測構造で再符号化を行うものであって、該再符号化時のフレーム間予測構造に応じて、前記第1の符号化データより抽出された動きベクトルに対するスケーリングを施す手段を有し、前記符号化モード選択手段が前記スケーリング後の動きベクトルを用いて前記符号化モードの選択を行うことを特徴とする。
このように再符号化部のコストや遅延時間を削減するために、再符号化時のフレーム間予測構造を第1の符号化データと異ならせた場合でも、第1の符号化データから抽出された動きベクトルを予測構造の違いを考慮してスケーリングすることで、再符号化時に新たに動きベクトルの検出を行うことなく、動き補償予測を用いた予測符号化による再符号化を行うことが可能となる。
本発明に係る第5の動画像再符号化装置は、第1乃至第4の動画像再符号化装置において、前記第1の符号化データにおける符号化フレームに対応した、前記復号化された映像フレーム或いは映像フィールドの境界に合わせて、前記オーバレイ処理される前記副映像信号或いは前記GUI画像信号の表示を切り替える手段を有することを特徴とする。
オーバレイ処理後の映像信号を第1の符号化データと同一のフレーム構成で再符号化した場合、再符号化により得られた符号化データを復号化したとき、表示される副映像或いはGUI画像が不自然な時間変化を伴った映像の乱れを発生する場合がある。
第15の動画像再符号化装置では、副映像信号或いはGUI画像の変化点を符号化フレームを構成するフィールドの境界にシフトすることにより、オーバレイ処理された映像信号を第1の符号化データと同一のフレーム構成で再符号化しても、再符号化されたデータを復号化した映像信号の表示時に副映像信号やGUI画像の時間的な乱れが発生することがなく、スムーズな映像を表示することが可能となる。
本発明によれば符号化された動画像データの復号時に動きベクトル、符号化モード、量子化ステップを含む符号化パラメータを抽出し、復号化されたベースバンド映像信号に対して、副映像或いはGUIのオーバレイ等の処理を施し、処理が施されていないフレーム或いは領域については、抽出された符号化パラメータを用いて再符号化するか、あるいは、元の符号化データの一部を修正して出力し、オーバレイ処理等の施された領域については、各処理内容に応じて動きベクトルの変換および生成を行って再符号化することで、オーバレイ処理の自由度が高く、高画質で低コストな再符号化を実現することができる。
従って、本発明の動画像再符号化装置により、方式の異なるディジタル映像システム間のディジタル接続をスムーズに行うことが可能となる。
以下、図面を参照して本発明の実施の形態を説明する。
[第1の実施形態]
図1に、本発明に係る第1の実施形態に係る動画像再符号化装置を含むシステムの構成を示す。このシステムは、従来のDVDプレーヤ等のディジタル映像音声再生装置に、アナログ映像及びアナログ音声出力に加えて、IEEE1394バスへのディジタル出力インタフェースを持つ構成となっている。ここで、図中の破線28で囲んだ部分が従来のディジタル映像音声再生装置に対して付加される再符号化部である。
光ディスク50は例えばDVDディスクであり、音声データ、符号化された動画像データ、副映像データ、ナビゲーションデータ等が多重化されて記録されている。この光ディスク50から再生される信号はデータ分離器10に入力され、音声データ51、動画像データ52、副映像データ53、ナビゲーションデータ54の各データが分離される。分離された各データ51,52,53,54は、バッファメモリ11,12,13,14をそれぞれ経由して、オーディオデコーダ15、ビデオデコーダ16、副映像デコーダ17により復号化される。
ビデオデコーダ16により動画像データを復号化して得られた動画像信号56に対して、副映像デコーダ17により副映像データを復号化して得られた副映像信号57と、再生装置がGUI(Graphical User Interface)画像発生器20によりユーザのオペレーション60に対応して独自に発生させるGUI画像信号59とが加算器19を介して映像オーバレイ処理部(OSD)18によってオーバレイ(合成)処理される。
図3に、復号化により得られた動画像信号56に対するオーバレイ画像の例を示す。図3(a)は動画像信号56のフレーム(動画像フレーム)を示し、図3(b)はオーバレイ後の動画像フレームを示している。図3(b)における字幕部分111は、ビットマップ映像として符号化された副映像信号であり、副映像デコーダ17により復号化されたものであって、DVDシステムでサブピクチャと呼ばれるものである。また、図3(b)における時刻表示110は、光ディスク50には記録されておらず、再生装置自体が発生する時刻を映像上にグラフィックとしてオーバレイしたものである。図1に説明を戻すと、オーディオデコーダ15で音声データを復号化して得られた音声信号55と、映像オーバレイ処理部18でオーバレイ処理された動画像信号58は、それぞれD/A変換器29,30によりアナログ信号61,62に変換されて外部へ出力される。さらに、これらの音声信号55とオーバレイ処理後の動画像信号58は、それぞれオーディオエンコーダ21、ビデオエンコーダ22により再符号化される。この再符号化により得られた音声データおよび動画像データは、それぞれバッファメモリ24,25を経由して、多重化部26によりトランスポートストリームに多重化され、さらにIEEE1394インタフェース27からディジタル出力される。
また、ビデオデコーダ16からは、復号化と同時にマクロブロック毎の動きベクトル、符号化モード、量子化ステップ等の復号化前の動画像データ52に含まれる符号化パラメータ64が抽出され、この符号化パラメータ64はデータメモリ31に一時記憶される。ビデオエンコーダ22には、データメモリ31に一時記憶された符号化パラメータデータから、再符号化を行う画像フレームおよびマクロブロックに対応する符号化パラメータが読み出され、外部から与えられる既定の動きベクトル情報65と共に入力される。
(ビデオエンコーダ22の第1の構成例)
図2は、図1における再符号化のためのビデオエンコーダ22の第1の構成例を示した図である。図中、図1と同一の符号を付与した構成要素は、図1と同一の構成要素を示している。このビデオエンコーダ22は、MPEG2等に代表される動き補償予測直交変換符号化方式に基づいており、動き補償部70、動き補償モード(符号化モード)およびDCTタイプ決定部72、DCTおよび量子化部74、逆量子化および逆DCT部75、フレームメモリ23、レート制御部73、可変長符号化部76から構成される。
このビデオエンコーダ22は、通常のMPEG2エンコーダ等の動画像符号化装置で必要な動きベクトル検出回路が無いことが特徴となっている。通常の動画像符号化装置では、マクロブロック毎に動きベクトルを検出するために、膨大なブロックマッチング演算を必要とする。一般に、動きベクトル検出回路が符号化装置全体に占めるハードウェアリソースは非常に高い比率を占めるが、ビデオエンコーダ22ではこのようなハードウェア規模の大きい動きベクトル検出部が不要である。すなわち、本実施形態では復号化前の動画像データ52から抽出した動きベクトル64と、外部から与えられる既定の動きベクトル65との両者を用いて動き補償を行う。
次に、動き補償モードおよびDCTタイプ決定部72により、それぞれの動き補償による予測誤差信号のパワーまたは大きさと、符号化対象画像信号のパワーまたは大きさから、動きベクトル64,65のいずれを用いるか、或いはイントラ符号化を行うかをマクロブロック毎に決定する。
次に、復号化前の動画像データ52から抽出した動きベクトル64による予測符号化が選択されたマクロブロックについては、後述するDCTタイプを復号化前の動画像データ52から抽出したDCTタイプと一致させ、また、それ以外の場合は、最適なDCTタイプの検出を行う。
レート制御部73では、量子化部74で使用するマクロブロック毎の量子化ステップの決定を行う。すなわち、まず復号化前の動画像データ52から抽出した動きベクトル64による予測符号化が選択されたマクロブロックについては、出力ビットレートの制約を受けない場合は、動画像データ52から抽出した量子化ステップをそのまま利用し、出力ビットレートの制約を受ける場合は、所望のビットレートとなるように、発生符号量80を参照して量子化ステップを決定する。また、外部からの既定の動きベクトル65が選択された、或いはイントラ符号化が選択されたマクロブロックについては、出力ビットレートの制約を受けない場合は、動画像データ52から抽出した量子化ステップ、または予め定められた所定の量子化ステップを用い、出力ビットレートの制約を受ける場合は、所望のビットレートとなるように、発生符号量80を参照して量子化ステップを決定する。
(動画像再符号化装置の動作)
図4は、本実施形態に係る動画像再符号化装置の動作タイミング例を示している。ここでは、復号化および再符号化がいずれもMEPG2に準拠しているものとする。図中のIはイントラ符号化ピクチャ(Iピクチャ)、Pは前方予測符号化ピクチャ(Pピクチャ)、Bは双方向予測符号化ピクチャ(Bピクチャ)を示し、添え字の数字は、各フレームの表示される順序を示している。
図4において、参照符号101(Video DTS)は各フレームが復号化されるタイミングを示しており、その時刻はDTS(Decoding Time Stamp:復号時刻管理情報)として符号化データ中に記述されている。MPEG2では、Bピクチャのフレーム間予測のために、一般に符号化および復号化される順序と表示される順序が異なる。図4の例では、参照符号101(Video DTS)が各フレームの主映像が表示されるタイミングであり、その時刻はPTS(Presentation Time Stamp:再生出力時刻管理情報)として、符号化データ中に記述されている。MPEG2では、BピクチャのPTSは同フレームのDTSと一致し、IピクチャおよびPピクチャのPTSは、次に復号されるIピクチャまたはPピクチャのDTSと一致する。
また、DVDでは主映像信号にマッピングされる副映像信号は表示順で復号され、その時刻DTSは副映像の表示時刻PTSと一致する。図4中の参照符号102(SP DTS)は、各動画像フレームに対応する副映像信号の復号および表示のタイミングを示している。副映像信号は、復号と同時に主映像信号にオーバレイされる。図4中の参照符号103(OSD)は、オーバレイ処理のタイミングを示している。
図4の例では、各動画像フレーム毎に対応する副映像信号がオーバレイ後の映像信号として復号および表示されているが、副映像フレームは全ての動画像フレームに対して存在していなくともよく、また、同一の副映像信号を一定時間繰り返して表示したり、或いは副映像信号内の一部をナビゲーション処理に従ってハイライトする等の処理も可能となっている。
アナログ映像信号の出力は、オーバレイ処理と同時に開始可能となり、従って図4中の参照符号104(Display(Analog))がアナログ映像信号として表示されるタイミングを示している。
一方、オーバレイ処理後の映像信号をI,P,Bの各ピクチャタイプを含む第1の符号化と同様のパラメータで再符号化するためには、参照符号100で示される復号順序と同様の順序で再符号化を行う必要がある。従って、最初に復号されるフレームI2が表示される時刻から再符号化を開始することが可能となる。図4中の参照符号105(Video Re-encoding)は、オーバレイ処理後の映像信号の再符号化タイミングを示している。再符号化された動画像データは、同様に再符号化された音声信号とともに多重化されて、ディジタルデータとして出力される。
図示しない受信側では、符号化されたディジタルデータについて送受信バッファ遅延および伝送路の遅延の後にデータの復号化が行われ、さらに復号化に伴うフレーム並べ替えが行われた後に表示が行われる。図4中の参照符号106(Video Re-decoding)が受信側での復号化タイミングを示し、また参照符号107(Display(Digital))が表示されるタイミングを示している。
[第2の実施形態]
図5は、本発明に係る第2の実施形態に係る動画像再符号化装置を含むシステムの構成を示すブロック図である。図5において図1に示した第1の実施形態と同一の構成要素については、同一の参照符号を付与して第1の実施形態との相違点を説明する。
本実施形態の第1の実施形態との構成上の違いは、映像オーバレイ処理部18の出力映像信号58とフレームメモリ23からの出力映像信号66のいずれかを選択するセレクタ67が付加され、符号化パラメータの一時記憶用のデータメモリ31が除去され、また副映像データ53およびナビゲーションデータ54用のバッファメモリ32,33がFIFO(First In First Out)メモリからRAM(ランダムアクセスメモリ)に変更されている点、および音声データ51、動画像データ51用のバッファメモリ11,12の容量が大きくなる点にある。
さらに、動作上の違いは、オーバレイ処理部18の処理が第1の実施例のように表示されるフレームの順序ではなく、動画像データ52が復号化されるフレームの順序でなされる点が異なる。
(動画像再符号化装置の動作)
以下、図6を用いて本実施形態の動作を説明する。
図6は、本実施形態の動作タイミングを示した図であり、第1の実施形態の動作タイミングを示した図4に対応する。図6において、参照符号120,121,122は、それぞれ図4の参照符号100,101,102に対応する動画像データの復号化タイミング、動画像データの表示タイミング、副映像の復号化および表示のタイミングをそれぞれ示している。
第1の実施形態では、図4中に示したタイミング100,101,102に従って、復号および表示がなされたのに対して、本実施形態では参照符号123〜126に示すタイミングで復号化および再符号化処理がなされて、アナログ映像像信号およびディジタル映像データが出力される。
まず、各動画像データの復号の開始は、本来のDTSではなく、最初に復号される動画像フレームI2のPTSのタイミングまで遅延させて行われる。復号開始時刻の遅延時間に応じて、光ディスク50から読み出された動画像データ52は、バッファメモリ12に追加された容量分を利用して蓄積される。音声データ51、副映像データ53、ナビゲーションデータ54も同様である。図6中の参照符号123が本実施形態における動画像データの復号化タイミングである。
次に、本来は表示されるフレーム順序でオーバレイ処理される副映像信号の復号化およびオーバレイ処理を動画像フレームが復号化される順序に従って行う。図6中の参照符号124は、副映像信号の復号化および復号化された動画像フレームに対するオーバレイ処理のタイミングを示している。副映像の復号化順序が本来の復号化順序と異なるため、副映像データ53、ナビゲーションデータ54は、バッファメモリ32、33からそれぞれ必要なデータをランダムアクセスして読み出される。
アナログ信号系62へ送るアナログ映像出力68は、オーバレイ処理された映像信号58と、エンコーダ22に入力されてフレームメモリ23に記録された映像信号66とをセレクタ67で切り替えて出力する。セレクタ67は、出力すべき動画像フレームがBピクチャの場合は映像信号58を選択し、IピクチャまたはPピクチャの場合はフレームメモリ23から読み出された映像信号66を選択する。これにより、復号化順で出力される動画像信号58を表示順に並べ替えてアナログ出力することが可能となる。図6中の参照符号125が、アナログ映像信号の出力タイミングを示している。
一方、オーバレイ処理部18から復号化順で出力される映像信号58は、再符号化部34に入力され、入力された順序、すなわち復号化の順序で再符号化が行われる。再符号化用のエンコーダは22は、第1の実施形態と基本構成は同じであり、第1の符号化データから抽出された符号化パラメータ64、外部から与えられる既定の動きベクトル65を用いてマクロブロック毎に適応的に符号化される。本実施形態では、復号化と同時に再符号化がなされるため、図1の符号化パラメータを一時記憶するためのデータメモリ31は不要となる。また、再符号化のためのフレーム並べ替えが不要であるため、第1の実施形態で必要としたフレーム並べ替えのためのフレームメモリを必要とせず、さらに復号化開始からの遅延量を第1の実施形態より小さくすることが可能となる。図6中の参照符号127および128は、受信側で再符号化されたデータを入力して復号化および表示するタイミングを示している。
(フレーム/フィールド適応DTCおよびDCTタイプについて)
図7は、直交変換の代表例として、MPEG2等で用いられているDCT(離散コサイン変換)のタイプを説明する図である。MPEG2では、フレーム内の16画素×16ラインから構成されるマクロブロックを8画素×8ラインから構成される4つの輝度ブロックと2つの色差ブロックに分割して、それぞれDCT処理する。ここで、輝度ブロックをフレームラインから構成されるブロックとするか、各フィールドのラインから構成されるブロックとするかが、マクロブロック毎に変更可能である。
このように輝度ブロックをフレームラインから構成されるブロックとするか、各フィールドのラインから構成されるブロックとするかをマクロブロック毎に変更することをフレーム/フィールド適応DCTと呼び、いずれのブロックを輝度ブロックとするかを示す情報をDCTタイプという。図7(a)は、フレーム構成のマクロブロックを示しており、(b)はフレームブロックへの分割、(c)はフィールドブロックへの分割を示している。
上述した本発明に係る第1のおよび第2の実施形態において、第1の符号化データから抽出された動きベクトルを用いて再符号化されるマクロブロックについては、上述のDCTタイプについても第1の符号化データから抽出されたDCTタイプを用い、既定の動きベクトル、あるいはイントラ符号化が選択されたマクロブロックについては、いずれのDCTタイプを用いるかを適応的に選択する構成となっている。これらのDCTタイプの判断は、図2における動き補償モードおよびDCTタイプ決定部72によって行われる。DCTタイプの適応選択は、隣接するフレーム内でのライン間の相関と同一フィールド内の隣接するライン間の相関を算出し、フレーム内ライン相関が大きければフレームブロックのDCTを、またフィールド内ライン相関が大きければフィールドブロックのDCTをそれぞれ選択する構成となっている。
(既定の動きベクトルの与え方について)
次に、図1、図2および図5における既定の動きベクトル65の指定方法について説明する。
既定の動きベクトルの第1の指定方法では、既定の動きベクトルとして大きさゼロのベクトルを与える。復号化された映像信号にオーバレイ処理される字幕等の副映像やGUI画像等は、一般に一定期間静止して表示される場合が多い。そのようなオーバレイ処理された領域は、第1の符号化データから抽出された動きベクトルよりも、動き量がゼロの動きベクトルによる予測符号化を行うことで、符号化効率が向上することになる。また、オーバレイ画像の表示あるいは非表示が切り替わるフレームでは、フレーム間の予測効率が一般に低下し、そのような部分では予測符号化ではなく、イントラ符号化を行えばよい。
従って、第1の符号化データから抽出された動きベクトルによる動き補償予測符号化、ゼロベクトルによる予測符号化、イントラ符号化の中から、最適なものをマクロブロック毎に選択することにより、オーバレイ処理がなされた場合でも、自動的に最適な符号化モードが選択されることになる。
既定の動きベクトルの第2の指定方法では、既定の動きベクトルがオーバレイ処理される画像の表示位置および動き量から決定される。前者は画面内のどの位置に副映像あるいはGUI画像がオーバレイされたかを示し、後者はオーバレイされた画像が時間的に動く場合の動き量を示している。
図8に、オーバレイ処理の時間変化の例を示す。図8では、時間の進行に伴い(a)→(b)→(c)の順で変化する。図8(b)でオーバレイ表示が開始され、時刻110と字幕111の表示が行われる。字幕111は水平方向にスクロールし、図8(c)のフレームでは字幕113,114に示されるように左に動く。時刻110,112の表示位置は固定であり、この位置に対応するマクロブロックの符号化では、既定の動きベクトル65をゼロベクトルとする。また、スクロールする字幕111,113,114については、そのスクロール量を既定の動きベクトルとして与える。このようにすることで、時間的に平行移動を伴うオーバレイ画像についても、再符号化時の予測効率を向上させて、符号化効率を向上させることが可能となる。
(第2の動き補償モード判定方法について)
次に、図2の動き補償モードおよびDCTタイプ判定部72における第2動き補償モード判定方法について説明する。
動きモードの判定は、第1の符号化データから抽出された動きベクトル64と既定の動きベクトル65とから、より予測効率の高い動きベクトルを選択するものである。先の説明では、予測誤差のより小さくなるベクトルを用いる方式としたが、その場合、符号化対象マクロブロック画像の読み出し、それぞれの動きベクトルに応じた参照マクロブロック画像の読み出し、およびそれぞれの予測誤差の演算を行う必要がある。
一方、第2の動き補償モード判定方法では、各マクロブロック毎にマクロブロックに占めるオーバレイ画像の面積比および映像信号とのミキシング比率から、いずれの動きベクトルを用いるかの選択を行う。これにより、符号化モード決定のための演算量を削減することが可能となる。
図9は、符号化モード決定の例を説明する図である。図9において、111がオーバレイ処理される部分であり、130および131は再符号化時のマクロブロックの一部を拡大したものである。マクロブロック131は、大部分の画素がオーバレイ処理されるため、本来の映像信号がほとんど上書きされてしまう。このようなマクロブロックでは、第1の符号化データから抽出された動きベクトルよりも、オーバレイされる画像に合わせた既定の動きベクトルを用いる方が予測効率を向上させることが可能となる。
一方、マクロブロック130に示すように、マクロブロック内に占めるオーバレイ領域の比率が低い場合は、第1の符号化データから抽出された動きベクトルを用いることで、符号化効率を維持することが可能となる。また、オーバレイ処理が全く施されないマクロブロックについても、第1の符号化データから抽出された動きベクトルを用いる。
さらに、オーバレイ処理が画素の上書きではなく、復号化された映像信号とのミキシング処理である場合については、マクロブロック内のオーバレイ処理される面積とミキシング比率との積を用いて、動きベクトルの選択を決定する。
(動きベクトルスケーリング機能を有するビデオエンコーダ22について)
図10は、図1および図5におけるビデオエンコーダ22の第2の構成例を示した図である。図10で、図2と同一の符号は、図2と同一の構成要素を示している。
図2に示したビデオエンコーダ22の第1の構成例との違いは、動きベクトル64,65に対する動きベクトルスケーリング部77が付加された点にある。図10のビデオエンコーダは、復号化部による動画像データの復号化およびオーバレイ処理に、映像信号の全部または一部が解像度変換、つまり拡大あるいは縮小されて出力される場合や、フレーム周波数(フレームレート)或いはフィールド周波数(フィールドレート)が変換されて出力される場合等に対応可能となっている。
すなわち、拡大あるいは縮小の解像度変換が施された動画像信号の再符号化に際しては、動きベクトル64,65も動きベクトルスケーリング部77により映像の解像度変換の比率(拡大あるいは縮小比率)に対応してスケーリング処理されて用いられる。
図11は、復号化およびオーバレイ処理された映像フレーム140の左下の部分を水平垂直ともに2倍にした拡大表示画像が出力される例である。映像フレーム140におけるマクロブロック142は、拡大された映像フレームでは4つのマクロブロック143として再符号化されることになる。この場合、マクロブロック142に対応した動きベクトルの値を水平、垂直方向ともに2倍にスケーリングし、スケーリングされた動きベクトルを4つのマクロブロック143それぞれに適応して再符号化する構成となる。
また、表示フレームレート或いは表示フィールドレートの変換が施された動画像信号の再符号化に際しては、入力される動きベクトル64,65も、動きベクトルスケーリング部77により表示フレームレート或いは表示フィールドレートの変換比率に対応してスケーリング処理されて用いられる。
すなわち、図12(a)に示す復号化された映像信号が1フレームずつ間引かれて図12(b)のように出力される場合等では、第1の符号化データから検出された動きベクトル200,201のうち201を水平および垂直ともに2倍にスケーリングした動きベクトル202を用いて、図22(b)の映像信号の再符号化を行う。
(特殊再生について)
次に、本発明に係る第1のおよび第2の実施形態において、さらに早送り、逆再生、ポーズ、スロー再生等の特殊再生機能を有する場合の動作について説明する。
図13は、早送り再生の例であり、符号化された動画像データから、Iピクチャの部分のみを抽出して、間欠的に復号化を行い、復号化を行わないタイミングではその直前に復号化されたフレームの映像を出力する。図13では、Iピクチャが15フレーム間隔で符号化されており、これを5フレーム周期で復号化することで、3倍速の早送り再生を実現している。図13中の斜線を施した出力フレームでは、その直前に復号化したIピクチャの映像を繰り返し出力する。この場合、再符号化に際しては、斜線を施したフレームは、Iピクチャではなく、Pピクチャとして再符号化することができる。本来Iピクチャであるために、一般に第1の符号化データが動きベクトル情報を持っていない。しかし、ゼロベクトルを用いた動き補償で予測誤差がゼロになるため、自動的にゼロベクトルの動き補償モードが選択されることになり、再符号化時の符号化効率が非常に高いものとなり、再符号化後の伝送ビットレートを低下させることが可能となる。
図14は3倍速の逆再生の例であり、図13の早送りと同様にIピクチャのみ復号化し、その際に復号化するフレームの順序を時間的に逆にすることで、逆再生が行われる。
図15はポーズ動作の例を示しており、図15の例では、フレームI2の復号化後に同フレームを繰り返し表示することによりポーズ状態となる。この場合も、再符号化時には、図13と同様に斜線を施したフレームは、Pピクチャとして再符号化し、ゼロベクトルによる予測符号化が自動選択される。
図16は、別の早送り再生の実現方法を示している。図16では、IピクチャおよびPピクチャのみの符号化データを復号化して出力するものであり、図中の網掛けで示したフレームは、その直前のフレームの映像を繰り返して出力するものである。従って、図16の例では1.5倍速のなだらかな早送り再生が実現できる。ここで、斜線を施したフレームについては、図13と同様にゼロベクトルを用いたPピクチャとして再符号化する。また、斜線を施していないフレームについては、第1の符号化データから抽出される動きベクトルおよび符号化パラメータを用いて再符号化することにより、符号化効率の低下を伴わずに再符号化することが可能である。
図17は、スロー再生の実現例を示している。図17の例では、全ての符号化された動画像データの復号化をフレーム周期の整数倍のタイミングで行い、復号化をしていない時は同一の表示フレームを繰り返し表示する。図17中の斜線を施したフレームが繰り返し表示されるフレームである。ここでは、3フレーム毎に復号化を行い、1/3倍速のスロー再生が実現される。図17でOutput1で示した信号がアナログ出力の映像信号となる。一方、スロー再生時の再符号化出力は、フレーム間予測の構造を考慮して、図17のOutput2で示したフレーム構成となる。
ここで、B0やB1のフレームは、同一の動画像フレームを繰り返しBピクチャとして再符号化しており、またP2*はI2と同一の動画像フレームをPピクチャとして再符号化したもので、そのとき参照画像と予測画像が一致するため、ゼロベクトルの動き補償予測符号化をすることにより、予測誤差信号は常にゼロとなり符号化効率の非常に高い符号化が行われる。Output2として再符号化された動画像データは、受信側では通常の復号化手順に従ってフレームの並べ替えが行われ、Output1と同様の1/3倍速の映像として再生される。
図13〜図17の再符号化時には、第1の符号化データから抽出された動きベクトル、またはゼロベクトルを用いた動き補償予測符号化を行い、フレームの繰り返し数に応じて、各符号化フレームの表示順を示すヘッダデータ(MPEG2では、temporal_referenceと呼ばれる)の書き換えを行う。
また、MPEG2では3:2プルダウンと呼ばれる符号化フレームレートから表示フレームレートへの変換を行うレート変換部があり、各符号化フレームが3フィールド期間表示されるか、或いは2フィールド期間表示されるかを示すフラグ(MPEG2では、repeat_first_fieldと呼ばれる)と、各フレームがトップフィールドから表示されるか、或いはボトムフィールドから表示されるかを示すフラグ(MPEG2では、top_field_first)によって制御される。復号後の映像信号の表示では、トップフィールドとボトムフィールドが必ず交互に表示されるように、これらのフラグが正しく設定される必要がある。図13〜図17の例では、復号化されたフレームがさらに繰り返し表示されるため、その表示においてトップフィールドとボトムフィールドが必ず交互に表示されるように、上記のヘッダデータのフラグについても、繰り返しの表示構造に応じて適宜修正して書き換えを行う。
上記の特殊再生において、符号化された動画像データがインターレースされた映像である場合については、復号化された映像信号をそのまま上記の通り出力した場合、図13〜図17に示した繰り返しフレームの再生において、動きのぎくしゃくした映像となってしまう場合がある。なぜならば、インターレースされたフレームにおいては、同一フレームの第2フィールドは第1フィールドよりも1フィールド時間経過した映像であり、再び第1フィールドが繰り返して表示されると、表示される映像が過去の映像に戻り、時間が前後してしまうからである。通常は、このような動きの不自然さが出ないようにするため、同一フレーム内で第1フィールド或いは第2フィールドのうち一つのフィールド選択して、第1フィールドと第2フィールドで同一のフィールド画像を出力する方法がとられる。この場合、第1の符号化データの各マクロブロックと再符号化時の各マクロブロックとは必ずしも一致しなくなる。
このように、インターレース画像の特殊再生時に同一フィールドの繰り返しによりフレームを構成する場合は、図18に示す方法を用いて再符号化を行う。図18において、0,1,2,3はフィールド番号を示し、(a),(b)および(c),(d)は、第1の符号化データのおける連続する符号化フレームを示している。また、(a’),(b’)および(c’),(d)は、同符号化データを復号化した映像フレームの再符号化時の構成を示している。図18(a)および(b)のフレームは、インターレースフレームである。この場合、再符号化されるフレーム(a’)および(b’)は、(a)および(b)のトップフィールドである0および2をそれぞれ繰り返し表示したフィールドでフレームを構成する。
すなわち、復号化された映像フィールドは、0→1→2→3のフィールド順となるが、実際のアナログ表示および再符号化されるフィールドは0→0→2→2の順で構成される。この時、第1の符号化データが図18(a)におけるフィールド2がフィールド0からの動き補償予測がなされている場合は、第1の符号化における動きベクトル220を用いて第2の符号化における動き補償予測符号化をフレームマクロブロックを単位として行う。つまり、図18の再符号化時に用いられる動きベクトル223は、220のフィールドを単位とした動きベクトルをそのままフレームを単位とした動きベクトルに変換したものとなる。また、第1の符号化において、フィールド2がフィールド1からの動き補償予測による符号化がなされている場合、つまり図18において動きベクトル221を用いて符号化がなされてる場合は、この動きベクトル221の値を垂直および水平方向にそれぞれ2倍にスケーリングして、再符号化のための動きベクトル223を生成する。これにより、1フィールド間隔の時間における動き量を示す動きベクトル221を1フレーム間隔の動き量を示す動きベクトル223に変換することが可能となる。
また、図18の(c)および(d)のように、第1の符号化データがインターレースされていないフレーム画像(プログレッシブ画像)で、フレームマクロブロックによる動き補償がなされている場合は、再符号化においても第1の符号化データの動きベクトル222をそのまま再符号化時の動きベクトル224として用い、またフィールド構成も第1の符号化データの0、1、2、3と同様にして再符号化を行う。
さらに、上記の各特殊再生処理のように、ぎくしゃくした動きを防ぐために、同一フィールドの繰り返しによるフレームを構成する場合、フレーム内の垂直相関が高くなるため、DCTタイプとしては常にフレームブロックを輝度ブロックとするDCTを選択することで、符号化効率を向上させることが可能となる。
[第3の実施形態]
図19は、本発明に係る第3の実施形態に係る動画像再符号化装置のシステム構成を示す図である。図中、図1および図2と同一の符号を付与した構成要素は図1および図2の構成要素と同一のものであるため、説明を省略する。
本実施形態の第1および第2の実施形態との特徴的な違いは、再符号化部28において、第1の符号化データ150を入力して変換処理する変換処理部151と、ビデオエンコーダ22から出力なされる符号化データと変換処理部151からの変換処理後の第1の符号化データとを選択するセレクタ152が付加され、このセレクタ152の出力が再符号化により得られた動画像データとして出力される構成となっている点である。
すなわち、本実施形態では第1の符号化データを復号化して得られた映像信号に対して何ら処理を施さずにアナログ出力する場合は、この映像信号を再符号化した符号化データではなく、対応する第1の符号化データをそのまま出力し、また、オーバレイ処理や特殊再生のために、復号化により得られた映像信号に処理が施されている場合は、この処理後の映像信号を再符号化した符号化データを選択して出力する構成となっている。
また、出力する符号化データの切り替えは、フレーム単位またはマクロブロック単位に行う。マクロブロック単位の切り替えでは、符号化対象マクロブロックおよび同マクロブロックの動き補償予測の参照画像領域がオーバレイ処理の影響を受けない場合は、対応する第1の符号化データをそのまま出力し、それ以外の場合は、再符号化により得られた動画像データを選択する。
さらに、図13〜図17に示した特殊再生処理において、同一フィールドの繰り返しによるフレームの生成がなされない場合は、再符号化された動画像データではなく、第1の符号化データを用いて、上述した表示順序やフィールド構成に関連するヘッダ領域のデータの書き換えをデータ変換処理部151で行い、それを出力する。
図20のフローチャートに、本実施形態における図19中のセレクタ152の動作を示す。すなわち、特殊再生(トリック再生)である場合で(ステップS1でYes)、インターレースされていないフレーム、つまりプログレッシブフレームであって(ステップS2でYes)、復号化された映像信号に対して、オーバレイ等の画素処理がなされていない場合(ステップS3でYes)、或いは通常再生で復号化された映像信号にオーバレイ等の画素処理がなされていない場合は、第1の符号化データ(ストリーム処理出力)を選択して出力し(ステップS4)、その他の場合(ステップS2でNoまたはステップS3でNo)は、再符号化された符号化データを選択して出力する(ステップS5)。
(フレーム間予測構造に応じた動きベクトルスケーリングについて)
図21に、本発明の実施形態に係る再符号化時のフレーム間予測構造に応じた動きベクトルスケーリングの例を示す。図21(a)は、第1の符号化データにおけるフレーム間予測構造を示しており、I0,B1,B2,P3,…は、それぞれフレーム構造のIピクチャ、Bピクチャ、Pピクチャを表示順に表わしている。図21(b)は、フレーム構造のIピクチャおよび連続するフレーム構造のPピクチャを用いた再符号化時のフレーム間予測構造を示している。さらに、図21(c)は、フィールド構造のIピクチャおよび連続するフィールド構造のPピクチャを用いた再符号化のフィールド間予測構造を示している。図中500〜521で示した矢印は、第1の符号化および再符号化の動きベクトルを示しており、矢印の始点は符号化対象画像であり、矢印の終点が参照画像となる。
本実施形態では、図21(a)のフレーム構造のIピクチャ、PピクチャおよびBピクチャの組み合わせで動画像信号を符号化して得られた第1の符号化データの復号化を行い、この復号化により得られた動画像信号を図21(b)または(c)に示した予測構造で再符号化することにより、再符号化時のフレーム並べ替えが不要となる。従って、再符号化におけるフレーム並べ替えのためのフレームメモリを必要とせず、また再符号化の遅延量を小さくすることが可能となる。
さらに、図21(c)の例では、フィールド構造のピクチャによる符号化を行っているため、フィールド/フレーム変換のためのフィールドメモリや再符号化時の遅延量をさらに削減することが可能となる。
ただし、図21(b)や(c)ではフレーム間予測構造が第1の符号化データと異なるため、第1の符号化データから抽出された動きベクトル500〜505は、そのまま再符号化時に用いることができない。しかし、第1の符号化データから抽出された動きベクトルを予測構造の違いを考慮してスケーリングすることにより、再符号化時にも利用することが可能となる。
図21(b)において、P1,P2,P3のフレームはそれぞれ図21(a)のB1,B2,P3に対応しており、動きベクトル510としては第1の符号化データの動きベクトル500をそのまま用いることができる。また、動きベクトル511,512としては、第1の符号化データの動きベクトル501,502をそれぞれ1/2倍および1/3倍にスケーリングしたものを用いることが可能となる。
また、図21(c)のようにフィールド構造の予測符号化では、MPEG2符号化の場合、直前の同相フィールドまたは逆相フィールドのいずれかを参照画像として用いることが可能である。ここで、i0およびp1は図21(a)のI0のフレームを構成するフィールドに対応し、またp2およびp3は図21(b)のB1を構成するフィールドに対応する。従って、動きベクトル520としては第1の符号化データの動きベクトル500を利用することができ、また動きベクトル521としては、第1の符号化データの動きベクトル500を1/2倍にスケーリングしたものを利用することが可能となる。
すなわち、再符号化部のコストや遅延時間を削減するために、再符号化時のフレーム間予測構造が第1の符号化データと異なる場合でも、第1の符号化データから抽出された動きベクトルを予測構造の違いを考慮してスケーリングすることで、再符号化時に新たに動きベクトルの検出を行わなくとも、動き補償予測を用いた予測符号化による再符号化を行うことが可能となる。
(副映像信号或いはGUI画像の表示切り替えについて)
次に、本発明の実施形態に係る副映像信号或いはGUI画像の表示切り替え方法について説明する。
フレームレート24Hzの映画を標準テレビのフレームレート29.97Hzのインターレース画像として表示する手法として、3:2プルダウンと呼ばれる手法がある。3:2プルダウンは、映画の1フレームを各フレーム毎に3フィールド期間表示するか、2フィールド期間表示するかを交互に切り替えることにより、フレームレート29.97Hzで表示することを可能としている。3フィールド期間の表示では、3フィールド目に表示される映像は、同一フレーム内の先頭フィールドを繰り返して表示したものとなる。MPEG2符号化では、3:2プルダウンに対応した符号化が可能となっている。つまり、映画等の符号化において、フレームレート24Hzのフレーム画像を単位とした符号化を行い、その符号化フレームが3フィールド期間表示されるフレームか、或いは2フィールド期間表示されるフレームかを符号化データ中のフラグで示し、復号化装置内で符号化フレームレート24Hzから表示フレームレート29.97Hzへと変換される。
図22は、本発明の実施形態に係る副映像信号或いはGUI画像の表示切り替えの例を示す図である。図22(a)は表示フィールド番号を示しており、(b)は3:2プルダウン処理に対応した符号化フレームの構成を示している。図22の例では、フィールド0、1で構成されるフレームが最初の符号化フレームとなり、フィールド2,3,4で構成されるフレームが2番目の符号化フレームとなる。ここで、フィールド4は符号化時に削除され、復号化後はフィールド2が繰り返しフィールド4のタイミングで表示されるものとなる。図22(b)で点線で示したフィールドは、3:2プルダウンによりリピートされたフィールドであり、図22(c)が復号化後のフィールド構成となる。
図22(d)は、副映像信号またはGUI画像の切り替えタイミングを示したものであり、この例ではフィールド0からフィールド7までは第1の副映像またはGUI画像が静止表示され、またフィールド8からフィールド16までは第2の副映像またはGUI画像が静止表示される。ここで、副映像信号またはGUI画像信号の切り替えとは、表示自体のオン・オフや、映像信号とのミキシング比率を段階的に変化させて、副映像またはGUI画像をフェード表示する場合のミキシング比率の変化点などを意味する。
図22(d)の例では、フィールド7の時刻では第1の副映像またはGUI画像がオーバレイ表示され、また、フィールド9の時刻では第2の副映像またはGUI画像がオーバレイ表示される。従って、本来フィールド7の映像と同一の映像が表示されるフィールド9の映像が、オーバレイ処理後には、フィールド7の時刻の映像と一致しなくなる。
このオーバレイ処理後の映像信号を第1の符号化データと同一のフレーム構成で再符号化した場合、つまり、フィールド9の時刻の映像をフィールド7の映像の繰り返しとみなして再符号化した場合、再符号化により得られた符号化データを復号化したとき、表示される副映像或いはGUI画像は、図22(e)の順序で表示されることになり、不自然な時間変化を伴った映像の乱れを発生することになる。
一方、図22(f)または(g)に示すように、副映像信号またはGUI画像の変化点を図22(a)で示した符号化フレームを構成するフィールドの境界にシフトすれば、オーバレイ処理された映像信号を第1の符号化データと同一のフレーム構成で再符号化しても、再符号化されたデータを復号化した映像信号の表示時に副映像信号またはGUI画像の時間的な乱れが発生することがなく、スムーズな映像を表示することが可能となる。