JP2005094800A - 動画像再符号化装置 - Google Patents

Abstract

【課題】方式の異なるディジタル映像システム間をディジタル接続することを可能とするための特殊再生やオーバレイ処理等の自由度が高く、且つ高画質で低コストな動画像再符号化装置を提供する。
【解決手段】動画像符号化データ５２をビデオデコーダ１６により復号化して再生される動画像信号５６の映像フレーム或いは映像フィールドにオーバレイ処理部１８で副映像信号或いはＧＵＩ画像信号のオーバレイ処理を施した後、再符号化部２８で再符号化する装置であって、再符号化部２８は（ａ）抽出された符号化パラメータ中の動きベクトルを用いた動き補償予測符号化、（ｂ）外部からの動きベクトル６５を用いた動き補償予測符号化、および（ｃ）イントラ符号化のいずれかの一つの符号化モードをマクロブロック毎に選択する。
【選択図】図１

Description

本発明は動画像再符号化装置に係り、特にＭＰＥＧ２方式等の符号化によって得られた動画像データを復号化し、得られた動画像信号を直接またはグラフィックスオーバレイや特殊再生処理等を適宜施した後に再符号化する動画像再符号化装置に関する。

ＤＶＤ（ディジタルバーサタイルディスクまたはディジタルビデオディスク）システムのようなディジタル映像システムの再生装置では、再生信号から得られる圧縮された動画像データ、音声データ、副映像データ等が多重化された多重化データに対し、各データの分離および復号化が行われる。動画像データを復号化して得られた動画像信号（映像信号）は、副映像や再生装置固有のＧＵＩ（グラフィカルユーザインタフェース）のオーバレイ処理が施された後、Ｄ／Ａ変換されてアナログ出力される。また、音声データを復号化して得られた音声信号は、Ｄ／Ａ変換されてアナログ出力されるか、或いはディジタル信号のまま出力される。

近年、ＩＥＥＥ１３９４等の家庭内でのディジタルインタフェースが規格化され、またディジタル放送に向けたディジタルＴＶの開発も進んでいる。このような家庭内での映像機器および機器間のインタフェースのディジタル化により、従来ではアナログ信号に頼っていた家庭内での映像機器間の映像信号伝送も、ディジタル化が可能になりつつある。

一方、ディジタル映像およびディジタル音声の符号化方式は、アプリケーション毎に様々な規格が存在しており、それらの規格間での互換が十分にとられていないのが実情である。例えば、ＤＶＤの記録フォーマット、ＤＶＣＲ（ディジタルビデオカセットレコーダ）等のディジタルビデオカメラ用途のフォーマット、ディジタル放送フォーマット等のいずれもが互換性を有していない。ディジタル放送についても、米国方式（ＡＴＳＣ）、ヨーロッパ方式（ＤＶＢ）、および日本方式等、地域毎に方式が異なっており、それらの方式間でディジタルデータの互換性は保証されないものとなっている。従って、様々なディジタル映像機器間をディジタルインタフェースで接続するためには、符号化方式の変換を含むデータフォーマットの変換を各アプリケーションに合わせて行う必要が生じる。

データフォーマットの変換方法は、大きく以下の２つに分類できる。第１の変換方法は、符号化データであるディジタルデータレベルでのデータフォーマット変換処理である。この方法では、変換前の符号化データの符号化方式に依存して変換の自由度が大きく制限される場合がある。例えば、ＭＰＥＧ２方式の符号化により得られた動画像データに対して特殊再生やエフェクト処理、或いは映像のミキシング等のディジタル処理を行うことは、非常に大きな制約を伴うことになる。また、異なる符号化方式へのディジタルデータレベルでの変換は、多くの場合、実現困難となる。

データフォーマットの第２の変換方法は、符号化データを復号化してベースバンド信号とし、このベースバンド信号を再度所望の符号化方式で符号化（これを再符号化という）するというものである。この場合、データフォーマット変換の自由度は大きなものとなり、特殊再生やエフェクト処理、或いは映像のミキシング等のディジタル等はベースバンド信号上で行うことが可能であり、何ら制約を受けなくなる。但し、多くの符号化方式が非可逆変換であるために、この方法では変換を繰り返すたびに画質や音質が低下する。また、高能率の再符号化を行うためには、ディジタル映像機器に付加的な符号化装置を実装する必要があり、特にＭＰＥＧ２エンコーダのような動き補償を伴う符号化装置の追加は、各ディジタル映像機器の大幅なコスト増を招く。

上述したように、異なるデータフォーマットのディジタル映像機器間をディジタル接続するために、符号化方式の変換を含むデータフォーマットの変換を行う場合、従来の符号化データ（ディジタルデータ）レベルで変換を行う方法では、特殊再生、エフェクト処理、映像ミキシングといった処理の自由度が小さいという問題点があり、また符号化データを復号化してベースバンド信号レベルで特殊再生、エフェクト処理、映像ミキシングなどの処理を行って所望の符号化方式で再符号化する方法は、画質の劣化やディジタル映像機器のコスト増を招くという問題点があった。

本発明は、ベースバンド信号レベルでの処理により特殊再生その他の処理の自由度を持ち、且つ符号化方式を含むデータフォーマット変換による画質劣化を抑え、さらに付加的な再符号化のためのコストを大幅に低下させることが可能な動画像再符号化装置を提供することを目的とする。

上記課題を解決するため、本発明は符号化された動画像データを復号化して得られるベースバンド信号である動画像信号に対して、早送り、スロー、ポーズ等の特殊再生処理、副映像或いはＧＵＩのオーバレイ等の処理を施し、さらに復号時に動画像符号化データから抽出された各種符号化パラメータの情報、特殊再生およびオーバレイ処理等の情報を基に最適な符号化パラメータの決定を行い、低コストで高画質な再符号化を実現可能としたものである。

すなわち、本発明に係る第１の動画像再符号化装置は、動画像信号を動き補償予測符号化して得られた第１の符号化データを復号化して動画像信号を得る復号化手段と、前記第１の符号化データから、少なくとも動きベクトル、符号化モードおよび量子化ステップの情報を含む符号化パラメータを抽出する符号化パラメータ抽出手段と、前記復号化手段により得られた動画像信号を前記符号化パラメータ抽出手段により抽出された符号化パラメータに従って再符号化して第２の符号化データを得る再符号化手段とを有し、前記再符号化手段は、（ａ）前記抽出された符号化パラメータと同一の符号化パラメータを用いた符号化、（ｂ）既定の動きベクトルを用いた動き補償予測符号化、および（ｃ）イントラ符号化のいずれかの一つの符号化モードをマクロブロック毎に選択する符号化モード選択手段を有することを特徴とする。

この第１の動画像再符号化装置では、再符号化において通常の符号化装置では多くのリソースを必要とする動きベクトル検出回路が不要となり、大幅なコスト低下を実現することが可能となる。

また、復号化により得られた動画像信号である映像信号に何ら処理が加えられていない領域では、再符号化の符号化モードとして基本的に（ａ）が自動的に選択され、第１の符号化データと全ての符号化パラメータを一致させることによって、再符号化に伴う画質劣化を最小限に抑えることが可能となる。一方、映像信号に何らかの処理が施された領域では、再符号化の符号化モードとして（ｂ）の既定の動きベクトルを用いた予測符号化か、或いは（ｃ）のフレーム内符号化が選択される場合がある。映像信号に対する処理内容に応じて、既定の動きベクトルの値を設定することにより、動きベクトル検出回路を必要とすることなく符号化効率の高い予測符号化を行うことが可能となる。

本発明に係る第２の動画像再符号化装置は、前記復号化手段により得られた動画像信号の映像フレーム或いは映像フィールドに対応して副映像信号或いはＧＵＩ（Graphical User Interface）画像信号を生成する手段と、前記映像フレーム或いは映像フィールドに対して前記副映像信号或いは前記ＧＵＩ画像信号のオーバレイ処理を順次施す手段とをさらに有し、前記再符号化手段は、前記符号化パラメータ抽出手段により抽出された符号化パラメータを一時記憶する記憶手段を有し、前記オーバレイ処理が施された映像フレーム或いは映像フィールドを該記憶手段に記憶された前記符号化パラメータを用いて再符号化することを特徴とする。

ＭＰＥＧ２等の動画像符号化では、フレーム間の前方および後方予測が存在するため、符号化および復号化のフレーム順序と、表示のフレーム順序が一般に一致しない。これらのフレーム順序の違いは、符号化装置および復号化装置それぞれでのフレームの並べ替え処理により吸収される。グラフィックスオーバレイ等を表示順序で行うシステムでは、復号化のタイミングで再符号化することが困難となる。この場合、再符号化は復号化およびグラフィックオーバレイ処理後に行うため、一定の復号化から再符号化までの間に所定の遅延が発生する。しかし、抽出した符号化パラメータを一時記憶して、抽出した符号化パラメータも同様に遅延させることにより、第１の符号化データと同一の符号化パラメータを用いた再符号化が可能となる。

本発明に係る第３の動画像再符号化装置は、第１の動画像再符号化装置において、前記復号化手段により得られた動画像信号の映像フレーム或いは映像フィールドの復号化順序に対応して副映像信号或いはＧＵＩ画像信号を生成する手段と、前記映像フレーム或いは映像フィールドに対して前記副映像信号或いは前記ＧＵＩ画像信号のオーバレイ処理を順次施す手段とをさらに有し、前記再符号化手段は、前記オーバレイ処理が施された映像フレーム或いは映像フィールドを前記復号化順序に従って再符号化することを特徴とする。

上述したように、ＭＰＥＧ２等の符号化と表示のフレーム順の違いのため、復号化および再符号化でフレーム並べ替えによる遅延が発生し、また再符号化のために通常の符号化と同様のフレーム並べ替えのためのフレームメモリを必要とする。これに対し、本発明に係る第３の動画像再符号化装置では、復号化される順序で、復号化とほぼ同時に副映像やＧＵＩのオーバレイ処理を行い、さらに再符号化処理を復号化およびオーバレイ処理と同時に行うことが可能であるため、フレーム並べ替えに伴う遅延量を最小化することが可能となり、また、再符号化手段でのフレーム並べ替えのためのメモリを必要としない構成とすることが可能となる。再符号化手段では、予測符号化のための参照画像用のフレームメモリだけを持てばよいことになる。

本発明に係る第４の動画像再符号化装置は、上述した第１乃至第３の動画像再符号化装置において、前記符号化パラメータ抽出手段が前記第１の符号化データから前記符号化パラメータとしてさらにフレーム／フィールド適応直交変換タイプを抽出し、前記再符号化手段がフレーム／フィールド適応直交変換手段を有し、前記符号化モード選択手段により（ａ）前記符号化パラメータと同一の符号化パラメータを用いた符号化モードが選択されたマクロブロックについては前記第１の符号化データから抽出されたフレーム／フィールド適応直交変換タイプを選択し、前記符号化モード選択手段により（ｂ）既定の動きベクトルを用いた動き補償予測符号化、および（ｃ）イントラ符号化のいずれかの符号化モードが選択されたマクロブロックについては最適なフレーム／フィールド適応直交変換タイプを選択して、前記フレーム／フィールド適応直交変換手段によりそれぞれ直交変換を施すことを特徴とする。

上述したように、映像信号に何ら処理が加えられていない領域では、第１の符号化データと全ての符号化パラメータを一致させることにより、再符号化に伴う画質劣化を最小限に抑えることが可能となる。しかし、映像信号に特殊再生やオーバレイ等の処理を施された部分では、必ずしも第１の符号化データと全ての符号化パラメータを一致させることが、最適ではない。このような部分は、自動的に（ｂ）の既定の動きベクトルによる予測符号化、または（ｃ）のイントラ符号化が選択される頻度が高くなる。従って、（ｂ）または（ｃ）が選択されたマクロブロックでは、フィールド／フレーム適応直交変換（ＭＰＥＧ２等ではＤＣＴ（離散コサイン変換）について、最適なタイプの再選択を行い、選択されたタイプでの符号化を行うことで、符号化効率を向上させることが可能となる。

本発明に係る第５の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、特に（ｂ）の既定の動きベクトルがゼロベクトルであることを特徴としている。

早送り、スロー、こま送りといった特殊再生では、同一フレームの映像が複数回の表示されることがあり、また字幕等の副映像の表示では、連続する数フレーム間に渡って画面内の同一の位置に副映像が表示される場合が多い。いずれもゼロベクトルを用いた動き補償を用いることで、動きベクトル検出回路が無くとも効率的な予測符号化を実現することが可能となる。

本発明に係る第６の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、特に（ｂ）の既定の動きベクトルが前記副映像信号或いは前記ＧＵＩ画像の表示位置およびその動き量から決定されることを特徴とする。

映像信号にオーバレイされる高度な副映像やＧＵＩ画像では、静止画像を映像フレーム内で時間的に移動さすることが可能な場合がある。第６の動画像再符号化装置では、オーバレイされる領域のマクロブロック位置に応じてオーバレイされる画像の動き量から最適な動きベクトルを算出することが可能となり、（ｂ）の既定の動きベクトルの値に最適な動きベクトル値に設定させることにより、符号化効率を向上させることが可能となる。

本発明に係る第７の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、前記符号化モード選択手段が前記副映像信号或いは前記ＧＵＩ画像信号の表示位置およびその動き量、前記復号化手段により得られた動画像信号の各マクロブロックに対する面積比およびミキシング比率の少なくとも一つを用いて前記符号化モードの選択を行うことを特徴とする。

第１乃至第４の動画像再符号化装置では、（ａ）前記符号化パラメータと同一の符号化パラメータを用いた符号化、（ｂ）既定の動きベクトルを用いた動き補償予測符号化、（ｃ）イントラ符号化のいずれかをマクロブロック毎に選択するため、例えば（ａ）の符号化における動き補償予測誤差電力、（ｂ）の符号化における動き補償予測誤差電力、および（ｃ）の符号化における符号化対象マクロブロックの信号電力等を算出し、それぞれを比較して最適モードを決定する必要がある。

ここで、第６の動画像再符号化装置では、（ａ）と（ｂ）の符号化モードの比較を誤差電力ではなくオーバレイ比率を用いて行い、そこで選択された符号化モードと（ｃ）のイントラ符号化とを予測誤差電力等を用いて比較する構成とすることができる。オーバレイ比率は、マクロブロック内に占めるオーバレイ画素の面積比および映像信号とのミキシングが施される場合は、そのミキシング比利率等から決定される。オーバレイ比率が閾値以上であれば、（ｂ）のモードを選択し、そうでなければ（ａ）のモードを選択する構成とすることができる。これにより、誤差および信号電力算出回数を各マクロブロック毎に３回から２回に削減することが可能となる。

本発明に係る第８の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、前記再符号化手段が前記復号化手段により得られた動画像信号の少なくとも一部に対して拡大或いは縮小の解像度変換を行う解像度変換手段と、前記解像度変換手段の変換比率に応じて、前記第１の符号化データより抽出された動きベクトル或いは前記既定の動きベクトルに対するスケーリングを施すスケーリング手段とを有し、前記符号化モード選択手段が前記スケーリングが施された後の動きベクトルを用いて前記符号化モードの選択を行うことを特徴とする。

復号後に解像度変換がなされて映像信号を再符号化出力をする場合、第１の符号化データの動きベクトルおよび符号化パラメータは、そのままでは使用かることができない。しかし、動きベクトル情報については、解像度変換比率に応じて適宜スケーリングすることにより、再符号化時に動きベクトル検出を行わなくとも、ほぼ適切な動きベクトルを得ることが可能となる。

本発明に係る第９の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、前記再符号化手段が前記復号化手段により得られた動画像信号の少なくとも一部に対して表示フレームレート或いは表示フィールドレートの変換を行うレート変換手段と、前記レート変換の変換比率に応じて、前記第１の符号化データより抽出された動きベクトル或いは前記既定の動きベクトルに対するスケーリングを施すスケーリング手段とを有し、前記符号化モード選択手段が前記スケーリングが施された後の動きベクトルを用いて前記符号化モードの選択を行うことを特徴とする。

復号化された映像信号に対して、フレーム或いはフィールドの間引き、繰り返し表示、補間等により、フレーム周波数やフィールド周波数の変換が行われた後に、再符号化し出力される場合、第１符号化データから抽出された動きベクトルおよび符号化パラメータをそのまま使用すると、画質劣化を引き起こす場合がある。これらのフレーム或いはフィールド周波数の変換に対応して、抽出された動きベクトルに対する、スケーリングを含む変換処理を施すことにより、上記画質劣化を抑えることが可能となる。

本発明に係る第１０の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、前記再符号化手段が前記復号化手段が持つ早送り、スロー、こま送りおよび一時停止の少なくとも一つを含む特殊再生機能に関連する再生パラメータに応じて、前記第１の符号化データより抽出された動きベクトルに対して変換を施す動きベクトル変換手段を有し、前記符号化モード選択手段が前記動きベクトル変換手段による変換後の動きベクトルを用いて前記符号化モードの選択を行うことを特徴とする。

特殊再生時には、インターレース画像の片フィールドを削除し、残ったフィールドを連続して表示する場合や、復号化するフレーム或いはフィールドの間引きや、復号化されたフレーム或いはフィールドの複数回表示等の処理が行われる。第１０の動画像再符号化装置では、これらの特殊再生処理に応じて動きベクトルの変換を行うことで、特殊再生画像を再符号化する際の画質劣化を抑制することが可能となる。

本発明に係る第１１の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、前記再符号化手段が前記第１の符号化データからフレーム或いはマクロブロック単位の符号化データを抽出するデータ抽出手段と、前記データ抽出手段により抽出された符号化データについて、少なくとも表示順序および表示フィールドの構成に関連するデータを含む所定のヘッダデータを変更するヘッダデータ変更手段と、前記第２の符号化データの一部を前記データ抽出手段により抽出されかつ前記ヘッダデータ変更手段により前記ヘッダデータが変更された符号化データに置き換えるデータ置き換え手段とを有することを特徴とする。

符号化画像フレームおよび符号化フレームに関連する参照画像フレームのそれぞれについて、復号後に何ら処理を加えられずに再符号化されるフレーム或いは領域については、第１の符号化データと同一の符号化パラメータを用いて再符号化することにより、再符号化に伴う画質の低下は、十分小さいものとなる。しかし、復号化処理あるいは再符号化処理における演算精度に起因する、丸め、リミッタ処理等の影響で、完全可逆とはならない場合がある。

第１１の動画像再符号化装置では、再符号化された第２の符号化データのうち、上記の様に映像信号に何ら処理が施されていない領域については、該当する第１の符号化データと置き換えて出力することで、演算精度に起因する僅かな画質劣化をも、完全に除去することが可能となる。また、特殊再生処理やフレームレート変換等の処理がなされている場合は、出力される符号化データの正当性を満たすために、必要に応じて、第１の符号化データのうち、ヘッダ領域の表示順序や表示フィールド構成を示す所定データの値を、適宜変更を行うことで、第１の符号化データを再符号化データとして出力することが可能となる。

本発明に係る第１２の動画像再符号化装置は、第１１の動画像再符号化装置において、前記符号化データ置き換え手段が前記第１の符号化データから抽出された動きベクトルと、前記副映像信号或いは前記ＧＵＩ画像信号の表示位置およびその動き量から、符号化データの置き換えをマクロブロック単位で行うことを特徴とする。

この第１２の動画像再符号化装置では、オーバレイ処理される領域と、復号化された動画像の各マクロブロックが動き補償予測符号化において参照する領域のいずれも特定することが可能である。これらの情報から、オーバレイ処理の影響を受けるマクロブロックと、受けないマクロブロックを判別することが可能となり、第１の符号化データをそのまま出力するか、或いは再符号化された第２の符号化データを出力するかを、マクロブロック毎に切り替えて再符号化出力することが可能となる。

本発明に係る第１３の動画像再符号化装置は、第１１の動画像再符号化装置において、前記符号化データ置き換え手段がインターレース動画像信号の早送り、スロー、こま送りおよび一時停止の少なくとも一つを含む特殊再生時には、第２の符号化データを選択して出力し、通常再生およびプログレッシブ動画像信号の特殊再生時には、前記データ抽出手段により抽出されかつ前記ヘッダデータ変更手段により前記ヘッダデータが変更された符号化データを選択して出力することを特徴とする。

ここで、インターレース動画像信号とは、フレーム内の偶数ラインと奇数ラインの映像がフレーム周期の半分の時間だけ離れた時刻の映像であるものであり、プログレッシブ動画像信号とは、フレーム内の偶数ラインと奇数ラインの映像が同時刻の映像であるものである。

スロー再生やこま送りでは、同一の映像フレームを繰り返し表示する処理が行われる。また、早送り再生においても、符号化データの転送レートに応じて、フレーム間引きと同一の映像フレームの繰り返し表示が組み合わせて行われる場合がある。このように、同一映像フレームが繰り返し表示される場合、インターレースされたフレームで、動きのある映像を表示する場合、偶数ラインと奇数ラインとで映像に動きがあるため、表示がギクシャクした動きをすることになる。通常は、偶数ラインまたは奇数ラインのいずれかを、選択して繰り返し表示することにより、表示をスムーズに行う処理が行われる。しかし、インターレースされた動画像信号の動き補償予測符号化データでは、片方のライン（すなわちフィールド）の映像のみを符号化データレベルで抽出することは困難である。

このような場合は、本発明に従い特殊再生処理後のベースバンド動画像信号を符号化して得られた第２の符号化データを出力することにより、滑らかな表示を実現することが可能となる。また、プログレッシブ画像ではフレーム内での映像の動きが存在しないため、第１の符号化データの並べ替えおよびヘッダデータの変更修正等により、特殊再生を実現することが可能となる。この両者を適応的に組み合わせて出力することにより、再符号化に伴う画質劣化を最小化し、且つ特殊再生時の画像の乱れも防ぐことが可能となる。

本発明に係る第１４の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、前記再符号化手段が前記第１の符号化データとは異なるフレーム間予測構造で再符号化を行うものであって、該再符号化時のフレーム間予測構造に応じて、前記第１の符号化データより抽出された動きベクトルに対するスケーリングを施す手段を有し、前記符号化モード選択手段が前記スケーリング後の動きベクトルを用いて前記符号化モードの選択を行うことを特徴とする。

このように再符号化部のコストや遅延時間を削減するために、再符号化時のフレーム間予測構造を第１の符号化データと異ならせた場合でも、第１の符号化データから抽出された動きベクトルを予測構造の違いを考慮してスケーリングすることで、再符号化時に新たに動きベクトルの検出を行うことなく、動き補償予測を用いた予測符号化による再符号化を行うことが可能となる。

本発明に係る第５の動画像再符号化装置は、第１乃至第４の動画像再符号化装置において、前記第１の符号化データにおける符号化フレームに対応した、前記復号化された映像フレーム或いは映像フィールドの境界に合わせて、前記オーバレイ処理される前記副映像信号或いは前記ＧＵＩ画像信号の表示を切り替える手段を有することを特徴とする。

オーバレイ処理後の映像信号を第１の符号化データと同一のフレーム構成で再符号化した場合、再符号化により得られた符号化データを復号化したとき、表示される副映像或いはＧＵＩ画像が不自然な時間変化を伴った映像の乱れを発生する場合がある。

第１５の動画像再符号化装置では、副映像信号或いはＧＵＩ画像の変化点を符号化フレームを構成するフィールドの境界にシフトすることにより、オーバレイ処理された映像信号を第１の符号化データと同一のフレーム構成で再符号化しても、再符号化されたデータを復号化した映像信号の表示時に副映像信号やＧＵＩ画像の時間的な乱れが発生することがなく、スムーズな映像を表示することが可能となる。

本発明によれば符号化された動画像データの復号時に動きベクトル、符号化モード、量子化ステップを含む符号化パラメータを抽出し、復号化されたベースバンド映像信号に対して、副映像或いはＧＵＩのオーバレイ等の処理を施し、処理が施されていないフレーム或いは領域については、抽出された符号化パラメータを用いて再符号化するか、あるいは、元の符号化データの一部を修正して出力し、オーバレイ処理等の施された領域については、各処理内容に応じて動きベクトルの変換および生成を行って再符号化することで、オーバレイ処理の自由度が高く、高画質で低コストな再符号化を実現することができる。

従って、本発明の動画像再符号化装置により、方式の異なるディジタル映像システム間のディジタル接続をスムーズに行うことが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。
［第１の実施形態］
図１に、本発明に係る第１の実施形態に係る動画像再符号化装置を含むシステムの構成を示す。このシステムは、従来のＤＶＤプレーヤ等のディジタル映像音声再生装置に、アナログ映像及びアナログ音声出力に加えて、ＩＥＥＥ１３９４バスへのディジタル出力インタフェースを持つ構成となっている。ここで、図中の破線２８で囲んだ部分が従来のディジタル映像音声再生装置に対して付加される再符号化部である。

光ディスク５０は例えばＤＶＤディスクであり、音声データ、符号化された動画像データ、副映像データ、ナビゲーションデータ等が多重化されて記録されている。この光ディスク５０から再生される信号はデータ分離器１０に入力され、音声データ５１、動画像データ５２、副映像データ５３、ナビゲーションデータ５４の各データが分離される。分離された各データ５１，５２，５３，５４は、バッファメモリ１１，１２，１３，１４をそれぞれ経由して、オーディオデコーダ１５、ビデオデコーダ１６、副映像デコーダ１７により復号化される。

ビデオデコーダ１６により動画像データを復号化して得られた動画像信号５６に対して、副映像デコーダ１７により副映像データを復号化して得られた副映像信号５７と、再生装置がＧＵＩ(Graphical User Interface)画像発生器２０によりユーザのオペレーション６０に対応して独自に発生させるＧＵＩ画像信号５９とが加算器１９を介して映像オーバレイ処理部（ＯＳＤ）１８によってオーバレイ（合成）処理される。

図３に、復号化により得られた動画像信号５６に対するオーバレイ画像の例を示す。図３（ａ）は動画像信号５６のフレーム（動画像フレーム）を示し、図３（ｂ）はオーバレイ後の動画像フレームを示している。図３（ｂ）における字幕部分１１１は、ビットマップ映像として符号化された副映像信号であり、副映像デコーダ１７により復号化されたものであって、ＤＶＤシステムでサブピクチャと呼ばれるものである。また、図３（ｂ）における時刻表示１１０は、光ディスク５０には記録されておらず、再生装置自体が発生する時刻を映像上にグラフィックとしてオーバレイしたものである。図１に説明を戻すと、オーディオデコーダ１５で音声データを復号化して得られた音声信号５５と、映像オーバレイ処理部１８でオーバレイ処理された動画像信号５８は、それぞれＤ／Ａ変換器２９，３０によりアナログ信号６１，６２に変換されて外部へ出力される。さらに、これらの音声信号５５とオーバレイ処理後の動画像信号５８は、それぞれオーディオエンコーダ２１、ビデオエンコーダ２２により再符号化される。この再符号化により得られた音声データおよび動画像データは、それぞれバッファメモリ２４，２５を経由して、多重化部２６によりトランスポートストリームに多重化され、さらにＩＥＥＥ１３９４インタフェース２７からディジタル出力される。

また、ビデオデコーダ１６からは、復号化と同時にマクロブロック毎の動きベクトル、符号化モード、量子化ステップ等の復号化前の動画像データ５２に含まれる符号化パラメータ６４が抽出され、この符号化パラメータ６４はデータメモリ３１に一時記憶される。ビデオエンコーダ２２には、データメモリ３１に一時記憶された符号化パラメータデータから、再符号化を行う画像フレームおよびマクロブロックに対応する符号化パラメータが読み出され、外部から与えられる既定の動きベクトル情報６５と共に入力される。

（ビデオエンコーダ２２の第１の構成例）
図２は、図１における再符号化のためのビデオエンコーダ２２の第１の構成例を示した図である。図中、図１と同一の符号を付与した構成要素は、図１と同一の構成要素を示している。このビデオエンコーダ２２は、ＭＰＥＧ２等に代表される動き補償予測直交変換符号化方式に基づいており、動き補償部７０、動き補償モード（符号化モード）およびＤＣＴタイプ決定部７２、ＤＣＴおよび量子化部７４、逆量子化および逆ＤＣＴ部７５、フレームメモリ２３、レート制御部７３、可変長符号化部７６から構成される。

このビデオエンコーダ２２は、通常のＭＰＥＧ２エンコーダ等の動画像符号化装置で必要な動きベクトル検出回路が無いことが特徴となっている。通常の動画像符号化装置では、マクロブロック毎に動きベクトルを検出するために、膨大なブロックマッチング演算を必要とする。一般に、動きベクトル検出回路が符号化装置全体に占めるハードウェアリソースは非常に高い比率を占めるが、ビデオエンコーダ２２ではこのようなハードウェア規模の大きい動きベクトル検出部が不要である。すなわち、本実施形態では復号化前の動画像データ５２から抽出した動きベクトル６４と、外部から与えられる既定の動きベクトル６５との両者を用いて動き補償を行う。

次に、動き補償モードおよびＤＣＴタイプ決定部７２により、それぞれの動き補償による予測誤差信号のパワーまたは大きさと、符号化対象画像信号のパワーまたは大きさから、動きベクトル６４，６５のいずれを用いるか、或いはイントラ符号化を行うかをマクロブロック毎に決定する。

次に、復号化前の動画像データ５２から抽出した動きベクトル６４による予測符号化が選択されたマクロブロックについては、後述するＤＣＴタイプを復号化前の動画像データ５２から抽出したＤＣＴタイプと一致させ、また、それ以外の場合は、最適なＤＣＴタイプの検出を行う。

レート制御部７３では、量子化部７４で使用するマクロブロック毎の量子化ステップの決定を行う。すなわち、まず復号化前の動画像データ５２から抽出した動きベクトル６４による予測符号化が選択されたマクロブロックについては、出力ビットレートの制約を受けない場合は、動画像データ５２から抽出した量子化ステップをそのまま利用し、出力ビットレートの制約を受ける場合は、所望のビットレートとなるように、発生符号量８０を参照して量子化ステップを決定する。また、外部からの既定の動きベクトル６５が選択された、或いはイントラ符号化が選択されたマクロブロックについては、出力ビットレートの制約を受けない場合は、動画像データ５２から抽出した量子化ステップ、または予め定められた所定の量子化ステップを用い、出力ビットレートの制約を受ける場合は、所望のビットレートとなるように、発生符号量８０を参照して量子化ステップを決定する。

（動画像再符号化装置の動作）
図４は、本実施形態に係る動画像再符号化装置の動作タイミング例を示している。ここでは、復号化および再符号化がいずれもＭＥＰＧ２に準拠しているものとする。図中のＩはイントラ符号化ピクチャ（Ｉピクチャ）、Ｐは前方予測符号化ピクチャ（Ｐピクチャ）、Ｂは双方向予測符号化ピクチャ（Ｂピクチャ）を示し、添え字の数字は、各フレームの表示される順序を示している。

図４において、参照符号１０１（Video DTS）は各フレームが復号化されるタイミングを示しており、その時刻はＤＴＳ（Decoding Time Stamp：復号時刻管理情報）として符号化データ中に記述されている。ＭＰＥＧ２では、Ｂピクチャのフレーム間予測のために、一般に符号化および復号化される順序と表示される順序が異なる。図４の例では、参照符号１０１（Video DTS）が各フレームの主映像が表示されるタイミングであり、その時刻はＰＴＳ（Presentation Time Stamp：再生出力時刻管理情報）として、符号化データ中に記述されている。ＭＰＥＧ２では、ＢピクチャのＰＴＳは同フレームのＤＴＳと一致し、ＩピクチャおよびＰピクチャのＰＴＳは、次に復号されるＩピクチャまたはＰピクチャのＤＴＳと一致する。

また、ＤＶＤでは主映像信号にマッピングされる副映像信号は表示順で復号され、その時刻ＤＴＳは副映像の表示時刻ＰＴＳと一致する。図４中の参照符号１０２（ＳＰ ＤＴＳ）は、各動画像フレームに対応する副映像信号の復号および表示のタイミングを示している。副映像信号は、復号と同時に主映像信号にオーバレイされる。図４中の参照符号１０３（ＯＳＤ）は、オーバレイ処理のタイミングを示している。

図４の例では、各動画像フレーム毎に対応する副映像信号がオーバレイ後の映像信号として復号および表示されているが、副映像フレームは全ての動画像フレームに対して存在していなくともよく、また、同一の副映像信号を一定時間繰り返して表示したり、或いは副映像信号内の一部をナビゲーション処理に従ってハイライトする等の処理も可能となっている。

アナログ映像信号の出力は、オーバレイ処理と同時に開始可能となり、従って図４中の参照符号１０４（Display(Analog)）がアナログ映像信号として表示されるタイミングを示している。

一方、オーバレイ処理後の映像信号をＩ，Ｐ，Ｂの各ピクチャタイプを含む第１の符号化と同様のパラメータで再符号化するためには、参照符号１００で示される復号順序と同様の順序で再符号化を行う必要がある。従って、最初に復号されるフレームＩ２が表示される時刻から再符号化を開始することが可能となる。図４中の参照符号１０５（Video Re-encoding）は、オーバレイ処理後の映像信号の再符号化タイミングを示している。再符号化された動画像データは、同様に再符号化された音声信号とともに多重化されて、ディジタルデータとして出力される。

図示しない受信側では、符号化されたディジタルデータについて送受信バッファ遅延および伝送路の遅延の後にデータの復号化が行われ、さらに復号化に伴うフレーム並べ替えが行われた後に表示が行われる。図４中の参照符号１０６（Video Re-decoding）が受信側での復号化タイミングを示し、また参照符号１０７（Display(Digital)）が表示されるタイミングを示している。

［第２の実施形態］
図５は、本発明に係る第２の実施形態に係る動画像再符号化装置を含むシステムの構成を示すブロック図である。図５において図１に示した第１の実施形態と同一の構成要素については、同一の参照符号を付与して第１の実施形態との相違点を説明する。

本実施形態の第１の実施形態との構成上の違いは、映像オーバレイ処理部１８の出力映像信号５８とフレームメモリ２３からの出力映像信号６６のいずれかを選択するセレクタ６７が付加され、符号化パラメータの一時記憶用のデータメモリ３１が除去され、また副映像データ５３およびナビゲーションデータ５４用のバッファメモリ３２，３３がＦＩＦＯ（First In First Out）メモリからＲＡＭ（ランダムアクセスメモリ）に変更されている点、および音声データ５１、動画像データ５１用のバッファメモリ１１，１２の容量が大きくなる点にある。

さらに、動作上の違いは、オーバレイ処理部１８の処理が第１の実施例のように表示されるフレームの順序ではなく、動画像データ５２が復号化されるフレームの順序でなされる点が異なる。

（動画像再符号化装置の動作）
以下、図６を用いて本実施形態の動作を説明する。

図６は、本実施形態の動作タイミングを示した図であり、第１の実施形態の動作タイミングを示した図４に対応する。図６において、参照符号１２０，１２１，１２２は、それぞれ図４の参照符号１００，１０１，１０２に対応する動画像データの復号化タイミング、動画像データの表示タイミング、副映像の復号化および表示のタイミングをそれぞれ示している。

第１の実施形態では、図４中に示したタイミング１００，１０１，１０２に従って、復号および表示がなされたのに対して、本実施形態では参照符号１２３〜１２６に示すタイミングで復号化および再符号化処理がなされて、アナログ映像像信号およびディジタル映像データが出力される。

まず、各動画像データの復号の開始は、本来のＤＴＳではなく、最初に復号される動画像フレームＩ２のＰＴＳのタイミングまで遅延させて行われる。復号開始時刻の遅延時間に応じて、光ディスク５０から読み出された動画像データ５２は、バッファメモリ１２に追加された容量分を利用して蓄積される。音声データ５１、副映像データ５３、ナビゲーションデータ５４も同様である。図６中の参照符号１２３が本実施形態における動画像データの復号化タイミングである。

次に、本来は表示されるフレーム順序でオーバレイ処理される副映像信号の復号化およびオーバレイ処理を動画像フレームが復号化される順序に従って行う。図６中の参照符号１２４は、副映像信号の復号化および復号化された動画像フレームに対するオーバレイ処理のタイミングを示している。副映像の復号化順序が本来の復号化順序と異なるため、副映像データ５３、ナビゲーションデータ５４は、バッファメモリ３２、３３からそれぞれ必要なデータをランダムアクセスして読み出される。

アナログ信号系６２へ送るアナログ映像出力６８は、オーバレイ処理された映像信号５８と、エンコーダ２２に入力されてフレームメモリ２３に記録された映像信号６６とをセレクタ６７で切り替えて出力する。セレクタ６７は、出力すべき動画像フレームがＢピクチャの場合は映像信号５８を選択し、ＩピクチャまたはＰピクチャの場合はフレームメモリ２３から読み出された映像信号６６を選択する。これにより、復号化順で出力される動画像信号５８を表示順に並べ替えてアナログ出力することが可能となる。図６中の参照符号１２５が、アナログ映像信号の出力タイミングを示している。

一方、オーバレイ処理部１８から復号化順で出力される映像信号５８は、再符号化部３４に入力され、入力された順序、すなわち復号化の順序で再符号化が行われる。再符号化用のエンコーダは２２は、第１の実施形態と基本構成は同じであり、第１の符号化データから抽出された符号化パラメータ６４、外部から与えられる既定の動きベクトル６５を用いてマクロブロック毎に適応的に符号化される。本実施形態では、復号化と同時に再符号化がなされるため、図１の符号化パラメータを一時記憶するためのデータメモリ３１は不要となる。また、再符号化のためのフレーム並べ替えが不要であるため、第１の実施形態で必要としたフレーム並べ替えのためのフレームメモリを必要とせず、さらに復号化開始からの遅延量を第１の実施形態より小さくすることが可能となる。図６中の参照符号１２７および１２８は、受信側で再符号化されたデータを入力して復号化および表示するタイミングを示している。

（フレーム／フィールド適応ＤＴＣおよびＤＣＴタイプについて）
図７は、直交変換の代表例として、ＭＰＥＧ２等で用いられているＤＣＴ（離散コサイン変換）のタイプを説明する図である。ＭＰＥＧ２では、フレーム内の１６画素×１６ラインから構成されるマクロブロックを８画素×８ラインから構成される４つの輝度ブロックと２つの色差ブロックに分割して、それぞれＤＣＴ処理する。ここで、輝度ブロックをフレームラインから構成されるブロックとするか、各フィールドのラインから構成されるブロックとするかが、マクロブロック毎に変更可能である。

このように輝度ブロックをフレームラインから構成されるブロックとするか、各フィールドのラインから構成されるブロックとするかをマクロブロック毎に変更することをフレーム／フィールド適応ＤＣＴと呼び、いずれのブロックを輝度ブロックとするかを示す情報をＤＣＴタイプという。図７（ａ）は、フレーム構成のマクロブロックを示しており、（ｂ）はフレームブロックへの分割、（ｃ）はフィールドブロックへの分割を示している。

上述した本発明に係る第１のおよび第２の実施形態において、第１の符号化データから抽出された動きベクトルを用いて再符号化されるマクロブロックについては、上述のＤＣＴタイプについても第１の符号化データから抽出されたＤＣＴタイプを用い、既定の動きベクトル、あるいはイントラ符号化が選択されたマクロブロックについては、いずれのＤＣＴタイプを用いるかを適応的に選択する構成となっている。これらのＤＣＴタイプの判断は、図２における動き補償モードおよびＤＣＴタイプ決定部７２によって行われる。ＤＣＴタイプの適応選択は、隣接するフレーム内でのライン間の相関と同一フィールド内の隣接するライン間の相関を算出し、フレーム内ライン相関が大きければフレームブロックのＤＣＴを、またフィールド内ライン相関が大きければフィールドブロックのＤＣＴをそれぞれ選択する構成となっている。

（既定の動きベクトルの与え方について）
次に、図１、図２および図５における既定の動きベクトル６５の指定方法について説明する。
既定の動きベクトルの第１の指定方法では、既定の動きベクトルとして大きさゼロのベクトルを与える。復号化された映像信号にオーバレイ処理される字幕等の副映像やＧＵＩ画像等は、一般に一定期間静止して表示される場合が多い。そのようなオーバレイ処理された領域は、第１の符号化データから抽出された動きベクトルよりも、動き量がゼロの動きベクトルによる予測符号化を行うことで、符号化効率が向上することになる。また、オーバレイ画像の表示あるいは非表示が切り替わるフレームでは、フレーム間の予測効率が一般に低下し、そのような部分では予測符号化ではなく、イントラ符号化を行えばよい。

従って、第１の符号化データから抽出された動きベクトルによる動き補償予測符号化、ゼロベクトルによる予測符号化、イントラ符号化の中から、最適なものをマクロブロック毎に選択することにより、オーバレイ処理がなされた場合でも、自動的に最適な符号化モードが選択されることになる。

既定の動きベクトルの第２の指定方法では、既定の動きベクトルがオーバレイ処理される画像の表示位置および動き量から決定される。前者は画面内のどの位置に副映像あるいはＧＵＩ画像がオーバレイされたかを示し、後者はオーバレイされた画像が時間的に動く場合の動き量を示している。

図８に、オーバレイ処理の時間変化の例を示す。図８では、時間の進行に伴い（ａ）→（ｂ）→（ｃ）の順で変化する。図８（ｂ）でオーバレイ表示が開始され、時刻１１０と字幕１１１の表示が行われる。字幕１１１は水平方向にスクロールし、図８（ｃ）のフレームでは字幕１１３，１１４に示されるように左に動く。時刻１１０，１１２の表示位置は固定であり、この位置に対応するマクロブロックの符号化では、既定の動きベクトル６５をゼロベクトルとする。また、スクロールする字幕１１１，１１３，１１４については、そのスクロール量を既定の動きベクトルとして与える。このようにすることで、時間的に平行移動を伴うオーバレイ画像についても、再符号化時の予測効率を向上させて、符号化効率を向上させることが可能となる。

（第２の動き補償モード判定方法について）
次に、図２の動き補償モードおよびＤＣＴタイプ判定部７２における第２動き補償モード判定方法について説明する。
動きモードの判定は、第１の符号化データから抽出された動きベクトル６４と既定の動きベクトル６５とから、より予測効率の高い動きベクトルを選択するものである。先の説明では、予測誤差のより小さくなるベクトルを用いる方式としたが、その場合、符号化対象マクロブロック画像の読み出し、それぞれの動きベクトルに応じた参照マクロブロック画像の読み出し、およびそれぞれの予測誤差の演算を行う必要がある。

一方、第２の動き補償モード判定方法では、各マクロブロック毎にマクロブロックに占めるオーバレイ画像の面積比および映像信号とのミキシング比率から、いずれの動きベクトルを用いるかの選択を行う。これにより、符号化モード決定のための演算量を削減することが可能となる。

図９は、符号化モード決定の例を説明する図である。図９において、１１１がオーバレイ処理される部分であり、１３０および１３１は再符号化時のマクロブロックの一部を拡大したものである。マクロブロック１３１は、大部分の画素がオーバレイ処理されるため、本来の映像信号がほとんど上書きされてしまう。このようなマクロブロックでは、第１の符号化データから抽出された動きベクトルよりも、オーバレイされる画像に合わせた既定の動きベクトルを用いる方が予測効率を向上させることが可能となる。

一方、マクロブロック１３０に示すように、マクロブロック内に占めるオーバレイ領域の比率が低い場合は、第１の符号化データから抽出された動きベクトルを用いることで、符号化効率を維持することが可能となる。また、オーバレイ処理が全く施されないマクロブロックについても、第１の符号化データから抽出された動きベクトルを用いる。

さらに、オーバレイ処理が画素の上書きではなく、復号化された映像信号とのミキシング処理である場合については、マクロブロック内のオーバレイ処理される面積とミキシング比率との積を用いて、動きベクトルの選択を決定する。

（動きベクトルスケーリング機能を有するビデオエンコーダ２２について）
図１０は、図１および図５におけるビデオエンコーダ２２の第２の構成例を示した図である。図１０で、図２と同一の符号は、図２と同一の構成要素を示している。

図２に示したビデオエンコーダ２２の第１の構成例との違いは、動きベクトル６４，６５に対する動きベクトルスケーリング部７７が付加された点にある。図１０のビデオエンコーダは、復号化部による動画像データの復号化およびオーバレイ処理に、映像信号の全部または一部が解像度変換、つまり拡大あるいは縮小されて出力される場合や、フレーム周波数（フレームレート）或いはフィールド周波数（フィールドレート）が変換されて出力される場合等に対応可能となっている。

すなわち、拡大あるいは縮小の解像度変換が施された動画像信号の再符号化に際しては、動きベクトル６４，６５も動きベクトルスケーリング部７７により映像の解像度変換の比率（拡大あるいは縮小比率）に対応してスケーリング処理されて用いられる。

図１１は、復号化およびオーバレイ処理された映像フレーム１４０の左下の部分を水平垂直ともに２倍にした拡大表示画像が出力される例である。映像フレーム１４０におけるマクロブロック１４２は、拡大された映像フレームでは４つのマクロブロック１４３として再符号化されることになる。この場合、マクロブロック１４２に対応した動きベクトルの値を水平、垂直方向ともに２倍にスケーリングし、スケーリングされた動きベクトルを４つのマクロブロック１４３それぞれに適応して再符号化する構成となる。

また、表示フレームレート或いは表示フィールドレートの変換が施された動画像信号の再符号化に際しては、入力される動きベクトル６４，６５も、動きベクトルスケーリング部７７により表示フレームレート或いは表示フィールドレートの変換比率に対応してスケーリング処理されて用いられる。

すなわち、図１２（ａ）に示す復号化された映像信号が１フレームずつ間引かれて図１２（ｂ）のように出力される場合等では、第１の符号化データから検出された動きベクトル２００，２０１のうち２０１を水平および垂直ともに２倍にスケーリングした動きベクトル２０２を用いて、図２２（ｂ）の映像信号の再符号化を行う。

（特殊再生について）
次に、本発明に係る第１のおよび第２の実施形態において、さらに早送り、逆再生、ポーズ、スロー再生等の特殊再生機能を有する場合の動作について説明する。

図１３は、早送り再生の例であり、符号化された動画像データから、Ｉピクチャの部分のみを抽出して、間欠的に復号化を行い、復号化を行わないタイミングではその直前に復号化されたフレームの映像を出力する。図１３では、Ｉピクチャが１５フレーム間隔で符号化されており、これを５フレーム周期で復号化することで、３倍速の早送り再生を実現している。図１３中の斜線を施した出力フレームでは、その直前に復号化したＩピクチャの映像を繰り返し出力する。この場合、再符号化に際しては、斜線を施したフレームは、Ｉピクチャではなく、Ｐピクチャとして再符号化することができる。本来Ｉピクチャであるために、一般に第１の符号化データが動きベクトル情報を持っていない。しかし、ゼロベクトルを用いた動き補償で予測誤差がゼロになるため、自動的にゼロベクトルの動き補償モードが選択されることになり、再符号化時の符号化効率が非常に高いものとなり、再符号化後の伝送ビットレートを低下させることが可能となる。

図１４は３倍速の逆再生の例であり、図１３の早送りと同様にＩピクチャのみ復号化し、その際に復号化するフレームの順序を時間的に逆にすることで、逆再生が行われる。

図１５はポーズ動作の例を示しており、図１５の例では、フレームＩ２の復号化後に同フレームを繰り返し表示することによりポーズ状態となる。この場合も、再符号化時には、図１３と同様に斜線を施したフレームは、Ｐピクチャとして再符号化し、ゼロベクトルによる予測符号化が自動選択される。

図１６は、別の早送り再生の実現方法を示している。図１６では、ＩピクチャおよびＰピクチャのみの符号化データを復号化して出力するものであり、図中の網掛けで示したフレームは、その直前のフレームの映像を繰り返して出力するものである。従って、図１６の例では１．５倍速のなだらかな早送り再生が実現できる。ここで、斜線を施したフレームについては、図１３と同様にゼロベクトルを用いたＰピクチャとして再符号化する。また、斜線を施していないフレームについては、第１の符号化データから抽出される動きベクトルおよび符号化パラメータを用いて再符号化することにより、符号化効率の低下を伴わずに再符号化することが可能である。

図１７は、スロー再生の実現例を示している。図１７の例では、全ての符号化された動画像データの復号化をフレーム周期の整数倍のタイミングで行い、復号化をしていない時は同一の表示フレームを繰り返し表示する。図１７中の斜線を施したフレームが繰り返し表示されるフレームである。ここでは、３フレーム毎に復号化を行い、１／３倍速のスロー再生が実現される。図１７でＯｕｔｐｕｔ１で示した信号がアナログ出力の映像信号となる。一方、スロー再生時の再符号化出力は、フレーム間予測の構造を考慮して、図１７のＯｕｔｐｕｔ２で示したフレーム構成となる。

ここで、Ｂ０やＢ１のフレームは、同一の動画像フレームを繰り返しＢピクチャとして再符号化しており、またＰ２＊はＩ２と同一の動画像フレームをＰピクチャとして再符号化したもので、そのとき参照画像と予測画像が一致するため、ゼロベクトルの動き補償予測符号化をすることにより、予測誤差信号は常にゼロとなり符号化効率の非常に高い符号化が行われる。Ｏｕｔｐｕｔ２として再符号化された動画像データは、受信側では通常の復号化手順に従ってフレームの並べ替えが行われ、Ｏｕｔｐｕｔ１と同様の１／３倍速の映像として再生される。

図１３〜図１７の再符号化時には、第１の符号化データから抽出された動きベクトル、またはゼロベクトルを用いた動き補償予測符号化を行い、フレームの繰り返し数に応じて、各符号化フレームの表示順を示すヘッダデータ（ＭＰＥＧ２では、temporal＿referenceと呼ばれる）の書き換えを行う。

また、ＭＰＥＧ２では３：２プルダウンと呼ばれる符号化フレームレートから表示フレームレートへの変換を行うレート変換部があり、各符号化フレームが３フィールド期間表示されるか、或いは２フィールド期間表示されるかを示すフラグ（ＭＰＥＧ２では、repeat＿first＿fieldと呼ばれる）と、各フレームがトップフィールドから表示されるか、或いはボトムフィールドから表示されるかを示すフラグ（ＭＰＥＧ２では、top＿field＿first）によって制御される。復号後の映像信号の表示では、トップフィールドとボトムフィールドが必ず交互に表示されるように、これらのフラグが正しく設定される必要がある。図１３〜図１７の例では、復号化されたフレームがさらに繰り返し表示されるため、その表示においてトップフィールドとボトムフィールドが必ず交互に表示されるように、上記のヘッダデータのフラグについても、繰り返しの表示構造に応じて適宜修正して書き換えを行う。

上記の特殊再生において、符号化された動画像データがインターレースされた映像である場合については、復号化された映像信号をそのまま上記の通り出力した場合、図１３〜図１７に示した繰り返しフレームの再生において、動きのぎくしゃくした映像となってしまう場合がある。なぜならば、インターレースされたフレームにおいては、同一フレームの第２フィールドは第１フィールドよりも１フィールド時間経過した映像であり、再び第１フィールドが繰り返して表示されると、表示される映像が過去の映像に戻り、時間が前後してしまうからである。通常は、このような動きの不自然さが出ないようにするため、同一フレーム内で第１フィールド或いは第２フィールドのうち一つのフィールド選択して、第１フィールドと第２フィールドで同一のフィールド画像を出力する方法がとられる。この場合、第１の符号化データの各マクロブロックと再符号化時の各マクロブロックとは必ずしも一致しなくなる。

このように、インターレース画像の特殊再生時に同一フィールドの繰り返しによりフレームを構成する場合は、図１８に示す方法を用いて再符号化を行う。図１８において、０，１，２，３はフィールド番号を示し、（ａ），（ｂ）および（ｃ），（ｄ）は、第１の符号化データのおける連続する符号化フレームを示している。また、（ａ’），（ｂ’）および（ｃ’），（ｄ）は、同符号化データを復号化した映像フレームの再符号化時の構成を示している。図１８（ａ）および（ｂ）のフレームは、インターレースフレームである。この場合、再符号化されるフレーム（ａ’）および（ｂ’）は、（ａ）および（ｂ）のトップフィールドである０および２をそれぞれ繰り返し表示したフィールドでフレームを構成する。

すなわち、復号化された映像フィールドは、０→１→２→３のフィールド順となるが、実際のアナログ表示および再符号化されるフィールドは０→０→２→２の順で構成される。この時、第１の符号化データが図１８（ａ）におけるフィールド２がフィールド０からの動き補償予測がなされている場合は、第１の符号化における動きベクトル２２０を用いて第２の符号化における動き補償予測符号化をフレームマクロブロックを単位として行う。つまり、図１８の再符号化時に用いられる動きベクトル２２３は、２２０のフィールドを単位とした動きベクトルをそのままフレームを単位とした動きベクトルに変換したものとなる。また、第１の符号化において、フィールド２がフィールド１からの動き補償予測による符号化がなされている場合、つまり図１８において動きベクトル２２１を用いて符号化がなされてる場合は、この動きベクトル２２１の値を垂直および水平方向にそれぞれ２倍にスケーリングして、再符号化のための動きベクトル２２３を生成する。これにより、１フィールド間隔の時間における動き量を示す動きベクトル２２１を１フレーム間隔の動き量を示す動きベクトル２２３に変換することが可能となる。

また、図１８の（ｃ）および（ｄ）のように、第１の符号化データがインターレースされていないフレーム画像（プログレッシブ画像）で、フレームマクロブロックによる動き補償がなされている場合は、再符号化においても第１の符号化データの動きベクトル２２２をそのまま再符号化時の動きベクトル２２４として用い、またフィールド構成も第１の符号化データの０、１、２、３と同様にして再符号化を行う。

さらに、上記の各特殊再生処理のように、ぎくしゃくした動きを防ぐために、同一フィールドの繰り返しによるフレームを構成する場合、フレーム内の垂直相関が高くなるため、ＤＣＴタイプとしては常にフレームブロックを輝度ブロックとするＤＣＴを選択することで、符号化効率を向上させることが可能となる。

［第３の実施形態］
図１９は、本発明に係る第３の実施形態に係る動画像再符号化装置のシステム構成を示す図である。図中、図１および図２と同一の符号を付与した構成要素は図１および図２の構成要素と同一のものであるため、説明を省略する。

本実施形態の第１および第２の実施形態との特徴的な違いは、再符号化部２８において、第１の符号化データ１５０を入力して変換処理する変換処理部１５１と、ビデオエンコーダ２２から出力なされる符号化データと変換処理部１５１からの変換処理後の第１の符号化データとを選択するセレクタ１５２が付加され、このセレクタ１５２の出力が再符号化により得られた動画像データとして出力される構成となっている点である。

すなわち、本実施形態では第１の符号化データを復号化して得られた映像信号に対して何ら処理を施さずにアナログ出力する場合は、この映像信号を再符号化した符号化データではなく、対応する第１の符号化データをそのまま出力し、また、オーバレイ処理や特殊再生のために、復号化により得られた映像信号に処理が施されている場合は、この処理後の映像信号を再符号化した符号化データを選択して出力する構成となっている。

また、出力する符号化データの切り替えは、フレーム単位またはマクロブロック単位に行う。マクロブロック単位の切り替えでは、符号化対象マクロブロックおよび同マクロブロックの動き補償予測の参照画像領域がオーバレイ処理の影響を受けない場合は、対応する第１の符号化データをそのまま出力し、それ以外の場合は、再符号化により得られた動画像データを選択する。

さらに、図１３〜図１７に示した特殊再生処理において、同一フィールドの繰り返しによるフレームの生成がなされない場合は、再符号化された動画像データではなく、第１の符号化データを用いて、上述した表示順序やフィールド構成に関連するヘッダ領域のデータの書き換えをデータ変換処理部１５１で行い、それを出力する。

図２０のフローチャートに、本実施形態における図１９中のセレクタ１５２の動作を示す。すなわち、特殊再生（トリック再生）である場合で（ステップＳ１でＹｅｓ）、インターレースされていないフレーム、つまりプログレッシブフレームであって（ステップＳ２でＹｅｓ）、復号化された映像信号に対して、オーバレイ等の画素処理がなされていない場合（ステップＳ３でＹｅｓ）、或いは通常再生で復号化された映像信号にオーバレイ等の画素処理がなされていない場合は、第１の符号化データ（ストリーム処理出力）を選択して出力し（ステップＳ４）、その他の場合（ステップＳ２でＮｏまたはステップＳ３でＮｏ）は、再符号化された符号化データを選択して出力する（ステップＳ５）。

（フレーム間予測構造に応じた動きベクトルスケーリングについて）
図２１に、本発明の実施形態に係る再符号化時のフレーム間予測構造に応じた動きベクトルスケーリングの例を示す。図２１（ａ）は、第１の符号化データにおけるフレーム間予測構造を示しており、Ｉ０，Ｂ１，Ｂ２，Ｐ３，…は、それぞれフレーム構造のＩピクチャ、Ｂピクチャ、Ｐピクチャを表示順に表わしている。図２１（ｂ）は、フレーム構造のＩピクチャおよび連続するフレーム構造のＰピクチャを用いた再符号化時のフレーム間予測構造を示している。さらに、図２１（ｃ）は、フィールド構造のＩピクチャおよび連続するフィールド構造のＰピクチャを用いた再符号化のフィールド間予測構造を示している。図中５００〜５２１で示した矢印は、第１の符号化および再符号化の動きベクトルを示しており、矢印の始点は符号化対象画像であり、矢印の終点が参照画像となる。

本実施形態では、図２１（ａ）のフレーム構造のＩピクチャ、ＰピクチャおよびＢピクチャの組み合わせで動画像信号を符号化して得られた第１の符号化データの復号化を行い、この復号化により得られた動画像信号を図２１（ｂ）または（ｃ）に示した予測構造で再符号化することにより、再符号化時のフレーム並べ替えが不要となる。従って、再符号化におけるフレーム並べ替えのためのフレームメモリを必要とせず、また再符号化の遅延量を小さくすることが可能となる。

さらに、図２１（ｃ）の例では、フィールド構造のピクチャによる符号化を行っているため、フィールド／フレーム変換のためのフィールドメモリや再符号化時の遅延量をさらに削減することが可能となる。

ただし、図２１（ｂ）や（ｃ）ではフレーム間予測構造が第１の符号化データと異なるため、第１の符号化データから抽出された動きベクトル５００〜５０５は、そのまま再符号化時に用いることができない。しかし、第１の符号化データから抽出された動きベクトルを予測構造の違いを考慮してスケーリングすることにより、再符号化時にも利用することが可能となる。

図２１（ｂ）において、Ｐ１，Ｐ２，Ｐ３のフレームはそれぞれ図２１（ａ）のＢ１，Ｂ２，Ｐ３に対応しており、動きベクトル５１０としては第１の符号化データの動きベクトル５００をそのまま用いることができる。また、動きベクトル５１１，５１２としては、第１の符号化データの動きベクトル５０１，５０２をそれぞれ１／２倍および１／３倍にスケーリングしたものを用いることが可能となる。

また、図２１（ｃ）のようにフィールド構造の予測符号化では、ＭＰＥＧ２符号化の場合、直前の同相フィールドまたは逆相フィールドのいずれかを参照画像として用いることが可能である。ここで、ｉ０およびｐ１は図２１（ａ）のＩ０のフレームを構成するフィールドに対応し、またｐ２およびｐ３は図２１（ｂ）のＢ１を構成するフィールドに対応する。従って、動きベクトル５２０としては第１の符号化データの動きベクトル５００を利用することができ、また動きベクトル５２１としては、第１の符号化データの動きベクトル５００を１／２倍にスケーリングしたものを利用することが可能となる。

すなわち、再符号化部のコストや遅延時間を削減するために、再符号化時のフレーム間予測構造が第１の符号化データと異なる場合でも、第１の符号化データから抽出された動きベクトルを予測構造の違いを考慮してスケーリングすることで、再符号化時に新たに動きベクトルの検出を行わなくとも、動き補償予測を用いた予測符号化による再符号化を行うことが可能となる。

（副映像信号或いはＧＵＩ画像の表示切り替えについて）
次に、本発明の実施形態に係る副映像信号或いはＧＵＩ画像の表示切り替え方法について説明する。
フレームレート２４Ｈｚの映画を標準テレビのフレームレート２９．９７Ｈｚのインターレース画像として表示する手法として、３：２プルダウンと呼ばれる手法がある。３：２プルダウンは、映画の１フレームを各フレーム毎に３フィールド期間表示するか、２フィールド期間表示するかを交互に切り替えることにより、フレームレート２９．９７Ｈｚで表示することを可能としている。３フィールド期間の表示では、３フィールド目に表示される映像は、同一フレーム内の先頭フィールドを繰り返して表示したものとなる。ＭＰＥＧ２符号化では、３：２プルダウンに対応した符号化が可能となっている。つまり、映画等の符号化において、フレームレート２４Ｈｚのフレーム画像を単位とした符号化を行い、その符号化フレームが３フィールド期間表示されるフレームか、或いは２フィールド期間表示されるフレームかを符号化データ中のフラグで示し、復号化装置内で符号化フレームレート２４Ｈｚから表示フレームレート２９．９７Ｈｚへと変換される。

図２２は、本発明の実施形態に係る副映像信号或いはＧＵＩ画像の表示切り替えの例を示す図である。図２２（ａ）は表示フィールド番号を示しており、（ｂ）は３：２プルダウン処理に対応した符号化フレームの構成を示している。図２２の例では、フィールド０、１で構成されるフレームが最初の符号化フレームとなり、フィールド２，３，４で構成されるフレームが２番目の符号化フレームとなる。ここで、フィールド４は符号化時に削除され、復号化後はフィールド２が繰り返しフィールド４のタイミングで表示されるものとなる。図２２（ｂ）で点線で示したフィールドは、３：２プルダウンによりリピートされたフィールドであり、図２２（ｃ）が復号化後のフィールド構成となる。

図２２（ｄ）は、副映像信号またはＧＵＩ画像の切り替えタイミングを示したものであり、この例ではフィールド０からフィールド７までは第１の副映像またはＧＵＩ画像が静止表示され、またフィールド８からフィールド１６までは第２の副映像またはＧＵＩ画像が静止表示される。ここで、副映像信号またはＧＵＩ画像信号の切り替えとは、表示自体のオン・オフや、映像信号とのミキシング比率を段階的に変化させて、副映像またはＧＵＩ画像をフェード表示する場合のミキシング比率の変化点などを意味する。

図２２（ｄ）の例では、フィールド７の時刻では第１の副映像またはＧＵＩ画像がオーバレイ表示され、また、フィールド９の時刻では第２の副映像またはＧＵＩ画像がオーバレイ表示される。従って、本来フィールド７の映像と同一の映像が表示されるフィールド９の映像が、オーバレイ処理後には、フィールド７の時刻の映像と一致しなくなる。

このオーバレイ処理後の映像信号を第１の符号化データと同一のフレーム構成で再符号化した場合、つまり、フィールド９の時刻の映像をフィールド７の映像の繰り返しとみなして再符号化した場合、再符号化により得られた符号化データを復号化したとき、表示される副映像或いはＧＵＩ画像は、図２２（ｅ）の順序で表示されることになり、不自然な時間変化を伴った映像の乱れを発生することになる。

一方、図２２（ｆ）または（ｇ）に示すように、副映像信号またはＧＵＩ画像の変化点を図２２（ａ）で示した符号化フレームを構成するフィールドの境界にシフトすれば、オーバレイ処理された映像信号を第１の符号化データと同一のフレーム構成で再符号化しても、再符号化されたデータを復号化した映像信号の表示時に副映像信号またはＧＵＩ画像の時間的な乱れが発生することがなく、スムーズな映像を表示することが可能となる。

本発明の第１の実施形態に係る動画像再符号化装置を含むシステムの構成を示すブロック図 同実施形態における再符号化のためのビデオエンコーダの構成例を示すブロック図 グラフィックスオーバレイ画像の例を示す図 同実施形態に係る動画像再符号化装置の動作タイミング例を示す図 本発明の第２の実施形態に係る動画像再符号化装置を含むシステムの構成を示すブロック図 同実施形態に係る動画像再符号化装置の動作タイミング例を示す図 ＭＰＥＧに関するＤＣＴタイプを説明する図 グラフィックスオーバレイ画像の例を示す図 グラフィックスオーバレイ画像の例を示す図 本発明における再符号化のためのビデオエンコーダの他の構成例を示すブロック図 グラフィックスオーバレイ画像の例を示す図 フレームレート変換に伴う動きベクトルスケーリングの例を示す図 本発明に係る早送り再生の例を示す図 本発明に係る早送り逆再生の例を示す図 本発明に係るポーズ再生の例を示す図 本発明に係る早送り再生の例を示す図 本発明に係るスロー再生の例を示す図 本発明に係わる動きベクトルスケーリングの例を示す図 本発明の第３の実施形態に係る動画像再符号化装置を含むシステムの構成を示すブロック図 本発明の第２の実施形態に係る制御フローチャートを示す図 本発明の実施形態に係る動きベクトルスケーリングの例を示す図 本発明の実施形態に係る副映像信号或いはＧＵＩ画像の表示切り替えの例を示す図

符号の説明

１０…データ分離部
１１…音声データバッファメモリ
１２…動画像データバッファメモリ
１３…副映像データバッファメモリ
１４…ナビゲーションデータバッファメモリ
１５…オーディオデコーダ
１６…ビデオデコーダ
１７…副映像デコーダ
１８…映像オーバレイ処理部
２０…ＧＵＩ画像信号発生部
２１…オーディオエンコーダ
２２…ビデオエンコーダ
２３…フレームメモリ
２４…音声データバッファメモリ
２５…動画像データバッファメモリ
２６…多重化部
２７…ＩＥＥＥ１３９４インタフェース
２８…再符号化部
２９…音声信号用Ｄ／Ａ変換器
３０…映像信号用Ｄ／Ａ変換器
５０…光ディスク装置
６７…映像信号セレクタ
７０…動き補償部
７２…動き補償モードおよびＤＣＴタイプ決定部
７３…レート制御部
７４…ＤＣＴおよび量子化部
７５…逆量子化および逆ＤＣＴ部
７６…可変長符号化部
１５１…動画像データ変換部
１５２…動画像符号化データセレクタ

Claims (9)

1. 動画像信号を動き補償予測符号化して得られた第１の符号化データを復号化して動画像信号を得る復号化手段と、
   前記第１の符号化データから、少なくとも動きベクトルおよび符号化モードの情報を含む符号化パラメータを抽出する符号化パラメータ抽出手段と、
   前記復号化手段により得られた動画像信号の映像フレーム或いは映像フィールドに対応して副映像信号或いはＧＵＩ画像信号を生成する手段と、
   前記映像フレーム或いは映像フィールドに対して前記副映像信号或いは前記ＧＵＩ画像信号のオーバレイ処理を順次施す手段と、
   前記オーバレイ処理が施された映像フレーム或いは映像フィールドを再符号化して第２の符号化データを得る再符号化手段とを具備し、
   前記再符号化手段は、（ａ）前記抽出された符号化パラメータ中の動きベクトルを用いた第１の動き補償予測符号化モードにおける動き補償予測誤差の大きさ、（ｂ）外部から与えられる動きベクトルを用いた第２の動き補償予測符号化モードにおける動き補償予測誤差の大きさ、および（ｃ）イントラ符号化モードにおける符号化対象マクロブロックの信号の大きさを比較し、その比較結果に従って前記第１動き補償予測符号化モード、第２の動き補償予測符号化モードおよび前記イントラ符号化モードのいずれか一つの符号化モードをマクロブロック毎に選択する符号化モード選択手段を有し、選択した符号化モードに従って前記再符号化を行うことを特徴とする動画像再符号化装置。
2. 前記再符号化手段は、前記符号化パラメータ抽出手段により抽出された符号化パラメータを一時記憶する記憶手段をさらに有し、前記第１の動き補償予測符号化モードでは該記憶手段に記憶された前記符号化パラメータ中の動きベクトルを用いて前記再符号化を行うことを特徴とする請求項１記載の動画像再符号化装置。
3. 前記副映像信号或いはＧＵＩ画像信号を生成する手段は、前記復号化手段により得られた動画像信号の映像フレーム或いは映像フィールドの復号化順序に対応して前記副映像信号或いはＧＵＩ画像信号を生成し、前記再符号化手段は、前記オーバレイ処理が施された映像フレーム或いは映像フィールドを前記復号化順序に従って再符号化することを特徴とする請求項１記載の動画像再符号化装置。
4. 前記符号化パラメータ抽出手段は、前記第１の符号化データから前記符号化パラメータとしてさらにフレーム／フィールド適応直交変換タイプを抽出し、
   前記再符号化手段は、フレーム／フィールド適応直交変換手段を有し、前記符号化モード選択手段により（ａ）前記符号化パラメータと同一の符号化パラメータを用いた符号化モードが選択されたマクロブロックについては前記第１の符号化データから抽出されたフレーム／フィールド適応直交変換タイプを選択し、前記符号化モード選択手段により（ｂ）既定の動きベクトルを用いた動き補償予測符号化、および（ｃ）イントラ符号化のいずれかの符号化モードが選択されたマクロブロックについては最適なフレーム／フィールド適応直交変換タイプを選択して、前記フレーム／フィールド適応直交変換手段によりそれぞれ直交変換を施すことを特徴とする請求項１乃至３のいずれか１項記載の動画像再符号化装置。
5. 前記外部から与えられる動きベクトルは、ゼロベクトルであることを特徴とする請求項１記載の動画像再符号化装置。
6. 前記外部から与えられる動きベクトルは、前記副映像信号或いは前記ＧＵＩ画像信号の表示位置およびその動き量から決定されることを特徴とする請求項１記載の動画像再符号化装置。
7. 動画像信号を動き補償予測符号化して得られた第１の符号化データを復号化して動画像信号を得る復号化手段と、
   前記第１の符号化データから、少なくとも動きベクトルおよび符号化モードの情報を含む符号化パラメータを抽出する符号化パラメータ抽出手段と、
   前記復号化手段により得られた動画像信号の映像フレーム或いは映像フィールドに対応して副映像信号或いはＧＵＩ画像信号を生成する手段と、
   前記映像フレーム或いは映像フィールドに対して前記副映像信号或いは前記ＧＵＩ画像信号のオーバレイ処理を順次施す手段と、
   前記オーバレイ処理が施された映像フレーム或いは映像フィールドを再符号化して第２の符号化データを得る再符号化手段とを具備し、
   前記再符号化手段は、前記副映像信号或いは前記ＧＵＩ画像信号の表示位置およびその動き量、前記復号化手段により得られた動画像信号の各マクロブロックに対する面積比およびミキシング比率の少なくとも一つを用いて（ａ）前記抽出された符号化パラメータと同一の符号化パラメータを用いた符号化、（ｂ）既定の動きベクトルを用いた動き補償予測符号化、および（ｃ）イントラ符号化のいずれかの一つの符号化モードをマクロブロック毎に選択する符号化モード選択手段を有することを特徴とする動画像再符号化装置。
8. 前記再符号化手段は、前記第１の符号化データからフレーム或いはマクロブロック単位の符号化データを抽出するデータ抽出手段と、前記データ抽出手段により抽出された符号化データについて、少なくとも表示順序および表示フィールドの構成に関連するデータを含む所定のヘッダデータを変更するヘッダデータ変更手段と、前記第２の符号化データの一部を前記データ抽出手段により抽出されかつ前記ヘッダデータ変更手段により前記ヘッダデータが変更された符号化データに置き換えるデータ置き換え手段とを有し、前記符号化データ置き換え手段は、前記第１の符号化データから抽出された動きベクトルと、前記副映像信号或いは前記ＧＵＩ画像信号の表示位置およびその動き量から、符号化データの置き換えをマクロブロック単位で行うことを特徴とする動画像再符号化装置。
9. 前記オーバレイ処理される前記副映像信号或いは前記ＧＵＩ画像信号の変化点を、前記第１の符号化データにおける符号化フレームに対応する、前記復号化された映像フレーム或いは映像フィールドの境界にシフトする手段をさらに具備することを特徴とする請求項１乃至８のいずれか１項記載の動画像再符号化装置。

Images