JP2011147189A - トランスコード装置及びトランスコード方法 - Google Patents

Abstract

【課題】回路規模を増加させずに画質の劣化を防いで、ＭＰＥＧ２規格の圧縮画像をＨ．２６４規格の圧縮画像に変換するトランスコード装置及びトランスコード方法を提供する。
【解決手段】トランスコード装置は、トランスコーダ（１０４）を有する。トランスコーダは、ＭＰＥＧ２のビデオストリームをデコードすると共に、復号したビデオストリームに逆周波数変換を行って差分データを生成するＭＰＥＧ２デコーダ（２６２）と、差分データを記憶する差分値メモリ（２６１）と、デコードされたＭＰＥＧ２ビデオストリームのマクロブロックのヘッダ情報、マクロブロック情報及び動きベクトル情報をＨ．２６４のマクロブロックのヘッダ情報、マクロブロック情報及び動きベクトル情報に変換する情報変換部（２０４）と、変換された各情報に基づいて、前記差分データをＨ．２６４ビデオストリームにエンコードするＨ．２６４エンコーダ（２６３）と、を有する。
【選択図】図２６

Description

本発明は、ＭＰＥＧ２規格で圧縮された画像データをＨ．２６４規格で圧縮された画像データに変更するトランスコード装置及びトランスコード方法に関する。

近年、画像の圧縮において、Ｈ．２６４規格が採用されるようになってきている。Ｈ．２６４規格は、従来から広く用いられていたＭＰＥＧ２規格に比べて、マクロブロックをより細かく分割できるため、動き補償の精度が高い。また、Ｈ．２６４規格は、空間相関を利用するためのイントラ予測モードを備えている。さらに、Ｈ．２６４規格は、算術符号化方式など、新たな圧縮ツールを多く採用している。これらのことから、Ｈ．２６４規格は、ＭＰＥＧ２規格に比べて、２倍以上の高圧縮を実現している。そのため、ストリームを記憶する記憶装置の容量を有効に利用するために、放送などで使われているＭＰＥＧ２規格で圧縮されたストリームをＨ．２６４で再度圧縮するトランスコード装置の実現が求められている。

画像圧縮の分野において、ある規格から別の規格に変換する技術は、従来から提案されている。例えば、マクロブロックをさらに小さなサブブロックに分割できるＭＰＥＧ４規格から、マクロブロックをさらに小さなサブブロックに分割できないＭＰＥＧ１規格に変換する技術が特許文献１に開示されている。図３３（ａ）〜（ｄ）に、特許文献１の変換例を示す。特許文献１では、ＭＰＥＧ４において４分割されたサブブロックのそれぞれの動きベクトルのうち、最も有効と判断される１つの動きベクトルを選び出して、ＭＰＥＧ１のマクロブロックの動きベクトルとして用いている。例えば、図３３（ａ）では左上のサブブロック３３ａの動きベクトルが選択され、図３３（ｂ）では右上のサブブロック３３ｂの動きベクトルが選択され、図３３（ｃ）では左下のサブブロック３３ｃの動きベクトルが選択され、図３３（ｄ）では右下のサブブロック３３ｄの動きベクトルが選択されている。このように、サブブロック毎にある動きベクトルの中から、いずれか１つの動きベクトルを採用することにより、ＭＰＥＧ４からＭＰＥＧ１にマクロブロックを変換している。

また、ＭＰＥＧ２規格からＨ．２６３規格に変換する技術が特許文献２に開示されている。特許文献２のトランスコード装置は、ＭＰＥＧ２規格からＨ．２６３規格に変換する際に、画像の大きさを変更すると共に、ＭＰＥＧ２の動きベクトルをスケーリングしている。

特開２００５−１２５２７号公報 特許第２９３３５６１号公報

特許文献１は、変換前の規格の動きベクトルを変換後の動きベクトルとして利用しているが、利用できる動きベクトルはサブブロックのうち１つのサブブロックに対する動きベクトルである。動きベクトルが選ばれたサブブロックは、変換後も同一の動きベクトルを利用できるが、動きベクトルが選ばれなかったサブブロックは、変換前と変換後で異なる動きベクトルを利用することになる。よって、画質の劣化が激しくなるという問題があった。

特許文献２に示される変換は、変換前の規格と変換後の規格との間に、同一のマクロブロックの分割サイズが存在する場合は適用できる。しかしながら、変換前の規格と変換後の規格との間に同一のマクロブロックの分割サイズが存在しない場合、動きベクトルをスケーリングするだけでは、その動きベクトルを変換後の動きベクトルして適用できないという問題があった。

このように、従来の技術においては、分割サイズの違いにより、変換前の規格の動きベクトルを、変換後の動きベクトルとして十分に利用することができない場合があった。ＭＰＥＧ２規格とＨ．２６４規格との間には、マクロブロックの構造や参照モードの違いにより、マクロブロックの分割サイズが異なる場合がある。そのため、従来の技術をＭＰＥＧ２規格からＨ．２６４規格への変換に適用しても、変換後の画質が劣化するという問題があった。画質の劣化を抑えるためには、広範囲の画面において、マクロブロックの多様な構造やそれぞれの参照モードに対する動き検出処理を行う必要が生じる。この場合、演算量が増加する。そのため、回路規模が増加し、コストが増大する。

本発明は、回路規模を増加させずに、画質の劣化を防いで、ＭＰＥＧ２規格の圧縮画像をＨ．２６４規格の圧縮画像に変換するトランスコード装置及びトランスコード方法を提供することを目的とする。

本発明は、符号化された画像データの符号化規格の変換を行うトランスコード装置である。本発明のトランスコード装置は、第１の符号化規格で符号化されたデータを復号すると共に、復号したデータに逆周波数変換を行って差分データを生成する復号部と、差分データを記憶するメモリと、復号部からピクチャ構造に関する情報とマクロブロックの参照に関する情報とを入力し、ピクチャ構造に関する情報とマクロブロックの参照に関する情報とを第２の符号化規格のピクチャ構造に関する情報とマクロブロックの参照に関する情報とに変換する変換部と、変換部により変換されたピクチャ構造に関する情報とマクロブロックの参照に関する情報とを用いて、メモリの差分データを第２の符号化規格で符号化する符号化部と、を備える。

ここで、「ピクチャ構造に関する情報」とは、実施形態の「ヘッダ情報」に相当する。「マクロブロックの参照に関する情報」とは、実施形態の「マクロブロック情報」及び「動きベクトル情報」に相当する。

上記変換部は、第１の符号化規格のピクチャ構造がフィールド構造の場合は、第２の符号化規格のピクチャ構造をフィールド構造に変換し、第１の符号化規格のピクチャ構造がフレーム構造の場合は、第２の符号化規格のピクチャ構造をフレーム構造でかつＭＢＡＦＦ構造に変換してもよい。

上記変換部は、第１の符号化規格のフレーム構造について、垂直方向に隣接する２つのマクロブロックがフレーム参照とフィールド参照の場合に、第２の符号化規格の１６×８参照となる２つのマクロブロックのフィールドＭＢペアに変換してもよい。

上記変換部は、第１の符号化規格のフレーム構造について、垂直方向に隣接する２つのマクロブロックがイントラマクロブロックとフィールド参照の場合に、イントラマクロブロックをインターマクロブロックに変換し、第２の符号化規格の１６×８参照となる２つのマクロブロックのフィールドＭＢペアに変換してもよい。

上記変換部は、イントラマクロブロックを参照画像に対する重みを０とするインターマクロブロックに変換してもよい。

上記変換部は、動きベクトルがｐＭＶと等しいインターマクロブロックに変換してもよい。

本発明のトランスコード方法は、第１の符号化規格で符号化されたデータを復号する復号ステップと、復号ステップにより逆周波数変換が行われた後の差分データを記憶する記憶ステップと、復号ステップにより得られた、ピクチャ構造に関する情報とマクロブロックの参照方法に関する情報とを、第２の符号化規格のピクチャ構造に関する情報とマクロブロックの参照方法に関する情報とに変換する変換ステップと、変換ステップにより変換されたピクチャ構造に関する情報とマクロブロックの参照に関する情報とを用いて、記憶ステップにより記憶された差分データを第２の符号化規格で符号化する符号化ステップと、を備える。

本発明は、回路規模を増加させずに、画質の劣化を防いで、ＭＰＥＧ２規格の圧縮画像をＨ．２６４規格の圧縮画像に変換するトランスコード装置及びトランスコード方法を実現できる。

具体的には、本発明のトランスコード装置及びトランスコード方法は、ＭＰＥＧ２で符号化されたストリームのマクロブロックの分割方法や参照モードに応じて、ＭＰＥＧ２で符号化されたストリームのマクロブロックの分割方法や参照モードをＨ．２６４のマクロブロックの分割方法や参照モードに変換する。これにより、ＭＰＥＧ２ストリームの動きベクトル情報をそのままの形で利用できる。よって、画質の劣化を防ぐことができる。さらに、演算量が大きい動き検出処理が不要になるため、回路規模を削減して、低コストを実現できる。

また、本発明の他のトランスコード装置及びトランスコード方法によれば、第１の符号化規格で符号化されたデータに対して逆周波数変換を行った後の差分データを記憶し、変換手段において変換されたＨ．２６４のマクロブロックの分割方法や参照モードによって、記憶した差分データを第２の符号化規格で符号化している。これにより、参照画像を用いることなく、動きベクトルの簡単な変換でトランスコードすることができる。よって、画質の劣化を防ぐことができる。さらに、回路規模を削減して、低コストを実現できる。

本発明の実施形態１におけるトランスコード装置の構成図 本発明の実施形態１におけるトランスコーダの構成図 本発明の実施形態１におけるＭＰＥＧ２デコーダの構成図 本発明の実施形態１における情報変換部の構成図 本発明の実施形態１におけるＨ．２６４エンコーダの構成図 （ａ）はＭＰＥＧ２におけるマクロブロックへの分割の概略を示す図、（ｂ）はＨ．２６４におけるマクロブロックへの分割の概略を示す図 ＭＰＥＧ２の参照モードの一覧を示す図 Ｈ．２６４の参照モードの一覧を示す図 Ｈ．２６４のＭＢＡＦＦ構造の参照モードの一覧を示す図 本発明の実施形態１におけるＭＰＥＧ２フィールド構造の参照モードの分類を示す図 本発明の実施形態１におけるＭＰＥＧ２フィールド構造のマクロブロックの分割パターン及び参照モードを示す図 本発明の実施形態１におけるＭＰＥＧ２フィールド構造のピクチャ間の参照関係を示す図 本発明の実施形態１におけるＨ．２６４フィールド構造のマクロブロックの分割パターン及び参照モードを示す図 本発明の実施形態１におけるＨ．２６４フィールド構造のピクチャ間の参照関係を示す図 本発明の実施形態１におけるＭＰＥＧ２フレーム構造の参照モードの分類を示す図 本発明の実施形態１におけるＭＰＥＧ２フレーム構造のマクロブロックの分割パターン及び参照モードを示す図 本発明の実施形態１におけるＭＰＥＧ２フレーム構造のピクチャ間の参照関係を示す図 本発明の実施形態１におけるＨ．２６４フレーム構造でＭＢＡＦＦ構造のフレームＭＰペアを示す図 本発明の実施形態１におけるＨ．２６４フレーム構造でＭＢＡＦＦ構造のフィールドＭＰペアを示す図 本発明の実施形態１におけるＨ．２６４フレーム構造のピクチャ間の参照関係を示す図 本発明の実施形態１におけるヘッダ情報の変換方法を示すフローチャート （ａ）は本発明の実施形態１におけるＭＰＥＧ２フィールド構造からＨ．２６４フィールド構造へのマクロブロックの分割パターンの変換の一覧を示す図、（ｂ）は１６×１６参照、（ｃ）は１６×８参照、（ｄ）イントラＭＢを示す図 本発明の実施形態１におけるＭＰＥＧ２フィールド構造からＨ．２６４フィールド構造への参照情報の変換方法を示すフローチャート 本発明の実施形態１におけるＭＰＥＧ２フレーム構造からＨ．２６４フレーム構造ＭＢＡＦＦ構造へのマクロブロックの分割パターンと参照モードの変換の一覧を示す図 本発明の実施形態１におけるＭＰＥＧ２フレーム構造の上下のマクロブロックが同一の参照モードのときの、ＭＰＥＧ２フレーム構造からＨ．２６４フレーム構造ＭＢＡＦＦ構造へのマクロブロックの分割パターンの変換を示す図 本発明の実施形態１におけるＭＰＥＧ２フレーム構造の上下のマクロブロックが異なる参照モードのときの、ＭＰＥＧ２フレーム構造からＨ．２６４フレーム構造ＭＢＡＦＦ構造へのマクロブロックの分割パターンの変換を示す図 本発明の実施形態１におけるＭＰＥＧ２フレーム構造からＨ．２６４フレーム構造ＭＢＡＦＦ構造への参照情報の変換方法を示すフローチャート 本発明の実施形態２におけるＨ．２６４エンコーダの構成図 本発明の実施形態３におけるトランスコーダの構成図 本発明の実施形態３におけるＭＰＥＧ２デコーダの構成図 本発明の実施形態３におけるＨ．２６４エンコーダの構成図 本発明の実施形態３におけるヘッダ情報の変換処理のフローチャート 本発明の実施形態３におけるＨ．２６４フレーム構造のピクチャ間の参照関係を示す図 （ａ）は本発明の実施形態３におけるＭＰＥＧ２フレーム構造でイントラＭＢとフィールド参照が上下にある場合にＨ．２６４に変換する場合を示す図、（ｂ）はイントラＭＢをフィールド参照に変換する場合の図 本発明の実施形態４におけるトランスコード装置の構成図 （ａ）〜（ｄ）は、ＭＰＥＧ４からＭＰＥＧ１への従来の変換を示す図

以下、本発明の実施形態について、図面を参照しながら説明する。

《実施形態１》
１．１ トランスコード装置の全体構成
図１に、本発明の実施形態１のトランスコード装置の構成を示す。本実施形態のトランスコード装置は、変換前と変換後の圧縮されたストリームを格納するための記憶装置１０１と、圧縮されたストリームをオーディオストリームとビデオストリームとに分割するシステムデコーダ１０２と、規格変換を行うトランスコーダ１０４と、一定期間オーディオストリームを保持するオーディオバッファ１０３と、オーディオストリームとビデオストリームとを多重化するシステムエンコーダ１０５と、を有する。

記憶装置１０１には、ＭＰＥＧ２規格で圧縮されたストリームと、ＭＰＥＧ２規格から変換されたＨ．２６４規格のストリームとが格納される。

システムデコーダ１０２は、記憶装置１０１からＭＰＥＧ２規格で圧縮されたストリームを読み出して、読み出したストリームをオーディオストリームとビデオストリームとに分割する。オーディオストリームはオーディオバッファ１０３に出力され、ビデオストリームはトランスコーダ１０４に出力される。

トランスコーダ１０４は、システムエンコーダ１０２から取得したＭＰＥＧ２規格のビデオストリームをＨ．２６４規格のビデオストリームに変更し、Ｈ．２６４規格のビデオストリームをシステムエンコーダ１０５に出力する。

オーディオバッファ１０３は、オーディオとビデオとの同期をとるために、オーディオストリームをある一定の期間遅延させてから、システムエンコーダ１０５に出力する。

システムエンコーダ１０５は、オーディオバッファ１０３から出力されたオーディオストリームとトランスコーダ１０４から出力されたＨ．２６４規格のビデオストリームとの同期をとりながら多重化を行い、多重化したストリームを記憶装置１０１に書き込む。

１．２ トランスコーダの内部構成
トランスコーダ１０４の内部構成を図２に示す。トランスコーダ１０４は、ＭＰＥＧ２規格のビデオストリームをデコードするために必要な、入力ストリームバッファ２０２、ＭＰＥＧ２デコーダ２０３、及び復号用フレームメモリ２０５と、Ｈ．２６４規格のビデオストリームにエンコードするために必要な、Ｈ．２６４エンコーダ２０６、符号化用フレームメモリ２０７、及び出力ストリームバッファ２０８とを有する。トランスコーダ１０４は、さらにＭＰＥＧ２ストリームのマクロブロックに関する情報をＨ．２６４ストリームのマクロブロックに関する情報に変換する情報変換部２０４と、トランスコーダ１０４内を制御する制御用プロセッサ２０１とを有する。

入力ストリームバッファ２０２は、システムデコーダ１０２から入力されるＭＰＥＧ２規格で圧縮されたストリームを一時蓄える。

ＭＰＥＧ２デコーダ２０３は、入力ストリームバッファ２０２からＭＰＥＧ２ストリームを読出して、復号処理を行って、復号した復号画像を復号用フレームメモリ２０５に出力する。復号用フレームメモリ２０５は、ＭＰＥＧ２デコーダ２０３により復号された復号画像を記憶する。また、ＭＰＥＧ２デコーダ２０３は、復号した復号画像に含まれるマクロブロック（以下、ＭＢとも言う。)に関する情報、具体的には、ヘッダ情報、マクロブロック情報及び動きベクトル情報を情報変換部２０４に出力する。マクロブロックや、ヘッダ情報、マクロブロック情報及び動きベクトル情報については詳細を後述する。

情報変換部２０４は、ＭＰＥＧ２のヘッダ情報、マクロブロック情報及び動きベクトル情報を、Ｈ．２６４規格のヘッダ情報、マクロブロック情報及び動きベクトル情報に変換して、Ｈ．２６４エンコーダ２０６に入力する。

Ｈ．２６４エンコーダ２０６は、情報変換部２０４から取得したＨ．２６４規格の、ヘッダ情報、マクロブロック情報及び動きベクトル情報に基づいて、復号用フレームメモリ２０５から読み出した復号画像をＨ．２６４規格に符号化する。Ｈ．２６４エンコーダ２０６は、符号化するときに、フレームメモリ２０５から読み出した復号画像をローカル復号画像として、符号化用フレームメモリ２０７に出力する。Ｈ．２６４エンコーダ２０６は、過去のピクチャを参照するＰピクチャあるいはＢピクチャの符号化を行う場合に、符号化用フレームメモリ２０７に格納したローカル復号画像を参照画像として読み込む。このように、符号化用フレームメモリ２０７は、ローカル復号画像を記憶し、記憶した画像を参照画像として、必要に応じてＨ．２６４エンコーダ２０６により読み出される。Ｈ．２６４エンコーダ２０６は、符号化済みのＨ．２６４ストリームを出力ストリームバッファ２０８に出力する。

出力ストリームバッファ２０８は、Ｈ．２６４エンコーダ２０６から入力されたＨ．２６４ストリームをシステムエンコーダ１０５に出力する。

制御用プロセッサ２０１は、ＭＰＥＧ２デコーダ２０３とＨ．２６４エンコーダ２０６と情報変換部２０４とが同期して動作するように制御する。

本実施形態は、情報変換部２０４により、変換前のストリームに関する、ヘッダ情報、マクロブロック情報及び動きベクトル情報を、変換後のヘッダ情報、マクロブロック情報及び動きベクトル情報に変換して、変換した各情報に基づいて、復号されたＭＰＥＧ２のストリームをＨ．２６４のストリームに符号化している。すなわち、動き検出処理を行わずに、変換前の動きベクトル情報を変換後の動きベクトル情報に利用している。よって、変換後の画質が劣化することはない。以下、図３〜図５を用いて、ＭＰＥＧ２デコーダ２０３、情報変換部２０４、及びＨ．２６４エンコーダ２０６の内部構成について具体的に説明する。

１．３ ＭＰＥＧ２デコーダの内部構成
図３に、図２のＭＰＥＧ２デコーダ２０３の内部構成を示す。ＭＰＥＧ２デコーダ２０３は、入力ストリームバッファ２０２から取り出したストリームを可変長で復号する可変長復号部３０１と、動きベクトル情報を算出する動きベクトル算出部３０２と、可変長復号部３０１と動きベクトル算出部３０２との出力に基づいて、ＭＰＥＧ２ストリームを復号するための、動き補償部３０５、逆量子化部３０３、逆周波数変換部３０４、及び再構成部３０６とを有する。

可変長復号部３０１は、入力ストリームバッファ２０２から取り出したＭＰＥＧ２ストリームを可変長で復号して、復号したストリームから、ヘッダ情報、マクロブロック情報、及びＤＣＴ係数を得る。復号したストリームがイントラＭＢの場合は、復号したストリームから動きベクトル情報をさらに得る。ヘッダ情報とマクロブロック情報は、情報変換部２０４に出力される。ＤＣＴ係数は、逆量子化部３０３に出力される。動きベクトル情報は、動きベクトル算出部３０２に出力される。

動きベクトル算出部３０２は、動きベクトル情報に含まれる動きベクトル値を、予測値を用いて実際の動きベクトル値に変換する。動きベクトル算出部３０２は、変換された動きベクトル値を含む動きベクトル情報を情報変換部２０４と動き補償部３０５とに出力する。

動き補償部３０５は、動きベクトル算出部３０２が算出した動きベクトル情報が指し示す参照画像を復号用フレームメモリ２０５から読み出す。動き補償部３０５は、読み出した参照画像に対してハーフペル演算を行う。また、復号する画像がＢピクチャの場合は、２枚の参照画像の平均値算出処理を行う。動き補償部３０５は、演算処理を行った後の参照画像を再構成部３０６に出力する。

逆量子化部３０３は、取得したＤＣＴ係数を逆量子化して、逆周波数変換部３０４に出力する。逆周波数変換部３０４は、取得したＤＣＴ係数を逆周波数変換し、再構成部３０６に出力する。

再構成部３０６は、マクロブロックがイントラＭＢの場合、取得したデータをそのまま復号画像として復号用フレームメモリ２０５に出力する。再構成部３０６は、マクロブロックがインターＭＢの場合、動き補償部３０５から取得した参照画像に、逆周波数変換部３０４から取得したＤＣＴ計数を加算することによって、復号画像を生成し、復号用フレームメモリ２０５に出力する。

１．４ 情報変換部の内部構成
図４に、図２の情報変換部２０４の内部構成を示す。情報変換部２０４は、ＭＰＥＧ２のヘッダ情報をＨ．２６４のヘッダ情報に変換するヘッダ情報変換部５０１と、ＭＰＥＧ２のマクロブロック情報をＨ．２６４のマクロブロック情報に変換するマクロブロック情報変換部５０２と、ＭＰＥＧ２の動きベクトルをＨ．２６４の動きベクトルに変換する動きベクトル変換部５０３とを有する。情報変換部２０４の変換の動作についての詳細は後述する。

１．５ Ｈ．２６４エンコーダの内部構成
図５に、図２のＨ．２６４エンコーダ２０６の内部構成を示す。Ｈ．２６４エンコーダ２０６は、符号化するマクロブロックがインターＭＢの場合に動作する動き補償部４０１と、符号化するマクロブロックがイントラＭＢの場合に動作するイントラ予測部４０２と、動き補償部４０１又はイントラ予測部４０２から出力されるデータを量子化及び周波数変換する量子化・周波数変換部４０３と、インターＭＢ用のローカル復号画像を生成する再構成部４０５とを有する。

情報変換部２０４から出力されるＨ．２６４のヘッダ情報、Ｈ．２６４のマクロブロック情報、Ｈ．２６４の動きベクトル情報は、動き補償部４０１とイントラ予測部４０２と可変長符号化部４０６とに入力される。Ｈ．２６４のヘッダ情報とＨ．２６４のマクロブロック情報とにより、どの参照モードで符号化するかが指示される。また、動きベクトル情報が情報変換部２０４の出力から得られるため、本実施形態のＨ．２６４エンコーダ２０６は、動きベクトル情報を検出するための動き検出部を有しない。

インターＭＢへの符号化が指示されると、動き補償部４０１は、情報変換部２０４から入力されたＨ．２６４の動きベクトル情報に基づいて、符号化用フレームメモリ２０７から動きベクトル情報が指す位置のローカル復号画像を取得する。動き補償部４０１は、取得したローカル復号画像に対して、Ｈ．２６４規格で定められたフィルタ演算を行い、小数精度位置の参照画像を算出する。動き補償部４０１は、符号化用フレームメモリ２０７から読み出したローカル復号画像と算出した参照画像との差分データを量子化・周波数変換部４０３に出力すると共に、算出した参照画像を再構成部４０５に出力する。

イントラＭＢへの符号化が指示されると、イントラ予測部４０２は、復号用フレームメモリ２０５から復号画像を取得し、Ｈ．２６４規格で定義されるイントラ予測をする。すなわち、イントラ予測部４０２は、読み出した復号画像の予測方向を決定して予測画像を生成する。イントラ予測部４０２は、予測画像を再構成部４０５に出力し、予測画像と復号画像の差分データを量子化・周波数変換部４０３に出力する。

量子化・周波数変換部４０３は、動き補償部４０１又はイントラ予測部４０２から出力された差分データの量子化及び周波数変換を行う。

Ｈ．２６４エンコーダ２０６は、量子化・周波数変換部４０３から出力される差分データを入力する逆量子化・逆周波数変換部４０４と可変長符号化部４０６とをさらに有する。逆量子化・逆周波数変換部４０４は、量子化・周波数変換部４０３から出力された量子化及び周波数変換された差分データを逆量子化及び逆周波数変換して、再構成部４０５に出力する。

可変長符号化部４０６は、Ｈ．２６４規格のヘッダ情報とＭＢ情報と動きベクトル情報とに基づいて、周波数変換された差分データを符号化し、出力ストリームバッファ２０８に出力する。出力ストリームバッファ２０８に出力された差分データがＨ．２６４のビデオストリームとなる。

再構成部４０５は、インターＭＢの場合に動き補償部４０１からの参照画像を入力され、イントラＭＢの場合にイントラ予測を行った際の予測画像を入力される。さらに、再構成部４０５は、逆量子化・逆周波数変換部４０４から逆量子化及び逆周波数変換された差分データを入力される。再構成部４０５は、参照画像又は予想画像と差分データとを加算し、元の画像の再構成を行う。

Ｈ．２６４エンコーダ２０６は、Ｈ．２６４規格に定められたデブロックフィルタの処理を行うデブロックフィルタ部４０７をさらに有する。再構成部４０５によって再構成された画像は、デブブロックフィルタ部４０７によりデブロックフィルタの処理が施された後、ローカル復号画像として符号化用フレームメモリ２０７に出力される。符号化用フレームメモリ２０７に入力されたローカル復号画像は、インターＭＢをエンコードする際に、動き補償部４０１により読み出される。

図１〜図５に示されるトランスコーダ１０４は、ＭＰＥＧ２のビデオストリームを、ＭＰＥＧ２のマクロブロックを単位として、Ｈ．２６４ビデオストリームに変換する。以下、マクロブロックについて説明する。

２．１ ＭＰＥＧ２のマクロブロックとＨ．２６４のマクロブロック
図６（ａ）と図６（ｂ）に、ＭＰＥＧ２とＨ．２６４のマクロブロックの概略をそれぞれ示す。ＭＰＥＧ２とＨ．２６４とは、ビデオストリームの１画面分の画像データを複数のマクロブロックに分割し、マクロブロック毎に圧縮や動き補償を行っている。図６（ａ）及び図６（ｂ）では、１６ピクセル×１６ピクセルのマクロブロックに分割される例を示している。本実施形態のトランスコーダ１０４は、ＭＰＥＧ２の１６×１６ピクセルの１つのマクロブロック又は上下に隣接した２つのマクロブロックを単位として、ＭＰＥＧ２のマクロブロックからＨ．２６４のマクロブロックに変換する。

ＭＰＥＧ２やＨ．２６４のマクロブロックには、種々の参照モードが存在する。そのため、本実施形態のトランスコーダ１０４は、ＭＰＥＧ２のマクロブロックの種々の参照モードに応じた変換方法で、Ｈ．２６４のマクロブロックに変換する。以下、ＭＰＥＧ２のマクロブロックの参照モードとＨ．２６４のマクロブロックの参照モードとについて説明する。

２．２． ＭＰＥＧ２とＨ．２６４のマクロブロックの参照モード
図７Ａ〜図７Ｃに、ＭＰＥＧ２とＨ．２６４のマクロブロックの参照モードの一覧を示す。

図７Ａに示すように、ＭＰＥＧ２は、フィールド単位で符号化するフィールド構造と、フレーム単位で符号化するフレーム構造とを有する。フレームとは１画面分を指し、１フレームは複数のフィールドで構成される。フィールド構造には、他の画像を参照して動き補償を行うインターＭＢと、他の画像を参照しないイントラＭＢとがある。他の画像を参照するインターＭＢは、他の画像からの動きを示す動きベクトル情報を持つ。インターＭＢは、さらに１６×１６ピクセル単位で参照を行う１６×１６参照と、１６×８ピクセル単位で参照を行う１６×８参照とがある。フレーム構造にも、インターＭＢとイントラＭＢとがある。インターＭＢは、さらにフレーム単位で参照を行うフレーム参照と、フィールド単位で参照を行うフィールド参照とに区別される。

図７Ｂに示すように、Ｈ．２６４は、フィールド単位で符号化するフィールド構造と、フレーム単位で符号化するフレーム構造とを有する。フィールド構造とフレーム構造には、他の画像を参照して動き補償を行うインターＭＢと、他の画像を参照しないイントラＭＢとを持つ。他の画像を参照するインターＭＢは、他の画像からの動きを示す動きベクトル情報を持つ。インターＭＢは、さらに、１６×１６ピクセル単位で参照を行う１６×１６参照、１６×８ピクセル単位で参照を行う１６×８参照、８×１６ピクセル単位で参照を行う８×１６参照、及び８×８ピクセル単位で参照を行う８×８参照などを含む。８×４参照、４×８参照、４×４参照は、本実施形態においては使用しない。

図７Ｃに示すように、Ｈ．２６４には、フレーム構造の一形態として、垂直方向に連続した２つのマクロブロックをマクロブロックペアとして扱うＭＢＡＦＦ（Macro Block Adaptive Frame Field）構造があり、マクロブロックペアは、フレーム単位で参照を行うフレームＭＢペアとフィールド単位で参照を行うフィールドＭＢペアに区別される。フレームＭＢペアとフィールドＭＢペアは、それぞれインターＭＢとイントラＭＢとを持つ。インターＭＢは、さらに、１６×１６参照、１６×８参照、８×１６参照、及び８×８参照などを含む。８×４参照、４×８参照、４×４参照は、本実施形態においては使用しない。

本実施形態においては、ＭＰＥＧ２のフィールド構造は、Ｈ．２６４のフィールド構造に変換され、ＭＰＥＧ２のフレーム構造は、Ｈ．２６４のＭＢＡＦＦ構造に変換される。本実施形態においては、図７Ｂに示すＨ．２６４のフレーム構造は使用しない。図７ＢのＨ．２６４のフレーム構造を除いて、ＭＰＥＧ２とＨ．２６４の参照モードの具体例を図８〜図１７を用いて、以下に説明する。

２．３ フィールド構造
２．３．１ ＭＰＥＧ２
図８に、ＭＰＥＧ２フィールド構造の場合におけるマクロブロックの分類のタイプと、各分類のタイプに対応する参照モードとの詳細の一覧を示す。ＭＰＥＧ２のマクロブロックの種類は、図８に示すように、ＭＰＥＧ２規格で定義されている「ｆｉｅｌｄ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｉｎｔｒａ」とによって分類される。

「ｆｉｅｌｄ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」は、ｆｉｅｌｄ−ｂａｓｅｄ、１６×８ＭＣ、及びＤｕａｌＰｒｉｍｅと呼ばれる３種類のタイプを含む。「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ」は、「１」と「０」とにより、前方参照をしているか否かを示している。「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ」は、「１」と「０」とにより、後方参照をしているか否かを示している。「ｍａｃｒｏｂｌｏｃｋ＿ｉｎｔｒａ」は、「１」でイントラＭＢであることを示し、「０」でインターＭＢであることを示している。

「ｆｉｅｌｄ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｉｎｔｒａ」とによって分類されたマクロブロックに対応する参照モードは、イントラＭＢ、１６×１６参照、及び１６×８参照の３つに大別される。なお、「ｆｉｅｌｄ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」がＤｕａｌＰｒｉｍｅの場合、参照モードはデュアルプライムに分類されるが、デュアルプライムについては、一般的に放送などで用いられるＢピクチャを含むＧＯＰ構造のＭＰＥＧ２ストリームでは用いられないので、対象外とする。

１６×１６参照、１６×８参照及びイントラＭＢの具体例を図９（ａ）〜（ｃ）にそれぞれ示す。

図９（ａ）に示す１６×１６参照は、１本又は２本の動きベクトルで、１枚又は２枚の参照画像を参照するモードである。具体的には、Ｐピクチャであれば１本、Ｂピクチャであれば２本の動きベクトルを用いる。

図９（ｂ）に示す１６×８参照は、１マクロブロックを上下の二つに分割し、２本又は４本の動きベクトルで１枚又は２枚の参照画像を参照するモードである。具体的には、Ｐピクチャであれば２本、Ｂピクチャであれば４本の動きベクトルを用いる。

図９（ｃ）に示すイントラＭＢは、参照画像を参照しないモードである。ＭＰＥＧ２規格においては、マクロブロックの画素値がそのまま量子化・周波数変換・可変長符号化される。

図１０に、１６×１６参照や１６×８参照における参照の例を示す。図１０において、ピクチャの番号を表示順で０から順番に振り、Ｉピクチャには「Ｉ」、Ｐピクチャには「Ｐ」、Ｂピクチャには「Ｂ」の接頭語を付けている。

例えば、トップフィールドのピクチャであるＰ６ピクチャは、過去のＩ０又はＰ１のピクチャを参照画像として参照する（前方参照）。ボトムフィールドのピクチャであるＢ３ピクチャは、過去のＩ０及びＰ１（前方参照）と未来のＰ６及びＰ７のピクチャ（後方参照）とを参照する。図１０においては、Ｂピクチャが４フィールドの場合を示しているが、２フィールドや６フィールドあるいはそれ以上の場合であってもよい。ＰピクチャはＢピクチャをまたがって参照するので、規格上決められているようにデュアルプライム予測は使用されない。

２．３．２ Ｈ．２６４
図１１に、Ｈ．２６４フィールド構造の場合のマクロブロックの参照モードを示す。Ｈ．２６４においては、１６×１６参照から４×４参照まで様々な参照モードが存在するが、図１１では８×８参照未満の大きさの参照モードについては省略している。

図１１（ａ）に１６×１６参照を示す。１６×１６参照の場合、１本又は２本の動きベクトルで１枚又は２枚の参照画像を参照する。具体的には、Ｐピクチャであれば１本、Ｂピクチャであれば２本の動きベクトルを用いる。

図１１（ｂ）に１６×８参照を示す。１６×８参照の場合、１マクロブロックを上下に二つに分割し、１枚又は２枚の参照画像を２本又は４本の動きベクトルで参照する。具体的には、Ｐピクチャであれば２本、Ｂピクチャであれば４本の動きベクトルを用いる。

図１１（ｃ）に８×１６参照を示す。８×１６参照の場合、１マクロブロックを左右に二つに分割し、１枚又は２枚の参照画像を２本又は４本の動きベクトルで参照する。

図１１（ｄ）に８×８参照を示す。８×８参照の場合、１マクロブロックを上下左右に四つに分割し、１枚又は２枚の参照画像を４本又は８本の動きベクトルで参照する。

図１１（ｅ）にイントラＭＢを示す。イントラＭＢの場合、参照画像を参照せず、Ｈ．２６４規格においては、空間的に周辺に位置する画素の値から、１６×１６参照から４×４参照までの９つのモードのいずれかを用いて参照画像が生成される。

図１２に、Ｈ．２６４フィールド構造の参照の例を示す。図１２のＨ．２６４フィールド構造の参照関係は、図１０に示すＭＰＥＧ２フィールド構造の参照関係に対応させている。各ピクチャの記号（Ｉ，Ｐ，Ｂ）が示す意味は、図１０と同じである。図１２において、トップフィールドのピクチャであるＰ６ピクチャは、過去のＩ０又はＰ１のピクチャをそれぞれｒｅｆｉｄｘ＿Ｌ０＝「０」又は「１」として参照する（Ｌ０参照）。ここで、「ｒｅｆｉｄｘ＿」は、Ｈ．２６４規格で定義されている参照である。「ｒｅｆｉｄｘ＿Ｌ０」が前方参照を意味し、「ｒｅｆｉｄｘ＿Ｌ１」が後方参照を意味する。ボトムフィールドのピクチャであるＢ３ピクチャは、過去のＩ０及びＰ１と未来のＰ６及びＰ７のピクチャを、それぞれｒｅｆｉｄｘ＿Ｌ０＝「０」又は「１」（Ｌ０参照）、ｒｅｆｉｄｘ＿Ｌ１＝「０」又は「１」（Ｌ１参照）として参照する。本実施形態において、図１０に示すＭＰＥＧ２フィールド構造の参照関係は、図１２に示すＨ．２６４フィールド構造の参照となるように変換される。

２．４ フレーム構造
２．４．１ ＭＰＥＧ２
図１３に、ＭＰＥＧ２フレーム構造の場合のマクロブロックの分類のタイプと、各分類のタイプに対応する参照モードとを示す。マクロブロックの種類は、フィールド構造と同様に、ＭＰＥＧ２規格で定義される「ｆｒａｍｅ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｉｎｔｒａ」とによって分類される。

「ｆｒａｍｅ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」は、Ｆｒａｍｅ−ｂａｓｅｄとＦｉｅｌｄ−ｂａｓｅｄとＤｕａｌＰｒｉｍｅとを含む。「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｉｎｔｒａ」は図８と同じである。

「ｆｒａｍｅ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ」と「ｍａｃｒｏｂｌｏｃｋ＿ｉｎｔｒａ」とによって分類された各マクロブロックに対応する参照モードは、イントラＭＢ、フレーム参照、フィールド参照の３つに大別される。なお、「ｆｒａｍｅ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」がＤｕａｌＰｒｉｍｅの場合は、参照モードはデュアルプライムに分類されるが、デュアルプライムについては、本実施形態において対象とするＧＯＰ（Group of Picture）構造には存在しないため、対象外とする。

図１４（ａ）〜（ｃ）に、フレーム参照、フィールド参照及びイントラＭＢの具体例をそれぞれ示す。

図１４（ａ）に示すフレーム参照の場合、１枚又は２枚の参照画像を１本又は２本の動きベクトルで参照する。

図１４（ｂ）に示すフィールド参照の場合、１マクロブロックを、偶数ラインを含むトップフィールドと奇数ラインを含むボトムフィールドの二つに分割する。各フィールドは１６×８サイズとなる。フィールド参照では、トップフィールドとボトムフィールドにそれぞれ有する１本又は２本の動きベクトルで、１枚又は２枚の参照画像を参照する。

図１４（ｃ）に示すイントラＭＢの場合、参照画像を参照しない。ＭＰＥＧ２規格においてはマクロブロックの画素値が、そのまま量子化・周波数変換・可変長符号化される。

図１５に、フレーム参照とフィールド参照による、参照の例を示す。図１５において、ピクチャの番号を表示順で０から順番に振り、Ｉピクチャには「Ｉ」、Ｐピクチャには「Ｐ」、Ｂピクチャには「Ｂ」の接頭語を付けている。Ｐ３ピクチャは、過去のＩ０のピクチャを参照する（前方参照）。Ｂ１ピクチャは、過去のＩ０のピクチャ（前方参照）と未来のＰ３のピクチャ（後方参照）とを参照する。図１５においては、Ｂピクチャが２フレームを参照する場合を示しているが、１フレームや３フレーム、あるいはそれ以上のフレームを参照してもよい。ＰピクチャはＢピクチャをまたがって参照するので、規格上決められているようにデュアルプライム予測は使用されない。

２．４．２ Ｈ．２６４
図１６Ａと図１６Ｂに、Ｈ．２６４フレーム構造におけるＭＢＡＦＦ（Macro Block Adaptive Field Frame）構造のマクロブロックペアを示す。

図１６Ａは、フレームＭＢペアを示している。この場合は１６×３２のブロックを空間的に垂直方向に２つの１６×１６のマクロブロックに分割し、それぞれがフレーム構造を持つマクロブロックとして扱う。図１６Ａにおいて、（ａ）は上側のマクロブロックと下側のマクロブロックの両方が１６×１６参照であり、（ｂ）は上側のマクロブロックが１６×１６参照で下側がイントラＭＢであり、（ｃ）は上側のマクロブロックがイントラＭＢであり下側のマクロブロックが１６×１６参照であり、（ｄ）は上下のマクロブロックがイントラＭＢである。

図１６Ｂは、フィールドＭＢペアを示している。この場合は１６×３２の大きさのブロックを偶数ラインを含むトップフィールドと奇数ラインを含むボトムフィールドの２つの１６×１６のマクロブロックに分割し、それぞれがフィールド構造を持つマクロブロックとして扱う。

フレームＭＢペアとフィールドＭＢペアにそれぞれ含まれる各マクロブロックの参照モードは、図１１のフィールド構造と同じように、１６×１６参照から４×４参照又はイントラＭＢを使用することが可能である。本実施形態のＭＰＥＧ２からＨ．２６４への変換においては、後述するように１６×１６参照、１６×８参照、及びイントラＭＢが用いられる。

図１７に、Ｈ．２６４フレーム構造の参照の例を示す。図１７は、図１５に示すＭＰＥＧ２フレーム構造の参照関係に対応させている。各ピクチャの記号が示す意味は、図１５と同じである。Ｐ３ピクチャは、過去のＩ０ピクチャをｒｅｆｉｄｘ＿Ｌ０＝０又は１として参照する（Ｌ０参照）。Ｂ１ピクチャは、過去のＩ０と未来のＰ３のピクチャを、それぞれｒｅｆｉｄｘ＿Ｌ０＝０又は１（Ｌ０参照）、ｒｅｆｉｄｘ＿Ｌ１＝０又は１（Ｌ１参照）として参照する。具体的には、参照先がフレームＭＢペアの場合はｒｅｆｉｄｘ＿Ｌ０＝０とｒｅｆｉｄｘ＿Ｌ１＝０を使用する。参照先がフィールドＭＢペアのトップフィールドであるときは、ｒｅｆｉｄｘ＿Ｌ０＝０とｒｅｆｉｄｘ＿Ｌ１＝０を使用する。参照先がボトムフィールドを参照するときは、ｒｅｆｉｄｘ＿Ｌ０＝１とｒｅｆｉｄｘ＿Ｌ１＝１を使用する。図１５に示すＭＰＥＧ２フレーム構造の参照関係は、図１７に示すＨ．２６４フレーム構造の参照関係に変換される。

図６〜図１７に示したように、ＭＰＥＧ２とＨ．２６４には、参照画像を参照するインターＭＢと、参照画像を参照しないイントラＭＢとを有する。よって、図３に示すＭＰＥＧ２デコーダ２０３と図５に示すＨ．２６４エンコーダ２０６は、イントラＭＢかインターＭＢかによって異なる動作をする。

３．１ ＭＰＥＧ２のデコーダの動作
図３のＭＰＥＧ２デコーダ２０３の動作を、イントラＭＢとインターＭＢとの場合に分けてそれぞれ説明する。

可変長復号部３０１に入力されたＭＰＥＧ２ストリームがイントラＭＢの場合、可変長復号されたヘッダ情報とマクロブロック情報は、情報変換部２０４に出力され、ＤＣＴ係数は逆量子化部３０３に出力される。逆量子化部３０３は、取得したＤＣＴ係数を逆量子化し、逆周波数変換部３０４に出力する。逆周波数変換部３０４は、取得した係数を逆周波数変換し、再構成部３０６に出力する。再構成部３０６は、取得したデータをそのまま復号画像として復号用フレームメモリ２０５に出力する。

可変長復号部３０１に入力されたストリームがＰピクチャ又はＢピクチャのインターＭＢの場合、可変長復号されたデータのうち、ヘッダ情報とマクロブロック情報は情報変換部２０４に出力される。可変長復号されたデータのうち、動きベクトル情報に含まれる動きベクトル値は、動きベクトル算出部３０２において、予測値を用いて実際の動きベクトル値に変換される。その後、動きベクトル情報は、情報変換部２０４及び動き補償部３０５に出力される。また、可変長復号されたＤＣＴ係数は、逆量子化部３０３で逆量子化され、逆周波数変換部３０４で逆周波数変換される。一方、動き補償部３０５は、動きベクトル算出部３０２が算出した動きベクトル情報が指し示す参照画像を復号用フレームメモリ２０５から読み出し、ハーフペル演算やＢピクチャにおける２枚の参照画像の平均値算出処理を行った後に、再構成部３０６に参照画像を出力する。再構成部３０６は、逆周波数変換部３０４から取得したデータと動き補償部３０５から取得した参照画像とを加算することによって得た復号画像を復号用フレームメモリ２０５に出力する。

３．２ Ｈ．２６４エンコーダの動作
図５のＨ．２６４エンコーダ２０６の動作を、イントラＭＢとインターＭＢとの場合に分けてそれぞれ説明する。

情報変換部２０４により、Ｈ．２６４のヘッダ情報とＨ．２６４のマクロブロック情報とを用いてイントラＭＢでのエンコードが指示された場合、まず、イントラ予測部４０２は、復号用フレームメモリ２０５から復号画像を取得し、Ｈ．２６４規格で定義されるイントラ予測をする。次に、イントラ予測部４０２は、予測方向を決定すると共に予測画像を再構成部４０５に出力し、予測画像と復号画像の差分データを量子化・周波数変換部４０３に出力する。量子化・周波数変換部４０３は、量子化及び周波数変換の処理を行い、可変長符号化部４０６に周波数変換された差分データを出力する。可変長符号化部４０６は、周波数変換された差分信号を符号化し、出力ストリームバッファ２０８に出力する。

一方、量子化・周波数変換部４０３において量子化及び周波数変換されたデータは、逆量子化・逆周波数変換部４０４で逆量子化及び逆周波数変換され、再構成部４０５に出力される。再構成部４０５は、イントラ予測を行った際の予測画像と逆量子化及び逆周波数変換された差分画像を加算し、元の画像の再構成を行い、デブロックフィルタ部４０７に出力する。デブロックフィルタ部４０７は、再構成された元の画像に対して、Ｈ．２６４規格に定められたデブロックフィルタの処理を行う。デブロックフィルタの処理が施された画像は、ローカル復号画像として、符号化用フレームメモリ２０７に出力される。

情報変換部２０４により、Ｈ．２６４のヘッダ情報とＨ．２６４のマクロブロック情報とを用いてインターＭＢでエンコードが指示された場合、例えば、インターＭＢの１６×１６参照が指示された場合、動き補償部４０１は、情報変換部２０４から指示された１６×１６参照及びＨ．２６４の動きベクトル情報を用いて、符号化用フレームメモリ２０７から動きベクトル情報が指す位置の画像データを取得し、Ｈ．２６４規格で定められたフィルタ演算を行い、小数精度位置の参照画像を算出する。

動き補償部４０１、さらに、算出した参照画像と復号画像の差分データを量子化・周波数変換部４０３に出力すると共に、参照画像を再構成部４０５に出力する。量子化・周波数変換部４０３は、量子化及び周波数変換の処理を行い、可変長符号化部４０６に周波数変換された差分信号を出力する。可変長符号化部４０６は、周波数変換された差分信号を符号化し、出力ストリームバッファ２０８に出力する。

一方、量子化・周波数変換部４０３において量子化及び周波数変換されたデータは、逆量子化・逆周波数変換部４０４で逆量子化及び逆周波数変換され、再構成部４０５に出力される。再構成部４０５は、動き補償を行った際の参照画像と逆量子化及び逆周波数変換された差分画像を加算し、元の画像の再構成を行い、デブロックフィルタ部４０７に出力する。デブロックフィルタ部４０７は、Ｈ．２６４規格に定められたデブロックフィルタの処理を行う。デブロックフィルタの処理が行われた画像は、ローカル復号画像として、符号化用フレームメモリ２０７に出力される。

情報変換部２０４が、Ｈ．２６４エンコーダ２０６に対して、１６×８参照など、他のサイズでのエンコードを指示した場合も、１６×１６参照のときと同様に処理される。

ＭＰＥＧ２規格からＨ．２６４規格への変換は、上述したように、ＭＰＥＧ２デコーダ２０３により復号されたＭＰＥＧ２規格の画像が、Ｈ．２６４エンコーダ２０６によってＨ．２６４規格に符号化されることによって行われる。この符号化は、画像のヘッダ情報、マクロブロック情報及び動きベクトル情報が、ＭＰＥＧ２規格からＨ．２６４規格に変更されることに基づいて、実行される。情報変換部２０４によるＭＰＥＧ２からＨ．２６４への、ヘッダ情報、マクロブロック情報、及び動きベクトル情報の変換の詳細について以下に説明する。

４． 情報変換部の動作（ＭＰＥＧ２からＨ．２６４への変換）
４．１ ＭＰＥＧ２とＨ．２６４のヘッダ情報、マクロブロック情報及び動きベクトル情報
ＭＰＥＧ２デコーダ２０３から情報変換部２０４に出力されるＭＰＥＧ２のヘッダ情報は、ピクチャ構造に関する情報である。ピクチャ構造に関する情報は、ＭＰＥＧ２規格で定義されるピクチャヘッダのうち、フィールド構造かフレーム構造かを示す。この情報は、ＭＰＥＧ２規格において「ｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅ」で指定される。マクロブロック情報は、ＭＰＥＧ２規格で定義される、マクロブロック単位に付加される情報であり、マクロブロックの分割方法（分割サイズ）及び参照モードを示す。特に、ＭＰＥＧ２規格で定義される情報のうち、「ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ」、「ｆｒａｍｅ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」及び「ｆｉｅｌｄ＿ｍｏｔｉｏｎ＿ｔｙｐｅ」で指定される情報を指す。動きベクトル情報は、どの参照画像を参照しているかを示す参照情報と、参照位置を示す動きベクトル値とを含む。

また、情報変換部２０４からＨ．２６４エンコーダ２０６に出力されるＨ．２６４ヘッダ情報は、Ｈ．２６４規格で定義されるピクチャヘッダのうち、フィールド構造かフレーム構造かを示す情報を指す。このヘッダ情報は、Ｈ．２６４規格において「ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ」及び「ｍｂ＿ａｄａｐｔｉｖｅ＿ｆｒａｍｅ＿ｆｉｅｌｄ＿ｆｌａｇ」により指定される。Ｈ．２６４マクロブロック情報は、Ｈ．２６４規格で定義される、マクロブロック単位に付加される情報である。本実施形態においては、Ｈ．２６４で定義される情報のうち、マクロブロックの分割方法及び参照モードを示す情報及びフレームＭＢペアとフィールドＭＢペアのいずれを使用するかを決める情報である。マクロブロック情報は、Ｈ．２６４規格においてそれぞれ「ｍｂ＿ｔｙｐｅ」「ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ」により指定される。Ｈ．２６４動きベクトル情報は、どの参照画像を参照しているかを示す「ｒｅｆｉｄｘ」情報と参照位置を示す動きベクトル値とを含む。

４．２ ヘッダ情報の変換
情報変換部２０４のヘッダ情報変換部５０１は、図１８に示すフローチャートに従って、ＭＰＥＧ２のヘッダ情報をＨ．２６４のヘッダ情報に変換する。ヘッダ情報変換部５０１は、ＭＰＥＧ２のヘッダ情報に基づいて、ＭＰＥＧ２のピクチャ構造がフィールド構造かどうかを判断する（Ｓ１８１）。

ＭＰＥＧ２のピクチャ構造がフィールド構造であれば（Ｓ１８１でＹｅｓ）、Ｈ．２６４のピクチャ構造をフィールド構造に設定する（Ｓ１８２）。すなわち、Ｈ．２６４規格において、「ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ＝１」に設定する。重み予測をデフォルトモードに設定する（Ｓ１８３）。すなわち、すなわち、Ｈ．２６４規格において、「ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝０」「ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝０」に設定する。

ＭＰＥＧ２のピクチャ構造がフィールド構造でなければ（Ｓ１８１でＮｏ）、すなわちフレーム構造であれば、Ｈ．２６４のピクチャ構造をＨ．２６４のフレーム構造のＭＢＡＦＦ構造に設定する（Ｓ１８４）。すなわち、Ｈ．２６４規格において、「ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ＝０」と「ｍｂ＿ａｄａｐｔｉｖｅ＿ｆｒａｍｅ＿ｆｉｅｌｄ＿ｆｌａｇ＝１」に設定する。重み予測をデフォルトモードに設定する（Ｓ１８５）。すなわち、Ｈ．２６４規格において、「ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝０」及び「ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝０」に設定する。

以上のように各値を設定することにより、ＭＰＥＧ２のヘッダ情報からＨ．２６４のヘッダ情報に書き換えられる。

マクロブロック情報と動きベクトル情報の変換については、ＭＰＥＧ２がフィールド構造かフレーム構造かによって異なるため、フィールド構造の場合とフレーム構造の場合とに分けて以下に説明する。

４．３ フィールド構造の場合
ＭＰＥＧ２のマクロブロックがフィールド構造の場合における、マクロブロック情報変換部５０２及び動きベクトル情報変換部５０３の変換動作を説明する。
４．３．１ マクロブロック情報の変換
図１９に、マクロブロック情報変換部５０２によるマクロブロック情報の変換を示す。図１９（ａ）はＭＰＥＧ２の参照モードからＨ．２６４の参照モードに変換する場合の、ＭＰＥＧ２の参照モードとＨ．２６４の参照モードとの対応関係を表で示したものであり、各変換の具体例を図１９（ｂ）〜（ｄ）に示す。図１９（ｂ）は１６×１６参照、図１９（ｃ）は１６×８参照、図１９（ｃ）はイントラＭＢの場合における変換をそれぞれ示している。

フィールド構造の場合、ＭＰＥＧ２のマクロブロックの分割方法と同一の分割方法がＨ．２６４に存在し、ＭＰＥＧ２とＨ．２６４は、いずれも、１６ピクセル×１６ピクセルのマクロブロックに分割されうる。よって、ＭＰＥＧ２の１６×１６のマクロブロックは、Ｈ．２６４の１６×１６のマクロブロックに変換される。

また、ＭＰＥＧ２のマクロブロックの参照モードと同一の参照モードがＨ．２６４に存在する。図１９（ａ）〜（ｄ）に示すようによって、ＭＰＥＧ２の１６×１６参照は、Ｈ．２６４の１６×１６参照に変換し、ＭＰＥＧ２の１６×８参照は、Ｈ．２６４の１６×８参照に変換し、ＭＰＥＧ２のイントラＭＢは、Ｈ．２６４のイントラＭＢに変換する。

このように変換した結果をマクロブロック情報に反映させることによって、ＭＰＥＧ２のマクロブロック情報からＨ．２６４のマクロブロック情報に変更する。

４．３．２ 動きベクトル情報の変換
動きベクトル情報には、どの参照画像を参照しているかを示す参照情報と、参照位置を示す動きベクトル値とが含まれるが、上述したようにＭＰＥＧ２の参照モードは、Ｈ．２６４の同一の参照モードに変換されるため、ＭＰＥＧ２の動きベクトル値をそのまま利用することができる。従って、動きベクトル値については、変換不要である。

参照情報については、Ｈ．２６４規格に変換する必要がある。図２０に、動きベクトル情報変換部５０３における参照情報の変換動作を示す。動きベクトル情報変換部５０３は、ＭＰＥＧ２の参照元の画像と参照先の画像が同じフィールドであるか否かを判断する（Ｓ２０１）。具体的には、参照元の画像と参照先の画像が共にトップフィールド又はボトムフィールドであるか否かを判断する。同じフィールドである場合、Ｈ．２６４では「ｒｅｆｉｄｘ＿Ｌ０＝０」又は「ｒｅｆｉｄｘ＿Ｌ１＝０」となるピクチャを参照画像として選択するように参照情報を設定する（Ｓ２０２）。異なるフィールドである場合、例えば参照元の画像がトップフィールドで参照先の画像がボトムフィールドである場合、「ｒｅｆｉｄｘ＿Ｌ０＝１」又は「ｒｅｆｉｄｘ＿Ｌ１＝１」を参照情報として選択する（Ｓ２０３）。このように、ＭＰＥＧ２での参照画像と、Ｈ．２６４の参照画像とが同じになるように、参照情報を設定する。

以上のように、変換不要のＭＰＥＧ２の動きベクトル値と、変換した参照情報とにより、Ｈ．２６４の動きベクトル情報を生成する。

４．４． フレーム構造の場合
ＭＰＥＧ２のマクロブロックがフレーム構造の場合における、マクロブロック情報変換部５０２及び動きベクトル情報変換部５０３の変換動作を説明する。

図７Ｂに示すように、フレーム構造の場合、ＭＰＥＧ２とＨ．２６４とでは分割サイズや参照モードが異なる。具体的には、図１４（ｂ）と図１６Ｂとを比較すると分かるように、ＭＰＥＧ２の１６×１６サイズのフィールド参照と同一サイズの参照モードがＨ．２６４規格には存在しない。図１４（ｂ）に示すように、ＭＰＥＧ２のフレーム構造のフィールド参照の場合、１６×８のトップフィールドと、１６×８のボトムフィールドとに分けてそれぞれ符号化できる。しかし、Ｈ．２６４には、１６×８のトップフィールドと１６×８のボトムフィールドに分けて符号化できるような、フィールド参照が存在しない。Ｈ．２６４では、図１６Ｂに示すように、ＭＢＡＦＦ構造のフィールドＭＢペア（３２×１６）を使用することによって、１６×１６のトップフィールドと１６×１６のボトムフィールドに分けて符号化できるようにしている。このように、フレーム構造の場合、ＭＰＥＧ２と同一サイズの同一の参照モードがＨ．２６４に存在しない場合があるため、ＭＰＥＧ２からＨ．２６４への変換は、フィールド構造の場合と比較して複雑になる。

４．４．１ マクロブロック情報と動きベクトル情報の動きベクトル値の変換
図２１に、フレーム構造の場合における、ＭＰＥＧ２からＨ．２６４への参照モードの変換の一覧を示す。Ｈ．２６４ではＭＢＡＦＦ構造を採用しているため、ＭＰＥＧ２からＨ．２６４への変換は、ＭＰＥＧ２の上下に隣接された２つのマクロブロックを単位として行う。図２１における（注１）は、後述の図２３（ａ）に示すように、動きベクトルをコピーして、ＭＰＥＧ２フレーム参照をＨ．２６４規格の１６×８参照に変換することを意味している。また、図２１の（注２）は、後述の図２３（ｃ）に示すように、「ｒｅｆｉｄｘ＝１」を指定して、ＭＰＥＧ２のイントラ予測をＨ．２６４の１６×８参照に変換することを意味している。図２１の一覧表に対応する具体的な変換方法を図２２及び図２３に示す。

図２２に、ＭＰＥＧ２の上下のマクロブロックが同一の参照モードである場合を示す。図２２（ａ）は、ＭＰＥＧ２の上下のマクロブロックがフレーム参照である場合を示している。この場合、Ｈ．２６４の上下のマクロブロックとして、それぞれ１６×１６参照のマクロブロックが選択される。よって、動きベクトル値はそのまま利用できる。

図２２（ｂ）は、ＭＰＥＧ２の上下のマクロブロックがフィールド参照である場合を示している。この場合、ＭＰＥＧ２の上側マクロブロックの偶数ラインのトップフィールドとＭＰＥＧ２の下側マクロブロックの偶数ラインのトップフィールドが、Ｈ．２６４の１６×１６のトップフィールドに変換される。また、ＭＰＥＧ２の上側マクロブロックの奇数ラインのボトムフィールドとＭＰＥＧ２の下側マクロブロックの奇数ラインのボトムフィールドとによって、Ｈ．２６４の１６×１６のボトムフィールドに変換される。すなわち、トップフィールドとボトムフィールドにおいて、それぞれ１６×８参照が選択される。動きベクトル値は、元のＭＰＥＧ２の動きベクトル値がそのまま利用できる。

図２２（ｃ）は、ＭＰＥＧ２の上下のマクロブロックがイントラＭＢである場合を示している。この場合、Ｈ．２６４の上下のマクロブロックとして、それぞれイントラＭＢが選択される。

図２３に、ＭＰＥＧ２の上下のマクロブロックが異なる参照モードである場合を示す。図２３（ａ）は、ＭＰＥＧ２の上側のマクロブロックがフレーム参照で、下側のマクロブロックがフィールド参照の場合を示している。この場合、フィールド毎に分けようとすると、Ｈ．２６４では１６×８のフレーム参照と１６×８のトップフィールドとの組み合わせ、及び１６×８のフレーム参照と１６×８のボトムフィールドとの組み合わせになるが、Ｈ．２６４規格においては、１６×８のトップフィールド又はボトムフィールドは存在しない。そのため、まず、ＭＰＥＧ２のフレーム参照のマクロブロックを、トップフィールドとボトムフィールドにまったく同一の動きベクトル値を持つフィールド参照に変換する。すなわち、フレーム参照の動きベクトル値をそのままトップフィールドとボトムフィールドの動きベクトル値に換算する。このように変換を行うと、図２２（ｂ）と同じように、上下共にフィールド参照のマクロブロックとなる。よって、Ｈ．２６４のフィールドＭＰペアの１６×８参照に変換できる。具体的には、ＭＰＥＧ２の上下のマクロブロックのそれぞれの１６×８のトップフィールドをＨ．２６４のトップフィールドに変換する。また、ＭＰＥＧ２の上下のマクロブロックのそれぞれの１６×８のボトムフィールドをＨ．２６４のボトムフィールドに変換する。

なお、ＭＰＥＧ２の上側のマクロブロックがフィールド参照で下側のマクロブロックがフレーム参照の場合も同様に、フレーム参照をフィールド参照に変換することによって、Ｈ．２６４のトップフィールドとボトムフィールドに変換することができる。

図２３（ｂ）は、ＭＰＥＧ２の上側のマクロブロックがフレーム参照で、下側のマクロブロックがイントラＭＢの場合を示している。この場合、Ｈ．２６４においては、上側のマクロブロックが１６×１６参照で、下側のマクロブロックがイントラＭＢとなるように変換する。この場合、フレーム参照の動きベクトル値をそのまま利用できる。なお、上側マクロブロックがイントラＭＢで下側マクロブロックがフレーム参照の場合も同様である。

図２３（ｃ）は、ＭＰＥＧ２の上側のマクロブロックがフィールド参照で、下側のマクロブロックがイントラＭＢの場合を示している。上述したように、ＭＰＥＧ２のフィールド参照では１６×８のサイズでそれぞれトップフィールドとボトムフィールドに分けることができるが、Ｈ．２６４規格においては、１６×８のサイズのトップフィールドとボトムフィールドは存在しない。よって、１６×８のトップフィールド又はボトムフィールドと１６×８のイントラＭＢとの組み合わせでマクロブロックを構成することはできない。そこで、まず、動き検出を行わずに、ＭＰＥＧ２のイントラＭＢに動きベクトルを付加することにより、イントラＭＢをインターＭＢのフィールド参照に変換する。このときの動きベクトルは任意の値でよい。例えば、０ＭＶであっても良いし、ｐＭＶ（動きベクトル予測値）であっても良い。ｐＭＶと等しい動きベクトルを持つインターＭＢにすると、符号量を最も小さくすることができる。

動き検出を行わずにインターＭＢに変換すると、変換後のインターＭＢの１６×８ブロックの符号量は大きくなり、ビットレートが増大する可能性がある。しかし、規格上の問題はない。イントラＭＢをインターＭＢのフィールド参照に変換することによって、ＭＰＥＧ２の上下のマクロブロックがフィールド参照となる。よって、図２２（ｂ）と同様に、Ｈ．２６４のトップフィールドとボトムフィールドに変換できる。上側マクロブロックがイントラＭＢで下側マクロブロックがフィールド参照の場合も同様に考えることができる。

４．４．２ 動きベクトル情報の参照情報の変換
図２４に、動きベクトル情報変換部５０３による動きベクトル情報の参照情報の変換方法を示す。動きベクトル情報変換部５０３は、Ｈ．２６４においてフレームＭＢペアに変換されたかどうかを判断する（Ｓ２４１）。フレームＭＢペアに変換された場合は、「ｒｅｆｉｄｘ＿Ｌ０＝０」又は「ｒｅｆｉｄｘ＿Ｌ１＝０」となるピクチャを参照画像として選択するように、参照情報を設定する（Ｓ２４４）。フレームＭＢペアに変換されなかった場合、すなわち、フィールドＭＢペアに変換された場合は、参照先の画像である参照画像がトップフィールドか否かを判断する（Ｓ２４２）。トップフィールドである場合は、参照情報を「ｒｅｆｉｄｘ＿Ｌ０＝０」又は「ｒｅｆｉｄｘ＿Ｌ１＝０」に設定する（Ｓ２４４）。トップフィールドでない場合、すなわち、ボトムフィールドである場合は、参照情報を「ｒｅｆｉｄｘ＿Ｌ０＝１」又は「ｒｅｆｉｄｘ＿Ｌ１＝１」に設定する（Ｓ２４３）。以上の処理によって、参照情報の変換を終了する。

以上のように、本実施形態によれば、ＭＰＥＧ２のフィールド構造とフレーム構造のそれぞれにおいて、ＭＰＥＧ２ストリームのマクロブロックに対するヘッダ情報、マクロブロック情報、及び動きベクトル情報の全てを、マクロブロックの分割方法や参照モードに応じて、Ｈ．２６４のヘッダ情報、マクロブロック情報、及び動きベクトル情報に変換している。すなわち、変換前の動きベクトル情報に含まれる動きベクトル値を、そのまま変換後の動きベクトル値に利用している。よって、変換後のＨ．２６４規格において、画質が劣化することはない。また、変換前の動きベクトル値をそのまま利用できるため、演算量が大きい動き検出処理を行わなくて良い。よって、回路規模を削減でき、低コストを実現できる。

また、フレーム構造のように、ＭＰＥＧ２とＨ．２６４とで同一の参照モードが存在しない場合、ＭＰＥＧ２の上下のマクロブロックの一方だけがフィールド参照のときに、そのままでは、ＭＰＥＧ２からＨ．２６４に変換することができない。しかし、本実施形態によれば、フィールド参照とフレーム参照との組み合わせ、又はフィールド参照とイントラＭＢの組み合わせのときに、フレーム参照やイントラＭＢをフィールド参照に変換している。そのため、上下のマクロブロックのいずれか一方のみがフィールド参照であっても、ＭＰＥＧ２からＨ．２６４に変換することができる。フレーム参照をフィールド参照に変換するときには、フレーム参照の動きベクトル値を利用しているため、動き検出を行う必要はなく、回路規模を削減できる。また、インターＭＢをフィールド参照に変換するときも動き検出を行っていないため、回路規模を削減できる。

５． 変形例
なお、本実施形態では、参照画像は、前方参照の場合に「ｒｅｆｉｄｘ＿Ｌ０＝０」又は「ｒｅｆｉｄｘ＿Ｌ０＝１」を使用するとしているが、これらに限定されるものではない。同様に、後方参照の場合も「ｒｅｆｉｄｘ＿Ｌ１＝０」又は「ｒｅｆｉｄｘ＿Ｌ１＝１」に限定されるものではない。Ｈ．２６４規格で規定される範囲において、必要に応じて自由な値を使用してもよい。

なお、Ｈ．２６４エンコーダ２０６は可変長符号化部４０６を備えて可変長符号化を行ったが、可変長符号化の代わりに、Ｈ．２６４規格で規定される算術符号化を用いてもよい。

なお、トランスコーダ１０４の構成において、トランスコーダ１０４内の全てをソフトウェアで構成しても良いし、全てハードウェアで構成しても構わない。また、トランスコーダ１０４内の構成のうち、ソフトウェアで構成する部分は限定しない。

本実施形態では、図１の記憶装置１０１からＭＰＥＧ２ストリーム読み出して、トランスコードを行い、Ｈ．２６４ストリームを記憶装置１０１に書き込む構成を示したが、放送などの通信路からＭＰＥＧ２ストリームを取得して、トランスコードを行ってもよい。Ｈ．２６４ストリームを、記憶装置１０１に書き込むのではなく、ＬＡＮ（ローカルエリアネットワーク）に送出してもよい。

《実施形態２》
図２のトランスコーダ１０４内のＨ．２６４エンコーダ２０６の別の例について説明する。実施形態１のＨ．２６４エンコーダ２０６は、動き検出を行わなかったが、本実施形態のＨ．２６４エンコーダは、画素の精度を向上させるために、動きベクトル情報が指す位置の近傍のみ、動き検出を行う。

図２５に、本実施形態のＨ．２６４エンコーダ２５０の構成を示す。本実施形態のＨ．２６４エンコーダ２５０は、動き検出部２５１を有することと、実施形態１と動きが異なる動き補償部２５２を有することが、実施形態１のＨ．２６４エンコーダ２０６と異なる。本実施形態のＨ．２６４エンコーダ２５０において、実施形態１のＨ．２６４エンコーダ２０６と同一の動作をする構成要素には同じ符号を付し、その説明を省略する。動き検出部２５１及び動き補償部２５２について以下に説明する。

動き検出部２５１は、情報変換部２０４からヘッダ情報、マクロブロック情報及び動きベクトル情報を受け取る。動き検出部２５１は、情報変換部２０４からインターＭＢでのエンコードを指示された場合、例えば１６×１６参照を指示された場合、符号化用フレームメモリ２０７から動きベクトル情報が指す参照画像を選択すると共に、動きベクトル情報が指す位置の周辺の画像データを取得する。また、同時に復号用フレームメモリ２０５から読み出した復号画像と、最も相関の高い位置を計算する。相関の大小は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最も小さくなる位置である。計算した結果に基づくマクロブロック情報及び動きベクトル情報を動き補償部２５２に出力する。

動き補償部２５２は、動き検出部２５１から受け取ったマクロブロック情報及び動きベクトル情報に基づいて、符号化用フレームメモリ２０７から動きベクトル情報が指す位置の画像データを取得して、Ｈ．２６４規格で定められたフィルタ演算を行い、小数精度位置の参照画像を算出する。さらに、動き補償部２５２は、この参照画像と、復号用フレームメモリ２０５から読み出した復号画像の差分データを量子化・周波数変換部４０３に出力すると共に、得られた参照画像を再構成部４０５に出力する。

動き検出部２５１と動き補償部２５２による処理は、情報変換部２０４がＨ．２６４エンコーダ２５０に対してインターＭＢでのエンコードを指示した場合に行われる。情報変換部２０４が１６×８参照など、他の参照モードを指定した場合の動作も同様である。なお、情報変換部２０４が、Ｈ．２６４エンコーダ２５０に対してイントラＭＢでのエンコードを指示した場合の動作は、実施形態１の図４と同じである。

ＭＰＥＧ２では０．５画素精度の動きベクトル情報までしかないため、その動きベクトル情報を流用するだけでは、Ｈ．２６４でも０．５画素精度までしか利用できない。すなわち、実施形態１においては、Ｈ．２６４でも０．５画素精度となる。しかし、実施形態２では、動き検出部２５１によりＭＰＥＧ２での動きベクトル情報が指す位置の近傍のみを探索することにより、Ｈ．２６４規格で用いられる０．２５画素の動きベクトル情報を利用できるようになる。よって、精度のよい動き検出の初期探索位置を設定できる。また、実施形態１と同様に、動きベクトル情報を利用しているため、広い範囲の動き検出を行う必要はない。よって、回路規模を小さく、低コストを実現することができる。

また、０．５画素精度を算出する場合、ＭＰＥＧ２では２タップフィルタで行い、Ｈ．２６４では６タップフィルタで行われる。よって、ＭＰＥＧ２において最適な動きベクトルであっても、Ｈ．２６４では最適ではない場合が存在する。しかし、本実施形態のように動き検出を行うことにより、最適な動きベクトルを算出できるようになる。

なお、本実施形態では、動き検出部２５１と動き補償部２５２とを分けて設けたが、動き検出部２５１が動き補償部２５２の機能を含んでもよい。

《実施形態３》
１． トランスコーダの構成
図１のトランスコーダ１０４の別の例について説明する。実施形態１のトランスコーダ１０４は、ＭＰＥＧ２の画像を復号して差分画像から元の画像に戻した後にＨ．２６４で符号化しなおしたが、本実施形態のトランスコーダ１０４は、復号及び符号化の演算処理を削減するために、ＭＰＥＧ２の画像を元の画像に戻さない状態で差分画像のままＨ．２６４に変換する。

図２６に、本実施形態のトランスコーダ１０４の内部構成を示す。図２６において、実施形態１と同じ動作をする構成要素には同じ符号を付し、その説明は省略する。実施形態１のトランスコーダ１０４は、復号用フレームメモリ２０５と符号化用フレームメモリ２０７を有していたが、本実施形態のトランスコーダ１０４は、復号用フレームメモリ２０５と符号化用フレームメモリ２０７の代わりに、差分値メモリ２６１を有する。差分値メモリ２６１には、ＭＰＥＧ２デコーダ２０３によって可変長復号、逆量子化、逆周波数変換された後の差分データが格納される。また、Ｈ．２６４エンコーダ２６３によって、差分値メモリ２６１に格納された差分データが読み出される。また、本実施形態のＭＰＥＧ２デコーダ２６２とＨ．２６４エンコーダ２６３は、実施形態１のＭＰＥＧ２デコーダ２０３とＨ．２６４エンコーダ２０６と異なる内部構成を有する。ＭＰＥＧ２デコーダ２６２とＨ．２６４エンコーダ２６３の内部構成については後述する。

本実施形態のトランスコーダ１０４の動作について説明する。ＭＰＥＧ２デコーダ２６２は入力ストリームバッファ２０２からストリームを読み出して、復号処理を行う。ＭＰＥＧ２デコーダ２６２によって可変長復号、逆量子化、逆周波数変換された後の差分データは差分値メモリ２６１に格納される。同時にＭＰＥＧ２デコーダ２６２は各マクロブロックのマクロブロック情報、動きベクトル情報及びヘッダ情報を情報変換部２０４に出力する。

情報変換部２０４は、ＭＰＥＧ２のマクロブロック情報、動きベクトル情報及びヘッダ情報から、Ｈ．２６４規格のマクロブロック情報、動きベクトル情報及びヘッダ情報に変換し、Ｈ．２６４エンコーダ２６３に入力する。この変換動作の詳細は後述する。

Ｈ．２６４エンコーダ２６３は差分値メモリ２６１から、可変長復号、逆量子化、逆周波数変換された後の差分データを読み出し、Ｈ．２６４規格でエンコードを行い、符号化済みのＨ．２６４ストリームを出力ストリームバッファ２０８に出力する。出力ストリームバッファ２０８は、ストリームをシステムエンコーダ１０５に出力する。

１．１ ＭＰＥＧ２デコーダの内部構成
図２７に、図２６のＭＰＥＧ２デコーダ２６２の内部構成を示す。本実施形態のＭＰＥＧ２デコーダの内部構成は、実施形態１のＭＰＥＧ２デコーダ２０３と対比すると、動き補償部３０５と再構成部３０６とを有しない。その他の構成は、実施形態１のＭＰＥＧ２デコーダ２０３と同じである。本実施形態のＭＰＥＧ２デコーダ２６２の動作について説明する。

イントラＭＢの場合、ヘッダ情報と、可変長復号されたマクロブロック情報は情報変換部２０４に出力される。可変長復号されたＤＣＴ係数は、逆量子化部３０３で逆量子化され、逆周波数変換部３０４で、逆周波数変換され、差分値メモリ２６１に出力される。ＭＰＥＧ２の場合、イントラＭＢでは、予測画像が存在しないので、差分値メモリ２６１に出力される値は画素データそのものである。

一方、ＰピクチャおよびＢピクチャのインターＭＢの場合、ヘッダ情報と、可変長復号されたデータのうち、マクロブロック情報は情報変換部２０４に出力される。動きベクトル情報の動きベクトル値は、動きベクトル算出部３０２において、予測値を用いて実際の動きベクトル値に変換された後、情報変換部２０４に出力される。可変長復号されたＤＣＴ係数は、逆量子化部３０３で逆量子化され、逆周波数変換部３０４で逆周波数変換され、差分値メモリ２６１に出力される。

１．２ Ｈ．２６４エンコーダの内部構成
図２８に、図２６のＨ．２６４エンコーダ２６３の内部構成を示す。本実施形態のＨ．２６４エンコーダ２６３は、実施形態１のＨ．２６４エンコーダ２０６と対比すると、動き補償部４０１、再構成部４０５、デブロックフィルタ部４０７、及び逆量子化・逆周波数変換部４０４を有しない。

Ｈ．２６４エンコーダ２６３は、情報変換部２０４から、Ｈ．２６４ヘッダ情報及び符号化を行うマクロブロックのＨ．２６４マクロブロック情報とＨ．２６４動きベクトル情報を入力される。

イントラ予測においては、符号化するイントラＭＢに隣接するマクロブロックの画素から予測した差分を符号化するが、本実施形態においては差分値メモリ２６１に格納される画像は、インターＭＢの場合、差分画像であるため、イントラ予測においてインターＭＢを使用することができない。そのため、インターＭＢの画素をイントラ予測に用いないようにする。よって、制約付イントラ予測モード、すなわち「ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＝１」で動作する。この制約付イントラ予測モードでは、イントラ予測に使用される画素はイントラＭＢの画素値のみで、インターＭＢの画素値は使用されない。

情報変換部２０４が、Ｈ．２６４エンコーダ２６３に対してイントラＭＢでのエンコードを指示した場合、差分値メモリ２６１から読み出された差分データはイントラ予測部４０２に入力されて、イントラ予測される。情報変換部２０４がイントラＭＢでのエンコードをＨ．２６４エンコーダ２６３に指示する場合は、ＭＰＥＧ２においても必ずイントラＭＢであるので、この差分値メモリ２６１から読み出された差分データは画素値そのものである。本実施形態ではインターＭＢでは画素値データが復号されないが、Ｈ．２６４エンコーダ２６３は制約付イントラ予測モードを用いるので、このイントラ予測に用いられるのは符号化するイントラＭＢの周辺及び符号化するイントラＭＢのそのものの画素値のみである。

イントラ予測部４０２は、Ｈ．２６４規格で定義されるイントラ予測を行い、予測方向を決定すると共に予測画像と復号画像の差分データを量子化・周波数変換部４０３に出力する。量子化・周波数変換部４０３は、量子化及び周波数変換の処理を行い、可変長符号化部４０６に出力する。可変長符号化部４０６は、周波数変換された差分信号を符号化し、出力ストリームバッファ２０８に出力する。

２．１ ヘッダ情報の変換
情報変換部２０４のヘッダ情報変換部５０１は、ＭＰＥＧ２のヘッダ情報を図２９に示すフローチャートに従って、Ｈ．２６４のヘッダ情報に変換する。

ヘッダ情報変換部５０１は、常に、制約付イントラ予測モード、すなわち「ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＝１」を使用する（Ｓ２９１）。ヘッダ情報変換部５０１は、ＭＰＥＧ２ピクチャ構造がフィールド構造か否かを判断する（Ｓ２９２）。

ＭＰＥＧ２ピクチャ構造がフィールド構造の場合、Ｈ．２６４のピクチャ構造はフィールド構造に変換される（Ｓ２９３）。すなわち、Ｈ．２６４規格において「ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ＝１」に設定される。重み予測は、デフォルトモードに変換される（Ｓ２９４）。すなわち、Ｈ．２６４規格において「ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝０」及び「ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝０」に設定される。

ＭＰＥＧ２ピクチャ構造がフィールド構造でない場合、すなわち、フレーム構造である場合は、Ｈ．２６４のピクチャ構造としてフレーム構造でＭＢＡＦＦ（Ｍａｃｒｏ Ｂｌｏｃｋ Ａｄａｐｔｉｖｅ Ｆｉｅｌｄ Ｆｒａｍｅ）構造が選択される（Ｓ２９５）。すなわち、Ｈ．２６４規格において「ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ＝０」及び「ｍｂ＿ａｄａｐｔｉｖｅ＿ｆｒａｍｅ＿ｆｉｅｌｄ＿ｆｌａｇ＝１」に設定される。重み予測はＥｘｐｌｉｃｉｔモードに選択される（Ｓ２９６）。すなわち、Ｈ．２６４規格においては、「ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ＝１」及び「ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｉｄｃ＝１」に設定される。

２．２ マクロブロック情報と動きベクトル情報の変換
マクロブロック情報変換部５０２及び動きベクトル情報変換部５０３による、変換動作について説明する。ＭＰＥＧ２フィールド構造の場合は、実施形態１と同じであるため、説明を省略する。

ＭＰＥＧ２フレーム構造の場合について、ピクチャの参照関係を説明する。図１５に示すＭＰＥＧ２フレーム構造は、図３０に示すＨ．２６４フレーム構造のピクチャに変換される。各ピクチャの記号が示す意味は図１５と同じである。

図３０において、Ｐ３ピクチャは、過去のＩ０ピクチャをｒｅｆｉｄｘ＿Ｌ０＝０、１、２又は３として参照する。Ｂ１ピクチャは、過去のＩ０と未来のＰ３のピクチャを、それぞれｒｅｆｉｄｘ＿Ｌ０＝０、１、２又は３、ｒｅｆｉｄｘ＿Ｌ１＝０、１、２又は３として参照する。具体的には、フレームＭＢペアの場合はｒｅｆｉｄｘ＿Ｌ０＝０、２又はｒｅｆｉｄｘ＿Ｌ１＝０、２を使用する。フィールドＭＢペアの場合でトップフィールドを参照するときは、ｒｅｆｉｄｘ＿Ｌ０＝０、２又はｒｅｆｉｄｘ＿Ｌ１＝０、２を使用し、ボトムフィールドを参照するときは、ｒｅｆｉｄｘ＿Ｌ０＝１、３、又はｒｅｆｉｄｘ＿Ｌ１＝１、３を使用する。

同一の参照画像にもかかわらず異なるｒｅｆｉｄｘの値を割り当てているのは、重み予測としてＥｘｐｌｉｃｉｔモードを使用し、同一の参照画像に対して、異なる重み付けをするためである。重み予測を用いる場合は「（参照画像）×（重み）」が参照画像の画素値となる。

ｒｅｆｉｄｘ＿Ｌ０＝０又は１、ｒｅｆｉｄｘ＿Ｌ１＝０又は１が使用される場合、重みがデフォルトモードと同じようになるように次のように設定される。ＰピクチャやＢピクチャの片方向の参照の場合、重み＝１に設定される。Ｂピクチャの双方向参照の場合、それぞれの方向についての参照が、重み＝０．５になるように設定される。

ｒｅｆｉｄｘ＿Ｌ０＝２又は３、ｒｅｆｉｄｘ＿Ｌ１＝２又は３が使用される場合、重み＝０が設定される。この結果、ｒｅｆｉｄｘ＿Ｌ０、ｒｅｆｉｄｘ＿Ｌ１＝２又は３が使用される場合は、参照画像の画素値は常に０となる。

ＭＰＥＧ２フレーム構造からの変換は、上下のＭＢの組み合わせがイントラＭＢとフィールド参照の場合以外は、全て実施形態１の変換と同じである。以下、実施形態１と異なる変換を行う、上側マクロブロックがフィールド参照で、下側マクロブロックがイントラＭＢの場合について説明する。

図３１（ａ）に、上側マクロブロックがフィールド参照で、下側マクロブロックがイントラＭＢの場合の変換を示し、図３１（ｂ）にＭＰＥＧ２におけるイントラＭＢからフィールド参照への変換を示す。１６×１６のフィールド参照をトップフィールドとボトムフィールドとに分けて符号化しようとすれば、Ｈ．２６４においてマクロブロックの上半分の１６×８がイントラＭＢ（トップフィールド又はボトムフィールド）となり、下半分がインターＭＢとなる。しかし、このようなマクロブロックの構成は、Ｈ．２６４規格に存在しない。そこで、図３１（ａ）に示すように、参照画像を持たないイントラＭＢに動きベクトル情報を付加することによって、参照画像を持つインターＭＢに変換する。このとき、使用する動きベクトル値は任意の値でよいが、Ｈ．２６４では、ｐＭＶ（動きベクトル予測値）と等しい動きベクトルを持つインターＭＢを選択することで符号量を最も小さくすることができる。

本実施形態においては、実施形態１と異なり、トランスコーダ１０４が符号化用フレームメモリ２０７を備えていない。すなわち、過去のフレームのローカル復号画像が存在しない。よって、ローカル復号画像を参照画像として取得することができない。また、復号用フレームメモリ２０５も備えていない。そのため、復号用フレームメモリ２０５から復号画像（符号化する画像）を読み出すこともできない。そのため、復号画像と参照画像の差分値を生成することができない。すなわち、イントラＭＢをフィールド参照にするための動きベクトル情報を生成することができず、そのままでは、イントラＭＢをインターＭＢに変換することができない。

そこで、本実施形態においては、重みＷ＝０となる参照を使用して、イントラＭＢをインターＭＢに変換する。具体的にはｒｅｆｉｄｘ＿Ｌ０及びｒｅｆｉｄｘ＿Ｌ１＝２又は３を使用する。差分値メモリ２６１に格納されている差分データは、「差分データ＝復号画像−参照画像×重みＷ」により得られるデータである。よって、重みＷ＝０とすると、「差分データ＝復号画像」となる。この差分データに動きベクトルを付加することによって、イントラＭＢをフィールド参照に変換することができる。重みＷ＝０にすると、ＭＰＥＧ２の差分データ（＝復号画像）が、Ｈ．２６４の差分データと一致する。

以上により、フィールドＭＢペアは上下ともフィールド参照となり、ＭＰＥＧ２の上下のマクロブロックをＨ．２６４のトップフィールドとボトムフィールドとにそれぞれ変換することができる。上側マクロブロックがイントラＭＢで下側マクロブロックがフィールド参照の場合も同様である。

このように、本実施形態は、ＭＰＥＧ２で符号化されたデータに対して逆周波数変換を行った後の差分データを記憶し、情報変換部において変換されたＨ．２６４のマクロブロックの分割方法や参照モードに応じて、記憶した差分データをＨ．２６４規格で符号化する構成としている。この場合、ＭＰＥＧ２の上下のマクロブロックがフィールド参照とイントラＭＢの組み合わせであっても、重みをゼロにして、動きベクトル情報に簡単な変換を施すことにより、参照画像を用いることなくトランスコードすることができる。

《実施形態４》
トランスコード装置の実装例について説明する。図３２に、本実施形態におけるトランスコード装置の実装例を示す。図３２において、図１及び図２と同一の構成要素は同一の符号を付けている。本実施形態においては、システムデコーダ１０２、ＭＰＥＧ２デコーダ２０３、Ｈ．２６４エンコーダ２０６、及びシステムエンコーダ１０５を１つのＬＳＩ３２２に実装し、比較的大容量のメモリ容量が必要となるオーディオバッファ１０３、復号用フレームメモリ２０５、符号化用フレームメモリ２０７、入力ストリームバッファ２０２及び出力ストリームバッファ２０８を１つのＤＲＡＭ３２１上に実装する。

なお、システムデコーダ１０２、ＭＰＥＧ２デコーダ２０３、Ｈ．２６４エンコーダ２０６、及びシステムエンコーダ１０５の各機能ブロックは、典型的に、集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定が再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等が可能性としてありえる。

なお、本実施形態においては、ＭＰＥＧ２からＨ．２６４への符号化規格のトランスコードについて説明したが、この符号化規格に限られることはなく、ＭＰＥＧ２と同様のデータ構造を有する符号化規格からＨ．２６４と同様のデータ構造を有する符号化規格へのトランスコードに変換する場合も本発明に含まれる。

本発明のトランスコード装置およびトランスコード方法は、回路規模を削減して低コストでＭＰＥＧ２規格からＨ．２６４規格に変換できるという特徴を有し、ＭＰＥＧ等の圧縮画像を記録するＤＶＤレコーダやハードディスクレコーダ等に有用である。さらに、ＭＰＥＧ等の圧縮規格を変更することでビットレートを削減できるため、ネットワークに送信する装置にも有用である。

１０１ 記憶装置
１０２ システムデコーダ
１０３ オーディオバッファ
１０４ トランスコーダ
１０５ システムエンコーダ
２０１ 制御用プロセッサ
２０２ 入力ストリームバッファ
２０３ ＭＰＥＧ２デコーダ
２０４ 情報変換部
２０５ 復号用フレームメモリ
２０６ Ｈ．２６４エンコーダ
２０７ 符号化用フレームメモリ
２０８ 出力ストリームバッファ
２５０ Ｈ．２６４エンコーダ
２５１ 動き検出部
２５２ 動き補償部
２６１ 差分値メモリ
２６２ ＭＰＥＧ２デコーダ
２６３ Ｈ．２６４エンコーダ
３０１ 可変長復号部
３０２ 動きベクトル算出部
３０３ 逆量子化部
３０４ 逆周波数変換部
３０５ 動き補償部
３０６ 再構成部
３２１ ＤＲＡＭ
３２２ ＬＳＩ
４０１ 動き補償部
４０２ イントラ予測部
４０３ 量子化・周波数変換部
４０４ 逆量子化部・逆周波数変換部
４０５ 再構成部
４０６ 可変長符号化部
４０７ デブロックフィルタ部
５０１ ヘッダ情報変換部
５０２ マクロブロック情報変換部
５０３ 動きベクトル情報変換部

Claims (7)

1. 符号化された画像データの符号化規格の変換を行うトランスコード装置であって、
   第１の符号化規格で符号化されたデータを復号すると共に、復号したデータに逆周波数変換を行って差分データを生成する復号部と、
   前記差分データを記憶するメモリと、
   前記復号部からピクチャ構造に関する情報とマクロブロックの参照に関する情報とを入力し、前記ピクチャ構造に関する情報と前記マクロブロックの参照に関する情報とを第２の符号化規格のピクチャ構造に関する情報とマクロブロックの参照に関する情報とに変換する変換部と、
   前記変換部により変換されたピクチャ構造に関する情報とマクロブロックの参照に関する情報とを用いて、前記メモリの差分データを第２の符号化規格で符号化する符号化部と、
   を備えたトランスコード装置。
2. 前記変換部は、前記第１の符号化規格のフレーム構造について、垂直方向に隣接する２つのマクロブロックがイントラマクロブロックとフィールド参照の場合に、イントラマクロブロックをインターマクロブロックに変換し、前記第２の符号化規格の１６×８参照となる２つのマクロブロックのフィールドＭＢペアに変換することを特徴とする請求項１記載のトランスコード装置。
3. 前記変換部は、動きベクトルがｐＭＶと等しいインターマクロブロックに変換することを特徴とする請求項２記載のトランスコード装置。
4. 前記変換部は、イントラマクロブロックを参照画像に対する重みを０とするインターマクロブロックに変換することを特徴とする請求項２記載のトランスコード装置。
5. 前記変換部は、前記第１の符号化規格のフレーム構造について、垂直方向に隣接する２つのマクロブロックがフレーム参照とフィールド参照の場合に、前記第２の符号化規格の１６×８参照となる２つのマクロブロックのフィールドＭＢペアに変換することを特徴とする請求項１記載のトランスコード装置。
6. 前記変換部は、
   前記第１の符号化規格のピクチャ構造がフィールド構造の場合は、前記第２の符号化規格のピクチャ構造をフィールド構造に変換し、
   前記第１の符号化規格のピクチャ構造がフレーム構造の場合は、前記第２の符号化規格のピクチャ構造をフレーム構造でかつＭＢＡＦＦ構造に変換することを特徴とする請求項１記載のトランスコード装置。
7. 符号化された画像データの符号化規格の変換を行うトランスコード方法であって、
   第１の符号化規格で符号化されたデータを復号する復号ステップと、
   前記復号ステップにより逆周波数変換が行われた後の差分データを記憶する記憶ステップと、
   前記復号ステップにより得られた、前記ピクチャ構造に関する情報と前記マクロブロックの参照方法に関する情報とを、第２の符号化規格のピクチャ構造に関する情報とマクロブロックの参照方法に関する情報とに変換する変換ステップと、
   前記変換ステップにより変換されたピクチャ構造に関する情報とマクロブロックの参照に関する情報とを用いて、前記記憶ステップにより記憶された差分データを第２の符号化規格で符号化する符号化ステップと、
   を備えたトランスコード方法。

Images