JP2002185969A - 動画像符号化データの形式変換方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】高速に形式変換することを可能にすると共に、
圧縮された動画像の内容を高速に解析してインデキシン
グを行い、構造化データに変換することを可能にする形
式変換装置を提供する。 【解決手段】第１の動画像符号化データ形式であるＭＰ
ＥＧ２形式のビットストリームＡ１をＭＰＥＧ２デコー
ダ１２によりデコードして得られた再生動画像信号Ａ２
及びサイド情報Ａ３をサイズ変換部１３により第２の動
画像符号化データ形式であるＭＰＥＧ４形式に適した形
態に変換し、変換後の再生画像信号Ａ４を変換後のサイ
ド情報Ａ５に含まれる動きベクトル情報を利用してＭＰ
ＥＧ４エンコーダ１４によってエンコードすることによ
りＭＰＥＧ４形式のビットストリームＡ６を得ると同時
に、インデキシング部１６によりサイド情報Ａ５に含ま
れる動きベクトルを利用してインデキシング処理を行
い、構造化データＡ７を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、１つの動画像符号
化データ形式のビットストリームを他の動画像符号化デ
ータ形式のビットストリームへ変換する動画像符号化デ
ータの形式変換方法及び装置に関する。

【０００２】

【従来の技術】動画像符号化の国際標準方式としては、
ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＭＰ
ＥＧ１，ＭＰＥＧ２及びＭＰＥＧ４が知られている。こ
れらの方式の動画像符号化データ形式はそれぞれ異なっ
ている。このような異なる動画像符号化データ形式間で
ビットストリームを高速に変換する技術は形式変換（ト
ランスコード）技術とである。この形式変換技術は、変
換元のビットストリームを一旦デコードしてから再び変
換先の方式でエンコードする再符号化によることにより
形式変換を行う。

【０００３】ＭＰＥＧ２形式からＭＰＥＧ４形式へのト
ランスコードを行う従来の形式変換装置では、ＭＰＥＧ
２ストリーム蓄積部に蓄積されているＭＰＥＧ２ストリ
ームは、ＭＰＥＧ２デコーダによってデコードされる。

【０００４】一般に、ＭＰＥＧ２デコーダで復号される
動画像信号とＭＰＥＧ４エンコーダでエンコードされる
動画像信号では、画面サイズが異なる。このため、ＭＰ
ＥＧ２デコーダで再生された動画像信号は、サイズ変換
部によって画面サイズを変換される。

【０００５】ＭＰＥＧ４エンコーダは、サイズ変換部か
らの動画像信号をＭＰＥＧ４形式でエンコードすること
によってＭＰＥＧ４ストリームを生成し、それをＭＰＥ
Ｇ４ストリーム蓄積部に蓄積する。このとき、エンコー
ダにおいて動きベクトルの検出が行われ、この動きベク
トルに基づいて画像が再構成される。

【０００６】このように従来のトランスコード技術で
は、ＭＰＥＧ２形式からＭＰＥＧ４形式への変換を行う
とき、動きベクトルを検出する処理を行わなくてはなら
ない。このため、形式変換に要する時間が長くなってし
まう。

【０００７】

【発明が解決しようとする課題】上述したように、従来
のトランスコード技術ではある動画像符号化データ形式
のストリームを他の動画像符号化データ形式のストリー
ムに変換する際、元の動画像データ形式のストリームを
フルデコードした後、再生動画像信号のサイズ変換を行
ってから再びエンコードする必要があるため、高速の形
式変換処理を行うことが難しいという問題点があった。

【０００８】従って、本発明の目的はある動画像符号化
データ形式のビットストリームを他の動画像符号化デー
タ形式のビットストリームへ高速に変換することができ
る動画像符号化データの形式変換方法及び装置を提供す
ることにある。

【０００９】さらに、本発明の他の目的は動画像符号化
データのストリームを高速に形式変換することを可能に
すると共に、圧縮された動画像信号の内容を高速に解析
してインデキシング処理を行って構造化データに変換す
ることを可能にすることである。

【００１０】

【課題を解決するための手段】上記の課題を解決するた
め、本発明は第１の動画像符号化データ形式のビットス
トリームを第２の動画像符号化データ形式のビットスト
リームへ変換する際、第１の動画像符号化データ形式の
ビットストリームをデコードして得られた再生画像信号
及びサイド情報を第２の動画像符号化データ形式に適し
た形態に変換し、変換後の再生画像信号を変換後のサイ
ド情報に含まれる動きベクトル情報を利用してエンコー
ドすることにより第２の動画像符号化データ形式のビッ
トストリームを得るようにしたことを特徴とする。

【００１１】さらに、第１の動画像符号化データ形式の
ビットストリームをデコードして得られるサイド情報を
利用してインデキシング処理を行う際、変換後の再生画
像信号及びサイド情報を第２の動画像符号化データ形式
に適した形態に変換すると同時にインデキシング処理を
行うことを特徴とする。また、このインデキシングに際
してサイド情報に含まれる動きベクトルの分布を解析し
てカット検出を行うことを特徴とする。

【００１２】さらに、本発明によると第１の動画像符号
化データ形式のビットストリームをデコードし、再生画
像信号及びサイド情報を出力する処理と、再生画像信号
とサイド情報を第２の動画像符号化データ形式に適した
形態に変換する処理と、変換後の再生画像信号を変換後
のサイド情報に含まれる動きベクトル情報を利用してエ
ンコードすることにより第２の動画像符号化データ形式
のビットストリームを得る処理と、さらにはサイド情報
を利用したインデキシング処理をコンピュータに実行さ
せるためのプログラム製品が提供される。

【００１３】さらに、本発明によると第１動画像符号化
データ形式のビットストリームをデコードして得られる
サイド情報を利用してインデクシング処理を行う際に解
析された、第１の動画像符号化データの構造化情報を利
用して、再生画像信号およびサイド情報を第２の動画像
符号化データ形式に適した形態への変換を行うと共に、
前記構造化情報を利用してエンコードすることにより第
２の動画像符号化データ形式のビットストリームを得る
ようにしたことを特徴とする。

【００１４】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。

【００１５】（形式変換装置の全体構成）本発明の第１
の実施形態として、ＭＰＥＧ２形式の動画像符号化デー
タのビットストリームをＭＰＥＧ４形式の動画像符号化
データのビットストリームへ形式変換（トランスコー
ド）する形式変換装置を説明する。

【００１６】図１において、ＭＰＥＧ２ストリーム蓄積
部１１に蓄積されているＭＰＥＧ２ストリームＡ１は、
ＭＰＥＧ２デコーダ１２によってデコード（動画像復号
化）される。これにより、再生動画像信号Ａ２とサイド
情報Ａ３がＭＰＥＧ４エンコーダ１４に適した形態に変
換される。例えば画面サイズやフレーム間隔がＭＰＥＧ
４エンコーダ１４に適した値に変換される。

【００１７】サイド情報Ａ３は、ＭＰＥＧ２ストリーム
を復号する過程で得られる内部情報であるデコードピク
チャのタイムスタンプや各マクロブロック（ＭＢ）のモ
ード情報及び動きベクトル情報を含む。

【００１８】ＭＰＥＧ２デコーダ１２から出力される再
生動画像信号Ａ２及びサイド情報Ａ３は、サイズ変換部
１３に入力される。ＭＰＥＧ２デコーダ１２によって再
生される動画像信号Ａ２とＭＰＥＧ４エンコーダ１４に
よってエンコードされる動画像信号Ａ６の画面サイズが
異なる。このため、サイズ変換部１３は、ＭＰＥＧ２復
号動画像信号Ａ２をＭＰＥＧ４の画面サイズに変換す
る。また、サイズ変換部１３はサイド情報Ａ３もＭＰＥ
Ｇ４エンコーダ１４に適した形式に変換する。

【００１９】サイズ変換部１３から出力される変換後の
動画像信号Ａ４及びサイド情報Ａ５は、ＭＰＥＧ４エン
コーダ１４によりエンコード（動画像符号化）される。
これにより得られたＭＰＥＧ４ストリームＡ６はＭＰＥ
Ｇ４ストリーム蓄積部１５に蓄積される。

【００２０】また、本実施形態では、ＭＰＥＧ２デコー
ダ１２から出力される動画像信号Ａ２は、例えば、シー
ン変化に対応する画像にタグを付けるインデキシング処
理にかけられる。すなわち、インデキシング部１６はＭ
ＰＥＧ２デコーダ１２から出力されるサイド情報Ａ３か
ら動きベクトル情報を抽出し、この動きベクトルに基づ
いて後述するようにインデキシングを行う。インデキシ
ング部１６から出力される構造化データＡ７は、構造化
データ蓄積部１７に蓄積される。

【００２１】図１は、ＭＰＥＧ２ストリーム蓄積部１１
に蓄積されたＭＰＥＧ２ストリームファイルＡ１から、
ＭＰＥＧ４ストリーム蓄積部１５に蓄積されるべきＭＰ
ＥＧ４ストリームＡ６への変換を示している。しかしな
がら、本発明は、ネットワークからＭＰＥＧ２ストリー
ムが供給されたり、ネットワークへＭＰＥＧ４ストリー
ムを供給する形態にも適用できる。

【００２２】次に、本実施形態の特徴部分であるサイズ
変換部１３及びインデキシング部１６を説明する前に、
ＭＰＥＧエンコーダ及びＭＰＥＧデコーダを説明する。
動画像符号化の国際標準方式であるＭＰＥＧ１，ＭＰＥ
Ｇ２およびＭＰＥＧ４では、符号化の基本方式として動
き補償（ＭＣ）と離散コサイン変換（ＤＣＴ）を組み合
わせたＭＣ＋ＤＣＴ方式が採用されている。以下、三木
編著、“ＭＰＥＧ−４のすべて”第３章、工業調査会、
１９９８）を参照して、ＭＰＥＧ４検証モデルに従って
説明する。

【００２３】（ＭＰＥＧエンコーダ）図２は、ＭＰＥＧ
エンコーダとして用いられるＭＣ＋ＤＣＴ方式のエンコ
ーダ（動画像符号化装置）の基本構成を示している。輝
度信号のマクロブロック（ＭＢ）（１６×１６画素）の
単位で行う復号化処理を説明する。

【００２４】動画像信号２０１は減算部２０２に入力さ
れる。減算部２０２は、動画像信号２０１と予測信号２
０３との差分を計算する。この減算部２０２の出力信号
２０４は離散コサイン変換部２０５に供給される。符号
化モードがフレーム内符号化モードの場合に、動き補償
予測部２０６で生成される動き補償予測信号２０７がフ
レーム内／フレーム間切り替え部２０８を介して減算部
２０２に供給される。一方、符号化モードがフレーム間
符号化モードの場合には、予測信号２０３は零とされ、
減算部２０２は差分信号でなく、入力動画像信号２０１
をそのまま出力する。フレーム内モードとフレーム間モ
ードとの切り替えは、動きベクトル検出部２０９によっ
て決定される。この動きベクトル検出部２０９が、モー
ド判定信号２１０をフレーム内／フレーム間切り替え部
２０９に供給することによってモードが切換えられる。
動き補償予測部２０６は、フレームメモリ２１１に蓄積
されている符号化済みのフレーム信号２１２と、動きベ
クトル検出部２０９によって検出された動きベクトル情
報２１３とに基づいて動き補償予測信号２０７を生成す
る。

【００２５】減算部２０２の出力信号２０４は、離散コ
サイン変換部２０５により離散コサイン変換され、これ
により得られたＤＣＴ係数が量子化部２１４によって量
子化される。量子化されたＤＣＴ係数は、可変長符号化
部２１５によって可変長符号化されると共に、逆量子化
部２１６により逆量子化される。逆量子化されたＤＣＴ
係数は、逆離散コサイン変換部２１７により逆離散コサ
イン変換される。これにより、減算部２０２の出力信号
２０４に対応する再生信号２１８が生成される。加算部
２１９は、逆離散コサイン変換部２１７からの再生信号
２１８と予測信号２０３とを加算し、局部復号画像信号
を生成する。局部復号画像信号は、フレームメモリ２１
１に蓄積される。

【００２６】可変長符号化部２１５は、量子化部２１４
からの量子化ＤＣＴ係数、並びに動きベクトル情報２１
３及び符号化モード情報等のサイド情報を可変長符号化
する。この後、符号化情報がマルチプレクサ２２１によ
って多重化されることによって、動画像符号化データの
ビットストリーム２２０が生成される。なお、図２では
量子化部２１４から可変長符号化部２１５への入力線は
示されているが、それ以外の入力線は省略されている。
ビットストリーム２２０は、例えば図１のＭＰＥＧ２ス
トリーム蓄積部１１に蓄積されたり、あるいは図示しな
いネットワークへ送出される。

【００２７】（ＭＰＥＧデコーダ）図３は、図２のエン
コーダに対応するＭＰＥＧデコーダとして用いられるＭ
Ｃ＋ＤＣＴ方式のデコーダ（動画像復号化装置）の構成
を示している。ＭＰＥＧデコーダにより圧縮された動画
像符号化データであるビットストリーム３０１は可変長
符号復号化部３０２に入力される。可変長符号復号化部
３０２は量子化ＤＣＴ係数３０３やサイド情報３０４を
復号する。量子化ＤＣＴ係数３０３は、逆量子化部３０
５によって逆量子化された後、逆離散コサイン変換部３
０６に入力される。逆離散コサイン変換部３０６は量子
化ＤＣＴ係数３０３を逆離散コサイン変換し、画像信号
３０７を再生する。

【００２８】現マクロブロックがサイド情報３０４によ
りフレーム内符号化モードを示している場合には、フレ
ーム内／フレーム間切り替え部３１２は、動き補償予測
部３０９からの動き補償予測信号３１１をオフにする。
このため、加算部３０８は、フレーム内／フレーム間切
り替え部３１２からの信号を供給されないので、加算部
３０８は、逆離散コサイン変換部３０６から供給される
画像信号３０７をそのまま再生画像信号３１４として出
力する。

【００２９】一方、現マクロブロックがフレーム間符号
化モードの場合には、フレーム内／フレーム間切り替え
部３１２は、動き補償予測部３０９からの動き補償予測
信号３１１をオンにする。このため、加算部３０８は、
フレーム内／フレーム間切り替え部３１２からの動き補
償予測信号３１３と逆離散コサイン変換部３０６からの
動き補償予測誤差信号３０７とを加算し、加算信号を再
生動画像信号３１４として出力する。このようにして生
成される再生動画像信号３１４の一部は、フレームメモ
リ３１０に蓄積される。フレームメモリ３１０に蓄積さ
れた再生動画像信号は、動き補償予測部３０９に供給さ
れる。

【００３０】次に、図４のフローチャートを用いて本実
施形態の形式変換装置の処理手順を説明する。

【００３１】まず、ＭＰＥＧ４エンコーダ１４は要求す
るフレームのタイムスタンプ（ｄｅｍａｎｄＴＳ）の初
期値を例えば０に設定する（ステップＳ１０１）。この
後、ＭＰＥＧ２ストリーム蓄積部１１に蓄積されている
ＭＰＥＧ２ストリームＡ１がＭＰＥＧ２デコーダ１２内
のストリームバッファに読み込まれる（スプＳ１０
２）。

【００３２】次に、ステップＳ１０２で読み込んだスト
リームがＭＰＥＧ２ストリームＡ１の終端かが判定され
る（ステップＳ１０３）。この判定がＹＥＳであると、
トランスコード処理が終了する。判定がＮＯであると、
ＭＰＥＧ２デコーダ１２がＭＰＥＧ２ストリームＡ１を
デコードし（ステップＳ１０４）、動画像信号Ａ２とサ
イド情報Ａ３とを再生する。

【００３３】次に、動画像信号Ａ２のピクチャのタイム
スタンプcurTSがサイド情報Ａ３から抽出される（ステ
ップＳ１０５）。このタイムスタンプｃｕｒＴＳと要求
フレームのタイムスタンプdemandTSが比較される（ステ
ップＳ１０６）。タイムスタンプcurTSがタイムスタン
プdemandTSより小さい場合には、処理はステップＳ１０
２に戻り、ステップＳ１０５までの処理を繰り返す。タ
イムスタンプcurTSがタイムスタンプdemandTSより大き
い場合には、ピクチャに対応する再生動画像信号Ａ２と
サイド情報Ａ３がサイズ変換部１３に供給される。

【００３４】次に、サイズ変換部１３は、ＭＰＥＧ２デ
コーダ１２より供給される動画像信号Ａ２とサイド情報
Ａ３をＭＰＥＧ４エンコーダ１４に適合した形態にサイ
ズ変換しる。変換後の動画像信号Ａ４とサイド情報Ａ５
はＭＰＥＧ４エンコーダ１４に供給される（ステップＳ
１０７）。このステップＳ１０７でのサイズ変換の具体
例は後述する。

【００３５】次に、ＭＰＥＧ４エンコーダ１４は、サイ
ズ変換部１３からの変換サイド情報Ａ５に含まれる動き
ベクトル情報を用いて、サイズ変換部１３からの変換動
画像信号Ａ４をエンコード（圧縮符号化）する（ステッ
プＳ１０８）。具体的には、サイズ変換部１３からのサ
イド情報Ａ５に含まれる動きベクトル情報はＭＰＥＧ４
エンコーダ１４内の動きベクトル検出部２０９（図２）
に破線で示すように供給される。動きベクトル検出部２
０９は動きベクトル情報で示される動きベクトルの周囲
を再度探索する。これにより、エンコード処理の中で最
も処理量の大きい動きベクトル検出の処理量が大幅に削
減できる。

【００３６】次に、ＭＰＥＧ４エンコーダ１４によって
得られたＭＰＥＧ４ストリームＡ６は、例えばＭＰＥＧ
４ストリーム蓄積部１５へ出力される（ステップＳ１０
９）。さらにＭＰＥＧ４エンコーダ１４によって決定さ
れるフレームスキップ間隔に応じた次の要求フレームの
タイムスタンプ（demandTS）が求められる（ステップＳ
１１０）。この後、処理がステップＳ１０２に戻り、上
記の処理が繰り返えされる。

【００３７】（サイズ変換部１３）図５、図６及び図７
を参照してサイズ変換部１３を詳細に説明する。一般
に、ＭＰＥＧ４エンコーダ１４はフレームスキップを行
うために、図５に示されるようにＭＰＥＧ２デコーダ１
２の出力（動画像信号Ａ２及びサイド情報Ａ３）が全て
サイズ変換部１３に供給されるのではなく、ＭＰＥＧ４
エンコーダ１４が必要とする出力だけがサイズ変換部１
３に供給される。従って、必要とする動画像信号だけが
図１１と同様な画面サイズの変換を行えばよい。このた
め、ＭＰＥＧ２デコーダ１２の出力フレームレートとＭ
ＰＥＧ４エンコーダ１４の入力フレームレートが異なる
場合は、画面サイズの変換処理が削減される。

【００３８】さらに、先に述べたようにサイズ変換部１
３は、ＭＰＥＧ２デコーダ１２からのサイド情報Ａ３
（マクロブロック毎のモード情報と動きベクトル情報）
をＭＰＥＧ４エンコーダ１４に適した形態に変換する。
この変換後のサイド情報Ａ５がＭＰＥＧ４エンコーダ１
４に供給される。

【００３９】サイズ変換部１３が画面サイズを変換する
場合には、マクロブロックの数も変わる。図６は、画面
サイズ変換前後のマクロブロックアドレスの対応付けを
示している。図６において、アドレス（ｈ，ｖ）＝（０
〜３，０〜２）は、サイズ変換後のマクロブロックのア
ドレスである。一例として、サイズ変換前のマクロブロ
ックのアドレス（Ｈ，Ｖ）とサイズ変換後のマクロブロ
ックのアドレス（ｈ，ｖ）との対応関係を以下の式で計
算すると、図６中に示されているような対応付けが得ら
れる。ここで、（ｉｎｔ）とは小数点以下を切り捨てて
いることを示す。

【００４０】Ｈ＝（ｉｎｔ）（７×ｈ／４） Ｖ＝（ｉｎｔ）（５×ｖ／３） 図６のように画面サイズ変換前後でのマクロブロックの
対応付けが実行された後、図７に例示されるようなフレ
ーム間隔に応じた動きベクトルのスケーリング処理が行
われる。図７において、画面サイズ変換後のマクロブロ
ックＭＢ＿ａ，ＭＢ＿ｂ，ＭＢ＿ｃに対応する画面サイ
ズ変換前のマクロブロックは、ＭＢ＿Ａ，ＭＢ＿Ｂ，Ｍ
Ｂ＿Ｃとする。このとき、画面サイズ変換後のマクロブ
ロックＭＢ＿ａ，ＭＢ＿ｂ，ＭＢ＿ｃに割り当てられる
動きベクトル３ａ，３ｂ，３ｃは動きベクトル２ａ，２
ｂ，２ｃを画面サイズ比に応じてスケーリングすること
により得られる。なお、動きベクトル２ａ，２ｂ，２ｃ
は画面サイズ変換前のマクロブロックＭＢ＿Ａ，ＭＢ＿
Ｂ，ＭＢ＿Ｃの動きベクトル１ａ，１ｂ，１ｃをフレー
ム間隔比に応じてスケーリングして得られる。ここで、
画面サイズ変換前のマクロブロックＭＢ＿Ａ，ＭＢ＿
Ｂ，ＭＢ＿Ｃに動きベクトルが存在しない場合には，画
面サイズ変換後のマクロブロックＭＢ＿ａ，ＭＢ＿ｂ，
ＭＢ＿ｃの動きベクトルも無いことにする。

【００４１】先に述べたように、ＭＰＥＧ４エンコーダ
１４の動きベクトル検出部２０９（図２）は、動きベク
トル３ａ，３ｂ，３ｃの近傍（例えば，±１画素）を探
索することにより，少ない処理量で動きベクトル検出が
実行可能となる。なお、動きベクトル３ａ，３ｂ，３ｃ
が存在しない場合には、ゼロベクトルを基準としてゼロ
ベクトルの周囲の数画素（例えば、±１６画素）が探索
される。

【００４２】（インデキシング部１６）次に、図８及び
図９を参照してインデキシング部１６を説明する。本実
施形態は、ＭＰＥＧ２形式からＭＰＥＧ４形式への形式
変換および動画像信号のインデキシングを行い、構造化
データを出力する。

【００４３】図１におけるインデキシング部１６は、Ｍ
ＰＥＧ２デコーダ１２からのサイド情報Ａ３から動きベ
クトル情報を抽出し、図９に示す動きベクトル取りだし
部９０２に供給する。この動きベクトル取り出し部９０
２は、動きベクトル情報に応じてインデキシング（カッ
ト検出、即ち場面の転換カットの検出）を行う。

【００４４】図８のフローチャートを参照して、本実施
形態におけるインデキシング処理手順を説明する。

【００４５】まず、ＭＰＥＧ４エンコーダ１４が要求す
るフレームのタイムスタンプ（demandTS）の初期値が例
えば０に設定される（ステップＳ２０１）。この後、Ｍ
ＰＥＧ２ストリーム蓄積部１１に蓄積されているＭＰＥ
Ｇ２ストリームＡ１がＭＰＥＧ２デコーダ１２内のスト
リームバッファに読み込まれる（ステップＳ２０２）。

【００４６】次に、ステップＳ２０２において読み込ん
だストリームがＭＰＥＧ２ストリームＡ１の終端である
かが判定される（ステップＳ２０３）。この判定がＹＥ
Ｓであると、トランスコード処理が終了する。判定がＮ
Ｏであれば、ＭＰＥＧ２デコーダ１２によってＭＰＥＧ
２ストリームＡ１がデコードされる（ステップＳ２０
４）。これにより、動画像信号Ａ２とサイド情報Ａ３が
再生される。ここまでの処理は、図４中のステップＳ１
０１〜Ｓ１０４の処理と同じである。

【００４７】次に、インデキシング部１６は、サイド情
報Ａ３に含まれる動きベクトルを利用したインデキシン
グを行う（ステップＳ２０５）。ステップＳ２０５で得
られたインデキシング結果と対応するサムネールが構造
化データとして構造化データ蓄積部１７に出力される
（ステップＳ２０６）。サムネールはインデキシング結
果に対応する画像を縮小した画像である。この構造化デ
ータにより、ユーザはＭＰＥＧ２ストリームＡ１やＭＰ
ＥＧ４ストリームＡ６のカット位置と、その内容を容易
に確認することが可能となる。

【００４８】以降の処理は、図４中に示したステップＳ
１０５〜Ｓ１１０の処理と同様である。すなわち、ステ
ップＳ２０６の後、ＭＰＥＧ２デコーダ１２によって得
られた動画像信号Ａ２のピクチャのタイムスタンプcurT
Sがサイド情報Ａ３から抽出される（ステップＳ２０
７）。このタイムスタンプcurTSと要求フレームのタイ
ムスタンプdemandTSとが比較される（ステップＳ２０
８）。タイムスタンプcurTSがタイムスタンプdemandTS
より小さい場合には、処理はステップＳ２０２に戻り、
ステップＳ２０７までの処理が繰り返えされる。タイム
スタンプcurTSがタイムスタンプdemandTSより大きい場
合には、ピクチャに対応する再生動画像信号Ａ２とサイ
ド情報Ａ３がサイズ変換部１３に供給される。

【００４９】次に、サイズ変換部１３は、ＭＰＥＧ２デ
コーダ１２より供給される動画像信号Ａ２とサイド情報
Ａ３をＭＰＥＧ４エンコーダ１４に適合した形態にサイ
ズ変換し、変換後の動画像信号Ａ４とサイド情報Ａ５を
ＭＰＥＧ４エンコーダ１４に供給する（ステップＳ２０
９）。

【００５０】次に、ＭＰＥＧ４エンコーダ１４は、サイ
ズ変換部１３からの変換後のサイド情報Ａ５に含まれる
動きベクトル情報を利用して、サイズ変換後の動画像信
号Ａ４をエンコード（圧縮符号化）する（ステップＳ２
１０）。

【００５１】次に、ＭＰＥＧ４エンコーダ１４によって
得られたＭＰＥＧ４ストリームＡ６は、例えばＭＰＥＧ
４ストリーム蓄積部１５へ出力される（ステップＳ２１
１）。さらにＭＰＥＧ４エンコーダ１４で決定されるフ
レームスキップ間隔に応じた次の要求フレームのタイム
スタンプdemandTSが求められる（ステップＳ２１２）。
この後、処理は、ステップＳ２０２に戻り、上記の処理
が繰り返えされる。

【００５２】次に、図９を参照して動きベクトルを利用
したインデキシング（カット検出）の概要を説明する。
図９は、インデキシンク部１６のうちの動きベクトルの
値と尤度比のテーブルとを用いてカットの検出、例えば
シーン変化の検出を行う処理部を示している。ここで動
きベクトルを用いてカットを検出するのは、動きベクト
ルの分布がカットの有無により大きく変化する性質があ
るからである。例えば、同一ショット内の連続したフレ
ームにおいては背景やオブジェクト内の動きが連続して
いることから、隣接するマクロブロックの動きベクトル
は類似していることが多い。

【００５３】しかし、カットを挟んだフレーム間では予
測が当たらないために、動きベクトルが存在しない（画
像間予測符号化が使われない）ことが多くなる。予測を
使っている場合でも周囲のマクロブロックとは大きく異
なる動きベクトルが生じやすくなる。また、Ｂピクチャ
においては、未来と過去の参照画像のうちカットが含ま
れる方向の画像の予測が使われにくい傾向がある。

【００５４】図９において、動画像データ入力部９０１
はＭＰＥＧにより圧縮された動画像データの取り込みを
行う。動きベクトル取り出し部９０２は、動画像信号を
部分的もしくは全体的にデコードし、動きベクトルデー
タを抽出する。対数尤度比変換部９０３は、動きベクト
ル取り出し部９０２により取り出された動きベクトルデ
ータから、差分動きベクトル−尤度比変換テーブル９０
４を用いてフレーム毎のカット有無の評価値を算出す
る。差分動きベクトルは、符号化順において現マクロブ
ロックと手前のマクロブロックとの動きベクトルの差分
ベクトルである。また、対数尤度比が評価値として用い
られる。フレーム当たりの対数尤度比は、フレーム内の
マクロブロック毎に差分動きベクトルの尤度比の対数を
算出し、結果の対数を加算することによって求められ
る。

【００５５】差分動きベクトル−尤度比変換テーブル９
０４は、処理前に予め作成しておく必要がある。そのた
めには、カット点が既に分かっている動画像データを用
いて、カットがあるときの差分動きベクトルＶｉの出現
回数Ｎｃ（Ｖｉ）およびカットがないときのＶｉの出現
回数Ｎｎ（Ｖｉ）が算出される。このとき、Ｖｉの尤度
比は次式により算出される。

【００５６】

【数１】

【００５７】最後に、しきい値処理部９０５は、対数尤
度比変換部９０３から出力されるフレーム当たりの対数
尤度比と予め設定されたしきい値とを比較する。フレー
ムがカットである尤度比がしきい値を上回っていた場合
には、カットがあったこと示し、そうでない場合は、し
きい値処理部９０５が、カット無しを示すカットデータ
を出力する。

【００５８】次に、本発明の他の実施形態に係る動画像
符号化データの形式変換装置を図１０〜図１３を参照し
て説明する。

【００５９】本実施形態では、ＭＰＥＧ２形式からＭＰ
ＥＧ４形式ヘ動画像符号化が変換されるとき、動画像デ
ータの解析処理の結果を利用して動画像符号化が高画質
にＭＰＥＧ４形式へ変換される。

【００６０】図１０に示すインデクシング部１６は、Ｍ
ＰＥＧ４デコーダ１２からの供給されるサイド情報Ａ３
から動きベクトル情報を抽出し、図９を参照して説明し
た処理に従ってインデクシングを行う。この際、図１１
に示すように動きベクトルの分布が求められ、インデッ
キシングが行われている。つまり、インデクシング部１
６は、フレーム間の予測があたるか否かを示す情報Ａ８
を求める。この情報Ａ８は、図１のサイズ変換部１３や
ＭＰＥＧ４エンコーダ１４の処理を開始する前に求めて
おく。これにより、サイズ変換部１３やＭＰＥＧ４エン
コーダ１４での処理は適切に切り替えることが可能とな
る。

【００６１】具体的には、インデクシング部１６が、図
１２に図示される位置でカット点（場面の転換カット）
を検出すると、順方向ベクトル１ｂは信頼できないの
で、次のような方法が取られる。

【００６２】ａ）サイズ変換されて得られた動きベクト
ル３ｂの周囲がＭＰＥＧ４エンコーダ１４によって再探
索される範囲が通常よりも広く設定される。これによ
り、より信頼性の高い動きベクトルが検出される。

【００６３】ｂ）サイズ変換部１３で動きベクトルを求
めずにＭＰＥＧ４エンコーダ１４が、強制的にフレーム
内符号化を行う。

【００６４】より高速にＭＰＥＧ２形式からＭＰＥＧ４
形式へ動画像符号化を変換したい場合には、動きベクト
ル検出処理の処理量が端折られるため強制的にフレーム
内符号化が行われた方が望ましい。

【００６５】図１３（ａ）〜（ｄ）は、動きベクトルの
分布の例を示している。図１３（ａ）は、放射状に分布
する動きベクトルを示している。図１３（ｂ）は、揃っ
て分布している動きベクトルを示している。図１３
（ｃ）は、ばらばらに分布する動きベクトルを示してい
る。図１３（ｄ）は、ほとんどベクトルが存在しない状
態を示している。

【００６６】上記のように複数のグループに分類された
動きベクトルの分布の情報Ａ８をサイズ変換部１３やＭ
ＰＥＧ−４エンコーダ１４に供給することによって、各
グループ毎に適切な動きベクトルの再探索範囲が設定で
きる。これにより、固定の再探索範囲よりも適切な動き
ベクトルが得られ、高画質なＭＰＥＧ−４エンコードが
実行される。具体的には、図１３（ａ）および（ｃ）の
ように動きベクトルがばらついている場合、図１３
（ｂ）および（ｄ）と比較して再探索範囲をより広く設
定すればよい。また、複数のグループに分類された動き
ベクトルの分布の情報Ａ８をサイズ変換部１３やＭＰＥ
Ｇ４エンコーダ１４に供給することによって、各グルー
プ毎に適切な画面サイズの変換処理方法が選択できる。
これにより、ＭＰＥＧ４エンコーダ１４により高画質な
ＭＰＥＧ−４エンコードが実行される。具体的には、図
１３（ａ）および（ｃ）のように動きベクトルがばらつ
いている場合、図１３（ｂ）および（ｄ）と比較してダ
ウンサンプリング時のフィルタを強くかければよい。即
ち、動きベクトルの分布に応じて予測状態を示す情報Ａ
８によりＭＰＥＧ４エンコーダ１４が制御され、フィル
タの強度が情報Ａ８に従って切り替えられる。

【００６７】ここで、図１４（ａ）、（ｂ）に示される
ように、カットオフ周波数（ｆｃ）が低い場合をフィル
タが強いと呼ぶ。図１４（ａ）よりも（ｂ）の方がフィ
ルタが掛かっていることになる。

【００６８】以上説明したように、本発明によればビデ
オの圧縮方式を他の圧縮方式に変換（例えば、ＭＰＥＧ
２形式からＭＰＥＧ４形式に変換）する際に、変換元の
方式の動きベクトル情報を利用することで、変換先の方
式のエンコード処理を大幅に削減することができ、更に
この動きベクトル情報を利用したインデキシングも並行
して実行可能となる。ＭＰＥＧ４形式に変換する際にイ
ンデクシング結果を利用することで、高画質に形式変換
を行うことが可能となる。

【００６９】

【発明の効果】以上説明したように、本発明によればビ
デオの圧縮方式を他の圧縮方式に変換（例えば、ＭＰＥ
Ｇ２形式からＭＰＥＧ４形式に変換）する際に、変換元
の方式の動きベクトル情報を利用することで、変換先の
方式のエンコード処理を大幅に削減することができ、更
にこの動きベクトル情報を利用したインデキシング処理
も並行して実行可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施形態に係る動画像符号化デー
タの形式変換装置のブロック回路を示す。

【図２】 動画像符号化装置のブロック回路を示す。

【図３】 動画像復号化装置のブロック回路を示す。

【図４】 同実施形態におけるサイズ変換に注目した処
理手順を示すフローチャートである。

【図５】 同実施形態におけるサイズ変換部の動作を説
明する図である。

【図６】 同実施形態におけるサイズ変換部でのマクロ
ブロックアドレスのスケーリングを説明する図である。

【図７】 同実施形態におけるサイズ変換部での動きベ
クトルのスケーリングを説明する図である。

【図８】 同実施形態におけるインデキシングに注目し
た処理手順を示すフローチャートである。

【図９】 同実施形態における動きベクトルを利用した
インデキシング部のブロック回路を示す。

【図１０】 本発明の他の実施形態に係る動画像符号化
データの形式変換装置のブロック回路を示す。

【図１１】 カット点を説明するための図である。

【図１２】 途中にカット点があった場合のサイズ変換
部による動きベクトルのスケーリングを説明する図であ
る。

【図１３】 動きベクトルの分布の種類を説明する図で
ある。

【図１４】 フィルタ強度を説明する図である。

【符号の説明】

１１…ＭＰＥＧ２ストリーム蓄積部 １２…ＭＰＥＧ２デコーダ １３…サイズ変換部 １４…ＭＰＥＧ４エンコーダ １５…ＭＰＥＧ４ストリーム蓄積部 １６…インデキシング部 １７…構造化データ蓄積部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 児玉 知也 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 三田 雄志 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5C059 KK41 LB05 MA00 MA04 MA05 MA23 MC11 MC38 ME01 NN01 PP04 TA63 TA69 TC12 TD04 UA02 UA05 UA11 5J064 AA03 BA04 BA09 BA16 BB10 BB13 BC01 BC02 BC08 BC11 BC16 BC25 BC29

Claims (10)

【特許請求の範囲】
1. 【請求項１】第１の動画像符号化データ形式のビットス
   トリームを第２の動画像符号化データ形式のビットスト
   リームへ変換する方法であって、 前記第１の動画像符号化データ形式のビットストリーム
   をデコードし、再生画像信号及びサイド情報を出力する
   ステップと、 前記再生画像信号及びサイド情報を前記第２の動画像符
   号化データ形式に適した形態に変換するステップと、 変換後の再生画像信号を変換後のサイド情報に含まれる
   動きベクトル情報を利用してエンコードすることにより
   前記第２の動画像符号化データ形式のビットストリーム
   を得るステップとを有することを特徴とする動画像符号
   化データの形式変換方法。
2. 【請求項２】第１の動画像符号化データ形式のビットス
   トリームを第２の動画像符号化データ形式のビットスト
   リームへ変換する装置であって、 前記第１の動画像符号化データ形式のビットストリーム
   をデコードし、再生画像信号及びサイド情報を出力する
   デコード手段と、 前記デコード手段により得られた再生画像信号及びサイ
   ド情報を前記第２の動画像符号化データ形式に適した形
   態に変換するサイズ変換手段と、 前記サイズ変換手段により得られた変換後の再生画像信
   号を変換後のサイド情報に含まれる動きベクトル情報を
   利用してエンコードすることにより前記第２の動画像符
   号化データ形式のビットストリームを得るエンコード手
   段とを有することを特徴とする動画像符号化データの形
   式変換装置。
3. 【請求項３】前記デコード手段により得られるサイド情
   報を利用してインデキシング処理を行うインデキシング
   手段を有し、該インデキシング手段は前記サイズ変換手
   段が前記再生画像信号及びサイド情報を前記第２の動画
   像符号化データ形式に適した形態に変換する変換すると
   同時にインデキシング処理を行うことを特徴とする請求
   項２記載の動画像符号化データの形式変換装置。
4. 【請求項４】前記インデキシング手段は、前記サイド情
   報に含まれる動きベクトルの分布を解析してカット検出
   を行うことを特徴とする請求項３記載の動画像符号化デ
   ータの形式変換装置。
5. 【請求項５】第１の動画像符号化データ形式のビットス
   トリームを第２の動画像符号化データ形式のビットスト
   リームへ変換する処理をコンピュータに実行させるため
   のプログラム製品であって、 前記第１の動画像符号化データ形式のビットストリーム
   をデコードし、再生画像信号及びサイド情報を出力する
   処理と、前記再生画像信号及びサイド情報を前記第２の
   動画像符号化データ形式に適した形態に変換する処理
   と、変換後の再生画像信号を変換後のサイド情報に含ま
   れる動きベクトル情報を利用してエンコードすることに
   より前記第２の動画像符号化データ形式のビットストリ
   ームを得る処理とをコンピュータに実行させるためのプ
   ログラム製品。
6. 【請求項６】第１の動画像符号化データ形式のビットス
   トリームを第２の動画像符号化データ形式のビットスト
   リームへ変換する処理をコンピュータに実行させるため
   のプログラム製品であって、 前記第１の動画像符号化データ形式のビットストリーム
   をデコードし、再生画像信号及びサイド情報を出力する
   処理と、前記再生画像信号及びサイド情報を前記第２の
   動画像符号化データ形式に適した形態に変換する処理
   と、変換後の再生画像信号を変換後のサイド情報に含ま
   れる動きベクトル情報を利用してエンコードすることに
   より前記第２の動画像符号化データ形式のビットストリ
   ームを得る処理と、前記サイド情報を利用したインデキ
   シング処理とをコンピュータに実行させるためのプログ
   ラム製品。
7. 【請求項７】第１の動画像符号化データ形式のビットス
   トリームを第２の動画像符号化データ形式のビットスト
   リームへ変換する手法であって、 前記第１の動画像符号化データ形式のビットストリーム
   をデコードし、再生画像信号およびサイド情報を出力す
   るデコード手段と、 前記デコード手段により得られた再生画像信号およびサ
   イド情報を前記第２の動画像符号化データ形式に適した
   形態に変換するサイズ変換手段と、 前記サイズ変換手段により得られた変換後の再生画像を
   変換後のサイド情報に含まれる動きベクトル情報を利用
   してエンコードすることにより前記第２の動画像符号化
   データ形式のビットストリームを得るエンコード手段
   と、 前記デコード手段により得られるサイド情報を利用して
   動画像の解析を行なうことによってインデクシング処理
   を行うインデクシング手段と、 を具備し、前記インデクシング手段において該動画像を
   解析することにより得られた構造化情報を利用して、前
   記第２の動画像符号化データ形式のビットストリームを
   得ることを特徴とする動画像符号化データの形式変換手
   法。
8. 【請求項８】前記サイズ変換手段は、前記構造化情報を
   利用して再生画像信号およびサイド情報を前記第２の動
   画像符号化データ形式に適した形態に変換することを特
   徴とする請求項７記載の動画像符号化データの形式変換
   装置。
9. 【請求項９】前記サイズ変換手段は、再生画像信号を前
   記第２の動画像符号化データ形式に適した形態に変換す
   る際に、ダウンサンプリング時のフィルタの強さを切り
   替えることを特徴とする請求項８記載の動画像符号化デ
   ータの形式変換装置。
10. 【請求項１０】前記エンコード手段は、変換後のサイド
    情報に含まれる動きベクトルの周囲を再探索する手段を
    有し、前記構造化情報を利用して再探索の範囲を切り替
    えることを特徴とする請求項８記載の動画像符号化デー
    タの形式変換装置。