JP2008042660A

JP2008042660A - 映像信号再符号化装置及び映像信号再符号化方法

Info

Publication number: JP2008042660A
Application number: JP2006216052A
Authority: JP
Inventors: Yasushi Nakagawa; 裕史中川
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-08-08
Filing date: 2006-08-08
Publication date: 2008-02-21

Abstract

【課題】画質の劣化を抑えながら再符号化により記憶媒体の空き容量を大きくすること。
【解決手段】符号化記録モード判別手段７は、ＴＳを記録する記憶媒体３の空き容量と、再符号化制御情報生成手段４からの符号化回数・レート制御情報中の符号化回数及び符号化平均レートと、あらかじめユーザなどにより設定された符号化回数及び符号化平均レートの閾値とに基づいて、映像信号又は復号映像信号の符号化の際に再符号化制御情報を用いるか否か及び符号化制御情報を出力するか否かの符号化記録モードを示す符号化記録モード情報をビデオエンコーダ１、多重化手段２、再符号化制御情報生成手段４、分離手段５、ビデオデコーダ６へ出力する。そのため、符号化記録モード情報に基づいて再符号化が行われるので、再符号化の回数や符号化平均レートを閾値により制御して、再符号化による画質の劣化を抑えながらも記憶媒体の空き容量を大きくすることができる。
【選択図】図１

Description

本発明は、ＭＰＥＧなどの符号化方式を用いた映像信号再符号化装置及び映像信号再符号化方法に関し、特に、画質を劣化させない範囲で一度記録した映像符号化信号をより低いレートに再符号化を行い書き換えることで、記憶媒体の空き容量をなるべく大きくするようにした映像信号再符号化装置及び映像信号再符号化方法に関する。

従来より、ＭＰＥＧなどの符号化方式を採用した、映像信号記録装置及び再生装置が検討されている。なお、ＭＰＥＧについては、ビデオ規格はISO-IEC1172-2、ITU-TH.262／ISO-IEC13818-2に、システム規格はITU-TH.222／ISO-IEC13818-1に詳細な説明がなされているので、ここでは省略する。映像信号記録装置で生成されたストリームを記憶媒体に記録した場合、空き容量を確保するために、一度記録されたストリームをより低レートに符号化を行い書き換えることで、空き容量を大きくする方法が考えられる。

この符号化方式で符号化された映像ストリームのレートを変換するために、ストリームを復号して出力された映像信号を再度復号する方法が考えられる。
ＭＰＥＧ−２では、ＶＢＶ（Video Buffer Verifier）の規定を固定転送レートデータだけではなく、可変転送レートデータに対しても規定を設け、様々な応用に対応するため２種の方法で規定できるようにしている。この規定の区別はvbv_delayの値によってなされており、dvd_delayがすべて最大値oxffffでない場合と、各ピクチャのvbv_delayがoxffffの場合である。vbv_delayがoxffffの場合、ＶＢＶに対するデータの入力レートは、ＶＢＶバッファの占有量で決定され、ＶＢＶバッファに空きがあるときはピークレートRmax、空きの無い場合には０となる。初期状態においてＶＢＶバッファ占有量は０であり、バッファに空きが無くなった時点で復号を開始する。特に、低レートでは画質の劣化を極力抑えるために、映像信号の難易度に応じて符号化レートを変動させる可変レートによる符号化が有効となる。

可変レートによる符号化方法としては、光ＤＩＳＣレコーダなどリアルタイム性が要求される装置に関しては、１パス可変レート符号化が考えられ、既に提案されている（例えば、下記の特許文献１参照）。この符号化は所定時間ごとの入力画像の難易度を求め、これにより割り当て符号量を決定し対象記憶媒体の容量などに応じた一定時間の符号化を行うものである。そして、この入力画像の難易度と割り当て符号量の関係は、一般の入力信号によりあらかじめ統計処理などで標準化されたものである。

また、あまりリアルタイム性が要求されないオーサリングシステムなどでは、あらかじめ記憶媒体に記録されている映像信号について符号化を行い、映像信号の難易度に応じた割り当て符号量を算出し、その結果を用いて再度符号化を行う、いわゆる２パス符号化方法が採用されている（例えば、下記の特許文献２、特許文献３参照）。
特開平９−２３４２３号公報特開平６−１４１２９８号公報（特許第２９５００６５号）特開２０００−２１７０６３号公報（特許第３２２５９５６号）

ところで、記憶媒体の空き容量を大きくするために、符号化された映像ビットストリームを復号して、その映像信号を、映像信号符号化装置を用いて再度ＭＰＥＧ符号化してビットストリームを出力する方法を用いてレート変換を行う場合、画質の劣化が懸念され、その対策として、復号した映像信号に対して上記の１パス可変レート符号化の適用が考えられる。

しかし、１パス可変レート符号化は、入力映像の難易度が予測不可能な状態において、入力映像に対する的確な符号量配分を行うことは困難である。例えば、一定時間の終盤において難易度が高い映像が連続して入力された場合、この映像の符号化に関しては、固定転送レート符号化よりも画質が劣化する場合がある、という問題がある。

また、レート変換の仕方として、上記特許文献２、３に記載の２パス可変符号化を行う場合には、１パス可変レート符号化の場合より高画質なレート変換が可能であるが、一律に再符号化を行っており、再符号化により画質が劣化する場合がある、という問題がある。

本発明は、上述した問題点に鑑みてなされたもので、再符号化による画質の劣化を抑えながらも記憶媒体の空き容量を大きくすることができる映像信号再符号化装置及び映像信号再符号化方法を提供することを目的とする。

上記の目的を達成するための手段として、本発明に係る映像信号再符号化装置及び映像信号再符号化方法は、映像信号又は復号映像信号の符号化の際、再符号化制御情報を用いるか否か及び符号化制御情報を出力するか否かの符号化記録モードを示す符号化記録モード情報に基づいて映像信号又は復号映像信号を符号化又は再符号化し、符号化データと、次に再符号化を行う場合のみ符号化制御情報とを出力する符号化手段（又はステップ）と、前記符号化手段から出力された前記符号化データ及び前記符号化制御情報を入力して、前記符号化データに前記符号化制御情報を多重化して符号化ストリームを生成する多重化手段（又はステップ）と、前記多重化手段によって生成された前記符号化ストリームを記録する記憶媒体（又はステップ）と、前記符号化ストリームに多重化された前記符号化制御情報に基づき前記再符号化制御情報を生成する再符号化制御情報生成手段（又はステップ）と、前記記憶媒体の空き容量と、前記符号化ストリームに多重化された前記符号化制御情報と、あらかじめ設定された前記再符号化制御情報の閾値とに基づいて前記符号化記録モードを判別し、前記符号化記録モード情報として出力する符号化記録モード判別手段（又はステップ）とを有する。

本発明によれば、符号化ストリームを記録する記憶媒体の空き容量と、あらかじめ設定された符号化制御情報の閾値と、符号化ストリームに多重化された符号化制御情報とに基づいて、映像信号又は復号映像信号の符号化の際に再符号化制御情報を用いるか否か及び符号化制御情報を出力するか否かの符号化記録モードを示す符号化記録モード情報を出力し、映像信号又は復号映像信号の符号化の際、その符号化記録モード情報に基づいて映像信号又は復号映像信号を符号化又は再符号化するようにしたので、例えば、符号化制御情報中の符号化回数や符号化平均レートなどの閾値をあらかじめ設定すれば、符号化回数や符号化平均レートなどの符号化制御情報の閾値に基づいて符号化記録モードを決定して、符号化及び再符号化の回数や符号化平均レートを制御することができ、再符号化による画質の劣化を抑えながらも記憶媒体の空き容量を大きくすることができる。

図１は、本発明の実施の形態に係る映像信号再符号化装置の概略構成を示すブロック図である。図１に示される映像信号再符号化装置は、符号化手段としてのビデオエンコーダ１と、多重化手段２と、ＨＤＤや、ＤＶＤ、メモリなどの記憶媒体３と、再符号化制御情報生成手段４と、分離手段５と、ビデオデコーダ６と、符号化記録モード判別手段７とを備えている。

ビデオエンコーダ１は、入力される映像信号又は復号映像信号の符号化の際、再符号化制御情報を用いるか否か及び符号化制御情報を出力するか否かの符号化記録モードを示す符号化記録モード情報に基づいて映像信号又は復号映像信号を符号化又は再符号化し、符号化データとしてのビデオＥＳ（ＥＳ：Elementary Stream、エレメンタリストリーム）と、次に再符号化を行う場合のみ符号化制御情報とを出力するものである。

多重化手段２は、ビデオエンコーダ１からのビデオＥＳ及び符号化制御情報と、外部からのオーディオＥＳと、符号化記録モード情報とを入力して、ビデオＥＳとオーディオＥＳに符号化制御情報とを多重化して符号化ストリームとしてのトランスポートストリーム（ＴＳ）を生成して出力するものである。その際、符号化記録モード情報に基づいて、符号化制御情報の入力の有無を判断して多重化するようにする。

記憶媒体３は、多重化手段２からのＴＳを記憶や記録するもので、本実施の形態では、記憶手段まで含むものである。

再符号化制御情報生成手段４は、ＴＳに多重化された符号化制御情報などに基づいて再符号化制御情報を生成するものであって、記憶媒体３からＴＳを読み出して符号化制御情報を抽出しその符号化制御情報の中から、符号化回数・レート制御情報（図１１参照）を抽出するとともに、符号化記録モード情報と、ピクチャごとの符号化制御情報に基づいてピクチャごとの再符号化制御情報を生成し、無効パケット部分に設定された元の符号化制御情報を再符号化制御情報に置き換えて記憶媒体３に記録するものである。

分離手段５は、記憶媒体３からＴＳを読み出し、ビデオＥＳと、オーディオＥＳと、再符号化制御情報とに分離するものである。その際、符号化記録モード情報に基づいて、ＴＳにおける再符号化制御情報の多重の有無を判断して、符号化制御情報が多重されていれば分離するようにする。

ビデオデコーダ６は、分離手段５からのビデオＥＳ及び再符号化制御情報を入力して復号処理を行い、復号映像信号及び復号映像信号に同期したピクチャごとの再符号化制御情報を出力するものである。

符号化記録モード判別手段７は、記憶媒体３の空き容量と、再符号化制御情報生成手４によって符号化制御情報の中から抽出された符号化回数・レート制御情報と、ユーザなどによりあらかじめ設定された符号化回数・レート制御情報の閾値とに基づいて符号化記録モードを判別し、符号化記録モード情報としてビデオエンコーダ１へ出力するものである。

次に、本実施の形態の符号化記録モードについて説明する。本実施の形態の符号化記録モードには、４つのモード、すなわち通常記録モード、第１の符号化記録モード、再符号化記録モード、最後の再符号化記録モードがある。

まず、通常記録モードは、映像信号の最初の符号化によるＴＳを記録するモードで、再符号化を前提としないため符号化制御情報を生成しない。

第１の符号化記録モードは、映像信号の最初の符号化によるＴＳを記録するモードで、再符号化を前提とするため符号化制御情報を生成する。なお、通常記録モードと、第１の符号化記録モードでは、再符号化制御情報は入力されず、符号量制御はビデオエンコーダ１の内部処理となる。

再符号化記録モードは、第１の符号化記録モードあるいは前の再符号化記録モードで生成されたストリームを復号、及び再符号化制御情報を用いた再符号化を行い、生成されたＴＳを記録するモードである。この再符号化記録モードは、再符号化を前提とするため符号化制御情報を生成する。

最後の再符号化記録モードは、第１の符号化記録モード又は再符号化記録モードで生成されたストリームを復号し、再符号化制御情報を用いて再符号化を行い、生成されたＴＳを記録するモードである。この最後の再符号化記録モードは、これ以上の再符号化を前提としないため、再符号化を行う際に符号化制御情報を出力しない。

以上の本実施の形態で採用する４つの符号化記録モードを整理すると以下のようになる。
（１）通常記録モード：再符号化制御情報を用いないで符号化を行い、符号化制御情報を出力しないモード。
（２）第１の符号化記録モード：再符号化制御情報を用いないで符号化を行い、符号化制御情報を出力するモード。
（３）再符号化記録モード：再符号化制御情報を用いて符号化を行い、符号化制御情報を出力するモード。
（４）最後の再符号化記録モード：再符号化制御情報を用いて符号化を行い、符号化制御情報を出力しないモード。

次に、図１に示す映像信号再符号化装置の動作について説明する。

まず、本実施の形態では、ビデオエンコーダ１にスイッチＳ１を介し映像信号又は復号映像信号が入力すると、符号化記録モード判別手段７からの上述の４つの符号化記録モード情報に従い、映像信号を符号化するとともに、符号化制御情報を出力する。その際、再符号化制御情報が入力されており、符号化記録モード情報が再符号化記録モード及び最後の再符号化記録モードの場合は、入力した再符号化制御情報を利用するようにする。

次に、多重化手段２では、ビデオエンコーダ１からのビデオＥＳと、オーディオＥＳと、ビデオエンコーダ１から符号化制御情報が出力されていればその符号化制御制御情報とを入力して多重化し、ＴＳを生成し、記憶媒体３に記録する。なお、ビデオエンコーダ１から符号化制御情報が出力されているか否かは、符号化記録モード情報を参照することによりわかるので、多重化手段２は、符号化記録モード情報に基づき、符号化記録モード情報が第１の符号化記録モード、再符号化記録モードの場合は、入力された符号化制御情報を無効パケットに設定してＴＳに多重化する。なお、符号化制御情報をＴＳの無効パケットに設定したのは、符号化制御を必要としない場合には、簡単に符号化制御情報を読み飛ばしたりすることができるからである。

記憶媒体３は、多重化手段２からのＴＳをＨＤＤやメモリなどに記憶又は記録する。

そして、再符号化制御情報生成手段４では、符号化記録モード判別手段７からの符号化記録モード情報が再符号化を行うことを示している場合、すなわち第１の符号化記録モードと、再符号化記録モードとを示している場合は、ＴＳの符号化制御情報（図１１参照）から符号化回数・レート制御情報を抽出し、符号化記録モード判別手段７へ出力するとともに、再符号化制御情報（図１２参照）を生成して元の符号化制御情報が設定されていた無効パケットを再符号化制御情報に置き換えて記録する。なお、再符号化制御情報の生成については後述する。

分離手段５は、符号化記録モード判別手段７からの符号化記録モード情報が再符号化を行うことを示している場合、すなわち第１の符号化記録モードと、再符号化記録モードとを示している場合は、記憶媒体３からＴＳを読み出し、ビデオＥＳ、オーディオＥＳに分離して出力するとともに、再符号化制御情報を無効パケットから抽出してビデオデコーダ６に出力する。

ビデオデコーダ６は、符号化記録モード判別手段７からの符号化記録モード情報が再符号化を行うことを示している場合、すなわち第１の符号化記録モードと、再符号化記録モードとを示している場合は、再符号化のために復号処理を行うため、再符号化制御情報に基づいてビデオＥＳを復号し、復号映像信号を出力する。なお、ピクチャごとの再符号化制御情報は、後述するように、エンコード時の並びから映像出力の並びに変換され、復号映像信号と同期して出力される。

なお、ビデオデコーダ６で復号された復号映像信号と再符号化制御情報は、ビデオエンコーダ１に戻され、ビデオエンコーダ１は、符号化記録モード判別手段７からの上述した符号化記録モード情報に従い、再符号化制御情報によって符号量制御を行い、復号映像信号の再符号化を行い、ビデオＥＳを出力することになる。また、符号化記録モード情報が通常記録モード及び最後の再符号化記録モードのとき、ビデオエンコーダ１は符号化制御情報を出力しない。

符号化記録モード判別手段７は、記憶媒体３からの記憶媒体の空き容量と、再符号化制御情報生成手段４からの符号化制御情報中の符号化回数・レート制御情報と、ユーザなどによりあらかじめ設定された符号化回数・レート制御情報の閾値とに基づいて符号化記録モードを判別し、符号化記録モード情報としてビデオエンコーダ１や、多重化手段２、再符号化制御情報生成手段４、分離手段５、ビデオデコーダ６へ出力する。

すなわち、符号化記録モード判別手段７は、記憶媒体３からの記憶媒体の空き容量と、符号化制御情報中の符号化回数・レート制御情報と、ユーザなどによりあらかじめ設定された閾値とに基づいて、再符号化可能であるか否かを判断して、上記４つの符号化記録モードを判断し、符号化記録モード情報として出力する。具体的には、符号化制御情報中の符号化回数・レート制御情報が、ユーザなどによりあらかじめ設定された閾値より小さい場合には、これ以上の再符号化は画質の著しい劣化を引き起こす可能性があるので、符号化記録モードを最後の再符号化記録モードにして出力し、次回以降再符号化を行わないようにする。その一方、符号化制御情報中の符号化回数・レート制御情報がユーザなどによりあらかじめ設定された閾値より大きく、しかも記憶媒体３からの記憶媒体の空き容量から再符号化か可能である場合には、再符号化をするため、符号化記録モードを第１の符号化記録モード、あるいは再符号化記録モードとして出力する。なお、再符号化制御情報生成手段４から符号化制御情報中の符号化回数・レート制御情報が入力されておらず、かつ、記憶媒体３の空き容量が再符号化するだけの容量無しを示している場合には、再符号化を前提としない通常記録モードを示す符号化記録モード情報を出力する。

次に、ビデオエンコーダ１内の構成及び動作を、図２を参照して説明する。

図２は、図１中のビデオエンコーダ１の構成例を示すブロック図である。図２に示すように、ビデオデコーダ６から入力された映像信号は、第１の画像メモリ１１に入力され記憶される。第１の画像メモリ１１には複数フレームの画像データが記憶される。記憶された画像データは、輝度データが１６×１６画素、色データ(Ｃｂ／Ｃｒ)がそれぞれ１６×８画素単位のブロックで処理され、色データに関しては縦方向にサブサンプリングし、それぞれ８×８画素のブロックとして処理される。

同様に、ブロック化された画像データは、動き補償予測部１９で第１の画像メモリ１１から読み出された画像データと第２の画像メモリ２３から読み出されたフレーム（フィールド）のローカルデコードされた再生画像データより、フレーム間（フィールド間）予測の動きベクトルを検出する。この動きベクトルと第２の画像メモリ２３より読み出された再生画像データから動き補償が行われ、動き補償画像データと動きベクトル、予測モードが出力される。

減算器１２は、第１の画像メモリ１１から読み出された画像データと、動き補償予測部１９からの動き補償映像データとを入力して減算し、差分画像データをＤＣＴ部１３へ出力する。

ＤＣＴ部１３は、差分画像データを入力してＤＣＴ変換を行ってＤＣＴ係数を出力する。

量子化部１４は、符号量制御部１７からの量子化制御情報に基づいて量子化スケール（量子化ステップ）を決定して、その量子化スケールによりＤＣＴ部１３からのＤＣＴ係数を量子化して量子化画像データとしてＶＬＣ部１５へ出力する。その際、その量子化スケールも量子化情報としてＶＬＣ部１５へ出力する。なお、量子化情報としては、面内の平均量子化スケールが考えられる。

ＶＬＣ部１５は、量子化部１４からの量子化データ、動き補償予測部１９からの動きベクトルや予測モードを入力して、これらを可変長符号化して、ビデオＥＳとして出力するとともに、ピクチャ単位の発生符号量やピクチャタイプを符号化制御情報生成部１８へ出力する。ここで、ピクチャ単位の発生符号量とは、例えば可変長符号化で得られた所定のブロック（１６×１６画素）単位の符号量のピクチャ全領域に対する総和などが考えられる。

また、Ｉピクチャ、Ｐピクチャは、後で動き補償予測の参照データとして用いる再生画像が必要なため、逆量子化、逆ＤＣＴのローカルデコードを行う。

すなわち、逆量子化部２０では、量子化部１４からの量子化データを入力して、逆量子化してＤＣＴ係数を出力し、逆ＤＣＴ部２１では、ＤＣＴ係数を入力して、逆ＤＣＴを行い差分再生画像として出力する。加算器２２では、その差分再生画像と、動き補償予測部１９からの動き補償画像データとを入力して加算し、再生画像データを復元して第２の画像メモリ２３に記憶する。

ところで、符号量制御部１７では、符号化記録モード情報が通常記録モード又は第１の符号化記録モードを示しているときは、最初の符号化であるため、入力される発生符号量、ピクチャタイプ、アクティビティから符号量制御を行い、量子化部１４に量子化制御情報を出力する。その一方、符号化記録モード情報が再符号化記録モード又は最後の再符号化記録モードのときは、一度符号化が行われ再符号化制御情報がビデオエンコーダ６より入力しているため、発生符号量、ピクチャタイプ、アクティビティに対し、さらに再符号化制御情報に含まれるピクチャごとの目標符号量及びピクチャタイプによる再符号化制御を加えて符号量制御を行う。

なお、発生符号量と、量子化スケールとは、ほぼ反比例の関係があり、発生符号量を増加させるには、量子化スケールを小さくする一方、発生符号量を減少させるには量子化スケールを大きくする。また、Ｐピクチャはひとつ前のＩピクチャ若しくはＰピクチャから、Ｂピクチャは時間的に両側のＩピクチャとＰピクチャから予測されている関係上、Ｉピクチャが劣化すると、連動して他のピクチャも劣化する。したがって、Ｉピクチャの画質は最も重要で符号量も十分に配分しなければならない。そこで、参照画像となるＩピクチャ、Ｐピクチャの画質劣化を抑える目的で、２回目の符号化（パス２）のときは最初の符号化（パス１）のときのピクチャタイプと同じピクチャタイプで再符号化を行う。

また、アクティビティ検出部１６では、第１の画像メモリ１１から画像データを読み出し、ピクチャごとにアクティビティの総和を算出し出力する。アクティビティは、面内のブロック単位の変化を示すもので、例えば、図８に示すような８×８画素のブロック単位で求める。すなわち、水平方向、垂直方向それぞれに隣接するピクセル間の絶対値差分を算出し、ブロック単位ごとの総和を算出する。面内のブロック単位の変化が大きいとき、アクティビティは大きくなり、面内のブロック単位の変化が小さいとき、アクティビティは小さくなる。そして、アクティビティ検出部１６ではピクチャの全領域に対して上記の計算を行い、ピクチャ全体での総和を算出して出力する。アクティビティの単位ブロックは、ＭＰＥＧ符号化の最小単位のブロック（８×８画素）としている。

そして、符号化制御情報生成部１８では、符号化記録モード判別手段７からの符号化記録モード情報が再符号化を示す第１の符号化記録モード、再符号化記録モードのときは、ピクチャごとに、アクティビティ検出部１６からのピクチャタイプ、ＶＬＣ部１５からの発生符号量及びピクチャタイプ、量子化部１４からの量子化情報などにより、図１１に示すような符号化制御情報を構築して出力する。なお、符号化記録モード情報が通常記録モード、最後の再符号化記録モードを示している場合には、再符号化を行わないので、符号化制御情報の生成、出力は行わない。

次に、多重化手段２内の構成及び動作を、図３を参照して説明する。

図３は、図１中の多重化手段２の構成例を示すブロック図である。
多重化手段２内では、まず、符号化制御情報ＴＳパケット生成部３３が、符号化記録モード情報に従い、第１の符号化記録モード又は再符号化記録モードを示している場合は、符号化制御情報を入力して、無効パケットに符号化制御情報を設定し出力する。ＴＳパケット生成部３１は、入力されたビデオＥＳ、オーディオＥＳを入力して、ＴＳパケットを生成して出力する。

ＴＳＭＵＸ（マルチプレクサ）３２は、これらビデオＥＳ、オーディオＥＳのＴＳパケットと、符号制御情報のＴＳパケットが入力した場合には符号制御情報のＴＳパケットを多重化してＴＳとして、図１の記憶媒体３に出力する。

符号化制御情報を設定した無効パケット（図９上、Ｎ）の挿入位置は、例えば図９に示すように、符号化制御情報と同じピクチャのビデオパケット（図９上、Ｖ０、Ｖ１、Ｖ２、・・・）の先頭の前に置くことで、ビデオパケットとその符号化制御情報の管理を容易にすることができる。なお、符号化記録モード情報が、通常記録モード又は最後の再符号化記録モードの場合は、ビデオエンコーダ１から符号化制御情報が入力しないので、多重化手段２は無効パケット（図９上、Ｎ）に符号化制御情報を設定しない。

図１０は、ＴＳパケットの構成例を示している。ＭＰＥＧ−２のＴＳ多重化に関してはＭＰＥＧ−２システムの規格書に詳細が記載されている。なお、符号化制御情報ＴＳパケット生成部３３で生成する符号化制御情報を設定した無効パケットは、ＰＩＤにNullPacketID（０x1fff）、ユニット開始表示が'０１'、アダプテーションフィールド制御に'０１'（ペイロードのみ）が設定される。

図１１は、本実施の形態の符号化制御情報の一例を示している。
図１１に示すように、ＴＳパケットの１８４バイトのペイロード部分に符号化制御情報が設定される。図１１において、データ識別情報は、無効パケットのペイロードが符号化制御情報又は再符号化制御情報で構成されているか、あるいは通常の無効パケットのペイロードであるかを識別するためのものである。本実施の形態では、符号化回数・レート制御情報として、例えば、多重化されたＴＳのビデオ符号化平均レートと、何回符号化されたかを示す符号化回数が記述される。これらの内容は、符号化を重ねる度に多重化手段２で更新される。なお、符号化回数・レート制御情報として、符号化平均レート又は符号化回数のいずれか一方のみでもよい。

次に、再符号化制御情報生成手段４内の構成及び動作を、図４を参照して説明する。

図４は、図１中の再符号化制御情報生成手段４の構成例を示すブロック図である。

再符号化制御情報生成手段４では、まず、符号化制御情報分離処理部４１が記憶媒体３に記録されているＴＳを読み出し、ＰＩＤやデータ識別情報により符号化制御情報が設定されている無効パケットを検出して、符号化制御情報を抽出しバッファメモリ４２に蓄えるとともに、その符号化制御情報の中から、図１１に示す符号化回数・レート制御情報を抽出して符号化記録モード判別手段７へ出力する。

再符号化制御情報演算部４３は、符号化記録モード判別手段７から入力された符号化記録モード情報に従い、再符号化を行う第１の符号化記録モードと、再符号化記録モードとを示している場合は、ピクチャごとの符号化制御情報を基に、図１２に示すようなピクチャごとに再符号化制御情報を生成し、バッファメモリ４２に蓄える。ここで、再符号化制御情報演算部４３は、各ピクチャの発生符号量、平均量子化スケール、アクティビティに対してピクチャタイプごとに重み付け処理を行い、全時間にわたる平均を算出基準とし、各ピクチャのパラメータを比較し、符号量配分比率を算出する。そして、設定したレートを乗じることで目標符号量を算出する。なお、図１２における符号化回数・レート制御情報は、図１１における符号化回数・レート制御情報と同一である。また、図１２におけるピクチャ単位再符号化制御情報のピクチャタイプと量子化情報も、図１１におけるピクチャ単位符号化制御情報と同一で、目標符号量のみが異なることになる。

そして、再符号化制御情報多重化処理部４４は、符号化記録モード情報に基づいて、再符号化を行う第１の符号化記録モードと、再符号化記録モードとを示している場合は、記憶媒体３からのＴＳから符号化制御情報が構成された無効パケットを検出し、同じピクチャのペイロードを、図１１に示すピクチャ単位符号化制御情報から図１２に示すピクチャ単位再符号化制御情報に置き換える。

図１３は、Ｍ＝３のときに再符号化制御情報演算部４３で算出される各符号化平均レートによるフレーム単位の目標符号量の一例を示したグラフである。通常、参照画像（リファレンス）となるＩピクチャ、Ｐピクチャにより多くの符号量を割り当てるが、設定平均レートが低い場合、Ｂピクチャの劣化を抑えるために、Ｉピクチャ、Ｐピクチャとの目標符号量の差を小さくするように、上述の重み付けを行う。

次に、図５は、図１中の分離手段５の構成例を示すブロック図である。分離手段５では、まず、ＴＳＤＥＭＵＸ（デマルチプレクサ）５２が記憶媒体３に記録されたＴＳを読み出し、符号化記録モード情報が再符号化を行う第１の符号化記録モード及び再符号化記録モードを示している場合には、ＴＳよりビデオパケット、オーデイオパケット、無効パケットを分離して、ビデオパケット、オーデイオパケットはＥＳ抽出部５３へ出力する一方、無効パケットは再符号化制御情報抽出部５１へ出力する。なお、符号化記録モード情報が再符号化を行わない通常記録モード及び最後の再符号化記録モードを示している場合には、無効パケットに再符号化制御情報は設定されていないので、再符号化制御情報を分離しないようにする。

再符号化制御情報抽出部５１は、入力される符号化記録モード情報に基づいて、再符号化制御情報が無効パケットに設定されている場合は、入力された無効パケットより再符号化制御情報を抽出し出力する。ＥＳ抽出部５３は、入力されるビデオ、オーデイオパケットからビデオＥＳ、オーディオＥＳをそれぞれ抽出し出力する。

なお、ＴＳＤＥＭＵＸ５２では、符号化記録モード情報が入力しており、符号化記録モード情報により再符号化を行うか否かがわかるので、符号化記録モード情報が次に再符号化を行わない場合、すなわち通常記録モード及び最後の再符号化記録モードを示している場合には、記憶媒体３より読み出したＴＳより無効パケットを取り除いて記憶媒体３に再記録するようにしてもよい。図１において分離手段５から記憶媒体３へ戻る信号線、または図５においてＴＳＤＥＭＵＸ５２から記憶媒体３へ戻る信号線が、この再記録時のＴＳの戻りを示しており、かかる無効パケットを取り除いての再記録を行わない場合には、この信号線は不要である。このようにすれば、無効パケットの分だけＴＳの記憶容量を削減することができることになる。

図６は、図１中のビデオデコーダ６の構成図を示すブロック図である。ＶＬＤ（Variable Length Decoding）部６１は、入力されるビデオＥＳに対して可変長符号をブロックごとに復号し、復号した動きベクトル情報は動き補償予測部６５へ出力する一方、量子化画像データは逆量子化部６２へ出力する。逆量子化部６２では、量子化画像データを逆量子化して、ＤＣＴ係数に戻し逆ＤＣＴ部６３へ出力する。逆ＤＣＴ部６３では、このＤＣＴ係数を入力として逆ＤＣＴ処理を行い、差分画像データに戻して加算器６４へ出力する。

動き補償予測部６５では、バッファメモリ６６に蓄えられた画像データと、ＶＬＤ部６１からの動きベクトル情報とから動き補償を行い、復号映像信号データを加算器６４へ出力する。再符号化制御情報並び替え部６７は、符号化記録モード情報に基づいて、符号化記録モード情報が再符号化記録モード又は最後の再符号化記録モードを示している場合は、バッファメモリ６６にいったん再符号化制御情報を記憶させて、図１４に示すように、再符号化制御情報が復号映像信号データと同じピクチャ並びとなるように順番を並び替えて出力される復号映像信号の画像に同期させた再符号化制御情報を出力する。

図７は、図１中の符号化記録モード判別手段７の構成例を示すブロック図である。再符号化平均レート予測部７１では、再符号化制御情報生成手段４から入力された符号化回数・レート制御情報中の符号化平均レート（図１２参照）と、記憶媒体３の空き容量とから再符号化時の符号化平均レートを予測し符号化記録モード情報生成部７２へ出力する。その際、再符号化平均レート予測部７１は、記憶媒体３の空き容量が再符号化をするのに必要な容量を備えていないと判断した場合には、符号化平均レートとして再符号化不可能を示す信号を出力したり、あるいは符号化平均レートとは別に再符号化不可能を示す信号を符号化記録モード情報生成部７２に出力するようにしてもよい。

符号化記録モード情報生成部７２は、再符号化平均レート予測部７１が予測した再符号化時の符号化平均レート及び符号化回数・レート制御情報中の符号化回数と、あらかじめユーザなどにより設定されている符号化平均レート及び符号化回数の閾値との比較を行い、上記４つの符号化記録モードを示す符号化記録モード情報を生成し出力する。

すなわち、符号化記録モード情報生成部７２は、再符号化平均レート予測部７１が予測した再符号化時の符号化平均レート及び符号化回数・レート制御情報中の符号化回数と、あらかじめユーザなどにより設定されている符号化平均レート及び符号化回数の閾値との比較を行い、予測した再符号化時の符号化平均レート及び符号化回数の双方が、あるいはいずれか一方が閾値を超えた場合には、これ以上、再符号化を行うと画質が劣化したり、画質劣化は少ないが再符号による記憶媒体の記憶容量の削減につながらないものとみなして、再符号化を行わないように最後の再符号化記録モードを示す符号化記録モード情報を出力する。例えば、符号回数の閾値が３回で、もう既に３回再符号化を行っている場合や、符号化平均レートの閾値が９Ｍｂｐｓのときに、予測した再符号化時の符号化平均レートが１０Ｍｂｐｓになったときなどは、これ以上、再符号化を行うと画質が劣化したり、画質劣化は少ないが再符号による記憶媒体への記憶容量の削減につながらないものとみなして、最後の再符号化記録モードを示す符号化記録モード情報を出力する。

これに対し、符号化記録モード情報生成部７２は、予測した再符号化時の符号化平均レート及び符号化回数の双方が、あるいはいずれか一方が閾値を超えない場合には、再符号化を行うと、記憶媒体の記憶容量の削減につながるものとみなして、再符号化を行うように第１の符号化記録モードあるいは再符号化記録モードを示す符号化記録モード情報を出力する。例えば、符号回数の閾値が３回で、また、１回しか再符号化を行っていない場合や、符号化平均レートの閾値が９Ｍｂｐｓのときに、予測した再符号化時の符号化平均レートが５Ｍｂｐｓのときなどは、さらに再符号化を行うと再符号化による記憶媒体への記憶容量の削減につながらないものとみなして、再符号化記録モードを示す符号化記録モード情報を出力する。

なお、第１の符号化記録モードと再符号化記録モードとは、符号化回数を参照することにより、簡単に識別することができ、符号化回数が０に設定されているか、あるいは符号化回数自体が入力されていない場合には、１回目の符号化と判断して、第１の符号化記録モードを示す符号化記録モード情報を出力する。

また、通常記録モードも、符号化回数を参照することにより、すなわち符号化回数が０に設定されているか、あるいは符号化回数自体が入力されていない場合には、１回目の符号化と判断し、しかも再符号化平均レート予測部７１により記憶媒体の空き容量が再符号化をするのに必要な空き容量を備えていないと判断され、符号化平均レートとして再符号化不可能を示す信号、あるいは符号化平均レートとは別に再符号化不可能を示す信号が入力されている場合は、再符号化を行わない第１の符号化記録モードを示す符号化記録モード情報を出力する。

なお、符号化記録モード判別手段７において、符号化平均レートは参照せずに、符号化回数のみにより符号化記録モードを判断する場合には、再符号化平均レート予測部７１は、省略してもよい。

したがって、上述した実施の形態によれば、ＴＳを記録する記憶媒体の空き容量と、符号化回数・レート制御情報中の符号化回数及び符号化平均レートと、あらかじめユーザなどにより設定された符号化回数及び符号化平均レートの閾値とに基づいて、映像信号又は復号映像信号の符号化の際に再符号化制御情報を用いるか否か、及び符号化制御情報を出力するか否かの符号化記録モードを示す符号化記録モード情報を出力し、映像信号又は復号映像信号の符号化の際、その符号化記録モード情報に基づいて映像信号又は復号映像信号を符号化又は再符号化するようにしたので、符号化制御情報中の符号化回数と符号化平均レートの少なくとも一方の閾値をあらかじめ設定することにより、符号化回数や符号化平均レートなどの符号化制御情報の閾値に基づいて符号化記録モードを決定して、符号化及び再符号化の回数や符号化平均レートを制御することができ、再符号化による画質の劣化を抑えながらも記憶媒体の空き容量を大きくすることができる。

また、符号化制御情報、再符号化制御情報をＭＰＥＧ−２トランスポートストリームの無効パケットに設定し、各ピクチャのビデオストリームパケットの先頭の前に位置させるようにしたので、符号化制御情報、再符号化制御情報の管理、アクセスが容易となり、特定の規格で定義された光ディスク媒体に対してもトランスポートストリームの無効パケットを用いることができるので、プライベート領域などを必要としない。また、他のデコーダでこのストリームを再生しても、無効パケットは呼び飛ばされるので、正常な再生が可能である。さらに、再符号化を行わない場合に多重化された無効パケットを取り除くことで、トランスポートストリームの符号量を削減できるといった効果を得ることができる。

なお、本実施の形態の映像信号再符号化装置では、ビデオＥＳにオーディオＥＳを多重化するように説明したが、本発明では、これに限らず、ビデオＥＳにオーディオＥＳを多重化しないでももちろんよい。

また、本実施の形態の映像信号再符号化装置では、記憶媒体３の必要空き容量を確保するための上記再符号化処理は、外部からＴＳと、その符号化回数及び符号化平均レートの閾値とを指定して行う方法があるが、本発明では、これに限らず、記憶媒体３の空き容量に閾値を設けるとともに、記憶媒体３に記録などされるＴＳに優先順位を付けておき、記憶媒体３の空き容量がその閾値よりも小さくなった場合は、優先順位の低いものから順に自動的に必要容量を確保するまで再符号化によるレート変換を行うようにしてももちろんよい。

本発明の実施の形態に係る映像信号再符号化装置の構成例を示すブロック図である。図１中のビデオエンコーダの構成例を示すブロック図である。図１中の多重化手段の構成例を示すブロック図である。図１中の再符号化制御情報生成手段の構成例を示すブロック図である。図１中の分離手段の構成例を示すブロック図である。図１中のビデオデコーダの構成例を示すブロック図である。図１中の符号化記録モード判別手段の構成例を示すブロック図である。図２中のアクティビティ検出部で行われるアクティビティ算出方法の一例を示す図である。図３中のＴＳＭＵＸの出力ＴＳにおける無効パケット（Ｎ）の挿入位置の一例を示すＴＳの構成図である。ＴＳパケットの構成例を示す図である。本発明の実施の形態における符号化制御情報の一例を示す構成図である。本発明の実施の形態における再符号化制御情報の一例を示す構成図である。本発明の実施の形態における目標符号量の一例を示す図である。本発明の実施の形態における再符号化制御情報の並替えの一例を示す図である。

符号の説明

１ビデオエンコーダ（符号化手段）
２多重化手段
３記憶媒体
４再符号化制御情報生成手段
５分離手段
６ビデオデコーダ
７符号化記録モード判別手段

Claims

映像信号又は復号映像信号の符号化の際、再符号化制御情報を用いるか否か及び符号化制御情報を出力するか否かの符号化記録モードを示す符号化記録モード情報に基づいて映像信号又は復号映像信号を符号化又は再符号化し、符号化データと、次に再符号化を行う場合のみ符号化制御情報とを出力する符号化手段と、
前記符号化手段から出力された前記符号化データ及び前記符号化制御情報を入力して、前記符号化データに前記符号化制御情報を多重化して符号化ストリームを生成する多重化手段と、
前記多重化手段によって生成された前記符号化ストリームを記録する記憶媒体と、
前記符号化ストリームに多重化された前記符号化制御情報に基づき前記再符号化制御情報を生成する再符号化制御情報生成手段と、
前記記憶媒体の空き容量と、前記符号化ストリームに多重化された前記符号化制御情報と、あらかじめ設定された前記再符号化制御情報の閾値とに基づいて前記符号化記録モードを判別し、前記符号化記録モード情報として前記符号化手段へ出力する符号化記録モード判別手段とを、
有する映像信号再符号化装置。
前記多重化手段は、
前記符号化制御情報を前記符号化ストリームの無効パケットのペイロード部分に構成するパケット生成部と、前記無効パケットを前記符号化ストリームに多重化するマルチプレクサとを有し、
前記再符号化制御情報生成手段は、前記符号化ストリームに多重化された前記符号化制御情報に基づき前記再符号化制御情報を生成し、前記符号化ストリームの無効パケットのペイロード部分に構成された前記符号化制御情報を、生成した前記再符号化制御情報に置き換えることを特徴とする請求項１に記載の映像信号再符号化装置。
前記符号化記録モード判別手段は、
前記記憶媒体の空き容量と、前記符号化ストリームに多重化された前記再符号化制御情報中の符号化回数又は符号化平均レートの少なくとも１つと、あらかじめ設定された前記再符号化制御情報中の符号化回数又は符号化平均レートの少なくとも１つの閾値とに基づいて符号化記録モードを判別し、前記符号化記録モード情報として前記符号化手段へ出力することを特徴とする請求項１に記載の映像信号再符号化装置。
映像信号又は復号映像信号の符号化の際、再符号化制御情報を用いるか否か及び符号化制御情報を出力するか否かの符号化記録モードを示す符号化記録モード情報に基づいて映像信号又は復号映像信号を符号化又は再符号化し、符号化データと、次に再符号化を行う場合のみ符号化制御情報とを出力する符号化ステップと、
前記符号化データ及び前記符号化制御情報を入力して、前記符号化データに前記符号化制御情報を多重化して符号化ストリームを生成する多重化ステップと、
前記符号化ストリームを記憶媒体に記録する記録ステップと、
前記符号化ストリームに多重化された前記符号化制御情報に基づき前記再符号化制御情報を生成する再符号化制御情報生成ステップと、
前記記憶媒体の空き容量と、前記符号化ストリームに多重化された前記符号化制御情報と、あらかじめ設定された前記再符号化制御情報の閾値とに基づいて前記符号化記録モードを判別し、前記符号化記録モード情報として出力する符号化記録モード判別ステップとを、
有する映像信号再符号化方法。