JP2006311135A - 動画像符号化装置 - Google Patents

Abstract

【課題】 再符号化時の画質劣化を抑制し、効率的な再符号化を可能とする。
【解決手段】 本発明の動画符号化装置は、記録媒体３を介した２パス可変レートを行うのに、再符号化時に必要となる再符号化制御情報をトランスポートストリームの無効パケットに格納することで、再符号化時には、パス１記録信号の全体に対して符号量の再配分を行い、再符号化時の画質劣化を抑制し、効率的な再符号化を行う。
【選択図】 図１

Description

本発明は、ＭＰＥＧ等の符号化方式を用いた映像信号再符号化処理を行う動画像符号化装置に関するものである。

従来、ＭＰＥＧ等の符号化方式を採用した、映像信号記録装置及び再生装置が検討されている。ここでＭＰＥＧについては、ビデオ規格はＩＳＯ−ＩＥＣ１１７２−２、ＩＴＵ−ＴＨ．２６２／１ＳＯ−ＩＥＣ１３８１８−２に、システム規格はＩＴＵ−ＴＨ．２２２／ＩＳＯ−ＩＥＣ１３８１８−１に詳細な説明がなされているものである。この符号化方式で符号化された映像ストリームのレートを変換するために、このストリームを復号して出力された映像信号を再度復号する方法が考えられる。レート変換は通常低レートヘの変換が目的であり、記録媒体の容量、記録時間に応じたレート設定が行われる。

ＭＰＥＧ２では、ＶＢＶの規定を固定転送レート（ＣＢＲ）データだけではなく、可変転送レート（ＶＢＲ）データに対しても規定を設け、様々な応用に対応するため２種の方法で規定できるようにしている。この規定の区別はｖｂｖ＿ｄｅｌａｙの値によってなされており、ｖｂｖ＿ｄｅｌａｙが全て最大値ｏｘｆｆｆｆでない場合と、各ピクチャのｖｂｖ＿ｄｅｌａｙがｏｘｆｆｆｆの場合である。ｖｂｖ＿ｄｅｌａｙがｏｘｆｆｆｆの場合、ＶＢＶに対するデータの入力レートは、ＶＢＶバッファの占有量で決定され、ＶＢＶバッファに空きがあるときはピークレートＲｍａｘ、空きのない場合には零となる。初期状態においてＶＢＶバッファ占有量は零であり、バッファに空きがなくなった時点で復号を開始する。

特に低レートでは画質の劣化を極力抑えるために、映像信号の難易度に応じて符号化レートを変動させる可変レートによる符号化が有効となる。可変レートによる符号化方法としては、光ディスクレコーダ等リアルタイム性が要求される装置に関しては、１パス可変レート符号化が考えられ、特開平９−２３４２３号公報（特許文献１）において提案されている。この符号化は所定時間毎の入力画像の難易度を求め、これにより割り当て符号量を決定し、対象記録媒体の容量等に応じた一定時間の符号化を行うものである。そして、この入力画像の難易度と割り当て符号量との関係は、一般の入力信号により予め統計処理等で標準化されたものである。

また、それほどリアルタイム性が要求されないオーサリングシステム等では、特開平６−１４１２９８号公報（特許文献２）に公開されているような２パス符号化方法、つまり、予め記録媒体に記録されている映像信号について仮符号化を行い、映像信号の難易度に応じた割り当て符号量を算出し、この結果を用いて再度符号化を行う方法が採用されている。

ＭＰＥＧストリームにはＤＶＤ等で用いられているプログラミングストリーム（ＰＳ）と、ＭＰＥＧ２多重化規格のトランスポートストリーム（ＴＳ）がＢＳデジタル放送等で用いられている。また、ｂｌｕ−ｒａｙ等ディスクメディアに関してもトランスポートストリームを採用してきている。また、ビデオ記録装置に関しては、例えば光ディスクドライブとハードディスクドライブとの両方を備えたハイブリッド構成機器も一般的になってきている。

ところで、レート変換のために、符号化された映像ビットストリームを復号して、その映像信号を映像信号符号化装置を用いて再度ＭＰＥＧ符号化してビットストリームを出力する方法を用いた場合、画質の劣化が懸念される。この対策としては、復号した映像信号に対して１パス可変レート符号化の適用が考えられる。しかし、１パス可変レート符号化は、入力映像の難易度が予測不可能な状態において、入力映像に対する的確な符号量配分が困難である。例えば、一定時間の終盤において難易度が高い映像が連続して入力された場合、この映像の符号化に関しては、固定転送レート符号化よりも画質が劣化する可能性がある。

レート変換の仕方としては、例えばハイブリッド構成機器では、ハードディスクに一度高レートで記録しておき、別の時間に、記録する光ディスクメディアの残り容量、記録時間に応じたレートに変換する方法が考えられ、このような形態をとった場合、２パス可変符号化を行うことにより高画質なレート変換が可能である。特に記録した映像信号全てに関する符号化情報から変換されるレートより、局所的な目標符号量等の算出を行い、これをもとに再符号化することにより、効率的な可変レート制御が可能になる。しかし、そのためには、１パス目の後に上記算出時間の確保が必要である。また、１パス目の符号化情報、２パス目の制御情報の格納、映像信号との同期等の管理が必要となる。
特開平９−２３４２３号公報 特開平６−１４１２９８号公報

本発明は、上述のような従来技術の問題点に鑑みてなされたものであり、一度符号化された映像信号を所定のレートに再符号化する際に、記録された記録信号全体に対して符号量の再配分を行うことで効率的なレート変換が行える動画像符号化装置を提供することを目的とする。

請求項１の発明の動画像符号化装置は、パス１記録時には入力される映像信号を所定の第１の符号化レートにて符号化し、パス２記録時にはフィードバックされる復号映像信号をフィードバックされる再符号化制御情報の指示する第２の符号化レートにて符号化してビデオＥＳストリームを生成すると共に符号化情報を生成するビデオエンコーダと、前記ビデオエンコーダからのビデオＥＳストリームをオーディオＥＳストリームと多重化してトランスポートストリームを生成すると共に、パス１記録時にはその無効パケットに前記符号化情報をピクチャ毎に書込む多重化処理部と、前記多重化処理部の出力するトランスポートストリームを記録する記録媒体と、パス２記録時に、前記記録媒体に記録されているパス１記録時のトランスポートストリームの無効パケットに書込まれたピクチャ毎の符号化情報全てからピクチャ毎の再符号化制御情報を算出し、もとの符号化情報が書込まれていた無効パケットの内容を再符号化制御情報に置き換えて当該録媒体に再記録する再符号化情報生成部と、パス２記録時に、パス１記録の際に前記記録媒体に記録されたトランスポートストリームを読み出し、前記ビデオＥＳストリームとオーディオＥＳストリームとを分離して出力し、同時にピクチャ毎の再符号化制御情報を前記無効パケットから抽出する分離化処理部と、パス２記録時に、前記ビデオＥＳストリームをデコードして復号映像信号を生成すると共に、前記分離化処理部の抽出したピクチャ毎の再符号化制御情報をエンコード時の並びから映像出力並びに変換し、前記復号映像信号と同期して共に前記ビデオエンコーダに出力するビデオデコーダとを備えたものである。

請求項２の発明は、請求項１の動画像符号化装置において、前記ピクチャ毎の無効パケットは、当該無効パケットが多重化されるビデオＥＳストリームのパケットの先頭パケットの前位置にしたことを特徴とするものである。

本発明の動画像符号化装置によれば、パス１記録時に所定のレートに符号化された映像信号を再符号化して記録するパス２記録時には、パス１記録時に符号化されて記録されている記録信号全体に対して符号量の再配分を行なうことで効率的なレート変換ができる。

以下、本発明の実施の形態を図に基づいて詳説する。

（第１の実施の形態）図１は本発明の一つの実施の形態の動画像符号化装置の構成を示すブロック図である。動画像符号化装置は２パス符号化機能を有しており、ビデオエンコーダ１と、多重化処理部２と、記録媒体３と、再符号化情報生成部４と、分離化処理部５と、ビデオデコーダ６とから構成されている。

ビデオエンコーダ１は、第一（パス１）の符号化ではａポートに対する外部からの映像信号と記録モード情報を入力として符号化を行う。記録モード情報は、ビデオエンコーダ１に対してレート変換を前提にしない通常記録／パス１記録／再符号化（パス２）記録のいずれかの識別情報と符号化平均レート情報からなる。ビデオエンコーダ１は、符号化されたビデオＥＳストリームと符号化情報を多重化処理部２に出力する。パス１では再符号化制御情報は入力されず、符号量制御はビデオエンコーダ１の内部での処理となる。

ここで「パス１記録」は、再符号化を前提とした、最初のエンコード、符号化情報の記録、再符号化情報生成記録までのプロセスである。「再符号化（パス２）記録」は、パス１で生成されたストリームのデコード及び再符号化制御情報を用いた再符号化を行い、生成されたストリームの記録までのプロセスである。「通常記録」は再符号化を前提としない、すなわち、再符号化情報を生成しないエンコード記録プロセスである。

多重化処理部２では、ビデオＥＳストリーム、オーディオＥＳストリーム及び符号化情報を入力として、トランスポートストリーム（ＴＳ）を生成し、記録媒体３に記録する。記録モード情報が「パス１記録」の時、入力された符号化情報は無効パケットに書込むことでトランスポートストリームに多重化される。ここで、記録媒体３は光ディスク、ハードディスク等であるが、これらの複数構成であってもよい。

再符号化情報生成部４では、記録モード情報が「パス１記録」の時には、記録媒体３に記録されたパス１のトランスポートストリームの無効パケットに書込まれたピクチャ毎の符号化情報全てからピクチャ毎の再符号化制御情報を算出し、もとの符号化情報が書込まれていた無効パケットの内容を再符号化制御情報に置き換えて同記録媒体３に記録する。

一方、記録モード情報が「パス２記録」の時には、分離化処理部５が「パス１記録」の際に記録媒体３に記録されているトランスポートストリーム（ＴＳ）を読み出し、ビデオＥＳストリーム、オーディオＥＳストリームを分離して出力する。また、記録モード情報が「パス２記録」の時、記録モード情報に設定された符号化平均レートより選択された再符号化制御情報を無効パケットから抽出し、ビデオデコーダ６に出力する。

ビデオデコーダ６はビデオＥＳストリームを入力として、復号処理を行って復号映像信号を出力する。またビデオデコーダ６は、記録モード情報が「パス２記録」の時は分離化処理部５が分離した再符号化制御情報を入力して、ピクチャ毎の再符号化制御情報をエンコード時の並びから映像出力並びに変換し、復号映像信号と同期して出力する。

「パス２記録」の時には、ビデオデコーダ６からビデオエンコーダ１にｂポートを通じて復号映像信号が入力され、また再符号化制御情報も入力される。ビデオエンコーダ１は記録モード情報が「パス２記録」の時、この再符号化制御情報によって符号量制御を行い、復号映像信号の再符号化を行い、ビデオＥＳストリームを出力する。この「パス２記録」の時、ビデオエンコーダ１は符号化情報は出力しない。多重化処理部２は、記録モード情報が「パス２記録」の時、再符号化されたビデオＥＳストリーム、そしてオーディオＥＳストリームを入力し、多重化処理してトランスポートストリーム（ＴＳ）を再度生成し、記録媒体３に記録する。

図２は上記実施の形態におけるビデオエンコーダ１の詳しい内部構成を示すブロック図である。ビデオエンコーダ１は、第１の画像メモリ１１と、減算器１２と、ＤＣＴ部１３と、量子化部１４と、ＶＬＣ部１５と、アクティビティ検出部１６と、符号量制御部１７と、符号化情報生成部１８と、動き補償予測部１９と、逆量子化部２０と、逆ＤＣＴ部２１と、加算器２２と、第２の画像メモリ２３を備えている。

「パス１記録」で符号化処理するときにはａポートの入力映像信号を、また「パス２記録」で再符号化処理を実行するときにはビデオデコーダ６からｂポートに入力される映像信号が第１の画像メモリ１１に入力され記憶される。第１の画像メモリ１１は複数フレームの画像データを記憶する。記憶された画像データは輝度データ（Ｙ）が１６×１６画素、色データ（Ｃｂ／Ｃｒ）がそれぞれ１６×８画素単位のブロックで処理し、色データに関しては縦方向にサブサンプリングし、それぞれ８×８画素のブロックとして処理する。

同様にブロック化された画像データは動き補償予測部１９で第１の画像メモリ１１から読み出された画像データと第２の画像メモリ２３から読み出されたフレーム（フィールド）のローカルデコードされた再生画像データより、フレーム間（フィールド間）予測の動きベクトルを検出する。動き補償予測部１９ではさらに、この動きベクトルと第２の画像メモリ２３より読み出された再生画像データから動き補償を行い、動き補償画像データと動きベクトルと予測モードを出力する。

減算器１２では第１の画像メモリ１１から読み出された画像データと、動き補償予測部１９から出力された動き補償映像データを入力とし、これらの間で減算を行い差分画像データを出力する。ＤＣＴ部１３では差分画像データを入力とし、ＤＣＴ（離散コサイン変換）を行いＤＣＴ係数を出力する。量子化部１４ではＤＣＴ係数を入力とし、量子化を行い量子化画像データを出力すると同時に量子化情報を出力する。

ＶＬＣ部１５では量子化データと、動きベクトル及び予測モードとを入力とし、これらを可変長符号化してビデオＥＳストリームを出力すると共に、ピクチャ単位の発生符号量、ピクチャタイプを出力する。ここでピクチャ単位の発生符号量としては、例えば可変長符号化で得られた所定のブロック（１６×１６画素）単位の符号量のピクチャ全領域に対する総和を用いる。また、Ｉ，Ｐピクチャは、後で動き補償予測の参照データとして用いる再生画像が必要なため、逆量子化、逆ＤＣＴのローカルデコードを行う。

アクティビティ検出部１６では、第１の画像メモリ１１から画像データを呼び出し、ピクチャ毎のアクティビティの総和を算出し出力する。アクティビティとは画面内のブロック単位の変化を示すものである。図３は、アクティビティ算出の一例を示す図であり、８×８画素のブロック単位で変化を求めている。すなわち、水平方向、垂直方向それぞれに隣接するピクセル（Ｐｉｘｅｌ）間の絶対値差分Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出し、ブロック単位ごとの総和を算出する。画面内のブロック単位の変化が大きい時にアクティビティ（Ａｃｔ）は大きくなり、画面内のブロック単位の変化が小さい時にアクティビディは小さくなる。そして、アクティビディ検出部１６ではピクチャの全領域に対して上記計算を行い、ピクチャ全体での総和を算出して出力する。アクティビティ（Ａｃｔ）の単位ブロックは、ＭＰＥＧ符号化の最小単位のブロック（８×８画素）としている。

本実施の形態の動画像符号化装置におけるビデオエンコーダ１内の構成要素として特徴をなす符号量制御部１７では、記録モード情報が「通常記録」又は「パス１記録」の時は、入力される発生符号量／ピクチャタイプとアクティビティから符号量制御を行い、記録モード情報が「パス２記録」の時は、入力されるピクチャ毎の目標符号量と、ピクチャタイプの再符号化制御情報とによる制御を加えて符号量制御を行い、量子化部１４に量子化制御情報を出力する。

発生符号量と量子化スケールとにはほぼ反比例の関係があり、発生符号量を増加させるには量子化スケールを小さくし、符号量を減少させるには量子化スケールを大きくする。また、Ｐピクチャは一つ前のＩピクチャもしくはＰピクチャから、Ｂピクチャは時間的に両側のＩピクチャとＰピクチャとから予測されている関係上、Ｉピクチャが劣化すると連動して他のピクチャも劣化する。したがってＩピクチャの画質は最も重要であり、符号も十分に配分しなければならない。そこで、リファレンスとなるＩピクチャ、Ｐピクチャの画質劣化を抑える目的で、「パス２記録」の時は「パス１記録」の時のピクチャタイプと同じピクチャタイプで再符号化を行う。

同じく特徴をなす符号化情報生成部１８では、記録モード情報が「パス１記録」の時、ピクチャ毎に量子化情報を入力として平均の量子化スケールを算出し、入力されたアクティビティ、発生符号量／ピクチャタイプと共に符号化情報を構築して出力する。量子化情報としては、例えば、面内の平均量子化スケールを用いる。記録モード情報が「通常記録」の時また「パス２記録」の時には出力は行わない。

逆量子化部２０では量子化データを入力として逆量子化を行い、ＤＣＴ係数を出力する。逆ＤＣＴ部２１では、ＤＣＴ係数を入力として逆ＤＣＴを行い、差分復号画像を出力する。加算器２２では差分復号画像と、動き補償予測部１９から出力された動き補償画像データを入力として加算を行い、復号画像データを出力する。第２の画像メモリ２３は、復号画像データを記憶する。

図４は上記実施の形態における多重化処理部２の内部構成を示すブロック図である。多重化処理部２は、符号化情報ＴＳパケット生成部３１と、ＴＳパケット生成部３２と、ＴＳ＿ＭＵＸ部３３とから構成されている。

記録モード情報が「パス１記録」の時、符号化情報ＴＳパケット生成部３１では符号化情報を入力として、無効パケットに符号化情報を構成し出力する。ＴＳパケット生成部３２では、入力されたビデオＥＳストリーム、オーディオＥＳストリーム等を入力として、ＴＳパケットを生成して出力する。ＴＳ＿ＭＵＸ部３３ではこれらＴＳパケットを多重化しトランスポートストリーム（ＴＳ）を出力し、記録媒体３に記録する。図５はパケットの挿入位置の一例を示す図であり、Ｖ０，Ｖ１等はビデオデータパケット、Ａ０，Ａ１等はオーディオデータパケット、Ｎは無効パケットを示している。この図５に示すように、符号化情報と同じピクチャのビデオパケットの先頭Ｖ０の前に無効パケットＮを置くことで、ビデオストリームとその符号化情報の管理を容易にすることができる。なお、記録モード情報が「通常記録」または「パス２記録」の時は、符号化情報で構成されるパケットは生成されず、トランスポートストリームにも多重化されない。

図６はＴＳパケットの構造を示す図である。ＭＰＥＧ２のＴＳ多重化に関しては規格書に詳細が記載されているが、符号化情報ＴＳパケット生成部３１で生成する無効パケットは、パケットＩＤ（ＰＩＤ）にＮｕｌｌＰａｃｋｅｔＩＤ（０ｘ１ｆｆｆ）、ユニット開始表示が‘０１’、アダプテーションフィールド制御に‘０１’（ペイロードのみ）が設定され、ペイロードに図７に示すように符号化情報を構成する。データ識別は、無効パケットのペイロードが符号化情報または再符号化制御情報で構成されているか、あるいは通常の無効パケットのペイロードであるかを識別するためのものである。そして無効パケットのペイロードが符号化情報または再符号化制御情報であるとき、ピクチャ単位符号化情報として、ピクチャタイプ、発生符号量、量子化情報、アクティビティを設定する。

図８は上記実施の形態における再符号化情報生成部４の内部構成を示すブロック図である。再符号化情報生成部４は、符号化情報分離化処理部４１と、バッファメモリ４２と、再符号化情報演算部４３と、再符号化制御情報多重化処理部４４とから構成されている。

符号化情報分離化処理部４１では、記録媒体３に記録されているトランスポートストリーム（ＴＳ）を呼び出し、無効パケットを検出し、符号化情報を抽出してバッファメモリ４２に蓄える。再符号化情報演算部４３では全てのピクチャの符号化情報をもとに、ピクチャ毎に設定されたレートごとの再符号化制御情報を生成し、バッファメモリ４２に蓄える。再符号化制御情報多重化処理部４４では、記録媒体３からトランスポートストリームを呼び出し、符号化情報が構成された無効パケットを検出し、同じピクチャのペイロードを図９に示すような構成に置き換える。上記処理は、記録モード情報が「パス１記録」の時にのみ、「パス２記録」の再符号化処理に備えるために行う。

ここで、設定レート識別は設定レートごとの再符号化制御情報領域を識別するものである。再符号化情報演算には様々な方法があるが、基本的には、まず各ピクチャの発生符号量、平均量子化スケール、アクティビティに対してピクチャタイプごとに重み付け処理を行い、前時間に渡る平均を算出基準とする。これに対して各ピクチャの上記パラメータを比較し、符号量配分比率を算出する。そして設定したレートに乗じることで、目標符号量を算出する方法である。

図１０はＭ＝３の時の各符号化平均レートによるフレーム単位の目標符号量を示した図である。通常リファレンスとなるＩ，Ｐピクチャにより多くの符号量を割り当てるが、設定平均レートが低い場合、Ｂピクチャの劣化を抑えるために、Ｉ，Ｐピクチャとの目標符号量の差を小さくするように重み付けを行う。

図１１は上記実施の形態の分離化処理部５の内部構成を示すブロックである。分離化処理部５は、ＴＳ＿ＤＥＭＵＸ部５１と、再符号化制御情報抽出部５２と、ＥＳストリーム抽出部５３とから構成されている。

ＴＳ＿ＤＥＭＵＸ部５１は記録媒体３に記録されたトランスポートストリームを読み出し、ビデオデータパケット、オーディオデータパケット、無効パケットを検出分離してそれぞれを出力する。再符号化制御情報抽出部５２では、入力される記録モードに設定された再符号化の平均レートと、入力された再符号化制御情報が構成された無効パケットの設定レート識別より、再符号化制御情報を抽出し出力する。ＥＳストリーム抽出部５３は入力されるビデオデータパケット、オーディオデータパケットからビデオＥＳストリーム、オーディオＥＳストリームをそれぞれ抽出して出力する。なお、ＴＳ＿ＤＥＭＵＸ５１では再符号化平均レートが「パス１記録」の時と同じ場合、すなわちレート変換が必要ない場合は無効パケットを取り除き、記録媒体３に記録することも可能である。

図１２は上記実施の形態におけるビデオデコーダ６の内部構成を示すブロック図である。ビデオデコーダ６は、ＶＬＤ部（可変長符号復号器）６１と、逆量子化部６２と、逆ＤＣＴ部６３と、加算器６４と、動き補償予測部６５と、バッファメモリ６６と、再符号化制御情報並び替え部６７とから構成されている。

ビデオＥＳストリームはＶＬＤ部６１に入力され、ＶＬＤ部６１ではこのビデオＥＳストリームに対して可変長符号をブロック毎に復号し、動きベクトル情報と、量子化された画像データを逆量子化部６２に出力する。逆量子化部６２では量子化された画像データを逆量子化し、ＤＣＴされた画像データ（ＤＣＴ係数）を逆ＤＣＴ部６３に出力する。逆ＤＣＴ部６３ではこのＤＣＴ係数を入力として逆ＤＣＴ処理を行い差分画像データを出力する。この差分画像データは加算器６４に入力される。加算器６４では、差分画像データと動き補償予測部６５からの画像データとを加算して復号映像信号として出力すると共に、バッファメモリ６６に蓄える。

動き補償予測部６５ではバッファメモリ６６に蓄えられた復号画像データとＶＬＤ部６１からの動きベクトル情報から動き補償を行い、復号映像信号を出力する。再符号化制御情報並び替え部６７は再符号化制御情報及び記録モード情報を入力とし、記録モード情報が「パス２記録」の時は、バッファメモリ６６に再符号化制御情報を記録する。そして図１３に示すように、復号映像データと同じピクチャの並びで、出力される復号映像信号の画像に同期させた再符号化制御情報をバッファメモリ６６から読み出し出力する。図１３において、Ｉ０はＩピクチャ、Ｐ３，Ｐ６等はＰピクチャ、Ｂ１，Ｂ２等はＢピクチャを表している。

本実施の形態の動画像符号化装置によれば、いったん符号化された映像ビットストリームを復号し、その映像信号をビデオデコーダを用いて再度ＭＰＥＧ符号化してビットストリームを出力する「パス２記録」を行う場合に、ピクチャ毎の全ての符号化情報から再符号化時に動画像の内容に応じた適切な符号量配分で再符号化を行うことによってレート変換時の画質の劣化を抑制でき、また、符号化情報、再符号化制御情報をＭＰＥＧ２トランスポートストリームの無効パケットに構成することによって、各ピクチャのビデオストリームパケットの先頭の前に位置させることで各情報の管理、アクセスが容易となる。また、本実施の形態の動画像符号化装置にて再符号化済みのストリームを他の通常機能のビデオデコーダで再生しても、無効パケットは呼び飛ばされるので正常な再生が可能であり、再符号化制御情報生成時に、設定された複数の再符号化平均レートに対して予め算出して格納しておくことで再符号化時にレート設定が行われた場合でもすぐに再符号化を開始することができ、再符号化を行わない場合に多重化された無効パケットを取り除くことでトランスポートストリームの符号量を削減できる。

本発明の一つの実施の形態の動画像符号化装置の構成を示すブロック図。 上記実施の形態におけるビデオエンコーダの構成を示すブロック図。 アクティビティ算出方法の一例を示す図。 上記実施の形態における多重化処理部の構成を示すブロック図。 ＴＳパケットの挿入位置の一例を示す図。 ＴＳパケット構造の一例を示す図。 ペイロードに符号化情報を構成する一例を示す図。 上記実施の形態における再符号化情報生成部の構成を示すブロック図。 ペイロードの置き換えの構成の一例を示す図。 Ｍ＝３の時の各符号化平均レートによるフレーム単位の目標符号量を示した図。 上記実施の形態における分離化処理部の構成を示すブロック図。 上記実施の形態におけるビデオデコーダの構成を示すブロック図。 ピクチャ並びを示す図。

符号の説明

１ ビデオエンコーダ
２ 多重化処理部
３ 記録媒体
４ 再符号化情報生成部
５ 分離化部
６ ビデオデコーダ
１１、２３ 画像メモリ
１２ 減算器
１３ ＤＣＴ部
１４ 量子化部
１５ ＶＬＣ部
１６ アクティビティ検出部
１７ 符号量制御部
１８ 符号化情報生成部
１９，６５ 動き補償予測部
２０，６２ 逆量子化部
２１，６３ 逆ＤＣＴ部
２２，６４ 加算器
３１ ＴＳパケット生成部
３２ 符号化情報ＴＳパケット生成部
３３ ＴＳ＿ＭＵＸ部
４１ 符号化情報分離化処理部
４２，６６ バッファメモリ
４３ 再符号化情報演算部
４４ 再符号化制御情報多重化処理部
５１ 再符号化制御情報抽出部
５２ ＴＳ＿ＤＥＭＵＸ部
５３ ＥＳストリーム抽出部
６１ ＶＬＤ部
６７ 再符号化制御情報並び替え

Claims (2)

1. パス１記録時には入力される映像信号を所定の第１の符号化レートにて符号化し、パス２記録時にはフィードバックされる復号映像信号をフィードバックされる再符号化制御情報の指示する第２の符号化レートにて符号化してビデオＥＳストリームを生成すると共に符号化情報を生成するビデオエンコーダと、
   前記ビデオエンコーダからのビデオＥＳストリームをオーディオＥＳストリームと多重化してトランスポートストリームを生成すると共に、パス１記録時にはその無効パケットに前記符号化情報をピクチャ毎に書込む多重化処理部と、
   前記多重化処理部の出力するトランスポートストリームを記録する記録媒体と、
   パス１記録時に、前記記録媒体に記録されているパス１記録時のトランスポートストリームの無効パケットに書込まれたピクチャ毎の符号化情報全てからピクチャ毎の再符号化制御情報を算出し、もとの符号化情報が書込まれていた無効パケットの内容を再符号化制御情報に置き換えて当該録媒体に再記録する再符号化情報生成部と、
   パス２記録時に、パス１記録の際に前記記録媒体に記録されたトランスポートストリームを読み出し、前記ビデオＥＳストリームとオーディオＥＳストリームとを分離して出力し、同時にピクチャ毎の再符号化制御情報を前記無効パケットから抽出する分離化処理部と、
   パス２記録時に、前記ビデオＥＳストリームをデコードして復号映像信号を生成すると共に、前記分離化処理部の抽出したピクチャ毎の再符号化制御情報をエンコード時の並びから映像出力並びに変換し、前記復号映像信号と同期して共に前記ビデオエンコーダに出力するビデオデコーダとを備えた動画像符号化装置。
2. 前記ピクチャ毎の無効パケットは、当該無効パケットが多重化されるビデオＥＳストリームのパケットの先頭パケットの前位置にしたことを特徴とする請求項１に記載の動画像符号化装置。
   

Images