JP2010056849A - 映像信号再符号化装置および方法 - Google Patents

Abstract

【課題】画像パラメータの異なる映像信号に再符号化する場合に、迅速かつデータ量増大を防止して再符号化を行うこと。
【解決手段】モード切替ＳＷ１０がａ側に接続すると、第１のビデオエンコーダ１は映像信号を符号化してビデオＥＳと符号化制御情報１とを出力する一方、第１の画像サイズ変換部７は映像信号の画像サイズを変換したサイズ変更映像信号を出力し、第２のビデオエンコーダ７はサイズ変換映像信号を符号化して符号化制御情報２を出力する。多重化処理部２は、そのビデオＥＳと符号化制御情報１、２とを多重化してＴＳとし、記録部３が記録媒体３１に記録する。モード切替ＳＷ１０がｂ側に接続すると、再符号化制御情報生成部４が記録媒体３１に記録されたＴＳより符号化制御情報１,２を元に再符号化制御情報を生成し、ビデオデコーダ６や第２の画像サイズ変換部９、第１のビデオエンコーダ１がその再符号化制御情報を基に再符号化を行う。
【選択図】図１

Description

本発明は、入力映像信号を符号化および再符号化する映像信号再符号化装置および方法に関する。

高能率符号化方式を用いて生成されたビデオやオーディオの符号化ストリームを、さらに他の符号化ストリームも含めて、一本化したＭＰＥＧ２多重化規格のトランスポートストリーム(ＴＳ)は、デジタル放送、各種記録メディア、ネットワーク等で用いられている。

特に、家庭内で用いるホームサーバー等を想定した場合、ネットワークでの転送、記録メディアへの記録をする際に、ネットワークのバンド幅や、記録メディアのディスク容量、端末装置の処理能力等に応じた符号化が求められ、ビデオの符号化ビットレートや画像パラメータの変換が必要になる。

入力映像信号について１パス目の仮符号化を行い、映像信号の難易度に応じた割り当て符号量を算出し、この結果を用いて再度符号化を行ういわゆる映像信号再符号化装置および方法の利用が考えられる（例えば、特許文献１、２参照。）。
特開平２００６−３１１１３５号公報 特開２００８−４２６６０号公報

しかし、前述の特許文献１，２の映像信号再符号化装置および方法では、２パス目に再符号化制御情報を生成しながら出力先の表示装置や情報処理装置等の画像パラメータに変換した復号映像信号を再符号化すると、迅速に再符号化して出力先の表示装置や情報処理装置等に送信できない、という問題がある。

その一方、１パス目に出力先の表示装置や情報処理装置等に想定される符号化ビットレートおよび画像パラメータに応じた符号化ストリームを事前に複数生成し、ハードディスク等の記録媒体に記録しておき、ネットワークへの送信時に、ネットワークの帯域や、接続先表示装置の解像度に応じて、選択する方法も考えられるが、この方法だとデータ量の増大を招き、ストリームの管理が煩雑になったり、符号化ストリームの編集等を行った場合には、各符号化ストリームを再度生成し直す必要がある、という問題がある。

そこで、本発明は、画像パラメータの異なる映像信号に再符号化する場合に、迅速かつデータ量増大を防止して再符号化を行うことができる映像信号再符号化装置および方法を提供することを目的とする。

前記課題を解決するため、本発明の映像信号再符号化装置は、入力映像信号を符号化して符号化映像信号を出力する符号化モードと、前記符号化映像信号を復号した復号映像信号を再符号化して再符号化映像信号を出力する再符号化モードとを切り替えるモード切替手段と、前記符号化モード時に、前記入力映像信号の画像パラメータを前記再符号化時の画像パラメータに変換したパラメータ変換映像信号を出力する画像パラメータ変換手段と、前記符号化モード時に、入力映像信号を符号化して前記符号化映像信号と、前記符号化映像信号の符号化制御情報である第１の符号化制御情報とを出力すると共に、前記パラメータ変換映像信号を符号化してその際の符号化制御情報である第２の符号化制御情報のみを出力する符号化手段と、前記符号化モード時あるいは再符号化モード時に、前記第１の符号化制御情報と前記第２の符号化制御情報に基づいて、再符号化制御情報を生成する再符号化制御情報生成手段と、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記符号化映像信号を復号して前記復号映像信号として出力する復号手段と、を有し、前記画像パラメータ変換手段は、さらに、再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記復号映像信号の画像パラメータを変更したパラメータ変換復号映像信号を出力し、前記符号化手段は、さらに、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記パラメータ変換復号映像信号を符号化する、ものである。ここで、画像パラメータには、再符号化した映像信号の出力先となる表示装置や情報処理装置等における画像サイズ（解像度）や、表示レート、符号化ビットレート等の画像パラメータのことをいう。
また、前記映像信号再符号化装置において、前記符号化手段は、前記符号化モード時に、前記入力映像信号を符号化して前記符号化映像信号と、前記符号化映像信号の符号化制御情報である第１の符号化制御情報とを出力する第１の符号化手段と、前記パラメータ変換映像信号を符号化してその際の符号化制御情報である第２の符号化制御情報のみを出力する第２の符号化手段とを有し、前記画像パラメータ変換手段は、前記符号化モード時に、前記入力映像信号の画像パラメータを前記再符号化時の画像パラメータに変換したパラメータ変換映像信号を出力する第１の画像パラメータ変換手段と、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記復号映像信号の画像パラメータを変更したパラメータ変換復号映像信号を出力する第２の画像パラメータ変換手段とを有し、前記第１の符号化手段が、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記パラメータ変換復号映像信号を符号化する、ようにしても良い。
また、前記映像信号再符号化装置において、さらに、前記符号化モード時に、前記符号化映像信号と、前記第１の符号化制御情報と、前記第２の符号化制御情報とをトランスポートパケットとして多重化してトランスポートストリームを生成する多重化処理手段と、前記符号化モード時に、前記トランスポートストリームを記録媒体に記録する記録手段と、前記再符号化モード時に、前記記録媒体に記録された前記トランスポートストリームより前記符号化映像信号と、前記再符号化制御情報とを分離する分離処理手段と、を有し、前記符号化手段は、前記第１の符号化制御情報と前記第２の符号化制御情報とを前記トランスポートパケットの無効パケットのペイロード部分に構成し、前記再符号化制御情報生成手段は、前記トランスポートパケットの無効パケットのペイロード部分から前記第１の符号化制御情報と前記第２の符号化制御情報とを読み出し、前記第１の符号化制御情報と前記第２の符号化制御情報とに基づいて前記再符号化制御情報を生成し、生成した前記再符号化制御情報を前記トランスポートパケットの無効パケットのペイロード部分に書込み、前記分離処理手段は、前記トランスポートパケットの無効パケットのペイロード部分から前記再符号化制御情報を分離する、ようにしても良い。
また、前記映像信号再符号化装置において、前記再符号化制御情報生成手段は、生成した前記再符号化制御情報を、前記第１の符号化制御情報と前記第２の符号化制御情報に置き換えて前記トランスポートパケットの無効パケットのペイロード部分に書込む、ようにしても良い。
また、本発明の映像信号再符号化方法は、入力映像信号を符号化して符号化映像信号を出力する符号化モード時に、前記入力映像信号の画像パラメータを前記再符号化時の画像パラメータに変換したパラメータ変換映像信号を出力するステップと、前記符号化モード時に、入力映像信号を符号化して前記符号化映像信号と、前記符号化映像信号の符号化制御情報である第１の符号化制御情報とを出力すると共に、前記パラメータ変換映像信号を符号化してその際の符号化制御情報である第２の符号化制御情報のみを出力するステップと、前記符号化モード時に、前記符号化映像信号と、前記第１の符号化制御情報と、前記第２の符号化制御情報とを記録媒体に記録するステップと、前記符号化モード時あるいは前記符号化映像信号を復号した復号映像信号を再符号化して再符号化映像信号を出力する再符号化モード時に、前記記録媒体に記録された前記第１の符号化制御情報と前記第２の符号化制御情報に基づいて、再符号化制御情報を生成するステップと、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記記録媒体に記録された前記符号化映像信号を復号して前記復号映像信号として出力するステップと、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記復号映像信号の画像パラメータを変更したパラメータ変換復号映像信号を出力するステップと、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記パラメータ変換復号映像信号を符号化するステップと、を有する。

本発明によれば、再符号化モード時に、符号化モード時に第１および第２の符号化制御情報により生成しておいた再符号化制御情報に基づいて、パラメータ変換復号映像信号を符号化するようにしたので、画像パラメータの異なる符号化信号に再符号化する場合に、迅速かつデータ量増大を防止して再符号化を行うことができる。

以下、本発明に係る映像信号再符号化装置および方法の実施の形態１，２について説明する。なお、以下の実施の形態１，２では、画像パラメータとして、再符号化した映像信号の出力先となる表示装置や情報処理装置等における画像サイズ（解像度）を一例に説明するが、画像サイズ（解像度）に限定されるものではない。

実施の形態１.
図１は、本発明に係る映像信号再符号化装置の実施の形態の構成例を示すブロック図である。

図１において、この実施の形態の映像信号再符号化装置は、第１のビデオエンコーダ１、多重化処理部２、記録部３、ＨＤＤ等の記録媒体３１、再符号化制御情報生成部４、分離処理部５、ビデオデコーダ６、第１の画像サイズ変換部７、第２のビデオエンコーダ８、第２の画像サイズ変換部９、符号化モードと再符号化モードとを切替えるモード切替ＳＷ１０を有している。なお、符号化モードは、１回目の符号化を行う１パス目の符号化のことをいい、再符号化モードは、２回目の符号化を行う２パス目の符号化のことをいい、３回以上の符号化も含まれる。また、ここでは、符号化モード時に、１の画像サイズの変換のみ考慮しているため、第１の画像サイズ変換部７および第２のビデオエンコーダ８をそれぞれ１ずつ設けているが、２以上の画像サイズの変換を実行するため、第１の画像サイズ変換部７および第２のビデオエンコーダ８をそれぞれ２以上設けるようにしても勿論よい。

次に、図２に示すフローチャートを参照して、図１に示す映像信号再符号化装置の動作を説明する。

（１パス目）
図１に示す映像信号再符号化装置では、図示しないＣＰＵからの指令もしくは、ユーザ等からの設定等により、１回目の符号化である１パス目であるか、２回目の符号化、すなわち再符号化である２パス目であるかにより、モード切替ＳＷ１０は、接続先をａ側（１パス目）またはｂ側（２パス目）に切替える。

ここで、本装置に入力する入力映像信号には、様々な符号化されたビデオストリームを一度復号して生成された映像信号も考えられる。

まず、１回目の符号化である１パス目の場合、モード切替ＳＷ１０は、接続先を図１に示すようにa側に接続しており（Ｓ２０１“パス１”）、外部からの映像信号が入力されると、第１のビデオエンコーダ１は入力された映像信号に対して符号化を行い、ビデオエレメンタリストリーム（ビデオＥＳ）を生成すると共に、ピクチャ単位の符号化制御情報１を生成し、多重化処理部２へ出力する（Ｓ２０２）。ここで、第１のビデオエンコーダ１および第２のビデオエンコーダ８が採用する符号化方式には、MPEG2（ISO-IEC1172-2,ITU-TH.262/ISO-IEC13818-2）、MPEG4-AVC(H．264）（ISO‐IEC 14496-10）等の公知の動画像符号化方式が採用される。

一方、第１の画像サイズ変換部７では、入力された映像信号を所定の画像サイズに変換し第２のビデオエンコーダ８へ出力する（Ｓ２０３）。ここで、所定の画像サイズ（解像度）とは、入力された映像信号の画像サイズとは異なる画像サイズであり、再符号化モードである２パス目に再符号化する復号映像信号の画像サイズである。画像サイズを変更する理由は、これらの符号化データを扱う機器は、特にネットワーク対応が急速に進み、これに伴い入力となるデータは多種、多様な符号化方式を扱うことが想定され、これを上記のような符号化方式に変換する場合、入力されたデータを復号し、ベースバンドに変換した後に、符号化を行うことが考えられ、特に、家庭内で用いる、ホームサーバー等を想定した場合、ネットワークでの転送、記録メディアへの記録をする際に、ネットワークのバンド幅、記録メディアのディスク容量、さらには各デジタル端末の能力等に応じた画像サイズ（解像度）や、表示レート、符号化ビットレート等が求められ、画像サイズ（解像度）の変換が必要だからである。

第２のビデオエンコーダ８は、画像サイズを変換されたサイズ変換映像信号に対して第２の符号化を行い、ピクチャ単位の符号化制御情報２を生成し多重化処理部２へ出力する（Ｓ２０４）。この時、第２のビデオエンコーダ８は、第２の符号化結果であるビデオＥＳを出力せずに、符号化の際のピクチャ単位の符号化制御情報２のみを多重化処理部２へ出力する。

ここでは、第２のビデオエンコーダ８は、上記第２のビデオエンコーダ１と同じ構成とし、第１のビデオエンコーダ１と第２のビデオエンコーダ８とでは、符号化方式が同じものとする。ただし、第１のビデオエンコーダ１と第２のビデオエンコーダ８とで符号化方式を異なることにした場合、第２のビデオエンコーダ８の符号化方式は、再符号化モード時の符号化方式であるので、再符号化を第２のビデオエンコーダ８で行うようにする必要がある。

第１のビデオエンコーダ１及び第２のビデオエンコーダ８の詳細は、後述する図３にて説明する。

なお、上記第１の画像サイズ変換部７と第２のビデオエンコーダ８は、変換する画像サイズの種類に応じて、複数個で構成しても良い。

多重化処理部２は、第１のビデオエンコーダ１からのビデオＥＳと、必要であれば外部からのオーディオＥＳとを入力して多重化し、更に第１のビデオエンコーダ１及び第２のビデオエンコーダ８からそれぞれ出力された符号化制御情報１，２を入力して、ＴＳを生成し記録部３へ出力する（Ｓ２０５）。ここで、入力された各符号化制御情報は、後述するように、ＴＳの無効パケットに書込むことでＴＳに多重化される。

多重化処理部２の構成例及び符号化制御情報構成例については、後述する図５にて説明する。

記録部３は、多重化処理部２から出力されたＴＳを記録媒体３１に記録する（Ｓ２０６）。ここで、記録媒体３１は、ハードディスク、光ディスク、半導体メモリ等であるが、これらの複数構成であってもよい。

再符号化制御情報生成部４は、記録媒体３１に記録されたＴＳの無効パケットからピクチャ毎の符号化制御情報１，２を抽出し、抽出した符号化制御情報１，２に基づいて後述するようにピクチャ毎の再符号化制御情報を生成し（Ｓ２０８）、もとの符号化制御情報が構成されていた無効パケットを、新たに算出した再符号化制御情報に置き換えて記録する（Ｓ２０９）。その方法及び再符号化制御情報構成例については、後述する図９にて説明する。

ここで、記録媒体３１に記録されたＴＳがユーザにより編集や更新される場合があるので、再符号化制御情報生成部４における再符号化制御情報の算出タイミングは、例えば、ユーザからのＴＳの編集や更新指示がある毎に、あるいは記録媒体３１に記録されたＴＳが編集や更新されるか否かを、ＴＳの記録時間や更新時間等に基づき監視して、記録媒体３１に記録されたＴＳが編集や更新される度に、ピクチャ毎の再符号化制御情報を算出する。

以上のように、ＴＳの編集や更新指示がある毎に再符号化制御情報生成処理を行っておけば、再符号化モードである２パス目の開始の指示があれば、すぐに２パス目を開始できる効果を有する。

また、ＴＳの編集や更新指示がある毎だけでなく、ユーザが再符号化制御情報生成処理の実行を直接指定したり、さらにはタイマ等により再符号化制御情報生成処理の実行タイミングを指定して、本装置の処理負荷の小さいときに、実行させるようにしても勿論よい。

以上のＳ２０１〜Ｓ２０９の処理が、符号化モードである１パス目の概略である。

（２パス目）
次に、再符号化モードである２パス目について説明する。

ユーザやＣＰＵ等により再符号化モードであるパス２符号化の指示があると、２パス目が開始され、そのパス２符号化の指示により、分離処理部５は、記録媒体３１よりＴＳを入力し（Ｓ２１０）、ビデオＥＳとオーディオＥＳとに分離して出力すると共に、ユーザやＣＰＵ等により指示された所定の再符号化制御情報をＴＳの無効パケット領域から分離し、ビデオデコーダ６に出力する（Ｓ２１１）。

分離処理部５の構成例については、後述する図１２にて説明する。

ビデオデコーダ６では、分離処理部５からのビデオＥＳを入力して符号化を行い、復号映像信号を第２の画像サイズ変換部９に出力すると共に、再符号化制御情報を入力して、ピクチャ毎の再符号化制御情報をエンコード時の並びから映像出力並びに変換し、復号映像信号と同期して第２の画像サイズ変換部９および第１のビデオエンコーダ１に出力する（Ｓ２１２）。

ビデオデコーダ６の詳細については、後述する図１３にて説明する。

第２の画像サイズ変換部９は、ビデオデコーダ６からの復号映像信号と再符号化制御情報とを入力し、再符号化制御情報により指定された画像サイズ、すなわち符号化モード時に第１の画像サイズ変換部７が変換した画像サイズと同じ画像サイズに変換し出力する（Ｓ２１３）。

２パス目の場合、モード切替ＳＷ１０はｂ側に接続を切替えており、第２の画像サイズ変換部９からのサイズ変換復号映像信号が入力されると（Ｓ２１４）、第１のビデオエンコーダ１は、ユーザやＣＰＵ等により設定された符号化ビットレート等により、入力されたサイズ変換復号映像信号に対してビデオデコーダ６からの再符号化制御情報に基づいて符号化を行い、ビデオＥＳとして多重化処理部２へ出力する（Ｓ２１５）。

その際、つまり２パス目の際、第１のビデオエンコーダ１は、符号化制御情報１を出力しない。また、第１のビデオエンコーダ１の詳細については、後述する図３にて説明する。

多重化処理部２は、再符号化されたビデオＥＳ、オーディオＥＳを入力し、多重化処理してＴＳを再度生成し、記録媒体３１に記録する（Ｓ２１６）。この時生成したＴＳは、外部に直接出力することも出来る。

多重化処理部２の構成例及び符号化制御情報構成例については、後述する図５にて説明する。

２パス目の時は、第１の画像サイズ変換部７および第２のビデオエンコーダ８は動作しない。

図３は、第１のビデオエンコーダ１及び第２のビデオエンコーダ８の構成例を示すブロック図である。

図３において、ビデオエンコーダ１,８は、それぞれ、第１の画像メモリ１０１、減算器１０２、ＤＣＴ部１０３、量子化部１０４、可変長符号化部１０５、アクティビティ検出部１０６、符号量制御部１０７、符号化制御情報生成部１０８、動き補償予測部１０９、逆量子化部１１０、逆ＤＣＴ部１１１、加算器１１２、および第２の画像メモリ１１３を有している。

次に、図３に示す第１のビデオエンコーダ１の動作を説明する。第２のビデオエンコーダ８も同様なので省略する。

１パス目では、第１のビデオエンコーダ１に入力した映像信号は、まず、第１の画像メモリ１１に入力され記憶される。

第１の画像メモリ１０１には、複数フレームの画像データが記憶される。記憶された画像データは、例えばＭＰＥＧ符号化の場合、輝度データが１６×１６画素、色データ(Ｃｂ／Ｃｒ)はそれぞれ１６×８画素単位のブロックで処理され、色データに関しては縦方向にサブサンプリングし、それぞれ８×８画素のブロックとして処理される。

同様にブロック化された画像データは、動き補償予測部１０９に入力され、動き補償予測部１０９は、第１の画像メモリ１０１から読み出された画像データと、第２の画像メモリ１１３から読み出されたフレームまたはフィールド毎にローカルデコードされた再生画像データとより、フレーム間あまたはフィールド間予測の動きベクトルを検出する。

そして、動き補償予測部１０９は、この動きベクトルと、第２の画像メモリ１１３より読み出した再生画像データ（参照画像データ）とから動き補償を行い、動き補償画像データは減算器１０２へ出力する一方、動きベクトルおよび予測モードは可変長符号化部１０５へ出力する。

減算器１０２では、第１の画像メモリ１０１から読み出された画像データと、動き補償予測部１０９からの動き補償画像データとを入力して減算し、減算結果である差分画像データをＤＣＴ部１０３へ出力する。

ＤＣＴ部１０３は、差分画像データを入力してＤＣＴ変換（離散コサイン変換）して、ＤＣＴ係数を量子化部１４へ出力する。

量子化部１０４は、ＤＣＴ部１０３からのＤＣＴ係数を入力して量子化を行い、量子化データを可変長符号化部１０５へ出力すると共に、量子化の際の量子化スケール（量子化ステップともいう。）などの量子化パラメータを符号化制御情報生成部１０８へ出力する。ここで、量子化スケールとしては、面内の平均量子化スケール等が考えられる。

可変長符号化部１０５では、量子化部１０４からの量子化データと、動き補償予測部１０９からの動きベクトルおよび予測モードとを入力しエントロピー符号化してビデオＥＳとして多重化処理部２へ出力すると共に、エントロピー符号化の際のピクチャ単位の発生符号量およびピクチャタイプを、符号量制御部１０７および符号化制御情報生成部１０８に出力する。ここで、ピクチャ単位の発生符号量とは、例えば、可変長符号化で得られた所定のブロック単位の符号量のピクチャ全領域対する総和などが考えられる。

符号化制御情報生成部１０８では、量子化部１０４よりピクチャ毎の量子化パラメータを入力して平均量子化スケールを算出し、算出した平均量子化スケールと、アクティビティ検出部１０６から入力されたアクティビティと、可変長符号化部１０５からの発生符号量およびピクチャタイプとにより符号化制御情報を構築して出力する。

ところで、Ｉ，Ｐピクチャは、後で動き補償予測の参照データとして用いられるため、逆量子化および逆ＤＣＴのローカルデコードを行う必要がある。

そのため、逆量子化部１１０では、量子化部１０４からの量子化データを入力して逆量子化を行いＤＣＴ係数に戻して出力する。次いで、逆ＤＣＴ部１０１は、ＤＣＴ係数を入力して逆ＤＣＴを行い差分再生画像に戻して加算器１１２へ出力する。

加算器１１２では、差分再生画像と、動き補償予測部１９からの動き補償画像データとを入力して加算し、再生画像データとして第２の画像メモリ１１３に出力して記憶する。

ところで、符号量制御部１０７では、可変長符号化部１０５から入力される発生符号量およびピクチャタイプと、アクティビティ検出部１０６からのアクティビティとに基づいて符号量制御を行い、量子化部１０４に量子化スケール等を指示する量子化制御情報を出力する。

発生符号量と量子化スケールとは、ほぼ反比例の関係があり、発生符号量を増加させるには、量子化スケールを小さくする一方、発生符号量を減少させるには量子化スケール大きくする。

また、Ｐピクチャは、ひとつ前のＩピクチャもしくはＰピクチャから、Ｂピクチャは時間的に両側のＩピクチャとＰピクチャから予測されている関係上、Ｉピクチャが劣化すると、連動して他のピクチャも劣化する。

したがって、Ｉピクチャの画質は最も重要で符号も十分に配分しなければならない。

そこで、第２の画像メモリ１１３に記憶される参照画像（リファレンス）となるＩピクチャおよびＰピクチャは、その画質劣化を抑える目的で、パス２符号化の時は、パス１符号化の時のピクチャタイプと同じピクチャタイプで再符号化を行なうことで、Ｂピクチャも含めた画質劣化の抑制が図れる。

一方、アクティビティ検出部１０６では、第１の画像メモリ１０１から画像データを読み出し、ピクチャ毎のアクティビティの総和を算出し出力する。アクティビティは、面内のブロック単位の変化を示すもので、例えばＭＰＥＧの場合、図４に示すような８×８画素のブロック単位で求める。

図４は、アクティビティ検出部１０６におけるピクチャ毎のアクティビティの算出方法を示している。

即ち、図４に示すように、水平方向、垂直方向それぞれに隣接するピクセル（Pixel）間の絶対値差分(Absolute Difference)を算出し、ブロック単位ごとの総和を算出する。面内のブロック単位の変化大きい時、アクティビティは大きくなり、面内のブロック単位の変化小さい時、アクティビティは小さくなる。

そして、アクティビティ検出部１０６では、ピクチャの全領域に対して上記計算を行い、ピクチャ全体での総和を算出して出力する。アクティビティの単位ブロックは、ＭＰＥＧ符号化の時は、最小単位のブロック（８×８画素）としている。

一方、２パス目では、アクティビティ検出部１０６および符号化制御情報生成部１０８は動作しないが、１パス目と基本構成は同じなので、主に異なる部分について説明する。

可変長符号化部１０５が量子化部１０４からの量子化データ、動き補償予測部１０９からの動きベクトルおよび予測モードを入力して、これらを可変長符号化しビデオＥＳを出力すると共に、ピクチャ単位の発生符号量を出力する。

符号量制御部１０７では、可変長符号化部１０５から入力される発生符号量と、図１に示す分離処理部２からのピクチャ毎の目標符号量やピクチャタイプ、再符号化平均レートを含む再符号化制御情報とに基づいて符号量制御を行ない、量子化部１０４に量子化制御情報を出力する。他の各ブロックの動作は、１パス目のときと同様であるので省略する。

図５は、図１における多重化処理部２の構成例を示すブロック図である。

図５において、多重化処理部２は、ＴＳパケット生成部２０１、ＴＳ ＭＵＸ部２０２、符号化制御ＴＳパケット生成部２０３を有している。

次に動作を説明すると、多重化処理部２内では、１パス目の時、まず、符号化制御ＴＳパケット生成部２０３が、符号化制御情報１および符号化制御情報２を入力して、例えば、後述する図８に示すような構造の符号化制御ＴＳパケットを構築し、その無効パケットに符号化制御情報１および符号化制御情報２を設定してＴＳ ＭＵＸ部２０２へ出力する。ＴＳパケット生成部２０１は、入力されたビデオＥＳ、オーディオＥＳを入力して、ＴＳパケットを生成してＴＳ ＭＵＸ部２０２へ出力する。

ＴＳ ＭＵＸ部２０２は、これらビデオＥＳ、オーディオＥＳのＴＳパケットと、符号化制御情報のＴＳパケットである符号化制御ＴＳパケットが入力した場合には、これを多重化してＴＳとして、図１の記録部３に出力する。

図６は、ＴＳ ＭＵＸ部２０２が出力するＴＳの構成例を示す図である。

図６において、Ｖ０、Ｖ１、Ｖ２、・・・は、ビデオのＴＳパケット、Ａ０、Ａ１、Ａ２、・・・は、オーディオのＴＳパケット、Ｎは無効パケットを示している。符号化制御情報を設定した無効パケットＮの挿入位置は、例えば、図６に示すように、符号化制御情報と同様に、ピクチャのビデオのＴＳパケットＶ０、Ｖ１、Ｖ２、・・・の先頭の前に置くことで、ビデオのＴＳパケットＶ０、Ｖ１、Ｖ２、・・・とその符号化制御情報の管理を容易にすることができる。

なお、２パス目の場合は、第１のビデオエンコーダ１及び第２のビデオエンコーダ８から符号化制御情報が入力しないので、多重化処理部２は、無効パケットＮに符号化制御情報を設定しない。

図７は、図６に示す各ＴＳパケットの構成例を示している。

ＭＰＥＧ−２のＴＳ多重化に関しては、ＭＰＥＧ−２システムの規格書に詳細が記載されている。

なお、符号化制御ＴＳパケット生成部２０３が生成する符号化制御ＴＳパケットでは、無効パケットに符号化制御情報１，２を設定しており、ＰＩＤにNullPacketID（０x１fff）、ユニット開始表示が'０１'、アダプテーションフィールド制御に'０１'（ペイロードのみ）が設定される。

図８は、図７に示すＴＳパケットの１８４バイトのペイロード部分の構成例を示している。

図８に示すように、図７に示すＴＳパケットの１８４バイトのペイロード部分に、例えば、１バイトのデータ識別情報と、１１バイトのピクチャ単位符号化制御情報１，２，・・・が設定される。ピクチャ単位符号化制御情報１，２，・・・は、それぞれ、１バイトの画像サイズ情報、１バイトの符号化平均レート、１バイトのピクチャタイプ、４バイトの発生符号量、２バイトの量子化情報、２バイトのアクティビティとを有している。

図８において、１バイトのデータ識別情報は、無効パケットのペイロードが符号化制御情報１，２又は再符号化制御情報で構成されているか、あるいは通常の無効パケットのペイロードであるかを識別するためのものである。

本実施の形態１では、図８に示すように、符号化制御情報１，２としては、例えば、画像サイズごとに複数セット構成を想定している。つまり、図８のピクチャ単位の符号化制御情報１，２の中には、画像サイズ情報を記述し、エンコードした映像信号の画像サイズを特定出来る情報が記述される。その後に、図３の第１のビデオエンコーダ１及び第２のビデオエンコーダ８で生成された各種符号化パラメータである、符号化平均レート、ピクチャタイプ、発生符号量、量子化情報、アクティビティ等が、符号化制御情報１，２それぞれに記述される。ここで、本実施の形態１では、ピクチャ単位で符号化制御情報１，２を記述しているので、ピクチャ単位で画像サイズ等を変更できることになる。

図９は、図１における再符号化制御情報生成部４の構成例を示すブロック図である。

図９において、再符号化制御情報生成部４は、符号化制御情報分離処理部４０１、バッファメモリ４０２、再符号化制御情報演算部４０３、再符号化制御情報多重化処理部４０４を有している。

次に動作を説明すると、再符号化制御情報生成部４では、まず、符号化制御情報分離処理部４０１が、記録媒体３１に記録されているＴＳを、記録部３を介し読み出し、ＰＩＤやデータ識別情報により符号化制御情報１，２が設定されている無効パケットを検出して、符号化制御情報１，２を抽出し、バッファメモリ４０２に蓄える。

再符号化制御情報演算部４０３では、符号化制御情報分離処理部４０１から出力されバッファメモリ４０２に蓄えられた、前述の図８に示すような全てのピクチャの符号化制御情報１，２と、外部のＣＰＵまたはユーザによって設定される各画像サイズ単位の２パス目時の再符号化平均レートから、後述する図１０に示すようなピクチャ毎の再符号化制御情報を生成し、バッファメモリ４０２に蓄える。

図１０は、再符号化制御情報演算部４０３が生成する再符号化制御情報のＴＳパケットである再符号化制御ＴＳパケットの１８４バイトのペイロード部分の構成例を示している。

図１０に示す再符号化制御ＴＳパケットの１８４バイトのペイロード部分の構成は、図８に示す符号化制御ＴＳパケットの１８４バイトのペイロード部分の構成に対応しており、発生符号量が目標符号量に置き換えられ、アクティビティが削除される。

つまり、図１０において、再符号化制御情報演算部４０３は、事前に画像サイズごとに複数の符号化平均レートを計算し、ピクチャ毎の再符号化制御情報を設定することも可能である。この場合、図１０に示す再符号化制御情報を複数組み合わせて構成することになる。これにより、第１のビデオエンコーダ１が再符号化する時に複数の符号化平均レート選択が可能になる。

また、図１０において、第１のビデオエンコーダ１が再符号化する時のピクチャタイプは、前述の通り１パス目での符号化時と同じであることが望ましいので、ユーザの編集がない場合は、ピクチャタイプは符号化制御情報のものと変更しないようにする。

ただし、ユーザにより編集等が加えられ、ピクチャタイプや目標符号量等が変更する場合は、ピクチャ単位の符号化制御情報をもとに、再符号化制御情報演算部４０３で適切な再符号化時のピクチャタイプや目標符号量、量子化情報等を設定する。

次に、再符号化制御情報演算部４０３における再符号化制御情報の生成方法の一例について説明する。

再符号化制御情報演算部４０３は、各ピクチャの発生符号量、平均量子化スケール、アクティビティに対してピクチャタイプごとに重み付け処理を行い、全時間にわたる平均を算出基準とし、各ピクチャのパラメータを比較し、符号量配分比率を算出する。そして、設定した再符号化レートを乗じることで目標符号量を算出する。

なお、図１０におけるが画像サイズ情報、ピクチャタイプ、量子化情報は、図８における画像サイズ情報、ピクチャタイプと量子化情報と同一で、目標符号量のみが異なることになる。

そして、再符号化制御情報多重化処理部４０４は、記録媒体３１に記録されたＴＳから符号化制御情報が構成された無効パケットを検出し、同じピクチャの１８４バイトのペイロード部分を、図８に示すピクチャ単位符号化制御情報から図１０に示すピクチャ単位再符号化制御情報に置き換える。

図１１は、Ｉ、Ｐピクチャの間隔を示すＭ値＝３の時の各符号化平均レートによるフレーム単位の目標符号量例を示したものである。

通常、参照画像（リファレンス）となるＩピクチャ、Ｐピクチャにより多くの符号量を割り当てるが、設定平均レートが低い場合、Ｉピクチャ、Ｐピクチャとの目標符号量の差を小さくするように、上述の重み付けを行うことで、再符号化時のＢピクチャの極端な画質劣化を抑制できる。

また、再符号化したストリームをネットワークに送信することを想定した場合は、実際の送信データ量が局所的に平均のビットレート値を大きく上回ってしまう可能性があるため、局所的な時間間隔の最大符号量の制限等を行うことで回避することが出来る。

図１２は、図１における分離処理部５の構成例を示すブロック図である。

図１２において、分離処理部５は、再符号化制御情報抽出部５０１、ＴＳ ＤＥＭＵＸ５０２、ＥＳ抽出部５０３を有している。

次に動作を説明すると、分離処理部５内では、まず、ＴＳ ＤＥＭＵＸ５０２が記録媒体３１に記録されたＴＳを読み出し、ＴＳよりビデオパケット、オーデイオパケット、無効パケットを分離して、ビデオパケット、オーデイオパケットはＥＳ抽出部５０３へ出力する一方、無効パケットは再符号化制御情報抽出部５０１へ出力する。

すると、再符号化制御情報抽出部５０１は、無効パケットに再符号化制御情報が設定されている場合は、入力された無効パケットより指定された画像サイズ、再符号化レートを識別し、再符号化制御情報を抽出し出力する。

ＥＳ抽出部５０３は、入力されるビデオ、オーデイオパケットからビデオＥＳ、オーディオＥＳをそれぞれ抽出し出力する。

図１３は、図１におけるビデオデコーダ６の構成例を示すブロック図である。

図１３において、ビデオデコーダ６は、可変長復号化部６０１、逆量子化部６０２、逆ＤＣＴ部６０３、加算器６０４、動き補償予測部６０５、バッファメモリ６０６、再符号化制御情報並替え部６０７を有している。

次に動作を説明すると、ビデオデコーダ６内では、まず、可変長復号化部６０１が、入力されるビデオＥＳに対して可変長符号をブロックごとに復号し、復号した動きベクトル情報を動き補償予測部６０５へ出力する一方、復号した量子化データを逆量子化部６０２へ出力する。

逆量子化部６０２では、量子化データを逆量子化してＤＣＴ係数に戻し、逆ＤＣＴ部６０３へ出力する。

逆ＤＣＴ部６０３では、このＤＣＴ係数を入力として逆ＤＣＴ処理を行い差分画像データに戻し、加算器６０４へ出力する。

動き補償予測部６０５では、バッファメモリ６０６に蓄えられた復号映像信号の参照データと、可変長復号化部６０１からの動きベクトル情報とから動き補償を行い、予測信号として加算器６０４へ出力する。

加算器６０４では、逆ＤＣＴ部６０３からの差分画像データと、動き補償予測部６０５からの予測データとを加算して復号映像信号として外部およびバッファメモリ６０６に出力する。

再符号化制御情報並替え部６０７は、バッファメモリ６６にいったん再符号化制御情報を記憶させて、入力した再符号化制御情報が、出力される復号映像信号と同じピクチャ並びとなるように図１４に示すように順番を並替えて出力させる。これにより、復号映像信号の画像に同期した再符号化制御情報が出力される。

従って、本実施の形態１の映像信号再符号化装置および方法によれば、入力映像信号と同じ解像度の映像信号を所定ビットレートで符号化を行い、その符号化データであるビデオＥＳと符号化制御情報１を生成すると共に、別途、再符号化の時に要求され得る所定の画像サイズに変更した映像信号に対しても符号化を行うが、その符号化データであるビデオＥＳは出力せず、その符号化制御情報２のみを生成し、画像サイズを変更しない入力映像信号のビデオＥＳおよび符号化制御情報１と共にＴＳに多重化して記録しておくようにしたので、画像サイズを変更して再符号化を行う場合には、１パス符号化時の符号化モード時に予め生成しておいた符号化制御情報２を利用することにより、編集性も考慮した少ないデータ量で画像サイズを変更した符号化ストリームを迅速に生成することが可能となる。これにより、１パス符号化時に、予め接続先となり得る表示装置で要求される画像サイズの符号化制御情報２を生成しておけば、例えば、出力先の表示装置や情報処理端末装置、情報再生端末等の解像度に応じた、画質劣化の少ない再符号化を簡単かつ迅速に行うことができる。

特に、本実施の形態１では、異なる画像サイズへの再符号化を行う場合、符号化された符号化ストリームを復号して、その復号映像信号に対して、１パス符号化時に画像サイズを変更した入力映像信号に基づいてピクチャ毎に生成した全ての符号化制御情報２を利用して再符号化を行うので、入力映像信号に応じた適切な符号量配分で再符号化を行なうことができると共に、画像サイズを変換し再符号化した時でも再符号化映像信号の画質の劣化を抑制できる。

また、本実施の形態１では、１パス目時は、画像サイズを変更した符号化ストリームは記録媒体３１に記録せず、再符号化制御情報のみを記録するので、記録媒体３１に記録するデータ容量の増大を抑制できる。

また、本実施の形態１では、符号化制御情報１，２、再符号化制御情報を、ＭＰＥＧ２ＴＳパケットの無効パケットに構成し、各ピクチャのＴＳパケットの先頭の前に位置させるようにしたので、再符号化モード時の各情報の管理、アクセスが容易となる。その結果、例えば、特定の規格で定義された光ディスク媒体に対しても、ＴＳパケットの無効パケットを用いるので、符号化制御情報１，２、再符号化制御情報を記録するためのプライベート領域等を必要としない。また、他のデコーダでこのストリームを再生しても、無効パケットは呼び飛ばされるので、正常な再生が可能である。

実施の形態２．
図１５は、本発明に係る第２の実施の形態の構成例を示すブロック図である。

図１５において、この実施の形態２の映像信号再符号化装置は、ビデオエンコーダ１１、画像サイズ変換部１７、多重化処理部１２、記録部３、ＨＤＤやメモリ等の記録媒体３１、再符号化制御情報生成部４、分離処理部１５、ビデオデコーダ６、ＳＷ１０を有している。

すなわち、実施の形態１の構成に対して、それぞれ１台のビデオエンコーダ１１及び画像サイズ変換部１７を、第１，第２のビデオエンコーダ１，８及び画像サイズ変換部７，９として共通化して使用することで、本装置の回路規模縮小を目的とした構成であり、実施の形態１の１パス目の符号化を、複数回に分けて処理するものである。

次に、図１６に示すフローチャートを参照して、図１５に示す映像信号符号化装置のパス１の処理の動作について、実施の形態１と異なる部分について説明する。

図１６は、実施の形態２の映像信号再符号化装置の動作手順である映像信号再符号化方法の一例を示すフローチャートである。

図１５に示す実施の形態２の映像信号再符号化装置では、モード切替ＳＷ１０は、図示しないＣＰＵからの指令もしくはユーザ等からの設定等に基づく１パス目の最初の処理であるか、１パス目の２回目以降の処理であるかにより（Ｓ３００）、接続先をａ側またはｂ側に切替える。

まず、１パス目の最初の処理において（Ｓ３００“はい”）、実施の形態１との違いは、図１６に示すように、実施の形態１の図２に示す外部からの映像信号を入力として、画像サイズを変換し、この映像信号に対する符号化を行い符号化制御情報を出力する図２におけるＳ２０３、Ｓ２０４の処理を行わないことである。

従って、１パス目の最初の処理においては、図１５に示す実施の形態２の多重化処理部１２は、ビデオＥＳと、外部からのオーディオＥＳとを入力して多重化し、更にビデオエンコーダ１１から出力された符号化制御情報１のみを入力として、ＴＳを生成し出力する（Ｓ３０５）。

以降のＳ３０５〜Ｓ３０９の処理も、同様に入力映像信号の解像度の符号化制御情報についてのみ処理することになる。なお、これらの処理は、図２に示す実施の形態１におけるＳ２０５〜Ｓ２０９の処理と同様であるので、説明を省略する。

次に、本実施の形態２における１パス目の２回目以降の処理について同様に説明する。

パス１の１回目の処理が終了すると、自動的にパス１の２回目以降の処理が開始され（Ｓ３００“いいえ”）、分離処理部１５は、記録部３を介し記録媒体３１よりＴＳを入力し（Ｓ３１０）、ビデオＥＳとオーディオＥＳとに分離して出力すると共に、再符号化制御情報をＴＳの無効パケット領域から分離し、ビデオデコーダ６に出力する。

その際、実施の形態１の場合とは異なり、本実施の形態２の分離処理部１５は、再符号化制御情報が格納された無効パケットである再符号化制御情報無効パケットを多重化処理部１２に出力する（Ｓ３１１）。

本実施の形態２の分離処理部１２の構成例については、後述する図１９にて説明する。

ビデオデコーダ６では、分離処理部１５からのビデオＥＳを入力して符号化を行い、復号映像信号を画像サイズ変換部１７に出力すると共に、再符号化制御情報を入力して、ピクチャ毎の再符号化制御情報をエンコード時の並びから映像出力並びに変換し、復号映像信号と同期して画像サイズ変換部１７およびビデオエンコーダ１１に出力する（Ｓ３１２）。

１パス目の２回目以降の処理の場合、モード切替ＳＷ１０は、ｂ側に接続しており、ビデオエンコーダ１１は、画像サイズ変換部１７からの復号映像信号が入力されると（Ｓ３１４）、入力された映像信号に対してビデオデコーダ６からの再符号化制御情報に基づいて符号化を行い、画像サイズを変換した復号映像信号の符号化制御情報２を出力する（Ｓ３１５）。なお、１パス目の２回目以降の処理の時、第１のビデオエンコーダ１１は、実施の形態１の第２のビデオエンコーダ８と同様に、ビデオＥＳを出力しない。

すると、多重化処理部２は、１パス目の２回目以降に、ビデオエンコーダ１１により再符号化されたビデオＥＳ、オーディオＥＳを入力し、更に再符号化制御情報無効パケットを入力として、多重化処理してＴＳを再度生成し（Ｓ３１６）、記録媒体３１に記録する（Ｓ３１７）。なお、本実施の形態２の多重化処理部１２の構成例及び符号化制御情報１，２の構成例については、後述する図１７にて説明する。

すなわち、本実施の形態２では、後述する図１８に示すように、１パス目の２回目以降の処理では、１パス目の最初の処理で生成した再符号化制御情報１に、画像解像度を変換した再符号化した時の符号化制御情報２を付加していく構成をとる。

そして、再符号化制御情報生成部４は、記録媒体３１に記録されたＴＳの無効パケットに構成された新たに付加されたピクチャ毎の符号化制御情報２に基づいて、ピクチャ毎の再符号化制御情報２を生成し（Ｓ３１８）、もとの符号化制御情報２が構成されていた無効パケットを、新たに算出した再符号化制御情報２に置き換えて記録する（Ｓ３１９）。

このようにして、１パス目の２回目以降の処理を複数回行うことで、異なる解像度ごとの再符号化生成情報を順次生成追加していくことが出来る。

この時、実施の形態１との違いは、画像サイズの異なる符号化制御情報２を得るときに、入力画像を一度符号化した２パス目で用いる画像解像度の復号映像信号を用いるので、より実際の２パス目に即した符号化制御情報２が得ることができ、再符号化時の精度も向上する。

なお、２パス目は、実施の形態１と同じ動作となるので、ここでは説明を省略する。

図１７は、本実施の形態２における、図１５における多重化処理部１２の構成例を示すブロック図である。

図１７において、本実施の形態２における、図１５における多重化処理部１２は、ＴＳパケット生成部１２０１、ＴＳ ＭＵＸ部１２０２、符号化制御ＴＳパケット生成部１２０３を有している。

次に動作を説明すると、多重化処理部１２では、１パス目の最初の処理では、実施の形態１と同じ動作であり、符号化制御ＴＳパケット生成部１２０３には、分離処理部１５からの再符号化制御情報が設定された無効パケットは入力されない。

また、符号化制御情報は解像度変換を行わない、入力映像信号の画像解像度の符号化制御情報１のみを多重化する。

次に１パス目の２回目以降の処理では、多重化処理部１２では、図１５に示すように、上記１パス目の最初の処理で符号化制御情報１から生成され、ＴＳパケットの無効パケットに設定された再符号化制御情報１である再符号化制御情報無効パケットが分離処理部５から符号化制御ＴＳパケット生成部１２０３に入力される。

すると、符号化制御ＴＳパケット生成部１２０３が、図１５の分離処理部１５から入力される再符号化制御情報無効パケットに対して符号化制御情報２を入力して、例えば、後述する図１８に示すような構造のピクチャ単位の符号化制御情報２を、既に設定されている再符号化制御情報１の隣接位置に構築し、無効パケットとして設定してＴＳ ＭＵＸ部１２０２へ出力する。

図１８は、本実施の形態２における再符号化制御情報演算部１２０３が１パス目に生成するＴＳパケットである符号化制御ＴＳパケットの１８４バイトのペイロード部分の符号化制御情報および再符号化制御情報の構成例を示している。

つまり、本実施の形態１では、ビデオエンコーダ１１が一台で、１パス目符号化時に入力映像信号をそのまま変換すると共に、解像度を変換した復号映像信号を符号化するので、図１８に構成例は、実施の形態１における、図８に示す符号化制御情報のＴＳパケットの１８４バイトのペイロード部分の構成例と、図１０に示す再符号化制御情報のＴＳパケットの１８４バイトのペイロード部分の構成例とを合わせた構成となる。なお、２パス目符号化時には、図１８におけるピクチャ単位の符号化制御情報２は、図１８におけるピクチャ単位の再符号化制御情報１と同様の構成である、ピクチャ単位の再符号化制御情報２に置き換わることになる。

一方、ＴＳパケット生成部１２０１は、ビデオＥＳ、オーディオＥＳを入力して、ＴＳパケットを生成してＴＳ ＭＵＸ部１２０２へ出力する。

ＴＳ ＭＵＸ部１２０２は、これらビデオＥＳ、オーディオＥＳのＴＳパケットと、符号化制御情報のＴＳパケットが入力した場合には、これを多重化してＴＳとして、図１５の記録部３に出力する。

図１８に示すように、ピクチャ単位の符号化制御情報と、ピクチャ単位の再符号化制御情報のデータサイズを同じサイズにすることで、符号化制御情報と再符号化制御情報の両データの混在、入れ替えが可能となり、混在させても良いし、入れ替えても良い。この点は、上記実施の形態１でも同様である。また、符号化制御情報と再符号化制御情報との識別は、例えば、図１８に示すように、符号化制御情報と再符号化制御情報それぞれ先頭の画像サイズ情報等の中に構成することで可能である。

なお、２パス目の場合は、実施の形態１と同様に、ビデオエンコーダ１１から符号化制御情報が入力しないので、多重化処理部１２は、ＴＳパケットの無効パケットに符号化制御情報を設定しない。

次に図１９は、図１５における分離処理部１５の構成例を示すブロック図である。

図１９において、分離処理部１５は、再符号化制御情報抽出部１５０１と、ＴＳ ＤＥＭＵＸ１５０２と、ＥＳ抽出部１５０３とを有している。

次に動作を説明すると、分離処理部１５内では、まず、ＴＳ ＤＥＭＵＸ１５０２が記録媒体３１に記録されたＴＳを記録部３を介し読み出し、ＴＳよりビデオパケット、オーデイオパケット、無効パケットを分離して、ビデオパケット、オーデイオパケットはＥＳ抽出部１５０３へ出力する一方、再符号化制御情報無効パケットは再符号化制御情報抽出部１５０１へ出力すると共に、図１５の多重化処理部１２に出力する。

再符号化制御情報抽出部１５０１は、再符号化制御情報無効パケットに再符号化制御情報が設定されている場合は、入力された再符号化制御情報無効パケットより、指定された画像サイズ、再符号化レートを識別し、再符号化制御情報１を抽出しビデオデコーダ６へ出力する。

ＥＳ抽出部１５０３は、入力されるビデオ、オーデイオパケットからビデオＥＳ、オーディオＥＳをそれぞれ抽出し、ビデオＥＳはビデオデコーダ６へ出力し、オーディオＥＳが図示しないオーディオデコーダや外部等へ出力する。

以上説明したように、本発明の実施の形態２の映像信号再符号化装置および方法によれば、実施の形態１と同様の効果が得られると共に、映像信号の出力先の表示装置や情報処理端末、情報再生端末等の表示能力に応じた複数の画像サイズに変換して再符号化する際、一つの画像サイズ変換部、エンコーダを共有する構成としているので、複数の異なる画像サイズの符号化制御情報を順次繰り返し抽出し、記録することで、ハードウェアの回路規模縮小を図ることができる。

特に、本実施の形態２では、画像サイズの異なる符号化制御情報２を得るときに、入力画像を一度符号化し２パス目で用いる画像サイズ（解像度）に変換した復号映像信号を用いるので、より実際の２パス目に即した符号化制御情報２が得ることができ、再符号化時の精度も向上する。

なお、上記実施の形態１,２では、１パス目の符号化時に、映像信号の出力先の表示装置や情報処理装置等の表示能力等の処理能力に応じて画像パラメータである画像サイズ（解像度）を変換した符号化制御情報を予め生成するように説明したが、本発明では、これに限らず、映像信号の出力先の表示装置や情報処理装置等の表示レートや符号化ビットレート等の画像パラメータを変換した符号化制御情報を１パス目に予め生成するようにしても勿論よい。

また、上記実施の形態１,２では、本発明の映像信号符号化装置を、ブロック図によりハードウエア的に構成して説明したが、本発明では、これに限らず、ＣＰＵと、プログラムとにより、ソフトウエア的により構成するようにしても勿論良い。

本発明に係る映像信号再符号化装置の実施の形態の構成例を示すブロック図である。 本発明に係る映像信号符号化装置の実施の形態の処理手順を示すフローチャートである。 図１に示す第１のビデオエンコーダ１及び第２のビデオエンコーダ８の構成例を示すブロック図である。 図３に示すアクティビティ検出部１０６におけるピクチャ毎のアクティビティの算出方法を示す説明図である。 図１に示す多重化処理部２の構成例を示すブロック図である。 本発明のトランスポートパケットの配置構成を示す図である。 トランスポートパケットの構造を示す図である。 本発明の符号化制御情報の一例を示す構成図である。 図１に示す再符号化制御情報生成部４の構成例を示すブロック図である。 本発明の再符号化制御情報の一例を示す構成図である。 Ｉ、Ｐピクチャの間隔を示すＭ値＝３の時の各符号化平均レートによるフレーム単位の目標符号量例を示す説明図である。 図１に示す分離処理部５の構成例を示すブロック図である。 図１に示すビデオデコーダ６の構成例を示すブロック図である。 本発明の図６における再符号化制御情報並替え６０７で行なわれる再符号化制御情報並替えの一例を示す図である。 本発明に係る映像信号再符号化装置の実施の形態２の構成例を示すブロック図である。 本発明に係る映像信号符号化装置の実施の形態２の１パス目手順を示すフローチャートである。 図１５に示す多重化処理部１２の構成例を示すブロック図である。 本発明に係る映像信号符号化装置の実施の形態２の符号化制御情報及び再符号化制御情報の一例を示す構成図である。 図１５に示す分離処理部１５の構成例を示すブロック図である。

符号の説明

１ 第１のビデオエンコーダ
２ 多重化処理部
３ 記録部
３１ 記録媒体
４ 再符号化制御情報生成部
５ 分離処理部
６ ビデオデコーダ
７ 第１の画像変換部
８ 第２のビデオエンコーダ
９ 第２の画像変化部
１０ モード切替ＳＷ
１１ ビデオエンコーダ
１２ 多重化処理部
１５ 分離処理部
１７ 画像サイズ変換部

Claims (5)

1. 入力映像信号を符号化して符号化映像信号を出力する符号化モードと、前記符号化映像信号を復号した復号映像信号を再符号化して再符号化映像信号を出力する再符号化モードとを切り替えるモード切替手段と、
   前記符号化モード時に、前記入力映像信号の画像パラメータを前記再符号化時の画像パラメータに変換したパラメータ変換映像信号を出力する画像パラメータ変換手段と、
   前記符号化モード時に、入力映像信号を符号化して前記符号化映像信号と、前記符号化映像信号の符号化制御情報である第１の符号化制御情報とを出力すると共に、前記パラメータ変換映像信号を符号化してその際の符号化制御情報である第２の符号化制御情報のみを出力する符号化手段と、
   前記符号化モード時あるいは再符号化モード時に、前記第１の符号化制御情報と前記第２の符号化制御情報に基づいて、再符号化制御情報を生成する再符号化制御情報生成手段と、
   前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記符号化映像信号を復号して前記復号映像信号として出力する復号手段と、を有し、
   前記画像パラメータ変換手段は、さらに、再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記復号映像信号の画像パラメータを変更したパラメータ変換復号映像信号を出力し、
   前記符号化手段は、さらに、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記パラメータ変換復号映像信号を符号化する、映像信号再符号化装置。
2. 請求項１記載の映像信号再符号化装置において、
   前記符号化手段は、前記符号化モード時に、
   前記入力映像信号を符号化して前記符号化映像信号と、前記符号化映像信号の符号化制御情報である第１の符号化制御情報とを出力する第１の符号化手段と、
   前記パラメータ変換映像信号を符号化してその際の符号化制御情報である第２の符号化制御情報のみを出力する第２の符号化手段とを有し、
   前記画像パラメータ変換手段は、
   前記符号化モード時に、前記入力映像信号の画像パラメータを前記再符号化時の画像パラメータに変換したパラメータ変換映像信号を出力する第１の画像パラメータ変換手段と、
   前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記復号映像信号の画像パラメータを変更したパラメータ変換復号映像信号を出力する第２の画像パラメータ変換手段とを有し、
   前記第１の符号化手段が、前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記パラメータ変換復号映像信号を符号化する、映像信号再符号化装置。
3. 請求項１または請求項２記載の映像信号再符号化装置において、さらに、
   前記符号化モード時に、前記符号化映像信号と、前記第１の符号化制御情報と、前記第２の符号化制御情報とをトランスポートパケットとして多重化してトランスポートストリームを生成する多重化処理手段と、
   前記符号化モード時に、前記トランスポートストリームを記録媒体に記録する記録手段と、
   前記再符号化モード時に、前記記録媒体に記録された前記トランスポートストリームより前記符号化映像信号と、前記再符号化制御情報とを分離する分離処理手段と、を有し、
   前記符号化手段は、前記第１の符号化制御情報と前記第２の符号化制御情報とを前記トランスポートパケットの無効パケットのペイロード部分に構成し、
   前記再符号化制御情報生成手段は、前記トランスポートパケットの無効パケットのペイロード部分から前記第１の符号化制御情報と前記第２の符号化制御情報とを読み出し、前記第１の符号化制御情報と前記第２の符号化制御情報とに基づいて前記再符号化制御情報を生成し、生成した前記再符号化制御情報を前記トランスポートパケットの無効パケットのペイロード部分に書込み、
   前記分離処理手段は、前記トランスポートパケットの無効パケットのペイロード部分から前記再符号化制御情報を分離する、映像信号再符号化装置。
4. 請求項３記載の映像信号再符号化装置において、
   前記再符号化制御情報生成手段は、
   生成した前記再符号化制御情報を、前記第１の符号化制御情報と前記第２の符号化制御情報に置き換えて前記トランスポートパケットの無効パケットのペイロード部分に書込む、映像信号再符号化装置。
5. 入力映像信号を符号化して符号化映像信号を出力する符号化モード時に、前記入力映像信号の画像パラメータを前記再符号化時の画像パラメータに変換したパラメータ変換映像信号を出力するステップと、
   前記符号化モード時に、入力映像信号を符号化して前記符号化映像信号と、前記符号化映像信号の符号化制御情報である第１の符号化制御情報とを出力すると共に、前記パラメータ変換映像信号を符号化してその際の符号化制御情報である第２の符号化制御情報のみを出力するステップと、
   前記符号化モード時に、前記符号化映像信号と、前記第１の符号化制御情報と、前記第２の符号化制御情報とを記録媒体に記録するステップと、
   前記符号化モード時あるいは前記符号化映像信号を復号した復号映像信号を再符号化して再符号化映像信号を出力する再符号化モード時に、前記記録媒体に記録された前記第１の符号化制御情報と前記第２の符号化制御情報に基づいて、再符号化制御情報を生成するステップと、
   前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記記録媒体に記録された前記符号化映像信号を復号して前記復号映像信号として出力するステップと、
   前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記復号映像信号の画像パラメータを変更したパラメータ変換復号映像信号を出力するステップと、
   前記再符号化モード時に、前記第１および第２の符号化制御情報に基づき生成された前記再符号化制御情報に基づいて、前記パラメータ変換復号映像信号を符号化するステップと、
   を有する映像信号再符号化方法。

Images