JP2006074327A

JP2006074327A - ビデオデータの再符号化装置及びビデオ配信システム

Info

Publication number: JP2006074327A
Application number: JP2004253977A
Authority: JP
Inventors: Masaru Kimura; 勝木村
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2004-09-01
Filing date: 2004-09-01
Publication date: 2006-03-16

Abstract

【課題】ビデオデータの再符号化を行う際に、映像品質の劣化を抑えつつビットレートを低減することのできる、「ビデオデータの再符号化装置及びビデオ配信システム」を提供する。
【解決手段】ＤＶＤーＶｉｄｅｏから読み出される各映像フレームｆ１-ｆ１５を復号する際に、各映像フレームのピクチャタイプ（ａ１）に応じて、復号した映像フレームを再符号化する際のピクチャタイプ（ａ２）を決定する。すなわち、Ｐピクチャの再符号化の際のピクチャタイプは、Ｐピクチャとし、Ｂピクチャの再符号化の際のピクチャタイプは、Ｂピクチャとする。そして、Ｉピクチャかの再符号化の際のピクチャタイプは、そのＩピクチャと、そのＩピクチャの再生時間上直前の他のＩピクチャとのフレーム間相関が所定のしきい値Ｔｈ以上である場合にはＰピクチャとし、他の場合にはＩピクチャとする。
【選択図】図３

Description

本発明は、圧縮符号化したビデオデータを配信するビデオ配信システムに関するものである。

ネットワーク等の伝送路を介してビデオデータを配信するビデオ配信システムでは、非圧縮のビデオデータでは伝送に必要となる伝送帯域幅が過大となるために、所望の伝送帯域幅相当のビットレートまで圧縮符号化したビデオデータを配信することが多い。

したがって、このようなビデオ配信システムでは、配信すべきビデオデータのソースが、既に圧縮符号化されたビデオデータであって、そのビットレートが、所望の伝送帯域幅よりも大きいものである場合には、ソースのビデオデータを一旦復号した上で、再度、復号したビデオデータを所望の伝送帯域幅相当のビットレートのビデオデータに圧縮符号化し、その配信を行うことになる。

ここで、このような圧縮符号化されたビデオデータの復号と再圧縮符号化の技術としては、フレーム内符号化されたＩピクチャ、前方予測による動き補償フレーム間符号化されたＰピクチャ、前後方予測による動き補償フレーム間符号化されたＢピクチャとして各フレームを符号化するISO/IEC 13818-2(MPEG2)方式で圧縮符号化されたビデオデータを復号した上で、Ｉピクチャとして圧縮符号化されていたフレームはＩピクチャとして、Ｐピクチャとして圧縮符号化されていたフレームはＰピクチャとして、Ｂピクチャとして圧縮符号化されていたフレームはＢピクチャとして再圧縮符号化する技術が知られている（たとえば、特許文献１）。
特開２００２-７７９２５号公報

さて、ビデオデータのビットレートの低減のために、圧縮符号化されたビデオデータの復号と再圧縮符号化を行うビデオ配信システムでは、映像品質をできるだけ劣化させずにビットレートを低減することが重要となる。また、インタラクティブなシステムの構築の観点などより、復号と再圧縮符号化の処理に要する遅延を小さく抑えることが望ましい。また、一般的に、復号と再圧縮符号化のために必要となる装置規模は、これを小さく抑えることが望ましい。

そこで、本発明は、圧縮符号化されたビデオデータの復号と再圧縮符号化を行うビデオ配信システムにおいて、映像品質をできるだけ劣化させずにビットレートを低減することを課題とする。また、併せて、本発明は、圧縮符号化されたビデオデータの復号と再圧縮符号化を行うビデオ配信システムにおいて、復号と再圧縮符号化の処理遅延と、復号と再圧縮符号化のために要する装置規模とを低減することを課題とする。

前記課題達成のために、本発明は、映像を構成する各映像フレームを、フレーム内符号化により符号化したフレーム内符号化ピクチャと、他の映像フレームを参照フレームとして当該参照フレームに対するフレーム間符号化により符号化したフレーム間符号化ピクチャとのいずれかに符号化して生成したビデオデータを、復号し再符号化する、ビデオデータの再符号化装置を、前記フレーム内符号化ピクチャと前記フレーム間符号化ピクチャを前記映像フレームに復号する復号手段と、前記フレーム内符号化ピクチャに対応する映像フレームと、当該フレーム内符号化ピクチャに対応する映像フレームに、前記映像の再生時間上先行する映像フレームとのフレーム間の相関を算出または推定するフレーム間相関算出手段と、前記フレーム間符号化ピクチャから復号された映像フレームを、フレーム間符号化により符号化によりフレーム間符号化ピクチャに符号化し、前記フレーム内符号化ピクチャから復号された映像フレームを、当該フレーム内符号化ピクチャについて前記フレーム間相関算出手段が算出または推定したフレーム間相関が所定のレベルより大きい場合にはフレーム間符号化により符号化によりフレーム間符号化ピクチャに符号化し、当該フレーム内符号化ピクチャについて前記フレーム間相関算出手段が算出したフレーム間相関が所定のレベルより大きくない場合にはフレーム内符号化により符号化によりフレーム内符号化ピクチャに符号化する符号化手段とを含めて構成したものである。

このようなビデオデータの再符号化装置は、基本的には、フレーム内符号化されたフレーム内符号化ピクチャから復号された映像フレームについてはフレーム内符号化により再符号化し、フレーム間符号化されたフレーム間符号化ピクチャから復号された映像フレームについてはフレーム間符号化により再符号化することにより再符号化の処理量の低減と、再符号化による映像品質の劣化を抑制する。一方で、このようなビデオデータの再符号化装置は、フレーム内符号化されたフレーム内符号化ピクチャから復号された映像フレームであっても、当該映像フレームと、当該映像フレームに前記映像の再生時間上先行する映像フレームとのフレーム間の相関が大きい映像フレームについては、フレーム間符号化により再符号化する。ここで、このようなフレーム間の相関が大きい映像フレームは、フレーム間符号化しても映像品質の劣化の程度が小さい。また、これをフレーム内符号化ではなくフレーム間符号化により符号化することによる発生データ量の低減が望める。したがって、このようにすることにより映像品質の劣化を抑えつつ、再符号化したビデオデータのビットレートを低減することができるようになる。

ここで、より具体的には、前記ビデオデータは、たとえば、前記フレーム内符号化ピクチャとしてＩピクチャを含み、前記フレーム間符号化ピクチャとしてＰピクチャとＢピクチャを含むものである。ここで前記Ｐピクチャは、Ｉピクチャまたは他のＰピクチャのうちの前記映像の再生順序上、再生順が前である方向に最も近接するピクチャを参照フレームとして当該参照フレームに対して動き補償フレーム間符号化されたものであり、前記Ｂピクチャは、Ｉピクチャまたは他のＰピクチャのうちの、前記映像の再生順序上再生順が前である方向に最も近接するピクチャと、前記映像の再生順序上再生順が後である方向に最も近接するピクチャとを参照フレームとして当該二つの参照フレームに対して動き補償フレーム間符号化されたものである。

そして、このようなビデオデータを取り扱うビデオデータの再符号化装置は、たとえば、前記フレーム間相関算出手段において、Iピクチャに対応する映像フレームと、他のIピクチャのうちの前記映像の再生順序上再生順が前である方向に最も近接するピクチャに対応する映像フレーム、または、他のＩピクチャまたはＰピクチャのうちの、前記映像の再生順序上再生順が前である方向に最も近接するピクチャに対応する映像フレームとの間の相関を算出し、前記符号化手段において、前記Ｐピクチャから復号された映像フレームを、Ｐピクチャとして符号化し、前記Ｂピクチャから復号された映像フレームを、Ｂピクチャとして符号化し、前記Ｉピクチャから復号された映像フレームを、当該Ｉピクチャについて前記フレーム間相関算出手段が算出したフレーム間相関が所定のレベルより大きい場合にはＰピクチャとして符号化し、当該Ｉピクチャについて前記フレーム間相関算出手段が算出したフレーム間相関が所定のレベルより大きくない場合にはＩピクチャとして符号化するものである。

また、前記課題達成のために、本発明は、映像を構成する各映像フレームを、フレーム内符号化により符号化したＩピクチャとＰピクチャとＢピクチャとに符号化したビデオデータであって、前記Ｐピクチャは、Ｉピクチャまたは他のＰピクチャのうちの前記映像の再生順序上、再生順が前である方向に最も近接するピクチャを参照フレームとして当該参照フレームに対して動き補償フレーム間符号化されたものであり、前記Ｂピクチャは、Ｉピクチャまたは他のＰピクチャのうちの、前記映像の再生順序上再生順が前である方向に最も近接するピクチャと、前記映像の再生順序上再生順が後である方向に最も近接するピクチャとを参照フレームとして当該二つの参照フレームに対して動き補償フレーム間符号化されたものであり、前記ビデオデータ中において、各Iピクチャは、当該Iピクチャを参照フレームとして符号化されたＰピクチャ及びＢピクチャより前に配列され、各Ｐピクチャは当該Ｐピクチャを参照フレームとして符号化された他のＰピクチャ及びＢピクチャより前に配列されているビデオデータを、復号し再符号化する、ビデオデータの再符号化装置として、前記ビデオデータ中の配列の順序と同じ順序で、前記Iピクチャと前記ＰピクチャとＢピクチャを、順次、各々映像フレームに復号し出力する復号手段と、前記復号手段の出力順に、復号された各映像フレームを入力し、入力した映像フレームが前記Ｐピクチャから復号されたものである場合にはＰピクチャとして符号化し、当該入力した映像フレームが前記Ｂピクチャから復号されたものである場合にはＢピクチャとして符号化し、当該入力した映像フレームが前記Ｉピクチャから復号されたものである場合にはＩピクチャまたはＰピクチャとして符号化する符号化手段とを備えて構成したものである。

このようなビデオデータの再符号化装置によれば、もし、復号手段が、通常のデコーダが行うように映像フレームを再生時間順に出力した場合に生じる、当該復号手段における映像フレームの復号順から再生時間順への並び替えと、符号化手段において必要となる映像フレームの再生時間順から符号化順への並び替えが不要となり、このような並び替えに要する処理の処理遅延を排除することができる。また、このような並び替えに要する比較的大容量のメモリを不要化して装置規模の大型化を避けることができる。

なお、以上の各ビデオデータの再符号化装置において、前記ビデオデータは、ＤＶＤーＶｉｄｅｏから読み出されたビデオデータであってよい。
また、以上の各ビデオデータの再符号化装置を用いて、前記符号化手段が符号化したビデオデータを、伝送路を介して配信する配信手段と共に、ビデオ配信システムを構築するようにしてもよい。

以上のように、本発明によれば、圧縮符号化されたビデオデータの復号と再圧縮符号化を行うビデオ配信システムにおいて、映像品質をできるだけ劣化させずにビットレートを低減することができる。また、併せて、圧縮符号化されたビデオデータの復号と再圧縮符号化を行うビデオ配信システムにおいて、復号と再圧縮符号化の処理遅延と、復号と再圧縮符号化のために要する装置規模とを低減することができる。

以下、本発明の実施の形態について説明する。
図１に、本実施形態に係るビデオ配信システムの構成を示す。
図示するように、ビデオ配信システムは、ネットワーク３を介してビデオデータを配信するビデオ配信サーバ１と、ネットワーク３を介してビデオデータの配信を受けて出力するビデオ利用端末２とを有する。なお、ビデオ利用端末２は複数存在していてもよい。
さて、ビデオ配信サーバ１は、ＤＶＤ-Ｖｉｄｅｏディスクに記録されたビデオコンテンツを配信するシステムであり、ＤＶＤ-Ｖｉｄｅｏディスクに記録されたビデオコンテンツを復号する復号処理部１１と、復号処理部１１が復号したビデオコンテンツを再度圧縮符号化する符号化処理部１２とを有している。

ここで、ＤＶＤ-Ｖｉｄｅｏディスクには、おおまかに言って、動画像を規定するISO/IEC 13818-2(MPEG2)方式で圧縮符号化されたビデオデータと、字幕表示やメニュー表示等のために動画像の上に重畳表示される基本的に静止画像であるところのサブピクチャを規定するサブピクチャデータと、サブピクチャデータが規定するサブピクチャを修飾してメニューボタンなどを形成するためのデータであるＰＣＩ，ＨＬＩデータと、音声を規定するオーディオデータと、ＤＶＤ-Ｖｉｄｅｏディスクに記録されたビデオコンテンツの再生シーケンスを規定するナビゲーションデータとよりなる。

そして、ビデオ配信サーバ１の復号処理部１１は、ＤＶＤ-Ｖｉｄｅｏディスクの以上の各データにアクセスするＤＶＤドライバ１１１、ＤＶＤドライバ１１１が読み出した各種データを抽出するデマルチプレクサ１１２、デマルチプレクサ１１２が抽出したオーディオデータを復号するオーディオデコーダ１１３、デマルチプレクサ１１２が抽出したビデオデータを復号するビデオデコーダ１１４、デマルチプレクサ１１２が抽出したサブピクチャデータを復号するサブピクチャデコーダ１１５、デマルチプレクサ１１２が抽出したＰＣＩ，ＨＬＩデータを復号するＰＣＩ，ＨＬＩデコーダ１１６、ＰＣＩ，ＨＬＩデコーダ１１６がデコードしたＰＣＩ，ＨＬＩに従ってサブピクチャデコーダ１１５がデコードしたサブピクチャを修飾等操作するサブピクチャ操作部１１７、デマルチプレクサ１１２が抽出したナビゲーションデータに基づいて、以上各部の動作を制御すると共に、ユーザに対してＤＶＤ-Ｖｉｄｅｏディスクの再生状態情報を提示したりＤＶＤ-Ｖｉｄｅｏディスクの再生動作の操作受付のためのインタフェースを形成するためのＯＳＤ画像を出力する再生制御部１１８、復号処理部１１の再生制御部１１８が出力したＯＳＤ画像とサブピクチャ操作部１１７が修飾操作したサブピクチャを合成する副映像合成部１１９とを有している。

そして、ビデオ配信サーバ１の符号化処理部１２は、復号処理部１１のオーディオデコーダ１１３がデコードしたオーディオデータを所望のビットレートの圧縮符号化されたオーディオデータに再符号化するオーディオコーダ１２１、復号処理部１１のビデオデコーダ１１４がデコードしたビデオデータを所望のビットレートの圧縮符号化されたビデオデータであるメインビデオデータに再符号化するメインビデオコーダ１２２、副映像合成部１１９が合成した画像を所望のビットレートの圧縮符号化されたビデオデータであるサブビデオデータに符号化するサブビデオコーダ１２３、オーディオコーダ１２１が符号化したオーディオデータと、メインビデオコーダ１２２が符号化したメインビデオデータと、サブビデオコーダ１２３が符号化したサブビデオデータを、所定のフォーマットで多重化した配信データを生成するマルチプレクサ１２４、マルチプレクサ１２４が多重化した配信データをネットワーク３を介してビデオ利用端末２に送信する送信処理部１２５とを有している。

また、ビデオ利用端末２は、ネットワーク３を介して配信された配信データを受信する受信処理部２１、受信処理部２１が受信した配信データから各種データを抽出分離するデマルチプレクサ２２、デマルチプレクサ２２が抽出したオーディオデータを復号するオーディオデコーダ２３、デマルチプレクサ２２が抽出したメインビデオデータを復号するメインビデオデコーダ２４、デマルチプレクサ２２が抽出したサブビデオデータを復号するサブビデオデコーダ２５、メインビデオデコーダ２４が復号したビデオデータと、サブビデオデコーダ２５が復号したビデオデータを、メインビデオデコーダ２４が復号したビデオデータが表す映像上に、サブビデオデコーダ２５が復号したビデオデータが表す映像が重畳表示されるように合成した出力画像を生成する出力画像合成部２６、オーディオデコーダ２３が復号したオーディオデータが表す音声をユーザに対して出力する音声出力装置２７、出力画像合成部２６が生成した出力画像を表示出力する表示装置２８とを備えている。

次に、ビデオ配信サーバ１の復号処理部１１のビデオデコーダ１１４とビデオ配信サーバ１の符号化処理部１２のメインビデオコーダ１２２の構成を図２に示す。
図示するように、ビデオデコーダ１１４において、デマルチプレクサ１１２から入力したビデオデータは入力バッファ１１４１に格納された後、ハフマン復号部１１４２において復号され、各フレームのＩ、Ｐ、Ｂのピクチャタイプ、動きベクトル、量子化されたＤＣＴ係数が抽出される。

ここで、ビデオデータにおいて各映像フレームは、Ｉ、Ｐ、Ｂのいずれかのピクチャタイプのピクチャとして圧縮符号化されている。Ｉピクチャは映像フレームをフレーム内符号化したピクチャであり、その復号に他の映像フレームを必要としない。Ｐピクチャは、Ｉピクチャと他のＰピクチャのうちの再生時間上直前のピクチャの映像フレームを参照フレームとして、参照フレームとの間のフレーム間符号化によって復号されたピクチャであり、その再生に参照フレームを必要とする。また、Ｂピクチャは、Ｉピクチャと他のＰピクチャのうちの再生時間上直前と直後の二つのピクチャの映像フレームを参照フレームとして、参照フレームとの間のフレーム間符号化によって復号されたピクチャであり、その再生に二つの参照フレームを必要とする。

また、各ピクチャは、Ｍ×Ｍ画素のブロック毎に符号化されている。そして、Ｉピクチャの各ブロックは、ブロック復号部１１４５において、量子化されたＤＣＴ係数を逆量子化し逆ＤＣＴ処理を施すことにより復号され、中間バッファ１１４８に格納される。また、ＰピクチャとＢピクチャの各ブロックは、ブロック復号部１１４５において、量子化されたＤＣＴ係数を逆量子化し逆ＤＣＴ処理を施すことにより復号したブロック差分画像と、動き予測部１１４３が動きベクトルに従って行う制御に応じて動き補償部１１４４が中間バッファ１１４８より読み出した、動きベクトルが示す参照フレームのブロックのブロック画像とを、加算部１１４７で加算することにより復号され、中間バッファ１１４８に格納される。ここで、前述したようにＰピクチャの、参照フレームは、Ｉピクチャと他のＰピクチャのうち再生時間上直前のピクチャを復号した映像フレームとなる。また、Ｂピクチャの、参照フレームは、ＩピクチャとＰピクチャのうち再生時間上直前のピクチャを復号した映像フレームと、ＩピクチャとＰピクチャのうち再生時間上直後のピクチャを復号した映像フレームとなる。

さて、このような復号動作において、ブロック復号部１１４５は、各Ｉピクチャの各ブロックのＤＣＴ係数を再符号化ピクチャタイプ制御部１１４６に通知する。また、動き予測部１１４３より、復号した各ピクチャのピクチャタイプが再符号化ピクチャタイプ制御部１１４６に通知される。再符号化ピクチャタイプ制御部１１４６は、中間バッファ１１４８に復号された格納された各ブロックにより形成される各映像フレームの再符号化の際のピクチャタイプを図３ａに示すように決定する。

ここで、図３ａ１はＤＶＤーＶｉｄｅｏから読み出される各映像フレームｆ１-ｆ１５のピクチャタイプを、図３ａ２はビデオデコーダ１１４によって符号化された各映像フレームｆ１-ｆ１５の再符号化の際のピクチャタイプを示している。なお、図３では各映像フレームを復号／符号化の順序に従った順番に並べて示しており、再生時間上は、ｆの添え字の数字がより小さい映像フレームがより前の映像フレームとなる。この映像フレームの再生時間上の順序と、復号／符号化の順序との関係については後に示す。
さて、図示するように、再符号化ピクチャタイプ制御部１１４６は、Ｐピクチャから復号された映像フレームの再符号化の際のピクチャタイプは、Ｐピクチャとする。また、Ｂピクチャから復号された映像フレームの再符号化の際のピクチャタイプは、Ｂピクチャとする。そして、Ｉピクチャから復号された映像フレームの再符号化の際のピクチャタイプは、そのＩピクチャと、そのＩピクチャの再生時間上直前の他のＩピクチャとのフレーム間相関が所定のしきい値Ｔｈ以上である場合にはＰピクチャとし、他の場合にはＩピクチャとする。ここで、このようなＩピクチャ間の相関の大きさは、ブロック復号部１１４５から受け取ったＤＣＴ係数を比較することにより行うことができる。

ただし、以上のＩピクチャから復号された映像フレームの再符号化の際のピクチャタイプを決定は、図３ｂに示すように、各Iピクチャを復号した映像フレームをＰピクチャとして符号化した場合に、当該Iピクチャを復号した映像フレームをＰピクチャとして符号化する際に当該映像フレームの参照フレームとなる映像フレームと、当該Iピクチャを復号した映像フレームとのフレーム間相関に応じて決定するようにしてもよい。

なお、図３ｂ１はＤＶＤーＶｉｄｅｏから読み出される各映像フレームｆ１-ｆ１５のピクチャタイプを、図３ｂ２はビデオデコーダ１１４によって符号化された各映像フレームｆ１-ｆ１５の再符号化の際のピクチャタイプを示している。
さて、図示するように、この場合は、再符号化ピクチャタイプ制御部１１４６において、ピクチャタイプを決定するＩピクチャを復号した映像フレームと、他のＩピクチャとＰピクチャのうちの再生時間上直前のピクチャを復号した映像フレームとを読み込み、両フレームのフレーム間相関をピクチャタイプ制御部において求める。

そして、求めた相関が所定のしきい値Ｔｈ以上である場合にはＰピクチャとし、他の場合にはＩピクチャとする。すなわち、そのＩピクチャを復号した映像フレームと、そのＩピクチャを復号した映像フレームをＰピクチャとして符号化する場合に参照フレームとなることになる映像フレームとの、フレーム間相関が所定のしきい値Ｔｈ以上である場合にはＰピクチャとし、他の場合にはＩピクチャとする。

ここで、各映像フレームの再生時間上の順番と、ＤＶＤーＶｉｄｅｏに記録されている各ピクチャの記録順（ＤＶＤーＶｉｄｅｏからの各ピクチャの読み出し順）と、中間バッファ１１４８への各映像フレームの格納順との関係について説明する。
まず、ＤＶＤーＶｉｄｅｏに記録される映像が、図４ａ１に示すように映像フレームｆ１-ｆ８からなる、当該順序を再生時間上の順序として持つ映像であるとする。この場合、ＤＶＤーＶｉｄｅｏに記録するビデオデータ作成時には、まず、フレームｆ１-ｆ８の符号化に用いるピクチャタイプが、各フレーム間の相関などに基づいて決定される。ただし、一般的には、再生早送りやフレーム間符号化誤差の累積を排除するためなどに、一定数の映像フレーム毎に、映像フレームのピクチャタイプが、フレーム内符号化によって圧縮符号化されるＩピクチャとされる。なお、図中のＩ、Ｐ、Ｂは、各映像フレームのピクチャタイプを示している。

次に、このようにしてピクチャタイプが決定されたならば、各映像フレームを、図４ａ２に示すように、ピクチャタイプに応じて、圧縮符号化の際に参照フレームとして使用される映像フレームが、当該映像フレームを参照フレームとしてフレーム間予測によって圧縮される映像フレームに先行するように並び替える。

そして、図４ａ３に示すように、各映像フレームを、Ｉピクチャについてはフレーム内符号化により、ＰピクチャとＢピクチャについては参照フレームを用いたフレーム間符号化により圧縮符号化し、当該順序でＤＶＤ-Ｖｉｄｅｏディスクに記録する。すなわち、ＤＶＤ-Ｖｉｄｅｏディスクには、復号時に、フレーム間符号化されたＰピクチャやＢピクチャの映像フレームよりも、当該ピクチャの復号に用いる参照フレームが先に読み出せるように、再生時間上の順序と異なる順序で各映像フレームを圧縮符号化したピクチャが記録されている。

さて、このようにＤＶＤ-Ｖｉｄｅｏディスクに記録された各映像フレームの復号と復号した各映像フレームの出力は、通常は、以下のように行われる。
すなわち、まず、図４ａ４に示すように、記録順に各映像フレームを読み出し、順次、ＰピクチャやＢピクチャについては先行して読み出し復号した参照フレームを用いながら復号する。そして、図４ａ５に示すように、復号した各映像フレームを、元の再生時間に従った順序となるように並び替えて出力する。しかし、本実施形態では、ビデオデコーダ１１４やメインビデオコーダ１２２において、この並び替えに相当する処理は行わない。

さて、本実施形態におけるビデオデコーダ１１４では、中間バッファ１１４８には図４ａ４に示した、ＤＶＤ-Ｖｉｄｅｏディスクの記録順と同じ順序、すなわち、復号順に、復号した映像フレームが順次格納される。
次に、ビデオ配信サーバ１の符号化処理部１２のメインビデオコーダ１２２について説明する。
図２に示すように、ビデオデコーダ１１４に格納された各映像フレームは、格納の順序上、より後の映像フレームの中間バッファ１１４８への格納の完了に依存せずに、格納順に順次、読み出されメインビデオコーダ１２２で処理される。すなわち、メインビデオコーダ１２２は、たとえば、一つの映像フレームの符号化が完了したときに、中間バッファ１１４８に次の映像フレームが格納されていれば、この映像フレームを読み出してその符号化を行い、一つの映像フレームの符号化が完了したときに、中間バッファ１１４８に次の映像フレームが格納されていなければ、当該映像フレームが中間バッファ１１４８に格納されしだい、この映像フレームを読み出してその符号化を行う。

動き予測部１２２５は、ビデオデコーダ１１４の再符号化ピクチャタイプ制御部１１４６から、中間バッファ１１４８から読み出した各映像フレームの再符号化のピクチャタイプを入手し、各部の動作を制御する。すなわち、中間バッファ１１４８より読み出した映像フレームの再符号化のピクチャタイプがＩピクチャであれば、映像フレームの各ブロックをブロック符号化部１２２３でＤＣＴとＤＣＴ係数の量子化によりフレーム内符号化させる。そして量子化されたＤＣＴ係数をハフマン符号化部１２２９によりハフマン符号化させ出力させる。また、ブロック復号部１２２６に、一旦符号化されたＩピクチャの各ブロックを逆量子化と逆ＤＣＴにより復号し、参照フレームメモリ１２２８に格納させる。

一方、動き予測部１２２５は、中間バッファ１１４８より読み出した映像フレームの再符号化のピクチャタイプがＰピクチャまたはＢピクチャであれば、入力した映像フレームの各ブロックについて以下の処理を行わせる。すなわち、動き予測部１２２５は、当該映像フレームの入力に先行して符号化、復号化されて参照フレームメモリ１２２８に格納されている、入力した映像フレームの参照フレームを読み出し、入力した映像フレームのブロックに近似する参照フレームのブロックを探索する。また、入力した映像フレームのブロックと探索したブロック間の位置のオフセットを動きベクトルとしてハフマン符号化部１２２９に送る。また、この動きベクトルに、参照フレームとして使用したピクチャの識別を伴わせる。そして、動き補償部１２２４は、動き予測部１２２５が探索したブロックを参照フレームメモリ１２２８から読み出し減算部１２２１に送る。減算部１２２１は、入力した映像フレームのブロックと動き補償部１２２４から送られたブロックの差分を差分ブロックとして求め、ブロック符号化部１２２３は、差分ブロックをＤＣＴとＤＣＴ係数の量子化により符号化しハフマン符号化部１２２９に送る。ハフマン符号化部１２２９は、量子化されたＤＣＴ係数と動き予測部１２２５から送られた動きベクトルをハフマン符号化し出力する。

一方、ブロック復号部１２２６、加算部１２２７、動き補償部１２２４、動き予測部１２２５は、Ｐピクチャとして符号化された映像フレームについては、前述したビデオデコーダ１１４の復号動作と同様の処理により、参照フレームメモリ１２２８に格納されている当該映像フレームの参照フレームを用いて、動きベクトルと量子化されたＤＣＴ係数に圧縮符号化されたブロックを復号し、参照フレームメモリ１２２８に格納する。

さて、ビットレート制御部１２２２は、ブロック符号化部１２２３と動き予測部１２２５で発生するハフマン符号化前の符号化データのビットレートに応じて、当該ビットレートが所望のビットレートとなるように、ブロック符号化部１２２３におけるＤＣＴ係数の量子化の量子化ステップなどを変更することにより、最終的にハフマン符号化部１２２９から出力されるビデオデータが所望の伝送帯域幅に応じたビットレートとなるように制御する。

以上、メインビデオコーダ１２２について説明した。
ここで、以上のように、本実施形態によれば、ビデオデコーダ１１４からの映像フレームのメインビデオコーダ１２２への出力において図４のａ４からａ５に示すような映像フレームの再生時間順への並び替えは行わない。したがって、このような並び替えに加え、もし、ビデオデコーダ１１４からの映像フレームのメインビデオコーダ１２２への出力において、映像フレームの再生時間順への並び替えが行われた場合に必要となる、映像フレームの再並び替えも不要となる。すなわち、もし、ビデオデコーダ１１４からの映像フレームのメインビデオコーダ１２２への出力において、図４ａ４からａ５に示すような映像フレームの再生時間順への並び替えが行われた場合には、メインビデオコーダ１２２において、再度、図４ａ５からａ６に示すように映像フレームの並び替えを行った上で、図４ａ７に示すように各映像フレームの符号化を行う必要があるが、本実施形態によれば、図４ａ４の映像フレーム列を、直接図４ｂ１に示すように符号化することができる。

したがって、本実施形態では、中間バッファ１１４８にビデオデコーダ１１４に復号された映像フレームが格納されしだい、メインビデオコーダ１２２によって当該映像フレームの再符号化を行うことができ、以上のような映像フレームの並び替えに要する処理遅延を排除することができると共に、映像フレームの並び替えに必要となるバッファ容量を削減できる。よって、復号と再圧縮符号化の処理に要する遅延を小さく抑えることができると共に、復号と再圧縮符号化のために必要となる装置規模は、これを小さく抑えることができる。

以上、本発明の実施形態について説明した。
以上のように本実施形態によれば、ＤＶＤーＶｉｄｅｏのビデオデータの復号と再符号化において、ＤＶＤーＶｉｄｅｏにおいて、Ｐピクチャとして圧縮符号化されていたフレームはＰピクチャとして、Ｂピクチャとして圧縮符号化されていたフレームはＢピクチャとして再符号化する。また、ＤＶＤーＶｉｄｅｏにおいて、Ｉピクチャとして圧縮符号化されていた映像フレームについては、再生時間上直前のＩピクチャまたは再生時間上直前のＰピクチャとの相関が低い場合にはＩピクチャとして、再生時間上直前のＩピクチャまたは再生時間上直前のＰピクチャとの相関が高い場合にはＰピクチャとして再符号化する。ここで、ＤＶＤーＶｉｄｅｏにおいてＩピクチャとして圧縮符号化されている映像フレームは、必ずしも映像品質の観点からＩピクチャとして符号化されているのではなく、再生早送りの実現のためにＩピクチャとして符号化されているＩピクチャも存在する。そして、このように、再生時間上直前のＩピクチャまたは再生時間上直前のＰピクチャとの相関が高いIピクチャは、先行する映像に対して映像の動きが少ないにもかかわらず挿入されたIピクチャであり、これをＰピクチャとして符号化しても、通常再生を行う際の映像品質の劣化の程度は小さい。一方で、これをＩピクチャではなくＰピクチャとして符号化することによる発生データ量の低減が望める。したがって、このようなIピクチャから復号した映像フレームをＰピクチャとして再符号化することにより、映像品質をできるだけ劣化させずにビットレートを低減することができるようになる。

ところで、以上の実施形態では、ビデオ配信サーバ１において、ＤＶＤーＶｉｄｅｏに記録されたビデオデータの再符号化と、ＤＶＤーＶｉｄｅｏにサブピクチャやＰＣＩ，ＨＬＩの再符号化を、メインビデオコーダ１２２とサブビデオコーダ１２３においてそれぞれ行ったが、これは単一のビデオコーダによって行うようにしてもよい。

すなわち、図５に示すように、ビデオ配信サーバ１の復号処理部１１において、ビデオデコーダ１１４がデコードしたビデオデータが表す映像上にサブピクチャ操作部１１７が修飾操作したサブピクチャと再生制御部１１８が出力したＯＳＤ画像を合成する画像合成部５０１を設け、メインビデオコーダ１２２で、画像合成部５０１が合成した映像を再符号化するようにしてもよい。なお、メインビデオコーダ１２２の再符号化の際のピクチャタイプは上述の通り制御する。また、映像フレームの再生時間順への並び替えも上述の通り行わない。また、この場合には、ビデオ利用端末２のサブビデオコーダ２５と出力画像合成部２６は不要となる。

なお、このようにすると、ビデオデコーダ１１４がデコードしたビデオデータが表す各映像フレーム間の相関と、メインビデオコーダ１２２が符号化する各映像フレーム間の相関とは、修飾操作したサブピクチャやＯＳＤ画像の分異なったものとなるが、サブピクチャ操作部１１７が修飾操作したサブピクチャやＯＳＤ画像の影響は再生制御部１１８が出力したＯＳＤ画像の時間変化は少ないので、各映像フレーム間の相関に与える影響は小さく、上述のようにピクチャタイプを制御して再符号化しても映像の映像品質を大きく劣化させることはない。

本発明の実施形態に係るビデオ配信システムの構成を示すブロック図である。本発明の実施形態に係るビデオデータの復号と再符号化の構成を示すブロック図である。本発明の実施形態に係るビデオデータの復号と再符号化における映像フレームのピクチャタイプの関係を示す図である。本発明の実施形態に係るビデオデータの復号と再符号化における映像フレームの順番の操作を示す図である。本発明の実施形態に係るビデオ配信システムの他の構成例を示すブロック図である。

符号の説明

１…ビデオ配信サーバ、２…ビデオ利用端末、３…ネットワーク、１１…復号処理部、１２…符号化処理部、２１…受信処理部、２２…端末デマルチプレクサ、２３…端末オーディオデコーダ、２４…メインビデオデコーダ、２５…サブビデオデコーダ、２６…出力画像合成部、２７…音声出力装置、２８…表示装置、１１１…ＤＶＤドライバ、１１２…デマルチプレクサ、１１３…オーディオデコーダ、１１４…ビデオデコーダ、１１５…サブピクチャデコーダ、１１６…ＨＬＩデコーダ、１１７…サブピクチャ操作部、１１８…再生制御部、１１９…副映像合成部、１２１…オーディオコーダ、１２２…メインビデオコーダ、１２３…サブビデオコーダ、１２４…マルチプレクサ、１２５…送信処理部、１１４１…入力バッファ、１１４２…ハフマン復号部、１１４３…予測部、１１４４…補償部、１１４５…ブロック復号部、１１４６…再符号化ピクチャタイプ制御部、１１４７…加算部、１１４８…中間バッファ、１２２１…減算部、１２２２…ビットレート制御部、１２２３…ブロック符号化部、１２２３…ブロック符号化部、１２２４…動き補償部、１２２５…動き予測部、１２２６…ブロック復号部、１２２７…加算部、１２２８…参照フレームメモリ、１２２９…ハフマン符号化部。

Claims

映像を構成する各映像フレームを、フレーム内符号化により符号化したフレーム内符号化ピクチャと、他の映像フレームを参照フレームとして当該参照フレームに対するフレーム間符号化により符号化したフレーム間符号化ピクチャとのいずれかに符号化して生成したビデオデータを、復号し再符号化する、ビデオデータの再符号化装置であって、
前記フレーム内符号化ピクチャと前記フレーム間符号化ピクチャを前記映像フレームに復号する復号手段と、
前記フレーム内符号化ピクチャに対応する映像フレームと、当該フレーム内符号化ピクチャに対応する映像フレームに、前記映像の再生時間上先行する映像フレームとのフレーム間の相関を算出または推定するフレーム間相関算出手段と、
前記フレーム間符号化ピクチャから復号された映像フレームを、フレーム間符号化により符号化によりフレーム間符号化ピクチャに符号化し、前記フレーム内符号化ピクチャから復号された映像フレームを、当該フレーム内符号化ピクチャについて前記フレーム間相関算出手段が算出または推定したフレーム間相関が所定のレベルより大きい場合にはフレーム間符号化により符号化によりフレーム間符号化ピクチャに符号化し、当該フレーム内符号化ピクチャについて前記フレーム間相関算出手段が算出したフレーム間相関が所定のレベルより大きくない場合にはフレーム内符号化により符号化によりフレーム内符号化ピクチャに符号化する符号化手段とを有することを特徴とするビデオデータの再符号化装置。
請求項１記載のビデオデータの再符号化装置であって、
前記ビデオデータは、前記フレーム内符号化ピクチャとしてＩピクチャを含み、前記フレーム間符号化ピクチャとしてＰピクチャとＢピクチャを含み、前記Ｐピクチャは、Ｉピクチャまたは他のＰピクチャのうちの前記映像の再生順序上、再生順が前である方向に最も近接するピクチャを参照フレームとして当該参照フレームに対して動き補償フレーム間符号化されたものであり、前記Ｂピクチャは、Ｉピクチャまたは他のＰピクチャのうちの、前記映像の再生順序上再生順が前である方向に最も近接するピクチャと、前記映像の再生順序上再生順が後である方向に最も近接するピクチャとを参照フレームとして当該二つの参照フレームに対して動き補償フレーム間符号化されたものであり、
前記フレーム間相関算出手段は、Iピクチャに対応する映像フレームと、他のIピクチャのうちの前記映像の再生順序上再生順が前である方向に最も近接するピクチャに対応する映像フレーム、または、他のＩピクチャまたはＰピクチャのうちの、前記映像の再生順序上再生順が前である方向に最も近接するピクチャに対応する映像フレームとの間の相関を算出し、
前記符号化手段は、前記Ｐピクチャから復号された映像フレームを、Ｐピクチャとして符号化し、前記Ｂピクチャから復号された映像フレームを、Ｂピクチャとして符号化し、前記Ｉピクチャから復号された映像フレームを、当該Ｉピクチャについて前記フレーム間相関算出手段が算出したフレーム間相関が所定のレベルより大きい場合にはＰピクチャとして符号化し、当該Ｉピクチャについて前記フレーム間相関算出手段が算出したフレーム間相関が所定のレベルより大きくない場合にはＩピクチャとして符号化することを特徴とするビデオデータの再符号化装置。
映像を構成する各映像フレームを、フレーム内符号化により符号化したＩピクチャとＰピクチャとＢピクチャとに符号化したビデオデータであって、前記Ｐピクチャは、Ｉピクチャまたは他のＰピクチャのうちの前記映像の再生順序上、再生順が前である方向に最も近接するピクチャを参照フレームとして当該参照フレームに対して動き補償フレーム間符号化されたものであり、前記Ｂピクチャは、Ｉピクチャまたは他のＰピクチャのうちの、前記映像の再生順序上再生順が前である方向に最も近接するピクチャと、前記映像の再生順序上再生順が後である方向に最も近接するピクチャとを参照フレームとして当該二つの参照フレームに対して動き補償フレーム間符号化されたものであり、前記ビデオデータ中において、各Iピクチャは、当該Iピクチャを参照フレームとして符号化されたＰピクチャ及びＢピクチャより前に配列され、各Ｐピクチャは当該Ｐピクチャを参照フレームとして符号化された他のＰピクチャ及びＢピクチャより前に配列されているビデオデータを、復号し再符号化する、ビデオデータの再符号化装置であって、
前記ビデオデータ中の配列の順序と同じ順序で、前記Iピクチャと前記ＰピクチャとＢピクチャを、順次、各々映像フレームに復号し出力する復号手段と、
前記復号手段の出力順に、復号された各映像フレームを入力し、入力した映像フレームが前記Ｐピクチャから復号されたものである場合にはＰピクチャとして符号化し、当該入力した映像フレームが前記Ｂピクチャから復号されたものである場合にはＢピクチャとして符号化し、当該入力した映像フレームが前記Ｉピクチャから復号されたものである場合にはＩピクチャまたはＰピクチャとして符号化する符号化手段とを有することを特徴とするビデオデータの再符号化装置。
請求項１、２または３記載のビデオデータの再符号化装置であって、
前記ビデオデータは、ＤＶＤーＶｉｄｅｏから読み出されたビデオデータであることを特徴とするビデオデータの再符号化装置。
請求項１、２、３または４記載のビデオデータの再符号化装置と、
前記符号化手段が符号化したビデオデータを、伝送路を介して配信する配信手段とを有することを特徴とするビデオ配信システム。
映像を構成する各映像フレームを、フレーム内符号化により符号化したフレーム内符号化ピクチャと、他の映像フレームを参照フレームとして当該参照フレームに対するフレーム間符号化により符号化したフレーム間符号化ピクチャとのいずれかに符号化して生成したビデオデータを、復号し再符号化する、ビデオデータの再符号化方法であって、
前記フレーム内符号化ピクチャと前記フレーム間符号化ピクチャを前記映像フレームに復号するステップと、
前記フレーム内符号化ピクチャに対応する映像フレームと、当該フレーム内符号化ピクチャに対応する映像フレームに、前記映像の再生時間上先行する映像フレームとのフレーム間の相関を算出または推定するステップと、
前記フレーム間符号化ピクチャから復号された映像フレームを、フレーム間符号化により符号化によりフレーム間符号化ピクチャに符号化し、前記フレーム内符号化ピクチャから復号された映像フレームを、当該フレーム内符号化ピクチャについて算出または推定されたフレーム間相関が所定のレベルより大きい場合にはフレーム間符号化により符号化によりフレーム間符号化ピクチャに符号化し、当該フレーム内符号化ピクチャについて前記フレーム間相関算出手段が算出したフレーム間相関が所定のレベルより大きくない場合にはフレーム内符号化により符号化によりフレーム内符号化ピクチャに符号化するステップとを有することを特徴とするビデオデータの再符号化方法。
映像を構成する各映像フレームを、フレーム内符号化により符号化したＩピクチャとＰピクチャとＢピクチャとに符号化したビデオデータであって、前記Ｐピクチャは、Ｉピクチャまたは他のＰピクチャのうちの前記映像の再生順序上、再生順が先行する方向に最も近接するピクチャを参照フレームとして当該参照フレームに対して動き補償フレーム間符号化されたものであり、前記Ｂピクチャは、Ｉピクチャまたは他のＰピクチャのうちの、前記映像の再生順序上再生順が前である方向に最も近接するピクチャと、前記映像の再生順序上再生順が後である方向に最も近接するピクチャとを参照フレームとして当該二つの参照フレームに対して動き補償フレーム間符号化されたものであり、前記ビデオデータ中において、各Iピクチャは、当該Iピクチャを参照フレームとして符号化されたＰピクチャ及びＢピクチャより前に配列され、各Ｐピクチャは当該Ｐピクチャを参照フレームとして符号化された他のＰピクチャ及びＢピクチャより前に配列されているビデオデータを、復号し再符号化する、ビデオデータの再符号化方法であって、
前記ビデオデータ中の配列の順序と同じ順序で、前記Iピクチャと前記ＰピクチャとＢピクチャを、順次、各々映像フレームに復号し出力するステップと、
前記映像フレームの出力順に、復号された各映像フレームを入力し、入力した映像フレームが前記Ｐピクチャから復号されたものである場合にはＰピクチャとして符号化し、当該入力した映像フレームが前記Ｂピクチャから復号されたものである場合にはＢピクチャとして符号化し、当該入力した映像フレームが前記Ｉピクチャから復号されたものである場合にはＩピクチャまたはＰピクチャとして符号化するステップとを有することを特徴とするビデオデータの再符号化方法。