JP2008010997A - 情報処理装置、情報処理方法及び半導体集積回路 - Google Patents

Abstract

【課題】復号装置の処理能力を抑えつつ、滑らかに映像圧縮情報のフレームレートを下げることのできる情報処理装置および方法を提供する。
【解決手段】ストリームの復号時に、参照情報として、参照フレーム内で実際に参照される部分の情報を生成し、ストリーム中に挿入して記録する。記録したストリームのフレームレートを下げて復号する際に、ストリーム中の参照情報を抽出し、必要な部分だけを復号する。
【選択図】図１

Description

本発明は、映像データを圧縮符号化したストリーム・データを受信し、変換・再生に関する情報処理装置、情報処理方法及び半導体集積回路に関する。

MPEG等では、画像の性質に応じて、フレームそのものよりも隣接するフレーム間の差分を符号化する予測符号化、画面の動きを検知して動きの分を補償した上で予測符号化を行う動き補償予測符号化、過去と未来の近傍のフレームから予測符号化を行う双方向予測符号化、あるいはこれらの符号化方法を組み合わせて高い圧縮率を得ている。

MPEG等で圧縮された画像情報に対してフレームレートを下げる復号処理を行う場合、例えば、特開２００１−２０４０２７号公報によれば、Bピクチャの復号を行わず、Iピクチャと、Pピクチャの復号のみを行うことによって実現している。

また、別の例では、特開２０００−３２３９５号公報に示すように、早送り再生時に、出力時間間隔が一定となるように、出力フレームを選択し、必要なフレームのみを復号する方法も考案されている。

特開２００１−２０４０２７号公報 特開２０００−３２３９５号公報

しかしながら、上述の特開２００１−２０４０２７号公報に記載された方式によれば、Bピクチャの復号を行わず、Iピクチャと、Pピクチャの復号のみを行うことにより、比較的、単純な制御で実現できるが、符号化ストリームのピクチャ構成によっては、動きが不自然になる恐れがある。

すなわち、IピクチャまたはPピクチャの間隔が一定でない場合に、変換後のフレームの時間間隔にばらつきが発生する。また、Bピクチャの含まれないストリームの場合には、そもそもフレームレートを下げることができない問題がある。

また、上述の特開２０００−３２３９５号公報に記載された方式によれば、ビットストリーム中のピクチャ構成によらず、表示の自然さを損なわない滑らかな早送り再生が可能となるが、復号装置に十分な処理能力がない場合には、出力時間間隔を完全に一定に保てないため、滑らかさが損なわれてしまう問題がある。

例えば、家庭内の録画機器において、MPEGフォーマットで記録した映像情報を、外出先の携帯機器で視聴するために元のMPEGフォーマットを復号して、解像度とフレームレートを下げたMPEGフォーマットへの再符号化を行う場合においては、上記問題は深刻な問題となる。

そこで、本発明は、これらの問題に鑑み、復号装置の処理能力を抑えつつ、滑らかに映像圧縮情報のフレームレートを下げることのできる情報処理装置、情報処理方法及び半導体集積回路を提供することを目的とする。

上記の課題を解決する為、本発明の概要としては、例えば、ストリームの復号時に、参照情報として、参照フレーム内で実際に参照される部分の情報を生成し、ストリーム中に挿入して記録する。記録したストリームのフレームレートを下げて復号する際に、ストリーム中の参照情報を抽出し、必要な部分だけを復号するように構成する。

本発明によれば、復号装置の処理能力を抑え、滑らかに映像圧縮情報のフレームレートを下げることができる。

以下、本発明の実施の形態を、図面を用いて説明する。以下の説明における情報処理装置は、一例としてデジタル放送記録装置を対象としているが、これに限るものではない。すなわち、MPEGなどの映像ストリームを記録し、復号を行う情報処理装置に適用可能である。

図１は、本発明の１実施例である情報処理装置の構成図である。本実施形態は、デジタル放送を受信・記録し、再生する情報処理装置である。本実施例は、TS受信部１０１、TS分離部１０２、ビデオデコーダ１０３、ビデオストリームバッファ１０４、参照情報挿入部１０５、TS多重部１０６、オーディオデコーダ１０７、オーディオストリームバッファ１０８、ストリーム蓄積部１０９、映像出力部１１０、音声出力部１１１から構成されている。

本実施例の情報処理装置の映像受信時の動作について順に説明する。TS受信部１０１は、デジタルテレビジョン放送電波を受信し、復調後、誤り訂正処理を行って、MPEG伝送ストリームをTS 分離部１０２に出力する。

ここで、MPEG伝送ストリームとは、デジタルテレビジョン放送においてはＭＰＥＧ２システム規格(ISO/IEC13818-1)に規定されるトランスポート・ストリームである。MPEG伝送ストリームは、映像の基本ストリームと音声の基本ストリームを多重化したシステム・ストリームであり、伝送に適するように、パケット形式で構成されている。

TS 分離部１０２は、TS受信部１０１で得られたMPEG伝送ストリームから映像及び音声の基本ストリームを分離する。ここで、例えば地上デジタルテレビジョン放送の場合、映像の基本ストリームとしては、MPEG-2規格(ITU-T Ｈ．262|ISO/IEC13818-2)、Ｈ．２６４規格(ITU-T Ｈ．２６４|ISO/IEC14496-10)が用いられる。音声の基本ストリームとしては、MPEG-2AAC規格(ISO/IEC13818-7) が用いられる。

なお、本実施例においては、映像及び音声の基本ストリームのフォーマットは上記の規格に限定されるものではなく、他の規格が用いられる場合でもなんら問題は無い。その場合、ビデオデコーダ１０３及びオーディオデコーダ１０７は、当該規格に対応するデコーダを用いればよい。

TS 分離部１０２で分離された映像の基本ストリームは、ビデオデコーダ１０３に送られる。ビデオデコーダ１０３は、映像基本ストリームの復号を行い、復号映像フレームを映像出力部１１０に出力する。映像出力部１１０は、ビデオデコーダ１０３で出力されたフレームを、表示時刻情報にしたがって出力する。

また、TS 分離部１０２で分離された音声の基本ストリームは、オーディオデコーダ１０７に送られる。オーディオデコーダ１０７は、音声基本ストリームの復号を行い、復号フレームを音声出力部１１１に出力する。音声出力部１１１は、オーディオデコーダ１０７から出力されたフレームを表示時刻情報にしたがって出力する。

以上の動作により、視聴者は、デジタルテレビジョン放送を受信し、番組を視聴することができる。

次に、本実施例の情報処理装置の映像記録時の動作について順に説明する。TS受信部１０１、TS 分離部１０２の動作については、映像受信時と同様である。映像記録時においては、TS 分離部１０２で分離された映像の基本ストリームは、ビデオデコーダ１０３とともに、ビデオストリームバッファ１０４にも送られる。ビデオデコーダ１０３は、映像基本ストリーム中の解析を行い、ストリーム中の参照ピクチャ、すなわちIピクチャとPピクチャについて、参照情報を生成し、参照情報挿入部１０５に送る。

ここで、参照情報とは、フレーム内で、他のピクチャから動き補償予測により参照される部分の位置を表す情報である。ビデオストリームバッファ１０４は、ビデオデコーダ１０３で参照情報を生成している間、生成対象ピクチャを含む映像基本ストリームを保存し、ビデオデコーダ１０３からの参照情報出力にあわせて、映像基本ストリームを参照情報挿入部１０５に送る。参照情報挿入部１０５は、ビデオストリームバッファ１０４からの映像基本ストリームにビデオデコーダ１０３からの参照情報を挿入する。

このとき、例えば、MPEG-2のストリームであれば、ユーザデータ領域に挿入することができる。

参照情報挿入部１０５は、参照情報を挿入した映像基本ストリームをTS多重部１０６に送る。TS 分離部１０２で分離された音声の基本ストリームは、オーディオストリームバッファ１０８に送られる。オーディオストリームバッファ１０８は、音声の基本ストリームを保存し、参照情報挿入部１０５からTS多重部１０６への映像基本ストリームの出力に同期させて、音声の基本ストリームをTS多重部１０６に出力する。

TS多重部１０６は、参照情報挿入部１０５からの映像基本ストリームと、オーディオストリームバッファ１０８からの音声基本ストリームの多重化を行い、MPEG伝送ストリームを生成し、ストリーム蓄積部１０９に出力する。

ストリーム蓄積部１０９は、TS 多重部１０６からのMPEG伝送ストリームを格納する。以上により、視聴者は、受信映像を記録することができる。

なお、受信映像の視聴と記録とは、同時に行うことが可能である。その場合、上述した映像受信時の動作と、映像記録時の動作が並行に行われる。

次に、本実施例の情報処理装置の記録映像再生時の動作について順に説明する。ストリーム蓄積部１０９は、格納したMPEG伝送ストリームを順次読み出し、TS分離部１０２に出力する。

TS 分離部１０２は、ストリーム蓄積部１０９より出力されたMPEG伝送ストリームから映像及び音声の基本ストリームを分離する。TS 分離部１０２で分離された映像の基本ストリームは、ビデオデコーダ１０３に送られる。ビデオデコーダ１０３は、映像基本ストリームの復号を行い、復号映像フレームを映像出力部１１０に出力する。映像出力部１１０は、ビデオデコーダ１０３で出力されたフレームを表示時刻情報にしたがって出力する。

TS 分離部１０２で分離された音声の基本ストリームは、オーディオデコーダ１０７に送られる。オーディオデコーダ１０７は、音声基本ストリームの復号を行い、復号フレームを音声出力部１１１に出力する。

音声出力部１１１は、オーディオデコーダ１０７から出力されたフレームを、表示時刻情報にしたがって出力する。

以上により、視聴者は、記録映像を視聴することができるが、本実施例の情報処理装置においては、記録映像の早送り再生も可能である。この場合、ビデオデコーダ１０３は、映像基本ストリームの復号を行う際に、映像基本ストリーム中に挿入された参照情報を抽出し、早送り再生に必要な部分のストリームのみを復号する。映像出力部１１０は、ビデオデコーダ１０３で出力されたフレームを、早送り用の表示時刻情報にしたがって出力する。

次に、映像記録時に、参照情報を生成する際の動作の詳細について、説明する。図３は、映像基本ストリーム内のピクチャの並び順の例を表している。符号化対象フレーム０〜１１を各々BBIBBPBBPBBPのピクチャタイプで符号化した場合、Bピクチャについては、再生順で前後２つのIまたはPピクチャの参照が必要である.そのため、本例では、図３のストリーム図の如く、各フレームに対応するストリーム内のピクチャ順序は、２、０、１、５、３、４、８、６、７、１１の順となる。

このとき、例えば、３Bのピクチャは、２Iと５Pのピクチャを参照する。なお、符号化する際のピクチャタイプのパターンは、決まっておらず、この例に限らず、様々なパターンが有り得る。

図４は、図３のストリームに対して、参照情報を生成する際、ビデオストリームバッファ１０４に保存されるストリームを表している。ストリームは、２Iピクチャから順に保存されていく。Iピクチャ、Pピクチャについては、参照情報を挿入する必要があるため、全ての参照情報が確定するまで保存しておく。例えば、２Iピクチャは、０B、１B、５P、３B、４Bの各ピクチャから参照される為、ビデオデコーダ１０３において４Bのピクチャの復号化が終わった段階で、参照情報が確定する。

０B、１Bピクチャについては、どのピクチャからも参照されないので、４Bピクチャの復号化が終わったとき、２I、０B、１Bの各ピクチャを出力する。参照情報挿入部１０５に出力する。同様に、７Bピクチャの復号化が終わったとき、５P、３B、４Bの各ピクチャを出力する。

次に、ビデオデコーダ１０３において生成する参照情報について説明する。図５は、参照フレーム中の参照部分の例である。各フレームは、通常、スライスと呼ばれる部分ごとに符号化される。スライスは、ストリームを分割して復号化が可能となる最小単位である。

図５の参照フレームは、０〜１４までの１５のスライスから成っている。参照フレーム中で、他のピクチャから実際に参照される部分は、フレームにより異なっている。

一般には、フレーム間の相関が高ければ、かなりの部分が参照され、フレーム間の相関が低ければ、ほとんど参照されない。参照ピクチャが、早送り再生において表示されないフレームである場合には、参照ピクチャの参照部分を含まないスライスについては、復号する必要がない。

図５においては、スライス１、２、４、６のみ復号すればよいので、これらの参照情報は、図６のようになる。

以上のように、本実施例の情報処理装置においては、映像記録時に、参照情報を映像基本ストリーム中に挿入し、早送り再生する際に、ストリームの必要な部分のみを復号するので、復号処理負荷を抑えながら、なめらかに早送り再生をすることが可能である。

なお、TS多重部１０６の多重化により生成するシステム・ストリームは、ＭＰＥＧ２システム規格に規定されるトランスポート・ストリームである必要はない。例えばプログラム・ストリームでもよく、装置の用途に応じて選択することができる。その場合、TS分離部１０２とTS多重部１０６は、選択したシステム・ストリームに対応したものであればよい。

次に、本発明の第２の実施例となる情報処理装置について説明する。本実施例は、第１の実施例にストリーム変換機能を付加したものである。すなわち、記録した映像の解像度・フレームレートを下げることにより、情報量を削減したストリームを新たに生成し、記録する機能を有している。

図２は、本実施例の情報処理装置のブロック図である。図1と重複する部分については、同番号を付し、説明を省略する。本実施例においては、新たにビデオスケーラ２００、ビデオエンコーダ２０１、オーディオスケーラ２０２、オーディオエンコーダ２０３を追加している。

本実施例の情報処理装置の記録映像変換時の動作について順に説明する。ストリーム蓄積部１０９は、格納したMPEG伝送ストリームを順次読み出し、TS分離部１０２に出力する。TS 分離部１０２は、ストリーム蓄積部１０９より出力されたMPEG伝送ストリームから映像及び音声の基本ストリームを分離する。TS 分離部１０２で分離された映像の基本ストリームは、ビデオデコーダ１０３に送られる。ビデオデコーダ１０３は、映像基本ストリームの復号を行う際に、映像基本ストリーム中に挿入された参照情報を抽出し、フレームレート変換に必要な部分のストリームのみを復号する。ビデオデコーダ１０３からの復号フレームは、ビデオスケーラ２００により、解像度変換が行われ、ビデオエンコーダ２０１により、再符号化される。

TS 分離部１０２で分離された音声の基本ストリームは、オーディオデコーダ１０７に送られる。オーディオデコーダ１０７は、音声基本ストリームの復号を行う。オーディオデコーダ１０７からの復号フレームは、オーディオスケーラ２０２により、サンプルレート変換が行われ、オーディオエンコーダ２０３により、再符号化される。ビデオエンコーダ２０１からの映像基本ストリームおよびオーディオエンコーダ２０３からの音声基本ストリームは、TS多重部１０６によりMPEG伝送ストリームに多重化され、ストリーム蓄積部１０９に記録される。

以上の構成により、本実施例の情報処理装置は、本発明の第１の実施例と同様の効果の他に、記録映像のフレームレートを下げる変換を行う際に、復号処理負荷を抑えながら、なめらかな映像への変換を行うことが可能である。

なお、前記受信部と、前記分離部と、前記バッファと、前記参照情報挿入部と、前記多重部と、前記ストリーム蓄積部と、前記ビデオデコーダと、前記オーディオデコーダのうち、少なくとも２つは1チップのＣＰＵやＬＳＩ等として構成されるようにしてもよい。

また、実際の製品ベースで考えると、上述した受信部１０１は、例えば、チューナに対応し、上述したＴＳ分離部１０２は、例えば、デマルチプレクサ（Demultiplexer）に対応する。

また、上述した参照情報は、参照フレーム中のスライス毎に参照されるか否かを示す情報であってもよい。この場合、スライス毎の中で復号に必要でない部分をも余計に処理する可能性があるので、余分な復号時間がかかってしまうおそれがある。

そのため、スライス毎単位で参照情報を取り扱うのではなく、スライス単位より小さな単位、例えば、マクロブロック毎に参照されるか否かを示す情報として扱うように構成する。そうすれば、参照情報の情報量がスライス単位で処理する場合より多くなるものの、必要なところと不必要箇所との区切り部分などがよりきめ細やかに復号することができ、さらに復号時間を減らすことができる。

また、前記映像ストリームのフォーマットは限定するものではなく、複数のフォーマットにも対応可能であり、例えば、MPEG１、MPEG２、あるいは、MPEG４などの動き補償予測符号化を用いたフォーマットであればよい。

また、上述した参照情報挿入部１０５は、ストリーム中のユーザデータとして参照情報を挿入するように構成してもよい。このユーザデータは、例えばシーケンス層のユーザデータであったり、GOP（Group of picture）層のユーザデータであったり、ピクチャ層のユーザデータであってもよい。

本発明の第１の実施例となる情報処理装置のブロック図である。 本発明の第２の実施例となる情報処理装置のブロック図である。 映像基本ストリーム内のピクチャの並び順の例を示す図である。 ビデオストリームバッファの動作を示す図である。 参照フレーム中の参照部分の例を示す図である。 参照情報の例を示す図である。

符号の説明

１０１ ＴＳ受信部
１０２ ＴＳ分離部
１０３ ビデオデコーダ
１０４ ビデオストリームバッファ
１０５ 参照情報挿入部
１０６ TS多重部
１０７ オーディオデコーダ
１０８ オーディオストリームバッファ
１０９ ストリーム蓄積部
１１０ 映像出力部
１１１ 音声出力部
２ 情報処理装置
２００ ビデオスケーラ
２０１ ビデオエンコーダ
２０２ オーディオスケーラ
２０３ オーディオエンコーダ

Claims (18)

1. デジタル信号の受信を行うチューナと、
   前記受信部によって受信したデジタル信号から映像信号と音声信号を分離するデマルチプレクサと、
   前記映像信号を格納するバッファと、
   前記映像信号を復号し、参照フレームごとに参照フレーム中で参照される部分を表す参照情報を生成するビデオデコーダと、
   前記参照情報を映像信号中に挿入する参照情報挿入部と、
   前記参照情報挿入部により参照情報を挿入された映像信号を蓄積する蓄積部と、を備えることを特徴とする情報処理装置。
2. 請求項1に記載の情報処理装置であって、
   前記ビデオデコーダにより復号された信号に対して、解像度の変換を行うビデオスケーラと、前記ビデオスケーラによって解像度変換された信号に対して符号化を行うビデオエンコーダと、を備えることを特徴とする情報処理装置。
3. 動き補償予測符号化を用いた映像コンテンツを含むストリームの受信を行う受信部と、
   前記受信部によって受信したストリームから映像ストリームと音声ストリームを分離する分離部と、
   前記映像ストリームを格納するバッファと、
   前記映像ストリームを復号し、参照フレームごとに参照フレーム中で参照される部分を表す参照情報を生成するビデオデコーダと、
   前記参照情報を映像ストリーム中に挿入する参照情報挿入部と、
   前記音声ストリームを格納するバッファと、
   前記音声ストリームを復号するオーディオデコーダと、
   前記参照情報挿入部により参照情報を挿入された映像ストリームと前記音声ストリームを多重化してストリームを生成する多重部と、
   前記多重部により生成されたストリームを格納するストリーム蓄積部と、
   を備えることを特徴とする情報処理装置。
4. 請求項1に記載の情報処理装置であって、
   前記ビデオデコーダの復号画像に対して、解像度の変換を行うビデオスケーラと、
   前記ビデオスケーラによって解像度変換された画像に対して符号化を行うビデオエンコーダと、
   前記オーディオデコーダの復号音声に対して、サンプルレートの変換を行うオーディオスケーラと、
   前記オーディオスケーラによってサンプルレート変換された音声に対して符号化を行うオーディオエンコーダと、
   をさらに備えることを特徴とする情報処理装置。
5. 請求項３に記載の情報処理装置であって、
   前記参照情報挿入部がストリーム中のユーザデータとして参照情報を挿入することを特徴とする情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記参照情報挿入部が挿入する参照情報が、シーケンス層のユーザデータであることを特徴とする情報処理装置。
7. 請求項５に記載の情報処理装置であって、
   前記参照情報挿入部が挿入する参照情報が、GOP層のユーザデータであることを特徴とする情報処理装置。
8. 請求項５に記載の情報処理装置であって、
   前記参照情報挿入部が挿入する参照情報が、ピクチャ層のユーザデータであることを特徴とする情報処理装置。
9. 請求項１又は３に記載の情報処理装置であって、
   前記参照情報は、参照フレーム中のスライス毎に、参照されるか否かを示す情報であることを特徴とする情報処理装置。
10. 請求項１又は３に記載の情報処理装置であって、
    前記参照情報は、参照フレーム中のマクロブロック毎に、参照されるか否かを示す情報であることを特徴とする情報処理装置。
11. 動き補償予測符号化を用いた映像コンテンツのストリームの受信を行い、
    受信したストリームから映像ストリームと音声ストリームを分離し、
    前記映像ストリームおよび前記音声ストリームを各々バッファに格納し、
    前記映像ストリームを復号するとともに、参照フレームごとに参照フレーム中で参照される部分を表す参照情報を生成し、
    前記参照情報を映像ストリーム中に挿入し、
    前記音声ストリームを復号し、
    前記参照情報を挿入された映像ストリームと前記音声ストリームを多重化して生成したストリームを記録することを特徴とする情報処理方法。
12. 請求項１１に記載の情報処理方法であって、
    前記参照情報が、シーケンス層のユーザデータであることを特徴とする情報処理方法。
13. 請求項１１に記載の情報処理方法であって、
    前記参照情報が、GOP層のユーザデータであることを特徴とする情報処理方法。
14. 請求項１１に記載の情報処理方法であって、
    前記参照情報が、ピクチャ層のユーザデータであることを特徴とする情報処理方法。
15. 請求項１１に記載の情報処理方法であって、
    前記参照情報は、参照フレーム中のスライス毎に参照されるか否かを示す情報であることを特徴とする情報処理方法。
16. 請求項１１に記載の情報処理方法であって、
    前記参照情報は、参照フレーム中のマクロブロック毎に参照されるか否かを示す情報であることを特徴とする情報処理方法。
17. 動き補償予測符号化を用いた映像コンテンツのストリームの受信を行う受信部と、
    前記受信部によって受信したストリームから映像ストリームと音声ストリームを分離する分離部と、
    前記映像ストリームを格納するバッファと、
    前記映像ストリームを復号し、参照フレームごとに参照フレーム中で参照される部分を表す参照情報を生成するビデオデコーダと、
    前記参照情報を映像ストリーム中に挿入する参照情報挿入部と、
    前記音声ストリームを格納するバッファと、
    前記音声ストリームを復号するオーディオデコーダと、
    前記参照情報挿入部により参照情報を挿入された映像ストリームと前記音声ストリームを多重化する多重部と、を備えることを特徴とする半導体集積回路。
18. 請求項１７に記載の半導体集積回路であって、
    前記ビデオデコーダの復号画像に対して、解像度の変換を行うビデオスケーラと、
    前記ビデオスケーラによって解像度変換された画像に対して符号化を行うビデオエンコーダと、
    前記オーディオデコーダの復号音声に対して、サンプルレートの変換を行うオーディオスケーラと、
    前記オーディオスケーラによってサンプルレート変換された音声に対して符号化を行うオーディオエンコーダと、をさらに備えることを特徴とする半導体集積回路。
    

Images