JP2005159832A - 信号処理装置 - Google Patents

Abstract

【課題】 共通の符号化動画像データで順方向再生および逆方向再生を可能とする。
【解決手段】 入力される符号化動画像の一部符号化画像を再符号化することにより、この再符号化した画像信号を使って新たに生成した符号化画像信号を蓄積した後、その再生方向に応じて順序を入れ替えて復号する。
【選択図】 図２

Description

本発明は信号処理装置に関し、特に符号化された画像信号の記録再生処理に関する。

動画像をデジタル信号として扱う場合、情報量が非常に多いため、効率よく蓄積し、また伝送するために圧縮符号化する必要がある。その方法の一つとしてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）と呼ばれる符号化方法がある。このＭＰＥＧ方式の符号化方法では離散コサイン変換（ＤＣＴ）や動き補償を用いた画面間予測が用いられて動画像の符号化がなされている。以下にＭＰＥＧ方式の符号化および復号化方法について簡単に説明する。

ＭＰＥＧ方式で符号化が成される場合、まず入力画像信号が、一枚の表示画像内で複数のマクロブロックに分割される。マクロブロックは表示画面上における１６×１６画素の画像表示領域に対応しており、このマクロブロックごとに符号化の処理が施されることになる。

符号化方法にはフレーム内符化方法とフレーム間符号化方法の二種類の符号化方法があり、マクロブロックごとに符号化方法を適宜切り替えて符号化処理を行うことが可能となっている。フレーム内符号化方法によるマクロブロックは、それのみで復号化が可能であるが、フレーム間符号化方法によるマクロブロックは、既に復号済みの画像（参照フレーム）からの動き補償による予測値が復号処理に必要となる。

一枚の表示画像に対応する符号化画像内のマクロブロックがすべてフレーム内符号化方法による符号化マクロブロックである符号化画像はイントラ符号化画像（Ｉピクチャ）と呼ばれる。また、符号化画像内のマクロブロック内で、時間的に過去に位置する画像を参照フレームとしてフレーム間符号化方法が施された符号化マクロブロックが存在する符号化画像は前方向予測符号化画像（Ｐピクチャ）、符号化画像内のマクロブロック内で、時間的に過去および未来の双方向の画像二枚を参照フレームとしてフレーム間符号化方法が施された符号化マクロブロックが存在する符号化画像は双方向予測符号化画像（Ｂピクチャ）と呼ばれており、この三種類の符号化画像によって符号化動画像が構成されている。Ｉピクチャはそれのみで画像の復号が可能であるが、ＰピクチャおよびＢピクチャは参照フレームとなる復号後の画像が復号時に必要となる。

Ｉピクチャ・Ｐピクチャ・Ｂピクチャが複数集合することで符号化および復号化の処理単位であるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）を構成している。ＧＯＰは図５（ａ）に示される順で符号化画像が連続した構成となっており、この順に復号処理が施されることになる。しかし、Ｂピクチャの復号処理のため、復号順と出力順は異なるものとなっている。図５を用いて順方向再生の手順を簡単に説明する。

まず、番号０のＩピクチャが復号される。次に番号１のＰピクチャが番号０のＩピクチャを参照フレームとして復号され、同時に番号０のＩピクチャが出力される。次に番号２のＢピクチャおよび番号３のＢピクチャがそれぞれ番号０のＩピクチャと番号１のＰピクチャを参照フレームとして復号され、出力される。この後、番号１のＰピクチャが出力されることになる。ここで出力時においてＢピクチャとＰピクチャの出力順が入れ替わっているが、これはＢピクチャの復号に未来の画像の復号画像が必要となるためである。このような復号化手順でＧＯＰごとに順方向再生を行うことができる。

この様な符号化処理が特許文献１に記載されている。
特開２０００−２１７１２０号

ところで、再生画像を視聴するユーザーの立場からみると、ＭＰＥＧ方式の符号化動画像を順方向再生のみでなく、逆方向再生で視聴したいという要求がある。しかし、一般にはＭＰＥＧ方式の符号化動画像の逆方向再生は困難である。図５に示されるＧＯＰを逆方向再生する場合、はじめに出力されるべき画像は番号７のＰピクチャであるが、これを復号するためにはＧＯＰ内のすべてのＩピクチャおよびＰピクチャの復号が必要となる。したがって通常の符号化動画像から逆方向再生を行う場合、復号器に何フレーム分もの参照フレームメモリが必要となってしまうことになる。

また、逆方向再生を実現するために、逆方向再生用の符号化動画像を順方向再生の符号化動画像とは別にあらかじめ用意しておくという方法がある。この場合、逆方向再生用の符号化動画像を蓄積しておく必要があるため、通常の符号化動画像のみより蓄積量が増大してしまうことになる。また、逆方向再生用の符号化動画像を作成する動画像の符号化手段が必要となるため、システムおよびそれにかかるコストが増大することになる。

本発明は上記のような問題点を解決することを目的とする。

この様な問題を解決するため、本発明においては、外部から入力される符号化された動画像信号に復号処理を施し、再生画像を出力する装置において、入力される符号化動画像信号の一部の画面を復号化して復号化画像信号を作成する復号化手段と、前記復号化手段により作成された前記復号化画像信号を再度符号化して符号化画像信号を作成する符号化手段と、前記符号化手段により符号化された符号化画像信号を利用し、あらたに符号化ストリームを再構成する再構成手段と、前記再構成手段によって再構成された符号化ストリームを蓄積する蓄積手段と、前記蓄積手段によって蓄積された符号化ストリームを特定の処理単位ごとに抽出する抽出手段と、前記抽出手段によって抽出された前記処理単位を適切な順序に変換し、逆方向再生処理単位を作成する変換手段と、順方向再生もしくは逆方向再生を選択する再生方向選択手段とを有し、前記符号化ストリームを順方向再生する場合には、前記抽出手段によって抽出された処理単位ごとにそのまま復号処理を施すことで再生画像を得、前記符号化ストリームを逆方向再生する場合には、前記変換手段によって一度変換された前記逆方向再生処理単位ごとに復号処理を施すことで逆方向再生画像を得る構成とした。

本発明によれば、入力される符号化動画像の一部符号化画像を再符号化することにより、共通の符号化動画像データで順方向再生および逆方向再生が可能である符号化動画像再生装置を実現することができる。

以下、図面を用いて本発明の実施の形態について詳細に説明する。

図１は、本発明の実施の形態に係わる符号化動画像再生装置１０１の全体構成を示すブロック図である。符号化動画像６０１が符号化動画像再生装置１０１に入力され、一連の復号処理が施された後、表示装置１１０へ復号化画像が出力されることで再生出力を得ることになる。本発明の実施の形態は、符号化動画像に処理を施し、あらたな符号化動画像として蓄積器１０６へ蓄積する操作と、蓄積された符号化動画像を蓄積器１０６から読み出した後、所定の再生方向で再生する操作の二つにわけて実施される。以下、操作ごとに説明を行うこととする。

符号化動画像６０１を蓄積器１０６へと蓄積するまでの操作について説明する。まず、符号化動画像６０１が符号化動画像再生装置１０１内の符号化動画像解析器１０２に入力される。符号化動画像解析器１０２では入力された符号化動画像５０１を、符号化画像の種類（Ｉピクチャ・Ｐピクチャ・Ｂピクチャ）ごとに解析する。解析された符号化画像はピクチャ単位で分離され、そのうちのＩピクチャおよびＰピクチャは復号器１０３へと出力される。またＢピクチャは符号化されたまま、１０５のストリーム再構成器へ出力される。

復号器１０３へ出力されたＩピクチャおよびＰピクチャは、復号器１０３で復号される。ここで復号された復号画像はイントラ符号化器１０４へ出力され、Ｉピクチャに再符号化される。本来、Ｉピクチャへ再符号化する必要があるのはＰピクチャのみであるが、ＧＯＰ内においてＰピクチャを復号するためにはＩピクチャの復号化画像が必要であるため、復号器１０３においてＩピクチャも復号を行う。ただし元々Ｉピクチャであった符号化画像のイントラ符号化器１０４における再符号化は必要ない。イントラ符号化器１０４より送出されたＩピクチャはストリーム再構成器１０５へ出力される。

ストリーム再構成器１０５では、符号化動画像解析器１０２から直接送られてくるＢピクチャと、イントラ符号化器１０４から送られてくるＩピクチャを符号化画像のまま符号化動画像のストリームに再構成する。符号化動画像が再構成される様子を図２の（ａ）〜（ｃ）に示す。

図２（ａ）は１ＧＯＰの順方向再生出力の順序を示している。各ピクチャにつけられている番号がそのまま再生出力順を示している。Ｂピクチャの予測の双方向性により、この出力順と符号化動画像順は一致しておらず、符号順は図２（ｂ）に示される順序となる。したがって、図１の符号化動画像６０１は、図２（ｂ）に示される順序のＧＯＰによって構成されていることになる。

上記一連の操作では図２（ｂ）に示される符号化動画像を図２（ｃ）に示される符号化動画像に再構成する操作が行われる。ＰピクチャをすべてＩピクチャに再符号化し、再符号化されたＩピクチャをＰピクチャの挿入されていた位置にそのまま置き換える操作が行われるということになる。

ストリーム再構成器１０５によって再構成された符号化動画像は蓄積器１０６へＧＯＰを単位として蓄積される。以上が入力された符号化動画像に再符号化処理を施し、蓄積するまでの操作となる。

次に蓄積器１０６に蓄積された符号化画像を所定の再生方向で再生するまでの操作について説明する。まず、復号装置１０１へ順方向再生か逆方向再生かを示す再生方向制御信号６０３が入力される。再生方向制御信号６０３は再生方向選択器１０７に入力され、同様の信号が復号器１０３、およびＧＯＰ抽出器１０８へも出力される。ＧＯＰ抽出器１０８へ送られた信号をもとに、蓄積器１０６から適切な符号化動画像が抽出される。抽出はＧＯＰごとに行われるが、再生方向によりその抽出のされ方は異なっている。

図４にその抽出の仕方を示す。４０１は蓄積媒体上の符号化動画像である。順方向再生が再生方向選択器１０７で選択された場合は、図４において、番号０のＧＯＰから番号３のＧＯＰというように、元々の符号化動画像の順序でＧＯＰごとに抽出される。逆方向再生が選択された場合は、番号３のＧＯＰから番号０のＧＯＰというように、順方向再生と逆の順でＧＯＰが蓄積媒体から抽出される。これは逆方向再生の場合は過去のＧＯＰから順に読み出すことが必要となるからである。

ＧＯＰ抽出器１０８によって抽出されたＧＯＰは、再生方向選択器１０７によって、順方向再生を行う場合と、逆方向再生を行う場合とに振り分けられることになる。順方向再生が選択されていた場合、抽出されたＧＯＰはそのまま６０４の順方向ＧＯＰとして復号器１０３へ送出される。逆方向再生が選択されている場合は、抽出されたＧＯＰはＧＯＰ変換器１０９へと送出され、ＧＯＰごとに変換処理が施された後６０５の逆方向ＧＯＰとなる。

ここでＧＯＰ変換器１０９において行われる変換処理後のＧＯＰを図２の（ｄ）に示す。図２（ｃ）に示されるＧＯＰが図２（ｄ）となるよう変換が施されることになる。この変換は符号化画像単位で行われ、ＩピクチャおよびＢピクチャのＧＯＰ内における入れ替え操作が施されるということになる。

逆方向ＧＯＰ６０５を復号器１０３へ送出し、復号処理が施されることで、図２（ｅ）に示される逆方向再生出力が得られるが、逆方向再生を復号器１０３で復号する場合、参照フレームを順方向再生と逆にする必要がある。これについて図３に示す。

図３（ａ）は順方向再生について示しており、再生順序は番号０からということになる。番号１のＢピクチャの前方向参照画像が番号０のＩピクチャであり、後方向参照画像が番号３のＩピクチャとなっている。これを逆再生する場合、図３（ｂ）に示すように再生順序は番号３からということになるが、このとき参照フレームを逆にしないで復号を行おうとすると、番号１のＢピクチャの前方向参照画像が番号３のＩピクチャとなってしまうため、正しい復号画像を得られないことになる。したがって、逆方向再生を行う場合は復号器で参照フレームを逆にする操作が必要となり、再生方向選択器１０７から復号器１０３へと送られる再生方向を示す信号を利用してこれを行う。以上が蓄積された符号化動画像を再生するまでの操作であり、入力から蓄積までの操作とあわせて実施することで、共通の符号化動画像から順方向再生および逆方向再生可能となる符号化動画像再生装置を実現できる。

本発明の実施の形態に係わる符号化動画像再生装置の構成を示すブロック図である。 本発明の実施の形態に係わる、ＧＯＰの再符号化および変換処理を示す図である。 順方向再生と逆方向再生の参照画像の相違を示す図である。 順方向再生と逆方向再生の抽出方法の相違を示す図である。 符号化動画像の出力順を示す図である。

Claims (6)

1. 外部から入力される符号化された動画像信号に復号処理を施し、再生画像を出力する装置において、
   入力される符号化動画像信号の一部の画面を復号化して復号化画像信号を作成する復号化手段と、
   前記復号化手段により作成された前記復号化画像信号を再度符号化して符号化画像信号を作成する符号化手段と、
   前記符号化手段により符号化された符号化画像信号を利用し、あらたに符号化ストリームを再構成する再構成手段と、
   前記再構成手段によって再構成された符号化ストリームを蓄積する蓄積手段と、
   前記蓄積手段によって蓄積された符号化ストリームを特定の処理単位ごとに抽出する抽出手段と、
   前記抽出手段によって抽出された前記処理単位を適切な順序に変換し、逆方向再生処理単位を作成する変換手段と、
   順方向再生もしくは逆方向再生を選択する再生方向選択手段とを有し、
   前記符号化ストリームを順方向再生する場合には、前記抽出手段によって抽出された処理単位ごとにそのまま復号処理を施すことで再生画像を得、前記符号化ストリームを逆方向再生する場合には、前記変換手段によって一度変換された前記逆方向再生処理単位ごとに復号処理を施すことで逆方向再生画像を得ることを特徴とする信号処理装置。
2. 前記復号化手段によって復号化される符号化画像は、イントラ符号化画像および前方向予測符号化画像であり、前記復号化手段によって復号化された復号化画像は、前記符号化手段によってイントラ符号化画像に符号化され、前記符号化手段によって符号化されたイントラ符号化画像は、前記符号化画像と等しい位置に前記再構成手段により置き換えられることで前記符号化ストリームを得ることを特徴とする請求項１記載の信号処理装置。
3. 前記抽出手段は、前記再生方向選択手段によって選択された再生方向に基づき、適切な前記処理単位を抽出することを特徴とする請求項１記載の信号処理装置。
4. 前記変換手段は、前記抽出手段によって抽出された処理単位のうち、前記再生方向選択手段によって、再生方向が逆方向再生に指定されていた場合に、前記逆方向再生処理単位へ前記符号化ストリームのまま変換することを特徴とする請求項１記載の信号処理装置。
5. 前記再生方向選択手段は、外部からの再生方向制御信号をうけて再生方向を選択し、それに基づき前記抽出手段によって抽出された前記処理単位を、前記変換手段に送出するかどうかを制御することを特徴とする請求項１記載の信号処理装置。
6. 前記復号化手段は、更に、前記蓄積手段から再生された符号化ストリームを復号処理することを特徴とする請求項１記載の信号処理装置。

Images