JP2010193131A - 動画像復号方法及び動画像復号装置 - Google Patents

Abstract

【課題】ストリームデータに基づく特殊再生を違和感無く滑らかに行う。
【解決手段】動画像復号装置（２０）は、ストリームバッファ（１１）を介して取り込まれたストリームデータを復号可能な復号処理部（１８）と、復号されたピクチャを保持可能なフレームメモリ（１６）と、上記ストリームバッファ及び上記フレームメモリの動作を制御するコントローラ（１７）とを含む。上記コントローラ（１７）は、動画構成の最小単位（ＧＯＰ）において復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御する機能を含む。特殊再生が行われる場合に、ＧＯＰにおいて復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャが選択されて表示制御されることにより、特殊再生を違和感無く滑らかに行うことができる。
【選択図】図１

Description

本発明は、動画像復号方法及び動画像復号装置に係り、特にストリームデータに基づく特殊再生を視覚的に違和感無く滑らかに行うための技術に関する。

動画像の再生を可能とする動画像復号装置は、例えばストリーム供給装置、ストリームバッファ、動画像復号装置、及びフレームバッファを含む。ストリーム供給装置は、ＭＰＥＧ（Moving Picture Experts Group）などのストリームデータを供給する。ストリーム供給装置によって供給されたストリームデータは、ストリームバッファに格納される。動画像復号装置は、１画面のデータであるピクチャ単位でストリームバッファからデータを引き抜き、それの復号処理を行う。復号結果はフレームメモリバッファに格納される。このような動画像復号装置の機能として、動画像再生の早送り、早戻し、コマ送り、コマ戻し、１．３倍速再生などの特殊再生機能が挙げられる。

ＭＰＥＧでは参照画像を用いず画像内で圧縮された画像をＩピクチャ、時間軸上の過去の参照画像を用いて圧縮される画像をＰピクチャ、時間軸上の過去の参照画像と未来の参照画像を用いて圧縮される画像をＢピクチャと称される。また、Ｉピクチャ、Ｐピクチャ、Ｂピクチャは符号化タイプと呼ばれる。ＩピクチャとＰピクチャは参照画像として利用されるが、Ｂピクチャは参照画像とはならない。

ストリームデータは、単独で復号可能なＩピクチャと、他のピクチャの画像データを参照して復号するＰピクチャ、Ｂピクチャの羅列から成る。また、ＭＰＥＧにおいて定められている動画を構成している最小の単位構造をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と呼び、ＧＯＰの先頭に１つ、Ｉピクチャが含まれる構成が一般的である。

動画像復号装置において、通常の順方向の再生処理を行う場合は、ストリームデータを順次、順方向に復号処理を行う。２倍速などの特殊再生を行う場合は、他のピクチャの復号に影響しないＢピクチャあるいはＰピクチャを復号しないことで、例えば３０ピクチャの画像から１５ピクチャを選び、半分の時間で復号処理を行い、２倍速再生を実現することが可能となる。

ストリームデータのビットレート（データ量／時間）をＲｓとすると、通常の順方向再生を行うためには、ストリームデータの入力転送速度Ｒｘは、Ｒｓ以上の転送速度が必要となる。また、２倍速の特殊再生においては、倍の速度でストリームバッファ２００にデータ供給する必要があり、Ｒｘは、２×Ｒｓ以上の転送速度が必要となる。

Ｒｘが２×Ｒｓ以上の処理性能を持たずに２倍速の特殊再生を行う場合には、Ｉピクチャのみをストリームバッファに格納し、Ｉピクチャのみ復号処理を行うことで、より小さな転送速度で特殊再生を実現していた。これは、Ｉピクチャの位置はＧＯＰの先頭であり、ランダムアクセス可能であるようにその位置のリストをメタデータとして保有していることを利用している。

また、特許文献１によれば、全てのストリームデータを復号処理する性能を持たないシステムにおいて、ストリームデータを全て復号化するのではなく、そのうちの一部または全て（具体的にはＩピクチャ、及び後続する所定数のＰピクチャ）を簡易再生フレームとして抽出し復号することで、より短い時間で復号化処理を行っている。

特開２００４−３２８５１１号公報

上記従来技術について本願発明者が検討したところ、以下のような課題が見いだされた。

上記のように、Ｒｘが２×Ｒｓ以上の処理性能を持たずに２倍速の特殊再生を行う場合に、Ｉピクチャのみをストリームバッファに格納し、Ｉピクチャのみ復号処理を行うことで、より小さな転送速度で特殊再生を実現するシステムでは、一般的にIピクチャ間隔は長いため、表示するピクチャの数は少ない。このため、見た目の２倍速をＩピクチャの復号のみで実現するにはＩピクチャをしばらくの時間表示し続ける必要がある。そのような表示は、見た目の綺麗さ、及び滑らかさに欠けることが考えられる。

また、特許文献１記載の技術によれば、単にＩピクチャ及び後続する所定数のＰピクチャを復号すると、ＧＯＰの中のピクチャデータのうち、前半にあるもののみ復号するため、複数のＧＯＰを連続で再生した場合、滑らかに見えないことが考えられる。さらに一定間隔で並べられたピクチャではないため、フレームレートの高い部分と低い部分とが頻繁に切り替わった場合、視覚的に違和感を覚えることが予想される。

本発明の目的は、ストリームデータに基づく特殊再生を違和感無く滑らかに行うための技術を提供することにある。

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、ストリームデータを取り込むためのストリームバッファと、上記ストリームバッファを介して取り込まれたストリームデータを復号可能な復号処理部と、復号されたピクチャを保持可能なフレームメモリと、上記ストリームバッファ及び上記フレームメモリの動作を制御するコントローラ（１７）とを含んで動画像復号装置が構成される。このとき、上記コントローラは、動画構成の最小単位（ＧＯＰ）において復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御する機能を含む。このような構成によれば、特殊再生が行われる場合に、ＧＯＰにおいて復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャが選択されて表示制御されることにより、ストリームデータに基づく特殊再生を違和感無く滑らかに行うことができるようになる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。

すなわち、本発明によれば、ストリームデータに基づく特殊再生を違和感無く滑らかに行うことができる。

本発明にかかる動画像復号装置における主要部の構成例ブロック図である。 上記動画像復号装置の全体的な構成例ブロック図である。 表示間隔を考慮した表示ピクチャ選択の説明図である。 上記動画像復号装置において静的なピクチャ選択が行われる場合の復号処理のフローチャートである。 上記動画像復号装置において動的なピクチャ選択が行われる場合の復号処理のフローチャートである。 ストリームデータのピクチャ構造の説明図である。 動画像復号処理におけるピクチャ選択の説明図である。 動画像復号処理におけるピクチャ選択の説明図である。 動画像復号処理におけるピクチャ選択の説明図である。

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態に係る動画像復号方法は、ストリームバッファ（１１）と、復号処理部（１８）と、フレームメモリ（１６）と、コントローラ（１７）とを含む動画像復号装置（２０）を用いて次のように行われる。

上記ストリームバッファは、ストリームデータを取り込む。上記復号処理部は、上記ストリームバッファを介して取り込まれたストリームデータを復号する。上記フレームメモリは、上記復号処理部により復号されたピクチャを保持する。上記コントローラは、上記ストリームバッファ及び上記フレームメモリの動作を制御することにより、動画構成の最小単位において復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御する。

ストリームデータは、例えば図６に示されるように、単独で復号可能なＩピクチャと、他のピクチャの画像データを参照して復号するＰピクチャ、Ｂピクチャの羅列から成る。また、ＭＰＥＧにおいて定められている動画を構成している最小の単位構造であるＧＯＰの先頭に１つ、Ｉピクチャが含まれる。通常の順方向の再生処理を行う場合はこのストリームデータを順次、順方向に復号処理が行われる。２倍速などの特殊再生を行う場合は、後述するように、コントローラ（１７）により、ＧＯＰ内で表示間隔を考慮した上記ピクチャ選択制御が行われる。

図６において、１ＧＯＰの入力転送時間（ビットレート×１ＧＯＰのビット量）をｔとすると、２倍速の場合、１ＧＯＰを転送するために必要な時間はｔ／２である。Ｒｘが２×Ｒｓより小さい場合、時間ｔ／２の間にストリームバッファ２００に蓄積できるピクチャは、図７に示されるように、１ＧＯＰの途中までしか転送できない。ここで、途中までしか転送及び復号できなかったピクチャの中で、Ｉピクチャのみではなく、図７の破線矢印のようにピクチャ間がほぼ等間隔になるＰピクチャを選択し、表示を行う。図７では、３０ピクチャが含まれるＧＯＰにおいて、１９ピクチャ目までしか転送できなかったため、先頭のＩピクチャと、１５枚目のＰピクチャを選択し、表示している。Ｉピクチャのみを表示する場合と比較して、表示のフレームレートが上がり、見た目を滑らかにすることが可能となる。

例えばｔが１秒であれば、２倍速再生をＩピクチャのみで行うと２ｆｐｓ（ｆｒａｍｅ／ｓｅｃ）であるが、図７に示されるようにＩピクチャ間のＰピクチャも表示すれば、４ｆｐｓとなる。さらに蓄積できたピクチャ数が多い場合は、図８に示されるように、よりフレームレートを上げることも可能である。

図９には、ＧＯＰ長が異なる場合の表示ピクチャ選択方法が示される。ＧＯＰ長は各ＧＯＰ毎に異なる場合がある。図９では、ＧＯＰ３００〜３０３は、互いにＧＯＰ長が異なる。

ＧＯＰ３００において、実施例同様に、転送・復号したピクチャの中から、初めのＩピクチャ及び、ＧＯＰ長である１５を２で割った、８番目付近のＰピクチャを出力している。このとき、表示間隔を８と設定する。次のＧＯＰ３０１において、ＧＯＰ長は８であり、表示間隔と変わらないため、初めのＩピクチャしか出力しない。さらに次のＧＯＰ３０２のＧＯＰ長は３０と長い。表示間隔を守るためには初めのＩピクチャ及び表示間隔ごとに３枚のＰピクチャを出力することが望ましいが、３枚目のＰピクチャは性能的に復号できなかったため、２枚のＰピクチャのみを出力している。

このように、システムの処理性能に応じた表示間隔を設定し、ＧＯＰ長の異なるＧＯＰ間の再生においても、表示間隔を守るよう表示ピクチャを選択する。表示間隔の設定については、ストリームの復号開始前に予めＧＯＰの最大長が求められているのであれば、その値とストリームのビットレート、システムの処理性能から、表示間隔を設定してもよい。そのような表示によれば、連続したＧＯＰの長さが互いに異なる場合においても、見た目に違和感のない滑らかな再生が可能となる。

〔２〕本発明の代表的な実施の形態に係る動画像復号装置（２０）は、ストリームバッファ（１１）を介して取り込まれたストリームデータを復号可能な復号処理部（１８）と、復号されたピクチャを保持可能なフレームメモリ（１６）と、上記ストリームバッファ及び上記フレームメモリの動作を制御するコントローラ（１７）とを含む。上記コントローラ（１７）は、動画構成の最小単位（ＧＯＰ）において復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御する機能を含む。

かかる構成によれば、特殊再生が行われる場合に、ＧＯＰにおいて復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャが選択されて表示制御されることにより、ストリームデータに基づく特殊再生を違和感無く滑らかに行うことができるようになる。

〔３〕上記〔２〕において、上記コントローラは、ＭＰＥＧにおける非参照ピクチャ（Ｂピクチャ）も含めて表示ピクチャを選択する第１制御モード、又はＭＰＥＧにおける参照ピクチャ（Ｉピクチャ、Ｐピクチャ）のみを表示ピクチャとして選択する第２制御モードを含んで構成することができる。第１制御モードは、時間方向の一定性を重視する場合に適しており、第２制御モードは、高画質を重視する場合に適している。

〔４〕上記〔２〕において、上記コントローラは、動画構成の最小単位が複数個連続して取り込まれる場合において、上記動画構成の最小単位毎に、復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御する機能を含んで構成することができる。

〔５〕上記〔２〕において、上記コントローラは、上記動画構成の最小単位の構造及び処理可能なピクチャ数が静的に判明している場合に、上記動画構成の最小単位において適切な表示間隔が予め設定されるレジスタを含み、上記レジスタの設定内容に従って復号ピクチャ及び表示ピクチャを選択する機能を含んで構成することができる。

〔６〕上記〔２〕において、上記コントローラは、上記動画構成の最小単位間で共通の表示間隔が予め設定されるレジスタを含んで構成することができる。それにより上記コントローラは、上記動画構成の最小単位の構造や処理可能なピクチャ数が不明の場合、上記レジスタに従って表示ピクチャの選択を行い、さらに、処理を終えた上記動画構成の最小単位の構造及び処理可能なピクチャ数を用いて上記共通の表示間隔を更新する。

２．実施の形態の詳細
実施の形態について更に詳述する。

図２には、本発明にかかる動画像復号装置の全体的な構成例が示される。

図２に示される動画像復号装置２０は、光ディスク２１に記録されているストリームデータを読み取り可能な光ディスクドライブ装置２２、上記光ディスクドライブ装置２２によって読み取られたＭＰＥＧなどのストリームデータをデコードするためのデコーダ２３、上記デコーダ２３での復号結果に基づいて動画像表示を可能とするモニタ２４を含む。

図１には、上記デコーダ部２３の構成例が示される。

上記デコーダ２３は、ストリームバッファ１１、復号処理部１８、フレームメモリ１６、及びコントローラ１７を含み、公知の半導体集積回路製造技術により、単結晶シリコン基板などの一つの半導体基板に形成される。上記復号処理部１８は、入力されたストリームデータを復号する機能を有し、特に制限されないが、可変長デコード部１２、逆量子化部１３、逆ＤＣＴ部１４、及び動き補償部１５を含む。ストリームバッファ１１には、上記光ディスクドライブ装置２２によって読み取られたストリームデータ（図６参照）が入力ノード（Ｉｎｐｕｔ）を介して取り込まれる。可変長デコード部１２は、上記ストリームバッファ１１に取り込まれた可変長ストリームデータをデコードすることで量子化係数を得る。逆量子化部１３は、上記可変長デコード部１２で得られた量子化係数に対して逆量子化処理を施す。逆ＤＣＴ部１４は、上記逆量子化部１３で逆量子化処理が施されたデータに対して逆離散コサイン変換処理が施される。さらに動き補償部１５では、上記逆ＤＣＴ部１４の出力データに対して動き補償が行われる。この動き補償により、ＰピクチャやＢピクチャが得られる。復号されたピクチャは、フレームメモリ１６から出力ノード（Ｏｕｔｐｕｔ）を介してモニタ２４に出力される。ここで、可変長デコード部１２、逆量子化部１３、逆ＤＣＴ部１４、及び動き補償部１５は、ハードウェアにより形成され、ストリームバッファ１１にストリームデータが取り込まれると、当該ストリームデータが処理されてフレームメモリ１６にピクチャが形成される。コントローラ１７は、例えば所定のプログラムを実行する中央処理装置（ＣＰＵ）によって構成され、ストリームバッファ１１及びフレームメモリ１６のリード・ライト動作を制御する。このストリームバッファ１１及びフレームメモリ１６のリード・ライト動作制御により、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）内で表示間隔を考慮したピクチャ選択制御が行われる。また、上記コントローラ１７には、各種情報を設定可能なレジスタＲｅｇが設けられており、上記ピクチャ選択制御において、レジスタＲｅｇの設定情報が必要に応じて参照されるようになっている。レジスタＲｅｇが揮発性の場合、システムの電源投入によるリセット処理において、適宜の不揮発性記憶装置に格納されている情報に基づいて上記レジスタＲｅｇの初期設定が行われるように構成することができる。

ここで、ＧＯＰ内で表示間隔を考慮した上記ピクチャ選択制御について説明する。

早送りなどの特殊再生においては、例えば図３に示されるように、ＧＯＰにおいて復号できたピクチャのうち全てを表示するのではなく、そのうちピクチャの表示間隔がより等しくなるようなピクチャが選択され、それがモニタ２４に表示される。

ＧＯＰで構成されるピクチャ群を早送りなどの特殊再生を行うために間引いて再生する場合、システムの処理能力不足（バス転送速度、復号速度など）により、全てのピクチャを復号できないことが多い。例えば図３に示されるように、元のストリームのＧＯＰ構造に対し、後半のピクチャが時間不足により復号できないことがある。このような場合に、復号できたピクチャ全てを表示すると、復号できなかったピクチャのところのみ時間的に欠落した映像となり、滑らかに見えないことが考えられる。そこで、復号できなかったピクチャ数を考慮し、ＧＯＰ内において表示間隔がより一定になるよう表示ピクチャを選択することにより、滑らかに見えるようにする。例えば、ＧＯＰの長さ（ピクチャ数）をＬｅｎ、復号できたピクチャ数をＤｏｎｅ、表示間隔をＴとした時、次式（１），（２）が成立するようなＴを選択すると、最も滑らかに表示を行うことが可能である。尚、表示するピクチャ数及びＴにおいて、小数点以下は切り捨てられる。

表示するピクチャ数＝Ｌｅｎ／（Ｌｅｎ−Ｄｏｎｅ） …（１）
Ｔ＝Ｌｅｎ／表示するピクチャ数 …（２）
一般的にピクチャは、他から参照される参照ピクチャと、他から参照されない非参照ピクチャとに分かれ、参照ピクチャのほうがより高画質である。また、非参照ピクチャは表示処理を行わないのであれば、復号する必要はない。

表示ピクチャ選択において、時間方向の一定性を重視するのであれば非参照ピクチャ（Ｂピクチャ）も含めて表示ピクチャを選択し、１枚の絵としての高画質性を重視するのであれば参照ピクチャ（Ｉピクチャ、Ｐピクチャ）のみを表示ピクチャとして選択するのが望ましい。非参照ピクチャも含めて表示ピクチャを選択する第１制御モードと、参照ピクチャのみを表示ピクチャとして選択する第２制御モードとは、コントローラ１７の制御機能として、適宜に選択可能とされる。

ＧＯＰ内で表示間隔を考慮したピクチャ選択において、表示間隔がより等しくなるよう表示ピクチャを選択するには、参照／非参照に関わらずピクチャを選択する必要がある。しかし、その近辺の参照ピクチャのみを選択すれば、より高画質な画像を出力できる。また、参照ピクチャのみを出力する場合は、非参照ピクチャを復号する必要が無いため、予めＧＯＰ内のピクチャの参照／非参照が判明している場合は、参照ピクチャのみを復号し、ＧＯＰ内で表示間隔を考慮したピクチャ選択を行うことで、より多くの表示ピクチャを得ることが可能となる。

次に、表示間隔を考慮したピクチャ選択を連続したＧＯＰにおいて行う場合について説明する。

復号するストリームは連続したＧＯＰから成るため、上記表示ピクチャ選択処理は各ＧＯＰ毎に行われる。一般的に各ＧＯＰにおいてその長さ（ピクチャ数）や処理可能なピクチャ数に差はほとんど無いため、連続して滑らかな表示画像を得ることが可能である。表示内容を考慮したピクチャ選択においては、静的なピクチャ選択と動的なピクチャ選択とを挙げることができる。

先ず、連続したＧＯＰ間で表示間隔を考慮した静的なピクチャ選択につて説明する。

各ＧＯＰの構造及び処理可能なピクチャ数が静的に判明している場合、全ＧＯＰにおいて適切な表示間隔を予め定めておき、それに従って復号ピクチャ及び表示ピクチャを選択するようにコントローラ１７を構成することができる。全ＧＯＰにおいて適切な表示間隔情報は、レジスタＲｅｇに設定される。全ＧＯＰにおいて適切な表示間隔は、コントローラ１７内のレジスタに設定され、復号ピクチャ及び表示ピクチャの選択の際に、当該レジスタの設定内容が参照される。

予め各ＧＯＰの構造や処理可能なピクチャ数が判明している場合、処理開始前に、全ＧＯＰを通して適切な表示間隔を定めることが可能である。また、表示ピクチャを定めれば、その表示ピクチャの復号に必要なピクチャのみをストリームバッファ１１に取り込めばよいため、必要なピクチャをより多く復号することが可能である。

図４には、この場合のピクチャ選択処理の流れが示される。

先ず、コントローラ１７により、ＧＯＰ長とピクチャ構造が取得され（４０１）、それに基づいて、表示するピクチャが決定される（４０２）。そして、コントローラ１７により、光ディスクドライブ装置２２から出力されたストリームデータが復号に必要なピクチャか否かの判別が行われる（４０３）。この判別において、表示するピクチャまたは表示するピクチャに参照されるピクチャである（ＹＥＳ）と判断された場合には、コントローラ１７の制御下で当該ストリームデータがストリームバッファ１１に取り込まれ、可変長デコード部１２、逆量子化部１３、逆ＤＣＴ部１４、動き補償部１５により復号される。さらに復号されたピクチャがモニタ２４に表示するピクチャか否かの判別がコントローラ１７で行われる（４０５）。この判別において、表示するピクチャである（ＹＥＳ）と判断された場合、当該ピクチャは、コントローラ１７の制御下でフレームメモリ１６からモニタ２４に伝達されて表示される（４０６）。また、上記ステップ４０５の判別において、表示するピクチャではない（ＮＯ）と判断された場合、当該ピクチャは、フレームメモリ１６からモニタ２４に伝達されない（４０７）。そして、当該ＧＯＰの復号処理を終了するか否かの判別が行われる（４０８）。この判別において、当該ＧＯＰの復号処理を終了する（ＹＥＳ）と判断された場合、すなわち、復号処理に時間的な余裕がない、又は当該ＧＯＰにおける最後のピクチャが復号された場合には、当該ＧＯＰの復号処理は終了される。また、上記ステップ４０８の判別において、当該ＧＯＰの復号処理を終了しない（ＮＯ）と判断された場合、すなわち、復号の処理に時間的な余裕があり、且つ、当該ＧＯＰにおける最後のピクチャが未だ復号されていないと判断された場合には、上記ステップ４０３の判別に戻され、次のＧＯＰにおけるピクチャについての復号が行われる。

尚、全ＧＯＰを通して適切な表示間隔を定めるには、ＧＯＰ間でできるだけ共通な値の表示間隔を定めたほうが良い。表示間隔を短くすればより滑らかな映像を得られるが、ピクチャ数の多いＧＯＰでは処理性能が足りず、表示間隔を守れないピクチャがあり得る。

次に、連続したＧＯＰ間で表示間隔を考慮した動的なピクチャ選択について説明する。

各ＧＯＰの構造や処理可能なピクチャ数が不明の場合、各ＧＯＰ間で共通の表示間隔を定めそれに従って表示ピクチャの選択を行い、また、処理を終えたＧＯＰの構造や処理可能なピクチャ数を用いて共通の表示間隔を更新するようにコントローラ１７を構成することができる。各ＧＯＰ間で共通の表示間隔は、コントローラ１７内のレジスタＲｅｇに設定される。

ＧＯＰの構造や処理可能なピクチャ数は、実際にそのＧＯＰを全て復号しなければ判明しない。また、ＧＯＰの処理可能なピクチャ全てを復号してから表示ピクチャを選択するとフレームメモリ１６が多く必要であるため、ピクチャを復号する毎に表示すべきかどうかの判定が必要である。

ストリームの初めのＧＯＰにおいては、経験則あるいは初めのＧＯＰのみ構造を先読みするなどして、表示間隔の初期値を定める。この初期値はコントローラ１７内のレジスタＲｅｇに設定される。以降、その表示間隔に従って、復号したピクチャの中から表示すべきピクチャを選択し、表示を行う。しかし、ＧＯＰ間で同じ表示間隔を用いていると、ＧＯＰの長さ（ピクチャ数）が大きく変化した時に、滑らかな映像を得ることができなくなる。そこで、表示間隔を動的に更新する。既に復号を行ったＧＯＰはその長さや処理可能なピクチャ数が判明しているため、その情報を用いて更新することができる。例えば、現在の表示間隔と、1つ前のＧＯＰにおけるピクチャ選択で求められる表示間隔との差が大きいものであれば、表示間隔を後者の値に更新する。

図５には、この場合のピクチャ選択処理の流れが示される。

先ず、コントローラ１７において、光ディスクドライブ装置２２から出力されたストリームデータが、ストリーム初めのＧＯＰか否かの判別が行われる（５０１）。この判別において、ストリーム初めのＧＯＰである（ＹＥＳ）と判断された場合には、表示間隔Ｔが、予め定められた初期値に設定され（５０２）、ピクチャの復号が行われる（５０５）。しかし、上記ステップ５０１の判別において、ストリーム初めのＧＯＰではない（ＮＯ）と判断された場合には、さらにコントローラ１７において、表示間隔Ｔと前のＧＯＰの適切な表示間隔とが大きく異なるか否かの判別が行われる（５０３）。この判別において、大きく異なる（ＹＥＳ）と判断された場合には、表示間隔Ｔが更新され（５０４）、ピクチャの復号が行われる（５０５）。また、上記ステップ５０３の判別において、大きく異ならない（ＮＯ）と判断された場合には、表示間隔Ｔの更新が行われることなく、ピクチャの復号が行われる（５０５）。そして、復号されたのが、ＧＯＰ初めのピクチャ、又は非表示間隔ｇが表示間隔Ｔ以下であるか否かの判別が行われる（５０６）。この判別において、ＧＯＰ初めのピクチャである、又は非表示間隔ｇが表示間隔Ｔ以下である（ＹＥＳ）と判断された場合には、復号されたピクチャがコントローラ１７の制御下でフレームメモリ１６からモニタ２４に伝達されて表示され（５０７）、非表示ピクチャ間隔ｇが１に初期化される（５０８）。しかし、上記ステップ５０６において、ＧＯＰ初めのピクチャではなく、しかも非表示間隔ｇが表示間隔Ｔ以下ではない（ＮＯ）と判断された場合には、当該ピクチャは表示する必要がないため、モニタ２４に表示されない（５０９）。この場合、非表示間隔ｇがインクリメントされる（５１０）。インクリメントされた非表示間隔ｇは、次のピクチャ選択に使用される。そして、当該ＧＯＰの復号処理を終了するか否かの判別が行われる（５１１）。この判別において、当該ＧＯＰの復号処理を終了する（ＹＥＳ）と判断された場合、すなわち、復号処理に時間的な余裕がない、又は当該ＧＯＰにおける最後のピクチャが復号された場合には、当該ＧＯＰの復号処理は終了される。また、上記ステップ５１１の判別において、当該ＧＯＰの復号処理を終了しない（ＮＯ）と判断された場合、すなわち、復号の処理に時間的な余裕があり、且つ、当該ＧＯＰにおける最後のピクチャが未だ復号されていないと判断された場合には、上記ステップ５０５の処理に戻され、次のＧＯＰにおけるピクチャについての復号が行われる。

本実施の形態によれば、以下の作用効果を得ることができる。

（１）システムの処理性能に応じた表示間隔を設定し、それを守るよう表示ピクチャを選択することにより、見た目に違和感のない滑らかな再生が可能となる。

（２）表示ピクチャの選択において、時間方向の一定性を重視するのであれば非参照ピクチャも含めて表示ピクチャを選択し、１枚の絵としての高画質性を重視するのであれば参照ピクチャのみを表示ピクチャとして選択することができる。非参照ピクチャも含めて表示ピクチャを選択する第１制御モードと、参照ピクチャのみを表示ピクチャとして選択する第２制御モードとは、コントローラ１７の制御機能として、適宜に選択可能とされる。一般的にピクチャは、他から参照される参照ピクチャと、他から参照されない非参照ピクチャとに分かれ、参照ピクチャのほうがより高画質である。また、非参照ピクチャは表示処理を行わないのであれば、復号する必要はない。ＧＯＰ内で表示間隔を考慮したピクチャ選択において、表示間隔がより等しくなるよう表示ピクチャを選択するには、参照／非参照に関わらずピクチャを選択する必要がある。しかし、その近辺の参照ピクチャのみを選択すれば、より高画質な画像を出力できる。また、参照ピクチャのみを出力する場合は、非参照ピクチャを復号する必要が無いため、予めＧＯＰ内のピクチャの参照／非参照が判明している場合は、参照ピクチャのみを復号し、ＧＯＰ内で表示間隔を考慮したピクチャ選択を行うことで、より多くの表示ピクチャを得ることが可能となる。

（３）各ＧＯＰの構造及び処理可能なピクチャ数が静的に判明している場合、全ＧＯＰにおいて適切な表示間隔を予め定めておき、それに従って復号ピクチャ及び表示ピクチャの選択が行われる。全ＧＯＰにおいて適切な表示間隔情報は、レジスタＲｅｇに設定される。全ＧＯＰにおいて適切な表示間隔は、コントローラ１７内のレジスタに設定され、復号ピクチャ及び表示ピクチャの選択の際に、当該レジスタの設定内容が参照される。予め各ＧＯＰの構造や処理可能なピクチャ数が判明している場合には、処理開始前に、全ＧＯＰを通して適切な表示間隔を定めることが可能である。また、表示ピクチャを定めれば、その表示ピクチャの復号に必要なピクチャのみをストリームバッファ１１に取り込めばよいため、必要なピクチャをより多く復号することが可能である。

（４）各ＧＯＰの構造や処理可能なピクチャ数が不明の場合、各ＧＯＰ間で共通の表示間隔を定めそれに従って表示ピクチャの選択を行い、また、処理を終えたＧＯＰの構造や処理可能なピクチャ数を用いて共通の表示間隔が更新される。各ＧＯＰ間で共通の表示間隔は、コントローラ１７内のレジスタＲｅｇに設定される。ＧＯＰの構造や処理可能なピクチャ数は、実際にそのＧＯＰを全て復号しなければ判明しない。また、ＧＯＰの処理可能なピクチャ全てを復号してから表示ピクチャを選択するとフレームメモリ１６が多く必要であるため、ピクチャを復号する毎に表示すべきかどうかの判定が必要である。ストリームの初めのＧＯＰにおいては、経験則あるいは初めのＧＯＰのみ構造を先読みするなどして、表示間隔の初期値を定める。この初期値はコントローラ１７内のレジスタＲｅｇに設定される。以降、その表示間隔に従って、復号したピクチャの中から表示すべきピクチャを選択し、表示を行う。しかし、ＧＯＰ間で同じ表示間隔を用いていると、ＧＯＰの長さ（ピクチャ数）が大きく変化した時に、滑らかな映像を得ることができなくなるため、表示間隔が動的に更新される。既に復号を行ったＧＯＰはその長さや処理可能なピクチャ数が判明しているため、その情報を用いて更新することができる。例えば、現在の表示間隔と、1つ前のＧＯＰにおけるピクチャ選択で求められる表示間隔との差が大きいものであれば、表示間隔を後者の値に更新する。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えばＨ．２６４／ＡＶＣ，ＶＣ−１などの動画圧縮技術を用いたストリームデータを復号する場合にも本発明を適用することができる。

１１ ストリームバッファ
１２ 可変長デコード部
１３ 逆量子化部
１４ 逆ＤＣＴ部
１５ 動き補償部
１６ フレームメモリ
１７ コントローラ
１８ 復号処理部
２０ 動画像復号装置
２１ 光ディスク
２２ 光ディスクドライブ装置
２３ デコーダ
２４ モニタ

Claims (10)

1. ストリームバッファと、復号処理部と、フレームメモリと、コントローラとを含む動画像復号装置を用いた動画像復号方法であって、
   上記ストリームバッファは、ストリームデータを取り込み、
   上記復号処理部は、上記ストリームバッファを介して取り込まれたストリームデータを復号し、
   上記フレームメモリは、上記復号処理部により復号されたピクチャを保持し、
   上記コントローラは、上記ストリームバッファ及び上記フレームメモリの動作を制御することにより、動画構成の最小単位において復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御することを特徴とする動画像復号方法。
2. 上記コントローラは、ＭＰＥＧにおける非参照ピクチャも含めたピクチャ選択、又は参照ピクチャのみの選択を行う請求項１記載の動画像復号方法。
3. 上記コントローラは、動画構成の最小単位が複数個連続して取り込まれる場合において、上記動画構成の最小単位毎に、復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御する請求項１記載の動画像復号方法。
4. 上記コントローラは、上記動画構成の最小単位の構造及び処理可能なピクチャ数が静的に判明している場合に、上記動画構成の最小単位において適切な表示間隔が予め設定され、この設定内容に従って復号ピクチャ及び表示ピクチャを選択する請求項１記載の動画像復号方法。
5. 上記コントローラは、上記動画構成の最小単位の構造や処理可能なピクチャ数が不明の場合、上記動画構成の最小単位間で共通の表示間隔が予め設定され、この設定内容に従って表示ピクチャの選択を行い、さらに、処理を終えた上記動画構成の最小単位の構造及び処理可能なピクチャ数を用いて、上記共通の表示間隔を更新する請求項１記載の動画像復号方法。
6. ストリームデータを取り込むためのストリームバッファと、
   上記ストリームバッファを介して取り込まれたストリームデータを復号可能な復号処理部と、
   復号されたピクチャを保持可能なフレームメモリと、
   上記ストリームバッファ及び上記フレームメモリの動作を制御するコントローラと、を含み、
   上記コントローラは、動画構成の最小単位において復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御する機能を含んで成ることを特徴とする動画像復号装置。
7. 上記コントローラは、ＭＰＥＧにおける非参照ピクチャも含めて表示ピクチャを選択する第１制御モード、又はＭＰＥＧにおける参照ピクチャのみを表示ピクチャとして選択する第２制御モードを含む請求項６記載の動画像復号装置。
8. 上記コントローラは、動画構成の最小単位が複数個連続して取り込まれる場合において、上記動画構成の最小単位毎に、復号された複数の画像相互の表示間隔がほぼ等しくなるようにピクチャを選択して表示制御する機能を含む請求項６記載の動画像復号装置。
9. 上記コントローラは、上記動画構成の最小単位の構造及び処理可能なピクチャ数が静的に判明している場合に、上記動画構成の最小単位において適切な表示間隔が予め設定されるレジスタを含み、上記レジスタの設定内容に従って復号ピクチャ及び表示ピクチャを選択する機能を含む請求項６記載の動画像復号装置。
10. 上記コントローラは、上記動画構成の最小単位の構造や処理可能なピクチャ数が不明の場合、上記動画構成の最小単位間で共通の表示間隔が予め設定されるレジスタを含み、上記レジスタに従って表示ピクチャの選択を行い、さらに、処理を終えた上記動画構成の最小単位の構造及び処理可能なピクチャ数を用いて、上記共通の表示間隔を更新する機能を含む請求項６記載の動画像復号装置。

Images