JP2008016100A

JP2008016100A - 再生装置及び再生方法

Info

Publication number: JP2008016100A
Application number: JP2006184673A
Authority: JP
Inventors: Hirobumi Morimoto; 博文森本; Yuji Wada; 祐司和田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-07-04
Filing date: 2006-07-04
Publication date: 2008-01-24

Abstract

【課題】効率的に２倍速、３倍速等の特殊再生をすることができる再生装置及び再生方法を提供する。
【解決手段】ビットストリームのパケットヘッダを解析し、他の画像フレームの復号の際、参照される参照画像フレームであるか、又は参照されない非参照画像フレームであるかを判別する読み出し部１２と、所望の再生速度に応じて画像フレーム毎に復号命令又は復号スキップ命令を出力する再生制御手段２１と、復号スキップ命令の対象が参照画像フレームの場合、次の非参照画像フレームの復号をスキップする復号スキップフラグを生成するカウンタ２３と、参照画像フレームか非参照画像フレームかの情報と復号命令又は復号ステップ命令と復号スキップフラグとに基づいて画像フレームを復号する復号部２２とを備える。
【選択図】図１

Description

本発明は、ＭＰＥＧ１／２／４方式、ＩＴＵ−ＴＨ.２６４方式等に対応したビットストリームの再生装置及び再生方法に関するものである。

ＤＶＤ（Digital Versatile Disc）には、複数の映像、音声、字幕を記録するアプリケーションフォーマットとして、高能率符号化方式の一つであるＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐＰｈａｓｅ２）が採用されている。また、ＢＤ（Blu-ray Disc）には、さらに高い圧縮効率のＩＴＵ−ＴＨ.２６４方式が採用されている。

ここで、従来の再生装置におけるＭＰＥＧ１／２／４方式やＩＴＵ−ＴＨ.２６４方式に対応したビットストリームの特殊再生について説明する。

図７は、従来例として、特許文献１〜３に記載されたデコード装置１００の概要を示すブロック図である。再生制御部１０１は、２倍速、３倍速等の特殊再生命令を受信すると、所望の倍速再生になるようにデータ変換部１０３に指示を行い、データ変換部１０３にて、例えば、Iピクチャ（Intra-Picture）のみを抽出させ、変換されたビットストリームを復号部１０２にて復号処理することにより、２倍速、３倍速といった特殊再生を実現している。

また、図８は、特許文献４に記載されたデコード装置２００の概要を示すブロック図である。再生制御部２０１は、２倍速、３倍速等の特殊再生命令を受信すると、所望の倍速再生になるように出力制御部２０３に指示を行う。出力制御部２０３は、復号部２０２で復号された画像を入力し、再生制御部２０１からの指示によって、例えば、Iピクチャのみを出力する等の出力画像の間引きを行い、２倍速、３倍速といった特殊再生を実現している。

特開２００２−１１２１９４号公報特開２００２−１１２２２１号公報特開２００２−０７７８１１号公報特開２００３−００９０８５号公報

しかしながら、図７に示す従来のデコード装置１００では，復号部１０２の前段に特殊再生用にビットストリームを変換するデータ変換部１０３（回路もしくはプログラム）が必要となるため、装置全体の回路規模（プログラムサイズ）が大きくなってしまう。

また、図８に示す従来のデコード装置２００では、ストリーム中のすべてのフレームを復号し、出力時に復号されたフレームを表示するか表示しないかを判断しているため、不要なフレームまで復号しなければならない。これは、通常再生時に比べ、倍速で復号処理できるだけの高いパフォーマンスが装置に必要となり、装置全体の余剰な処理能力の面からも効率的ではない。

本発明は、これらの問題点を鑑みてなされたものであり、効率的に２倍速、３倍速等の特殊再生をすることができる再生装置及び再生方法を提供することを目的とする。

本発明に係る再生装置は、フレーム間相関を利用して符号化されたビットストリームを所望の再生速度で再生する再生装置において、上記ビットストリームのパケットヘッダを解析し、他の画像フレームの復号の際、参照される参照画像フレームであるか、又は参照されない非参照画像フレームであるかのピクチャタイプを判別する判別手段と、上記所望の再生速度に応じて画像フレーム毎に復号命令又は復号スキップ命令を出力する出力手段と、上記復号スキップ命令の対象が上記参照画像フレームの場合、次の非参照画像フレームの復号をスキップする復号スキップフラグを生成するフラグ生成手段と、上記ピクチャタイプが参照画像フレームの場合、上記復号命令又は上記復号ステップ命令に関わらず復号し、上記ピクチャタイプが非参照画像フレームの場合、上記復号命令に対し、上記復号スキップフラグが生成状態の際、復号しない復号手段とを備えることにより、上述の課題を解決する。

また、本発明に係る再生方法は、フレーム間相関を利用して符号化されたビットストリームを所望の再生速度で再生する再生方法において、上記ビットストリームのパケットヘッダを解析し、他の画像フレームの復号の際、参照される参照画像フレームであるか、又は参照されない非参照画像フレームであるかのピクチャタイプを判別する判別工程と、上記所望の再生速度に応じて画像フレーム毎に復号命令又は復号スキップ命令を出力する出力工程と、上記復号スキップ命令の対象が上記参照画像フレームの場合、次の非参照画像フレームの復号をスキップする復号スキップフラグを生成するフラグ生成工程と、上記ピクチャタイプが参照画像フレームの場合、上記復号命令又は上記復号ステップ命令に関わらず復号し、上記ピクチャタイプが非参照画像フレームの場合、上記復号命令に対し、上記復号スキップフラグが生成状態の際、復号しない復号工程とを有することにより、上述の課題を解決する。

本発明によれば、復号スキップ命令の対象が参照画像フレームの場合、次の非参照画像フレームの復号をスキップする復号スキップフラグを生成することにより、非参照画像フレームの復号を適応的に行い、効率的に２倍速、３倍速等の特殊再生をすることができる

以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明を適用した再生装置の一実施形態を示す図である。この再生装置は、記録媒体１１と、記録媒体１１に記録されたビットストリームを読み出す読み出し部１２と、読み出し部１２で読み出されたビットストリームをデコードするデコード部１３と、デコード部１３でデコードされた画像フレームをバッファリングするフレームバッファ１４と、フレームバッファにバッファリングされた画像フレームをモニタ装置１６に表示するためのＧＵＩ（Graphical User Interface）コントローラ１５と、モニタ装置１６とを備えて構成されている。

読み出し部１２は、ＤＶＤ（Digital Versatile Disc）やハードディスクといった記録媒体１１に格納されたビットストリームを読み出し、ビットストリーム内のパケットヘッダを解析し、他の画像フレームの復号の際に参照される参照画像フレームであるか、又は参照されない非参照画像フレームであるかを判別する。例えば、ＭＰＥＧ２における画像（動画像）のように、Ｉピクチャ（Intra-coded picture：フレーム内符号化画像）、Ｐピクチャ（Predictive-coded picture：フレーム間順方向予測符号化画像）及びＢピクチャ（Bidirectionally predictive-coded picture：双方向予測符号化画像）の３種類のピクチャによって構成されている場合、Ｉピクチャ及びＰピクチャが参照画像フレームとなり、Ｂピクチャが非参照フレーム画像となる。

また、読み出し部１２は、記録媒体１１から読み出したビットストリームをデコード部１３に出力するとともに、判別したピクチャタイプの情報をデコード部１３に出力する。なお、特殊再生時には、所望の再生速度に応じたデータ量が記録媒体１１から読み出される。

デコード部１３は、ユーザから特殊再生命令に基づいて復号命令、又は復号スキップ命令を復号部２２に出力する再生制御部２１と、読み出し部１２から出力されたビットストリームを復号する復号部２２とを備えている。また、復号部２２は、後述するように、復号命令又は復号スキップ命令及びピクチャタイプに基づいて次の非参照画像フレームの復号をスキップする復号スキップフラグを生成するカウンタ２３を有している。

再生制御部２１は、特殊再生命令を受信し、その所望の倍速に応じて復号命令又は復号スキップ命令を復号部２２へ発行する。復号部２２は、ビットストリームを入力し、再生制御部２１から発行された復号命令又は復号スキップ命令と、カウンタ２３の値と、復号対象の画像フレームのピクチャタイプとの条件に応じて復号処理を行い、復号画像フレームを出力する。ここで、カウンタ２３は、入力ビットストリームのピクチャタイプと、再生制御部２１からの復号命令又は復号スキップ命令を判断し、後述するようにインクリメント及びデクリメントを行う。

デコード部１３より出力された画像フレームは、一旦フレームバッファ１４に蓄えられ、ＧＵＩコントローラ１５にてフレームバッファ１４からの読み出しタイミング等の調整が行われ、モニタ装置１６に出力される。

続いて、デコード部１３の動作について、図２に示すフローチャートを参照して詳細に説明する。

まず、復号部２２は、再生制御部２１からの命令を判断し、復号命令かどうかを判断する（ステップＳ１１）。ステップＳ１１にて判断した結果が真の場合、すなわち、復号命令の場合、復号対象が非参照画像フレームかどうかを判断する（ステップＳ１２）。ステップＳ１２にて判断した結果が真の場合、つまり、復号対象が非参照画像フレームの場合、カウンタ２３の値が１以上かどうかを判断する（ステップＳ１３）。

ステップＳ１３にて判断した結果が偽の場合、つまり、カウンタ２３の値が１より小さい場合、非参照画像フレームの復号処理を行う（ステップＳ１４）。換言すれば、復号命令を受けた復号対象が非参照画像フレームであり、フラグであるカウンタがインクリメントされていない状態の場合、通常と同様に復号処理を行う。

また、ステップＳ１３にて判断した結果が真の場合、つまり、カウンタ２３の値が１以上の場合、カウンタ２３をデクリメントし（ステップＳ１５）、非参照画像フレームの復号処理を行わない（ステップＳ１６）。換言すれば、復号命令を受けた復号対象が非参照画像フレームであり、フラグであるカウンタがインクリメントされた状態の場合、通常と異なり復号処理を行わない。

また、ステップＳ１１にて判断した結果が偽の場合、つまり、復号ステップ命令の場合、復号対象が参照画像フレームかどうかを判断する（ステップＳ１７）。ステップＳ１７にて判断した結果が真の場合、つまり、復号対象が参照画像フレームの場合、カウンタ２３をインクリメントし（ステップＳ１８）、参照画像フレームの復号処理を行う（ステップＳ１４）。

また、ステップＳ１７にて判断した結果が偽の場合、つまり、復号ステップ命令を受け、且つ復号対象が非参照画像フレームの場合、その非参照画像フレームの復号処理を行わない（ステップＳ１６）。

すなわち、復号部２２は、再生制御部２１からの復号命令又は復号化スキップ命令に従い、復号処理を行うか行わないかを適応的に決めている。具体的には、参照画像フレームは、強制的に復号し、非参照画像フレームは、カウンタ２３を用いて必要に応じて復号している。

このカウンタ２３は、復号スキップ命令の場合であって、復号対象が参照画像フレームの場合にインクリメントされ、また、復号処理命令が出力された場合であって、復号対象が非参照画像フレームの場合、且つカウンタ２３が１以上の場合にデクリメントされる。

また、復号部２３は、非参照画像フレームの復号命令の際、カウンタ２３が１以上の場合、通常処理と異なり、復号対象を復号しない。換言すれば、非参照画像フレームに復号命令が出された場合、フラグが生成されている場合には、非参照画像フレームは復号しない処理を行う。そして、特殊再生には、強制的に復号される参照画像フレームが用いられる。

このように、非参照画像フレームの復号対象に復号命令が出力されても、非参照画像フレームを復号せず、強制的に復号される参照画像フレームを用いることにより、回路規模を増大させることなく、通常再生と同程度のパフォーマンスで特殊再生を行うことができる。

図３は、本発明を適用させた２倍速の特殊再生処理を示す模式図である。

特殊復号命令を受信した再生制御部２１は、所望の倍速（２倍速）に応じて復号命令３０１、３０３、３０５、３０７又は復号スキップ命令３０２、３０４、３０６をピクチャ（画像フレーム）毎に出力する。

復号部２２は、復号命令３０１を受け取ると、その復号対象が参照画像フレーム（Ｉピクチャ３１１）に相当するため、復号処理を行う。次に、復号スキップ命令３０２を受け取ると、その復号対象が非参照画像フレーム（Ｂピクチャ３１２）に相当するため、復号処理を行わない。次に、復号命令３０３を受け取ると、その復号対象が非参照画像フレーム（Ｂピクチャ３１３）に相当し、且つカウンタ２３が０であるため、復号処理を行う。次に、復号スキップ命令３０４を受け取ると、その復号対象が参照画像フレーム（Ｐピクチャ３１４）に相当するため、カウンタ２３を１増やして、復号処理を行う。次に、復号命令３０５を受け取ると、その復号対象が非参照画像フレーム（Ｂピクチャ３１５）に相当し、且つカウンタ２３が１以上のため、カウンタ２３を１減らして、復号処理を行わない。次に、復号スキップ命令３０６を受け取ると、その復号対象が非参照画像フレーム（Ｂピクチャ３１６）に相当するため、復号処理を行わない。次に、復号命令３０７を受け取ると、その復号対象が参照画像フレーム（Ｐピクチャ３１７）に相当するため、復号処理を行う。

このように参照画像フレームを復号する際、復号スキップ命令を受け取った場合、非参照画像フレームを復号しないフラグを生成し、次の非参照画像フレームの復号命令を受け取った場合、フラグに応じて復号処理を行わないようにすることにより、特殊復号処理を実現する。

また、通常再生は、Ｂ０ピクチャ３１２、Ｂ１ピクチャ３１３、Ｉ２ピクチャ３１５、Ｂ３ピクチャ３１５、Ｂ４ピクチャ３１６、Ｐ５ピクチャ３１４、Ｂ６ピクチャ（図示せず）、Ｂ７ピクチャ（図示せず）、Ｐ８ピクチャ３１７の順番で表示されるところ、この特殊再生の例では、Ｂ１ピクチャ３１３、Ｉ２ピクチャ３１５、Ｐ５ピクチャ３１４、Ｂ７ピクチャ（図示せず）、Ｐ８ピクチャ３１７の順番で表示される。これらの処理は、フレームバッファ１４及びＧＵＩコントローラ１５で行われる。また、図５に示す表示順は、表示される順番に並べただけであり、モニタ装置１６に表示される間隔を示すものではない。

図４は、本発明を適用させた３倍速の特殊再生処理を示す模式図である。

特殊復号命令を受信した再生制御部２１は、所望の倍速（３倍速）に応じて復号命令４０１、４０４、４０７又は復号スキップ命令４０２、４０３、４０５、４０６をピクチャ（画像フレーム）毎に出力する。

復号部２２は、復号命令４０１を受け取ると、その復号対象が参照画像フレーム（Ｉピクチャ４１１）に相当するため、復号処理を行う。次に、復号スキップ命令４０２を受け取ると、その復号対象が非参照画像フレーム（Ｂピクチャ４１２）に相当するため、復号処理を行わない。次に、復号スキップ命令４０３を受け取ると、その復号対象が非参照画像フレーム（Ｂピクチャ４１３）に相当するため、復号処理を行わない。次に、復号命令４０４を受け取ると、その復号対象が参照画像フレーム（Ｐピクチャ４１４）に相当するため、復号処理を行う。次に、復号スキップ命令４０５を受け取ると、その復号対象が非参照画像フレーム（Ｂピクチャ４１５）に相当するため、復号処理を行わない。次に、復号スキップ命令４０６を受け取ると、その復号対象が非参照画像フレーム（Ｂピクチャ４１６）に相当するため、復号処理を行わない。次に、復号命令４０７を受け取ると、その復号対象が参照画像フレーム（Ｐピクチャ４１７）に相当するため、復号処理を行う。

また、通常再生は、Ｂ０ピクチャ４１２、Ｂ１ピクチャ４１３、Ｉ２ピクチャ４１５、Ｂ３ピクチャ４１５、Ｂ４ピクチャ４１６、Ｐ５ピクチャ４１４、Ｂ６ピクチャ（図示せず）、Ｂ７ピクチャ（図示せず）、Ｐ８ピクチャ４１７の順番で表示されるところ、この特殊再生の例では、Ｉ２ピクチャ４１１、Ｐ５ピクチャ４１４、Ｐ８ピクチャ４１７の順番で表示される。これらの処理は、フレームバッファ１４及びＧＵＩコントローラ１５で行われる。また、図６に示す表示順は、表示される順番に並べただけであり、モニタ装置１６に表示される間隔を示すものではない。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上記実施の形態では、２倍速、３倍速といった特殊再生の例を挙げて説明したが、Ｍ／Ｎ倍速再生も可能である。

図５は、ビットストリームの構成例を示す模式図である。復号対象のビットストリームは、他のピクチャの復号の際、参照されるStoredピクチャａと、参照されないNon Storedピクチャｂとで構成され、StoredピクチャａがＭ周期間隔で挿入されている。ＭＰＥＧ１／２／４では、Ｉピクチャ及びＰピクチャがStoredピクチャ、ＢピクチャがNon Storedピクチャにそれぞれ相当する。本実施の形態では、Storedピクチャは、必ず復号する必要があるため、Non Storedピクチャの復号間引きの割合によって特殊再生を実現する。

図５に示すように、StoredピクチャがＭ枚中１回の周期で含まれるビットストリームの場合、再生制御部２１は、Ｍ回の命令に対して、復号命令を１／Ｍの割合で発行し、それ以外は、すべて復号スキップ命令とする。例えば、再生制御部２１は、Ｍ回の命令に対して、２倍速であれば、図６（Ａ）に示すように１／２の割合で、３倍速であれば、図６（Ｂ）に示すように１／３の割合で、Ｍ／Ｎ（Ｎは自然数）倍速であれば、図６（Ｃ）に示すようにＮ／Ｍの割合で、Ｍ倍速であれば、図６（Ｄ）に示すように１／Ｍの割合で復号命令を発行する。このようにＭ周期にStoredピクチャが出現するビットストリームに対して、Ｎ／Ｍの割合で復号命令を発行することにより、Ｍ／Ｎ倍速再生が可能となる。

以上、本発明によれば、復号処理の前段に特殊再生用の特別なデータ変換回路又はプログラムを必要とせず、簡単な構成で特殊再生を実現することができる。また、倍速で復号処理する際、高いパフォーマンスを必要としないため、通常再生と同程度のパフォーマンスで特殊再生を実現できる。

本発明を適用した再生装置の一実施形態を示す図である。本発明を適用させたデコード部の動作を示すフローチャートである。本発明を適用させた２倍速の特殊再生処理を示す模式図である。本発明を適用させた３倍速の特殊再生処理を示す模式図である。ビットストリームの構成例を示す模式図である。倍速再生の復号命令の発行を示す模式図である。従来のデコード装置の構成を示すブロック図である。従来のデコード装置の構成を示すブロック図である。

符号の説明

１１記録媒体、１２読み出し部、１３デコード部、１４フレームバッファ、１５ＧＵＩコントローラ、１６モニタ装置、２１再生制御部、２２復号部、２３カウンタ、１００デコード装置、１０１再生制御部、１０２復号部、１０３データ変換部、２００デコード装置、２０１再生制御部、２０２復号部、２０３出力制御部

Claims

フレーム間相関を利用して符号化されたビットストリームを所望の再生速度で再生する再生装置において、
上記ビットストリームのパケットヘッダを解析し、他の画像フレームの復号の際、参照される参照画像フレームであるか、又は参照されない非参照画像フレームであるかのピクチャタイプを判別する判別手段と、
上記所望の再生速度に応じて画像フレーム毎に復号命令又は復号スキップ命令を出力する出力手段と、
上記復号スキップ命令の対象が上記参照画像フレームの場合、次の非参照画像フレームの復号をスキップする復号スキップフラグを生成するフラグ生成手段と、
上記ピクチャタイプが参照画像フレームの場合、上記復号命令又は上記復号ステップ命令に関わらず復号し、上記ピクチャタイプが非参照画像フレームの場合、上記復号命令に対し、上記復号スキップフラグが生成状態の際、復号しない復号手段と
を備えることを特徴とする再生装置。
上記出力手段は、上記参照画像フレームがＭ周期で出現するビットストリームに対して、Ｎ／Ｍ（Ｎは自然数）の割合で上記復号命令を出力することを特徴とする請求項１に記載の再生装置。
上記参照画像フレームは、フレーム内符号化画像及びフレーム間順方向予測符号化画像であり、上記非参照画像フレームは、双方向予測符号化画像であることを特徴とする請求項１に記載の再生装置。
フレーム間相関を利用して符号化されたビットストリームを所望の再生速度で再生する再生方法において、
上記ビットストリームのパケットヘッダを解析し、他の画像フレームの復号の際、参照される参照画像フレームであるか、又は参照されない非参照画像フレームであるかのピクチャタイプを判別する判別工程と、
上記所望の再生速度に応じて画像フレーム毎に復号命令又は復号スキップ命令を出力する出力工程と、
上記復号スキップ命令の対象が上記参照画像フレームの場合、次の非参照画像フレームの復号をスキップする復号スキップフラグを生成するフラグ生成工程と、
上記ピクチャタイプが参照画像フレームの場合、上記復号命令又は上記復号ステップ命令に関わらず復号し、上記ピクチャタイプが非参照画像フレームの場合、上記復号命令に対し、上記復号スキップフラグが生成状態の際、復号しない復号工程と
を有することを特徴とする再生方法。