JP2018042211A - 再生装置 - Google Patents

Abstract

【課題】 複数の階層を持つ動画から、ユーザが所望する静止画を簡単に生成することが可能な装置を提供する。
【解決手段】 第一の階層と、第一の階層よりもフレームレートが高い第二の階層を持つ動画ストリームを再生する再生手段と、第一の階層と第二の階層の何れかを選択して復号する復号手段と、動画ストリームの再生中の静止画の生成のための指示に応じて静止画の候補画像を生成して表示する制御手段と、候補画像に基づいて静止画を生成する生成手段とを備える。制御手段は、第一の階層が選択されている場合、第二の階層から複数の候補画像を生成して表示する。
【選択図】 図１

Description

本発明は再生装置に関する。

従来、動画データの階層符号化が知られている。例えば、Ｈ．２６４では、ＳＶＣというスケーラブル符号化が提案されている。ＳＶＣでは、階層ごとに異なるフレームレートや解像度を持つことができる。また、このような階層符号化により符号化された動画ストリームを再生する装置が知られている（特許文献１）。

再生装置では、複数の階層の何れかを選択して復号する。

また、従来、動画を再生する装置において、再生中の動画からユーザにより指示された画面を取り出し、静止画を作成する機能も知られている。

特開２０１１―１０９４６９号公報

複数の階層のうち、低いフレームレートの階層を再生しているときに静止画の取得指示があった場合、従来は、この低いフレームレートの動画から静止画を作成することになる。

しかしながら、再生中の動画よりも高いフレームレートの階層のデータがある場合、この高いフレームレートの動画にユーザが希望する画面があったとしても、これを静止画として作成することができない。その場合、ユーザは、高いフレームレートの階層に切り替えて再生した後に、改めて静止画の取得指示を行う必要があり、大変面倒である。

本発明はこのような課題を解決し、複数の階層を持つ動画から、ユーザが所望する静止画を簡単に生成することが可能な装置を提供することを目的とする。

本発明の再生装置は、第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームであって、動画のうち第一のフレームレートに対応した一部のフレームが前記第一の階層に割り当てられ、前記動画のうち前記第一のフレームレートよりも高い第二のフレームレートに対応したフレームが前記第二の階層に割り当てられた前記動画ストリームを記録媒体から再生する再生手段と、ユーザの指示を受け付ける操作手段と、前記再生手段により再生された前記動画ストリームを復号する復号手段であって、前記第一の階層の動画データと前記第二の階層の動画データの何れかを選択して復号する復号手段と、前記復号手段により復号された動画データを表示装置に表示する表示手段と、前記再生手段による前記動画ストリームの再生中における、前記操作手段からの静止画の生成のための指示に応じて、前記再生中の動画ストリームに含まれる動画データから静止画の候補画像を生成し、前記候補画像を前記表示装置に表示するように前記表示手段を制御する制御手段と、前記表示手段により表示された前記候補画像に対応したフレームの前記動画データから静止画データを生成する生成手段とを有し、前記制御手段は、前記取得指示を受けたときに前記復号手段で選択されている階層を判別し、前記取得指示を受けたときに前記第一の階層が選択されている場合、前記第二の階層の動画データから複数の前記候補画像を生成し、前記生成手段は、前記表示装置に表示された前記複数の候補画像のうち、ユーザにより選択された候補画像に対応したフレームの前記動画データから静止画データを生成する。

本発明によれば、複数の階層を持つ動画から、ユーザが所望する静止画を簡単に生成することが可能となる。

再生装置の構成を示すブロック図である。 ポーズ時における静止画の生成処理を示すフローチャートである。 静止画の候補画像を示す図である。 ポーズ時における静止画の生成処理を示すフローチャートである。 静止画の候補画像を示す図である。 ポーズ時における静止画の生成処理を示すフローチャートである。 再生処理における表示画面を示す図である。 静止画の生成処理における表示画面を示す図である。 静止画の生成処理における表示画面を示す図である。

（第一の実施形態）
以下、図面を参照しながら本発明の好適な実施の形態を説明する。

第一の実施形態では、第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームを再生する再生装置について説明する。動画ストリームにおいて、動画の第一のフレームレートに対応した一部のフレームが第一の階層に割り当てられ、動画のうち第一のフレームレートよりも高い第二のフレームレートに対応したフレームが第二の階層に割り当てられる。

本実施形態では、第一の階層の動画データのフレームレートを６０フレーム枚秒（ｆｐｓ）とし、第二の階層の動画データのフレームレートを１２０ｆｐｓとする。そのため、第一の階層には、１２０ｆｐｓの動画のうち、６０ｆｐｓのフレームレートに対応した一部のフレームが割り当てられている。また、第二の階層には、１２０ｆｐｓのフレームレートに対応したフレーム（ここでは全てのフレーム）が割り当てられる。

図１は、本実施形態における再生装置の構成を示すブロック図である。図１の再生装置において、制御部１０１は、再生装置の全体の制御を行う。制御部１０１は、復号部１０２に復号させる階層の指示や、候補画像として表示するフレームを判定する処理を行う。また、制御部１０１は、現在再生している階層とその他の階層の構造に応じて、候補画像を決定する処理を行う。

復号部１０２は、一時蓄積部１０３に格納されている、動画ストリームのうち、制御部１０１によって指示された階層の動画データを選択して復号する。一時蓄積部１０３は、記録媒体制御部１０６が記録媒体１０７から読み出した動画ストリームを一時的に格納する。操作部１０４は、ユーザからの指示を受け付ける。そして、受け付けた指示を制御部１０１に通知する。例えば、操作部１０４はユーザから再生指示、停止指示、動画中の静止画の取得指示などを受け付ける。表示部１０５は、復号部１０２が復号した動画データや制御部１０１の制御により生成された候補画像などを液晶パネルなどの表示装置に表示する。

記録媒体制御部１０６は、記録媒体１０７から動画ストリームを読み出し、一時蓄積部１０３に出力する。記録媒体１０７はメモリカードなどのランダムアクセスの記録媒体である。記録媒体１０７には前記のように複数の階層を持つ動画ストリームが記録されている。

階層構造認識部１０８は、記録媒体１０７から再生中の動画ストリームに含まれる管理情報から各階層の情報を取得し、制御部１０１に通知する。本実施形態では、階層構造認識部１０８は、各階層の動画データの解像度とフレームレートを取得して制御部１０１に通知する。復号データ蓄積部１０９は、復号部１０２が復号化した動画データや、制御部１０１の制御により作成された候補画像のデータを一時的に格納する。静止画生成部１１０は、ユーザによる静止画の取得指示に応じて、再生中の動画データから後述のように選択された画面の静止画を生成する。生成された静止画は記録媒体制御部１０６に送られ、記録媒体１０７に記録される。バス１１１は各ブロック間でのデータの受け渡しを行う。以下、各ブロック間において、データの受け渡しをする際の、バス１１１の処理の記述については省略する。

本実施形態の再生装置は、動画の再生中において、ユーザの操作に応じて静止画の取得指示が出力される。そして、再生中の動画から、静止画の候補となる候補画像が生成され、表示部１０５に表示される。候補画像を抽出する階層は、各階層の中で最も深い階層とする。最も深い階層とは、異なるフレームレートで階層がつくられている場合は、最もフレームレートが高い階層のことを指し、異なる解像度で階層がつくられている場合は、最も解像度が大きい階層のことを指す。

次に、ユーザが静止画を選択するまでの流れについて図６と図７を用いて説明する。図６は、再生処理の処理手順を示すフローチャートである。図７は、再生処理の説明図である。図８は、候補画像から静止画を選択する処理の説明図の説明図である。

ユーザが操作部１０４を操作し、記録媒体１０７に記録されている動画ストリームのインデックス画面の表示を指示する。制御部１０１は、記録媒体１０７に記録された各動画ストリームのサムネイル画像を生成し、インデックス画面を生成して表示部１０５により表示する。図７（ａ）はインデックス画面７０１を示し、サムネイル画像７０１ａ〜７０１ｆは各動画ストリームのサムネイル画像である。ユーザはこれらのサムネイル画像の何れかを選択し、再生を指示する。このように動画ストリームの再生が指示されると、図６の処理が開始される。

制御部１０１は、操作部１０４からユーザの再生指示を受けて、選択されたストリームの読み出しを開始する（Ｓ６０１）。また、制御部１０１は、読み出したデータを書き込む一時蓄積部１０３の位置を記録媒体制御部１０６に指示する。記録媒体制御部１０６は、制御部１０１に指定されたストリームを記録媒体１０７から読み出し、読み出した符号化済みデータを一時蓄積部１０３に書き込む。書き込みが完了したら制御部１０１に通知する。

制御部１０１は、記録媒体制御部１０６から書き込み完了が通知されたら、復号部１０２に一時蓄積部１０３に書き込まれた符号化済みデータを復号するように指示する（Ｓ６０２）。動画ストリームには、第一の階層の動画データと第二の階層の動画データが多重されている。記録媒体制御部１０６は、第一の階層の動画データと第二の階層の動画データが多重されている状態で一時蓄積部１０３に書き込む。

制御部１０１は、第一の階層と第二の階層のいずれかを選択し、選択した階層の動画データを復号するように復号部１０２に指示する。なお、第一の階層と第二の階層の何れを復号するかは、例えば、ユーザが操作部１０４を操作することにより指示する。或いは、所定の条件に従って、制御部１０１が第一の階層と第二の階層の何れを復号するかを自動的に選択する構成でもよい。復号部１０２は、制御部１０１に指示された一時蓄積部１０３に蓄積された動画ストリームのうち、制御部１０１により指示された階層の動画データを選択して復号し、復号データ蓄積部１０９に書き込む。書き込みが完了したら制御部１０１に通知する。

制御部１０１は、復号部１０２から復号完了を通知されたら、表示部１０５に復号データ蓄積部１０９にある復号済みデータを表示するように指示する。表示部１０５は、制御部１０１に指示された復号済みデータを復号データ蓄積部１０９から読み出し表示する（Ｓ６０３）。

制御部１０１は、操作部１０４からポーズ指示が出力されたか否かを判別する（Ｓ６０４）。再生中は、図７（ｂ）の表示画面７０２が表示部１０５に表示される。表示画面７０２において、再生中の動画７０３が表示され、更に、再生指示ボタン７０４、ポーズボタン７０４、再生停止ボタン７０６が表示される。ユーザはポーズボタン７０５を操作することにより再生ポーズを指示することができる。

ポーズ指示がない場合、制御部１０１は、操作部１０４から再生の停止指示が出力されたか、或いは、再生中の動画ストリームの終端に達したかを判別する（Ｓ６０４）。再生の停止が指示された場合、或いは再生中の動画ストリームの終端に達した場合は再生処理を終了し、そうでない場合は、Ｓ６０１に戻る。

Ｓ６０４で再生ポーズの指示があった場合、制御部１０１は、ポーズが指示されたときに再生中の画面をポーズ画像としてそのまま表示部１０５に表示した後（Ｓ６０６）、ポーズ処理に移行する（Ｓ６０７）。

（ポーズ中において候補画を表示する処理の説明）
次に、ポーズ処理における、静止画の生成のための取得指示に応じた候補画像の表示処理について図２と図３を用いて説明する。図２は、ポーズ中の処理を示すフローチャートである。図３は、静止画の候補画像の表示画面である。

前述のように、本実施形態では、二つの階層を持つ動画ストリームを再生する。図３は、第一の階層の動画データと第二の階層の動画データの各フレームを示している。図３において、フレームの番号はフレームを識別するものである。番号が同じものは同一のタイムスタンプを持つ。

図２のポーズ処理において、制御部１０１は、操作部１０４から静止画の取得指示を受けたか否かを判別する（Ｓ２０１）。操作部１０４から静止画の取得指示が通知されていなければ、図６のＳ６０４に戻る。操作部１０４から静止画の取得指示が出力されていれば、Ｓ２０２に進む。

階層構造認識部１０８は、ストリームの各階層のフレームレートと解像度情報を取得し、制御部１０１に通知する。制御部１０１は、階層構造認識部１０８から通知された情報と、現在選択している動画の階層とに基づいて、現在再生中の動画ストリームに、選択された階層よりも高いフレームレートの階層があるかを判断する（Ｓ２０２）。選択中の階層より高いフレームレートの階層は深い階層ともいう。高いフレームレートの階層がある場合、制御部１０１は、再生中の動画ストリームから最も深い階層を判断し、静止画の候補画像を抽出するために使用する階層として選択する（Ｓ２０３）。

本実施形態では、動画ストリームは第一の階層と第二の階層を持つ。そして、第二の階層のフレームレートのほうが第一の階層よりも高い。そのため、第一の階層が復号する階層として選択されている場合には、Ｓ２０３においては、第二の階層が、候補画像を生成するために使用される階層として決定される。

制御部１０１は、再生中の動画ストリームの階層構造に基づいて、静止画の候補画像として表示するフレームを決定する。制御部１０１は、以下の式に基づいて候補画像尾フレームを決定する。
（Ｓ２０３で決定された階層のフレームレート）／（復号する階層として選択された階層のフレームレート）＝Ｎ

例えば、第一の階層の動画を選択して復号している場合、第一の階層よりも高い第二の階層のフレームレートがある。そのため、Ｎは（１２０／６０）＝２となる。ポーズの指示を受けたときに再生されていたフレームが、図３におけるフレーム３の場合、このフレーム３と、その前後に隣接する所定数の画面である２画面ずつが候補画像として決定される。即ち、第二階層におけるフレーム３と、その前後の所定数のフレームであるフレーム１、フレーム２、フレーム４、フレーム５が候補画像として決定される。制御部１０１は、第二の階層の動画データのうち、決定した画面を復号部１０２に復号させ候補画像を生成して復号データ蓄積部１０９に記憶する（Ｓ２０４）。

制御部１０１は、第二の階層のフレームを復号化するために、ユーザによって選択されたフレーム３の直前のＩピクチャ（フレーム１とする）の位置から記録媒体制御部１０６に再度読み出しを指示する。記録媒体制御部１０６は、制御部１０１から指示されたデータを記録媒体１０７から読み出し、一時蓄積部１０３に出力する。制御部１０１は、復号部１０２に、一時蓄積部１０３に記憶された動画ストリームのうち、第二の階層の動画データを復号するように指示する。このとき、Ｉピクチャであるフレーム１を復号したタイミングで階層の切り替え処理を行う。

復号部１０２は、フレーム３の前後２フレームを含む範囲を復号し、復号データ蓄積部１０９に書き込む。ここでは、図３において、第二階層のフレーム１、フレーム２、フレーム４、フレーム５を復号する。

復号部１０２は、復号完了を制御部１０１に通知する。制御部１０１は、復号蓄積部１０９にある復号したフレームのうち、候補画像として選択されたフレームを表示部１０５に表示するように指示する（Ｓ２０５）。図８（ａ）は、表示部１０５に表示された候補画像の表示画面８０１を示している。表示画面８０１には、候補画像８０１ａ〜８０１ｅが表示される。

ユーザは、操作部１０４を操作して、これら複数の候補画像から、静止画として生成したい候補画像を選択する（Ｓ２０６）。操作部１０４から候補画像の選択指示が出力された場合、制御部１０１は、表示部１０５に選択された候補画像を表示し、静止画の作成指示を待つ。図８（ｂ）は選択された静止画の候補画像の表示画面を示している。表示画面８０２において、候補画像８０１ａ〜８０１ｅから選択された候補画像８０５が表示される。また、この候補画像から静止画を生成する指示を行うためのボタン８０３と、キャンセルボタン８０４が表示される。

制御部１０１は、ユーザが候補画像から静止画を生成する指示を行ったか否かを判別する。操作部１０４から静止画の作成指示を受けた場合、制御部１０１は、選択された候補画像の画像データを復号データ蓄積部１０９から静止画生成部１１０に送り、静止画の画像データを生成する（Ｓ２０８）。本実施形態では、静止画生成部１１０は、ＪＰＥＧ形式の符号化を行い、静止画データを生成する。静止画生成部１１０は、生成された静止画データを一時蓄積部１０３に格納する。

制御部１０１は、記録媒体制御部１０６に、静止画生成部１１０が出力した静止画データを記録媒体１０７に書き込むように指示する。記録媒体制御部１０６は、制御部１０１に指示されたデータを記録媒体１０７に書き込み、再生ポーズ状態を解除してＳ６０１に戻る（Ｓ２０９）。即ち、この場合は、複数の候補画像のうち選択された候補画像に対応したフレームの動画データから静止画が生成される。また、Ｓ２０７で、キャンセルの指示があった場合、静止画を生成せずにポーズ状態を解除して、Ｓ６０１に戻る。

また、Ｓ２０２で、現在選択されている階層よりも高いフレームレートの階層が無い場合、制御部１０１は、現在選択されている階層を候補画像の生成のための階層として選択する。そして、ユーザが静止画の取得指示を出力した時に再生していたフレームを候補画像として決定する（Ｓ２１０）。本実施形態では、Ｓ２０２でＮｏと判定されるのは、第二の階層を選択して復号している場合である。そして、ポーズの指示を受けたときに再生中のフレームが図３のフレーム３であり、この状態で静止画の取得指示があった場合は、フレーム３が候補画像として決定される。

制御部１０１は、その後、一時蓄積部１０３に格納されたフレーム３の画像を候補画像として表示部１０５に表示する（Ｓ２１１）。この場合、候補画像は１フレームだけなので、図８（ｂ）の画面８０２が表示部１０５に表示される。その後、Ｓ２０７に進み、前述の処理が行われる。

このように、本実施形態では、第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームを再生する。また、第一のフレームレートに対応した一部のフレームが第一の階層に割り当てられ、第一のフレームレートよりも高い第二のフレームレートに対応したフレームが第二の階層に割り当てられる。また、第一の階層の動画データと第二の階層の動画データの何れかを選択して復号し、復号された動画データを表示装置に表示する。

そして、動画ストリームの再生中における、静止画の取得指示に応じて、再生中の動画ストリームに含まれる動画データから静止画の候補画像を生成し、表示する。この際、静止画の取得指示を受けたときに選択されている階層を判別し、静止画の取得指示を受けたときに第一の階層の動画データが選択されていた場合、第二の階層の動画データから複数画面の前記候補画像を生成する。

そして、表示された複数画面の候補画像のうち、ユーザにより選択された画面の動画データから静止画データを生成する。

即ち、複数の階層のうち、復号部により復号する階層として選択されている階層よりも高いフレームレートの階層がある場合は、この高いフレームレートの階層から静止画の候補画像を生成して表示する。そのため、ユーザは、低いフレームレートの動画の再生中に静止画の生成を指示した場合でも、選択範囲が広がり、所望とする静止画が見つけやすくなる。

なお、本実施形態では、動画の再生中に再生ポーズを指示してから、静止画の取得を指示する構成としたが、動画の再生ポーズ状態とすることなく、動画の再生中に直接ユーザが静止画の取得を指示する構成としてもよい。この場合、ユーザによる静止画の取得指示を受けたときに再生中のフレームが表示された状態で自動的に再生がポーズされる。そして、図２の処理が実行される。

また、本実施形態では、二つの階層を持つ動画ストリームを再生したが、三つ以上の複数の階層を持つ動画ストリームの再生する場合にも同様に処理が可能である。そして、フレームレートが異なる動画データに対応した複数の階層のうち、一番高いフレームレートに対応した階層の動画から候補画像を生成する構成とすればよい。

例えば、１２０ｆｐｓの動画における、３０ｆｐｓのフレームレートに対応した一部のフレームが第一の階層に割り当てられ、６０ｆｐｓのフレームレートに対応した一部のフレームが第二の階層に割り当てられる。更に、１２０ｆｐｓのフレームレートに対応したフレーム（ここでは全てのフレーム）が第三の階層に割り当てられる。

そして、第一の階層、或いは第二の階層が選択されて復号されているときに静止画の取得指示があった場合、最も高いフレームレートに対応した第三の階層が候補画像を生成するために選択される。

（第二の実施形態）
次に、第二の実施形態を説明する。第二の実施形態においても、第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームを再生する。本実施形態では、第一の解像度の動画データが第一の階層に割り当てられ、第一の階層の動画データの各フレームに対応した、第一の解像度よりも高い第二の解像度の動画データが第二の階層に割り当てられている。本実施形態では、第一の階層の動画データの解像度（画素数）を横１９２０画素×縦１０８０画素とし、第二の階層の動画データの解像度を横４０９６画素×縦２１６０画素とする。

再生装置の構成は図１と同様である。次に、本実施形態における、ポーズ処理の際の静止画の生成処理について説明する。図４は、本実施形態におけるポーズ時の処理を示すフローチャートである。また、図５は、候補画像を表示する処理の説明図である。図９は、候補画像から静止画を選択する処理の説明図である。

なお、本実施形態においても、動画ストリームの二つの階層のうちの何れかが選択され、復号部１０２により選択された階層の動画データが復号される。

図２のポーズ処理において、制御部１０１は、操作部１０４から静止画の取得指示を受けたか否かを判別する（Ｓ４０１）。操作部１０４から静止画の取得指示が通知されていなければ、図６のＳ６０４に戻る。操作部１０４から静止画の取得指示が出力されていれば、Ｓ４０２に進む。

階層構造認識部１０８は、ストリームの各階層のフレームレートと解像度情報を取得し、制御部１０１に通知する。制御部１０１は、階層構造認識部１０８から通知された情報と、復号部１０２が選択している動画の階層とに基づいて、現在再生中の動画ストリームに、選択された階層よりも高い解像度の階層があるかを判断する（Ｓ４０２）。選択中の階層より高い解像度の階層は深い階層ともいう。高い解像度の階層がある場合、制御部１０１は、再生中の動画ストリームから最も深い階層を判断し、静止画の候補画像を抽出するために使用する階層として選択する（Ｓ４０３）。

本実施形態では、動画ストリームは第一の階層と第二の階層を持つ。そして、第二の階層の解像度の方が第一の階層よりも高い。そのため、第一の階層が復号する階層として選択されている場合には、Ｓ４０３においては、第一の階層に加えて、第二の階層が、候補画像を生成するために使用される階層として決定される。

制御部１０１は、再生中の動画ストリームの階層構造に基づいて、静止画の候補画像として表示するフレームを決定する。例えば、第一の階層が選択され、第一の階層の動画を復号して表示している場合、第一の階層よりも高い解像度の第二の階層がある。そのため、第二の階層において、ユーザによる静止画の取得指示があった時点で再生されていたフレームと同じフレームが候補画像として決定される。例えば、再生中のフレームのタイムスタンプを用いることにより、同じフレームを検出することが可能となる。

更に、第一の階層において、ユーザによる静止画の取得指示があった時点で再生されていたフレームが候補画像として決定される。制御部１０１は、第一の階層と第二の階層の動画データのうち、候補画像として決定した画面を復号部１０２に復号させ候補画像を生成して復号データ蓄積部１０９に記憶する（Ｓ４０４）。

例えば、静止画の取得指示があった時点で図５のフレーム２が再生されていた場合、制御部１０１は、ユーザによって選択されたフレーム２の直前のＩピクチャ（フレーム１とする）の位置から記録媒体制御部１０６に再度読み出しを指示する。記録媒体制御部１０６は、制御部１０１から指示されたデータを記録媒体１０７から読み出し、一時蓄積部１０３に出力する。

制御部１０１は、復号部１０２に、一時蓄積部１０３に記憶された動画ストリームのうち、第二の階層の動画データを復号するように指示する。このとき、Ｉピクチャであるフレーム１を復号したタイミングで階層の切り替え処理を行う。復号部１０２は、フレーム２までを復号し、復号データ蓄積部１０９に書き込む。また、第一の階層の候補画像であるフレーム２は、ポーズの指示の際に既に復号されて復号データ蓄積部１０９に記憶されている。

復号部１０２は、復号完了を制御部１０１に通知する。制御部１０１は、復号蓄積部１０９にある復号したフレームのうち、候補画像として選択されたフレームを表示部１０５に表示するように指示する（Ｓ４０５）。図９（ａ）は、表示部１０５に表示された候補画像の表示画面９０１を示している。表示画面９０１には、候補画像９０１ａと９０１ｂが表示される。

ユーザは、操作部１０４を操作して、これら複数の候補画像から、静止画として生成したい候補画像を選択する（Ｓ４０６）。操作部１０４から候補画像の選択指示が出力された場合、制御部１０１は、表示部１０５に選択された候補画像を表示し、静止画の作成指示を待つ。図９（ｂ）は選択された静止画の候補画像の表示画面を示している。表示画面９０２において、候補画像９０１ａと９０１ｂから選択された候補画像９０３が表示される。また、この候補画像から静止画を生成する指示を行うためのボタン９０４と、キャンセルボタン９０４が表示される。

制御部１０１は、ユーザが候補画像から静止画を生成する指示を行ったか否かを判別する。操作部１０４から静止画の作成指示を受けた場合、制御部１０１は、選択された候補画像の画像データを復号データ蓄積部１０９から静止画生成部１１０に送り、静止画の画像データを生成する（Ｓ４０８）。本実施形態では、静止画生成部１１０は、ＪＰＥＧ形式の符号化を行い、静止画データを生成する。静止画生成部１１０は、生成された静止画データを一時蓄積部１０３に格納する。

制御部１０１は、記録媒体制御部１０６に、静止画生成部１１０が出力した静止画データを記録媒体１０７に書き込むように指示する。記録媒体制御部１０６は、制御部１０１に指示されたデータを記録媒体１０７に書き込み、再生ポーズ状態を解除してＳ６０１に戻る（Ｓ４０９）。また、Ｓ２０７で、キャンセルの指示があった場合、静止画を生成せずにポーズ状態を解除して、Ｓ６０１に戻る。

また、Ｓ４０２で、現在選択されている階層よりも高い解像度の階層が無い場合、制御部１０１は、現在選択されている階層を候補画像の生成のための階層として選択する。そして、ユーザが静止画の取得指示を出力した時に再生していた画面を候補画像として決定する（Ｓ４１０）。本実施形態では、Ｓ４０２でＮｏと判定されるのは、第二の階層を選択して復号している場合である。そして、ポーズの指示を受けたときに再生中のフレームが図５のフレーム２であり、この状態で静止画の取得指示があった場合は、フレーム２が候補画像として決定される。

制御部１０１は、その後、復号データ蓄積部１０９に格納されたフレーム２の画像を候補画像として表示部１０５に表示する（Ｓ４１１）。この場合、候補画像は１フレームだけなので、図９（ｂ）の画面９０２が表示部１０５に表示される。その後、Ｓ２０７に進み、前述の処理が行われる。

このように、本実施形態では、第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームを再生する。また、第一の解像度の動画データが第一の階層に割り当てられ、第一のフレームレートよりも高い第二の解像度の動画データが第二の階層に割り当てられる。また、第一の階層の動画データと第二の階層の動画データの何れかを選択して復号し、復号された動画データを表示装置に表示する。

そして、動画ストリームの再生中における、操作部からの静止画の取得指示に応じて、再生中の動画ストリームに含まれる動画データから静止画の候補画像を生成し、表示する。この際、静止画の取得指示を受けたときに選択されている階層を判別し、静止画の取得指示を受けたときに第一の階層の動画データが選択されていた場合、第二の階層の動画データから複数画面の前記候補画像を生成する。

そして、表示された複数画面の候補画像のうち、ユーザにより選択された画面の動画データから静止画データを生成する。

即ち、複数の階層のうち、復号部により復号する階層として選択中の階層よりも高い解像度の階層がある場合は、この高い解像度の階層から静止画の候補画像を生成して表示する。そのため、ユーザは、低い解像度の動画の再生中に静止画の生成を指示した場合でも、選択候補が広がり、所望とする静止画が見つけやすくなる。

本実施形態では、二つの階層を持つ動画ストリームを再生したが、三つ以上の複数の階層を持つ動画ストリームの再生する場合にも同様に処理が可能である。即ち、解像度が異なる動画データに対応した複数の階層のうち、一番高い解像度に対応した階層の動画から候補画像を生成する構成とすればよい。

Claims (9)

1. 第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームであって、動画のうち第一のフレームレートに対応した一部のフレームが前記第一の階層に割り当てられ、前記動画のうち前記第一のフレームレートよりも高い第二のフレームレートに対応したフレームが前記第二の階層に割り当てられた前記動画ストリームを記録媒体から再生する再生手段と、
   ユーザの指示を受け付ける操作手段と、
   前記再生手段により再生された前記動画ストリームを復号する復号手段であって、前記第一の階層の動画データと前記第二の階層の動画データの何れかを選択して復号する復号手段と、
   前記復号手段により復号された動画データを表示装置に表示する表示手段と、
   前記再生手段による前記動画ストリームの再生中における、前記操作手段からの静止画の生成のための指示に応じて、前記再生中の動画ストリームに含まれる動画データから静止画の候補画像を生成し、前記候補画像を前記表示装置に表示するように前記表示手段を制御する制御手段と、
   前記表示手段により表示された前記候補画像に対応したフレームの前記動画データから静止画データを生成する生成手段とを有し、
   前記制御手段は、前記指示を受けたときに前記復号手段で選択されている階層を判別し、前記指示を受けたときに前記第一の階層が選択されている場合、前記第二の階層の動画データから複数の前記候補画像を生成し、
   前記生成手段は、前記表示装置に表示された前記複数の候補画像のうち、ユーザにより選択された候補画像に対応したフレームの前記動画データから静止画データを生成することを特徴とする再生装置。
2. 前記制御手段は、前記指示を受けたときに前記第一の階層が選択されている場合、前記第二の階層の動画データのうち、前記指示を受けたときに再生されていたフレームと、その前後に隣接する所定数のフレームを候補画像とすることを特徴とする請求項１に記載の再生装置。
3. 前記制御手段は、前記指示を受けたときに前記第二の階層の動画データが選択されている場合、前記第二の階層の動画データのうち前記指示を受けたときに再生していたフレームを前記候補画像とすることを特徴とする請求項１に記載の再生装置。
4. 前記制御手段は、前記第一のフレームレートと前記第二のフレームレートとの比に基づいて前記所定数を決定することを特徴とする請求項１に記載の再生装置。
5. 第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームであって、第一の解像度の動画データが前記第一の階層に割り当てられ、前記第一の階層の動画データの各フレームに対応した、前記第一の解像度よりも高い第二の解像度の動画データが前記第二の階層に割り当てられた前記動画ストリームを記録媒体から再生する再生手段と、
   ユーザの指示を受け付ける操作手段と、
   前記再生手段により再生された前記動画ストリームを復号する復号手段であって、前記第一の階層の動画データと前記第二の階層の動画データの何れかを選択して復号する復号手段と、
   前記復号手段により復号された動画データを表示装置に表示する表示手段と、
   前記再生手段による前記動画ストリームの再生中における前記操作手段からの静止画の生成のための指示に応じて、前記再生中の動画ストリームに含まれる動画データから静止画の候補画像を生成し、前記候補画像を前記表示装置に表示するように前記表示手段を制御する制御手段と、
   前記表示装置に表示された候補画像に対応したフレームの前記動画データから静止画データを生成する生成手段とを有し、
   前記制御手段は、前記指示を受けたときに前記復号手段で選択されている階層を判別し、前記指示を受けたときに前記第一の階層の動画データが選択されている場合、前記第一の階層の動画データと、前記第二の階層の動画データとから複数の前記候補画像を生成し、
   前記生成手段は、前記表示装置に表示された前記複数の候補画像のうち、ユーザにより選択された候補画像に対応したフレームの前記動画データから静止画データを生成することを特徴とする再生装置。
6. 前記制御手段は、前記制御手段は、前記指示を受けたときに前記第一の階層の動画データが選択されている場合、前記第一の階層の動画データにおける前記指示を受けたときに再生されていたフレームと、前記第二の階層の動画データのうち、前記指示を受けたときに再生されていたフレームと同じフレームとを、前記候補画像とすることを特徴とする請求項５に記載の再生装置。
7. 前記生成手段により生成された前記静止画データを前記記録媒体に記録する手段を有することを特徴とする請求項１から６の何れか１項に記載の再生装置。
8. 第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームであって、動画のうち第一のフレームレートに対応した一部のフレームが前記第一の階層に割り当てられ、前記動画のうち前記第一のフレームレートよりも高い第二のフレームレートに対応したフレームが前記第二の階層に割り当てられた前記動画ストリームを記録媒体から再生する再生工程と、
   再生された前記動画ストリームにおける、前記第一の階層の動画データと前記第二の階層の動画データの何れかを選択して復号する復号工程と、
   前記動画ストリームの再生中における、ユーザからの静止画の生成のための指示に応じて、前記再生中の動画ストリームに含まれる動画データから静止画の候補画像を生成し、前記候補画像を前記表示装置に表示する表示工程と、
   前記表示装置に表示された前記候補画像に対応したフレームの前記動画データから静止画データを生成する生成工程とを有し、
   前記表示工程において、前記指示を受けたときに前記復号工程で選択されている階層を判別し、前記指示を受けたときに前記第一の階層が選択されている場合、前記第二の階層の動画データから複数の前記候補画像を生成し、
   前記生成工程において、前記表示装置に表示された前記複数の候補画像のうち、ユーザにより選択された候補画像に対応したフレームの前記動画データから静止画データを生成することを特徴とする再生方法。
9. 第一の階層の符号化された動画データと第二の階層の符号化された動画データとを有する動画ストリームであって、第一の解像度の動画データが前記第一の階層に割り当てられ、前記第一の階層の動画データの各フレームに対応した、前記第一の解像度よりも高い第二の解像度の動画データが前記第二の階層に割り当てられた前記動画ストリームを記録媒体から再生する再生工程と、
   再生された前記動画ストリームにおける、前記第一の階層の動画データと前記第二の階層の動画データの何れかを選択して復号する復号工程と、
   前記動画ストリームの再生中における、ユーザからの静止画の生成のための指示に応じて、前記再生中の動画ストリームに含まれる動画データから静止画の候補画像を生成し、前記候補画像を前記表示装置に表示する表示工程と、
   前記表示装置に表示された候補画像に対応したフレームの前記動画データから静止画データを生成する生成工程とを有し、
   前記表示工程において、前記指示を受けたときに前記復号工程で選択されている階層を判別し、前記指示を受けたときに前記第一の階層の動画データが選択されている場合、前記第一の階層の動画データと、前記第二の階層の動画データとから複数の前記候補画像を生成し、
   前記生成工程において、前記表示装置に表示された前記複数の候補画像のうち、ユーザにより選択された候補画像に対応したフレームの前記動画データから静止画データを生成することを特徴とする再生方法。

Images