本発明の実施の形態について、図面に基づいて以下に説明する。
<実施の形態>
<構成>
本実施の形態による映像記録再生装置は、デジタル放送番組の放送ストリームを解析し、放送ストリームにおけるユーザー独自領域に符号化圧縮単位で1つ以上の代表画像を記録する。そして、特殊再生時には、特殊再生速度に応じた滑らかさと高精細さとを両立する代表画像を選択することによって、所望の映像シーンを探しやすくしている。また、映像記録再生装置に接続されている表示装置から取得した属性情報である表示可能フォーマットに基づいて、表示装置の性能範囲内で最適な解像度の代表画像を選択することによって、表示装置の性能以上の映像表示を無駄に実行することなく、映像記録再生装置の処理負荷を低減している。以下、詳細に説明する。
図1は、本実施の形態による映像記録再生装置100の構成の一例を示すブロック図である。
図1に示すように、映像記録再生装置100は、システム制御部101と、記録再生ドライブ部102と、チューナー部104と、ストリーム制御部110と、映像音声デコーダ部111と、静止画エンコーダ部112と、デジタルインターフェース部113と、メモリ部120とを備えている。システム制御部101は、代表画像生成制御部151と、特殊再生位置制御部152と、表示装置情報取得部153とを有し、操作部130に接続されている。デジタルインターフェース部113は、表示装置通信部115を有し、表示装置114に接続されている。
システム制御部101は、映像記録再生装置100の全体を制御している。記録再生ドライブ部102は、光ディスク103に記録された情報の読み出しを行う。
光ディスク103は、後述する符号化された映像が多重化されたストリーム情報と、当該ストリーム情報の再生制御情報とが記録されている。再生制御情報は、光ディスク103に記録されているストリーム情報から分離した、符号化された映像ストリームに関する映像の属性情報、符号化された音声ストリームに関する音声の属性情報、およびストリーム情報のアクセス単位で再生開始時間情報と再生開始位置情報との対応関係を示す情報などを含んでいる。ここで、ストリーム情報のアクセス単位とは、符号化圧縮単位のことをいい、通常はGOP(Group of Picture)単位のことをいう。
なお、本実施の形態では、記録再生ドライブ部102は光ディスクドライブ読み取り装置として説明するが、記録再生ドライブ部102はハードディスクドライブ装置またはSD(登録商標、以下同じ)メディアドライブ装置であってもよい。この場合、ハードディスクドライブまたはSDメディアにストリーム情報および再生制御情報が記憶されており、これらの情報を記録再生ドライブ部102が読み出す。
ここで、映像記録再生装置100による録画処理について説明する。
映像記録再生装置100が受信した放送波は、チューナー部104で例えばMPEG−2トランスポートストリーム(以下、MPEG−2 TSという)に復号される。チューナー部104で復号されたMPEG−2 TSは、ストリーム制御部110における図示しないメモリ領域に符号化圧縮単位で一旦保存される。
その後、ストリーム制御部110は、後述する代表画像生成制御部151からの指示に従って、ストリーム制御部110のメモリ領域から符号化圧縮単位で独立して復号可能なIピクチャを抽出する。映像音声デコーダ部111は、ストリーム制御部110で抽出されたIピクチャをHEVCで復号化する。静止画エンコーダ部112は、映像音声デコーダ部111で復号化されたIピクチャをJPEGで符号化圧縮する。静止画エンコーダ部112で符号化圧縮されたIピクチャは、代表画像に相当する。静止画エンコーダ部112で符号圧縮化されたIピクチャ、すなわち代表画像は、ストリーム制御部110に送られる。
代表画像生成制御部151は、代表画像の解像度およびコーデック情報を制御情報としてストリーム制御部110に送る。代表画像の解像度は、代表画像の幅および高さのピクセル数を示している。また、代表画像生成制御部151は、映像音声デコーダ部111が復号化したIピクチャにおける字幕情報の描画領域、字幕のフォントサイズ、Iピクチャの復号化予測時間の情報もストリーム制御部110に送る。
ストリーム制御部110は、当該ストリーム制御部110のメモリ領域に保存している映像音声ストリームにおけるユーザー独自領域であるSEI(Supplemental Enhancement Information)に代表画像を記録する。なお、静止画エンコーダ部112は、1つの代表画像に復号化してもよく、解像度が異なる複数の代表画像に復号化してもよい。例えば、映像記録再生装置100が8K放送を録画する場合、静止画エンコーダ部112は、8K解像度の代表画像、4K解像度の代表画像、および2K解像度の代表画像といった3種類の代表画像に復号化してもよい。
その後、記録再生ドライブ部102は、ストリーム制御部110の指示に従って、光ディスク103に符号化圧縮単位ごとに映像音声ストリームを記録する。また、記録再生ドライブ部102は、システム制御部101の指示に従って、録画終了時に再生制御情報を光ディスク103に記録する。
なお、本実施の形態では、映像音声ストリームは、MPEG−2 TSで多重化されているものとして説明するが、これに限るものではない。例えば、映像音声ストリームは、MMT(MPEG Media Transport)で多重化されたものであってもよい。
次に、映像記録再生装置100による通常再生処理について説明する。
上述の通り、通常再生とは、特殊再生ではない再生のことをいい、1倍速再生ともいう。
MPEG−2 TSなどで符号化圧縮されて光ディスク103に記録されたストリーム情報を再生するとき、システム制御部101は、再生対象のストリーム情報に関連する再生制御情報を予め読み出してメモリ部120に記憶する。これにより、システム制御部101は、メモリ部120から再生制御情報を即座に読み出すことができる。システム制御部101は、メモリ部120から再生制御情報を読み出し、周辺デバイスに対して再生準備をするように指示する。
その後、記録再生ドライブ部102は、光ディスク103に記録されたストリーム情報を読み出してストリーム制御部110に送る。ストリーム制御部110は、受け取ったストリーム情報を映像音声デコーダ部111に送る。映像音声デコーダ部111は、ストリーム情報を逐次取り込んだ後、符号化圧縮された映像ストリームおよび音声ストリームを分離して取り出す。そして、映像音声デコーダ部111は、MPEG−2などで符号化された映像ストリームをデコード処理して映像信号に復号化し、AC−3などで符号化された音声ストリームをデコード処理して音声信号に復号化する。
復号化された映像信号および音声信号は、デジタルインターフェース部113に送られる。デジタルインターフェース部113は、映像信号および音声信号をHDMI(High Definition Multimedia Interface(登録商標、以下同じ))に適合した信号に変換し、当該変換した映像信号および音声信号を表示装置114に送る。表示装置114は、送られてきた映像信号に基づいて映像を表示し、送られてきた音声信号に基づいて音声を出力する。
図1の説明に戻り、表示装置情報取得部153は、表示装置通信部115を介して、表示装置114から当該表示装置114の性能の情報を含む表示可能フォーマットを取得する。表示可能フォーマットは、表示装置114のTVサイズ、表示解像度、HDR(High Dynamic Range)対応の有無、最大出力輝度レベル、推奨最大輝度レベル、製造者名、製造年、およびインターレース対応の可否を含む。TVサイズは、表示装置114の表示画像サイズであり、表示装置114の表示画面のサイズに相当する。なお、表示装置114は、表示可能フォーマットをEDID(Extended Display Identification Data)として不揮発性メモリに記録しているものとする。
なお、本実施の形態では、HDMIを用いて表示装置114の表示可能フォーマットを取得する場合について説明するが、これに限るものではない。例えば、iLink(登録商標、以下同じ)または赤外線通信などを用いて表示装置114の表示可能フォーマットを取得してもよい。
図1では、デジタルインターフェース部113は、表示装置通信部115を有しているが、これに限るものではない。表示装置通信部115は、デジタルインターフェース部113とは別個に備えられてもよい。
デコーダブロック116は、映像音声ストリームの記録再生機能の総称である。デコーダブロック116は、システム制御部101からの指示に従って、ストリーム情報の記録または再生を行う。
操作部130は、映像記録再生装置100に対するユーザーの要求を受け付ける。一般的に、操作部130は、映像記録再生装置100のフロントパネルに配置されている操作パネルまたはリモコンなどである。システム制御部101は、操作部130を用いてユーザーが要求した内容を解釈し、当該解釈に基づいてデコーダブロック116を制御することによって、任意のストリーム情報を再生する。また、システム制御部101は、操作部130から、映像の再生開始、再生停止、一時停止、早送り、早戻し、スロー再生、またはスキップなどの指示を受ける。
上述の通り、特殊再生とは、早送り、早戻し、およびスロー再生など、通常再生とは異なる再生のことをいう。特殊再生は、通常再生速度を1倍速とすると、1倍速よりも速いまたは遅い速度で再生する。特殊再生では、映像音声ストリームにおいて符号化圧縮単位ごとに存在するIピクチャを使用する。特殊再生速度に基づいてスキップした時間位置に存在するIピクチャを復号化し、復号化したIピクチャである映像フレームを表示する。その後、同様に予め定められた時間位置をスキップしてIピクチャを順次復号化することによって特殊再生が行われる。なお、映像記録再生装置100が1秒間に2枚のIピクチャを復号化することが可能である場合、特殊再生速度が10倍速であるとすると、上記の予め定められた時間は5秒単位となる。
代表画像生成制御部151は、符号化圧縮単位で映像ストリームのユーザー独自領域に代表画像を記録する制御を行う。特殊再生位置制御部152は、特殊再生時に記録された映像ストリームのユーザー独自領域に記録された代表画像を選択する。特殊再生位置制御部152が選択した復号化難度が低いJPEGなどの静止画を再生することによって、高解像度で復号化難度が高いHEVCのIピクチャを復号化することなく、単位時間当たりの出画枚数を増やして滑らかな特殊再生を行うことができる。
なお、代表画像生成制御部151、特殊再生位置制御部152、および表示装置情報取得部153は、システム制御部101においてファームウェアなどで構成される例を示しているが、これに限るものではない。代表画像生成制御部151、特殊再生位置制御部152、および表示装置情報取得部153は、システム制御部101の外部に設けてもよく、これらの機能を有するハードウェアであってもよい。また、代表画像生成制御部151、特殊再生位置制御部152、および表示装置情報取得部153は、別個の機能ブロックとして図示されているが、これらの機能を統合してもよく、さらに細分化した機能ブロックであってもよい。
<放送番組の解像度>
図2は、放送番組の解像度を説明するための図である。
現行の放送は2K放送201と呼ばれ、横1920ピクセル×縦1080ピクセルの解像度を有する。近年、超高精細映像の放送番組が放送され始め、4K放送202および8K放送203の標準化が進められている。
4K放送202は、2K放送201の解像度の4倍である横3840ピクセル×横2160ピクセルの解像度を有する。8K放送203は、4K放送202の4倍である横7680ピクセル×縦4320ピクセルの解像度を有する。
また、4K放送202および8K放送203には、現行の2K放送201で採用されている符号化圧縮方式の約4倍の符号化圧縮効率であるHEVCが採用されている。HEVCは符号化圧縮効率が高いため、復号化処理にかかるCPU(Central Processing Unit)負荷も高くなる。このように、8K放送203では現行の2K放送201よりも情報量が膨大になるため、映像記録再生装置100による復号化の負荷が大きくなるという問題がある。
<光ディスクの論理ファイル構造>
図3は、光ディスク103の論理ファイル構造の一例を示す図である。
ルートディレクトリ300は、論理的な階層構造を構成するファイル構造の最上位階層のディレクトリ構造である。ディスクディレクトリ301は、ルートディレクトリ300の下位階層に配置されるディレクトリ構造である。ディスクディレクトリ301は、再生制御情報ファイル310とストリーム管理ディレクトリ302とで構成される。再生制御情報ファイル310は、光ディスク103に記録されているディスクコンテンツを管理する再生制御情報をファイル形式で記録している。ストリーム管理ディレクトリ302は、ストリーム情報ファイル320をまとめて記録したフォルダである。
ストリーム情報ファイル320は、5桁のファイル名で記録されているものとする。ストリーム情報ファイル320のファイル名は5桁の数字であればよく、連番である必要はない。図3では、ストリーム情報ファイル320は、個別のディレクトリ内に配置されている例を示しているが、これに限るものではない。例えば、ストリーム情報ファイル320は、ルートディレクトリ300に直接配置してもよく、他のディレクトリに配置してもよい。また、図3では、ストリーム情報ファイル320は、ある管理単位ごとに個別のファイルに記録されている例を示しているが、1つのファイルにまとめて記録されてもよい。
<ストリーム情報ファイルの内部データ構造>
図4は、ストリーム情報ファイル320の内部データ構造を説明するための図である。
ストリーム情報ファイル320は、パケット400と呼ばれる固定長のデータ単位の集まりで構成されている。映像データ、音声データ、およびストリーム管理データは、パケット400単位に分割された後、多重化されてストリーム情報ファイル320を構成する。各パケット400の先頭にはヘッダ情報401があり、ヘッダ情報401に記述されたID(Identification)402を用いてパケット400内のデータを識別する。ストリーム制御部110は、ID402を識別して、パケット400内のデータを映像データ、音声データ、およびストリーム管理データなどに分離する。
<再生制御情報ファイルの内部データ構造>
図5は、再生制御情報ファイル310の内部データ構造を説明するための図であり、再生制御情報ファイル310のシンタックスを示している。
光ディスク103に記録されている番組タイトルをプレイリストと呼ぶ。再生制御情報ファイル310には、プレイリストの総数を示す「num_of_playlist503」が記録されており、次のループ文であるfor以下は「num_of_playlist503」の数だけ繰り返される。なお、プレイリストは、後述する複数のプレイアイテムから構成される。1つのプレイアイテムは複数の映像フレームから構成され、1枚の映像フレームは複数のピクセルから構成される。
上記の通り、プレイリストは、複数のプレイアイテムから構成される。再生制御情報ファイル310には、プレイアイテムの総数を示す「num_of_playitem508」が記録されており、次のループ文であるfor以下は「num_of_playitem508」の数だけ繰り返される。プレイアイテムは、1つの再生区間情報が記録されており、再生対象のストリームファイル名509、再生開始時間510、および再生終了時間511から構成されている。映像記録再生装置100は、再生区間情報に基づいて、ストリーム情報ファイル320のどの区間を再生すればよいのかを判断することができる。
また、再生制御情報ファイル310には、光ディスク103に記録されているストリーム情報ファイル320の総数を示す「num_of_stream512」が記録されており、次のループ文であるfor以下は「num_of_stream512」の数だけ繰り返される。ストリーム情報ファイル名513は、ストリーム情報ファイル320の名前を示す5桁の数字情報である。属性情報管理テーブル514は、ストリーム情報ファイル320で使用される映像情報および音声情報などの属性情報を記録している。また、属性情報管理テーブル514は、映像ストリームを構成している映像情報、または音声ストリームを構成している音声情報ごとにパケットを識別するID402などを記録している。ストリーム制御部110は、ID402を用いて映像データ、音声データ、およびストリーム管理データなどを分離する。
アクセスポイント管理テーブル515は、アクセスポイントごとの映像音声ストリームを読み出す位置および再生開始時間を記録したリスト情報であり、当該リスト情報を用いてタイムサーチまたは特殊再生などのランダムアクセス再生を行うことができる。なお、例えば映像データがMPEG−2ビデオストリームでエンコードされている場合、GOPの先頭がアクセスポイントに相当し、当該GOPごとに再生開始時間および再生開始アドレスの情報が記述されている。再生開始アドレスは、ストリームファイルの先頭を起算とした位置である。映像記録再生装置100は、再生開始時間からストリーム情報ファイル320の再生開始アドレスを割り出してランダムアクセス再生を行う。
<放送番組の映像ストリームのデータ構造>
図6は、放送番組の映像ストリーム600のデータ構造を説明するための図であり、ストリーム制御部110でデマルチプレクスすることによって生成される符号化圧縮された映像ストリーム600のデータ構造を示している。
映像ストリーム600は、符号化圧縮単位であるGOP601単位で圧縮されている。GOP601は、フレーム内でデータ圧縮されたIピクチャ610と、時間的に前方向のIピクチャ610による動き補償を加えてデータ圧縮されたPピクチャ611と、時間的に前後方向のIピクチャ610またはPピクチャ611による動き補償を加えてデータ圧縮されたBピクチャ612とから構成されており、例えば0.5秒の再生時間ごとに符号化圧縮されている。
Iピクチャ610は、GOP601の先頭に位置しており、参照関係がないため独立して復号可能であり、GOP601の中で最初にデコードされる。また、Iピクチャ610は、表示時刻情報620、映像属性情報630、および符号化映像データ640から構成されている。
表示時刻情報620には、PTS(Presentation Time Stamp)が付与されており、表示装置114への提示時間情報が記録されている。なお、表示時刻情報620は、映像および音声が同期可能な時刻情報であればよく、PTSではなくNTP(Network Time Protocol)で定義される時刻情報でもよい。
映像属性情報630は、AUD(Access Unit Delimiter)631、SPS(System Parameter Set)632、PPS(Picture Parameter Set)633、およびSEI634から構成されている。
AUD631は、映像のアクセスユニットの先頭を示す識別子情報を示しており、当該アクセスユニットに含まれるスライス641の種類を示す情報を記録している。SPS632は、GOP601全体の符号化に関わるプロファイル、レベル、解像度、フレームレート、およびビットレート上限値などの情報を記録している。PPS633は、ピクチャ全体の符号化に関わる情報を含み、エントロピー符号化モードまたはピクチャ単位の量子化パラメータなどの情報を記録している。
SEI634は、GOP601のユーザー独自領域であり、映像記録再生装置100が任意のメタデータ情報を記録することができる。本実施の形態では、後述するGOP601の特殊再生用の代表画像制御情報、および1つ以上の代表画像がメタデータ情報としてSEI634に記録されている。
符号化映像データ640は、1つ以上のスライス641から構成されている。符号化映像データ640を復号化すると画像情報となる。
Pピクチャ611およびBピクチャ612は、SPS632およびSEI634を含んでおらず、その他の構成はIピクチャ610と同じである。
<SEIの内部データ構造>
図7は、SEI634の内部データ構造を説明するための図である。
SEI634は、代表画像制御情報700と、1つ以上の代表画像701とから構成されている。本実施の形態では、代表画像701は、代表画像701a、代表画像701b、および代表画像701cの3つあるものとする。なお、以下では、代表画像701a、代表画像701b、および代表画像701cを総称して、単に代表画像701ともいう。
代表画像701aは8Kの解像度を有し、代表画像701bは4Kの解像度を有し、代表画像701cは2Kの解像度を有している。代表画像701の解像度が高いと高精細であるが、復号処理に時間がかかるため単位時間当たりの出画枚数が減って滑らかに再生することができない。一方、代表画像701の街道度が低いと低解像度で映像シーンの視認性が悪くなるが、復号処理を高速に行うことができるため単位時間当たりの出画枚数が増えて滑らかに再生することができる。
代表画像制御情報700は、Data_type721、Maker_ID722、num_of_Picture723、および代表画像701ごとのピクチャ管理情報724から構成されている。
Data_type721は、SEI634に記録されたデータ種別を示している。本実施の形態では、Data_type721には、特殊再生時の滑らかな再生を行うためのメタデータであることを示す識別子が記録されている。Maker_ID722には、SEI634へのメタデータの書き込みを行った映像記録再生装置100のメーカー識別子が記録されている。num_of_Picture723は、ピクチャ管理情報724の総数を示している。本実施の形態では3つの代表画像701が記録されているため、num_of_Picture723には「3」が記録されている。
ピクチャ管理情報724は、offset_byte731、pic_size732、pic_width733、pic_height734、pic_codec735、subtitle_rate736、subtitle_frontsize737、time_of_proc738から構成されている。
offset_byte731は、代表画像701の先頭アドレス位置を示している。offset_byte731には、SEI634の先頭バイトから起算した相対アドレスを示すオフセットバイトが記録されている。pic_size732には、代表画像701のサイズを示すバイト数が記録されている。
pic_width733およびpic_height734は、代表画像701の解像度を示す情報である。pic_width733には代表画像701の幅のピクセル数が記録され、pic_height734には代表画像701の高さのピクセル数が記録されている。pic_codec735は、代表画像701の静止画圧縮方式を示している。pic_codec735には、JPEG、JPEG2000、またはビットマップなどのコーデック種別を示す識別子が記録されている。
subtitle_rate736は、代表画像701において字幕が占める面積、すなわち代表画像701において字幕が占める割合を示している。例えば、subtitle_rate736に「20」が記録されている場合、これは代表画像701の20パーセントが字幕であることを示している。
subtitle_frontsize737には、代表画像701において表示される字幕のうちで最も使用されている字幕のフォントサイズが記録されている。subtitle_frontsize737の記録されている字幕のフォントサイズを参照することによって、表示画面に対して字幕がどの程度の大きさであるのかを識別することができる。なお、本実施の形態では、subtitle_frontsize737には、最も使用されているフォントサイズが記録されているものとして説明するが、これに限るものではない。subtitle_frontsize737には、例えば、代表画像701において表示される字幕のうちで最も小さな字幕のフォントサイズを記録してもよい。
time_of_proc738は、代表画像701の復号処理に要する目安時間を示している。代表画像701の解像度が高く高効率の符号化圧縮方式を採用している場合、time_of_proc738には高い値のパラメータが記録される。
<特殊再生速度テーブルの内部データ構造>
図8は、特殊再生速度テーブル800の内部データ構造を説明するための図である。特殊再生速度テーブル800は、特殊再生速度および字幕割合に基づいて特殊再生時の代表画像701を選択する際に用いられる。特殊再生速度テーブル800は、特殊再生速度エントリー801および字幕割合区分802で構成されている。本実施の形態では、特殊再生速度エントリー801は4段階、字幕割合区分802は20%を閾値としている。なお、特殊再生速度テーブル800は、例えばメモリ部120に記憶されている。
特殊再生速度エントリー801は、特殊再生速度をS_tpとすると、「S_tp<×1.0倍速(スロー再生)」、「×1.0<S_tp≦×5.0(早送り/早戻し:低速)」、「×5.0<S_tp≦×15.0(早送り/早戻し:中速)」、および「×15.0<S_tp(早送り/早戻し:高速)」の4段階に区分けされている。
特殊再生速度エントリー801は、特殊再生速度が遅いほど、記録した番組中の所望の映像シーンを探しやすくするように、高精細かつ高解像度の代表画像701が提示されるような設定値を保持している。一方、特殊再生速度エントリー801は、特殊再生速度が速いほど、出画までの時間を短くすることができる低解像度の代表画像701が提示されるような設定値を保持している。
高速の特殊再生では、画面細部の視認性が悪くなっても、単位時間当たりの出画枚数が多い方が、おおまかな映像シーンを探しやすい。特に、符号化圧縮された映像を特殊再生するときは、単位時間当たりの出画枚数が少ないため、特殊再生時に出画する映像をスキップする間隔が少ない方が任意の映像シーンが探しやすい。一方、低速の特殊再生では、画面細部の情報を確認しながら、ピンポイントで所望の映像シーンを探すことができる。
字幕割合区分802は、画面面積の20%を判定閾値として、字幕の描画領域が画面面積の20%よりも大きいか否かを区別している。字幕は所望の映像シーンを探す際に有益な情報である。従って、特殊再生速度テーブル800は、特殊再生速度が遅い場合はより高解像度の代表画像701を選択するように構成されている。
なお、本実施の形態では、特殊再生速度および字幕割合に基づいて特殊再生時の代表画像701を選択しているが、これに限るものではない。例えば、特殊再生速度のみ、または字幕割合のみに基づいて特殊再生時の代表画像701を選択してもよい。
本実施の形態では、特殊再生速度エントリー801が4段階である場合について説明したが、4段階よりも多くてもよく、4段階よりも少なくてもよい。
本実施の形態では、字幕割合区分802の判定閾値を20%としているが、当該判定閾値を変更してもよい。また、字幕割合区分802の判定閾値は、画面面積に対する字幕の描画領域の割合に限らず、例えば画面に表示される字幕のフォントサイズであってもよい。この場合、字幕のフォントサイズが予め定められたフォントサイズによりも小さいときは高解像度の代表画像701が選択されるようにしてもよい。
<表示機能テーブルの内部データ構造>
図9は、表示機能テーブル900の内部データ構造を説明するための図である。表示機能テーブル900は、TVサイズおよび表示解像度に基づいて特殊再生時の代表画像701を選択する際に用いられる。すなわち、表示装置114の性能に合わせて、必要以上に高い解像度の代表画像701を選択することを防ぎ、映像記録再生装置100の処理負荷を無駄に上げないように配慮している。表示機能テーブル900は、TVサイズエントリー901および解像度区分902で構成されている。本実施の形態では、TVサイズエントリー901は3段階、解像度区分902は3段階としている。なお、表示機能テーブル900は、例えばメモリ部120に記憶されている。
TVサイズエントリー901は、「30インチ以下(小型)」、「30インチから50インチまで(中型)」、および「50インチ以上(大型)」の3つに区分けされている。解像度区分902は、「2Kの低解像度」、「4Kの中解像度」、および「8Kの高解像度」の3つに区分けされている。
表示機能テーブル900は、TVサイズが小さいほど、または表示装置114の表示解像度が低いほど、低解像度の代表画像701を多く出画するように構成されている。一方、TVサイズが大きい、または表示装置114の表示解像度が高い場合は、低解像度の代表画像701を表示して所望の映像シーンを探しにくくすることを防いでいる。
なお、本実施の形態では、TVサイズおよび表示解像度に基づいて特殊再生時の代表画像701を選択しているが、これに限るものではない。例えば、TVサイズのみ、または表示解像度のみに基づいて特殊再生時の代表画像701を選択してもよい。
本実施の形態では、TVサイズエントリー901および解像度区分902のそれぞれが3段階である場合について説明したが、3段階よりも多くてもよく、3段階よりも少なくてもよい。
<実施例1>
図10は、映像記録再生装置100の動作の一例を示すフローチャートであり、特殊再生時の動作を示している。以下では、図8に示す特殊再生速度テーブル800を用いて代表画像を選択する場合について説明する。
ステップS101において、システム制御部101は、録画番組の再生が特殊再生であるか否かを判断する。特殊再生でなく通常再生である場合は、図10に示す処理を終了する。一方、特殊再生である場合は、ステップS102に移行する。
ステップS102において、システム制御部101は、特殊再生が終了したか否かを判断する。特殊再生が終了した場合は、図10に示す処理を終了する。一方、特殊再生が終了していない場合は、ステップS103に移行する。
ステップS103において、特殊再生位置制御部152は、特殊再生速度S_tpを操作部130から取得する。
ステップS104において、特殊再生位置制御部152は、再生制御情報ファイル310のアクセスポイント管理テーブル515を参照して次に再生すべきGOP601を特定し、特定したGOP601の先頭位置にシークする。
ステップS105において、特殊再生位置制御部152は、GOP601の先頭に記録されている映像属性情報630からSEI634を読み出す。そして、特殊再生位置制御部152は、SEI634の代表画像制御情報700から代表画像701を読み出す。本実施の形態では、8Kの代表画像701a、4Kの代表画像701b、および2Kの代表画像701cを読み出す。
ステップS106において、特殊再生位置制御部152は、特殊再生速度S_tpが1.0倍速よりも遅いか否かを判断する。特殊再生速度S_tpが1.0倍速よりも遅い場合は、ステップS107に移行する。一方、特殊再生速度S_tpが1.0倍速よりも遅くない場合は、ステップS108に移行する。
ステップS108において、特殊再生位置制御部152は、特殊再生速度S_tpが「×1.0<S_tp≦×5.0」であるか否か、すなわち低速の早送りまたは早戻しであるか否かを判断する。低速の早送りまたは早戻しである場合は、ステップS109に移行する。一方、低速の早送りまたは早戻しでない場合は、ステップS111に移行する。
ステップS109において、特殊再生位置制御部152は、字幕割合が20%を超えるか否かを判断する。字幕割合が20%を超える場合は、ステップS107に移行する。一方、字幕割合が20%を超えない場合は、ステップS110に移行する。
ステップS106で特殊再生速度S_tpが1.0倍速よりも遅いと判断された場合、およびステップS109で字幕割合が20%を超えると判断された場合、ステップS107において、特殊再生位置制御部152は、高解像度である8Kの代表画像701aを選択し、代表画像701aを表示装置114に表示するようにデコーダブロック116を制御する。これにより、表示装置114では、特殊再生時に代表画像701aが表示される。
ステップS111において、特殊再生位置制御部152は、特殊再生速度S_tpが「×5.0<S_tp≦×15.0」であるか否か、すなわち中速の早送りまたは早戻しであるか否かを判断する。中速の早送りまたは早戻しである場合は、ステップS112に移行する。一方、中速の早送りまたは早戻しでない場合は、ステップS113に移行する。
ステップS112において、特殊再生位置制御部152は、字幕割合が20%を超えるか否かを判断する。字幕割合が20%を超える場合は、ステップS110に移行する。一方、字幕割合が20%を超えない場合は、ステップS113に移行する。
ステップS109で字幕割合が20%を超えないと判断された場合、またはステップS112で字幕割合が20%を超えると判断された場合、ステップS110において、特殊再生位置制御部152は、中解像度である4Kの代表画像701bを選択し、代表画像701bを表示装置114に表示するようにデコーダブロック116を制御する。これにより、表示装置114では、特殊再生時に代表画像701bが表示される。
ステップS111で中速の早送りまたは早戻しでないと判断された場合、またはステップS112で字幕割合が20%を超えないと判断された場合、ステップS113において、特殊再生位置制御部152は、低解像度である2Kの代表画像701cを選択し、代表画像701cを表示装置114に表示するようにデコーダブロック116を制御する。これにより、表示装置114では、特殊再生時に代表画像701cが表示される。
ステップS114において、特殊再生位置制御部152は、次のGOP601を読み込み、ステップS102に戻る。
上記より、映像記録再生装置100は、高解像度の放送番組の特殊再生時には、特殊再生速度に応じて滑らかさと高精細さとを両立した代表画像701を選択して表示する。従って、所望の映像シーンを探しやすくすることができる。また、映像ストリーム600のIピクチャ610を構成するユーザー独自領域であるSEI634に代表画像701を記録しているため、汎用のディスクフォーマットと互換性の高いデータフォーマットで記録することができる。
<実施例2>
図11は、映像記録再生装置100の動作の一例を示すフローチャートであり、特殊再生時の動作を示している。以下では、図9に示す表示機能テーブル900を用いて代表画像を選択する場合について説明する。
ステップS201において、システム制御部101は、録画番組の再生が特殊再生であるか否かを判断する。特殊再生でなく通常再生である場合は、図11に示す処理を終了する。一方、特殊再生である場合は、ステップS202に移行する。
ステップS202において、システム制御部101は、特殊再生が終了したか否かを判断する。特殊再生が終了した場合は、図11に示す処理を終了する。一方、特殊再生が終了していない場合は、ステップS203に移行する。
ステップS203において、特殊再生位置制御部152は、再生制御情報ファイル310のアクセスポイント管理テーブル515を参照して次に再生すべきGOP601を特定し、特定したGOP601の先頭位置にシークする。
ステップS204において、特殊再生位置制御部152は、GOP601の先頭に記録されている映像属性情報630からSEI634を読み出す。そして、特殊再生位置制御部152は、SEI634の代表画像制御情報700から代表画像701を読み出す。本実施の形態では、8Kの代表画像701a、4Kの代表画像701b、および2Kの代表画像701cを読み出す。
ステップS205において、特殊再生位置制御部152は、表示装置情報取得部153が取得した表示装置情報に基づいて、表示装置114の表示解像度が8Kの解像度であるか否かを判断する。表示装置114の表示解像度が8Kの解像度である場合は、ステップS206に移行する。一方、表示装置114の表示解像度が8Kの解像度でない場合は、ステップS208に移行する。
ステップS206において、特殊再生位置制御部152は、表示装置情報取得部153が取得した表示装置情報に基づいて、表示装置114のTVサイズが30インチ以上であるか否かを判断する。表示装置114のTVサイズが30インチ以上である場合は、ステップS207に移行する。一方、表示装置114のTVサイズが30インチ以上でない場合は、ステップS210に移行する。
ステップS207において、特殊再生位置制御部152は、高解像度である8Kの代表画像701aを選択し、代表画像701aを表示装置114に表示するようにデコーダブロック116を制御する。これにより、表示装置114では、特殊再生時に代表画像701aが表示される。
ステップS208において、特殊再生位置制御部152は、表示装置情報取得部153が取得した表示装置情報に基づいて、表示装置114の表示解像度が4Kの解像度であるか否かを判断する。表示装置114の表示解像度が4Kの解像度である場合は、ステップS209に移行する。一方、表示装置114の表示解像度が4Kの解像度でない場合は、ステップS211に移行する。
ステップS209において、特殊再生位置制御部152は、表示装置情報取得部153が取得した表示装置情報に基づいて、表示装置114のTVサイズが30インチ以上であるか否かを判断する。表示装置114のTVサイズが30インチ以上である場合は、ステップS210に移行する。一方、表示装置114のTVサイズが30インチ以上でない場合は、ステップS211に移行する。
ステップS206で表示装置114のTVサイズが30インチ以上でないと判断された場合、またはステップS209で表示装置114のTVサイズが30インチ以上であると判断された場合、ステップS210において、特殊再生位置制御部152は、中解像度である4Kの代表画像701bを選択し、代表画像701bを表示装置114に表示するようにデコーダブロック116を制御する。これにより、表示装置114では、特殊再生時に代表画像701bが表示される。
ステップS208で表示装置114の表示解像度が4Kの解像度でないと判断された場合、またはステップS209で表示装置114のTVサイズが30インチ以上でないと判断された場合、ステップS211において、特殊再生位置制御部152は、低解像度である2Kの代表画像701cを選択し、代表画像701cを表示装置114に表示するようにデコーダブロック116を制御する。これにより、表示装置114では、特殊再生時に代表画像701cが表示される。
ステップS212において、特殊再生位置制御部152は、次のGOP601を読み込み、ステップS202に戻る。
上記より、映像記録再生装置100は、表示装置114の表示可能フォーマットに基づいて、表示装置114の性能範囲内で最適な解像度の代表画像701を選択して表示する。従って、表示装置114の性能以上の解像度の映像を表示することなく、映像記録再生装置100の処理負荷を低減することができる。
なお、図11において、図10に示すような特殊再生速度および字幕の割合をさらに採用して代表画像701の選択を行ってもよい。
なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。