JP2007288300A - 映像音声再生装置 - Google Patents

Abstract

【課題】一時停止期間中に、直前まで視聴していた蓄積番組と関連性のある映像・音声に切り替え、それまでの視聴の流れを大きく乱すことなく、スムーズに視聴を再開できる映像音声再生装置を提供する。
【解決手段】指示の受付手段１５と、外部から選択されたコンテンツを再生するデータ処理手段１１と、シーンキーワードと見所キーワードにより抽出された再生区間情報に基づき、短縮動画を生成する短縮動画生成手段１２と、シリーズ番組であることを示すＩＤと反復して録画する番組であることを示すＩＤとに基づき、現在再生中のコンテンツと関連のある関連コンテンツを蓄積された複数のコンテンツから選択する選択手段１３と、外部からの再生中断の制御指示によって、現在再生中のコンテンツが再生中断されている期間中に、選択された関連コンテンツの短縮動画の再生を行うようデータ処理手段に指示する関連動画選択手段１３とを備える。
【選択図】図１

Description

本発明は、視聴していた番組を一時停止させ、その後一時停止を解除して番組の視聴を継続する映像音声再生装置に関する。

従来、ＤＶＤレコーダやＤＶＤプレーヤなどの映像音声再生装置では何らかの要因で視聴を中断し、中断したところから再開したいことがある。特に映画やドラマなどでは、視聴を一時中断する必要が発生した場合にも、それまでのストーリーの余韻を維持したまま、続きを視聴できることが望ましい。そのための１つの方法として、リモコンのポーズボタンを押し、画面を一時停止させておくことができる。その後、ユーザが視聴を再開させるときはポーズを解除すれば、続きが視聴可能となる。また、現在の再生位置をいったんメモリに保存した後に再生を停止させ、次回再生時にメモリから前回の再生位置を読み出してそこから続きを再生させる方法もある。この方法は続きを後日視聴するなど、特に中断期間が比較的長い場合に一層有効である。

ただし、これらの一時停止手段については、停止期間中は映像と音声は静止画面で止まったまま、あるいは画面が出ない状態となってしまう。特に中断期間が比較的短時間である場合には、視聴を再開するまでの間、画面を静止画にしたまま何も音がしない状態がしばらく持続した状態となる。この状態は普段絶え間なく動画と音声が流れ続ける視聴環境に慣れ親しんでいるユーザに対しては多少違和感を与えてしまう。そこで、下記の特許文献１に記載された発明のように視聴した最後の再生位置をしおりとして書き込み、再生はそのまま続行させておき、視聴を再開する場合はしおり位置まで戻って再生する方法もある。この場合は視聴を再開しようと思った時点においても、映像と音声が途切れていることはない。ユーザはしおりを打ったところに戻って視聴を再開することができる。しかし、ユーザは先の映像や音声の一部を知ってしまうことにもなり、目撃した内容によっては、しおり位置から続く場面への興味を半減させてしまうこともある。

このため、１つの方法として、下記の特許文献２に記載の発明のように入力はテレビに切り替え、その時点で蓄積番組の再生は連動して一時停止させておくという方法もある。この方法ではユーザは視聴を再開するときにテレビから蓄積番組の再生に戻して、視聴を継続することができる。すなわち、視聴中断中はテレビの映像が出続けていることになる。これによって映像と音声は途切れることはなく、先の映像や音声の一部を知ることはないものの、テレビ切替え期間中に今まで視聴中の視聴映像とは全く関連性のない番組が流れる可能性もあり、今までのユーザの視聴意識を乱してしまう場合もある。また、下記の特許文献３や特許文献４に記載の発明のように、復帰後の冒頭にダイジェストを再生し、その後通常再生に戻る方法も提案されている。これは視聴再開後のストーリー理解を早める効果があるものの、一時停止の期間中の解決方法とはなっていない。
特開２００２−４４５８６号公報(要約） 特開平０７−２４０８８２号公報（要約） 特開２００２−２５２３５号公報（要約、段落０００７） 特開平０８−２６３９２９号公報（要約、段落００１１）

上述したように、従来の一時停止後の処理としては、一時停止期間に映像と音声を途切れさせてしまうか、そのまま視聴中の蓄積番組を先まで進ませてしまうか、あるいは視聴中断中の蓄積番組とは関係のない映像を流すかであり、それまでの視聴に対するユーザの意識を乱す可能性があった。

本発明は、上記課題を解決するためのものであり、一時停止期間中に、直前まで視聴していた蓄積番組と関連性のある映像・音声に切り替え、それまでの視聴の流れを大きく乱すことなく、スムーズに視聴を再開できる映像音声再生装置を提供することを目的とする。

上記目的を達成するために、本発明によれば、コンテンツの選択、前記コンテンツの再生及び前記コンテンツの再生中断を含む制御指示を外部から受け付ける受付手段と、前記受付手段で受け付けた前記外部からの前記制御指示に基づいて、記録媒体に蓄積された複数のコンテンツから１つのコンテンツを選択し、この選択された前記コンテンツを再生するデータ処理手段と、前記蓄積された前記コンテンツを構成するシーンごとの内容を示すシーンキーワードと、見所のシーンを示すためにあらかじめ設定されている見所キーワードとにより抽出され、前記コンテンツのハイライトシーンを示す再生区間情報に基づいて、前記蓄積されたコンテンツごとに前記各コンテンツの再生時間を短縮した動画である短縮動画を生成する短縮動画生成手段と、あらかじめ設定されたシリーズ番組であることを示すＩＤと反復して録画する番組であることを示すＩＤとに基づいて、現在再生中のコンテンツと関連のある関連コンテンツを前記蓄積された複数のコンテンツから選択する選択手段と、前記受付手段を介して受け付けた前記外部からの前記再生中断の制御指示によって、現在再生中のコンテンツが再生中断されている期間中に、前記選択手段によって選択された前記関連コンテンツの前記短縮動画の再生を行うよう前記データ処理手段に指示する関連動画選択手段とを備える映像音声再生装置が提供される。この構成により、一時停止期間中に、直前まで視聴していた蓄積番組と関連性のある映像・音声に切り替え、それまでの視聴の流れを大きく乱すことなく、スムーズに視聴を再開できる。

また、本発明によれば、コンテンツの選択、前記コンテンツの再生及び前記コンテンツの再生中断を含む制御指示を外部から受け付ける受付手段と、前記受付手段で受け付けた前記外部からの前記制御指示に基づいて、記録媒体に蓄積された複数のコンテンツから１つのコンテンツを選択し、この選択された前記コンテンツを再生するデータ処理手段と、少なくとも前記蓄積された前記コンテンツの音声信号から検出される音声レベルピーク時間の情報と前記蓄積された前記コンテンツの映像信号から検出されるシーンの切り替わり時間であるシーンチェンジ時間の情報とを含む、前記コンテンツのハイライトシーンを示す再生区間情報に基づいて、前記蓄積されたコンテンツごとに前記各コンテンツの再生時間を短縮した動画である短縮動画を生成する短縮動画生成手段と、あらかじめ設定されたシリーズ番組であることを示すＩＤと、反復して録画する番組であることを示すＩＤとに基づいて、現在再生中のコンテンツと関連のある関連コンテンツを前記蓄積された複数のコンテンツから選択する選択手段と、前記受付手段を介して受け付けた前記外部からの前記再生中断の制御指示によって、現在再生中のコンテンツが再生中断されている期間中に、前記選択手段によって選択された前記関連コンテンツの前記短縮動画の再生を行うよう前記データ処理手段に指示する関連動画選択手段とを備える映像音声再生装置が提供される。この構成により、一時停止期間中に、直前まで視聴していた蓄積番組と関連性のある映像・音声に切り替え、それまでの視聴の流れを大きく乱すことなく、スムーズに視聴を再開できる。

また、本発明によれば、コンテンツの選択、前記コンテンツの再生及び前記コンテンツの再生中断を含む制御指示を外部から受け付ける受付手段と、前記受付手段で受け付けた前記外部からの前記制御指示に基づいて、記録媒体に蓄積された複数のコンテンツから１つのコンテンツを選択し、この選択された前記コンテンツを再生するデータ処理手段と、現在再生中のコンテンツの予告を示す短縮動画が前記記録媒体に存在するか否かを前記記録媒体に蓄積された各コンテンツの再生時間の長さに基づいて判断する判断手段と、前記受付手段を介して受け付けられた前記外部からの前記再生中断の制御指示によって、現在再生中のコンテンツが中断され、かつ前記判断手段によって前記短縮動画が存在すると判断された場合に、再生中断された前記コンテンツの前記短縮動画の再生を前記再生が中断されている期間中に行うよう前記データ処理手段に指示する関連動画選択手段とを備える映像音声再生装置が提供される。この構成により、一時停止期間中に、直前まで視聴していた蓄積番組と関連性のある映像・音声に切り替え、それまでの視聴の流れを大きく乱すことなく、スムーズに視聴を再開できる。

本発明の映像音声再生装置は、上記構成を有し、一時停止期間中に、直前まで視聴していた蓄積番組と関連性のある映像・音声に切り替え、それまでの視聴の流れを大きく乱すことなく、スムーズに視聴を再開できる。

＜第１の実施の形態＞
以下、本発明の第１の実施の形態に係る映像音声再生装置について図１から図１６を用いて説明する。図１は本発明の第１の実施の形態に係る映像音声再生装置の構成の一例を示す構成図である。図２は本発明の第１の実施の形態に係る映像音声再生装置の映像音声データ処理部の構成の一例を示す構成図である。図３は本発明の第１の実施の形態に係る映像音声再生装置の蓄積番組データ格納部に格納された関連蓄積番組リストの一例について説明するための図である。図４は本発明の第１の実施の形態に係る映像音声再生装置の短縮動画生成部の構成の一例を示す構成図である。図５は本発明の第１の実施の形態に係る映像音声再生装置のユーザマーカによるハイライト再生情報の生成方法の一例について説明するためのフローチャートである。図６は本発明の第１の実施の形態に係る映像音声再生装置のユーザプレイリストによるハイライト再生情報の生成方法の一例について説明するためのフローチャートである。図７は本発明の第１の実施の形態に係る映像音声再生装置のシーンメタデータによるハイライト再生情報の生成方法の一例について説明するためのフローチャートである。

図８は本発明の第１の実施の形態に係る映像音声再生装置の自動ハイライト情報によるハイライト再生情報の生成方法の一例について説明するためのフローチャートである。図９は本発明の第１の実施の形態に係る映像音声再生装置の操作入力部の一例を示す図である。図１０は本発明の第１の実施の形態に係る映像音声再生装置の蓄積番組再生時の動作の一例について説明するためのフローチャートである。図１１は本発明の第１の実施の形態に係る映像音声再生装置の関連動画選択部の動作の一例について説明するためのフローチャートである。図１２は本発明の第１の実施の形態に係る映像音声再生装置の再生方法を決定するための開始位置選択画面の一例を示す図である。図１３は本発明の第１の実施の形態に係る映像音声再生装置の関連蓄積番組の選択の詳細動作の一例について説明するためのフローチャートである。図１４は本発明の第１の実施の形態に係る映像音声再生装置の交互再生モードにおける再生の概念を説明するための図である。図１５は本発明の第１の実施の形態に係る映像音声再生装置の順次再生モードにおける再生の概念を説明するための図である。図１６は本発明の第１の実施の形態に係る映像音声再生装置のハイライト再生の詳細動作の一例について説明するためのフローチャートである。

まず、本発明の実施の形態に係る映像音声再生装置について図１を用いて説明する。以下では本発明の１つの実施例として、テレビを録画して再生する映像音声再生装置について説明する。この実施例の映像音声再生装置１は、テレビジョン放送を受信し、ＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disk）などの記録可能な蓄積媒体に番組を複数録画保存し再生できる装置である。ここでの放送はデジタル放送若しくはアナログ放送であってこれらを受信部１０で取得する。受信部１０は、アナログ放送の場合、デジタル信号に変換しＭＰＥＧなどの圧縮手段を使って圧縮デジタル信号に変換する。変換されたデジタル信号は蓄積番組として映像音声データ処理部１１内の蓄積媒体２３に保存される。

保存された複数の蓄積番組に対し、ユーザは操作入力部１５を介して目的の蓄積番組を選択し再生を指示する。選択された蓄積番組は映像音声データ処理部１１内の蓄積媒体２３から読み出され、映像及び音声データに復元されてそれぞれ提示装置２に提示される。蓄積番組の録画時には番組付随情報も取得される。番組付随情報には番組名、番組ジャンル、シーンメタデータなどが含まれる。

映像音声データ処理部１１の構成について図２を用いて説明する。蓄積番組指定部２４は番組の録画予約を登録し、受信部１０で取得した番組の蓄積媒体２３への録画を実行する。その録画時には関連性のある番組を蓄積番組データ格納部２６へ関連蓄積番組リストとして登録する。関連蓄積番組リストには番組が複数の回にわたって放送される、いわゆるシリーズ番組として録画されている番組情報が含まれている。シリーズ番組は、毎日、あるいは毎週放送される連続ドラマなどがこれに該当する。また、シリーズ番組に該当しない場合は単一番組と判定する。

ここで、蓄積番組データ格納部２６に格納された関連蓄積番組リストについて図３を用いて説明する。図３に示すように、蓄積番組データ格納部２６に格納される蓄積番組データは蓄積番組情報と関連蓄積番組リストから構成されている。蓄積番組情報は、蓄積番組ID、シリーズ番組ID、反復録画ID、番組情報から構成されており、蓄積番組ID、シリーズ番組ID、反復録画ID、番組情報は番組蓄積時（録画時）に登録される。蓄積番組IDは新たに番組蓄積が行われる際に付与されるものである。シリーズ番組IDは、例えば送信されてくる番組付随情報に含まれており、同一のシリーズ番組については同じ値となる。反復録画IDはユーザが繰り返し録画するモードで録画する番組ごとに付与されるものである。番組情報は該当する番組の番組名、番組ジャンル、シーンメタデータなどを含むものである。

ある蓄積番組において、そのシリーズ番組IDで蓄積番組情報内を検索すると、同一のシリーズ番組IDを有する複数の蓄積番組IDが取得される。また、シリーズ番組IDが放送によって提供されていない（番組付随情報に含まれていない）場合も想定し、この場合は反復録画IDで蓄積番組情報内を検索すると、同一の反復録画IDを有する蓄積番組IDが取得される。ここで、その都度これら２つの検索条件で蓄積番組情報内を検索することは処理時間の増加を伴うため、あらかじめ蓄積番組データ内に関連蓄積番組リストを設け、１つの蓄積番組の蓄積終了時に関連蓄積番組リストを更新する。関連蓄積番組リストには、関連蓄積番組に関する２つの条件であるシリーズ番組ID及び反復録画IDごとに対応する複数の蓄積番組IDがリストとして登録される。

関連蓄積番組リストの管理は下記のように行われる。まず、新規蓄積番組がシリーズ番組IDを有する場合には、関連蓄積番組リスト内のシリーズ番組IDを検索し、該当するシリーズ番組IDがあれば、関連蓄積番組リストに蓄積番組IDを追加登録する。該当するシリーズ番組IDがなければ新規にシリーズ番組IDを作成し、関連蓄積番組リストに蓄積番組ID登録する。また、新規蓄積番組が反復録画IDを有する場合には、関連蓄積番組リスト内の反復録画IDを検索し、該当する反復録画IDがあれば、関連蓄積番組リストに蓄積番組IDを追加登録する。該当する反復録画IDがなければ新規に反復録画IDを作成し、関連蓄積番組リストに蓄積番組ID登録する。なお、蓄積番組が削除された場合は、関連蓄積番組リストから該当する蓄積番組IDを取り除く。

ある蓄積番組と関連性のある蓄積番組IDのリストを取得するには次のように処理を行う。最初に蓄積番組情報を参照し、ある蓄積番組のシリーズ番組IDと反復録画IDを取得する。次に、それぞれのIDに該当する蓄積番組IDを関連蓄積番組リストより取得し、重複する蓄積番組IDはどちらか１つにまとめ、関連性のある複数の蓄積番組IDが取得される。すなわち、図３に示すように、蓄積番組０７に関する関連性のある番組は以下のように取得される。蓄積番組０７のシリーズ番組IDはシリーズ番組０１、反復録画IDは反復録画０４であるため、それぞれに対応する蓄積番組IDを関連蓄積番組リストから取得すると、蓄積番組０１と蓄積番組１３の情報が取得される。

次に、映像音声再生装置１の短縮動画生成部１２の構成について図４を用いて説明する。短縮動画生成部１２は視聴に先立ち蓄積番組別にハイライト再生情報の作成を行い、結果をハイライト再生情報データベース３３に保存する。ハイライト再生情報は、それぞれの蓄積番組から複数の短い区間の映像などを抽出した情報であり、この情報を基に再生すると数分程度に短くまとめられた映像を得ることができる。ハイライト再生情報は蓄積番組に関するシーン情報を用いて生成するが、シーン情報はユーザマーカ、ユーザプレイリスト、シーンメタデータ、自動ハイライト情報に基づいて生成される。このうち、ユーザマーカ及びユーザプレイリストはユーザによってマニュアルで生成されたシーン情報であり、自動ハイライト情報は映像音声再生装置１が自動で作成したシーン情報である。これらのシーン情報を用いて短縮動画生成部１２においてハイライト再生情報が作成されるが、シーン情報がない場合も簡易的にハイライト再生情報を作成する。なお、シーン情報がない場合の処理方法については後述する。

次に、それぞれの情報に基づいて生成されるシーン情報ごとの短縮動画生成部１２の動作を説明する。まず、ユーザが蓄積番組の特定再生位置にマーカをつける場合について説明する。ユーザは蓄積番組を視聴し、操作入力部１５を介してユーザが気になる場面の再生位置を指定する。ユーザマーカプレイリスト設定部３４がその再生位置情報を受け取り、シーンデータベース３１に再生位置情報を格納する。ユーザマーカは位置情報のみならず、ユーザの再生位置に対する関心レベルも設定可能となっている。関心レベルは、例えば０〜１の間の値で設定される。

次に、ユーザマーカによるハイライト再生情報の生成方法について図５を用いて説明する。最初に累積再生時間と部分再生情報をクリアする（ステップＳ５０１）。ハイライト作成部３２は関心レベルの高い順にマーカ位置を読み出し、部分再生期間を決定する（ステップＳ５０２）。例えば、マーカの前１０秒を開始時刻、２０秒を再生時間長とする。再生時間長を前回までの累積再生時間に加算する（ステップＳ５０３）。この累積再生時間が部分再生時間以内か否かを判断し（ステップＳ５０４）、部分再生時間以内である場合、ステップＳ５０２に戻り、次に高い関心レベルのマーカからハイライト区間を決め、累積していく。一方、累積再生時間長が部分再生時間を超えた場合は、得られた複数の部分再生情報を時間順に並べ替える（ステップＳ５０５）。そして、これら部分再生情報はハイライト再生情報データベース３３に保存される（ステップＳ５０６）。なお、部分再生時間はあらかじめ設定された時間であり、例えば１分や３分などの時間である。また、時間順に並び替えるとは時間の流れに沿って並び替えることを言い、番組のシーンの古い順に並び替えることを言う。

次に、ユーザが蓄積番組の特定再生区間をプレイリストとして指定する場合について説明する。あらかじめユーザは蓄積番組を視聴し、操作入力部１５を介して再生区間を指定する。ユーザマーカプレイリスト設定部３４がその再生区間情報を受け取り、シーンデータベース３１へ蓄積番組単位で情報を格納する。再生区間情報は１つの蓄積番組に対して複数登録することが可能である。また、再生区間情報は位置情報のみならず、再生区間別にユーザの関心レベルも設定可能となっている。この関心レベルは操作入力部１５を介して、例えば０〜１の間の値で設定される。

次に、ユーザプレイリストによるハイライト再生情報の生成方法について図６を用いて説明する。最初に累積再生時間と部分再生情報をクリアする(ステップＳ６０１)。ハイライト作成部３２は関心レベルの高い順に再生区間情報を取得し、部分再生情報に追加する（ステップＳ６０２）。再生区間情報には再生開始時刻と再生時間長が含まれる。再生時間長を前回までの累積再生時間に加算する（ステップＳ６０３）。この累積再生時間が部分再生時間以内であるか否かを判断し（ステップＳ６０４）、部分再生時間以内である場合、ステップＳ６０２に戻り、関心レベル順に再生区間情報を取得し追加していく。一方、累積再生時間が部分再生時間を超えた場合は、関心レベル順に得られた複数の部分再生情報を時間順に並べ替える（ステップＳ６０５）。これらの部分再生情報を蓄積番組別にハイライト再生情報データベース３３に保存する（ステップＳ６０６）。なお、関心レベルが設定されていない場合は、再生区間情報の先頭より順に若しくはランダムに選択する。なお、再生時間長はユーザがマニュアルで設定した値とする方法以外に固定値であってもよい。この場合、再生開始時刻に再生時間長を加えた時間から固定値を引いた値とする。

次に、シーンメタデータを利用したハイライト再生情報について説明する。サーバ型放送など、あらかじめダイジェスト情報がシーンメタデータとして送出されている場合はそれを利用する。このシーンメタデータにはダイジェストに関するシーンメタデータが含まれ、それにはシーン区間情報、重み値、シーンキーワードなどが含まれている。なお、シーンメタデータは、例えばＸＭＬ形式のテキストデータとして記述された状態であって、各シーンにおいてＸＭＬで記述されたシーン区間情報、重み値、シーンキーワードなどの要素がタグで表現され、それぞれの値や内容がテキスト形式で記載されている。

まず、蓄積番組情報取得部３５は蓄積番組のジャンル情報を取得する。ジャンル情報としては大枠を決めるメインジャンルとサブジャンルがある。また、シーンメタデータ取得部３６はシーンメタデータを抽出し、対応する蓄積番組に対し、ジャンル情報と共にシーンデータベース３１に保存する。ハイライト作成部３２では、見所キーワード格納部３９を参照し、選択中の蓄積番組のジャンルに対応したシーンキーワードを取得する。次に、取得されたシーンキーワードに基づいて、シーンメタデータに対し、シーンキーワードが含まれる再生区間情報を検索(抽出)する。

すなわち、デジタル放送におけるサーバ型放送では、あらかじめシーンごとにシーン内容を示すシーンキーワードがシーンメタデータとして付けられる。このシーンキーワードにどんな単語が含まれていれば見所（ハイライト）とみなすかを検索するためのキーワードが見所キーワード格納部３９に格納された見所キーワードであって、番組のジャンル情報別にあらかじめ辞書登録しておく。例えば、スポーツ番組において、そのジャンルが「サッカー」であれば、「ゴール」、「シュート」などのキーワードを見所キーワードとして登録しておく。サッカーの番組ではシーンキーワードに上述のキーワードが含まれるシーン（再生区間情報）だけを抽出すると、ゴールシーンやシュートシーンを中心に集めたハイライト再生情報（短縮動画）を作成することができる。

次に、シーンメタデータによるハイライト再生情報の生成方法について図７を用いて説明する。まず、累積再生時間と部分再生情報をクリアする（ステップＳ７０１）。ハイライト作成部３２は検索（抽出）された各再生区間情報に対し、重み値の高い順に再生区間情報を読み出し、部分再生情報に追加する（ステップＳ７０２）。再生区間情報としては開始時刻と再生時間長が含まれる。次に再生時間長を累積再生時間に加算する（ステップＳ７０３）。この累積再生時間が所定の部分再生時間以内であるか否かを判断し（ステップＳ７０４）、部分再生時間以内である場合、ステップＳ７０２に戻り、重み値の高い順に再生区間情報を読み出し累積していく。一方、累積再生時間が部分再生時間を超えた場合は、重み値の順に得られた複数の再生区間情報を時間順に並べ替える（ステップＳ７０５）。これら再生区間情報の集まりである部分再生情報をハイライト再生情報として蓄積番組別にハイライト再生情報データベース３３に保存する（ステップＳ７０６）。なお、シーンの重み値が設定されていない場合は、再生区間情報の先頭より順に若しくはランダムに選択する。

次に、自動ハイライト情報を利用したハイライト再生情報について説明する。短縮動画生成部１２では音声の盛り上がり情報などを利用し、蓄積番組からハイライト部分の自動切り出しも可能である。音声特徴分析部３７では蓄積番組の音声情報（音声信号）を参照し、音声特徴として音声レベルピーク時間を検出する。またシーンの重み値は音声レベルなどから生成される。その値は、例えば０〜１の間の値となるように正規化する。また映像特徴分析部３８では、蓄積番組の映像信号における色のヒストグラムを分析し、次のシーンへ切り替わるシーンチェンジ時間（シーンの切り替わり時間）を検出する。蓄積番組単位ごとにこれら音声レベルピーク時間の情報、シーンチェンジ時間の情報、シーンの重み値を含む複数の再生区間情報（コンテンツのシーン）を自動ハイライト情報としてシーンデータベース３１へ保存する。なお、再生区間情報は複数でなく１つであってもよい。これらの処理は番組の蓄積中あるいは蓄積後の空いている時間を利用して行われる。

次に、自動ハイライト情報によるハイライト再生情報の生成方法について図８を用いて説明する。ハイライト作成部３２は、まず累積再生時間と部分再生情報をクリアする（ステップＳ８０１）。ハイライト作成部３２はシーンデータベース３１から各再生区間情報に対し、重み値の高い順に再生区間情報を読み出し、部分再生情報に追加する（ステップＳ８０２）。再生区間情報としては音声レベルピーク時間の情報、シーンチェンジ時間の情報、シーンの重み値が含まれ、開始時刻とシーンの再生時間長の情報が含まれている。開始時刻は、例えば音声レベルピーク時間の手前の直近のシーンの切り替わりが生じた時間とする。再生時間長はシーンチェンジ時間から次のシーンチェンジ時間までの時間とする。ここで再生時間長を累積再生時間に加算する（ステップＳ８０３）。この累積再生時間が所定の部分再生時間以内であるか否かを判断し（ステップＳ８０４）、部分再生時間以内である場合、ステップＳ８０２に戻り、重み値の高い順に再生区間情報を読み出し累積していく。一方、累積再生時間が部分再生時間を超えた場合は、重み値の順に得られた複数の再生区間情報を時間順に並べ替える（ステップＳ８０５）。これら再生区間情報の集まりである部分再生情報をハイライト情報として蓄積番組別にハイライト再生情報データベース３３に保存する（ステップＳ８０６）。

なお、蓄積番組を他の記録媒体からコピーした場合など、自動シーンチェンジ検出も行われず、シーンデータベース３１に蓄積番組のシーン情報がない場合でも、蓄積番組情報は蓄積番組情報取得部３５によって取得され、シーンデータベース３１へ保存されている。ハイライト作成部３２はこの蓄積番組情報のみをシーンデータベース３１から取得する。蓄積番組情報としては少なくとも蓄積番組長が含まれるので、蓄積番組長を数個（例えば６個）の蓄積区間に分割する。分割された蓄積区間の先頭時刻を開始時刻とし、再生時間長は２０秒など固定値とする。これら開始時刻と再生時間長の再生区間情報はハイライト再生情報データベース３３に保存される。

ここで、上述した操作入力部１５の一例について図９を用いて説明する。図９に示すように操作入力部１５は、例えばリモコンである。この操作入力部１５の操作方法について説明する。通常再生中に「一時中断」ボタン４２を押すとハイライト再生となり、ハイライト再生期間中に「決定」ボタン４４を押すとそのときのハイライト番組自体の再生に移行する。その後、そのハイライト再生された番組に興味を失い、ハイライト再生状態を中断してハイライト再生する前の番組の通常再生に戻るときには「戻る」ボタン４３を押す。一方、ハイライト再生期間中に単にハイライト再生を中断して、ハイライト再生する前の番組の通常再生に戻るときは「再生」ボタン４１を押す。

なお、「戻る」ボタン４３及び「再生」ボタン４１のどちらもひとつ前の通常再生に復帰させることには変わりないため、１つのボタンに統一してもよい。すなわち、「戻る」ボタン４３が「再生」ボタン４１に統一された場合、通常再生中に「一時中断」ボタン４２を押して通常再生を中断し、復帰するときは「再生」ボタン４１を押すことにより中断したところから続きを再生することができる。これは従来のポーズボタン（一時停止ボタン）を押して一時停止させた際に、再生ボタンを押して復帰させる動作と同じである。また、ハイライト期間中に流れている番組で、ユーザがそのハイライト番組の続きを見たいときには「決定」ボタン４４を押すと、その選択した番組の続き（あるいは先頭から）が見られるが、途中でその番組に対して興味を失い、終了したい場合は「再生」ボタン４１を押す。

次に、蓄積番組再生時の動作について図１０を用いて説明する。まず、再生復帰情報保存部１４の再生復帰情報をクリアする（ステップＳ１００１）。保存された複数の蓄積番組の中からユーザによって視聴する蓄積番組が選択され、再生を開始する（ステップＳ１００２）。なお、ユーザによる操作入力部１５の操作信号は受信部１０、映像音声データ処理部１１、関連動画選択部１３へ送られる。再生開始後、映像音声データ処理部１１は再生が完了したか否かを判断し（ステップＳ１００３）、完了していない場合、図９に示す操作入力部１５の「戻る」ボタン４３が押されたか否かを判断する（ステップＳ１００４）。

「戻る」ボタン４３が押されていない場合、ユーザが一時的に視聴を中断しようと思った場合に、操作入力部１５の「一時中断」ボタン４２が押されたか否かを判断し（ステップＳ１００５）、押された場合には蓄積番組の再生状態を再生復帰情報として取得し、再生復帰情報保存部１４に保存する（ステップＳ１００６）。再生復帰情報としては、現視聴蓄積番組を示す現視聴蓄積番組識別子、そのときの再生位置である再開位置、そのときの音量である再開音量などが含まれる。ここでは再生復帰情報保存部１４は半導体メモリで構成するが、ハードディスクなどであってもよい。

再生復帰のための情報が保存されたところで、映像音声データ処理部１１は現在の再生を中断し音量を再設定する（ステップＳ１００７）。音量は中断直前の音量より小さい値、例えば半分の値とする。そして、それまで再生中の映像と関連性のある蓄積番組の再生を関連動画選択部１３に指示し、関連性のある蓄積番組のハイライトを再生し（ステップＳ１００８）、ステップＳ１００３に戻る。一方、ステップＳ１００４において、操作入力部１５の「戻る」ボタン４３が押された場合には、再生復帰情報保存部１４に再生復帰情報があるかどうかを判定し（ステップＳ１００９）、ある場合は再生復帰情報を用いてひとつ前の蓄積番組（ハイライト再生する前に視聴していた番組）の再生を再開する（ステップＳ１０１０）。なお、ステップＳ１００３で再生が完了したと判断された場合には処理を終了とし、ステップＳ１００５で「一時中断」ボタン４２が押されていないと判断された場合にはステップＳ１００３に戻る。

次に、関連動画選択部１３の動作について図１１を用いて説明する。関連動画選択部１３は、現視聴蓄積番組に対し、関連性のある蓄積番組を映像音声データ処理部１１内の蓄積番組データ格納部２６内の関連蓄積番組リストを読み込み（ステップＳ１１０１）、検索して関連蓄積番組の選択を行う（ステップＳ１１０２）。ステップＳ１１０２の動作の詳細については後述する。そして、選択された（関連）蓄積番組からハイライト再生情報データベース３３を参照し、ハイライト再生情報を読み出し、再生順に従ってハイライト再生を指示する（ステップＳ１１０３）。ステップＳ１１０３の動作の詳細は後述する。

次に操作入力部１５によって「再生」ボタン４１が押されたか否かを判断する（ステップＳ１１０４）。ユーザが現視聴番組の再生を再開したい場合に「再生」ボタン４１を押すと、再生復帰情報保存部１４より再生復帰情報を用いて、停止していた蓄積番組の再生を再開する（ステップＳ１１０７）。復帰させる情報は現視聴蓄積番組識別子、再開位置、再開音量値などである。このため、音量も中断前の音量に戻される。これにより、ユーザは中断前の視聴状態に即時に戻り、視聴を再開することができる。「再生」ボタン４１が押されていない場合は、操作入力部１５によって「決定」ボタン４４が押されたか否かを判断する（ステップＳ１１０５）。

ユーザは現在の関連蓄積番組に興味を示し、その関連蓄積番組をそのまま通常再生させようとする場合に「決定」ボタン４４を押す。「決定」ボタン４４が押された場合には、その再生方法（続きを再生するか、最初から再生するか、中止するか）がどのようなものかを判断し（ステップＳ１１０８）、再生方法を決定するための開始位置選択画面が表示される。このときの画面例を図１２に示す。「最初から再生」が選択された場合は関連蓄積番組を先頭より通常再生する（ステップＳ１１０９）。一方「続きを再生」が選択された場合には、関連蓄積番組を現在の再生位置より通常再生する（ステップＳ１１１０）。一方、ステップＳ１１０５において「決定」ボタン４４が押されていない若しくはステップＳ１１０８において「中止」が選択された場合は、ハイライト再生が完了したか否かを判断する（ステップ１１０６）。ハイライト再生が完了した場合は、再度ステップＳ１１０２に戻り、別の関連蓄積番組を１つ選択する。また、再生が完了していない場合はステップＳ１１０４に戻り、再度操作入力部１５の押下状態を判断する。

次に、上述した図１１のステップＳ１１０２の関連蓄積番組の選択の詳細動作について図１３を用いて説明する。中断期間が長引いた場合、現視聴番組のハイライトばかりが繰り返し流れることはうっとうしい印象を与える。そこで、ここでは現視聴番組と関連蓄積番組のハイライトを交互に再生して（図１４に示す交互再生）、再生に変化を与えつつ現視聴番組も思い出させる動作を説明する。一方、現視聴番組の内容は思い出す必要がないとユーザが判断した場合には現視聴番組のハイライトを１回再生するが、その後は関連蓄積番組のハイライトを順次切り替えて再生するという処理（図１５に示す順次再生）であってもよい。

まず、関連動画選択部１３での処理になってから直前まで視聴していた現視聴番組が選択済みか否かを判断する（ステップＳ１３０１）。すなわち、関連動画選択部１３での処理になってから処理が１回目か否かを判断する。選択済みではない場合、すなわち１回目の場合は現視聴番組のハイライトを選択する（ステップＳ１３０６）。一方、１回目ではなく２回目以降である場合は再生モードが図１４に示す交互再生モードか否かを判断する（ステップＳ１３０２）。この再生モード（交互再生モードと図１５に示す順次再生モード）はユーザによってあらかじめ映像音声再生装置１に設定されているものとする。交互再生モードの場合、現視聴番組と未選択の関連蓄積番組のハイライトを交互に選択する（ステップＳ１３０７）。ここで、未選択の関連蓄積番組とは選択済みではない関連蓄積番組を指す。

交互再生モードは、ユーザがいつ視聴に復帰しても現在視聴中の蓄積番組の内容を思い出しやすいように、現視聴番組と関連蓄積番組とを交互に切り替えて表示することを目的とする。その再生動作を図１４に示す。図１４に示すように現視聴番組（通常再生番組）ＡのハイライトＡが他のハイライトと交互に再生されている。ステップＳ１３０２において、交互再生モードでなく順次再生モードの場合、未選択の関連蓄積番組の中から関連蓄積番組を選択する（ステップＳ１３０３）。順次再生の動作を図１５に示す。このように現視聴番組（通常再生番組）ＡのハイライトＡの再生後、関連蓄積番組のハイライトＢ、Ｃ、Ｄが順次再生される。

選択された番組は選択済みリストに登録する（ステップＳ１３０４）。選択済みリストは、関連動画選択部１３内の不図示の所定の情報保存領域に存在する。次に関連蓄積番組リストに含まれる蓄積番組がすべて選択されたか否かを判断し（ステップＳ１３０５）、選択されている場合は選択済みリストをクリアする（ステップＳ１３０８）。なお、関連蓄積番組リストに現視聴蓄積番組以外のものが登録されていない場合には、選択される番組は現視聴蓄積番組のみとする。

次に、上述した図１１のステップＳ１１０３のハイライト再生の動作の詳細について図１６を用いて説明する。まず、選択された蓄積番組の先頭を検索区間開始位置に設定する（ステップＳ１６０１）。次に選択された蓄積番組が現視聴番組か否かを判断する（ステップＳ１６０２）。現視聴番組であれば、中断位置をシーン検索終了位置に設定する（ステップＳ１６０６）。一方、現視聴番組でない場合は番組末をシーン検索終了位置に設定する（ステップＳ１６０３）。ハイライト再生情報データベース３３より、検索区間開始位置から検索区間終了位置までの区間（検索区間）を検索し、該当シーン情報を得る（ステップＳ１６０４）。検出されたシーン情報に基づき、映像音声データ処理部１１の蓄積制御部２１にシーンを順に再生するよう指示する（ステップＳ１６０５）。蓄積制御部２１は再生順に従ってシーン映像を蓄積番組格納部２５より読み出し再生し、提示装置２に提示する。以上のようにして、現視聴番組の再生中断期間中に関連蓄積番組のハイライト映像が次々と再生される。

＜第２の実施の形態＞
ここでは、本発明をＤＶＤプレーヤのようなパッケージメディアの再生機に適用した場合について図１７から図１９を用いて説明する。映像音声再生装置５の映像音声データ処理部５１の蓄積媒体６３がＤＶＤのようなパッケージメディア（上述した記録媒体）であり、それが再生されるものとする。蓄積媒体６３から蓄積制御部６１でデジタル信号を読み出し、映像音声再生部６２で再生し、提示装置２に映像と音声を提示する。ＤＶＤなどのパッケージメディアでは特典映像として予告編がいくつか収録されていることがある。本発明では予告編映像が収録されているかを自動検出し、その予告編をダイジェスト映像として利用する。映像音声データ処理部５１の動作は第１の実施の形態で説明した映像音声データ処理部１１の処理と同一であるため説明を省略する。以下、関連動画選択部５３の動作について述べる。

関連動画選択部５３の動作について図１９を用いて説明する。関連動画選択部５３は、蓄積媒体６３に含まれる複数の予告編映像を関連蓄積番組リストとして読み込む（ステップＳ１９０１）。その中から予告編映像を１つ選択する（ステップＳ１９０２）。操作入力部５５によって不図示の「再生」ボタンが押されたか否かを判断する（ステップＳ１９０３）。ユーザが現視聴番組の再生を再開したい場合に「再生」ボタンを押すと、再生復帰情報保存部５４から再生復帰情報を復帰させ、停止していた蓄積番組の再生を再開する（ステップＳ１９０５）。復帰させる情報は現視聴蓄積番組識別子、再開位置、再開音量値などの情報である。このため、音量も中断前の音量に戻される。これにより、ユーザは中断前の視聴状態に即時に戻り、視聴を再開することができる。「再生」ボタンが押されていない場合は、再生が完了したか否かを判断する（ステップＳ１９０４)。再生が完了した場合は、再度ステップＳ１９０２に戻り、別の予告編映像を１つ選択する。また、再生が完了していない場合はステップＳ１９０３に戻り、再度、操作入力部５５の押下状態を判断する。

ステップＳ１９０１での予告編映像リストの読み込みでは、現視聴動画に対し、蓄積媒体６３にある予告編映像を検索して取得する。その検索方法は、蓄積媒体６３に保存されている蓄積映像の構成を調べ、特典映像として収録され、ファイルサイズの小さいものを予告編映像と判定するものとする。すなわち、蓄積媒体６３には本編映像と予告編映像が収録され、蓄積映像の構成を調べると、それぞれの再生時間長も取得できるものとする。その中から再生時間の長さが、例えば数分以下の短い映像を予告編映像と判定する。なお、予告編映像であることを示す情報が蓄積媒体６３に保存されている場合にはそれを利用してもよい。予告編映像が検索された場合、蓄積制御部６１を経由し映像音声再生部６２で再生し、提示装置２に提示する。以上のようにして、現視聴映像の再生中断期間中に予告編映像が次々と再生される。なお、以上の処理は、その一部又は全部をプログラムステップにより実現するような構成にする方法も別の実施の形態として存在する。

本発明に係る映像音声再生装置は、一時停止期間中に、直前まで視聴していた蓄積番組と関連性のある映像・音声に切り替え、それまでの視聴の流れを大きく乱すことなく、スムーズに視聴を再開できるため、視聴していた番組を一時停止させ、その後一時停止を解除して番組の視聴を継続する映像音声再生装置などに有用である。

本発明の第１の実施の形態に係る映像音声再生装置の構成の一例を示す構成図である。 本発明の第１の実施の形態に係る映像音声再生装置の映像音声データ処理部の構成の一例を示す構成図である。 本発明の第１の実施の形態に係る映像音声再生装置の蓄積番組データ格納部に格納された関連蓄積番組リストの一例について説明するための図である。 本発明の第１の実施の形態に係る映像音声再生装置の短縮動画生成部の構成の一例を示す構成図である。 本発明の第１の実施の形態に係る映像音声再生装置のユーザマーカによるハイライト再生情報の生成方法の一例について説明するためのフローチャートである。 本発明の第１の実施の形態に係る映像音声再生装置のユーザプレイリストによるハイライト再生情報の生成方法の一例について説明するためのフローチャートである。 本発明の第１の実施の形態に係る映像音声再生装置のシーンメタデータによるハイライト再生情報の生成方法の一例について説明するためのフローチャートである。 本発明の第１の実施の形態に係る映像音声再生装置の自動ハイライト情報によるハイライト再生情報の生成方法の一例について説明するためのフローチャートである。 本発明の第１の実施の形態に係る映像音声再生装置の操作入力部の一例を示す図である。 本発明の第１の実施の形態に係る映像音声再生装置の蓄積番組再生時の動作の一例について説明するためのフローチャートである。 本発明の第１の実施の形態に係る映像音声再生装置の関連動画選択部の動作の一例について説明するためのフローチャートである。 本発明の第１の実施の形態に係る映像音声再生装置の再生方法を決定するための開始位置選択画面の一例を示す図である。 本発明の第１の実施の形態に係る映像音声再生装置の関連蓄積番組の選択の詳細動作の一例について説明するためのフローチャートである。 本発明の第１の実施の形態に係る映像音声再生装置の交互再生モードにおける再生の概念を説明するための図である。 本発明の第１の実施の形態に係る映像音声再生装置の順次再生モードにおける再生の概念を説明するための図である。 本発明の第１の実施の形態に係る映像音声再生装置のハイライト再生の詳細動作の一例について説明するためのフローチャートである。 本発明の第２の実施の形態に係る映像音声再生装置の構成の一例を示す構成図である。 本発明の第２の実施の形態に係る映像音声再生装置の映像音声データ処理部の構成の一例を示す構成図である。 本発明の第２の実施の形態に係る映像音声再生装置の関連動画選択部の動作の一例を示すフローチャートである。

符号の説明

１、５ 映像音声再生装置
２ 提示装置
１０ 受信部
１１、５１ 映像音声データ処理部（データ処理手段）
１２、５２ 短縮動画生成部（短縮動画生成手段）
１３、５３ 関連動画選択部（選択手段、関連動画選択手段）
１４、５４ 再生復帰情報保存部
１５、５５ 操作入力部（受付手段）
２１、６１ 蓄積制御部（判断手段）
２２、６２ 映像音声再生部
２３、６３ 蓄積媒体
２４ 蓄積番組指定部
２５ 蓄積番組格納部
２６ 蓄積番組データ格納部
３１ シーンデータベース
３２ ハイライト作成部
３３ ハイライト再生情報データベース
３４ ユーザマーカプレイリスト設定部
３５ 蓄積番組情報取得部
３６ シーンメタデータ取得部
３７ 音声特徴分析部
３８ 映像特徴分析部
３９ 見所キーワード格納部
４１ 「再生」ボタン
４２ 「一時中断」ボタン
４３ 「戻る」ボタン
４４ 「決定」ボタン

Claims (3)

1. コンテンツの選択、前記コンテンツの再生及び前記コンテンツの再生中断を含む制御指示を外部から受け付ける受付手段と、
   前記受付手段で受け付けた前記外部からの前記制御指示に基づいて、記録媒体に蓄積された複数のコンテンツから１つのコンテンツを選択し、この選択された前記コンテンツを再生するデータ処理手段と、
   前記蓄積された前記コンテンツを構成するシーンごとの内容を示すシーンキーワードと、見所のシーンを示すためにあらかじめ設定されている見所キーワードとにより抽出され、前記コンテンツのハイライトシーンを示す再生区間情報に基づいて、前記蓄積されたコンテンツごとに前記各コンテンツの再生時間を短縮した動画である短縮動画を生成する短縮動画生成手段と、
   あらかじめ設定されたシリーズ番組であることを示すＩＤと反復して録画する番組であることを示すＩＤとに基づいて、現在再生中のコンテンツと関連のある関連コンテンツを前記蓄積された複数のコンテンツから選択する選択手段と、
   前記受付手段を介して受け付けた前記外部からの前記再生中断の制御指示によって、現在再生中のコンテンツが再生中断されている期間中に、前記選択手段によって選択された前記関連コンテンツの前記短縮動画の再生を行うよう前記データ処理手段に指示する関連動画選択手段とを、
   備える映像音声再生装置。
2. コンテンツの選択、前記コンテンツの再生及び前記コンテンツの再生中断を含む制御指示を外部から受け付ける受付手段と、
   前記受付手段で受け付けた前記外部からの前記制御指示に基づいて、記録媒体に蓄積された複数のコンテンツから１つのコンテンツを選択し、この選択された前記コンテンツを再生するデータ処理手段と、
   少なくとも前記蓄積された前記コンテンツの音声信号から検出される音声レベルピーク時間の情報と前記蓄積された前記コンテンツの映像信号から検出されるシーンの切り替わり時間であるシーンチェンジ時間の情報とを含む、前記コンテンツのハイライトシーンを示す再生区間情報に基づいて、前記蓄積されたコンテンツごとに前記各コンテンツの再生時間を短縮した動画である短縮動画を生成する短縮動画生成手段と、
   あらかじめ設定されたシリーズ番組であることを示すＩＤと、反復して録画する番組であることを示すＩＤとに基づいて、現在再生中のコンテンツと関連のある関連コンテンツを前記蓄積された複数のコンテンツから選択する選択手段と、
   前記受付手段を介して受け付けた前記外部からの前記再生中断の制御指示によって、現在再生中のコンテンツが再生中断されている期間中に、前記選択手段によって選択された前記関連コンテンツの前記短縮動画の再生を行うよう前記データ処理手段に指示する関連動画選択手段とを、
   備える映像音声再生装置。
3. コンテンツの選択、前記コンテンツの再生及び前記コンテンツの再生中断を含む制御指示を外部から受け付ける受付手段と、
   前記受付手段で受け付けた前記外部からの前記制御指示に基づいて、記録媒体に蓄積された複数のコンテンツから１つのコンテンツを選択し、この選択された前記コンテンツを再生するデータ処理手段と、
   現在再生中のコンテンツの予告を示す短縮動画が前記記録媒体に存在するか否かを前記記録媒体に蓄積された各コンテンツの再生時間の長さに基づいて判断する判断手段と、
   前記受付手段を介して受け付けられた前記外部からの前記再生中断の制御指示によって、現在再生中のコンテンツが中断され、かつ前記判断手段によって前記短縮動画が存在すると判断された場合に、再生中断された前記コンテンツの前記短縮動画の再生を前記再生が中断されている期間中に行うよう前記データ処理手段に指示する関連動画選択手段とを、
   備える映像音声再生装置。
   

Images