JP2010157871A - 映像再生装置および映像再生方法 - Google Patents

Abstract

【課題】本発明は記録されている複数の番組をダイジェスト再生すること。
【解決手段】番組記録部（１６）に記録されている複数の番組の複数のシーン毎のシーン情報を番組情報記録部（１８）に記録し、このシーン情報に基づいて複数の番組間のシーンの関連性を調べ、複数の番組間の関連性のあるシーンの優先順位を設定する。番組記録部（１６）に記録されている番組のいずれかの再生を開始すると、再生開始された番組の各シーンに対して、関連性のあるシーンの中の優先順位の最も高いシーンを再生する。
【選択図】 図１

Description

本発明は蓄積されている映像のダイジェストを再生する映像再生装置および映像再生方法に関する。

従来の映像再生装置および映像再生方法には、動画、静止画、テキスト、音声といったメディアデータとそれらの再生タイミングデータからなるコンテンツからダイジェストを生成するものがある（例えば、特許文献１参照）。

ここでは、複数メディアデータの時間関係を記述したデータとしてＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）、ダイジェストの形式としてＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）を用いる場合について記載されている。ＳＭＩＬデータには用いるメディアデータの存在場所、再生のタイミングが複数記述されている。ＨＴＭＬデータには、テキストのダイジェストと、動画、静止画像データのダイジェスト画像データへのリンクが含まれる。再生タイミングデータよりメディアデータ間の再生時間関係を解析し、各メディアデータの再生開始、終了時刻を用いてシーン分割し、各メディアデータの重要度から得るシーンの重要度を算定し、各メディアデータからのダイジェストデータを構築することにより、ＳＭＩＬデータおよび複数のメディアデータから構成されるコンテンツから、そのダイジェストとなる画像データとＨＴＭＬファイルを作成する。
特開２０００−２３５６５２号公報

しかしながら、特許文献１記載の装置では、複数のメディアデータからなるコンテンツを処理してコンテンツ毎のダイジェストを作成するが、複数のコンテンツを纏めて１つのダイジェストを作成するものではない。関連するコンテンツは１つのダイジェストに纏めると効率よく視聴できることがあるが、特許文献１ではこのような状況に対処できない。

本発明の目的は複数のコンテンツから関連する部分を纏めてダイジェストを作成することができる映像再生装置および映像再生方法を提供することにある。

本発明の一態様による映像再生装置は、それぞれ複数のシーンに分割されている複数の番組を記録する番組記録手段と、前記番組記録手段に記録されている番組のシーン毎のシーン情報からなる番組情報を記録する番組情報記録手段と、前記番組記録手段に記録されているシーン情報に基づいて複数の番組間のシーンの関連性を調べ、複数の番組間の関連性のあるシーンの優先順位を設定する手段と、前記番組情報記録手段に記録されている番組のいずれかの再生を開始する手段と、再生開始された番組のあるシーンに関連性のあるシーンの中の優先順位の最も高いシーンを再生する手段と、を具備するものである。

本発明の一態様による映像再生方法は、それぞれ複数のシーンに分割されている複数の番組を記録するステップと、前記番組記録ステップにより記録された番組のシーン毎のシーン情報からなる番組情報を記録するステップと、前記番組記録ステップにより記録されたシーン情報に基づいて複数の番組間のシーンの関連性を調べ、複数の番組間の関連性のあるシーンの優先順位を設定するステップと、前記番組情報記録ステップにより記録された番組のいずれかの再生を開始するステップと、再生開始された番組のあるシーンに関連性のあるシーンの中の優先順位の最も高いシーンを再生するステップと、を具備するものである。

以上説明したように本発明によれば、複数のコンテンツから関連するシーンを纏めたダイジェストを再生することができる。

以下、図面を参照して本発明による映像再生装置および映像再生方法の実施の形態を説明する。

第１の実施の形態
図１は本発明の第１の実施の形態に係る映像再生装置の構成を示す図である。図示しないチューナで受信されたコンテンツ（あるいは番組：以下、番組と称する）あるいはネットワークインターフェースを介してインターネットからダウンロードした番組が記録装置１０により処理され、番組自体は番組記録部１６に、番組の内容を示す情報は番組情報記録部１８にそれぞれ記録される。記録部１６、１８は同一の記録装置（例えば、ハードディスク装置）でもよいし、別々の記録装置でもよい。別々の記録装置の場合、番組情報はサイズがそれ程大きくないので、番組情報記録部１８は高速アクセスができる半導体メモリで構成することも可能である。番組記録部１６には複数の番組が保存されるが、それぞれの番組が別々の記録部に記録されてもかまわない。

番組情報は、番組記録部１６に記録された番組の各シーン（１つの番組を細分する一単位）において、そのシーンを特徴付けるシーン情報から構成されている。番組は放送局において予めシーンに分割されていてもよいし、記録装置１０が番組記録部１６に番組を記録する際に分割してもよいし、番組記録部１６に記録後に番組を一度読み出してシーンに分割して再度記録してもよい。シーン分割は一定時間で機械的に行っても良いし、放送局や記録装置１０が画像、音声や音楽の波形等の変化に基づいて適応的に行っても良い。番組情報は放送局においてシーンが分割されている場合は、それに付随して放送局から提供されるシーン情報が番組情報として使用される。シーン情報は、例えば番組タイトル、ジャンル、登場人物、事件名（ニュースの場合）、放送時間等を含む。さらに、番組情報は放送局から提供されるメタデータをそのまま利用してもよいし、記録装置１０が番組を解析してシーン分割する際に、例えば、シーンの特徴を示す画像、音声や音楽の波形等をテキストにしたものを利用してもよい。さらに、記録装置１０が放送局から提供されるメタデータを解析して、番組タイトル、ジャンル、登場人物、事件名（ニュースの場合）を抽出してもよい。

再生装置１４は番組記録部１６のデータを再生する部分であり、再生の位置を得るために番組情報記録部１８の情報を使用する。

制御装置１２は映像再生装置全体を制御する部分であり、記録装置１０により記録された番組情報記録部１８の情報から番組間のシーンの類似を検出し、番組を関連付ける作業を行い、ダイジェスト再生を行う部分である。

図２は番組記録部１６、番組情報記録部１８で記録されるデータの関係を示したものである。例えば、番組記録部１６中の番組は冒頭にＣＭが配置され、その後シーン１〜シーンｎが配置されるという構成である。このシーンの分割には、例えば画面の類似度、音声認識した情報、番組に付随するメタ情報などが考えられる。ＣＭも含めた各シーンに対して、シーン情報０からシーン情報ｎが作成され、番組情報記録部１８に記録される。なお、図示していないが、番組情報記録部１９には、シーン情報以外にも番組毎に１つの番組情報が記録されている。番組情報もシーン情報と同様に、番組タイトル、ジャンル、登場人物、事件名等を含む。

図３は第１実施形態の映像再生装置によりダイジェスト再生を行なう処理を示すフローチャートである。図３はダイジェスト再生ブロック１０６と、その準備のための前処理ブロック１０２、１０４とを含み、前処理ブロック１０２、１０４は番組の記録後に自動的に実施してもよいし、ダイジェスト再生の指示により始めてもよい。

ブロック１０２は番組の関連性を見つける処理であり、番組情報記録部１８に保存されている番組情報に基づいて、番組名が一致しているとか、ＥＰＧなどでの番組情報に番組名を含んでいるとか、番組のジャンルが同じである等の関連する番組群を抽出する。ブロック１０２の詳細については図４で説明する。

ブロック１０４はブロック１０２で選択された番組群に対してシーンの関連付け処理を行うもので、関連するシーン群の中で再生のための優先順位を付ける。ブロック１０４の詳細については図５で説明する。

ブロック１０６はブロック１０４で設定した優先順位を元にダイジェスト再生を行う。ブロック１０６の詳細については図７で説明する。

図４は図３のブロック１０２の処理を詳細に示すフローチャートである。制御装置１２はブロック１１２で番組記録部１６に記憶されている番組の中の１つの番組を特定する。制御装置１２はブロック１１４で別の一つの番組を取り出す。この取り出した番組が上記特定番組と関連付けを行う必要がある番組か否かがブロック１１６で判定される。この判定は２つの番組の番組情報の類似度の比較に基づく。例えば、同じ番組名、同じジャンルの番組は関連付けを行う必要があると判定する。関連付けの必要があると判定されると、ブロック１１８で上記特定番組の番組関連付けリストにこの取り出した番組を追加する。

全ての番組を取り出したか否かがブロック１２０で判定される。取り出す番組が残っている場合は、ブロック１１４に戻り、別の１つの番組が取り出される。

全ての番組が取り出された場合は、番組記録部１６に記憶されている全ての番組が特定されたか否かがブロック１２２で判定される。特定する番組が残っている場合は、ブロック１２４で別の番組を特定し、ブロック１１４に戻り、別の１つの番組が取り出される。

このようにして、番組記録部１６に記録されている全ての番組について関連性のある番組がリストアップされる。

図５は図３のブロック１０４の処理を詳細に示すフローチャートである。制御装置１２はブロック１３２で番組記録部１６に記憶されている番組の中のある番組のあるシーンを特定する。制御装置１２はブロック１３４で該特定番組の他のシーンを取り出す。この取り出したシーンが上記特定シーンと関連付けを行う必要があるシーンであるか否かブロック１３６で判定される。この判定は２つのシーンのシーン情報の類似度の比較に基づく。例えば、同じ番組名、同じジャンルの番組、同じ登場人物、同じ事件名（ニュースの場合）のシーンは関連付けを行う必要があると判定する。関連付けの必要があると判定されると、ブロック１３８で上記特定番組の特定シーンのシーン関連付けリストに取り出した番組のシーンを追加する。

特定番組内の全てのシーンを取り出したか否かがブロック１４０で判定される。取り出すシーンが残っている場合は、ブロック１３４に戻り、別の１つのシーンが取り出される。

特定番組内の全てのシーンが取り出された場合は、特定番組内の全てのシーンが特定されたか否かがブロック１４２で判定される。特定するシーンが残っている場合は、ブロック１４４で別のシーンを特定し、ブロック１３４に戻り、別の１つのシーンが取り出される。

特定番組内の全てのシーンが特定された場合は、番組記録部１６に記憶されている全ての番組が特定されたか否かがブロック１４６で判定される。特定する番組が残っている場合は、ブロック１４８で別の番組を特定し、特定番組の１つのシーンを特定し、ブロック１３４に戻り、別の１つのシーンが取り出される。

このようにして、番組記録部１６に記録されている全てのシーンについて関連性のあるシーンがリストアップされる。関連性のあるシーンは他の番組のシーンに限らず、同一番組内のシーンであってもよい。

最後に、ブロック１５０において、シーン関連付けリストに載せられた関連のあるシーン群の中のシーンそれぞれに再生の優先順位をつける。優先順位としては例えばシーンの放送時間、シーンの長さ等が考えられる。これらを任意に組み合わせたり、番組のジャンルに応じて所定のものを選択する。例えば、ニュース番組の場合は、関連するシーンの中で最新の放送時間のシーンや最も長いシーンを優先することが考えられる。図６に優先順位の一例を示す。番組１のシーン３と番組２のシーン５と番組３のシーン４が関連付けられていて、優先順位（レベルが小さいものが優先順位が高いとする）は番組１のシーン３がレベル２、番組２のシーン５がレベル１、番組３のシーン４がレベル３であるとする。図８は優先順位のための情報が付加されたシーン関連付けリストの一例である。各シーンに対して関連するシーンとその放送時刻、長さが記載されている。例えば、番組Ｃ１のシーン１に対しては番組Ｃ２のシーン５と番組３のシーン４が関連付けられ、番組Ｃ２のシーン５は放送時刻が２００８年１０月２５日で長さは２分、番組３のシーン４は放送時刻が２００８年１２月１０日で長さは３分である。状況に応じて、放送時刻、長さの何れかあるいは両方が優先順位として使われる。

図７は図３のブロック１０６のダイジェスト再生を詳細に示すフローチャートである。制御装置１２はブロック１６２で番組記録部１６に記憶されている番組の中のある番組を指定する。ブロック１６４で最初のシーンの再生が開始されると、制御装置１２はシーン関連付けリストを参照して、ブロック１６６で当該番組のシーンに関連するシーン群を調べ、その中の優先順位が最も高いシーンの再生に切換える。例えば、図６の番組１のシーン３が再生開始されたとすると、番組１のシーン３に関連するシーンとして番組２のシーン５と番組３のシーン４があり、これらのシーンの中では番組２のシーン５がレベル１で最も優先順位が高いので、番組１のシーン３を再生する代わりに番組２のシーン５が再生される。なお、ブロック１６４で再生が開始されたシーンが最も優先順位が高い場合もあり得る。このシーンの再生終了がブロック１６８で検出されると、ブロック１６４で指定番組の次のシーンの再生が開始され、ブロック１６６に戻り、上述の動作が繰り返される。

これにより、ある番組の再生が指示されると、その番組の各シーンに関連する他の番組のシーン、あるいは当該番組内のシーンの中で優先度の高いシーンが再生され、優先順位の低いシーンは再生されない。このため、複数の番組の中の類似するシーンを効率よく再生することができる。なお、各シーン情報に視聴フラグを設け、関連するシーンの中の優先順位が最も高いシーンが一度視聴されたら、優先順位が低い他の関連するシーンは再度の視聴がされないようにしても良い。あるいは、再度の視聴を禁止しないが、再生速度を早くしても良い。

以上説明したように、本実施形態によれば、番組内の画面の構成や音声などから一連のシーンを区切り、その部分の要約としてのシーン情報を作成し、他の番組のシーンとの類似を調べることにより、シーン単位での関連を調べることを可能にしている。そのため、あるシーンに対して、類似しており、しかも情報量が多い、あるいは最新の他のシーンを代わりに再生することにより、より詳しく見たり、まとめられた要約を参照することが可能になる。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。例えば、上述の実施形態では、ある番組の視聴に際して、各シーンの再生に対して優先順位の高い他の番組のシーンの再生に切換えている。このため、再生時間は記録時間と同じ、すなわち等速再生である。しかし、シーン情報の使い方はこれに限らず、種々変更可能である。上記のように番組間でシーンを切換えずに、ある１つの番組の全シーンを再生する際にシーン情報を利用することも可能である。例えば、各シーンに関連する他のシーンがある場合、優先順位の低さに応じて再生速度を高速としてもよい。優先順位の最高のシーンは通常の速度で再生し、他のシーンは高速再生し、全ての番組をそのシーン順に再生すると、全番組のトータルの再生時間は短縮される。

本発明の第１の実施の形態による映像再生装置の構成を示す図。 本発明の第１の実施の形態における番組記録部と番組情報記録部の内容を示す図。 本発明の第１の実施の形態による再生動作を示すフローチャート。 図３中の番組の関連付けの詳細を示すフローチャート。 図３中のシーンの関連付けの詳細を示すフローチャート。 ダイジェスト再生の原理を示す図。 図３中のダイジェスト再生の詳細を示すフローチャート。 優先順位が付けられたシーン関連付けリストの一例を示す図。

符号の説明

１０…記録装置、１２…制御装置、１４…再生装置、１６…番組記録部、１８…番組情報記録部。

Claims (10)

1. それぞれ複数のシーンに分割されている複数の番組を記録する番組記録手段と、
   前記番組記録手段に記録されている番組のシーン毎のシーン情報からなる番組情報を記録する番組情報記録手段と、
   前記番組情報記録手段に記録されているシーン情報に基づいて複数の番組間のシーンの関連性を調べ、複数の番組間の関連性のあるシーンの優先順位を設定する手段と、
   前記番組記録手段に記録されている番組のいずれかの再生を開始する手段と、
   再生開始された番組のあるシーンに関連性のあるシーンの中の優先順位の最も高いシーンを再生する手段と、
   を具備する映像再生装置。
2. 前記優先順位はシーンの放送時間を表し、最新の放送時間のシーンが優先順位の最も高いシーンであることを特徴とする請求項１記載の映像再生装置。
3. 前記優先順位はシーンの長さを表し、最も長いシーンが優先順位の最も高いシーンであることを特徴とする請求項１記載の映像再生装置。
4. 前記シーン情報は、番組名、ジャンル名、登場人物、事件名、放送日時、シーンの長さの少なくとも１つを含むことを特徴とする請求項１記載の映像再生装置。
5. 番組の映像、音声の変化に基づいて番組を複数のシーンに分割する手段と、
   番組を複数のシーンに分割する際に、シーンの画像、音声の特徴をテキストにしたシーン情報を生成する手段をさらに具備することを特徴とする請求項１記載の映像再生装置。
6. それぞれ複数のシーンに分割されている複数の番組を記録するステップと、
   前記番組記録ステップにより記録された番組のシーン毎のシーン情報からなる番組情報を記録するステップと、
   前記番組情報記録ステップにより記録されたシーン情報に基づいて複数の番組間のシーンの関連性を調べ、複数の番組間の関連性のあるシーンの優先順位を設定するステップと、
   前記番組記録ステップにより記録された番組のいずれかの再生を開始するステップと、
   再生開始された番組のあるシーンに関連性のあるシーンの中の優先順位の最も高いシーンを再生するステップと、
   を具備する映像再生方法。
7. 前記優先順位はシーンの放送時間を表し、最新の放送時間のシーンが優先順位の最も高いシーンであることを特徴とする請求項６記載の映像再生方法。
8. 前記優先順位はシーンの長さを表し、最も長いシーンが優先順位の最も高いシーンであることを特徴とする請求項６記載の映像再生方法。
9. 前記シーン情報は、番組名、ジャンル名、登場人物、事件名、放送日時、シーンの長さの少なくとも１つを含むことを特徴とする請求項６記載の映像再生方法。
10. 番組の映像、音声の変化に基づいて番組を複数のシーンに分割するステップと、
    番組を複数のシーンに分割する際に、シーンの画像、音声の特徴をテキストにしたシーン情報を生成するステップをさらに具備することを特徴とする請求項６記載の映像再生方法。

Images