JP2007189473A - 動画再生装置 - Google Patents

Abstract

【課題】可能な限り動画データの特徴的な画像あるいはシーンをサムネールとして表示し、動画データの内容を容易に把握可能とする動画再生装置を提供する。
【解決手段】動画再生装置は、動画データ入力手段と、重要シーンデータ入力／生成手段と、重要シーンのサムネールを生成するサムネール生成手段と、動画データを再生する再生手段と、再生動画及びサムネールを表示する表示手段と、を有し、動画データにおける重要シーンをサムネール表示するように構成する。特に、前記サムネール生成手段は、前記重要シーンを再生することで動画のサムネールを生成し、該動画再生装置は、重要シーンの動画サムネールを表示するように構成する。あるいは、該サムネール生成手段は、前記重要シーンの任意の位置あるいは先頭あるいは音声データのパワーがピークの位置の画像をサムネールとし、動画データにおける重要シーンの中からサムネール画像を生成して表示する。
【選択図】図２

Description

本発明は、動画データを再生する動画再生装置に関する。

近年、デジタルテレビ放送による動画データの多チャンネル放送化やネットワークの広帯域化により、多くの動画データを取得あるいは視聴可能となった。また、動画圧縮伸張技術の向上や、それを実現するハードウェア/ソフトウェアの低価格化、及び蓄積メディアの大容量化ならびにその低価格化により、多くの動画データの保存を手軽に行えるようになり、視聴可能な動画データが増加しつつある。しかしながら、一方で、このように膨大な動画データの中から所望の動画データを検索することは困難な状況となってきている。

このような状況に鑑み、例えば特許文献１では、動画データ中の画像をサムネールで表示し、動画データの内容を視覚的に把握できるように工夫されてきている。また、特許文献２では、動画データ中の１部を動画サムネールとして表示して、動画データの内容を把握しやすいように工夫している。さらに、特許文献３では、動画データの各シーンに対してシーン中の画像のサムネールが表示され、動画データの内容を容易に把握可能とするとともに所望のシーンを選択視聴可能とする技術が紹介されている。

特開２００５−１５１０８５号公報 特開２００１−１５７１４７号公報 特開２００３−２８３９６８号公報

以上のように、動画データの内容を容易に把握可能とするためにサムネールを表示する技術が提案されている。しかしながら、実際には表示されるサムネールは必ずしも動画データのうちの特徴的な画像あるいはシーンではない場合が多いため、実際には結局動画データの一部を視聴し、動画データの内容を把握する必要があった。

本発明は、この問題を解決するものであり、その課題は、動画データの内容を容易に把握可能とするために、可能な限り動画データの特徴的な画像あるいはシーンをサムネールとして表示し、動画データの一部あるいは全部を視聴することなく動画データの内容を把握可能とする動画再生装置を提供することである。

上述の課題を解決すべく、本発明の動画再生装置は、例えば、動画データを入力する動画データ入力手段と、該動画データにおける重要シーンが記述されたデータを入力あるいは生成する重要シーンデータ入力／生成手段と、前記重要シーンデータで示される重要シーンのサムネールを生成するサムネール生成手段と、前記入力された動画データを再生する再生手段と、該再生動画を表示及び前記生成したサムネールを表示する表示手段と、を有し、動画データにおける重要シーンをサムネール表示するように構成する。この場合、特に、前記サムネール生成手段は、前記重要シーンを再生することで動画のサムネールを生成し、該動画再生装置は、重要シーンの動画サムネールを表示するように構成する。あるいは、該サムネール生成手段は、前記重要シーンの任意の位置あるいは先頭あるいは音声データのパワーがピークの位置の画像をサムネールとし、動画データにおける重要シーンの中からサムネール画像を生成して表示するように構成する。

あるいは、本発明の動画再生装置は、動画データを入力する動画データ入力手段と、該動画データにおけるシーンの重要度に応じたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、該ランキングデータで示されるランキング一位あるいは上位のシーンからサムネールを生成するサムネール生成手段と、前記入力された動画データを再生する再生手段と、該再生動画を表示及び前記生成したサムネールを表示する表示手段と、を有し、動画データにおけるランキング一位あるいは上位のシーンをサムネール表示するように構成する。この場合、特に、前記サムネール生成手段は、前記ランキング一位あるいは上位のシーンを再生することで動画のサムネールを生成し、動画データにおけるランキング一位あるいは上位のシーンの動画サムネールを表示するように構成する。あるいは、該サムネール生成手段は、前記ランキング一位あるいは上位のシーンの任意の位置あるいは先頭あるいは音声データのパワーがピークの位置の画像をサムネールとし、動画データにおけるランキング一位あるいは上位のシーンの中からサムネール生成して表示するように構成する。

また、本発明の動画再生装置は、動画データを入力する動画データ入力手段と、該動画データにおけるシーンの重要度に応じたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、該ランキングデータで示される各ランキングのシーンからサムネールを生成するサムネール生成手段と、前記入力された動画データを再生する再生手段と、該再生動画を表示及び前記生成したサムネールを表示する表示手段と、を有し、動画データにおけるランキングに基づき複数のサムネール表示可能なように構成してもよい。この場合、特に、該サムネール生成手段は、前記ランキングのシーンにおける音声データのパワーがピークとなる位置の画像を取得してサムネールを生成し、該動画再生装置は、動画データのランキングのシーンにおける音声データのパワーがピークとなる位置の画像をサムネール表示するように構成してもよい。

動画データの特徴的な画像あるいはシーンをサムネールとして表示し、動画データの一部あるいは全部を視聴することなく動画データの内容を把握可能となるので、多くの視聴可能な動画データの中から所望の動画データを容易に、かつ、すばやく検索可能となり使い勝手が向上する。

以下、本発明にかかる実施例について、図面を参照して説明する。

図１は、本実施例に係る動画再生装置のハードウェア構成の一例である。

図１に示す通り、本実施例１に係る動画再生装置は、動画データ入力装置１００と、中央処理装置１０１と、入力装置１０２と、表示装置１０３と、音声出力装置１０４と、記憶装置１０５と、二次記憶装置１０６を有して構成される。そして、各装置は、バス１０７によって接続され、各装置間で、相互にデータの送受信が可能なように構成されている。ただし、二次記憶装置１０６は、記憶装置１０５の補助的な役割であり、記憶装置１０５でその役割をまかなえる場合には、必ずしも必要ではない。

動画データ入力装置１００は、動画データを入力する。本動画データ入力装置１００は、例えば後述する記憶装置１０５あるいは二次記憶装置１０６に記憶されている動画データを読み込む装置としたり、テレビ放送等を受信する場合には、例えば、テレビチューナカードとして知られる、テレビチューナ及びテレビ番組の動画データを圧縮する等の機能を有する装置とすることが出来る。また、ネットワーク経由で動画データを入力する場合には、本動画データ入力装置１００をLANカード等のネットワークカードとすることが出来る。

中央処理装置１０１は、マイクロプロセッサを主体に構成されており、記憶装置１０５や二次記憶装置１０６に格納されているプログラムを実行する。

入力装置１０２は、例えばリモコン、あるいはキーボードや、マウス等のポインティングデバイスによって実現され、利用者が再生対象の動画データを選択したり、本動画再生装置に対する動作指示を可能とする。

表示装置１０３は、例えばディスプレイアダプタと液晶パネルやプロジェクタ等によって実現され、再生動画を表示したり、後述するサムネールを表示する。

音声出力装置１０４は、例えばスピーカによって実現され、再生シーンの音声を出力する。

記憶装置１０５は、例えばランダムアクセスメモリ(RAM)やリードオンリーメモリ(ROM)等によって実現され、中央処理装置１０１によって実行されるプログラムや本動画再生装置において処理されるデータ、あるいは再生対象の動画データや、重要シーンデータ、あるいはランキングデータ等を格納する。

二次記憶装置1101は、例えばハードディスクやDVDあるいはCDとそれらのドライブ、あるいはフラッシュメモリ等の不揮発性メモリにより構成され、中央処理装置１０１によって実行されるプログラムや本動画再生装置において処理されるデータ、あるいは再生対象の動画データや、重要シーンデータ、あるいはランキングデータ等を格納する。

図２は、本実施例１に係る動画再生装置の機能ブロック図である。これらの機能ブロックの一部あるいは全部は、図１で示したハードウェアに加えて、ハードウェアとして実現されてもよいが、中央処理装置１０１によって実行されるソフトウェアプログラムとして実現されてもよい。

なお、以下では、一例として、これらの機能ブロックの全てが中央処理装置１０１によって実行されるソフトウェアプログラムであるものとして説明する。

図２に示す通り、本実施例１に係る動画再生装置は、解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３と、特徴データ入力部２１４と、重要シーンデータ生成部２０３と、重要シーンデータ保持部２１０と、重要シーンデータ入力部２１１と、サムネール生成部２１６と、再生動画データ入力部２１２と、再生部２０６と、表示部２０８と、音声出力部２１５を有して構成される。

ただし、他の装置ですでに作成済みの重要シーンデータを使用するなど、重要シーンデータを本動画再生装置で生成しない場合には、必ずしも解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３と、特徴データ入力部２１４と、重要シーンデータ生成部２０３と、重要シーンデータ保持部２１０は必要ない。また、他の装置ですでに作成済みの特徴データを使用するなど、特徴データを本動画再生装置で生成しない場合には、必ずしも解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３は必要ない。

解析動画データ入力部２０１は、動画データの重要シーンを決定するために動画の特徴を生成および解析し、それぞれ特徴データおよび重要シーンデータを生成するためにサムネール生成対象の動画データを動画データ入力装置１００から入力する。

なお、本解析動画データ入力部２０１は、動画データ受信時、あるいは利用者によって、特徴データ及び重要シーンデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及び重要シーンデータが作成されていない動画データを発見した場合に中央処理装置１０１によって実行される。

特徴データ生成部２０２は、解析動画データ入力部２０１において入力した動画データの特徴を生成する。これは、例えば、図３に示すとおり、動画データにおける音声データ及び画像データのそれぞれのフレームについて、音声のパワーや相関度および画像の輝度分布や動きの大きさ等を生成することによって実現できる。

図３において、（ａ）は、音声の特徴データであり、（ｂ）は、画像の特徴データである。そして、図３（ａ）においては、３０１は、音声フレーム番号であり、３１１ないし３１３は、それぞれ音声フレームを示している。また、３０２は、その音声フレームが出力される時刻、３０３は、その音声フレームにおける音声のパワー、３０４は、その音声フレームと他の音声フレームの相関度であり、他の音声フレームとの自己相関係数を取ることによって実現できる。そして、図３（ｂ）においては、３２１は、画像フレーム番号であり、３３１ないし３３３は、それぞれ画像フレームを示している。

また、３２２は、その画像フレームが出力される時刻、３２３は、その画像フレームにおける輝度分布であり、３２４は、その画像フレームの他の画像フレームからの動きの大きさである。

ここで、輝度分布３２３は、例えば、その画像フレームをいくつかの領域に分けて、各領域における平均輝度のヒストグラムをとることによって実現でき、動きの大きさは、例えば、その画像フレームをいくつかの領域に分けて、各領域において１つ前のフレームに対する動きベクトルを生成し、生成された各動きベクトルの内積をとるなどによって実現できる。

なお、本特徴データ生成部２０２は、解析動画データ入力部２０１が実行された場合に、動画データが入力されるたびに、例えば１フレーム分の音声データあるいは１フレーム分の画像データが入力されるたびに、中央処理装置１０１によって実行される。

特徴データ保持部２１３は、特徴データ生成部２０２において生成した特徴データを保持する。これは、例えば特徴データ生成部２０２において生成した特徴データを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。

なお、本特徴データ保持部２１３は、特徴データ生成部２０２が実行された場合に、特徴データが生成されるたびに、例えば１フレーム分の音声データの特徴データあるいは１フレーム分の画像データの特徴データが生成されるごとに中央処理装置１０１によって実行されるように構成すればよい。

特徴データ入力部２１４は、特徴データ保持部２１３において保持された特徴データ、あるいは他の装置などによって既に生成されている特徴データを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されている特徴データを読み出すことによって実現できる。

あるいは、ネットワークカード経由で他の装置から特徴データを取得することによって実現できる。なお、本特徴データ入力部２１４は、後述する重要シーンデータ生成部２０３が実行された場合に、中央処理装置１０１によって実行されればよい。

重要シーンデータ生成部２０３は、重要シーンデータ入力／生成手段に相当し、特徴データ入力部２１４で入力した特徴データに基づいて、重要シーンを決定して、図４に示すような重要シーンデータを生成する。

図４（ａ）において、４１１は、重要シーンを示し、４０２は、重要シーンの開始位置、４０３は、重要シーンの終了位置である。なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、重要シーンデータには開始時間と終了時間が記述されているものとして説明する。

さて、この重要シーンデータ生成部２０３における重要シーンの決定は、例えば、動画データが音楽番組のコンテンツであった場合、音声のパワーや相関度を評価し、音楽部分を検出することによって実現できる。あるいは、特許第3088838号記載の方法等によって、音楽部分を検出することでも実現できる。

さらに、音楽番組以外のコンテンツであっても、例えば、動画の輝度分布や動きに基づいて、典型的なパターンが現れた場合に重要なシーンと認識し、この重要シーンを検出することよって実現しても良い。また、単に音声データのパワーがピークであるシーンとしてもよい。このとき、シーンとしては、動画における前後の画像フレームで輝度分布が著しく変化した部分や動きの大きさが一定の大きさを上回った場合をシーンチェンジとして認識し、音声データのパワーがピークとなる位置を含むシーンチェンジから次のシーンチェンジまでをシーンとしてもよいし、音声データのパワーがピークとなる位置を含む一定時間のシーンをシーンとしてもよい。

また、図４（ｂ）に示すように、図４（ａ）の重要シーンデータに代表位置４０４を加えたものを重要シーンデータとしてもよい。この場合、代表位置４０４は、例えば音声データのパワーがピークである位置とすればよい。あるいは動画の輝度分布や動きに基づいて、典型的なパターンが現れた位置としてもよい。あるいは、音声データが典型的なパターンとなった位置としてもよい。

なお、重要シーンデータ生成部２０３は、利用者によって、重要シーンデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、重要シーンデータが作成されていない動画データを発見した場合に中央処理装置１０１によって実行される。

重要シーンデータ保持部２１０は、重要シーン部２０３において生成した重要シーンデータを保持する。これは、例えば重要シーンデータ生成部２０３において生成した重要シーンデータを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。ただし、重要シーンデータ生成部２０３において生成した重要シーンデータが後述するサムネール生成部２１６に直接読み込まれる構成とした場合には、本重要シーンデータ保持部２１０は必ずしも必要はない。

なお、本重要シーンデータ保持部２１０が存在する構成とした場合には、本重要シーンデータ保持部２１０は、重要シーンデータ生成部２０３が実行された場合に、重要シーンデータが生成されるたびに中央処理装置１０１によって実行されるように構成すればよい。

重要シーンデータ入力部２１１は、重要シーンデータ入力／生成手段に相当し、重要シーンデータ保持部２１０において保持された重要シーンデータ、あるいは他の装置などによって既に生成されている重要シーンデータを入力する。

これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されている重要シーンデータを読み出すことによって実現できる。あるいは、ネットワークカード経由で他の装置から重要シーンデータを取得することによって実現できる。

ただし、重要シーンデータ生成部２０３において生成した重要シーンデータが後述するデサムネール生成部２１６に直接読み込まれる構成とした場合には、本重要シーンデータ入力部２１１は必ずしも必要はない。

なお、本重要シーンデータ入力部２１１が存在する構成とした場合には、本重要シーンデータ入力部２１１は、後述するサムネール生成部２１６が実行された場合に、中央処理装置１０１によって実行されるように構成すればよい。

サムネール生成部２１６は、サムネール生成手段に相当し、前述の重要シーンデータに基づいて動画データの内容を視覚的に表すサムネールを生成する。特に、前述の重要シーンデータで示される重要シーンにおける音声データのパワーがピークとなる位置の画像を後述の再生動画データ入力部２１２により取得して再生することで、サムネールを生成する。なお、再生動画データ入力部２１２により特定の位置の画像を取得して再生する方法については、すでに公知であり、例えば広く知られるトリック再生で、位置を指定した再生及び画像の取得方法等を適用可能であるので説明を省略する。

また、上述では、重要シーンにおける音声データのパワーがピークとなる位置の画像を取得して再生することで、サムネールを生成する説明をしたが、その限りではなく、例えば重要シーンにおける先頭の画像を取得して再生することで、サムネールを生成してもよいし、重要シーンにおける任意の位置の画像を取得して再生することで、サムネールを生成してもよい。あるいは、重要シーンにおける代表画像を取得して再生することで、サムネールを生成してもよい。

これは、例えば図４（ｂ）の代表位置の画像を取得して再生することで実現できる。生成したサムネールは、例えば、動画データのファイル名と同じ名称として、拡張子を変更するなどして、動画データと関連づけて記憶装置１０５あるいは二次記憶装置１０６に格納する。なお、本サムネール生成部２１６は、後述する再生動画データ入力部２１２により視聴可能な動画データを入力可能となった時点で中央処理装置１０１によって実行されるように構成されればよい。

あるいは、視聴可能な動画データに対応した重要シーンデータの入力あるいは生成が完了した時点で中央処理装置１０１によって実行されるように構成されればよい。あるいは図示しないスケジューラにより、視聴可能な動画データに対応した重要シーンデータの入力あるいは生成が完了後で中央処理装置１０１によって実行されるように構成すればよい。

ここで、視聴可能な動画データに対して対応する重要シーンデータを入力できない、あるいは生成できない場合には、単に動画データの先頭画像を取得して再生することで、サムネールを生成し、重要シーンデータを入力あるいは生成完了した時点で、上述した方法によりサムネールを生成し、先の単に動画データの先頭画像を取得して再生することで生成したサムネールと置き換えられるように構成してもよい。

再生動画データ入力部２１２は、動画データ入力手段に相当し、後述の再生部２０６で再生対象の動画データあるいは前述のサムネール生成部２１６でサムネール生成対象の動画データを動画データ入力装置１００から入力する。

なお、本再生動画データ入力部２１２は、後述する再生部２０６によって再生対象の動画データを取得する際あるいは前述のサムネール生成部２１６でサムネールを生成する際に起動され、中央処理装置１０１によって実行される。

表示部２０８は、表示手段に相当し、例えば図５に示す表示画面６０１を表示装置１０３に表示する。図５において、６０１は表示画面の一例である。６０２は再生動画表示エリアであり、後述する再生部２０６により再生された動画を表示する。６０３は動画データ名表示エリアであり、視聴可能な動画データのファイル名あるいはタイトル名を表示する。

なお、図５においては、６１１ないし６１３が視聴可能な動画データ名となっている。６０４はサムネール表示エリアであり、前記サムネール生成部２１６で生成したサムネールを表示する。すなわち、視聴可能な動画データのサムネールが表示される。なお、図５においては、６２１ないし６２３に６１１ないし６１３の動画データ名で示される動画データのサムネールが表示された例を示している。

なお、本サムネール表示エリア６０４には、視聴可能な動画データの重要シーンが再生されて表示されるように構成してもよい。この場合、前記サムネール生成部２１６が前記重要シーンデータで示される重要シーンを再生し、サムネール表示エリアに表示することで実現でき、いわゆる動画サムネールを表示する。

この場合、サムネール表示エリアが表示されたときに本サムネール生成部２１６が起動されて、視聴可能なすべての動画データに対して、それぞれの重要シーンデータで示される重要シーンを順次再生し、それぞれの動画データに対応するサムネール表示エリアに表示することで、それぞれの動画データに対する動画サムネールを表示するように構成すればよい。

あるいは、サムネール表示エリアが表示されたときに本サムネール生成部２１６が起動されて、視聴可能なすべての動画データに対して、それぞれの動画データに対する重要シーンデータで示される重要シーンを１フレームずつ順次再生し、それぞれの動画データに対応するサムネール表示エリアに表示することで、それぞれの動画データに対する動画サムネールを表示するように構成してもよい。

あるいは、前述した入力部１０２により動画データ名表示エリアから動画データが選択されたときあるいはサムネール表示エリアからサムネールが選択されたときに、本サムネール生成部２１６が起動されて、選択された動画データ名あるいはサムネールに対応する動画データの重要シーンデータで示される重要シーンを再生し、その動画データに対応するサムネール表示エリアに表示することで、その動画データに対する動画サムネールを表示するように構成すればよい。

なお、本表示部２０６は、後述する再生部２０６によって１フレーム分の再生画像が生成されるごとに起動され、中央処理装置１０１によって実行される。また、図５で示した表示画面に変更があるたびに起動され、中央処理装置１０１によって実行される。あるいは、前述のサムネール生成部２１６によってサムネールが生成されるたびに、あるいはサムネールが動画の場合には１フレーム分のサムネール画像が生成されるたびに起動され、中央処理装置１０１によって実行される。

音声出力部２１５も表示手段に相当し、再生部２０６において生成された再生音声を音声出力装置１０４に出力する。本音声出力部２１５は、再生部２０６が生成した再生音声を１フレームごとに音声出力装置１０４に出力することによって実現可能である。この場合、本音声出力部２１５は、再生部２０６によって１フレーム分の再生音声が生成されるごとに起動され、中央処理装置１０１によって実行される。

再生部２０６は、再生手段に相当し、再生動画データ入力部２１２により動画データを入力して、再生画像および再生音声を生成する。生成した再生画像は前記表示部２０８により表示画面６０１上の再生動画表示エリア６０２に表示される。

また、生成された再生音声は、音声出力部２１５により音声出力装置１０４から出力される。なお、本再生部２０６は、例えば、前述した入力部１０２により動画データ名表示エリアから動画データが選択されて再生が指示されたときあるいはサムネール表示エリアからサムネールが選択されて再生が指示されたときに起動され、中央処理装置１０１によって実行されるように構成すればよい。

以上により、視聴可能な動画データにおける重要シーンのサムネールを表示することができ、動画データの内容を容易に把握可能とすることができる。

実施例１では、動画データにおける重要シーンからサムネールを生成し、表示する動画再生装置を提供したが、実施例２では、動画データにおけるシーンの重要度を示すランキングに基づいてサムネールを生成し、表示する動画再生装置を提供する。

図６は、本実施例２に係る動画再生装置の機能ブロック図である。
図６に示すとおり、本実施例に係る動画再生装置は、実施例１で示した動画再生装置の機能ブロックにおける重要シーンデータ生成部２０３の代わりにランキングデータ生成部１５０１を有し、重要シーンデータ保持部２１０の代わりにランキングデータ保持部１５０２を有し、そして、重要シーンデータ入力部２１１の代わりにランキングデータ入力部１５０３を有して構成される。

なお、これらの機能ブロックの一部あるいは全部は、図１で示したハードウェアに加えて、ハードウェアとして実現されてもよいが、中央処理装置１０１によって実行されるソフトウェアプログラムとして実現されてもよい。

以下では、一例として、これらの機能ブロックの全てが中央処理装置１０１によって実行されるソフトウェアプログラムであるものとして説明する。

また、本実施例において、他の装置ですでに作成済みのランキングデータを使用するなど、ランキングデータを本動画再生装置で生成しない場合には、必ずしも解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３と、特徴データ入力部２１４と、ランキングデータ生成部１５０１と、ランキングデータ保持部１５０３は必要ない。また、他の装置ですでに作成済みの特徴データを使用するなど、特徴データを本動画再生装置で生成しない場合には、必ずしも解析動画データ入力部２０１と、特徴データ生成部２０２と、特徴データ保持部２１３は必要ない。

ランキングデータ生成部１５０１は、ランキングデータ入力／生成手段に相当し、特徴データ入力部２１４で入力した特徴データに基づいて、動画データにおけるシーン重要度に応じてランキング付けを行い、図７に示すようなランキングデータを生成する。図７において、１６０１は、シーンのランクであり、ここでは１が最もランクが高く、数が多くなるほどランクが低くなる例を示している。１６０４ないし１６０８は、それぞれ動画データにおけるシーンを示している。また、１６０２は、そのシーンの開始位置、１６０３は、そのシーンの終了位置である。

なお、開始位置と終了位置は、それぞれ開始時間と終了時間としてもよく、本実施例では、便宜上、ランキングデータには開始時間と終了時間が記述されているものとして説明する。さて、このランキングデータ生成部１５０１におけるシーンのランク付けは、例えば、動画データが音楽番組のコンテンツであった場合、音声のパワーや相関度を評価し、音楽部分を検出し、さらに音声のパワーの高いシーン順にランク付けすることでも実現できる。

あるいは、音楽番組以外のコンテンツであっても、例えば、単に音声のパワーの高い順にランク付けしてもよいし、動画の輝度分布や動きに基づいて、典型的なパターンが現れた場合にそのシーンのランクを高くすることによっても実現できる。もちろんこれらの方法を組み合わせて使用し、シーンのランク付けを行っても良い。

このとき、シーンとしては、動画における前後の画像フレームで輝度分布が著しく変化した部分や動きの大きさが一定の大きさを上回った場合をシーンチェンジとして認識し、シーンチェンジから次のシーンチェンジまでをシーンとしてもよいし、一定時間のシーンをシーンとしてもよい。

また、図７（ｂ）に示すように、図７（ａ）の各ランクのシーンに代表位置１６０４を加えてもよい。この場合、代表位置１６０４は、例えば各シーンにおいて音声データのパワーがピークである位置とすればよい。あるいは動画の輝度分布や動きに基づいて、典型的なパターンが現れた位置としてもよい。あるいは、音声データが典型的なパターンとなった位置としてもよい。なお、ランキングデータ生成部１５０１は、利用者によって、ランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、ランキングデータが作成されていない動画データを発見した場合に中央処理装置１０１によって実行される。

ランキングデータ保持部１５０２は、ランキングデータ生成部１５０１において生成したランキングデータを保持する。これは、例えばランキングデータ生成部１５０１において生成したランキングデータを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。

ただし、ランキングデータ生成部１５０１において生成したランキングデータが後述するサムネール生成部２１６に直接読み込まれるように構成した場合には、本ランキングデータ保持部１５０２は必ずしも必要はない。

なお、本ランキングデータ保持部１５０２が存在するように構成した場合には、本ランキングデータ保持部１５０２は、ランキングデータ生成部１５０１が実行された場合に、ランキングデータが生成されるたびに中央処理装置１０１によって実行されるように構成すればよい。

ランキングデータ入力部１５０３は、ランキングデータ入力／生成手段に相当し、ランキングデータ保持部１５０２において保持されたランキングデータ、あるいは他の装置などによって既に生成されているランキングデータを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されているランキングデータを読み出すことによって実現できる。

あるいは、ネットワークカード経由で他の装置からランキングデータを取得することによって実現できる。ただし、ランキングデータ生成部１５０１において生成したランキングデータが後述するデサムネール生成部２１６に直接読み込まれるように構成した場合には、本ランキングデータ入力部１５０３は必ずしも必要はない。

なお、本ランキングデータ入力部２１１が存在するように構成した場合には、本ランキングデータ入力部１５０３は、後述するサムネール生成部２１６が実行された場合に、中央処理装置１０１によって実行されるように構成すればよい。

また、本実施例２においては、解析動画データ入力部２０１、特徴データ入力部２１４、サムネール生成部２１６の処理を以下のとおり変更する。

解析動画データ入力部２０１は、動画データにおけるシーンのランク付けを行うために動画の特徴を生成および解析し、それぞれ特徴データおよびランキングデータを生成するためにサムネール生成対象の動画データを動画データ入力装置１００から入力する。なお、本解析動画データ入力部２０１は、動画データ受信時、あるいは利用者によって、特徴データ及びランキングデータの作成が指示された場合、あるいは再生開始時、あるいは図示しないスケジューラによって、特徴データ及びランキングデータが作成されていない動画データを発見した場合に中央処理装置１０１によって実行される。

特徴データ入力部２１４は、特徴データ保持部２１３において保持された特徴データ、あるいは他の装置などによって既に生成されている特徴データを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されている特徴データを読み出すことによって実現できる。

あるいは、ネットワークカード経由で他の装置から特徴データを取得することによって実現できる。なお、本特徴データ入力部２１４は、ランキングデータ生成部１５０１が実行された場合に、中央処理装置１０１によって実行されればよい。

サムネール生成部２１６は、前述のランキングデータに基づいて動画データの内容を視覚的に表すサムネールを生成する。特に、前述のランキングデータで示される最もランクの高いシーンにおける音声データのパワーがピークとなる位置の画像を後述の再生動画データ入力部２１２により取得して再生することで、サムネールを生成する。

なお、ここでは最もランクの高いシーンに対してサムネールを生成することを述べたが、この限りではなく、ランクが２位のシーンなど上位のランクのシーンに対してサムネールを生成してもよい。また、上述では、シーン内で音声データのパワーがピークとなる位置の画像を取得して再生することで、サムネールを生成する説明をしたが、その限りではなく、例えばシーンにおける先頭の画像を取得して再生することで、サムネールを生成してもよいし、シーンにおける任意の位置の画像を取得して再生することで、サムネールを生成してもよい。

あるいは、シーンにおける代表画像を取得して再生することで、サムネールを生成してもよい。これは、例えば図７（ｂ）の代表位置の画像を取得して再生することで実現できる。

生成したサムネールは、例えば、動画データのファイル名と同じ名称として、拡張子を変更するなどして、動画データと関連づけて記憶装置１０５あるいは二次記憶装置１０６に格納する。なお、本サムネール生成部２１６は、後述する再生動画データ入力部２１２により視聴可能な動画データを入力可能となった時点で中央処理装置１０１によって実行されるように構成されればよい。

あるいは、視聴可能な動画データに対応したランキングデータの入力あるいは生成が完了した時点で中央処理装置１０１によって実行されるように構成されればよい。あるいは図示しないスケジューラにより、視聴可能な動画データに対応したランキングデータの入力あるいは生成が完了後で中央処理装置１０１によって実行されるように構成すればよい。

ここで、視聴可能な動画データに対して対応するランキングデータを入力できない、あるいは生成できない場合には、単に動画データの先頭画像を取得して再生することで、サムネールを生成し、ランキングデータを入力あるいは生成完了した時点で、上述した方法によりサムネールを生成し、先の単に動画データの先頭画像を取得して再生することで生成したサムネールと置き換えられるように構成してもよい。

また、サムネール表示エリア６０４に動画サムネールを表示する場合には、サムネール生成部２１６および表示部２０８を以下のとおり変更する。すなわち、サムネール生成部２１６が前記ランキングデータで示される最もランクの高いシーンあるいはランクが上位のシーンを再生し、表示部２０８は、再生されたシーンをサムネール表示エリアに表示するように構成する。

なお、この場合、サムネール表示エリアが表示されたときに本サムネール生成部２１６が起動されて、視聴可能なすべての動画データに対して、それぞれのランキングデータで示される最もランクの高いシーンあるいはランクが上位のシーンを順次再生し、表示部２０８が、再生されたシーンをそれぞれの動画データに対応するサムネール表示エリアに表示することで、それぞれの動画データに対する動画サムネールを表示するように構成すればよい。あるいは、サムネール表示エリアが表示されたときに本サムネール生成部２１６が起動されて、視聴可能なすべての動画データに対して、それぞれの動画データに対するランキングデータで示される最もランクの高いシーンあるいはランクが上位のシーンを１フレームずつ順次再生し、表示部２０８が、再生されたシーンをそれぞれの動画データに対応するサムネール表示エリアに表示することで、それぞれの動画データに対する動画サムネールを表示するように構成してもよい。

あるいは、前述した入力部１０２により動画データ名表示エリアから動画データが選択されたときあるいはサムネール表示エリアからサムネールが選択されたときに、本サムネール生成部２１６が起動されて、選択された動画データ名あるいはサムネールに対応する動画データのランキングデータで示される最もランクの高いシーンあるいはランクが上位のシーンを再生し、表示部２０８が、再生されたシーンをその動画データに対応するサムネール表示エリアに表示することで、その動画データに対する動画サムネールを表示するように構成すればよい。

以上により、視聴可能な動画データにおける重要度の高いシーンのサムネールを表示することができ、動画データの内容を容易に把握可能とすることができる。

なお、上記では、１つの動画データに対して１つのサムネール表示エリアを使用してサムネールを表示する動画再生装置を提供できるが、２つ以上のサムネール表示エリアを使用してサムネールを表示するように構成してもよい。

この場合、サムネール生成部２１６は、前記ランキングデータにおける複数のランクのシーンに対してサムネールを生成する。これは、例えば、複数のランクのシーンにおける音声データのパワーがピークとなる位置の画像を後述の再生動画データ入力部２１２により取得して再生することで、サムネールを生成するように構成すればよい。あるいは、複数のランクのシーンにおける先頭の画像を取得して再生することで、サムネールを生成ように構成してもよい。

あるいは、複数のランクのシーンにおける代表画像を取得して再生することで、サムネールを生成してもよい。これは、例えば図７（ｂ）の複数のランクのシーンに対する代表位置の画像を取得して再生することで実現できる。

そして、例えば、生成した複数のサムネールをそれぞれファイルとして個別のファイル名をつけて記憶装置１０５あるいは二次記憶装置１０６に格納し、図８に示すサムネール情報データ１７００を生成して、これを動画データのファイル名と同じ名称として、拡張子を変更するなどして、動画データと関連づけて記憶装置１０５あるいは二次記憶装置１０６に格納する。

図８において、１７０１は生成したサムネールの個数であり、１７０２ないし１７０６は、生成して記憶装置１０５あるいは二次記憶装置１０６に格納したサムネールのファイル名である。この場合、表示部２０８は、視聴可能な動画データに対して、同じファイル名のサムネール情報データを記憶装置１０５あるいは二次記憶装置１０６から読み出し、さらに、該サムネール情報データに記述されているサムネールファイル名のサムネールデータを記憶装置１０５あるいは二次記憶装置１０６から読み出して、図９に示すサムネール表示エリアに表示する。

なお、図９において、特に変更のない部分については、図５と同じ番号を付してあり、１８０１ないし１８０５は動画１のサムネールであり、特に１８０１は、動画１におけるランク１のシーンのサムネール、１８０２は、動画１におけるランク２のシーンのサムネール、１８０３は、動画１におけるランク３のシーンのサムネール、１８０４は、動画１におけるランク４のシーンのサムネール、１８０５は、動画１におけるランク５のシーンのサムネールの表示エリアである。

同様に、１８１１は、動画２におけるランク１のシーンのサムネール、１８１２は、動画２におけるランク２のシーンのサムネール、１８１３は、動画２におけるランク３のシーンのサムネール、１８１４は、動画２におけるランク４のシーンのサムネール、１８１５は、動画２におけるランク５のシーンのサムネール、１８２１は、動画３におけるランク１のシーンのサムネール、１８２２は、動画３におけるランク２のシーンのサムネール、１８２３は、動画３におけるランク３のシーンのサムネール、１８２４は、動画３におけるランク４のシーンのサムネール、１８２５は、動画３におけるランク５のシーンのサムネールの表示エリアである。

以上により、１つの動画データに対して、複数ランクのシーンに対するサムネールを表示でき、よりいっそう動画データの内容を容易に把握可能とすることができる。

本発明は、例えば動画データを再生可能なハードディスクレコーダやパーソナルコンピュータ等に適用可能である。

本発明の実施例に係る動画再生装置の機能ブロックをソフトウェアで実現する場合のハードウェア構成図の一例である。 本発明の実施例１に係る動画再生装置の機能ブロック図の一例である。 本発明の実施例で取り扱う特徴データのデータ構造の一例である。 本発明の実施例１で取り扱う重要シーンデータのデータ構造の一例である。 本発明の実施例に係る表示画面の一例である。 本発明の実施例２に係る動画再生装置の機能ブロック図の一例である。 本発明の実施例２で取り扱うランキングデータのデータ構造の一例である。 本発明の実施例２で取り扱うサムネール情報データのデータ構造の一例である。 本発明の実施例２に係る表示画面の一例であり、特にランキングデータに基づいて１つの動画データに対して複数のサムネールを表示した場合の表示画面の一例である。

符号の説明

１００・・・動画データ入力装置、１０１・・・中央処理装置、１０２・・・入力装置、１０３・・・表示装置、１０４・・・音声出力装置、１０５・・・記憶装置、１０６・・・二次記憶装置、１０７・・・バス、２０１・・・動画解析動画データ入力部、２０２・・・特徴データ生成部、２０３・・・重要シーンデータ生成部、２０４・・・再生シーン決定部、２０５・・・再生シーン決定パラメタ入力部、２０６・・・再生部、２０８・・・表示部、２１０・・・重要シーンデータ保持部、２１１・・・重要シーンデータ入力部、２１２・・・再生動画データ入力部、２１３・・・特徴データ保持部、２１４・・・特徴データ入力部、２１５・・・音声出力部、２１６・・・サムネール生成部、１５０１・・・ランキングデータ生成部、１５０２・・・ランキングデータ保持部、１５０３・・・ランキングデータ入力部

Claims (21)

1. 動画再生装置であって、少なくとも、
   動画データを入力する動画データ入力手段と、
   該動画データにおける重要シーンが記述されたデータを入力あるいは生成する重要シーンデータ入力／生成手段と、
   前記重要シーンデータで示される重要シーンのサムネールを生成するサムネール生成手段と、
   前記入力された動画データを再生する再生手段と、
   該再生動画を表示及び前記生成したサムネールを表示する表示手段と、
   を有し、動画データにおける重要シーンをサムネール表示することを特徴とする動画再生装置。
2. 請求項１に記載の動画再生装置であって、
   前記サムネール生成手段は、前記重要シーンを再生することで動画のサムネールを生成し、重要シーンの動画サムネールを表示することを特徴とする動画再生装置。
3. 請求項１に記載の動画再生装置であって、
   前記サムネール生成手段は、前記重要シーンの任意の位置の画像を基にサムネールを生成し、動画データにおける重要シーンの中からサムネール生成して表示することを特徴とする動画再生装置。
4. 請求項１に記載の動画再生装置であって、
   前記サムネール生成手段は、前記重要シーンにおける先頭の画像を取得してサムネールを生成し、動画データにおける重要シーンの先頭の画像をサムネールとして表示することを特徴とする動画再生装置。
5. 請求項１に記載の動画再生装置であって、
   前記サムネール生成手段は、前記重要シーンにおける代表の画像を取得してサムネールを生成し、動画データの重要シーンにおける代表画像をサムネールとして表示することを特徴とする動画再生装置。
6. 請求項５に記載の動画再生装置であって、
   前記サムネール生成手段は、前記重要シーンにおける音声データのパワーがピークとなる位置の画像を取得してサムネールを生成し、動画データの重要シーンにおける音声データのパワーがピークとなる位置の画像を代表画像としてサムネール表示することを特徴とする動画再生装置。
7. 動画再生装置であって、少なくとも、
   動画データを入力する動画データ入力手段と、
   該動画データにおけるシーンの重要度に応じたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、
   該ランキングデータで示されるランキング上位のシーンからサムネールを生成するサムネール生成手段と、
   前記入力された動画データを再生する再生手段と、
   該再生動画を表示及び前記生成したサムネールを表示する表示手段と、
   を有し、動画データにおけるランキング上位のシーンをサムネール表示することを特徴とする動画再生装置。
8. 請求項７に記載の動画再生装置であって、
   前記サムネール生成手段は、前記ランキング上位のシーンを再生することで動画のサムネールを生成し、動画データにおけるランキング上位のシーンの動画サムネールを表示することを特徴とする動画再生装置。
9. 請求項７に記載の動画再生装置であって、
   前記サムネール生成手段は、前記ランキング上位のシーンの任意の位置の画像を基にサムネールを生成し、動画データにおけるランキング上位のシーンの中からサムネール生成して表示することを特徴とする動画再生装置。
10. 請求項７に記載の動画再生装置であって、
    前記サムネール生成手段は、前記ランキング上位のシーンにおける先頭の画像を取得してサムネールを生成し、動画データにおけるランキング上位のシーンの先頭の画像をサムネールとして表示することを特徴とする動画再生装置。
11. 請求項７に記載の動画再生装置であって、該サムネール生成手段は、前記ランキング上位のシーンにおける代表の画像を取得してサムネールを生成し、動画データのランキング上位のシーンにおける代表画像をサムネールとして表示することを特徴とする動画再生装置。
12. 請求項１１に記載の動画再生装置であって、該サムネール生成手段は、前記ランキング上位のシーンにおける音声データのパワーがピークとなる位置の画像を取得してサムネールを生成し、動画データのランキング上位のシーンにおける音声データのパワーがピークとなる位置の画像を代表画像としてサムネール表示することを特徴とする動画再生装置。
13. 動画再生装置であって、少なくとも、
    動画データを入力する動画データ入力手段と、
    該動画データにおけるシーンの重要度に応じたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、
    該ランキングデータで示されるランキング一位のシーンからサムネールを生成するサムネール生成手段と、
    前記入力された動画データを再生する再生手段と、
    該再生動画を表示及び前記生成したサムネールを表示する表示手段と、
    を有し、動画データにおけるランキング一位のシーンをサムネール表示することを特徴とする動画再生装置。
14. 請求項１３に記載の動画再生装置であって、
    該サムネール生成手段は、前記ランキング一位のシーンを再生することで動画のサムネールを生成し、動画データにおけるランキング一位のシーンの動画サムネールを表示することを特徴とする動画再生装置。
15. 請求項１３に記載の動画再生装置であって、
    該サムネール生成手段は、前記ランキング一位のシーンの任意の位置の画像を基にサムネールを生成し、動画データにおけるランキング一位のシーンの中からサムネール生成して表示することを特徴とする動画再生装置。
16. 請求項１３に記載の動画再生装置であって、
    該サムネール生成手段は、前記ランキング一位のシーンにおける先頭の画像を取得してサムネールを生成し、動画データにおけるランキング一位のシーンの先頭の画像をサムネールとして表示することを特徴とする動画再生装置。
17. 請求項１３に記載の動画再生装置であって、
    該サムネール生成手段は、前記ランキング一位のシーンにおける代表の画像を取得してサムネールを生成し、動画データのランキング一位のシーンにおける代表画像をサムネールとして表示することを特徴とする動画再生装置。
18. 請求項１７に記載の動画再生装置であって、
    該サムネール生成手段は、前記ランキング一位のシーンにおける音声データのパワーがピークとなる位置の画像を取得してサムネールを生成し、動画データのランキング一位のシーンにおける音声データのパワーがピークとなる位置の画像を代表画像としてサムネール表示することを特徴とする動画再生装置。
19. 動画再生装置であって、少なくとも、
    動画データを入力する動画データ入力手段と、
    該動画データにおけるシーンの重要度に応じたランキングデータを入力あるいは生成するランキングデータ入力／生成手段と、
    該ランキングデータで示される各ランキングのシーンからサムネールを生成するサムネール生成手段と、
    前記入力された動画データを再生する再生手段と、
    該再生動画を表示及び前記生成したサムネールを表示する表示手段と、
    を有し、動画データにおけるランキングに基づき複数のサムネール表示することを特徴とする動画再生装置。
20. 請求項１９に記載の動画再生装置であって、
    前記サムネール生成手段は、前記ランキングのシーンにおける代表の画像を取得してサムネールを生成し、動画データの複数のランクのシーンにおける代表画像をサムネールとして表示することを特徴とする動画再生装置。
21. 請求項２０に記載の動画再生装置であって、
    前記サムネール生成手段は、前記ランキングのシーンにおける音声データのパワーがピークとなる位置の画像を取得してサムネールを生成し、動画データの複数のランクのシーンにおける音声データのパワーがピークとなる位置の画像を代表画像としてサムネール表示することを特徴とする動画再生装置。
    

Images