JP2011205217A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】サムネイル画像を用いた動画からのシーンサーチを良好に行えるようにする。
【解決手段】動画から特徴を有するフレームを抽出し、さらに特徴フレームから重要度をもとにサムネイルフレームを決定する。総てのサムネイルフレームを時系列的に連続する複数のサムネイルフレームの集合からなるページの単位に分割し、再生中の動画の時刻に最も近いサムネイルフレームを含むページ単位の各サムネイルフレームにそれぞれ対応するサムネイル画像を行列状に配置して表示する。動画の通常再生時は動画の時刻に最も近いサムネイル画像をポップアップで表示し、高速再生時は動画の時刻に最も近いサムネイル画像を含む行をポップアップで表示する。これにより、ユーザは、動画に同期するサムネイル画像を一目で捉えることができ、両方を参照しながら目的のシーンをサーチすることができる。
【選択図】図１４

Description

本発明は、動画コンテンツのサムネイル画像を表示してユーザによるシーンサーチが可能な情報処理装置、情報処理方法、プログラムに関する。

録画機能を有するテレビジョン装置やパーソナルコンピュータなどの情報処理装置では、録画された映像コンテンツのユーザによるシーンサーチを補助するために、録画された映像コンテンツの一部のフレームをサムネイル化して表示することが行われる。その際、ユーザが素早く視覚的に目的のシーンを検索することが可能なように、映像コンテンツの一定時間（例えば１０秒、１０分）置きのフレームをサムネイル化して時系列順に一覧表示する方法も知られている。さらには、（重要な）被写体の顔が映っているフレームや、シーンの切り替わり位置のフレームなど、ハイライトと推定されるフレームを検出して、これらのフレームのサムネイル画像を生成する方法も知られている（例えば特許文献１参照）。

また、特許文献１においては、ユーザがサムネイル画像の時系列であるフィルム・ロール上の任意のサムネイルを選択することにより、動画のその位置から再生処理が起動することとされている。ここで、フィルム・ロールは、動画の時刻に対応するサムネイル画像を含む、複数のサムネイル画像による横一列の時系列で構成され、再生中の動画の時刻とともに進行することとされている。

特開２００６−０８６６１２号公報（段落[０１２１−０１２４]、図１６、図１７）

しかしながら、特許文献１においては、再生中の動画の時刻とともにサムネイル画像の時系列であるフィルム・ロールが進行することから、動画再生中でのサムネイル画像のユーザにとっての視認性が問題となる。特に、動画を５倍速、１０倍速といった高速で再生するような場合を考えると、フィルム・ロールの高速な描画の繰り返しによる処理負担の増大は勿論のこと、フィルム・ロールの高速な進行によって一つ一つのサムネイル画像の視認性が著しく低下するおそれがある。

以上のような事情に鑑み、本発明の目的は、サムネイル画像を用いたシーンサーチを良好に行うことのできる情報処理装置、情報処理方法、プログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、時間的に連続する複数のフレームを含む動画からサムネイル対象の複数のフレームをサムネイルフレームとして選択する選択部と、前記選択された複数のサムネイルフレームを、それぞれ時系列的に連続する複数のサムネイルフレームからなるページの単位で分割する分割部と、前記動画の再生速度の指定を受け付ける再生速度入力部と、前記動画を前記指定された再生速度で再生する再生処理部と、前記再生された前記動画の時刻に最も近いサムネイルフレームに対応するサムネイル画像を最近サムネイル画像として、この最近サムネイル画像を含む前記ページ単位の複数のサムネイル画像を行列状に配置して表示し、かつ少なくとも前記最近サムネイル画像を含む時系列的に連続する１以上のサムネイル画像を動画同期サムネイル画像として、表示中の他のサムネイル画像に対して識別可能な形態で表示するサムネイル表示処理部とを具備する。

本発明では、サムネイル表示処理部が、再生された動画の時刻に最も近いサムネイルフレームに対応する最近サムネイル画像を含むページ単位の複数のサムネイル画像を行列状に表示し、かつ少なくとも最近サムネイル画像を含む時系列的に連続する１以上のサムネイル画像を動画同期サムネイル画像として、表示中の他のサムネイル画像に対して識別可能な形態で表示する。これにより、シーンサーチを行うユーザは、複数のサムネイル画像の配置関係が行列状に固定された中で、１以上の動画同期サムネイル画像を即座に識別することができる。これにより、動画とサムネイル画像を参照しながらのシーンサーチを良好に行うことができる。

再生処理部は、行列状に配置して表示された複数のサムネイル画像のうちの１つがユーザによって選択されたとき、再生中の動画の時刻を、選択されたサムネイル画像に対応するサムネイルフレームの時刻にジャンプさせるようにしてもよい。
これにより、例えば、ユーザは、興味のあるサムネイル画像の時刻の動画からそのシーン内容を確認することができ、効率的にシーンサーチを行うことができる。

本発明の一形態に係る情報処理装置は、前記サムネイルフレーム毎の重要度を計算する重要度計算部をさらに具備し、前記サムネイル表示処理部は、前記計算されたサムネイルフレーム毎の重要度を前記サムネイル画像の表示形態に反映させるようにしてもよい。
これにより、シーンサーチを行うユーザは、サムネイル画像の中で重要度の高いものを即座に認識することができ、効率的にシーンサーチを行うことができる。

サムネイル表示処理部は、前記動画同期サムネイル画像として識別可能な表示形態が付与される前記サムネイル画像の数を、再生速度入力部にて受け付けた動画の再生速度に応じて可変するようにしてもよい。
例えば、動画の再生速度が低いときは同時に動画同期サムネイル画像の数も少なくすることによって、シーンサーチにおいてユーザの意図する精細度を、動画の再生速度と１画面でのサムネイル画像の表示数の両方に反映させることができる。

前記サムネイル表示処理部は、前記行列の行単位および列単位の少なくともいずれか一方の配列について、各サムネイルフレームの重要度の和がより小さい配列を優先的に間引くようにしてもよい。
これにより、再生速度の変更の前後で、行列内での各サムネイル画像の位置関係が大きく変動することを回避できる。これにより、動画の再生速度が異なる各状況下で、同一のサムネイル画像をユーザが容易に発見できるようになり、操作性の向上を期待できる。

前記再生処理部は、前記動画同期サムネイル画像として識別可能な表示形態が付与される前記サムネイル画像が一定の速度で切り替わるように、前記再生速度入力部にて受け付けた前記動画の再生速度を基準に前記動画の再生の速度を制御するようにしてもよい。
これにより、単位時間当たりのサムネイルフレームの数とは無関係に、動画同期サムネイル画像として識別可能な表示形態が付与されるサムネイル画像を一定の速度で切り替えることができ、各サムネイル画像に対して平均的な重みでサーチを行うことができる。

本発明の他の形態に係る情報処理方法は、選択部が、時間的に連続する複数のフレームを含む動画からサムネイル対象の複数のフレームをサムネイルフレームとして選択し、分割部が、前記選択された複数のサムネイルフレームを、それぞれ時系列的に連続する複数のサムネイルフレームからなるページの単位で分割し、再生速度入力部が、前記動画の再生速度の指定を受け付け、再生処理部が、前記動画を前記指定された再生速度で再生し、サムネイル表示処理部が、前記再生された前記動画の時刻に最も近いサムネイルフレームに対応するサムネイル画像を最近サムネイル画像として、この最近サムネイル画像を含む前記ページ単位の複数のサムネイル画像を行列状に配置して表示し、かつ少なくとも前記最近サムネイル画像を含む時系列的に連続する１以上のサムネイル画像を動画同期サムネイル画像として、表示中の他のサムネイル画像に対して識別可能な形態で表示することによるものである。

本発明のさらに他の形態に係るプログラムは、時間的に連続する複数のフレームを含む動画からサムネイル対象の複数のフレームをサムネイルフレームとして選択する選択部と、前記選択された複数のサムネイルフレームを、それぞれ時系列的に連続する複数のサムネイルフレームからなるページの単位で分割する分割部と、前記動画の再生速度の指定を受け付ける再生速度入力部と、前記動画を前記指定された再生速度で再生する再生処理部と、前記再生された前記動画の時刻に最も近いサムネイルフレームに対応するサムネイル画像を最近サムネイル画像として、この最近サムネイル画像を含む前記ページ単位の複数のサムネイル画像を行列状に配置して表示し、かつ少なくとも前記最近サムネイル画像を含む時系列的に連続する１以上のサムネイル画像を動画同期サムネイル画像として、表示中の他のサムネイル画像に対して識別可能な形態で表示するサムネイル表示処理部としてコンピュータを動作させるプログラムである。

本発明によれば、サムネイル画像を用いたシーンサーチを良好に行うことができる。

本発明の第１の実施形態に係る情報処理装置の構成を示すブロック図である。 図１の情報処理装置による動画コンテンツの特徴フレームの検出に関するフローチャートである。 図１の情報処理装置によるサムネイル表示処理に関するフローチャートである。 図１の情報処理装置によるサムネイル表示処理のタイミング図である。 図１の情報処理装置による特徴フレームの重要度の第１の計算例を示す図である。 図１の情報処理装置による特徴フレームの重要度の第２の計算例を示す図である。 図１の情報処理装置による特徴フレームの重要度の第３の計算例を示す図である。 図１の情報処理装置によるページ単位のサムネイル画像の配置方法を示す図である。 図１の情報処理装置のサムネイル表示枚数決定部によるサムネイル表示枚数の算定手順を示すフローチャートである。 図９のサムネイル表示枚数の算定方法の説明図である。 図１の情報処理装置の表示サムネイル選択部による表示サムネイルページの選択方法に関する第１の説明図である。 図１１の表示サムネイル選択部による表示サムネイルページの選択方法に関する第２の説明図である。 図１の情報処理装置におけるシステム状態およびユーザからの操作情報と、サムネイル画像の表示形態との関係を示す図である。 図１の情報処理装置における通常再生時のシーンサーチ画面の例を示す図である。 図１の情報処理装置において通常再生時に動画の時刻の切り替えが発生してからユーザがサムネイル画像に対する操作を何もしないで所定の時間が経過した時点でのシーンサーチ画面の例を示す図である。 図１の情報処理装置における動画の高速再生時のシーンサーチ画面の例を示す図である。 動画の高速再生時にポップアップ表示の移動速度が一定とならない場合を説明する図である。 図１の情報処理装置においてポップアップ表示の移動速度が一定となるように動画の再生速度を制御する方法を説明する図である。 図１の情報処理装置においてポップアップ表示対象の複数のサムネイルフレームが複数ページに跨る場合の処理に関する説明図である。 図１の情報処理装置においてポップアップ表示対象として判定された複数のサムネイルフレームが複数の行に跨る場合の処理に関する説明図である。 図１の情報処理装置において特徴フレームの重要度をサムネイル画像の表示形態に反映させたシーンサーチ画面の例を示す図である。 変形例１のシステム状態およびユーザからの操作情報と、サムネイル画像のポップアップ表示数との関係を示す図である。 変形例１において動画の５倍速再生時のシーンサーチ画面を示す図である。 変形例１において動画の１０倍速再生時のシーンサーチ画面を示す図である。 変形例１において動画の１５倍速再生時のシーンサーチ画面を示す図である。 変形例１において動画の３０倍速再生時のシーンサーチ画面を示す図である。 変形例２の情報処理装置によるサムネイル間引き処理の例を示す図である。 図２７の情報処理装置の表示サムネイル選択部による表示サムネイルページの選択からサムネイル間引き処理までのフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１の実施形態＞
［情報処理装置の構成］
図１は本発明の第１の実施形態に係る情報処理装置の構成を示すブロック図である。

本実施形態の情報処理装置は、少なくとも映像信号と音声信号とが多重化された動画コンテンツを伝送媒体を通じて受信し、蓄積して、映像と音声をそれぞれ再生することが可能な機器である。映像信号と音声信号とが多重化された動画コンテンツは、より具体的には、例えば、地上デジタル放送、衛星デジタル放送などの放送波や、ＩＰ（Internet Protocol）回線などの伝送媒体を通じて伝送されるＭＰＥＧ（Moving Picture Expert Group）−２トランスポートストリームなどである。

図１に示すように、本実施形態の情報処理装置１００は、映像・音声信号記録部１１、再生処理部１２、表示処理部１３、特徴フレーム検出部１４、特徴フレーム情報記録部１５、画音特徴判定部１６、サムネイルフレーム決定部１７、サムネイル表示枚数決定部１８、表示サムネイル選択部１９、静止画作成部２０、静止画記録部２１、サムネイル表示加工部２２、Ｉ／Ｆ部２３、及びシステムコントローラ２４を有する。

映像・音声信号記録部１１は、本情報処理装置１００にて取得した動画コンテンツの映像信号および音声信号が記録される記録領域である。

再生処理部１２は、映像・音声信号記録部１１に記録された映像信号および音声信号をそれぞれ復号して再生するための処理を行う部分である。

表示処理部１３は、再生処理部１２によって再生された映像と、後述するサムネイル表示加工部２２によって作成されたサムネイル画像それぞれの表示データを生成し、物理的な画面を有する表示手段に動画として出力する部分である。物理的な画面を有する表示手段は、本情報処理装置１００に接続された外部の表示装置であってもよいし、本情報処理装置１００に内蔵された表示装置であってもよい。

特徴フレーム抽出部１４は、取得した映像信号からカット点、フェード区間の中間点など、映像において特徴的な場面のフレームを特徴フレームとして検出し、この特徴フレームの動画コンテンツにおけるフレームの時間位置である時刻情報を「特徴フレーム情報」として得る。

特徴フレーム情報記録部１５は、特徴フレーム抽出部１４にて得られた特徴フレーム情報が記録される記録領域である。

画音特徴判定部１６（重要度計算部）は、特徴フレーム情報記録部１５に記録された特徴フレーム情報に対応する特徴フレーム毎の映像信号および音声信号をもとに、その特徴の強さを定量化した重要度を計算する部分である。

サムネイルフレーム決定部１７（選択部）は、各特徴フレームの重要度をもとにサムネイル対象とする１以上のフレームをそれぞれ「サムネイルフレーム」として決定し、そのサムネイルフレームの動画コンテンツにおける時間位置である時刻情報を「サムネイルフレーム情報」としてサムネイル表示枚数決定部１８に出力する。

サムネイル表示枚数決定部１８（分割部）は、サムネイルフレーム決定部１７より供給されたサムネイルフレーム情報などをもとに、総てのサムネイルフレームを時系列的に連続する複数のサムネイルフレームの集合からなるページの単位に分割するように、１画面に表示するサムネイルの数を「サムネイル表示枚数」としてページ毎に決定する。そして、サムネイル表示枚数決定部１８は、ページ毎のサムネイル表示枚数と、ページ毎のサムネイルフレーム情報を表示サムネイル選択部１９に供給する。

表示サムネイル選択部１９（サムネイル表示処理部）は、再生中の動画の時刻に最も近いサムネイルフレームを「最近サムネイルフレーム」として、この最近サムネイルフレームを含むページ単位のサムネイルフレームを、サムネイル画像の表示対象として選択する部分である。

静止画作成部２０は、サムネイルフレーム決定部１７により決定されたサムネイルフレームに対応する静止画を映像・音声信号記録部１１に記録された映像信号を用いて作成する部分である。

静止画記録部２１は、静止画作成部２０により作成されたサムネイルフレーム毎の静止画が記録される記録領域である。

サムネイル表示加工部２２（サムネイル表示処理部）は、表示サムネイル選択部１９により選択された最近サムネイルフレームを含むページ単位のサムネイルフレームについて、静止画記録部２１に記録された対応する静止画を用いてサムネイル画像を作成する。また、サムネイル表示加工部２２は、ページ単位のサムネイル画像を時系列的に行列状に配置した形で連結するなどして、その結果を表示処理部１３に供給する。

Ｉ／Ｆ部２３（再生速度入力部）は、ユーザからの、サムネイル表示のオン／オフの切り替え、動画の再生速度（サーチ速度）、動画の再生位置を指定するためのサムネイルフレームの選択など、各種の操作情報の入力を受け付けてシステムコントローラ２４に供給するインタフェースである。具体的には、キー入力装置、マウス、タッチパネルセンサー、リモートコントローラなどである。

システムコントローラ２４は、例えば、Ｉ／Ｆ部２３を通じてユーザより入力された各種の操作情報をもとにサムネイル表示に関する制御などを行う。

以上説明した情報処理装置１００における各部は、より具体的には、ＣＰＵ（Central Processing Unit）、メインメモリを含む典型的なコンピュータ・ハードウェアとこれを動作させるプログラムによって実現される。映像・音声信号記録部１１、特徴フレーム情報記録部１５、静止画記録部２１は、より具体的には、メインメモリや、ＨＤＤ（Hard disk drive）、ＳＤＤ（Solid State Drive）、ＯＤＤ（Optical Disc Drive）などのストレージ装置である。

なお、情報処理装置１００は、図１に示される構成のほか、放送信号処理部を備える。放送信号処理部は、伝送媒体を通じてデジタル放送信号を受信する放送受信部と、受信したデジタル放送信号から動画コンテンツの映像信号および音声信号などを分離する信号処理部とを備える。上記の放送受信部は、より具体的には、放送局から地上波、衛星波などの放送媒体を介してデジタル放送信号をアンテナを介して選局して受信するチューナや、ＩＰ（Internet Protocol）回線を通じてＩＰマルチキャスト放送信号を受信するＩＰネットワーク接続部である。

本実施形態の情報処理装置１００では、ユーザによる動画コンテンツのシーンサーチが可能なように、特徴フレームのうち特に重要度の高いフレームに対応するサムネイル画像を時系列的に配置して表示し、特にユーザがシーンを確認したいと思った時刻をサムネイル画像の選択によって指定することができる。サムネイル画像がユーザによって選択されると、そのサムネイル画像に対応するサムネイルフレームの時刻に動画の再生時刻がジャンプして、その時刻から動画の再生が継続される。本実施形態の情報処理装置１００は、このようなサムネイル画像を用いたシーンサーチを、より良好に行うことを目的とし、特に、動画を高速に再生してシーンサーチを行う際のサムネイル画像の表示方式に着目してなされたものである。

［情報処理装置１００の動作概要］
次に、図２から図４を用いて、本実施形態の情報処理装置１００によるサムネイル表示処理の動作の概要を説明する。図２は、本実施形態の情報処理装置１００による動画コンテンツの特徴フレームの検出に関するフローチャートである。図３は、本実施形態の情報処理装置１００によるサムネイル表示処理に関するフローチャートである。図４は、上記のサムネイル表示処理の例のタイミング図である。同図において、ｔは動画コンテンツの時間軸である。

まず、図２のフローチャートにおいて、情報処理装置１００は、図示しない放送信号処理部にて、動画コンテンツの受信と、受信した動画コンテンツからの映像信号および音声信号の分離などを行う（ステップＳ１０１）。このようにして得られた動画コンテンツの映像信号および音声信号は、映像・音声信号記録部１１に記録されるとともに、映像信号は特徴フレーム抽出部１４にも供給される。

特徴フレーム抽出部１４は、映像信号からカット点、フェード区間の中間点（フェードイン点とフェードアウト点との間の中間点）などの特徴フレームの検出を行う（ステップＳ１０２）。特徴フレーム抽出部１４は、検出した特徴フレームの、動画コンテンツにおける時間位置である時刻情報を特徴フレーム情報として特徴フレーム情報記録部１５に動画コンテンツの指定情報と関連付けて記録する（ステップＳ１０３）。特徴フレーム情報記録部１５には、動画コンテンツ毎の複数の特徴フレーム情報が記録される。図４の例は、ｆ１からｆ１４の特徴フレームが検出された場合を示している。このように特徴フレームは動画コンテンツの時間軸ｔ上の不規則な時間位置（時刻）にある。なお、特徴フレーム情報記録部１５には、１つの動画コンテンツの特徴フレーム情報だけではなく、複数の動画コンテンツの特徴フレーム情報を記録可能である。

以後、ユーザは、動画コンテンツの特徴フレーム情報が特徴フレーム情報記録部１５に記録された動画コンテンツの中から、シーンサーチを実行したい動画コンテンツを指定してシーンサーチの指示を与えることができる。

次に、図３のフローチャートにおいて、ユーザより、シーンサーチ対象の動画コンテンツの指定情報と再生速度情報（サーチ速度情報）を含む、シーンサーチの起動指示の操作情報が、Ｉ／Ｆ部２３を通じてシステムコントローラ２４に入力されたこととする（ステップＳ２０１）。なお、再生速度（サーチ速度）は、例えば、１倍速刻みで、通常再生（等倍速＝１倍速）からｎ倍速の高速再生までの間でユーザが自由に選択することができる。

システムコントローラ２４は、シーンサーチの起動指示の操作情報を入力すると、画音特徴判定部１６に当該動画コンテンツの指定情報を含む起動命令を出力する。画音特徴判定部１６は、起動命令を受けると、当該動画コンテンツの指定情報をもとに、特徴フレーム情報記録部１５から該当する動画コンテンツの各特徴フレーム情報を読み込む。画音特徴判定部１６は、それぞれの特徴フレーム情報をもとに映像・音声信号記録部１１から対応する時刻の特徴フレームの映像信号および音声信号を読み込み、それぞれの特徴フレームの重要度を計算する（ステップＳ２０２）。例えば、図４では、ｆ１からｆ１４の特徴フレームに対して、１から８までの重要度が与えられる。１は重要度の最小値、８は重要度の最大値である。特徴フレームの重要度を計算する具体的な方法については後で説明する。画音特徴判定部１６は、計算された特徴フレーム毎の重要度をサムネイルフレーム決定部１７に供給する。

サムネイルフレーム決定部１７は、画音特徴判定部１６より供給された特徴フレームの重要度をもとにサムネイルフレームを決定し、そのサムネイルフレームの時間位置を示す情報をサムネイルフレーム情報として表示サムネイル選択部１９に出力するとともに、サムネイルフレームの総数をサムネイル表示枚数決定部１８に通知する（ステップＳ２０３）。例えば、図４では、重要度が５以上の特徴フレームがサムネイルフレームとして決定される。この結果、ｆ２，ｆ３，ｆ５，ｆ６，ｆ８，ｆ１１，ｆ１３，ｆ１４の特徴フレームがサムネイルフレームとして決定される。サムネイルフレームを決定するための、より具体的な方法については後で説明する。

次に、サムネイル表示枚数決定部１８は、サムネイルフレーム決定部１７より供給されたサムネイルフレーム総数などをもとに、総てのサムネイルフレームを時系列的に連続する複数のサムネイルフレームの集合からなるページの単位に分割するように、１画面に表示するサムネイルの数を「サムネイル表示枚数」として決定する（ステップＳ２０４）。そしてサムネイル表示枚数決定部１８は、サムネイル表示枚数を表示サムネイル選択部１９に供給する。例えば、図４では、サムネイルフレーム総数Ｎ、コンテンツ時間長Ｔなどからサムネイル表示枚数Ｍが求められる。なお、サムネイル表示枚数を決定する具体的な方法については後で説明する。

サムネイル表示枚数が決定されたところで、システムコントローラ２４は再生処理部１２に、当該動画コンテンツのシーンサーチのための動画再生を指示する。再生処理部１２は、当該指示を受けると、映像・音声信号記録部１１から当該動画コンテンツの映像信号を読み出し、復号して、先頭からの動画の再生を開始する（ステップＳ２０５）。

一方、表示サムネイル選択部１９は、サムネイルフレーム決定部１７からのサムネイルフレーム情報をサムネイル表示枚数決定部１８からのサムネイル表示枚数をもとに、ページ単位のサムネイルフレーム情報に分割する。動画の再生が開始されると、表示サムネイル選択部１９は、再生中の動画の時刻に最も近いサムネイルフレームを「最近サムネイルフレーム」として判定し、この最近サムネイルフレームを含むページ単位のサムネイルフレーム情報をサムネイル表示加工部２２に供給する（ステップＳ２０６）。例えば、図４では、動画の時刻Ｔ１に最も近いｆ５の特徴フレームが最近サムネイルフレームとして判定され、この最近サムネイルフレームｆ５を含むページ１に属するＭ個のサムネイルフレームｆ２，ｆ３，ｆ５のサムネイルフレーム情報がサムネイル表示加工部２２に供給される。なお、図４の例では、ページ単位のサムネイルフレームの数を３としているが、実際には各サムネイル画像は行列状に並べて配置されるようになっており、サムネイル表示枚数の値Ｍは、行列の行数をＲ、列数をＣとして、Ｒ×Ｃの値である。

次に、サムネイル表示加工部２２は、表示サムネイル選択部１９よりページ単位のサムネイルフレーム情報を受け取ると、それぞれのサムネイルフレーム情報をもとに静止画記録部２１から該当する時刻の特徴フレームの静止画をそれぞれ読み出す。そして、サムネイル表示加工部２２は、読み出した静止画からサムネイル画像を作成し、表示処理部１３に供給する（ステップＳ２０７）。サムネイル画像を作成するための具体的な方法については後で説明する。

表示処理部１３は、サムネイル表示加工部２２より供給されたページ単位のサムネイル画像の表示データを作成し、物理的な表示手段に出力する。これにより、再生中の動画の時刻に対応するページ単位のサムネイル画像が画面に表示される（ステップＳ２０８）。

この後、システムコントローラ２４は、ユーザからのシーンサーチの終了の指示の有無を調べる（ステップＳ２０９）。ユーザからのシーンサーチの終了の指示がない場合には（ステップＳ２０９のＮＯ）、システムコントローラ２４は、続いてシーンサーチ対象の動画コンテンツを変更する指示の有無を調べる（ステップＳ２１０）。シーンサーチ対象の動画コンテンツを変更する指示が発生していない場合（ステップＳ２１０のＮＯ）、システムコントローラ２４は表示サムネイル選択部１９に再生中の動画の時刻を通知する。

表示サムネイル選択部１９は、動画の時刻を取得すると、この時刻が現在表示中のページ単位のサムネイル画像（サムネイルフレーム）の時刻の範囲内であるかどうかを判定する（ステップＳ２１１）。動画の時刻が現在表示中のページ単位のサムネイル画像の時刻の範囲内であれば（ステップＳ２１１のＹＥＳ）、表示サムネイル選択部１９は、サムネイル画像の表示の更新が不要であることを判定し、現在のサムネイル画像の表示状態を継続する。この後、表示サムネイル選択部１９は、再度ステップＳ２０９に戻って、ユーザからのシーンサーチの終了の指示の有無を判定する。

一方、再生中の動画の時刻が現在表示中のページ単位のサムネイル画像の時刻の範囲内でないことが判定された場合（ステップＳ２１１のＮＯ）、表示サムネイル選択部１９は、ステップＳ２０６に戻って再度、最近サムネイルフレームを含むページ単位のサムネイルフレーム情報をサムネイル表示加工部２２に供給する。この結果、ステップＳ２０８で、再生中の動画の時刻に対応する、新たなページ単位のサムネイル画像が画面に表示され、サムネイルフレームの表示が更新される。

また、ステップＳ２１０で、システムコントローラ２４は、シーンサーチ対象の動画コンテンツを変更する指示の発生を判定した場合（ステップＳ２１０のＹＥＳ）、ステップＳ２０１に戻って、ユーザより、新たなシーンサーチ対象の動画コンテンツの指定情報と再生速度情報（サーチ速度情報）を含む、シーンサーチの起動指示の操作情報を入力する。以後の動作は前記の同様である。

そしてシステムコントローラ２４は、ステップＳ２０９で、ユーザよりＩ／Ｆ部２３を通じてシーンサーチ終了の指示を受けたとき（ステップＳ２０９のＹＥＳ）、動画の再生およびサムネイル画像の表示を終了する。

次に、上記の画音特徴判定、サムネイルフレーム決定、サムネイル表示枚数決定、表示サムネイルページ選択、サムネイル表示加工についての詳細を説明する。

［画音特徴判定その１］
特徴フレームの重要度は、その特徴フレームの動画（映像と音声）の内容から求めることができる。重要度の高い特徴フレームとしては、例えば、次のようなものがある。
・人の顔を含む特徴フレーム
・テロップ等の文字情報を含む特徴フレーム
・チャプターの開始直後の特徴フレーム
・音声の盛り上がり途中の特徴フレーム
・誘目度（人目を引きやすい色）が高い特徴フレーム
・ディテールのある領域が多く含む特徴フレーム
例えば、上記各々の特徴フレームの特徴に対して重要度を予め設定しておき、１つの特徴フレームに含まれる全ての特徴に対する重要度の合計を、その特徴フレームの重要度の計算結果とすればよい。但し、ＣＭ中の特徴フレームやフェードアウト直後の特徴フレームは、重要度の計算対象外とする。

図５は特徴フレームの重要度の計算例を示す図である。ここでは重要度を"低"、"中"、"高"の３段階に求める場合を示している。例えば、ｆ３の特徴フレームには顔が１つ含まれていることから重要度は"中"とされ、ｆ５の特徴フレームには顔が２つ含まれていることから重要度は"高"とされている。このように顔の数を重要度に反映してもよい。また、ｆ６の特徴フレームには顔が１つしか含まれていないが、特徴フレーム内で顔が占める割合が高いことから、重要度は"高"とされている。ｆ７の特徴フレームにはテロップが含まれていることから重要度は"中"とされている。ｆ８の特徴フレームにはテロップと１つの顔が含まれていることから重要度は"高"とされている。そして、ｆ１１の特徴フレームには１つの顔が含まれ、かつ音声の盛り上がり途中であることから重要度は"高"とされている。

［画音特徴判定その２］
画音特徴判定部１６は、特徴フレームの重要度を、その特徴フレームと過去の特徴フレームとの相関から求めるようにしてもよい。例えば、次のようなルールが考えられる。
・ルール１：過去の特徴フレームに対して新しい顔が出現した特徴フレームの重要度を"高"とする。
・ルール２：過去の特徴フレームに出現したことのある顔が再び出現した特徴フレームであることと、それぞれの特徴フレームの時間差が閾値以上であることを満足する場合には重要度を"高"とする。
・ルール３：過去の特徴フレームに出現したことのある顔が再び出現した特徴フレームであることと、それぞれの特徴フレームの背景が異なることを満足する場合には重要度を"中"とする。
・ルール４：過去の特徴フレームに出現したことのある顔が再び出現した特徴フレームであることと、それぞれの特徴フレームの背景が同じであることを満足する場合には重要度を"低"とする。

図６は上記のルールに基づく特徴フレームの重要度の計算例を示す図である。ここで、ｆ２１の特徴フレームはルール１により重要度は"高"とされている。ｆ１７の特徴フレームはルール４により重要度は"低"とされている。ｆ２０の特徴フレームはルール３により重要度は"中"とされている。そしてｆ３１の特徴フレームはルール２により重要度は"高"とされている。

［画音特徴判定その３］
画音特徴判定部１６は、予め決められた時間区間を越えて連続する特徴フレームを単位に特徴フレームの重要度を求めるようにしてもよい。例えば、次のようなルールが考えられる。
・ルール１：予め決められた時間区間を越えて同一の人物が連続して、あるいは高い頻度で出現する特徴フレームの連続において、その人物の顔全体や全身がもっともはっきりと認識できる特徴フレームの重要度を"高"とする。
・ルール２：ルール１の特徴フレームの連続において重要度が"高"とされた特徴フレーム以外の特徴フレームの重要度を"低"とする。

図７は上記のルールに基づく特徴フレームの重要度の計算例を示す図である。ここで、ｆ４２からｆ５９までの区間の特徴フレームに同一の人物が連続して、あるいは高い頻度で出現しており、その時間区間が予め決められた時間区間を越えたこととする。そして、ｆ４８の特徴フレームがその人物の顔全体が最もはっきりと認識できるフレームであるとする。この場合にはｆ４８の特徴フレームの重要度はルール１により"高"とされ、ｆ４２からｆ５９までの時間区間内のｆ４８以外の特徴フレームの重要度はルール２により"低"とされる。

［サムネイルフレーム決定］
サムネイルフレーム決定部１７は、より具体的には、予め設定されたサムネイルフレーム決定用の閾値以上の重要度をもつ特徴フレームをサムネイルフレームとして決定する。あるいは、サムネイルフレーム決定部１７は、重要度の高い上位所定数の特徴フレームをサムネイルフレームとして決定するようにしてもよい。

［サムネイル表示枚数決定］
サムネイル表示枚数決定部１８は、サムネイルフレーム決定部１７より供給されたサムネイルフレーム総数などをもとに、総てのサムネイルフレームを時系列的に連続する複数のサムネイルフレームの集合からなるページの単位に分割するように、１画面に表示するサムネイル画像の数を「サムネイル表示枚数」として決定する。

図８はページ単位のサムネイル画像の配置方法を示す図である。同図に示すように、画面Ｄにおいて、それぞれサムネイル画像３１は行列状に配置して表示される。行列内での時間の向きは、例えば、行列内の左上端の位置を（０，０）、右下端の位置を（Ｒ，Ｃ）として、（０，０）→（１，０）→（２，０）→・・・→（Ｒ，０）→（０，１）→（１，１）→・・・→（Ｒ，Ｃ）である。したがって、１画面に表示されるサムネイル画像の数（サムネイル表示枚数）はＲ×Ｃとなる。

次に、このサムネイル表示枚数決定部１８によるサムネイル表示枚数の算定方法の一例を説明する。
図９はサムネイル表示枚数決定部１８によるサムネイル表示枚数の算定手順を示すフローチャートである。図１０は図９のサムネイル表示枚数の算定方法の説明図である。ここで、行数Ｒおよび列数Ｃはそれぞれの初期値が予め決められており、コンテンツ時間長に対応するページ数Ｐも予め決められている。

サムネイル表示枚数決定部１８は、まず、動画コンテンツの時間長を入力する（ステップＳ２０１）。動画コンテンツの時間長の情報は、例えば、ＭＰＥＧ−２トランスポートストリームに映像信号に多重化されて配信されるＳＩ（Service Information）、ＥＩＴ（Event Information Table）などの番組情報の中に含まれている。情報処理装置１００は、受信したＭＰＥＧ−２トランスポートストリームに多重化されたデータ信号を分離し、デコードすることで動画コンテンツの時間長の情報を得ることができる。

次に、サムネイル表示枚数決定部１８は、行数Ｒおよび列数Ｃそれぞれの初期値を設定するとともに、ページ数Ｐの初期値を設定する（ステップＳ３０２）。ここで、行数Ｒおよび列数Ｃそれぞれの初期値は予め決められた値である。ページ数Ｐの初期値も、例えば、コンテンツ時間長との相関により予め決められている。したがって、ステップＳ３０１で取得したコンテンツ時間長からページ数Ｐの初期値が得られる。

次に、サムネイル表示枚数決定部１８は、サムネイルフレーム決定部１７により決定されたサムネイルフレームの総数Ｆｉを取得する（ステップＳ３０３）。そして、サムネイル表示枚数決定部１８は、行数Ｒ、列数Ｃ、ページ数Ｐ、サムネイルフレームの総数Ｆｉが以下の条件を満足するかどうかを判定する（ステップＳ３０４）。
Ｆｉ＜＝Ｐ×Ｒ×Ｃ ・・・（１）

条件を満足しない場合（ステップＳ３０４のＮＯ）、サムネイル表示枚数決定部１８は、図１０に示すように、行数Ｒの値をインクリメントして（ステップＳ３０５）、上記の条件を満足するかどうかを再度判定する（ステップＳ３０６）。それでも条件を満足しない場合には、サムネイル表示枚数決定部１８は、列数Ｃの値をインクリメントして（ステップＳ３０７）、上記の条件を満足するかどうかを再度判定する（ステップＳ３０８）。それでも条件を満足しない場合には、サムネイル表示枚数決定部１８は、ステップＳ３０５に戻り、以降、条件を満足するまでステップＳ３０５からステップＳ３０８までの処理を繰り返す。

サムネイル表示枚数決定部１８は、条件を満足すると、次式（２）によりページ数Ｐを再計算する（ステップＳ３０９）。
Ｐ＝Ｆｉ／（Ｒ×Ｃ） 但し、Ｐは小数点を繰り上げる。 ・・・（２）
この計算されたＰの値は、（現在画面に表示されているページ番号）／（ページ総数）の形式で画面に表示されるページ情報（例えば図１６の符号３３）の中のページ総数として用いられる。
以上のようにしてサムネイル表示枚数（Ｒ×Ｃ）が決定される。

ところで、１つのサムネイル画像の表示サイズを固定とした場合、サムネイル表示枚数（Ｒ×Ｃ）を増やすと、画面にページ単位の総てのサムネイル画像を表示しきれなくなる可能性がある。そこで、全体的なサムネイル表示領域が略一定となるように、サムネイル表示枚数（Ｒ×Ｃ）に応じて１つのサムネイル画像の表示サイズを可変にしてもよい。あるいは、サムネイル表示枚数（Ｒ×Ｃ）の上限値を予め決めておき、サムネイル表示枚数（Ｒ×Ｃ）が予め決められた上限値を超える場合には、ページ数Ｐを増やすようにしてもよい。

［表示サムネイルページの選択］
表示サムネイル選択部１９は、図４に示したように、再生中の動画の時刻Ｔ１が表示中のサムネイル画像のページ１の時刻範囲にあるように表示するページ（以下「表示サムネイルページ」と記述）を選択する。したがって、例えば、図１１に示すように、再生中の動画の時刻がＴａからＴｂに進んでも、これら動画の２つの時刻Ｔａ、Ｔｂはいずれも同一のページ２の時刻範囲にあるので、表示サムネイルページは変化しないことになる。その後、例えば、図１２に示すように、再生中の動画の時刻がＴｂからＴｃに進むと、この時刻Ｔｃはページ３の時刻範囲にあるので、表示サムネイルページはページ２からページ３に変化する。このようにサムネイル画像はページの単位で切り替えて表示されるので、ユーザは表示サムネイルページ内での各々のサムネイル画像と表示位置とを自身の記憶の中で関連付けてシーンサーチを行うことができ、結果的にシーンサーチの効率を向上させることができる。

また、表示サムネイル選択部１９は、Ｉ／Ｆ部２３を通じてユーザより入力される、ページ送りの指示またはページ戻しの指示に従って、表示サムネイルページを１ページずつ先に送ったり戻したりすることができる。具体的には、表示サムネイルページを表示する画面に、ページ送りの指示を受け付けるページ送りボタンと、ページ戻しの指示を受け付けるページ戻りボタンを設ける。これらのボタンの操作により、表示サムネイルページを１ページずつ前または後に切り替わるとともに、これに伴い、現在画面に表示されるページ番号（図１６の符号３３）が更新され、さらには再生中の動画が切り替え後の表示サムネイルページに属する時刻、例えば切り替え後の表示サムネイルページの先頭のサムネイル画像の時刻などにジャンプする。これにより、ユーザは表示サムネイルページを前後に自由に切り替えることができ、より高速にシーンサーチをすることが可能になる。

［サムネイル表示加工］
サムネイル表示加工部２２は、表示サムネイル選択部１９により選択された表示サムネイルページに属する各サムネイルフレームについて、静止画記録部２１に記録された対応する静止画をベースにサムネイル画像を作成し、これらを表示サムネイル選択部１９により供給された行列数の情報に従って行列状に並べた表示画像を生成する。また、サムネイル表示加工部２２は、特徴フレームの重要度などをサムネイル画像の表示形態に反映させたり、システム状態と、ユーザからの操作情報によって、サムネイル画像の表示形態を個別に変えたりすることが可能である。これにより、シーンサーチを行うユーザは、サムネイル画像の中で重要度の高いものを即座に認識することができ、効率的にシーンサーチを行うことができる。

静止画からサムネイル画像を作成する処理の例としては次のようなものである。
・サムネイル表示加工部２２は、静止画を単純縮小することによってサムネイル画像を生成する。
・サムネイル表示加工部２２は、静止画の中央部のみ切り抜いて縮小したものをサムネイル画像とする。この場合、サムネイル表示加工部２２は、静止画の中央部を、例えば縦横１：１比の正方形で切り抜いたり、縦横４：３比の矩形で切り抜いたり、サムネイル表示枚数に応じて最適な縦横比で切り抜いたものをサムネイル画像とする。
・サムネイル表示加工部２２は、静止画から人の顔部分や、テロップなどの文字情報のように重要部分を矩形で切り抜き縮小したものをサムネイル画像として生成する。

特徴フレームの重要度をサムネイル画像の表示形態に反映させる処理の例としては次のようなものがある。図２１は、特徴フレームの重要度をサムネイル画像の表示形態に反映させたシーンサーチ画面の例である。
・サムネイル表示加工部２２は、重要度の高いサムネイル画像をカラー画像とし、重要度が低いサムネイル画像はモノクロ画像にするなど、重要度が低いものほど画像を表現する色情報を制限する。
・サムネイル表示加工部２２は、重要度の高いサムネイル画像を鮮明な画像とし、重要度が低いサムネイル画像をぼかすなど、重要度が低いサムネイル画像ほど、強いぼかし処理をかける。

［サムネイル画像の表示形態］
次に、システム状態およびユーザからの操作情報によってサムネイル画像の表示形態を変更する処理の例を説明する。

サムネイル画像の表示形態に関係するシステム状態としては、例えば、通常再生状態と高速再生状態（高速サーチ）がある。通常再生時は、ページ単位のサムネイル画像が１倍速で再生された動画とともに表示される。高速再生（高速サーチ）時は、ページ単位のサムネイル画像が高速再生された動画とともに表示される。これらのシステム状態は、ユーザからの操作情報により更新される。ユーザからの操作情報には、例えば、ページ単位のサムネイル画像の中から１つのサムネイル画像を選択する操作情報、動画の再生速度を指示する操作情報などがある。動画の再生速度には、通常再生のための１倍速と、早送りや早戻し再生のためのＮ倍速がある。

サムネイル表示加工部２２は、ユーザからの操作情報とシステム状態に基づいてサムネイル画像の表示形態を次のように変更することが可能である。
図１３はシステム状態およびユーザからの操作情報と、サムネイル画像の表示形態との関係を示す図である。

通常再生時に、例えば、ユーザによる十字カーソルキー、マウス、あるいはタッチセンサーパネルなどの操作手段の操作により、任意の時刻のサムネイル画像が選択されると、このサムネイル画像の選択に関する操作情報がシステムコントローラ２４を通じてサムネイル表示加工部２２に通知される。サムネイル表示加工部２２は、この操作情報をもとに、選択された時刻に対応するサムネイル画像の表示形態を表示形態Ａから表示形態Ｂへと変更する。なお、サムネイル画像の表示をオフにして動画のみでのシーンサーチも行うことが可能である。

図１４は、通常再生時のシーンサーチ画面の例を示す図である。同図に示すように、通常再生時のシーンサーチ画面には、行列状に配置された複数のサムネイル画像３１とともに動画表示領域としての動画ウィンドウ３２が表示される。なお、同図では、行列の左上端と右下端だけにサムネイル画像が存在しているように記載されているが、実際には行列中の全ての位置にサムネイル画像が表示されている。この行列状に配置された複数のサムネイル画像３１において、ユーザによって任意のサムネイル画像が選択されたとき、そのサムネイル画像の表示形態が表示形態Ａから表示形態Ｂに変更される。例えば、図１４において、符号３１ａはユーザにより選択されたことで表示形態Ｂに変更されたサムネイル画像を示している。ここで、表示形態Ａのサムネイル画像は、例えば、静止画の中央部から正方形または矩形の部分を切り抜き縮小して得られる画像などである。表示形態Ｂのサムネイル画像は、例えば、静止画をそのまま縮小した画像に外枠を付加することによって得られ、いわゆる「ホップアップ」と呼ばれる表示形態である。各表示形態Ａ、Ｂのサイズの関係はＢ＞Ａである。

システムコントローラ２４は、上記のように、サムネイル画像の選択に関する操作情報をサムネイル表示加工部２２に通知する一方で、選択されたサムネイル画像の時刻情報を再生処理部１２に通知する。再生処理部１２は、動画ウィンドウ３２に表示する動画の時刻をシステムコントローラ２４より通知された時刻に切り替え、そのまま動画の通常再生を継続する。このように、通常再生時は、ユーザが任意のサムネイル画像を選択する操作を行うことによって、そのサムネイル画像の時刻へと動画をジャンプさせることができる。

図１５は、通常再生時に動画の時刻の切り替えが発生してからユーザがサムネイル画像に対する操作を何もしないで所定の時間（数秒程度）が経過した時点でのシーンサーチ画面の例を示す図である。動画の時刻が切り替えられた後、ユーザからのシーンサーチに関する操作情報が何も入力されないままでいると、そのまま動画の再生が通常再生の速度で進んで行く。そしてシステムコントローラ２４は、ユーザからの指示による動画の時刻の切り替えが発生してから所定時間が経過したところで、サムネイル表示加工部２２に対して現在の動画の時刻を通知する。サムネイル表示加工部２２は、システムコントローラ２４から通知された動画の時刻に最も近いサムネイル画像を判定する。サムネイル表示加工部２２は、判定したサムネイル画像がそれまでポップアップで表示されていたサムネイル画像以外である場合には、例えば図１５に示すように、動画の時刻に最も近いサムネイル画像３１ｂの表示形態を表示形態Ａから表示形態Ｂに変更するとともに、それまでポップアップで表示されていたサムネイル画像の表示形態を表示形態Ｂから表示形態Ａに変更する。このようにしてページ単位で表示される複数のサムネイル画像において、動画の時刻に最も近いサムネイル画像をポップアップで表示することができる。

上記のように、ポップアップで表示されたサムネイル画像は、動画の時刻に同期する「動画同期サムネイル画像」として、表示中の他のサムネイル画像に対して識別可能な形態で表示される。これにより、シーンサーチを行うユーザは、動画に同期するサムネイル画像を一目で捉えることができ、両方を参照しながら目的のシーンをサーチすることができる。さらに、ユーザは興味のあるサムネイル画像を見つけたなら、そのサムネイル画像を選択することによって、そのサムネイル画像の時刻に動画をジャンプさせ、動画からさらにそのシーン内容を確認することなどによっても効率的にシーンサーチを行うことができる。

図１６は、動画の高速再生時のシーンサーチ画面の例を示す図である。動画の高速再生時は、動画の時刻に最も近いサムネイル画像を含む１行分のサムネイル画像３１ｃが表示形態Ｃで表示される。この１行分のサムネイル画像３１ｃは、例えば、上記１行分のサムネイルフレームについて、静止画の中央部から正方形または矩形の部分を切り抜き縮小して互いに連結し、さらにこの連結画像に外枠が付加されることによって得られる。なお、動画の高速再生時も、ポップアップで表示された１行分のサムネイル画像３１ｃ以外のサムネイル画像３１の表示形態には表示形態Ａが採用される。各表示形態Ａ、Ｃのサイズの関係はＣ＞Ａである。

［ポップアップ表示の移動速度制御］
ところで、時間的に隣り合うサムネイルフレームの時刻間の差は様々であることから、動画の通常再生時や高速再生時にサムネイル画像のポップアップ表示の移動速度は一定とならないことが普通である。

図１７は、動画の高速再生時にポップアップ表示の移動速度が一定とならない場合を説明する図である。ここでａからｊは時間軸上のサムネイルフレームの時間位置を示している。時間的に隣り合う２つのサムネイルフレームの時間位置の間の距離（時間間隔）は様々であるが、ここでは仮にａ−ｂ間、ｂ−ｃ間、ｃ−ｄ間の距離を２（秒）とし、ｄ−ｅ間、ｅ−ｆ間、ｆ−ｇ間の距離を６（秒）とし、ｇ−ｈ間、ｈ−ｉ間、ｉ−ｊ間の距離を４（秒）とする。１行分のサムネイル画像の数は３とし、１行目はａ，ｂ，ｃの３つのサムネイル画像で構成され、２行目はｄ，ｅ，ｆの３つのサムネイル画像で構成され、３行目はｇ，ｈ，ｉの３つのサムネイル画像で構成されることとする。ユーザによって指定された再生速度は３倍速とする。

ポップアップ表示される行は時間の経過に従って１行目、２行目、３行目の順に移動する。このとき動画の再生速度が３倍速で一定である場合、
１行目のポップアップ表示時間ｔ１は２秒（＝（２＋２＋２）／３））、
２行目のポップアップ表示時間ｔ２は６秒（＝（６＋６＋６）／３））、
３行目のポップアップ表示時間ｔ３は４秒（＝（４＋４＋４）／３））とそれぞれ計算される。
すなわち、単位時間当たりのサムネイルフレームの数によってポップアップ表示時間が違ってくる。ユーザによるシーンサーチは各サムネイル画像に対して平均的な重みで行われることが好ましい場合が多く、サムネイル画像毎のポップアップ表示時間の長短はユーザに違和感を与えるおそれがある。そこで、ポップアップ表示の移動速度が一定となるように、再生処理部１２にて動画の再生速度を制御する方法が考えられる。次に、この方法を説明する。

図１８は、ポップアップ表示の移動速度が一定となるように動画の再生速度を制御する方法を説明する図である。ここで、ａからｊの時間軸上のサムネイルフレームの時間位置、時間的に隣り合う２つのサムネイルフレームの時間位置の間の距離（時間間隔）、ユーザによって設定された再生速度はいずれも図１７の条件と同じである。但しこの方法では、行毎のポップアップ表示時間が予め設定されている。ポップアップ表示時間の設定値はユーザにより変更可能である。ここでは、ポップアップ表示時間を４（秒）とする。

ａのサムネイルフレームの時間位置からｄのサムネイルフレームの時間位置直前までの動画の再生速度ｖ１は１．５倍速（＝（２＋２＋２）／４）、
ｄのサムネイルフレームの時間位置からｇのサムネイルフレームの時間位置直前までの動画の再生速度ｖ２は４．５倍速（＝（６＋６＋６）／４）、
ｇのサムネイルフレームの時間位置からｊのサムネイルフレームの時間位置直前までの動画の再生速度ｖ３は３．０倍速（＝（４＋４＋４）／４）と計算される。
このように単位時間当たりのサムネイルフレームの数とは無関係にポップアップ表示の移動速度を一定にすることができる。

なお、ここでは１行分のサムネイル画像がポップアップで表示される場合のポップアップ表示の移動速度を一定する場合について説明したが、１つずつサムネイル画像がポップアップで表示される場合にも、ポップアップ表示の移動速度を一定にするように再生速度を制御してもよい。また、ここでは早送り再生の場合について説明したが、早戻し再生の場合も同様である。

＜変形例１＞
上記の実施形態では、動画の通常再生時には、再生中の動画の時刻に最も近いサムネイルフレームに対応するサムネイル画像をポップアップで表示し、動画の早送り、早戻しなどの高速再生時には、再生中の動画の時刻に最も近いサムネイルフレームを含む１行分のサムネイル画像をポップアップで表示することとした。しかしこの方法によると、表示サムネイルページの１行分のサムネイルフレーム数が多くなるほど、高速で再生中のある時刻の動画が、ポップアップ表示された行内のどのサムネイルフレームと同期しているかがユーザにとって分かりにくくなる。

そこで、変形例１では、動画の再生速度に応じて同時にポップアップ表示するサムネイル画像数を変更することとする。例えば、動画の再生速度が低いときは同時にポップアップ表示するサムネイル画像数も少なくする。これにより、高速で再生中の動画に同期するサムネイル画像がどれであるかがユーザにとって分かり易くなる。

図２２は、本変形例１において、システム状態およびユーザからの操作情報と、サムネイル画像のポップアップ表示数との関係を示す図である。動画の通常再生時の内容は第１の実施形態と同様である。高速再生時は、ユーザから指示された再生速度に基づいてポップアップ表示数が可変される。

例えば、２倍速の再生時は、通常再生時と同様に動画の時刻に最も近い１つのサムネイルフレームに対応するサムネイル画像がポップアップで表示される。５倍速の高速再生時は、図２３に示すように、動画の時刻に最も近いサムネイル画像と次の時刻のサムネイル画像からなる画像３１ｄがポップアップで表示される。１０倍速の再生時は、図２４に示すように、動画の時刻に最も近いサムネイル画像とその直前直後の２つのサムネイル画像からなる画像３１ｅがポップアップで表示される。１５倍速の再生時は、図２５に示すように、動画の時刻に最も近いサムネイル画像とその直前のサムネイル画像と、その直後の連続する２つのサムネイル画像からなる画像３１ｆがポップアップで表示される。そして、３０倍速以上の高速再生時は、図２６に示すように、動画の時刻に最も近いサムネイル画像を含む１行分のサムネイル画像３１ｃがポップアップで表示される。

もちろん、倍速値とポップアップ表示数との関係はこれに限定されない。また、高速再生時に、複数行分のサムネイル画像をポップアップで表示させるようにしてもよい。

次に、ポップアップ表示対象の複数のサムネイルフレームが複数ページに跨る場合について説明する。この場合、サムネイル表示加工部２２は、ポップアップ表示対象のサムネイルフレーム数がより多い方のページに属するポップアップ表示対象のサムネイルフレームのみを有効とする。例えば、図１９に示すように、ポップアップ表示数として３が判定された場合で、かつ動画の時刻に最も近いサムネイルフレームがページの先頭（または最後）にあるような場合、サムネイル表示加工部２２は、ページＮに属するポップアップ表示対象のサムネイルフレーム３５−２、３５−３のみを有効として、これらのサムネイル画像３１ｇを生成する。ポップアップ数が５以上の奇数である場合においても同様である。複数ページに跨るポップアップ表示対象のサムネイルフレーム数が偶数である場合にも、予め決められた前後一方のページに属するサムネイルフレームのみを有効とすればよい。

なお、再生速度に応じてポップアップ表示数の制御が行われる場合、ポップアップ表示対象として判定された複数のサムネイルフレームが複数の行に跨る場合がある。このような場合、サムネイル表示加工部２２は、図２０に示すように、そのまま複数の行に跨った状態にて、全てのサムネイルフレームに対応するサムネイル画像３１ｈをポップアップで表示する。

＜変形例２＞
［サムネイル間引き処理を伴う表示サムネイルページの選択］
表示サムネイル選択部１９は、動画の早送り、早戻しなどの高速再生中も、再生中の動画の時刻に最も近い最近サムネイルフレームを含むページを表示サムネイルページとして選択し、選択した表示サムネイルページから、再生速度情報（サーチ速度情報）に応じて一部のサムネイルフレームを間引きしてサムネイル表示枚数を減らすようにしてもよい。より具体的には、表示サムネイル選択部１９は、再生速度が高いほど間引き率を上げてサムネイル表示枚数を少なくする。

図２７はサムネイル間引き処理の例を示す図である。
ここで、サムネイル表示枚数は８×８＝６４とする。通常再生時、表示サムネイル選択部１９は、間引きは行わずに６４個全てのサムネイルフレームの情報をサムネイル表示加工部２２に出力する。その結果、画面に６４個のサムネイル画像が８×８の行列状に配置して表示される。ユーザより再生速度情報（サーチ速度情報）を含む早送り再生または早戻し再生の指示がシステムコントローラ２４に入力されると、システムコントローラ２４から再生処理部１２にその指示が与えられる。再生処理部１２は、指示された速度で動画の早送りまたは早戻し再生を実行する。また、システムコントローラ２４は、表示サムネイル選択部１９にも再生速度情報（サーチ速度情報）を送出する。表示サムネイル選択部１９は、入力された再生速度情報をもとに次のようにしてサムネイルフレームの間引き処理を行う。

表示サムネイル選択部１９は、８×８の行列に割り当てられる各サムネイルフレームについて、画音特徴判定部１６にて得られた特徴フレームの重要度の、行単位の和および列単位の和を計算する。表示サムネイル選択部１９は、行単位の重要度の和が最も低い下位ｑ個の行を判定するとともに、列単位の重要度の和が最も低い下位ｑ個の列を判定する。ここで、ｑの値は、再生速度（サーチ速度）に応じて予め決められた値であり、再生速度（サーチ速度）に比例して大きくなる値である。図２７の例では、ｑ＝２とした。表示サムネイル選択部１９は、判定したｑ個の行とｑ個の列を８×８の行列から間引き、この結果残った６×６の行列分のサムネイルフレームの情報をサムネイル表示加工部２２に供給する。

図２８は、表示サムネイル選択部１９による表示サムネイルページの選択からサムネイル間引き処理までのフローチャートである。
表示サムネイル選択部１９は、サムネイル表示枚数決定部１８にて決定されたサムネイル表示枚数Ｍ、行数Ｒ、列数Ｃの情報を取得する（ステップＳ４０１）。続いて、表示サムネイル選択部１９は、各々のサムネイルフレームの情報（時刻情報）を取得し（ステップＳ４０２）、これらの情報とサムネイル表示枚数決定部１８にて決定されたページ数Ｐの情報とから、各サムネイルフレームをページ別にページ分けする（ステップＳ４０３）。

次に、表示サムネイル選択部１９は、システムコントローラ２４より、再生中の動画の時刻の情報を取得し（ステップＳ４０４）、再生中の動画の時刻が表示サムネイルページの時刻範囲内にあるように表示サムネイルページを決定する（ステップＳ４０５）。

次に、表示サムネイル選択部１９は、ユーザにより指定された動画の再生速度情報（サーチ速度情報）を取得し（ステップＳ４０６）、その速度が通常再生速度（１倍速）である場合（ステップＳ４０７のＮＯ）、決定した表示サムネイルページに属するサムネイルフレームの情報、行数および列数の各情報をサムネイル表示加工部２２に出力する（ステップＳ４１１）。この後も表示サムネイル選択部１９は、再生中の動画の時刻を監視して、表示サムネイルページの決定と、決定した表示サムネイルページに属するサムネイルフレームの情報、行数および列数の各情報のサムネイル表示加工部２２への出力を繰り返す。

また、ユーザにより指定された動画の再生速度が高速（早送り・早戻し）である場合（ステップＳ４０７のＹＥＳ）、表示サムネイル選択部１９においてサムネイルの間引き処理が次のように実行される。まず、表示サムネイル選択部１９は、ユーザにより指定された動画の再生速度から、予め決められたルールに従ってサムネイルの間引き数（ｑの値）を決定する（ステップＳ４０８）。続いて、表示サムネイル選択部１９は、表示サムネイルページに属するそれぞれサムネイルフレームについて、画音特徴判定部１６にて得られた特徴フレームの重要度の、行単位の和および列単位の和を計算する（ステップＳ４０９）。

次に、表示サムネイル選択部１９は、行単位の重要度の和が最も低い下位ｑ個の行と列単位の重要度の和が最も低い下位ｑ個の列を間引き対象の行および列として判定する（ステップＳ４１０）。そして、表示サムネイル選択部１９は、ステップＳ４０５で決定された表示サムネイルページに属するサムネイルフレームから、間引き対象の行および列に対応するサムネイルフレームを除いた表示対象のサムネイルフレームの情報と、初期の行数からｑの値を差し引いた行数の情報、さらには初期の列数からｑの値を差し引いた列数の情報をサムネイル表示加工部２２に出力する（ステップＳ４１１）。

以上のように、動画の再生速度に応じてサムネイルフレームの間引きを行うことで、シーンサーチにおいてユーザの意図する精細度を、動画の再生速度と１画面でのサムネイル画像の表示数の両方に反映させることができる。また、行および列の単位でサムネイルフレームの間引きを行うことで、再生速度の変更の前後で、行列内での各サムネイル画像の位置関係が大きく変動することを回避できる。これにより、動画の再生速度（サーチ速度）が異なる各状況下で、同一のサムネイル画像をユーザが容易に発見できるようになり、操作性の向上を期待できる。

その他、本発明は、上述の実施形態および変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々更新を加え得ることは勿論である。

１１…映像・音声信号記録部
１２…再生処理部
１３…表示処理部
１４…特徴フレーム抽出部
１５…特徴フレーム情報記録部
１６…画音特徴判定部
１７…サムネイルフレーム決定部
１８…サムネイル表示枚数決定部
１９…表示サムネイル選択部
２０…静止画作成部
２１…静止画記録部
２２…サムネイル表示加工部
２４…システムコントローラ
３１…サムネイル画像
３２…動画ウィンドウ
３５…サムネイルフレーム
１００…情報処理装置

Claims (9)

1. 時間的に連続する複数のフレームを含む動画からサムネイル対象の複数のフレームをサムネイルフレームとして選択する選択部と、
   前記選択された複数のサムネイルフレームを、それぞれ時系列的に連続する複数のサムネイルフレームからなるページの単位で分割する分割部と、
   前記動画の再生速度の指定を受け付ける再生速度入力部と、
   前記動画を前記指定された再生速度で再生する再生処理部と、
   前記再生された前記動画の時刻に最も近いサムネイルフレームに対応するサムネイル画像を最近サムネイル画像として、この最近サムネイル画像を含む前記ページ単位の複数のサムネイル画像を行列状に配置して表示し、かつ少なくとも前記最近サムネイル画像を含む時系列的に連続する１以上のサムネイル画像を動画同期サムネイル画像として、表示中の他のサムネイル画像に対して識別可能な形態で表示するサムネイル表示処理部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記再生処理部は、前記行列状に配置して表示された複数の前記サムネイル画像のうちの１つがユーザによって選択されたとき、前記再生中の動画の時刻を、前記選択されたサムネイル画像に対応するサムネイルフレームの時刻にジャンプさせる
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記サムネイルフレーム毎の重要度を計算する重要度計算部をさらに具備し、
   前記サムネイル表示処理部は、前記計算されたサムネイルフレーム毎の重要度を前記サムネイル画像の表示形態に反映させる
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記再生処理部は、前記動画同期サムネイル画像として識別可能な表示形態が付与される前記サムネイル画像が一定の速度で切り替わるように、前記再生速度入力部にて受け付けた前記動画の再生速度を基準に前記動画の再生の速度を制御する
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記サムネイル表示処理部は、前記動画同期サムネイル画像として識別可能な表示形態が付与される前記サムネイル画像の数を、前記再生速度入力部にて受け付けた前記動画の再生速度に応じて可変する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記サムネイル表示処理部は、前記再生速度入力部にて受け付けた前記動画の再生速度に応じて、前記ページ単位で分割された複数のサムネイルフレームから一部を間引く
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記サムネイル表示処理部は、前記行列の行単位および列単位の少なくともいずれか一方の配列について、各サムネイルフレームの重要度の和がより小さい配列を優先的に間引く
   情報処理装置。
8. 選択部が、時間的に連続する複数のフレームを含む動画からサムネイル対象の複数のフレームをサムネイルフレームとして選択し、
   分割部が、前記選択された複数のサムネイルフレームを、それぞれ時系列的に連続する複数のサムネイルフレームからなるページの単位で分割し、
   再生速度入力部が、前記動画の再生速度の指定を受け付け、
   再生処理部が、前記動画を前記指定された再生速度で再生し、
   サムネイル表示処理部が、前記再生された前記動画の時刻に最も近いサムネイルフレームに対応するサムネイル画像を最近サムネイル画像として、この最近サムネイル画像を含む前記ページ単位の複数のサムネイル画像を行列状に配置して表示し、かつ少なくとも前記最近サムネイル画像を含む時系列的に連続する１以上のサムネイル画像を動画同期サムネイル画像として、表示中の他のサムネイル画像に対して識別可能な形態で表示する
   情報処理方法。
9. 時間的に連続する複数のフレームを含む動画からサムネイル対象の複数のフレームをサムネイルフレームとして選択する選択部と、
   前記選択された複数のサムネイルフレームを、それぞれ時系列的に連続する複数のサムネイルフレームからなるページの単位で分割する分割部と、
   前記動画の再生速度の指定を受け付ける再生速度入力部と、
   前記動画を前記指定された再生速度で再生する再生処理部と、
   前記再生された前記動画の時刻に最も近いサムネイルフレームに対応するサムネイル画像を最近サムネイル画像として、この最近サムネイル画像を含む前記ページ単位の複数のサムネイル画像を行列状に配置して表示し、かつ少なくとも前記最近サムネイル画像を含む時系列的に連続する１以上のサムネイル画像を動画同期サムネイル画像として、表示中の他のサムネイル画像に対して識別可能な形態で表示するサムネイル表示処理部
   としてコンピュータを動作させるプログラム。