JP2011095958A - 情報処理装置、シーン検索方法及びプログラム - Google Patents

Abstract

【課題】コンテンツ中の所望の属性のシーンを、利用者にとって簡単に、且つ精度良く検索することのできる情報処理装置及び情報処理方法を提供すること。
【解決手段】シーン内容を象徴するアイコンに関連付けられ且つシーン内容を表現する音情報をシーン検索の条件として、この音情報と、コンテンツに含まれる前記音声とを比較して、この音情報を前記音声に含むコンテンツを検索し、この検索されたコンテンツに関する情報を出力する。
【選択図】図２

Description

本発明は、音情報をもとに所望のシーンを含むコンテンツを検索する情報処理装置、シーン検索方法及びプログラムに関する。

テレビジョンの放送番組、ネットワークによる配信番組など、音声と映像を含むコンテンツのデータを蓄積し、蓄積された１以上のコンテンツの中から利用者が希望する属性のシーンを、音情報を検索の条件として検索する仕組みが提案されている（例えば、特許文献１参照。）。この種の仕組みにおいては、シーン検索のための条件として、キーボードから入力されたテキストや、マイクから入力された音声信号などが用いられる。

特開２００８−２７６３４０号公報（段落［００３７］、［００４６］、図３）

キーボードからのテキストやマイクからの音声をシーン検索の条件として入力する場合、利用者は所望の属性のシーンを象徴する的確なキーワードを決めて入力する必要がある。すなわち、その所望の属性のシーンを最もよく象徴するものとして各々の利用者が直感的に考え出すキーワードにはバラツキがあるので、利用者はそのことを念頭に置いてキーワードを指定しなければ良好な検索結果が得られない。また、例えば登場人物が何かに驚いたシーンを検索しようとして、利用者は"びっくり"というキーワードを検索の条件として入力したとする。しかし、実際の番組中での驚いたシーンにおいて登場人物が"びっくり"という言葉を発するとは限らず、"おー"、"きゃー"といった感嘆詞が発せられる場合も少なくない。したがって、検索漏れを少なくするためには、できるだけ多くの種類のキーワードを入力する必要があり、利用者の負担が増すという問題がある。さらに、これら多くの種類のキーワードをテキストや音声で入力することも利用者にとって負担増となるという問題もある。また、キーワードをむやみに増やすと検索の処理に時間がかかるという弊害も生まれる。

以上のような事情に鑑み、本発明の目的は、コンテンツ中の所望の属性のシーンを、利用者にとって簡単に、且つ精度良く検索することのできる情報処理装置、シーン検索方法及びプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、取得部と、指定部と、検索処理部と、出力部とを有する。
上記取得部は、音声を含む１以上のコンテンツを取得する。
上記指定部は、シーン内容を象徴するアイコンに関連付けられ且つ上記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付ける。
上記検索処理部は、上記シーン検索の条件としての指定を受け付けた音情報と、上記コンテンツに含まれる上記音声とを比較して、上記音情報を上記音声に含むコンテンツを検索する。
上記出力部は、上記検索処理部により検索されたコンテンツに関する情報を出力する。

この情報処理装置によれば、シーン内容を象徴するアイコンに関連付けられ且つシーン内容を表現する音情報をシーン検索の条件とする利用者からの指定を受け付けてシーン検索が行われるので、利用者が検索の条件となる音情報を決定する際のバラツキがなくなり、所望する属性のシーンを精度良く検索することができる。

上記情報処理装置において、上記指定部は、アイコンを表示し、このアイコンに対する利用者からの所定の操作を上記検索処理部に対する検索の指示及び上記検索処理部による上記音声に対する検索の条件とすべき音情報の指示として受け付けるアイコン選択部であってもよい。

この情報処理装置によれば、利用者は、表示されたアイコンを通して検索の条件とすべき音情報を選択することができる。これにより利用者は、より直感的に音情報の選択を行うことができる。

上記アイコン選択部はそれぞれ異なるシーン内容を象徴する複数のアイコンを表示してもよい。

この情報処理装置によれば、複数のアイコンによりそれぞれ象徴される複数のシーン内容のうちから所望のシーンを検索することができる。

上記情報処理装置は、上記アイコン選択部により指示された上記音情報を第１の音情報として、この第１の音情報に対して同意の第２の音情報を生成する音情報生成部をさらに有してもよい。
上記検索処理部は、上記アイコン選択部により指示された上記第１の音情報及び上記１以上の第２の音情報の少なくとも１つの音情報を上記音声に含むコンテンツを検索してもよい。

この情報処理装置によれば、利用者による入力の負担増を招くことなく、複数の種類の音情報によるシーン検索を行うことが可能になる。

上記検索処理部は、上記コンテンツにおいて上記少なくとも１つの音情報に対応する上記音声の時間位置を判定してもよい。
上記出力部は、上記コンテンツに関する情報とともに、上記時間位置の情報を出力してもよい。

この情報処理装置によれば、検索されたシーンの時間位置を検索結果に含めて利用者に提供することができる。時間位置が分かることによって、コンテンツの再生を指示する際に時間位置を指示することができ、所望のシーンを即座に再生するようなことも可能になる。

上記情報処理装置において、上記指定部は、上記シーン検索の条件としての音情報をあらかじめ設定する設定部であってもよい。

この情報処理装置によれば、上記シーン検索の条件としての音情報を利用者が予め設定できるので、コンテンツの取得後、直ちにシーン検索の実行にかかることができ、さらにシーン検索結果を蓄積しておくことで、利用者が検索結果を参照したいときに即座に参照することができる。

上記情報処理装置は、上記設定部により設定された上記音情報を第１の音情報として、この第１の音情報に対して同意の第２の音情報を生成する音情報生成部をさらに有してもよい。
上記検索処理部は、上記設定部により指示された上記第１の音情報及び上記１以上の第２の音情報の少なくとも１つの音情報を上記音声に含むコンテンツを検索してもよい。

この情報処理装置によれば、利用者による設定の負担増を招くことなく、複数の種類の音情報によるシーン検索を行うことが可能になる。

上記出力部は、上記１以上のコンテンツに関する情報と、上記コンテンツの上記音声に含まれる上記音情報により表現される上記シーン内容を象徴する上記アイコンの画像情報とを用いて第１の表示情報を作成して出力してもよい。

この情報処理装置によれば、コンテンツの情報とこのシーン内容を象徴するアイコンの画像とを組み合わせた表示を行うことができるので、どのコンテンツにどのようなシーン内容が含まれるのかを表示するにあたり、利用者の直感に訴える表示を行うことができる。

上記検索処理部は、上記コンテンツにおいて上記音情報に対応する上記音声の時間位置を判定してもよい。
上記出力部は、上記コンテンツに関する情報と、上記時間位置の情報と、上記音情報により表現される上記シーン内容を象徴する上記アイコンの画像情報とを用いて第２の表示情報を作成して出力してもよい。

この情報処理装置によれば、コンテンツの情報、シーンの時間の情報及びこのシーン内容を象徴するアイコンの画像を組み合わせた表示を行うことができるので、コンテンツ内のどの時間位置にどのようなシーン内容があるのかを表示するにあたり、利用者の直感に訴える表示を行うことができる。

上記出力部は、上記１以上のコンテンツに関する情報と、上記コンテンツの上記音声に含まれる上記音情報により表現される上記シーン内容を象徴する上記アイコンを識別する情報を出力することとしてもよい。

この情報処理装置によれば、情報処理装置から出力を受ける端末装置がアイコンの画像情報を保持している場合に有効である。すなわち、情報処理装置から端末装置にアイコンの識別情報を送るようにしたことで、アイコンの画像情報を送信する場合に比べ、全体的なデータ転送量を低減することができる。

上記検索処理部は、上記コンテンツにおいて上記音情報に対応する上記音声の時間位置を判定してもよい。
上記出力部は、上記コンテンツに関する情報と、上記時間位置の情報と、上記音情報により表現される上記シーン内容を象徴する上記アイコンを識別する情報を出力してもよい。

この情報処理装置によれば、コンテンツの情報、シーンの時間の情報及びこのシーン内容を象徴するアイコンの画像を組み合わせた表示情報を作成することができるので、コンテンツ内のどの時間位置にどのようなシーン内容があるのかを表示するにあたり、利用者の直感に訴える表示を行うことができる。

上記目的を達成するため、本発明の一形態に係るシーン検索方法は、取得部にて、音声を含む１以上のコンテンツを取得する。
次に、指定部にて、シーン内容を象徴するアイコンに関連付けられ且つ上記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付ける。
次に、検索処理部にて、上記シーン検索の条件としての指定を受け付けた音情報と上記コンテンツに含まれる上記音声とを比較して、上記音情報を上記音声に含むコンテンツを検索する。
そして、出力部にて、上記検索処理部により検索されたコンテンツに関する情報を出力する。

上記目的を達成するため、本発明の一形態に係るプログラムは、取得部と、指定部と、検索処理部と、出力部としてコンピュータを機能させる。
上記取得部は、音声を含む１以上のコンテンツを取得する。
上記指定部は、シーン内容を象徴するアイコンに関連付けられ且つ上記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付ける。
上記検索処理部は、上記シーン検索の条件としての指定を受け付けた音情報と、上記コンテンツに含まれる上記音声とを比較して、上記音情報を上記音声に含むコンテンツを検索する。
上記出力部は、上記検索処理部により検索されたコンテンツに関する情報を出力する。

本発明の情報処理装置、シーン検索方法及びプログラムによれば、コンテンツ中の所望の属性のシーンを、利用者にとって簡単に、且つ精度良く検索することができる。

本発明の第１の実施形態に係る情報端末のハードウェア構成を示すブロック図である。 図１の情報端末のソフトウェア構成を示すブロック図である。 音声単位要素表の構成を示す図である。 検索インデックスの構成を示す図である。 シーン検索画面を示す図である。 シソーラス辞書の構成を示す図である。 シーン検索結果画面を示す図である。 検索インデックス作成の動作を示すフローチャートである。 シーンの検索の動作を示すフローチャートである。 本発明の第２の実施形態に係る情報端末のソフトウェア構成を示すブロック図である。 メタデータの構成を示す図である。 番組表画面を示す図である。 詳細情報表示画面を示す図である。 別の詳細情報表示画面を示す図である。 自動検索処理の動作を示すフローチャートである。 コンテンツ情報処理の動作を示すフローチャートである。 本発明の第３の実施形態に係るサーバ装置及び情報端末のソフトウェア構成を示すブロック図である。 図１７の情報端末の動作を示すフローチャートである。 本発明の第４の実施形態に係るサーバ装置及び情報端末のソフトウェア構成を示すブロック図である。 図１９の情報端末の動作を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。

＜第１の実施形態＞
［情報端末１のハードウェア構成］
図１は、本発明の一実施形態に係る情報端末１のハードウェア構成を示すブロック図である。
本実施形態において、情報処理装置としての情報端末１は、地上デジタルテレビジョン放送、ＣＳデジタル放送、ＢＳデジタル放送など、放送局から時々刻々と放映される放送番組などのコンテンツデータを録画及び再生可能である。あるいは、情報端末１は、ＩＰマルチキャストで配信されるコンテンツデータを取得し、録画及び再生可能である。このような情報端末１としては、テレビジョン用情報処理装置や映像再生用アプリケーションを駆動するパーソナルコンピュータ等が挙げられる。

情報端末１において、ＣＰＵ（Central Processing Unit）６０１には、システムバス６０２を介して、ＲＯＭ（Read Only Memory）６０３と、ＲＡＭ（Random Access Memory）６０４と、入力操作部６０５と、音声出力部６０６と、表示部６０７と、デコード部６０９と、光通信部６１０と、放送受信部６１１と、記憶部６１３と、メディアインターフェース部６１４と、ネットワーク接続部６１６とが接続されている。

入力操作部６０５は、各種のキーなどを備える。利用者は、入力操作部６０５を用いて各種の命令やデータの入力を処理する。利用者により入力操作部６０５より入力された各種の命令は、図示しないインターフェース部によってシステムバス６０２を通じてＣＰＵ６０１に供給される。

放送受信部６１１は、例えば、地上デジタルテレビジョン放送、ＣＳデジタル放送、ＢＳデジタル放送等、各放送局６０８から配信されてくるトランスポートストリームを受信する。

ネットワーク接続部６１６は、ネットワーク６１７との接続を処理する。ネットワーク接続部６１６は、この情報端末１にネットワーク６１７を介して接続されたコンテンツ配信サーバ６１８から配信されてくるトランスポートストリームを受信する。また、ネットワーク接続部６１６は、この情報端末１にネットワーク６１７を介して接続された番組情報配信サーバ６１９から番組情報を受信する。

記憶部６１３は、ＨＤＤ（Hard Disk Drive）等よりなる。記憶部６１３には、放送受信部６１１にて受信された放送番組などのコンテンツデータ等が記録される。

デコード部６０９は、記憶部６１３から読み出されたコンテンツのデータをデコードして、デジタルビデオデータ及びデジタルオーディオデータを復元する。復元されたデジタルビデオデータは、システムバス６０２を通じて表示部６０７に供給される。復元されたデジタルオーディオデータは、システムバス６０２を通じて音声出力部６０６に供給される。

表示部６０７は、例えば、ＬＣＤ（Liquid Crystal Display）などの表示画面を供える表示器と、表示器を駆動する表示制御回路等よりなる。表示部６０７は、デコード部６０９により復元され供給されたデジタルビデオデータを表示画面に表示する。表示部６０７は、さらに、利用者から入力された指令やデータの確認、各種のステータス等を表示したりする。

音声出力部６０６は、デジタルの音声信号をアナログの音声信号に変換する回路と、スピーカ等よりなる。音声出力部６０６は、デコード部６０９により復元され供給されたデジタルオーディオデータをスピーカより音声として出力する。なお、本明細書において「音声」とは、環境音等の音、人間等の声及びこれらの結合を含むものとする。

メディアインターフェース部６１４には、光ディスクなどのリムーバブルメディア６１５の装着が可能とされ、このリムーバブルメディア６１５に放送番組などのコンテンツデータなどを記録することが可能となっている。リムーバブルメディア６１５としては、例えば、追記型、書換型のＤＶＤ（Digital Versatile Disc）、ブルーレイディスクなどがある。

光通信部６１０は、リモコン６１２等の外部機器との間での双方向通信を処理するためのインターフェースであり、具体的には、赤外線などの光を無線媒体として外部機器との通信を行うものである。また、光の他に、電波、音波、電磁波などの他の無線媒体を用いてもよい。

ＲＯＭ６０３には、情報端末１が実行すべきソフトウェア処理のためのプログラムやデータなどが恒久的に格納された読み出し専用メモリである。なお、プログラムは記憶部６１３に格納されていてもよい。

ＲＡＭ６０４は、ＣＰＵ６０１によって実行されるプログラム・コードをロードしたり、プログラムの作業データを書き込むために使用される、書き込み可能な揮発性メモリである。

ＣＰＵ６０１は、情報端末１の各部の制御を総括的に行うとともに各部の間でのデータのやりとりを制御する。ＣＰＵ６０１は、上記の各部の制御を総括的に行うとともに各部の間でのデータのやりとりを制御する。ＣＰＵ６０１は、情報端末１が実行すべきソフトウェア処理を実行するために、必要なプログラムをＲＯＭ６０３からＲＡＭ６０４へロードし、解釈して実行する。

［情報端末１のソフトウェア構成］
次に、情報端末１のソフトウェア構成を説明する。
図２は、情報端末１をのソフトウェア構成を示すブロック図である。
情報端末１は、アイコン選択部１１０（指定部）と、検索処理部１２０と、検索結果出力部１３０と、検索インデックス生成部１４０と、データ取得部１５０とを有する。なお、情報端末１の各保存部は、記憶部６１３又はメディアインターフェース部６１４に装着されたリムーバブルメディア６１５等に設定される。

［データ取得部１５０の構成］
データ取得部１５０は、トランスポートストリーム取得部１５１と、トランスポートストリーム保存部１５２とを有する。
トランスポートストリーム取得部１５１は、コンテンツ配信サーバ６１８よりネットワークを通じて、放送局６０８より放送を通じて、又はリムーバルメディア６１５に記録された番組コンテンツ等のトランスポートストリームを選択的に取得し、トランスポートストリーム保存部１５２に保存する。ここで、トランスポートストリームは、映像のストリーム、映像に係る音声のストリームなどが多重化されてなるものである。トランスポートストリーム取得部１５１は、保存したトランスポートストリームに係る番組名、コンテンツ配信サーバ６１８又は放送局６０８の名称及び配信日時等の番組情報、メディア６１５内のコンテンツタイトル等からコンテンツリストを作成し、トランスポートストリーム保存部１５２に保存する。トランスポートストリーム取得部１５１は、保存したトランスポートストリームに対してこれを一意に識別可能なコンテンツＩＤを作成し、コンテンツリストに記録された該当するコンテンツ情報と関連付けて、トランスポートストリーム保存部１５２に追加保存する。

［検索インデックス生成部１４０の構成］
検索インデックス生成部１４０は、音声ストリーム分離部１４１と、音声波形パターン抽出部１４２と、検索インデックス生成部１４３と、音声単位要素表保存部１４４と、音声ストリーム保存部１４５と、検索インデックス保存部１４６とを有する。

音声ストリーム分離部１４１は、トランスポートストリーム保存部１５２に保存されたトランスポートストリームから音声ストリームを分離し、この音声ストリームと、コンテンツリストに記録された当該トランスポートストリームのコンテンツＩＤとを関連付けて音声ストリーム保存部１４５に保存する。

音声波形パターン抽出部１４２は、音声ストリーム保存部１４５に保存された音声ストリームを音声波形パターンに変換する。音声波形パターンとは、時間に対して周波数及びレベルが変化する音の列が波形で表現されたものである。なお、以下の説明において音声波形パターン抽出部１４２により変換された音声波形パターンを「変換音声波形パターン」と記述する。音声波形パターン抽出部１４２は、変換音声波形パターンとともに、変換元の音声ストリームに関連付けられたコンテンツＩＤを検索インデックス生成部１４３に供給する。

音声単位要素表保存部１４４には、音声単位要素表が保存されている。音声単位要素表は、音声の単位要素を識別する情報である音声単位要素情報と音声波形パターンとの対応表である。「音声の単位要素」とは１以上の音素の組み合わせからなる音の列である。

図３は、音声単位要素表１４４ａの構成を示す図である。
同図に示すように、音声単位要素情報１４４ｂのそれぞれに、各音声の単位要素を表現する音声波形パターン１４４ｃが関連付けられて、音声単位要素表１４４ａが構成される。なお、同図に示す例では言語の音声単位要素毎の音声波形パターン１４４ｃが登録されているが、これに限定されず、環境音等の音声波形パターン１４４ｃを登録してもよい。

検索インデックス生成部１４３は、音声波形パターン抽出部１４２より供給された変換音声波形パターンと音声単位要素表１４４ａに登録された各音声波形パターンとのマッチングにより、変換音声波形パターンに対する音声単位要素を判定する。また、検索インデックス生成部１４３は、判定された音声単位要素に対応する変換音声波形パターンの音声ストリームにおける時間軸上での開始時間位置と終了時間位置を判定する。さらには、検索インデックス生成部１４３は、変換音声波形パターンに対する音声単位要素の判定結果の確からしさの値であるスコアを算出する。そして、検索インデックス生成部１４３は、判定した音声単位要素、開始時間位置、終了時間位置及びスコアを互いに関連付けた情報を検索インデックス１４３ａとして検索インデックス保存部１４６に保存する。この検索インデックス１４３ａは音声ストリーム毎に作成される。さらに、検索インデックス生成部１４３は、作成された音声ストリーム毎の検索インデックス１４３ａと、その音声ストリームのコンテンツＩＤとの関係を検索インデックス保存部１４６に保存する。なお、以下の説明において時間位置を単に「位置」と呼ぶものとする。

図４は、検索インデックス１４３ａの構成を示す図である。
検索インデックス１４３ａは、開始位置の情報１４３ｂと、終了位置の情報１４３ｃと、音声単位要素の情報１４３ｄと、スコア１４３ｅとの対応表である。同図の例では、検索インデックス１４３ａにおいて、音声単位要素情報「ｎｉ」の音声ストリームにおける時間軸上での開始位置は０ミリ秒であり、終了位置は２７０ミリ秒であり、スコアは−７０．０００である。このようにして、検索インデックス１４３ａには、「にほんの」の音声の単位要素の列に対応を識別する音声単位要素情報１４３ｄ「ｎｉ」、「ｈｏ」、「Ｎ」及び「ｎｏ」が開始位置の順に並べられて登録される。なお、音声単位要素表に登録された音声波形パターンのスコアを０とし、スコアの絶対値が大きくなるほど音声単位要素表に登録された音声波形パターンから相違するものとすればよい。

［アイコン選択部１１０の構成］
アイコン選択部１１０は、シーンアイコン選択部１１１と、シソーラス辞書保存部１１２と、検索音生成部１１３（音情報生成部）とを有する。

シーンアイコン選択部１１１は、表示部６０７の表示画面にそれぞれ異なるシーン内容を象徴する複数の絵記号（以下「シーンアイコン」と呼ぶ。）及び見出し語を含む選択画面を表示して利用者に提示し、その中から利用者に所望のシーン内容に対応するシーンアイコンを選択させ、その結果を受け付ける。見出し語は、それぞれ異なるシーン内容を象徴するシーンアイコンの象徴するシーン内容が文字列として表現されたものである。

図５は、シーン検索画面１０１ａを示す図である。
同図において、シーン検索画面１０１ａには、例えば、「美味しいシーン」を象徴するシーンアイコン１０１ｂと、これに関連付けられた文字列「美味しい」が見出し語１０１ｃとして表示されている。利用者は、入力操作部６０５を用いて所望のシーン内容を象徴するシーンアイコン１０１ｂを選択する。シーンアイコン選択部１１１は、利用者によるシーンアイコン１０１ｂの選択を受け付けると、その選択されたシーンアイコンに予め対応付けられたシーンＩＤを判定し、検索音生成部１１３に供給する。

シソーラス辞書保存部１１２には、シソーラス辞書１１２ａが保存されている。
シソーラス辞書１１２ａは、シーンアイコンの情報と、見出し語の情報（第１の音情報）と、１以上の同意音の情報（第２の音情報）とが互いに関連付けられて登録されて構成される。シーンアイコンの情報は、シーンアイコンを識別する情報である。見出し語の情報は、対応するシーンアイコンにより象徴されるシーン内容を文字列で表現した見出し語を、音声単位要素の情報で表現した音情報である。同意音の情報は、見出し語により表現されるシーン内容を表現する別の文字列を、音声単位要素の情報で表現した音情報である。例えば、同意音の情報は、見出し語と同様の意味内容を表す文字列を音声単位要素の情報で表現した音情報を含む。

図６は、シソーラス辞書１１２ａの構成を示す図である。
同図において、シーンアイコンには、個々のシーンアイコンを一意に識別可能なシーンＩＤ１１２ｂが予め対応付けられている。さらに、例えば、「美味しいシーン」を象徴するシーンアイコンを一意に識別可能なシーンＩＤ１１２ｂには、このシーンアイコンにより象徴されるシーン内容を文字列で表現する見出し語「美味しい」を、音声単位要素の情報で表現する見出し語の情報１１２ｃが関連付けられて登録されている。「美味しいシーン」を象徴するシーンアイコンを一意に識別可能なシーンＩＤ１１２ｂには、さらに、関連付けられて登録された見出し語の情報１１２ｃで表現される見出し語「美味しい」により表現されるシーン内容を表現する１以上の別の文字列「うまい」及び「おいしー」等を音声単位要素の情報で表現する１以上の同意音情報１１２ｄが関連付けられて登録されている。なお、見出し語及び同意音の情報は音声単位要素の情報で表現したものに限定されず、テキスト形式で表現してもよい。また、同意音情報１１２ｄは、「うまい」及び「おいしー」等の言語的な音情報に限定されない。例えば、調理時に生じる環境音等を見出し語「美味しい」により表現されるシーン内容を表現する同意音情報１１２ｄとして登録してもよい。

検索音生成部１１３は、シーンアイコン選択部１１１にて利用者からの選択を受け付けたシーンアイコンに予め対応付けられたシーンＩＤに対応する見出し語の情報及び１以上の同意音の情報をシソーラス辞書１１２ａから抽出し、シーンＩＤとともに検索処理部１２０へ供給する。

［検索処理部１２０の構成］
検索処理部１２０は、検索音生成部１１３より供給された見出し語の情報（第１の音情報）及び１以上の同意音の情報（第２の音情報）と、検索インデックス保存部１４６に保存された音声ストリーム毎の検索インデックス１４３ａとを比較して、これらの音情報を含む音声ストリームを検索する。より具体的には、検索処理部１２０は、見出し語を構成する音声単位要素の列と、検索インデックス１４３ａ中の音声単位要素の欄における音声単位要素の時間順の並びとを比較し、所定の一致度を満たす検索インデックス１４３ａ中の音声単位要素の並びを検索する。検索処理部１２０は、検索インデックス１４３ａ中から検索した音声単位要素の並びにおける先頭の音声単位要素に対応する開始位置の情報を検索インデックス１４３ａから抽出する。検索処理部１２０は、さらに、検索インデックス１４３ａ中から検索した音声単位要素の、変換音声波形パターンに対する音声単位要素の判定結果の確からしさの値であるスコアを計算する。このスコアとは、例えば、検索インデックス１４３ａ中から検索した各音声単位要素のスコアの絶対値の合計を、音声単位要素の並びの数で割った値である。検索処理部１２０は、検索インデックス１４３ａから抽出した開始位置の情報及び計算により得られたスコアとともに、変換元の音声ストリームに関連付けられたコンテンツＩＤを検索結果出力部１３０に供給する。

同様に、検索処理部１２０は、１以上の同意音のうちの１つの同意音を構成する音声単位要素の列と、検索インデックス１４３ａ中の音声単位要素の欄における音声単位要素の時間順の並びとを比較し、所定の一致度を満たす検索インデックス１４３ａ中の音声単位要素の並びを検索する。検索処理部１２０は、検索インデックス１４３ａ中から検索した音声単位要素の並びにおける先頭の音声単位要素に対応する開始位置の情報を検索インデックス１４３ａから抽出する。検索処理部１２０は、さらに、検索インデックス１４３ａ中から検索した音声単位要素の判定結果の確からしさの値であるスコアを計算する。検索処理部１２０は、検索インデックス１４３ａから抽出した開始位置の情報及び計算により得られたスコアとともに、変換元の音声ストリームに関連付けられたコンテンツＩＤを検索結果出力部１３０に供給する。

検索処理部１２０は、検索音生成部１１３より供給された１以上の同意音の情報全てについて上記処理を繰り返す。検索処理部１２０は、検索音生成部１１３より供給された見出し語の情報及び１以上の同意音の情報全てについて上記処理を終えると、次に、異なるコンテンツＩＤが関連付けられた音声ストリームの検索インデックス１４３ａについて一連の処理を行う。検索処理部１２０は、異なるコンテンツＩＤが関連付けられた音声ストリームの検索インデックス１４３ａ全てについて一連の処理を行う。

［検索結果出力部１３０の構成］
検索結果出力部１３０は、検索処理部１２０から供給されたコンテンツＩＤをもとに、トランスポートストリーム保存部１５２に当該コンテンツＩＤに関連付けられて保存された番組名、リムーバブルメディア６１５内のコンテンツタイトル、コンテンツ配信サーバ６１８又は放送局６０８の名称及び配信日時等の番組情報を抽出する。検索結果出力部１３０は、コンテンツＩＤとともに検索処理部１２０から供給された音声単位要素の判定結果の確からしさの値であるスコアに基き、例えば１以上のシーンの開始位置の情報を抽出する。検索結果出力部１３０は、検索処理部１２０から供給されたコンテンツＩＤと、トランスポートストリーム保存部１５２に当該コンテンツＩＤに関連付けられて保存されたコンテンツ情報と、１以上のシーンの開始位置の情報とを出力する。

表示部６０７は、検索結果出力部１３０から出力された情報に基き、シーン検索結果画面１３０ａを表示部６０７の表示画面に表示する。シーン検索結果画面１３０ａは、例えば、１以上のシーンにそれぞれ関連付けられたアイコンと、スコアが最小のシーンの開始位置と、番組情報とが互いに関連付けて表示された画面である。

図７は、シーン検索結果画面１３０ａを示す図である。
同図において、シーン検索結果画面１３０ａには、所定のコンテンツＩＤに関連付けられた、番組情報である番組名「Ａ料理番組」、コンテンツ配信サーバ６１８又は放送局６０８の名称「Ａテレビ」及び配信日時「２００９．４．６ ２２：３２」と、スコアが最小のシーンの開始位置「１２：２０」と、１以上のシーンに関連付けられたアイコンとが表示される。
さらに、利用者によりシーン検索結果画面１３０ａに表示されたアイコンの１つが選択されたとき、検索結果出力部１３０は、例えば、当該アイコンに関連付けられたシーンの開始位置の情報をもとに所定長さのトランスポートストリームをトランスポートストリーム保存部１５２から検索し、これをサムネイル１３０ｂとして表示部６０７の表示画面に表示するよう出力を行ってもよい。

［情報端末１の動作］
次に、情報端末１の動作を説明する。動作の説明は以下の順で行うものとする。
（１）検索インデックス作成の動作
（２）シーンの検索の動作

［検索インデックス作成の動作］
（１）検索インデックス作成の動作について説明する。
図８は、検索インデックス作成の動作を示すフローチャートである。
まず、音声ストリーム分離部１４１は、トランスポートストリーム保存部１５２に保存されたトランスポートストリームから音声ストリームを分離し、この音声ストリームと、コンテンツリストに記録された当該トランスポートストリームのコンテンツＩＤとを関連付けて音声ストリーム保存部１４５に保存する（ステップＳ１０１）。音声ストリーム分離部１４１は、トランスポートストリーム保存部１５２に保存されたトランスポートストリーム毎にこの処理を繰り返す（ステップＳ１０２でＹＥＳ）。音声ストリーム分離部１４１は、トランスポートストリーム保存部１５２に保存された全てのトランスポートストリームにこの処理を行う（ステップＳ１０２でＮＯ）。

続いて、音声波形パターン抽出部１４２は、音声ストリーム保存部１４５に保存された音声ストリームを変換音声波形パターンに変換する。音声波形パターン抽出部１４２は、変換音声波形パターンとともに、変換元の音声ストリームに関連付けられたコンテンツＩＤを検索インデックス生成部１４３に供給する（ステップＳ１０３）。音声波形パターン抽出部１４２は、音声ストリーム保存部１４５に保存された音声ストリーム毎にこの処理を繰り返す（ステップＳ１０４でＹＥＳ）。音声波形パターン抽出部１４２は、音声ストリーム保存部１４５に保存された全ての音声ストリームにこの処理を行う（ステップＳ１０４でＮＯ）。

続いて、検索インデックス生成部１４３は、音声波形パターン抽出部１４２より供給された変換音声波形パターンと音声単位要素表１４４ａに登録された各音声波形パターンとのマッチングにより、変換音声波形パターンに対する音声単位要素を判定する。また、検索インデックス生成部１４３は、判定された音声単位要素に対応する変換音声波形パターンの音声ストリームにおける時間軸上での開始位置と終了位置を判定する。さらには、検索インデックス生成部１４３は、変換音声波形パターンに対する音声単位要素の判定結果の確からしさの値であるスコアを算出する。そして、検索インデックス生成部１４３は、判定した音声単位要素、開始位置、終了位置及びスコアを互いに関連付けた情報を検索インデックス１４３ａとして検索インデックス保存部１４６に保存する。この検索インデックス１４３ａは音声ストリーム毎に作成される。さらに、検索インデックス生成部１４３は、作成された音声ストリーム毎の検索インデックス１４３ａと、その音声ストリームのコンテンツＩＤとの関係を検索インデックス保存部１４６に保存する（ステップＳ１０５）。検索インデックス生成部１４３は、音声ストリーム毎にこの処理をする（ステップＳ１０６でＹＥＳ）。検索インデックス生成部１４３は、音声波形パターン抽出部１４２より供給された全ての変換音声波形パターンにこの処理を行う（ステップＳ１０６でＮＯ）。

このようにして、検索インデックス保存部１４６に、音声ストリーム毎の検索インデックス１４３ａと、その音声ストリームのコンテンツＩＤとの関係とが保存される。ステップＳ１０１〜ステップＳ１０６の一連の動作は、トランスポートストリーム保存部１５２にトランスポートストリームが保存される度に行ってもよい。あるいは、予め決定されたスケジューリングに従って、情報端末１の情報処理の量が少ないときにまとめて行ってもよい。例えば、複数のトランスポートストリームをトランスポートストリーム保存部１５２に順次保存しておいて、放送の休止期間にこれらのトランスポートストリームから検索インデックス１４３ａを作成して検索インデックス保存部１４６に保存するようにしてもよい。あるいは、音声ストリーム保存部１４５に音声ストリームを所定量保存しておき（ステップＳ１０１〜ステップＳ１１２）、所定量の音声ストリーム毎にステップＳ１０３〜ステップＳ１０６の動作を行ってもよい。

［シーン検索の動作］
（２）シーンの検索の動作について説明する。
図９は、シーンの検索の動作を示すフローチャートである。
まず、シーンアイコン選択部１１１は、表示部６０７の表示画面に１以上のシーンアイコン及び見出し語を含む選択画面を表示して利用者に提示する（ステップＳ２０１）。利用者は、シーンアイコン選択部１１１を用いて、表示部６０７の表示画面に表示された１以上のシーンアイコンの中から所望のシーン内容に対応するシーンアイコンを選択する（ステップＳ２０２）。シーンアイコン選択部１１１は、利用者によるシーンアイコン１０１ｂの選択の結果を受け付けると、この選択結果を検索音生成部１１３に供給する（ステップＳ２０３）。

続いて、検索音生成部１１３は、シーンアイコン選択部１１１にて利用者からの選択を受け付けたシーンアイコンに対応する見出し語の情報及び１以上の同意音の情報をシソーラス辞書１１２ａから抽出し、検索処理部１２０へ供給する（ステップＳ２０４）。

続いて、検索処理部１２０は、検索音生成部１１３より供給された見出し語の情報及び１以上の同意音の情報と、検索インデックス保存部１４６に保存された音声ストリーム毎の検索インデックス１４３ａとを比較する。より具体的には、検索処理部１２０は、見出し語を構成する音声単位要素の列と、検索インデックス１４３ａ中の音声単位要素の欄における音声単位要素の時間順の並びとを比較し、所定の一致度を満たす検索インデックス１４３ａ中の音声単位要素の並びを検索する。検索処理部１２０は、検索インデックス１４３ａ中から検索した音声単位要素の並びにおける先頭の音声単位要素に対応する開始位置の情報を検索インデックス１４３ａから抽出する。検索処理部１２０は、さらに、検索インデックス１４３ａ中から検索した音声単位要素のスコアを計算する。検索処理部１２０は、検索インデックス１４３ａから抽出した開始位置の情報及び計算により得られたスコアとともに、変換元の音声ストリームに関連付けられたコンテンツＩＤを検索結果出力部１３０に供給する（ステップＳ２０５）。

検索処理部１２０は、検索音生成部１１３より供給された１以上の同意音の情報ごとにこの処理をする。検索処理部１２０は、検索音生成部１１３より供給された見出し語の情報及び１以上の同意音の情報全てについて上記処理を終えると、次に、異なるコンテンツＩＤが関連付けられた音声ストリームの検索インデックス１４３ａについて一連の処理を行う（ステップＳ２０６でＹＥＳ）。検索処理部１２０は、異なるコンテンツＩＤが関連付けられた音声ストリームの検索インデックス１４３ａ全てについて一連の処理を行う（ステップＳ２０６でＮＯ）。

続いて、検索結果出力部１３０は、検索処理部１２０から供給されたコンテンツＩＤをもとに、トランスポートストリーム保存部１５２に当該コンテンツＩＤに関連付けられて保存された番組名、リムーバブルメディア６１５内のコンテンツタイトル、コンテンツ配信サーバ６１８又は放送局６０８の名称及び配信日時等の番組情報を抽出する（ステップＳ２０７）。検索結果出力部１３０は、コンテンツＩＤとともに検索処理部１２０から供給された音声単位要素のスコアに基き、例えば１以上のシーンの開始位置の情報を抽出する。検索結果出力部１３０は、検索処理部１２０から供給されたコンテンツＩＤと、トランスポートストリーム保存部１５２に当該コンテンツＩＤに関連付けられて保存されたコンテンツ情報と、１以上のシーンの開始位置の情報とを出力する（ステップＳ２０８）。

本実施形態において、検索インデックス生成部１４３は、音声単位要素を判定し、音声単位要素の判定結果の確からしさの値であるスコアを算出し、音声単位要素を検索インデックス保存部１４６に保存した。しかしながら、これに限定されない。検索インデックス生成部１４３は、音声波形パターンを判定し、音声波形パターンの判定結果の確からしさの値であるスコアを算出し、音声波形パターンを検索インデックス保存部１４６に保存してもよい。

本実施形態によれば、シーン内容を象徴するシーンアイコンに関連付けられ且つシーン内容を表現する音情報をシーン検索の条件とする利用者からの指定を受け付けてシーン検索が行われるので、利用者が検索の条件となる音情報を決定する際のバラツキがなくなり、所望する属性のシーンを精度良く検索することができる。利用者は、表示されたシーンアイコンを通して検索の条件とすべき音情報を選択することができる。これにより利用者は、より直感的に音情報の選択を行うことができる。また、シソーラス辞書にシーンアイコンに対応した見出し語及び１以上の同意音が登録されているので、利用者による入力の負担増を招くことなく、複数の種類の音情報によるシーン検索を行うことが可能になる。また、表示画面に表示されたシーンアイコンを選択すればシーン検索の動作が行われるので、複数のシーンアイコンによりそれぞれ象徴される複数のシーン内容のうちから所望のシーンを検索することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態に係る、情報処理装置としての情報端末２について説明する。
以下の説明において、第１の実施形態と同様の構成及び機能等については説明を省略又は簡略し、異なる点を中心に説明する。本実施形態において、情報端末１の各ユニットと同様の構成をもつ情報端末２の各ユニットについては対応する符号（２００番台）を付し、重複する説明は省略する。

［情報端末２のソフトウェア構成］
情報端末２のソフトウェア構成を説明する。
図１０は、情報端末２のソフトウェア構成を示すブロック図である。
情報端末２は、検索インデックス生成部２４０と、データ取得部２５０と、自動検索処理部２７０と、コンテンツ情報処理部２８０とを有する。

［データ取得部２５０の構成］
データ取得部２５０は、第１の実施形態のデータ取得部１５０と同様のトランスポートストリーム取得部２５１及びトランスポートストリーム保存部２５２と、番組情報取得部２５３と、番組情報保存部２５４とを有する。

番組情報取得部２５３は、ネットワーク６１７を通じて番組情報配信サーバ６１９より配信される番組情報を取得して番組情報保存部２５４に保存する。番組情報とは、互いに関連付けられた番組名、番組の解説、放送局及び配信日時等の情報であり、番組表の作成に必要な情報が含まれる。番組表とは、コンテンツ配信サーバ６１８又は放送局６０８が提供する番組の視聴を案内するための情報が掲載された電子番組表である。番組情報取得部２５３は、過去の所定日数分の番組表の情報を番組情報保存部２５４に保存し、これを管理する。番組情報保存部２５４に番組表を保存する日数は、利用者により適宜設定可能とすればよい。

トランスポートストリーム取得部２５１は、番組情報保存部２５４に保存された番組表の情報中の対応するコンテンツの番組情報に、当該コンテンツＩＤを関連付けて追加保存する。

［自動検索処理部２７０の構成］
自動検索処理部２７０は、第１の実施形態の情報端末１と同様の検索音生成部２７２（音情報生成部）、シソーラス辞書保存部２１２及び検索処理部２７３と、シーン設定部２７１（指定部）と、メタデータ保存部２７４とを有する。

シーン設定部２７１は、表示部６０７の表示画面にそれぞれ異なるシーン内容を象徴する複数のシーンアイコンを含むシーン選択画面を利用者に提示し、その中から利用者に所望の（検索の対象となる）シーン内容に対応する１以上のシーンアイコンを選択させ、その結果を受け付ける。シーン設定部２７１は、利用者により選択されたシーンアイコンに対応付けられたシーンＩＤを判定し、検索音生成部２７２に供給する。なお、利用者がシーン内容を選択するためのインタフェースはシーンアイコンに限定されず、シーン内容が文字列として表現された見出し語等でもよい。

検索音生成部２７２は、シーン設定部２７１より供給されたシーンＩＤに対応する見出し語を構成する音声単位要素の列としての音情報及び１以上の同意音を構成する音声単位要素の列としての音情報をシソーラス辞書１１２ａから抽出し、供給されたシーンＩＤとともに検索処理部２７３へ供給する。

検索処理部２７３は、検索音生成部２７２から供給されたシーンＩＤ毎に、当該シーンＩＤに関連付けられた見出し語を構成する音声単位要素の列としての音情報及び１以上の同意音を構成する音声単位要素の列としての音情報と、検索インデックス保存部２４６に保存された音声ストリーム毎の検索インデックス１４３ａとを比較し、所定の一致度を満たす検索インデックス１４３ａ中の音声単位要素の並びを検索する。検索処理部２７３は、検索インデックス１４３ａ中から検索した音声単位要素の並びにおける先頭の音声単位要素に対応する開始位置の情報を検索インデックス１４３ａから抽出する。検索処理部２７３は、さらに、検索インデックス１４３ａ中から検索した音声単位要素のスコアを計算する。検索処理部２７３は、当該シーンＩＤに関連付けられた見出し語の情報及び１以上の同意音の情報全てについて上記処理を行う。そして、検索処理部２７３は、得られた開始位置及びスコアを互いに関連付けた情報を、シーンＩＤ毎のメタデータとして、当該シーンＩＤを関連付けてメタデータ保存部２７４に保存する。検索処理部２７３は、検索音生成部２７２から供給されたシーンＩＤ全てについてこの処理を行う。これにより、図１１に示すように、音声ストリーム毎のメタデータが得られ、メタデータ保存部２７４において当該音声ストリームのコンテンツＩＤと関連付けて保存される。

図１１は、メタデータの構成を示す図である。
シーンＩＤ２７３ｂ、シーンＩＤ毎のメタデータ２７３ｃ及びシーンＩＤ毎のシーン数２７３ｄ等でシーンＩＤ２７３ｂ毎のメタデータ２７３ａを構成する。ここで、シーンＩＤ毎のシーン数２７３ｄはシーンＩＤ毎のメタデータ２７３ｃに含まれる開始位置の情報２７３ｇとスコア２７３ｅとのペアの数を示す。この開始位置の情報の利用方法については後で説明する。シーン設定部２７１にて設定された１以上のシーンＩＤ毎のメタデータ２７３ａで、音声ストリーム毎のメタデータ２７３ｆを構成する。

［コンテンツ情報処理部２８０の構成］
コンテンツ情報処理部２８０は、表示指示部２８１と、コンテンツ情報出力部２８２と、シーンアイコン画像保存部２８３とを有する。

表示指示部２８１は、表示部６０７の表示画面への番組表の表示の指示と、表示する番組表の過去の日時の指示とを利用者より受け付ける。表示指示部２８１は、例えば、表示部６０７の表示画面に所定の指示画面を表示する。利用者は、入力操作部６０５を用いて、表示部６０７の表示画面への番組表の表示の指示と、表示する番組表の過去の日時の指示とをすることができる。表示指示部２８１は、利用者による番組表の表示の指示と、表示する番組表の過去の日時の指示とを受け付け、この指示をコンテンツ情報出力部２８２に通知する。また、表示指示部２８１は、特定のコンテンツに係る詳細情報表示（後述する。）の指示を利用者から受け付けたり、異なる詳細情報表示への表示変換の指示を利用者から受け付ける。

コンテンツ情報出力部２８２は、表示指示部２８１より番組表の表示の指示及び表示する番組表の過去の日時の指示を受けると、指示された日時をもとに、番組情報保存部２５４に保存された番組表の情報から、該当する日時のコンテンツの番組情報と、その番組情報に関連付けられたコンテンツＩＤとを抽出する。コンテンツ情報出力部２８２は、抽出したコンテンツＩＤをもとに、メタデータ保存部２７４から、該当する音声ストリーム毎のメタデータを抽出する。コンテンツ情報出力部２８２は、メタデータ保存部２７４から抽出した音声ストリーム毎のメタデータより、シーンＩＤを所定のルールに基き抽出する。所定のルールとしては、例えば、シーンＩＤ毎のシーンの数が閾値以上の当該シーンＩＤを抽出したり、スコアの平均値が閾値以上の当該シーンＩＤを抽出したりすればよい。

シーンアイコン画像保存部２８３には、それぞれ異なるシーン内容を象徴する１以上のシーンアイコン画像がシーンＩＤと対応付けて保存されている。コンテンツ情報出力部２８２は、メタデータ２７３ａより所定のルールに基き抽出したシーンＩＤが関連付けられたシーンアイコン画像をシーンアイコン画像保存部２８３から抽出する。

そして、コンテンツ情報出力部２８２は、コンテンツＩＤに対応する番組情報にそのシーンＩＤに対応するシーンアイコン画像を配置する等して番組表情報を作成し、その結果を出力する。表示部６０７は、コンテンツ情報出力部２８２から出力された情報に基き、番組表画面２８２ａを表示部６０７の表示画面に表示する。番組表画面２８２ａには、例えば、番組名、番組の解説、放送局及び配信日時等の番組情報を含む番組表において、コンテンツ毎の番組情報にシーンアイコンが配置される。上記所定のルールによっては、１の番組情報に１以上のシーンアイコンが関連付けて表示されることもあるし、シーンアイコンが１つも表示されない場合もある。番組表画面２８２ａにおいて、コンテンツの情報とこのシーン内容を象徴するシーンアイコンの画像とを組み合わせた表示を行うことができるので、どのコンテンツにどのようなシーン内容が含まれるのかを表示するにあたり、利用者の直感に訴える表示を行うことができる。

図１２は、番組表画面２８２ａを示す図である。
同図において、番組表画面２８２ａには、例えば、所定のコンテンツに関し、番組名「バラエティ番組Ｈ」、チャンネル「７ｃｈ」、放送局「Ｇテレビ」及び放送開始時刻「１７：００」等の番組情報が表示され、「大笑いのシーン」を象徴するシーンアイコン及び「不思議なシーン」を象徴するシーンアイコンが配置される。

さらに、コンテンツ情報出力部２８２は、例えば、当該シーンアイコンに関連付けられたシーンの開始位置から所定長さのトランスポートストリームをトランスポートストリーム保存部２５２から検索し、これをサムネイル２８２ｂとして表示部６０７の表示画面に表示するよう出力を行ってもよい。なお、同図ではサムネイル２８２ｂとして矩形の欄を示し詳細な表示は省略している。

なお、同図においては番組表としてＥＰＧ（Electronic Program Guide）を例示しているがこれに限定されない。ＩＰマルチキャストを通じて取得可能なコンテンツに関するＥＣＧ（Electronic Contents Guide）であってもよい。

番組表画面２８２ａ内に各コンテンツ毎に表示された各シーンアイコンには、当該シーンアイコンが配置された番組表の欄に対応するコンテンツのコンテンツＩＤが関連付けられている。利用者は、入力操作部６０５を用いて表示部６０７の表示画面に表示された所定のシーンアイコンにクリック等の所定の操作をすることで、番組表の表示から、当該操作されたシーンアイコンに関連付けられたコンテンツＩＤのコンテンツに係る詳細情報表示へと、表示を変換するための指示をすることができる。表示指示部２８１は、利用者による表示変換の指示を受け付け、この指示をコンテンツ情報出力部２８２に通知する。コンテンツ情報出力部２８２は、表示指示部２８１より表示変換の指示を受けると、指示されたコンテンツに関連付けられたコンテンツＩＤをもとに、そのコンテンツＩＤに係る詳細情報を含む詳細情報表示画面２８２ｃを表示するための第１の表示情報を作成して出力する。この詳細情報表示画面２８２ｃには、例えば、放送局、番組名、放送時間帯、キャスト及び詳細情報等の、番組表画面２８２ａに表示された番組情報より詳細な情報及びサムネイル２８２ｂが表示される。詳細情報表示画面２８２ｃには、さらに、シーン詳細情報表示欄２８２ｄが含まれる。シーン詳細情報表示欄２８２ｄは、コンテンツ内の所定の時間帯（例えば、番組開始時刻から番組終了時刻まで）におけるどの位置に所定のシーン内容が含まれているかを、当該シーン内容を象徴するシーンアイコンを用いて表示するための欄である。

コンテンツ情報出力部２８２は、次のようにしてシーン詳細情報表示欄２８２ｄを表示する。コンテンツ情報出力部２８２は、詳細情報表示画面２８２ｃによりその詳細情報が表示されるコンテンツのコンテンツＩＤをもとに、当該コンテンツＩＤが関連付けられて保存されたメタデータ２７３ａを抽出する。コンテンツ情報出力部２８２は、メタデータ保存部２７４から抽出したメタデータ２７３ａより、１以上の開始位置の情報２７３ｇと、この開始位置の情報２７３ｇが含まれるメタデータ２７３ｃのシーンＩＤとを互いに関連付けて所定のルールに基き抽出する。所定のルールとしては、例えば、閾値以上のスコア２７３ｅとペアをなす開始位置の情報２７３ｇと、この開始位置の情報２７３ｇが含まれるメタデータ２７３ｃのシーンＩＤとを互いに関連付けて抽出すればよい。コンテンツ情報出力部２８２は、メタデータ２７３ａから抽出した開始位置の情報２７３ｇ及びシーンＩＤに基き、詳細情報表示欄２８２ｄの時間帯における当該開始位置の情報２７３ｇに対応する位置に、当該シーンＩＤが関連付けられたシーンアイコンを表示するための第１の表示情報を作成し、その結果を出力する。

図１３は、詳細情報表示画面２８２ｃを示す図である。
同図において、詳細情報表示画面２８２ｃには、例えば、放送局「Ｇテレビ」、番組名「バラエティ番組Ｈ」、放送時間帯「２００９／０８／０５ １７：００〜２００９／０８／０５ １７：３０」、キャスト及び詳細情報等の番組情報と、詳細情報表示欄２８２ｄと、サムネイル２８２ｂとが表示される。詳細情報表示欄２８２ｄには、シーン内容の開始位置に基き、それぞれ１以上の「不思議なシーン」を象徴するシーンアイコン、「大笑いのシーン」を象徴するシーンアイコン、「美味しいシーン」を象徴するシーンアイコン、及び「びっくりのシーン」を象徴するシーンアイコンが配置される。詳細情報表示画面２８２ｃにおいて、コンテンツの情報、シーンの時間の情報及びこのシーン内容を象徴するシーンアイコンの画像を組み合わせた表示を行うことができるので、コンテンツ内のどの時間位置にどのようなシーン内容があるのかを表示するにあたり、利用者の直感に訴える表示を行うことができる。

詳細情報表示欄２８２ｄ内に表示された各シーンアイコンには、当該シーンアイコンが象徴するシーン内容の開始位置の情報が関連付けられている。利用者は、入力操作部６０５を用いて詳細情報表示欄２８２ｄ内に表示された所定のシーンアイコンにクリック等の所定の操作をすることができる。表示指示部２８１は利用者よりサムネイル表示の指示を受け付け、この指示をコンテンツ情報出力部２８２に通知する。コンテンツ情報出力部２８２は、表示指示部２８１より通知を受けると、当該操作されたシーンアイコンに関連付けられた開始位置の情報をもとに所定長さのトランスポートストリームをトランスポートストリーム保存部２５２から検索し、これをサムネイル２８２ｅとして表示部６０７の表示画面に表示するよう出力を行う。

あるいは、利用者が入力操作部６０５を用いて番組表画面２８２ａ内に表示された所定のシーンアイコンにクリック等の所定の操作をすることで、番組表の表示から、詳細情報表示画面２８２ｃとは異なるデザインの詳細情報表示画面２８２ｆの表示へと表示を変換してもよい。表示指示部２８１は、利用者による表示変換の指示を受け付け、この指示をコンテンツ情報出力部２８２に通知する。コンテンツ情報出力部２８２は、表示指示部２８１より表示変換の指示を受けると、指示されたコンテンツＩＤをもとに、そのコンテンツＩＤに係る詳細情報を含む詳細情報表示画面２８２ｆを表示するための第２の表示情報を出力する。この詳細情報表示画面２８２ｆには、例えば、放送局、番組名、放送時間帯、キャスト及び詳細情報等の詳細な情報及びサムネイル２８２ｂが表示される。詳細情報表示画面２８２ｆには、さらに、シーン分析表示欄２８２ｇが含まれる。シーン分析表示欄２８２ｇは、コンテンツ内に所定のシーン内容が含まれる回数等を、当該シーン内容を象徴するシーンアイコンを用いて表示するための欄である。

コンテンツ情報出力部２８２は、次のようにしてシーン分析表示欄２８２ｇを表示する。コンテンツ情報出力部２８２は、詳細情報表示画面２８２ｆによりその詳細情報が表示されるコンテンツのコンテンツＩＤをもとに、当該コンテンツＩＤが関連付けられて保存されたメタデータ２７３ａを抽出する。コンテンツ情報出力部２８２は、メタデータ保存部２７４から抽出したメタデータ２７３ａより、各シーンＩＤに対応するシーン数を所定のルールに基き計算して抽出する。所定のルールとしては、例えば、各シーンＩＤに関連付けられて登録されたスコア２７３ｅのうち閾値以上のスコア２７３ｅの数を当該シーンＩＤと関連付けて抽出すればよい。コンテンツ情報出力部２８２は、メタデータ２７３ａから抽出した閾値以上のスコア２７３ｅの数及びこれに関連付けられたシーンＩＤに基き、当該シーンＩＤに関連付けられたシーンアイコンを当該抽出した閾値以上のスコア２７３ｅの数だけ表示するための第２の表示情報を作成し、その結果を出力する。

図１４は、詳細情報表示画面２８２ｆを示す図である。
同図において、詳細情報表示画面２８２ｆには、例えば、放送局「Ｇテレビ」、番組名「バラエティ番組Ｈ」、放送時間帯「２００９／０８／０５ １７：００〜２００９／０８／０５ １７：３０」、キャスト及び詳細情報等の番組情報と、シーン分析表示欄２８２ｇと、サムネイル２８２ｂとが表示される。シーン分析表示欄２８２ｇには、それぞれコンテンツ情報出力部２８２より出力された数の「大笑いのシーン」を象徴するシーンアイコン、「びっくりのシーン」を象徴するシーンアイコン、「不思議なシーン」を象徴するシーンアイコン及び「美味しいシーン」を象徴するシーンアイコンが配置される。詳細情報表示画面２８２ｆにおいて、コンテンツの情報とこのシーン内容を象徴するシーンアイコンの画像とを組み合わせた表示を行うことができるので、どのコンテンツにどのようなシーン内容が含まれるのかを表示するにあたり、利用者の直感に訴える表示を行うことができる。

［情報端末２の動作］
次に、情報端末２の動作を説明する。動作の説明は以下の順で行うものとする。
（１）自動検索処理の動作
（２）コンテンツ情報処理の動作
なお、（１）自動検索処理の動作の前に検索インデックス生成部１４０により検索インデックス作成の動作が行われるが、この動作はステップＳ１０１〜ステップＳ１０６で説明した検索インデックス作成の動作と同様なので説明を省略する。

［自動検索処理の動作］
（１）自動検索処理の動作について説明する。
図１５は、自動検索処理の動作を示すフローチャートである。
まず、シーン設定部２７１は、表示部６０７の表示画面に選択画面を表示する等して、利用者に検索の対象となるシーン内容を選択させる（ステップＳ３０１）。利用者は、シーン設定部２７１を用いて検索の対象となるシーン内容を選択する（ステップＳ３０２）。シーン設定部２７１は、利用者により選択されたシーン内容に対してこれらをそれぞれ一意に識別可能なシーンＩＤを作成し、該当するシーンアイコンと関連付けて検索音生成部２７２に供給する（ステップＳ３０３）。

続いて、検索音生成部２７２は、シーン設定部２７１にて利用者から選択を受けたシーンアイコンに対応する見出し語を構成する音声単位要素の列及び１以上の同意音を構成する音声単位要素の列をシソーラス辞書１１２ａから抽出し、供給されたシーンＩＤと関連付けて検索処理部２７３へ供給する（ステップＳ３０４）。

続いて、検索処理部２７３は、検索音生成部２７２から供給されたシーンＩＤ毎に、当該シーンＩＤに関連付けられた見出し語を構成する音声単位要素の列及び１以上の同意音を構成する音声単位要素の列と、検索インデックス保存部２４６に保存された音声ストリーム毎の検索インデックス１４３ａとを比較し、所定の一致度を満たす検索インデックス１４３ａ中の音声単位要素の並びを検索する。検索処理部２７３は、検索インデックス１４３ａ中から検索した音声単位要素の並びにおける先頭の音声単位要素に対応する開始位置の情報を検索インデックス１４３ａから抽出する。検索処理部２７３は、さらに、検索インデックス１４３ａ中から検索した音声単位要素のスコアを計算する。検索処理部２７３は、当該シーンＩＤに関連付けられた見出し語の情報及び１以上の同意音の情報全てについて上記処理を行う。そして、検索処理部２７３は、判定した開始位置及びスコアを互いに関連付けた情報を、シーンＩＤ毎のメタデータ２７３ａとして、当該シーンＩＤを関連付けてメタデータ保存部２７４に保存する。検索処理部２７３は、検索音生成部２７２から供給されたシーンＩＤ全てについてこの処理を行う。これにより、音声ストリーム毎のメタデータが得られ、メタデータ保存部２７４において当該音声ストリームのコンテンツＩＤと関連付けて保存される（ステップＳ３０５）。検索処理部２７３は、異なるコンテンツＩＤが関連付けられた音声ストリーム毎にこの処理を繰り返す（ステップＳ３０６でＹＥＳ）。検索処理部２７３は、異なるコンテンツＩＤが関連付けられた音声ストリーム全てにこの処理を行う（ステップＳ３０６でＮＯ）。

なお、本実施形態において、検索音生成部２７２は、シーン設定部２７１にて利用者から選択を受けたシーンアイコンについて処理を行ったがこれに限定されない。自動検索処理部２７０に、シーン設定部２７１を設けなくてもよい。この場合、検索音生成部２７２は、シソーラス辞書１１２ａに登録されたシーンＩＤの全てについて見出し語を構成する音声単位要素の列及び１以上の同意音を構成する音声単位要素の列をシソーラス辞書１１２ａから抽出し、供給されたシーンＩＤと関連付けて検索処理部２７３へ供給してもよい。

［コンテンツ情報処理の動作］
（２）コンテンツ情報処理の動作について説明する。
図１６は、コンテンツ情報処理の動作を示すフローチャートである。
トランスポートストリーム取得部２５１は、トランスポートストリームを一意に識別可能なコンテンツＩＤを作成し、番組情報取得部２５３により取得され番組情報保存部２５４に保存された番組表の情報中の対応する番組情報に当該コンテンツＩＤを関連付けて追加保存する（ステップＳ４０１）。

一方、表示指示部２８１は、例えば、表示部６０７の表示画面に所定の指示画面を表示する（ステップＳ４０２）。利用者は、入力操作部６０５を用いて、表示部６０７の表示画面への番組表の表示の指示と、表示する番組表の過去の日時の指示とを行う（ステップＳ４０３）。表示指示部２８１は、利用者による番組表の表示の指示と、表示する番組表の過去の日時の指示とを受け付け、この指示をコンテンツ情報出力部２８２に通知する（ステップＳ４０４）。

表示指示部２８１より番組表の表示の指示及び表示する番組表の過去の日時の指示を受けると、コンテンツ情報出力部２８２は、指示された日時をもとに、番組情報保存部２５４に保存された番組表の情報から、該当する日時のコンテンツの番組情報と、その番組情報に関連付けられたコンテンツＩＤを抽出する。コンテンツ情報出力部２８２は、抽出したコンテンツＩＤをもとに、メタデータ保存部２７４から、該当する音声ストリーム毎のメタデータを抽出する。コンテンツ情報出力部２８２は、メタデータ保存部２７４から抽出した当該音声ストリーム毎のメタデータより、シーンＩＤを所定のルールに基き抽出する（ステップＳ４０５）。

続いて、コンテンツ情報出力部２８２は、メタデータ２７３ａより抽出したシーンＩＤが関連付けられたシーンアイコン画像を、シーンアイコン画像保存部２８３から抽出する（ステップＳ４０６）。

そして、コンテンツ情報出力部２８２は、コンテンツＩＤに対応する番組情報にそのシーンＩＤに対応するシーンアイコン画像を配置する等した番組表情報を作成し、その結果を出力する（ステップＳ４０７）。

本実施形態によれば、検索されたシーンの時間位置を検索結果に含めて利用者に提供することができる。時間位置が分かることによって、コンテンツの再生を指示する際に時間位置を指示することができ、所望のシーンを即座に再生するようなことも可能になる。上記シーン検索の条件としての音情報を利用者が予め設定できるので、コンテンツの取得後、直ちにシーン検索の実行にかかることができ、さらにシーン検索結果を蓄積しておくことで、利用者が検索結果を参照したいときに即座に参照することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態に係る、情報処理装置としての構成を有するサーバ・クライアントシステム８について説明する。サーバ・クライアントシステム８は、サーバとしてのサーバ装置３と、クライアントとしての情報端末４とを含む。サーバ装置３と情報端末４とは、インターネットやホームネットワーク等のネットワーク６１７を通じて接続されている。なお、同図では１の情報端末４を示すが、これに限定されず、情報端末４は複数であってもよい。
図１７は、サーバ装置３及び情報端末４のソフトウェア構成を示すブロック図である。

［サーバ装置３のソフトウェア構成］
まず、サーバ装置３のソフトウェア構成を説明する。
サーバ装置３は、第２の実施形態の情報端末２のコンテンツ情報処理部２８０から表示指示部２８１を除いた各ユニットを備え、その他の構成は情報端末２と同様である。情報端末２の各ユニットと同様の構成をもつサーバ装置３の各ユニットについては対応する符号（３００番台）を付し、重複する説明は省略する。

コンテンツ情報出力部３８２は、ネットワーク６１７を通じて情報端末４の番組情報要求部４０１（後述する。）から利用者による種々の表示の指示の通知を受けると、シーンアイコン画像の情報を含む表示のための情報を作成し、ネットワーク６１７を通じて情報端末４の番組情報要求受信部４０２へ出力する。

［情報端末４のソフトウェア構成］
次に、情報端末４のソフトウェア構成を説明する。
情報端末４は、番組情報要求部４０１と、番組情報要求受信部４０２と、表示部４０３とを有する。

表示部４０３は、例えば、ＬＣＤなどの表示画面を供える表示器と、表示器を駆動する表示制御回路等よりなる。表示部４０３は、サーバ装置３より供給された番組表情報をもとに番組表を表示画面に表示する。表示部４０３は、さらに、利用者から入力された指令やデータの確認、各種のステータス等を表示したりする。

番組情報要求部４０１は、表示部４０３の表示画面への種々の表示の指示を利用者より受け付けると、この指示をネットワーク６１７を通じてサーバ装置３のコンテンツ情報出力部３８２に通知する。

番組情報要求受信部４０２は、サーバ装置３のコンテンツ情報出力部３８２より、ネットワーク６１７を通じて表示部４０３の表示画面へ種々の表示を行うための情報を取得する。番組情報要求受信部４０２は、サーバ装置３のコンテンツ情報出力部３８２から出力された情報に基き、表示部４０３の表示画面に表示を行う。

［情報端末４の動作］
次に、情報端末４の動作を説明する。
図１８は、情報端末４の動作を示すフローチャートである。

まず、番組情報要求部４０１は、例えば、表示部４０３の表示画面に所定の指示画面を表示する（ステップＳ５０１）。利用者は、入力操作部を用いて、表示部４０３の表示画面への番組表の表示の指示と、表示する番組表の過去の日時の指示とを行う（ステップＳ５０２）。番組情報要求部４０１は、利用者による番組表の表示の指示と、表示する番組表の過去の日時の指示とを受け付け、ネットワーク６１７を通じてサーバ装置３のコンテンツ情報出力部３８２に通知する（ステップＳ５０３）。

続いて、番組情報要求受信部４０２は、コンテンツＩＤに対応する番組情報にそのシーンＩＤに対応するシーンアイコン画像が配置等された番組表情報を、ネットワーク６１７を通じてサーバ装置３のコンテンツ情報出力部３８２より取得し、表示部４０３へ出力する（ステップＳ５０４）。番組情報要求受信部４０２からの番組表情報に基き、表示部４０３は、表示画面に番組表画面２８２ａを表示する（ステップＳ５０５）。番組表画面２８２ａは、例えば、図１２に示したものと同様である。番組表画面２８２ａには、コンテンツ毎の番組情報にシーンアイコンが配置され、各シーンアイコンには当該シーンアイコンが配置された番組表の欄に対応するコンテンツのコンテンツＩＤが関連付けられている。

利用者は、入力操作部を用いて表示部４０３の表示画面に表示された番組表画面２８２ａ内の所望のシーンアイコンにクリック等の所定の操作をすることにより、番組表の表示から、当該操作されたシーンアイコンに関連付けられたコンテンツＩＤのコンテンツに係る詳細情報表示へと、表示を変換するための指示を行う（ステップＳ５０６）。番組情報要求部４０１は、利用者による番組表の表示から所望のコンテンツに係る詳細情報表示へと表示を変換するための指示を受け付け、当該コンテンツに関連付けられたコンテンツＩＤを含む指示をネットワーク６１７を通じてサーバ装置３のコンテンツ情報出力部３８２へ通知する（ステップＳ５０７）。

続いて、番組情報要求受信部４０２は、指示されたコンテンツＩＤに係る詳細情報を含む詳細情報表示画面の情報を、ネットワーク６１７を通じてサーバ装置３のコンテンツ情報出力部３８２より取得し、表示部４０３へ出力する（ステップＳ５０８）。番組情報要求受信部４０２からの詳細情報表示画面の情報に基き、表示部４０３は、表示画面に詳細情報表示画面２８２ｃを表示する（ステップＳ５０９）。詳細情報表示画面２８２ｃには、シーン詳細情報表示欄２８２ｄ等が含まれる。詳細情報表示画面２８２ｃ、シーン詳細情報表示欄２８２ｄ及びサムネイル２８２ｅ（後述する。）は、例えば、図１３に示したものと同様である。詳細情報表示欄２８２ｄ内に表示された各シーンアイコンには、当該シーンアイコンが象徴するシーン内容の開始位置の情報が関連付けられている。

利用者は、入力操作部を用いて詳細情報表示欄２８２ｄ内に表示された所定のシーンアイコンにクリック等の所定の操作をすることにより、当該シーンアイコンに開始位置の情報が関連付けられたシーン内容のサムネイル表示の指示を行う（ステップＳ５１０）。番組情報要求部４０１は、利用者よりシーンアイコンに開始位置の情報が関連付けられたシーン内容のサムネイル表示の指示を受け付け、ネットワーク６１７を通じてサーバ装置３のコンテンツ情報出力部３８２へ通知する（ステップＳ５１１）。

続いて、番組情報要求受信部４０２は、当該シーンアイコンにクリック等の所定の操作をに関連付けられた開始位置の情報をもとにトランスポートストリーム保存部３５２から検索された所定長さのトランスポートストリームをサムネイル２８２ｅとして表示するための情報をネットワーク６１７を通じてサーバ装置３のコンテンツ情報出力部３８２より取得し、表示部４０３へ出力する（ステップＳ５１２）。番組情報要求受信部４０２からの情報に基き、表示部４０３は、表示画面にサムネイル２８２ｅを表示する（ステップＳ５１３）。

なお、番組表の表示から、詳細情報表示画面２８２ｃとは異なるデザインの詳細情報表示画面２８２ｆの表示へと表示を変換する場合も、上記ステップＳ５０１〜Ｓ５０９の動作を行えばよい。

本実施形態によれば、サーバ装置３がシソーラス辞書保存部３１２をもつので、新規なシーンＩＤ、見出し語及び同意音の追加登録をサーバ管理者が簡単に行い、それを各複数の情報端末４に反映させることができる。また、サーバ装置３がシーンアイコン画像保存部３８３をもつので、新規なシーンアイコン画像の追加登録をサーバ管理者が簡単に行い、それを各複数の情報端末４に反映させることができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態に係る、情報処理装置としての構成を有するサーバ・クライアントシステム９について説明する。サーバ・クライアントシステム９は、サーバとしてのサーバ装置５と、クライアントとしての情報端末７とを含む。サーバ装置５と情報端末７とは、インターネットやホームネットワーク等のネットワーク６１７を通じて接続されている。
図１９は、サーバ装置５及び情報端末７のソフトウェア構成を示すブロック図である。

［サーバ装置５のソフトウェア構成］
まず、サーバ装置５のソフトウェア構成を説明する。
サーバ装置５は、第３の実施形態のサーバ装置３のコンテンツ情報処理部３８０からシーンアイコン画像保存部３８３を除いた各ユニットを備え、その他の構成はサーバ装置３と同様である。サーバ装置３の各ユニットと同様の構成をもつサーバ装置５の各ユニットについては対応する符号（５００番台）を付し、重複する説明は省略する。

コンテンツ情報出力部５８０は、ネットワーク６１７を通じて情報端末７の番組情報要求部７０１（後述する。）から利用者による種々の表示の指示の通知を受けると、表示のための情報を作成し、ネットワーク６１７を通じて情報端末７の番組情報受信部７０２へ出力する。第３の実施形態のコンテンツ情報出力部３８２はシーンＩＤに関連付けられたシーンアイコン画像を含む情報を出力するのに対し、コンテンツ情報出力部５８０は、シーンアイコン画像に代えて、シーンアイコンの識別情報であるシーンＩＤを含む情報を出力する点において異なる。

［情報端末７のソフトウェア構成］
次に、情報端末７のソフトウェア構成を説明する。
情報端末７は、第３の実施形態の情報端末４がもつ各ユニットを備え、表示情報出力部７０４と、シーンアイコン画像保存部７０５とが付加されたものである。情報端末４の各ユニットと同様の構成をもつ情報端末７の各ユニットについては対応する符号（７００番台）を付し、重複する説明は省略する。

番組情報受信部７０２は、ネットワーク６１７を通じてサーバ装置５のコンテンツ情報出力部５８０より、表示部７０３の表示画面へ表示を行うための情報を作成するための、シーンＩＤを含む情報を取得する。番組情報受信部７０２は、サーバ装置５のコンテンツ情報出力部５８０から取得したシーンＩＤを含む情報を、表示情報出力部７０４へ出力する。

シーンアイコン画像保存部７０５には、第３の実施形態のシーンアイコン画像保存部３８３と同様に、それぞれ異なるシーン内容を象徴する１以上のシーンアイコン画像がシーンＩＤと対応付けてメタデータ２７３ａとして保存されている。

表示情報出力部７０４は、番組情報受信部７０２からのシーンＩＤを含む情報に基き、メタデータ２７３ａより所定のルールに基き抽出したシーンＩＤが関連付けられたシーンアイコン画像を、シーンアイコン画像保存部７０５から抽出する。表示情報出力部７０４は、番組情報要求部７０１より取得したシーンＩＤを含む情報をもとに、この情報に含まれるシーンＩＤに上記抽出したシーンアイコン画像を関連付ける等して、表示部７０３の表示画面へ表示を行うための情報を作成し、その情報に基き表示部４０３の表示画面に表示を行う。

［情報端末７の動作］
次に、情報端末７の動作を説明する。
図２０は、情報端末７の動作を示すフローチャートである。

まず、番組情報要求部７０１は、例えば、表示部７０３の表示画面に所定の指示画面を表示する（ステップＳ６０１）。利用者は、入力操作部を用いて、表示部７０３の表示画面への番組表の表示の指示と、表示する番組表の過去の日時の指示とを行う（ステップＳ６０２）。番組情報要求部７０１は、利用者による番組表の表示の指示と、表示する番組表の過去の日時の指示とを受け付け、ネットワーク６１７を通じてサーバ装置５のコンテンツ情報出力部５８０に通知する（ステップＳ６０３）。

続いて、番組情報受信部７０２は、コンテンツＩＤに対応する番組情報を含む番組表情報と、当該コンテンツＩＤに関連付けられたシーンＩＤを、ネットワーク６１７を通じてサーバ装置５のコンテンツ情報出力部５８０より取得し、表示情報出力部７０４へ出力する（ステップＳ６０４）。

シーンアイコン画像保存部７０５には、それぞれ異なるシーン内容を象徴する１以上のシーンアイコン画像がシーンＩＤと対応付けてメタデータ２７３ａが保存されている。表示情報出力部７０４は、番組情報受信部７０２から取得したシーンＩＤが関連付けられたシーンアイコン画像をシーンアイコン画像保存部７０５から抽出する（ステップＳ６０５）。続いて、表示情報出力部７０４は、番組情報受信部７０２からの番組表情報に基き、コンテンツＩＤに対応する番組情報に、当該コンテンツＩＤに関連付けられたシーンＩＤに対応するシーンアイコン画像を配置する等して番組表情報を作成し、その結果を表示部７０３へ出力する（ステップＳ６０６）。

表示部７０３は、表示画面に番組表画面２８２ａを表示する（ステップＳ６０７）。番組表画面２８２ａは、例えば、図１２に示したものと同様である。番組表画面２８２ａには、例えば、番組名、番組の解説、放送局及び配信日時等の番組情報を含む番組表において、コンテンツ毎の番組情報にシーンアイコンが配置される。各シーンアイコンには、当該シーンアイコンが配置された番組表の欄に対応するコンテンツのコンテンツＩＤが関連付けられている。

利用者は、入力操作部を用いて表示部７０３の表示画面に表示された番組表画面２８２ａ内の所望のシーンアイコンにクリック等の所定の操作をすることにより、番組表の表示から、当該操作されたシーンアイコンに関連付けられたコンテンツＩＤのコンテンツに係る詳細情報表示へと、表示を変換するための指示を行う（ステップＳ６０８）。番組情報要求部７０１は、利用者による番組表の表示から所望のコンテンツに係る詳細情報表示へと表示を変換するための指示を受け付け、当該コンテンツに関連付けられたコンテンツＩＤを含む通知をネットワーク６１７を通じてサーバ装置５のコンテンツ情報出力部５８０へ通知する（ステップＳ６０９）。

続いて、番組情報受信部７０２は、指示されたコンテンツＩＤに係る詳細情報を含む詳細情報表示画面の情報を、ネットワーク６１７を通じてサーバ装置５のコンテンツ情報出力部５８０より取得し、表示情報出力部７０４へ出力する（ステップＳ６１０）。この詳細情報には、シーン詳細情報表示欄２８２ｄを含む詳細情報表示画面２８２ｃを作成するための情報が含まれる。ここで、シーン詳細情報表示欄２８２ｄを表示するための情報には、メタデータ保存部５７４から抽出されたメタデータ２７３ａより所定の情報に基き抽出された、１以上の開始位置の情報２７３ｇと、この開始位置の情報２７３ｇが含まれるメタデータ２７３ｃのシーンＩＤとが含まれる。

表示情報出力部７０４は、番組情報受信部７０２から取得したシーンＩＤが関連付けられたシーンアイコン画像をシーンアイコン画像保存部７０５から抽出する（ステップＳ６１１）。続いて、表示情報出力部７０４は、詳細情報表示画面２８２ｃを作成するための情報に基き、詳細情報表示欄２８２ｄの時間帯における当該開始位置の情報２７３ｇに対応する位置に、当該シーンＩＤが関連付けられたシーンアイコンを表示するための詳細情報表示情報を作成し、その結果を表示部７０３へ出力する（ステップＳ６１２）。

表示部７０３は、表示画面に詳細情報表示画面２８２ｃを表示する（ステップＳ６１３）。詳細情報表示画面２８２ｃは、例えば、図１３に示したものと同様である。詳細情報表示画面２８２ｃには、番組情報と、詳細情報表示欄２８２ｄとが表示される。詳細情報表示欄２８２ｄには、シーン内容の開始位置に基き、それぞれ１以上の異なるシーン内容を象徴するシーンアイコンが配置される。詳細情報表示欄２８２ｄ内に表示された各シーンアイコンには、当該シーンアイコンが象徴するシーン内容の開始位置の情報が関連付けられている。

利用者は、入力操作部を用いて表示部７０３の表示画面に表示された詳細情報表示欄２８２ｄ内の所望のシーンアイコンにクリック等の所定の操作をすることにより、当該操作されたシーンアイコンに関連付けられたシーンＩＤに関連付けられた開始位置の情報２７３ｇをもとにサムネイル表示の指示を行う（ステップＳ６１４）。番組情報要求部７０１は、利用者よりサムネイル表示の指示を受け付け、この開始位置の情報２７３ｇを含む指示をネットワーク６１７を通じてサーバ装置５のコンテンツ情報出力部５８０へ通知する（ステップＳ６１５）。

続いて、番組情報受信部７０２は、開始位置の情報２７３ｇをもとにトランスポートストリーム保存部５５２から検索された所定長さのトランスポートストリームをサムネイル２８２ｅとして表示するための情報を、ネットワーク６１７を通じてサーバ装置５のコンテンツ情報出力部５８０より取得し、表示情報出力部７０４へ出力する（ステップＳ６１６）。

表示情報出力部７０４は、番組情報受信部７０２から取得したトランスポートストリームをサムネイル２８２ｅとして表示するための情報に基き、サムネイル２８２ｅを表示するための情報を作成し、その結果を表示部７０３へ出力する（ステップＳ６１７）。

表示部７０３は、表示画面にサムネイル２８２ｅを表示する（ステップＳ６１８）。サムネイル２８２ｅは、例えば、図１３に示したものと同様である。

本実施形態によれば、サーバ装置５から端末装置７にシーンアイコンの識別情報を送るようにしたことで、アイコンの画像情報を送信する場合に比べ、全体的なデータ転送量を低減することができる。また、端末装置７がシーンアイコン画像保存部２８３を持つので、個々の利用者が所望のシーンアイコン画像を追加登録することができる。

本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態が考えられる。

１、２、４、７…情報端末
３、５…サーバ装置
８、９…サーバ・クライアントシステム
１１０…アイコン選択部（指定部）
１１１…シーンアイコン選択部
１１２、２１２、３１２、５１２…シソーラス辞書保存部
１１３、２７２、３７２、５７２…検索音生成部（音情報生成部）
１２０、２７３、３７３、５７３…検索処理部
１３０…検索結果出力部（出力部）
１４０、２４０、３４０、５４０…検索インデックス生成部
１４１、２４１、３４１、５４１…音声ストリーム分離部
１４２、２４２、３４２、５４２…音声波形パターン抽出部
１４３、２４３、３４３、５４３…検索インデックス生成部
１４４、２４４、３４４、５４４…音声単位要素表保存部
１４５、２４５、３４５、５４５…音声ストリーム保存部
１４６、２４６、３４６、５４６…検索インデックス保存部
１５０、２５０…データ取得部（取得部）
１５１、２５１…トランスポートストリーム取得部
１５２、２５２、３５２、５５２…トランスポートストリーム保存部
２５３…番組情報取得部
２５４、３５４、５５４…番組情報保存部
２７０、３７０、５７０…自動検索処理部
２７１、３７１、５７１…シーン設定部（指定部）
２７４、５７４…メタデータ保存部
２８０、３８０…コンテンツ情報処理部
２８２、３８２、５８０…コンテンツ情報出力部（出力部）
２８３、３８３、７０５…シーンアイコン画像保存部
３５０、５５０…データ保存部
４０１、７０１…番組情報要求部
４０２、７０２…番組情報受信部
７０４…表示情報出力部

Claims (13)

1. 音声を含む１以上のコンテンツを取得する取得部と、
   シーン内容を象徴するアイコンに関連付けられ且つ前記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付ける指定部と、
   前記シーン検索の条件としての指定を受け付けた音情報と、前記コンテンツに含まれる前記音声とを比較して、前記音情報を前記音声に含むコンテンツを検索する検索処理部と、
   前記検索処理部により検索されたコンテンツに関する情報を出力する出力部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記指定部は、アイコンを表示し、このアイコンに対する利用者からの所定の操作を前記検索処理部に対する検索の指示及び前記検索処理部による前記音声に対する検索の条件とすべき音情報の指示として受け付けるアイコン選択部である
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記アイコン選択部はそれぞれ異なるシーン内容を象徴する複数のアイコンを表示する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記アイコン選択部により指示された前記音情報を第１の音情報として、この第１の音情報に対して同意の第２の音情報を生成する音情報生成部をさらに具備し、
   前記検索処理部は、前記アイコン選択部により指示された前記第１の音情報及び前記１以上の第２の音情報の少なくとも１つの音情報を前記音声に含むコンテンツを検索する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記検索処理部は、前記コンテンツにおいて前記少なくとも１つの音情報に対応する前記音声の時間位置を判定し、
   前記出力部は、前記コンテンツに関する情報とともに、前記時間位置の情報を出力する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記指定部は、前記シーン検索の条件としての音情報をあらかじめ設定する設定部である
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記設定部により設定された前記音情報を第１の音情報として、この第１の音情報に対して同意の第２の音情報を生成する音情報生成部をさらに具備し、
   前記検索処理部は、前記設定部により指示された前記第１の音情報及び前記１以上の第２の音情報の少なくとも１つの音情報を前記音声に含むコンテンツを検索する
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記出力部は、前記１以上のコンテンツに関する情報と、前記コンテンツの前記音声に含まれる前記音情報により表現される前記シーン内容を象徴する前記アイコンの画像情報とを用いて第１の表示情報を作成して出力する
   情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記検索処理部は、前記コンテンツにおいて前記音情報に対応する前記音声の時間位置を判定し、
   前記出力部は、前記コンテンツに関する情報と、前記時間位置の情報と、前記音情報により表現される前記シーン内容を象徴する前記アイコンの画像情報とを用いて第２の表示情報を作成して出力する
   情報処理装置。
10. 請求項７に記載の情報処理装置であって、
    前記出力部は、前記１以上のコンテンツに関する情報と、前記コンテンツの前記音声に含まれる前記音情報により表現される前記シーン内容を象徴する前記アイコンを識別する情報を出力する
    情報処理装置。
11. 請求項８に記載の情報処理装置であって、
    前記検索処理部は、前記コンテンツにおいて前記音情報に対応する前記音声の時間位置を判定し、
    前記出力部は、前記コンテンツに関する情報と、前記時間位置の情報と、前記音情報により表現される前記シーン内容を象徴する前記アイコンを識別する情報を出力する
    情報処理装置。
12. 取得部にて、音声を含む１以上のコンテンツを取得し、
    指定部にて、シーン内容を象徴するアイコンに関連付けられ且つ前記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付け、
    検索処理部にて、前記シーン検索の条件としての指定を受け付けた音情報と前記コンテンツに含まれる前記音声とを比較して、前記音情報を前記音声に含むコンテンツを検索し、
    出力部にて、前記検索処理部により検索されたコンテンツに関する情報を出力する
    シーン検索方法。
13. 音声を含む１以上のコンテンツを取得する取得部と、
    シーン内容を象徴するアイコンに関連付けられ且つ前記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付ける指定部と、
    前記シーン検索の条件としての指定を受け付けた音情報と、前記コンテンツに含まれる前記音声とを比較して、前記音情報を前記音声に含むコンテンツを検索する検索処理部と、
    前記検索処理部により検索されたコンテンツに関する情報を出力する出力部と
    としてコンピュータを機能させるプログラム。

Images