JP2012161030A - 付随コンテンツ検索装置、システム、方法、及びプログラム - Google Patents

Abstract

【課題】ユーザや端末の状況に応じた付随コンテンツの再生を行う。
【解決手段】検索クエリ作成部４２で、ユーザ端末３０に取り込んだ入力コンテンツの部分区間の特徴データ、開始時刻、終了時刻、及び現在時刻を含む検索クエリを作成し、付随コンテンツ検索サーバ１０へ送信する。付随コンテンツ検索部１６で、付随コンテンツ記憶部１４を参照して、検索クエリに含まれる特徴量データに対応する付随コンテンツを検索し、付随コンテンツに対応して記憶されている再生条件情報及び再生制御情報と共に取得する。再生条件判定部１８で、取得した再生条件と検索クエリに含まれる時刻情報とに基づいて、再生条件情報を評価し、付随コンテンツの再生可否を判定する。付随コンテンツ情報生成部２０で、再生制御情報を含む付随コンテンツ情報を生成して、ユーザ端末３０に送信し、ユーザ端末３０の再生装置で、付随コンテンツを再生制御情報に従って再生する。
【選択図】図１

Description

本発明は、付随コンテンツ検索装置、システム、方法、及びプログラムに係り、特に、映像や音声等のコンテンツを視聴する際に、そのコンテンツに対応した付随コンテンツを検索するための付随コンテンツ検索装置、システム、方法、及びプログラムに関する。

従来、映像や音楽や音声が記録されたコンテンツを視聴する時に、視聴されているコンテンツとそのコンテンツに対応した付随コンテンツとの同期を取って、付随コンテンツの表示を行う方法が提案されている（例えば、特許文献１参照）。

特開２００８−２１９６０８号公報

しかしながら、特許文献１の技術では、視聴されているコンテンツに対応する付随コンテンツが選択されると、ユーザや端末の状況にかかわらず、付随コンテンツが再生されてしまう、という問題がある。

本発明は、上記問題点に鑑みてなされたものであり、ユーザや端末の状況に応じた付随コンテンツの再生を行うことができる付随コンテンツ検索装置、システム、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の付随コンテンツ検索装置は、入力コンテンツの特徴を示す特徴情報と、前記入力コンテンツの端末への取り込みに関する時刻を示す時刻情報、前記端末の状態を示す端末状態情報、前記端末及び該端末を使用するユーザに関する属性情報、及び前記ユーザが過去に視聴したコンテンツを示す視聴情報の少なくとも１つを含む再生判定情報とを取得する取得手段と、複数の蓄積コンテンツの各々の特徴を示す特徴情報、該特徴情報の各々に対応した付随コンテンツ、及び該付随コンテンツの各々を再生するための再生条件であって、前記再生判定情報に関する再生条件が記憶された付随コンテンツ記憶手段から、前記取得手段により取得した特徴情報に基づいて、前記入力コンテンツと一致または類似する蓄積コンテンツに対応する付随コンテンツを検索する検索手段と、前記検索手段により検索された付随コンテンツを再生するための再生条件と、前記取得手段により取得した再生判定情報とに基づいて、前記付随コンテンツの再生の可否を判定する判定手段と、前記判定手段により再生可能と判定された付随コンテンツを、前記端末で再生するための付随コンテンツ情報を該端末に送信する付随コンテンツ情報送信手段と、を含んで構成されている。

本発明の付随コンテンツ検索装置によれば、取得手段が、入力コンテンツの特徴を示す特徴情報と、入力コンテンツの端末への取り込みに関する時刻を示す時刻情報、端末の状態を示す端末状態情報、端末及び該端末を使用するユーザに関する属性情報、及びユーザが過去に視聴したコンテンツを示す視聴情報の少なくとも１つを含む再生判定情報とを取得する。付随コンテンツ記憶手段には、複数の蓄積コンテンツの各々の特徴を示す特徴情報、特徴情報の各々に対応した付随コンテンツ、及び付随コンテンツの各々を再生するための再生条件であって、再生判定情報に関する再生条件が記憶されている。そして、検索手段が、取得手段により取得した特徴情報に基づいて、入力コンテンツと一致または類似する蓄積コンテンツに対応する付随コンテンツを、付随コンテンツ記憶手段から検索し、判定手段が、検索手段により検索された付随コンテンツを再生するための再生条件と、取得手段により取得した再生判定情報とに基づいて、付随コンテンツの再生の可否を判定する。そして、付随コンテンツ情報送信手段により、判定手段により再生可能と判定された付随コンテンツを、端末で再生するための付随コンテンツ情報を端末に送信する。

このように、付随コンテンツと対応付けて再生条件を記憶しておき、入力コンテンツに対応する付随コンテンツを検索して、その付随コンテンツに対応する再生条件と、時刻情報、端末状態情報、属性情報、及び視聴情報の少なくとも１つを含む再生判定情報とに基づいて、付随コンテンツの再生可否を判定するため、ユーザや端末の状況に応じた付随コンテンツの再生を行うことができる。

また、前記付随コンテンツ記憶手段には、さらに前記付随コンテンツの各々の再生開始時刻、及び再生形態の少なくとも一方を制御するための再生制御情報が記憶され、前記付随コンテンツ情報送信手段は、前記付随コンテンツ情報に前記再生制御情報を含めて送信することができる。これにより、ユーザや端末の状況に応じて、付随コンテンツの再生を制御することができる。

また、本発明の付随コンテンツ検索装置は、前記再生条件及び前記再生判定情報に基づいて、前記付随コンテンツ及び前記再生制御情報の少なくとも一方を書き換える書換手段を含んで構成することができ、前記付随コンテンツ情報送信手段は、前記書換手段により書き換えられた付随コンテンツ情報を送信することができる。これにより、ユーザや端末の状況に応じた付随コンテンツの再生を、より柔軟に行うことができる。

また、前記時刻情報は、前記入力コンテンツの取り込みを開始した開始時刻、取り込みを終了した終了時刻、及び現在時刻のいずれかを含み、前記判定手段は、前記再生条件として定められた付随コンテンツの再生可能時刻の範囲に、前記開始時刻、前記終了時刻、及び前記現在時刻のいずれかを基準とした時刻が含まれるか否かにより、付随コンテンツの再生可否を判定することができる。

また、前記端末状態情報は、前記端末の現在位置、姿勢、該端末に加わる外力、該端末周辺の環境情報の少なくとも１つを含み、前記属性情報は、前記ユーザの年齢、性別、前記端末が接続するネットワーク情報の少なくとも１つを含み、前記判定手段は、前記再生条件として定められた前記ユーザ及び前記端末の少なくとも一方の対象範囲に、前記端末状態情報または前記属性情報が示す条件が含まれるか否かにより、付随コンテンツの再生可否を判定することができる。

また、前記取得手段は、過去に取得した前記特徴情報に対応する蓄積コンテンツと、前記ユーザを識別するための情報を含む前記属性情報とを対応付けた視聴情報を記憶した視聴情報記憶手段から、前記視聴履歴情報を取得し、前記判定手段は、前記再生条件として定められた入力コンテンツの視聴履歴に基づく条件を、前記視聴履歴情報が満たすか否かにより、付随コンテンツの再生可否を判定することができる。

また、本発明の付随コンテンツ検索装置は、前記視聴情報記憶手段に記憶された視聴情報と、新たに取得された視聴情報との対応関係に基づいて、前記入力コンテンツに類似するコンテンツ、及び前記視聴情報に関する集計情報の少なくとも一方を含む前記入力コンテンツの周辺情報を前記端末へ提供する提供手段をさらに含んで構成してもよい。

また、本発明の付随コンテンツ検索システムは、上記の付随コンテンツ検索装置と、前記特徴情報及び前記再生判定情報を生成して、前記付随コンテンツ検索装置に送信する再生判定情報送信手段と、前記付随コンテンツ検索装置から送信された付随コンテンツ情報を受信する付随コンテンツ情報受信手段と、前記付随コンテンツ情報受信手段により受信した付随コンテンツ情報が示す付随コンテンツが再生手段で再生されるように制御する再生制御手段とを含む端末と、を含んで構成されている。

また、前記付随コンテンツ情報が、付随コンテンツの再生開始時刻を示す再生制御情報を含み、前記端末は、該端末に対する入力コンテンツの視聴に関する操作を取得する操作取得手段を含んで構成することができ、前記再生制御手段は、前記操作取得手段により取得した操作に基づいて、前記付随コンテンツの再生開始時刻を補正することができる。これにより、入力コンテンツの端末側で入力コンテンツに対する一時停止や早送り等の操作が行われた場合でも、入力コンテンツと付随コンテンツとの連動が適切に行われる。

また、本発明の付随コンテンツ検索方法は、入力コンテンツの特徴を示す特徴情報と、前記入力コンテンツの端末への取り込みに関する時刻を示す時刻情報、前記端末の状態を示す端末状態情報、前記端末及び該端末を使用するユーザに関する属性情報、及び前記ユーザが過去に視聴したコンテンツを示す視聴情報の少なくとも１つを含む再生判定情報とを端末で生成し、生成した前記特徴情報及び前記再生判定情報を、付随コンテンツ検索装置へ送信し、送信された前記特徴情報及び前記再生判定情報を、付随コンテンツ検索装置で取得し、複数の蓄積コンテンツの各々の特徴を示す特徴情報、該特徴情報の各々に対応した付随コンテンツ、及び該付随コンテンツの各々を再生するための再生条件であって、前記再生判定情報に関する再生条件が記憶された付随コンテンツ記憶手段から、取得した前記特徴情報に基づいて、前記入力コンテンツと一致または類似する蓄積コンテンツに対応する付随コンテンツを検索し、検索された前記付随コンテンツを再生するための再生条件と、取得した前記再生判定情報とに基づいて、前記付随コンテンツの再生の可否を判定し、再生可能と判定された付随コンテンツを、前記端末で再生するための付随コンテンツ情報を該端末に送信し、送信された付随コンテンツ情報を前記端末で受信し、受信した付随コンテンツ情報が示す付随コンテンツが、前記端末の再生手段で再生されるように制御する方法である。

また、本発明の付随コンテンツ検索プログラムは、コンピュータを、上記の付随コンテンツ検索装置を構成する各手段として機能させるためのプログラムである。

以上説明したように、本発明の付随コンテンツ検索装置、システム、方法、及びプログラムによれば、付随コンテンツと対応付けて再生条件を記憶しておき、入力コンテンツに対応する付随コンテンツを検索して、その付随コンテンツに対応する再生条件と、時刻情報、端末状態情報、属性情報、及び視聴情報の少なくとも１つを含む再生判定情報とに基づいて、付随コンテンツの再生可否を判定するため、ユーザや端末の状況に応じた付随コンテンツの再生を行うことができる、という効果が得られる。

第１の実施の形態の付随コンテンツ検索システムの概略構成を示すブロック図である。 入力コンテンツ、蓄積コンテンツ、及び付随コンテンツにおける各時刻の関係を示す図である。 第１の実施の形態の付随コンテンツ検索処理のユーザ端末側処理ルーチンの内容を示すフローチャートである。 入力コンテンツのキャプチャ、及び付随コンテンツの再生の一例を示すイメージ図である。 第１の実施の形態の付随コンテンツ検索処理のサーバ側処理ルーチンの内容を示すフローチャートである。 第２の実施の形態の付随コンテンツ検索システムの概略構成を示すブロック図である。 第２の実施の形態の付随コンテンツ検索処理のユーザ端末側処理ルーチンの内容を示すフローチャートである。 第２の実施の形態の付随コンテンツ検索処理のサーバ側処理ルーチンの内容を示すフローチャートである。 第３の実施の形態の付随コンテンツ検索システムの概略構成を示すブロック図である。 第３の実施の形態の付随コンテンツ検索処理のサーバ側処理ルーチンの内容を示すフローチャートである。 第４の実施の形態の付随コンテンツ検索システムの概略構成を示すブロック図である。 第４の実施の形態の付随コンテンツ検索処理のユーザ端末側処理ルーチンの内容を示すフローチャートである。 第４の実施の形態の付随コンテンツ検索処理のサーバ側処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

まず、第１の実施の形態について説明する。

図１に示すように、第１の実施の形態の付随コンテンツ検索システム１は、取り込んだ入力コンテンツの部分区間に対応する付随コンテンツが再生されるユーザ端末３０と、ユーザ端末３０から送信された情報に基づいて、付随コンテンツを検索する付随コンテンツ検索サーバ１０とで構成されている。

付随コンテンツ検索システム１では、入力コンテンツの部分区間を取り込んで、その入力コンテンツの特徴量データ、及び取り込んだ入力コンテンツの部分区間の時刻情報に基づいて、入力コンテンツに対応する付随コンテンツを検索して再生する。本実施の形態では、入力コンテンツとしては、ユーザ端末３０またはユーザ端末３０の近傍に存在するディスプレイ装置やスピーカで再生される映像や音楽等である。

付随コンテンツ検索サーバ１０は、ＣＰＵと、ＲＡＭと、後述する付随コンテンツ検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができ、機能的には、図１に示すように、通信部１２と、付随コンテンツ記憶部１４と、付随コンテンツ検索部１６と、再生条件判定部１８と、付随コンテンツ情報生成部２０と、を含んだ構成で表すことができる。

通信部１２は、後述する処理によりユーザ端末３０から送信された検索クエリを、ネットワークを介して受信する。また、通信部１２は、後述する処理により生成した付随コンテンツ情報を、ネットワークを介して、ユーザ端末３０へ送信する。なお、ここでは、ユーザ端末３０と付随コンテンツ検索サーバ１０との間の通信を、ネットワークを介して行う場合について説明するが、赤外線通信等の無線通信や、ユーザ端末３０と付随コンテンツ検索サーバ１０とをケーブルで接続した有線通信等により行ってもよい。

付随コンテンツ記憶部１４には、映像、音声、音楽などの複数の蓄積コンテンツから抽出した特徴量データと、その蓄積コンテンツの各々に対応する付随コンテンツと、その付随コンテンツの再生の可否を判断するための条件を示す情報（再生条件情報）と、付随コンテンツを再生する環境に応じて付随コンテンツの再生を制御するための情報（再生制御情報）とが対応付けて記憶されている。特徴量データの抽出については、後述する。

付随コンテンツは、蓄積コンテンツの各々の付加情報として蓄積コンテンツに付随するコンテンツである。例えば、プレミアコンテンツや広告コンテンツなどの映像、音声、音楽のコンテンツであってもよいし、別の記録媒体上に記録されたコンテンツにアクセスするためのポインタ（ＵＲＬなど）であってもよい。また、そのポインタにアクセスするためのハイパーリンクを付与した文字列や画像、ボタンなどをＷｅｂブラウザに表示するためのＨＴＭＬ情報であってもよい。また、コンテンツの著者、撮影日時、取得元のアドレス（ＵＲＬ）のようなメタデータや、コンテンツの指定時刻にコメントを書き込めるようなサービスを備えた動画共有サイトへのリンク情報や、コミュニティーサイトや掲示板や不特定多数のユーザがコメントやつぶやきを投稿、閲覧できるサービスにおいて、その蓄積コンテンツ及び指定時刻を参加者間で共有できるようにするためのＵＲＬを生成するためのテンプレートであってもよい。

再生条件情報は、検索クエリに含まれる時刻情報に基づいて、付随コンテンツの再生可否を判定するための条件を示す情報である。なお、詳細は後述するが、第１の実施の形態における検索クエリとは、付随コンテンツを検索するためにユーザ端末３０から送信されてきた情報であって、ユーザ端末３０で取り込んだ入力コンテンツの部分区間の特徴量データ、取り込みの開始時刻、終了時刻、及び現在時刻を含む情報である。

再生条件情報としては、例えば、入力コンテンツがコンテンツＡと特定でき、それに対応する付随コンテンツとして付随コンテンツＡが登録されていた場合に、「検索クエリに含まれる現在時刻が９：００〜１２：００の場合には付随コンテンツＡを再生可、それ以外の場合は付随コンテンツＢを再生可とする」、「検索クエリに含まれる現在時刻が付随コンテンツの登録時刻から１分以内の場合は付随コンテンツＡを再生可、それ以外の場合は再生不可とする」、「検索クエリに含まれる現在時刻が２０１１年３月３１日２３時５９分５９秒より以前の場合は付随コンテンツＡを再生可、それ以外の場合は付随コンテンツＢを再生可とする」、「検索クエリに含まれる開始時刻、終了時刻、現在時刻が、（開始時刻＜終了時刻＜現在時刻）かつ（０．９８＜（終了時刻−開始時刻）／（蓄積コンテンツの該当区間の区間長）＜１．０２）の基準を満たす場合は付随コンテンツＡを再生可、それ以外の場合は再生不可とする」などのように定めておくことができる。

再生制御情報は、例えば、蓄積コンテンツにおける該当時刻（詳細は後述）を基準に定めた付随コンテンツの再生を開始する再生開始時刻、ネットワーク遅延等により再生開始時刻までにユーザ端末３０に付随コンテンツが到着しなかった場合の制御を示す情報とすることができる。また、ユーザ端末３０での付随コンテンツの再生形態を指定する再生制御情報を定めておくこともできる。具体的には、例えば、付随コンテンツが映像の場合には、２画面表示、メイン・サブ画面利用などのような、入力コンテンツに対する付随コンテンツの画面位置及び大きさや重ね合わせ方法を指定する情報、付随コンテンツが音声の場合には、メイン・サブ音声の出力先指定や左右バランス等のミキシングの方法などを指定する情報、付随コンテンツがＷｅｂページ系のデータの場合には、ブラウザウインドウのサイズ及び位置、フォアグラウンド・バックグラウンドの重ね合わせ順序の指定、出力先指定等を指定する情報とすることができる。

また、ユーザが入力コンテンツを視聴中に、ユーザ端末３０を操作して入力コンテンツの早送り、巻き戻し、一時停止、チャプタースキップ等の操作を行った場合の付随コンテンツの再生方法を指定する情報を含めるようにしてもよい。例えば、「検索実行以降に実行された早送りや巻き戻しや一時停止の操作履歴を考慮した付随コンテンツの再生時刻の調整」、「検索実行以降に早送りや巻き戻しが行われた場合は付随コンテンツの再生中止」、「検索実行以降に放送チャネルが変更された場合は付随コンテンツの再生中止（もしくは変更されても付随コンテンツＡを再生）」のような再生制御情報を定めておいてもよい。

付随コンテンツ検索部１６は、検索クエリに含まれる特徴量データと、予め蓄積された複数の蓄積コンテンツの特徴量データの各々との類似度を算出し、入力コンテンツの特徴量データと一致または類似する特徴量データを示す蓄積コンテンツ中の所定区間のコンテンツに対応付けられた付随コンテンツを検索する。また、蓄積コンテンツにおいて、検索クエリに含まれる開始時刻に対応する該当時刻を取得する。また、検索された付随コンテンツに対応する再生条件情報及び再生制御情報も取得する。なお、検索クエリに含まれる特徴量データに対応する付随コンテンツが、付随コンテンツ記憶部１４の中から検索できなかった場合には、例えば、「入力コンテンツに対応する付随コンテンツはありません。」等のメッセージが表示される付随コンテンツを用意しておくようにしてもよい。

再生条件判定部１８は、検索された付随コンテンツの再生条件と、検索クエリに含まれる開始時刻、終了時刻、及び現在時刻とに基づいて、付随コンテンツに関する再生条件情報を評価し、付随コンテンツの再生可否を判定する。例えば、付随コンテンツＡが検索された場合に、付随コンテンツＡの再生条件情報が「検索クエリに含まれる現在時刻が９：００〜１２：００の場合には付随コンテンツＡを再生可、それ以外の場合は付随コンテンツＢを再生可とする」であったとする。検索クエリに含まれる現在時刻が１０：００の場合には、再生条件の前半部分を満たすため、付随コンテンツＡを再生可能と判定する。また、検索クエリに含まれる現在時刻が１３：００の場合には、再生条件の前半部分を満たさないため、付随コンテンツＡは再生不可能と判定される。しかし、この再生条件では、前半の条件を満たさない場合には、別の付随コンテンツが再生可能である旨が定められており、検索された付随コンテンツＡではなく、付随コンテンツＢを再生可能と判定する。

付随コンテンツ情報生成部２０は、付随コンテンツの検索及び再生可否の判定処理が完了した時点のユーザ端末３０の現在時刻を、通信部１２及びネットワークを介して検索判定完了時刻として取得する。そして、付随コンテンツ検索部１６で検索された付随コンテンツ、その付随コンテンツの再生制御情報、及び検索判定完了時刻からなる付随コンテンツ情報を生成して、通信部１２及びネットワークを介して、ユーザ端末３０へ送信する。なお、検索判定完了時刻は、ユーザ端末３０において付随コンテンツ情報を受信した時点の時刻を、ユーザ端末３０自体が取得するようにしてもよい。

また、上記の再生条件のように、検索された付随コンテンツ以外の付随コンテンツを再生可能であると判定された場合には、検索された付随コンテンツＡを、再生可能な付随コンテンツＢに書き換え、再生制御情報を、書き換えた付随コンテンツＢに対応する再生制御情報に書き換えた付随コンテンツ情報を生成する。

ユーザ端末３０は、コンピュータ４０と、入力コンテンツ及び付随コンテンツを再生するための再生装置３２とで構成されている。ユーザ端末３０としては、例えば、携帯電話、パーソナルコンピュータ（ＰＣ）、カーナビゲーションシステム、オーディオシステム、組み込み情報機器等が挙げられる。なお、ユーザ端末３０としては、特にこれらに限定されるものではなく、後述する検索クエリ作成部４２、及び付随コンテンツ再生制御部４６の機能を備えていればよい。

コンピュータ４０は、ＣＰＵと、ＲＡＭと、後述する付随コンテンツ検索処理の端末側処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと含んで構成されており、機能的には、図１に示すように、検索クエリ作成部４２と、通信部４４と、付随コンテンツ再生制御部４６と、を含んだ構成で表すことができる。

検索クエリ作成部４２は、ユーザが視聴している入力コンテンツの一定長の区間（入力コンテンツの部分区間）を、ユーザ端末３０に取り込む。より具体的には、取り込む入力コンテンツが、ユーザ端末３０で現在時刻に再生されているものであれば、ユーザ端末３０であるＰＣ、携帯電話、組み込み情報機器のディスプレイ出力、オーディオ出力等のキャプチャリング、またはそれらのユーザ端末３０上で動作するＷｅｂブラウザやメディアプレーヤのソフトウェアからのキャプチャリングのいずれかの方法により取り込む。また、取り込む入力コンテンツが、ユーザ端末３０の近傍にあるディスプレイ装置に表示されたり、スピーカから再生されたりしている場合には、ユーザ端末３０であるＰＣ、携帯電話、組み込み情報機器等に備えられたカメラによる録画や、マイクによる録音により、入力コンテンツを取り込む。

また、検索クエリ作成部４２は、取り込んだ入力コンテンツの部分区間の特徴量データを抽出する。例えば、従来既知の音声認識技術、画像認識技術、顔認識技術等を用いて、取り込まれた入力コンテンツの部分区間が示す映像や音声中から文字データ、発話情報、及び人物情報等を抽出し、抽出した情報とそれらの出現時刻とを組み合わせて特徴量データとすることができる。また、入力コンテンツのストリームデータに含まれるメタデータ、文字情報、及び字幕情報とそれらの登録時刻とを組み合わせた情報を特徴量データとして抽出するようにしてもよい。また、コンテンツが放送番組の場合に付与される電子番組情報などのコンテンツ情報を特徴量データとして抽出してもよい。なお、上述の蓄積コンテンツの特徴量データも同様の手法により抽出されたものである。

また、検索クエリ作成部４２は、入力コンテンツの部分区間から抽出した特徴量データ、ユーザ端末３０においてその入力コンテンツの部分区間を取り込んだ開始時刻、終了時刻、及びユーザ端末３０の現在時刻を含む検索クエリを作成する。なお、記録媒体上の入力コンテンツから部分区間を取り込む場合には、入力コンテンツの再生状況と無関係に、入力コンテンツの先頭からの経過時間を用いて、開始時刻及び終了時刻を設定してもよい。

通信部４４は、検索クエリ作成部４２で作成された検索クエリを、ネットワークを介して、付随コンテンツ検索サーバ１０へ送信する。また、通信部４４は、付随コンテンツ検索サーバ１０より送信された付随コンテンツ情報を、ネットワークを介して受信する。

付随コンテンツ再生制御部４６は、受信した付随コンテンツ情報が示す付随コンテンツを、付随コンテンツ情報に含まれる再生制御情報に従って、再生装置３２で再生する。また、検索クエリに含まれる現在時刻から付随コンテンツ情報に含まれる検索判定完了時刻までの間に、ユーザ端末３０を操作して入力コンテンツの早送り、巻き戻し、一時停止、チャプタースキップ等の操作（視聴操作）が行われた場合には、それらの視聴操作を取得して、再生制御情報を補正するようにしてもよい。例えば、入力コンテンツがユーザ端末３０上のメディアプレーヤで再生され、一時停止、早送り、巻き戻し、チャプタースキップなどのプレーヤにおけるユーザの視聴操作が把握できる場合は、検索クエリに含まれる現在時刻以降のその視聴操作の履歴に基づき、検索クエリに含まれる現在時刻から検索判定完了時刻までの経過時間を補正した上で、再生制御情報に従って付随コンテンツを再生する。より具体的には、該当時刻が００：００：００、開始時刻から終了時刻までの時間が００：００：１０、検索クエリに含まれる現在時刻が００：００：１５、検索判定完了時刻が００：００：２０で、再生制御情報に付随コンテンツの再生を００：００：３０から開始するように指定されていた場合に、検索クエリに含まれる現在時刻から検索判定完了時刻までの間に一時停止が３秒行われていたことが、取得した視聴操作の履歴から判明した場合には、その３秒を考慮して付随コンテンツの再生開始時刻を遅らせ、００：００：３３から再生するように再生制御情報を補正する。また、入力コンテンツがユーザ端末３０のカメラやマイク、またはユーザ端末３０のディスプレイ出力やスピーカ出力のキャプチャリングにより取り込まれ、上記のように視聴操作が把握できない場合には、検索クエリに含まれる現在時刻から検索判定完了時刻までの間、入力コンテンツがそのまま再生され、それをユーザが視聴したものとみなして、再生制御情報を補正することなく、付随コンテンツを再生するようにするとよい。

次に、上記の各部で用いられる各時刻の関係を、図２を参照して説明する。

まず、蓄積コンテンツＣの全体（ＴＤ０からＴＤｅｎｄまで）の特徴量データＦが抽出され、その特徴量データＦに対応付けて、付随コンテンツＡ、付随コンテンツＡの再生制御情報及び再生条件情報を登録する。この再生制御情報には、ＴＤ０から（ＴＡｉｎ−ＴＤ０）経過した時刻に付随コンテンツＡの再生を開始するという情報が登録されるものとする。

そして、例えば、ユーザが入力コンテンツＣ’を視聴している際に、ユーザ端末３０を用いて、時刻ＴＣｉｎ〜時刻ＴＣｏｕｔまでの入力コンテンツＣ’の部分区間を取り込んだ場合には、開始時刻はＴＣｉｎ、終了時刻はＴＣｏｕｔとなる。また、取り込んだ入力コンテンツＣ’の部分区間ＴＣｉｎ〜ＴＣｏｕｔの特徴量データＦ’の抽出が終了し、検索クエリが作成される時刻ＴＳｓｔａｒｔを現在時刻とする。これにより、検索クエリ作成部４２で、特徴量データＦ’、開始時刻ＴＣｉｎ、終了時刻ＴＣｏｕｔ、及び現在時刻ＴＳｓｔａｒｔからなる検索クエリが作成される。

次に、付随コンテンツ検索部１６において、入力コンテンツＣ’の部分区間ＴＣｉｎ〜ＴＣｏｕｔの特徴量データＦ' との類似度により、特徴量データＦ’に対応する蓄積コンテンツの特徴量データＦが判明すると、特徴量データＦに対応付けられた付随コンテンツＡ、付随コンテンツＡの再生制御情報及び再生条件情報を取得することができる。このとき、特徴量データＦと特徴量データＦ’との対応から、入力コンテンツの部分区間ＴＣｉｎ〜ＴＣｏｕｔに対応する蓄積コンテンツの部分区間ＴＦｉｎ〜ＴＦｏｕｔが判明するため、検索クエリに含まれる開始時刻ＴＣｉｎに対応する蓄積コンテンツにおける該当時刻ＴＦｉｎを取得することができる。

また、再生条件判定部１８においては、開始時刻ＴＣｉｎ、終了時刻ＴＣｏｕｔ、及び現在時刻ＴＳｓｔａｒｔの順序から、検索クエリの時間整合性がチェックできる。例えば、現在時刻ＴＳｓｔａｒｔと再生条件情報内の開始時刻とが逆転したり、差が大きかったりする場合には、ユーザ端末３０側で何らかの偽装行為が行われていると判定することができる。また、蓄積コンテンツの特徴量データＦの全体ＴＤ０〜ＴＤｅｎｄ、または区間ＴＦｉｎ〜ＴＦｏｕｔの登録時刻と現在時刻ＴＳｓｔａｒｔとの差から、ユーザの視聴形態を判定できる。例えば、蓄積コンテンツに対応した特徴量データ及びその付随コンテンツを登録した時刻からＮ時間後に放送されるコンテンツにおいて、開始時刻ＴＣｉｎと（Ｎ時間＋（ＴＦｉｎ−ＴＤ０））を比較し、開始時刻ＴＣｉｎが（Ｎ時間＋（ＴＦｉｎ−ＴＤ０））より後で、その差がネットワークや電波による伝送遅延とユーザ端末３０の信号処理時間との和から導かれる一定の閾値より小さければ、コンテンツの放送をユーザがリアルタイムで視聴しているとみなすことができる。一方、その差が閾値を超える場合には、ユーザがタイムシフト視聴を行っているとみなすことができる。また、ＴＣｉｎが（Ｎ時間＋（ＴＦｉｎ−ＴＤ０））より前の場合には、コンテンツの流出が疑われることになる。

このように各時刻の順序の場合分けから、ユーザの視聴状況を推測することができ、それに応じて再生条件情報を設定し、付随コンテンツを書き換える設定ができる。なお、Ｎ ＞０の場合は、用意したコンテンツを放送開始時刻より前に付随コンテンツ記憶部１４に予め登録したケース、Ｎ＜０の場合は、放送済みコンテンツを事後登録したケース、Ｎ＝０の場合は、コンテンツを放送しながら特徴量データを登録していく生放送に関するケースに相当する。もし、リアルタイム視聴の判別をより正確に行う必要がある場合には、蓄積コンテンツの特徴量データを求め、それに対応する付随コンテンツと再生条件情報と再生制御情報とを登録に必要な処理時間とコンテンツを放送する側もしくは配信する側からユーザに届くまでの伝送遅延を考慮すればよい。

付随コンテンツ情報生成部２０では、付随コンテンツの再生開始時刻を算出する。例えば、付随コンテンツの再生開始時刻が蓄積コンテンツの先頭時刻ＴＤ０から（ＴＡ１−ＴＤ０）経過した時刻と指定されていた場合には、蓄積コンテンツの該当時刻ＴＦｉｎから（ＴＡ１−ＴＦｉｎ）経過した時刻が再生開始時刻となり、蓄積コンテンツの該当時刻ＴＦｉｎと入力コンテンツの開始時刻ＴＣｉｎとが対応することから、ユーザ端末３０における付随コンテンツの再生開始時刻は、ＴＣｉｎから（ＴＡ１−ＴＦｉｎ）経過した時刻になる。

なお、付随コンテンツの再生開始時刻の指定が、開始時刻ＴＣｉｎより前の場合、または検索判定完了時刻ＴＳｆｉｎｉｓｈが、付随コンテンツの再生制御情報で指定された再生開始時刻よりも後の場合には、付随コンテンツが取得できたとしても、再生制御情報で指定された再生開始時刻に付随コンテンツの再生を開始することができない。この場合には、「再生開始時刻が過ぎた付随コンテンツは再生しない」、「再生開始時刻を過ぎた場合は再生可能となった時点で付随コンテンツを再生する」、「再生開始時刻を過ぎた付随コンテンツは入力コンテンツ再生終了後に未再生の付随コンテンツのリストとしてユーザに提示する」等の情報を、再生制御情報またはユーザ端末３０の実行ポリシーに優先順位を設定して記述して対処すればよい。なお、付随コンテンツの再生を開始できない場合の対処案は、上記の対処案に制限されるものではない。

また、記録媒体上のコンテンツを入力コンテンツの部分区間としてユーザ端末３０に取り込んだ場合には、ユーザ端末３０において付随コンテンツが再生される際に、その検索クエリの開始時刻ＴＣｉｎと該当時刻ＴＦｉｎとの関係に基づき、付随コンテンツを再生するようにしてもよいし、ユーザの視聴によらないような状況では、付随コンテンツが再生できないようにしてもよい。

次に、図３を参照して、第１の実施の形態の付随コンテンツ検索システム１のユーザ端末３０で実行される付随コンテンツ検索処理のユーザ端末側処理ルーチンについて説明する。

ステップ１００で、ユーザが視聴している入力コンテンツＣ’の部分区間を取り込む。ここでは、図４の左図に示すように、液晶テレビ等で視聴している映像及び音声（入力コンテンツＣ’）を、携帯電話（ユーザ端末３０の一例）のカメラ及びマイクにより、時刻ＴＣｉｎにキャプチャ開始し、時刻ＴＣｏｕｔでキャプチャ終了することにより、入力コンテンツＣ’の部分区間ＴＣｉｎ〜ＴＣｏｕｔを取り込んだものとする。

次に、ステップ１０２で、上記ステップ１００で取り込んだ入力コンテンツＣ’の部分区間ＴＣｉｎ〜ＴＣｏｕｔの特徴量データＦ’を抽出する。そして、抽出した特徴量データＦ’、ユーザ端末３０においてその入力コンテンツの部分区間を取り込んだ開始時刻ＴＣｉｎ、終了時刻ＴＣｏｕｔ、及びユーザ端末３０の現在時刻ＴＳｓｔａｒｔを含む検索クエリを作成し、ネットワークを介して、付随コンテンツ検索サーバ１０へ送信する。

次に、ステップ１０４で、付随コンテンツ検索サーバ１０から送信された付随コンテンツ情報を受信したか否かを判定する。受信した場合には、ステップ１０６へ移行し、受信しない場合には、付随コンテンツ情報を受信するまで、本ステップの判定を繰り返す。ここでは、付随コンテンツとして付随コンテンツＢ、付随コンテンツＢの再生制御情報として「付随コンテンツＢを、開始時刻ＴＣｉｎ＋（ＴＡｉｎ−ＴＦｉｎ）から、画面下部にサブ画面として表示する。」とする付随コンテンツ情報が受信されたものとする。

ステップ１０６では、上記ステップ１０２で作成した検索クエリに含まれる現在時刻ＴＳｓｔａｒｔから、上記ステップ１０４で受信した付随コンテンツ情報に含まれる検索判定完了時刻ＴＳｆｉｎｉｓｈまでの間に、ユーザ端末３０を操作して入力コンテンツの早送り、巻き戻し、一時停止、チャプタースキップ等の操作（視聴操作）が行われた場合には、それらの視聴操作を取得する。ここでは、ユーザ端末３０以外の液晶テレビ等で視聴している映像及び音声をキャプチャしており、入力コンテンツに対する視聴操作をユーザ端末３０で行うことはできないため、視聴操作は取得されない。

次に、ステップ１０８で、上記ステップ１０４で受信した付随コンテンツ情報が示す付随コンテンツを、付随コンテンツ情報に含まれる再生制御情報に従って、再生装置３２で再生する。また、上記ステップ１０６で、視聴操作が取得されている場合には、その視聴操作に応じて、再生制御情報を補正した上で、付随コンテンツを再生する。ここでは、開始時刻ＴＣｉｎ＋（ＴＡｉｎ−ＴＦｉｎ）になると、図４の右図に示すように、携帯電話の表示部の下部に、付随コンテンツＢが表示される。付随コンテンツの再生が終了すると、ステップ１００へ戻る。

次に、図５を参照して、第１の実施の形態の付随コンテンツ検索システム１の付随コンテンツ検索サーバ１０で実行される付随コンテンツ検索処理のサーバ側処理ルーチンについて説明する。

ステップ１５０で、ユーザ端末３０から送信された検索クエリを受信したか否かを判定する。受信した場合には、ステップ１５２へ移行し、受信しない場合には、検索クエリを受信するまで、本ステップの判定を繰り返す。ここでは、特徴量データＦ’、開始時刻ＴＣｉｎ、終了時刻ＴＣｏｕｔ、及び現在時刻ＴＳｓｔａｒｔを含む検索クエリを受信したものとする。

ステップ１５２では、検索クエリに含まれる特徴量データＦ’と、予め蓄積された複数の蓄積コンテンツの特徴量データの各々との類似度を算出し、入力コンテンツの特徴量データＦ’と一致または類似する蓄積コンテンツＣの特徴量データＦを検索する。そして、特徴量データＦに対応付けられている付随コンテンツを取得する。また、蓄積コンテンツＣにおいて、検索クエリに含まれる開始時刻ＴＣｉｎに対応する該当時刻ＴＦｉｎを取得する。さらに、検索された付随コンテンツに対応する再生条件情報及び再生制御情報も取得する。ここでは、付随コンテンツとして付随コンテンツＡ、再生条件情報として「検索クエリに含まれる現在時刻が９：００〜１２：００の場合には付随コンテンツＡを再生可、それ以外の場合は付随コンテンツＢを再生可とする」が取得されたものとする。

ここで、例えば、付随コンテンツＡは、ユーザが視聴している映像及び音声のメタ情報（例えば、著作権者、制作者、制作日時、流通形態、出演者情報や画面中の服や家具などのオブジェクトの情報など）や、コンテンツ自体または関連グッズの購入ができるサイトへのリンクを示す情報とすることができ、付随コンテンツＢは、上記のうち、コンテンツ自体または関連グッズの購入ができるサイトへのリンクを示す情報が削除された情報とすることができる。これにより、例えば、映像及び音声をリアルタイムで視聴しているユーザのみがグッズの購入等を行え、シフトタイム視聴しているユーザはグッズの購入等を行えない、というように、ユーザの視聴形態に応じて付随コンテンツを異ならせることができる。

次に、ステップ１５４で、上記ステップ１５２で検索された付随コンテンツの再生条件と、上記ステップ１５０で受信した検索クエリに含まれる開始時刻ＴＣｉｎ、終了時刻ＴＣｏｕｔ、及び現在時刻ＴＳｓｔａｒｔとに基づいて、付随コンテンツに関する再生条件情報を評価する。ここでは、検索クエリに含まれる現在時刻ＴＳｓｔａｒｔが９：００〜１２：００の範囲に含まれるか否かにより、付随コンテンツＡを再生可か否かを評価する。また、付随コンテンツ及び再生制御情報の少なくとも一方を書き換えることにより、付随コンテンツを再生可能か否かも評価する。ここでは、現在時刻ＴＳｓｔａｒｔが「１３：００」であったものとすると、付随コンテンツＡは再生不可、付随コンテンツＢを再生可、と評価される。

次に、ステップ１５６で、上記ステップ１５４の評価結果に基づいて、なんらかの付随コンテンツを再生可能か否かを判定する。再生可能な場合には、ステップ１５８へ移行し、再生不可能な場合には、ステップ１５０へ戻る。ここでは、付随コンテンツＢが再生可能であるため、肯定判定される。

ステップ１５８では、必要に応じて、付随コンテンツ及び再生制御情報の少なくとも一方を書き換える。ここでは、上記ステップ１５２で検索された付随コンテンツＡ及び付随コンテンツＡの再生制御情報を、付随コンテンツＢ及び付随コンテンツＢの再生制御情報に書き換える。なお、ここでは、付随コンテンツ及び再生制御情報の双方を書き換える場合について説明したが、いずれか一方のみを書き換えるようにしてもよい。

次に、ステップ１６０で、付随コンテンツの検索及び再生可否の判定処理が完了した時点のユーザ端末３０の現在時刻を、通信部１２及びネットワークを介して検索判定完了時刻ＴＳｆｉｎｉｓｈとして取得する。

次に、ステップ１６２で、上記ステップ１５２で検索された付随コンテンツまたは上記ステップ１５８で書き換えられた付随コンテンツ、その付随コンテンツの再生制御情報、及び上記ステップ１６０で取得した検索判定完了時刻からなる付随コンテンツ情報を生成する。ここでは、付随コンテンツＢ、付随コンテンツＢの再生制御情報、及び検索判定完了時刻ＴＳｆｉｎｉｓｈを含む付随コンテンツ情報が生成される。生成された付随コンテンツ情報を、通信部１２及びネットワークを介して、ユーザ端末３０へ送信する。送信が終了するとステップ１５０へ戻る。

以上説明したように、第１の実施の形態の付随コンテンツ検索システムによれば、付随コンテンツと対応付けて再生条件情報及び再生制御情報を登録しておき、入力コンテンツの部分区間に対応する付随コンテンツを検索して、その付随コンテンツに対応する再生条件と入力コンテンツの取り込みに関する時刻情報とに基づいて、付随コンテンツの再生可否を判定し、また、検索クエリに含まれる時刻情報に基づいた再生制御が行われるため、ユーザや端末の状況に応じた付随コンテンツの再生を行うことができる。

次に、第２の実施の形態について説明する。なお、第１の実施の形態の付随コンテンツ検索システムと同様の構成については、同一の符号を付して詳細な説明を省略する。

図６に示すように、第２の実施の形態の付随コンテンツ検索システム２０１は、付随コンテンツ検索サーバ２１０と、ユーザ端末２３０とで構成されている。

付随コンテンツ検索サーバ２１０は、機能的には、図６に示すように、通信部１２と、付随コンテンツ記憶部２１４と、付随コンテンツ検索部１６と、再生条件判定部２１８と、付随コンテンツ情報生成部２０と、を含んだ構成で表すことができる。

付随コンテンツ記憶部２１４には、第１の実施の形態の付随コンテンツ記憶部１４と同様に、蓄積コンテンツから抽出した特徴量データと、付随コンテンツと、再生条件情報と、再生制御情報とが対応付けて記憶されている。

第２の実施の形態の付随コンテンツは、第１の実施の形態の付随コンテンツの他に、後述する検索クエリに含まれるユーザ端末情報と組み合わせて作成できるコンテンツやＵＲＬを含む。例えば、ユーザの現在位置と検索された蓄積コンテンツとに基づき、他のユーザを検索できるサービスへのリンク情報や、コミュニティーサイト、掲示板等の不特定多数のユーザがコメントやつぶやきを閲覧するようなサービスにおいて、その蓄積コンテンツとユーザ端末情報とに基づいた書き込みを共有できるようにするためのＵＲＬを生成するためのテンプレートであってもよい。

再生条件情報は、検索クエリに含まれるユーザ端末情報に基づいて、付随コンテンツの再生可否を判定するための条件を示す情報である。なお、詳細は後述するが、第２の実施の形態の検索クエリとは、付随コンテンツを検索するためにユーザ端末２３０から送信されてきた情報で、第１の実施の形態と同様に、ユーザ端末２３０で取り込んだ入力コンテンツの部分区間の特徴量データ、取り込みの開始時刻、終了時刻、及び現在時刻を含み、さらに、ユーザ端末の位置情報、姿勢情報、加速度情報、振動情報、周辺環境情報、ユーザの属性情報、ユーザ端末のネットワーク情報等のユーザ端末情報を含む情報である。

再生条件情報としては、例えば、「ユーザ端末の現在位置が○○県□□市内の場合には付随コンテンツＡを再生可、それ以外の場合は付随コンテンツＢを再生可とする」のような、ユーザ端末の現在位置に関する条件、「対サーバのデータ転送速度が１Ｍｂｐｓ以上の場合には付随コンテンツＡを再生可、それ未満の場合には付随コンテンツＢを再生可とする」のような、ネットワーク情報に関する条件、「再生するユーザが男性で２０〜２９才の場合は付随コンテンツＡ、女性で２０〜３９才の場合は付随コンテンツＢ、それ以外で４０才以上の場合は付随コンテンツＣ、それ以外は再生不可とする」のような、ユーザの属性情報に関する条件、または、これらを組み合わせた条件等を指定することができる。

再生制御情報としては、例えば、「水平に置かれたユーザ端末のディスプレイの北側」、「西向きに立ったユーザが斜め上４５度にユーザ端末をかざした場合の画面中央」、「ユーザが歩いているときは音のみ再生、立ち止まっているときには音及び映像を再生」、「ユーザ端末を１０回上下に振ったら付随コンテンツの再生開始」のような、ユーザ端末の姿勢や加速度等の状態を示す端末状態情報に基づく付随コンテンツの表示位置調整や再生制御を指定することができる。

再生条件判定部２１８は、検索された付随コンテンツの再生条件と、検索クエリに含まれる開始時刻、終了時刻、現在時刻、及びユーザ端末情報とに基づいて、付随コンテンツに関する再生条件情報を評価し、付随コンテンツの再生可否を判定する。例えば、付随コンテンツＡが検索された場合に、付随コンテンツＡの再生条件情報が「ユーザ端末の現在位置が○○県□□市内の場合には付随コンテンツＡを再生可、それ以外の場合は付随コンテンツＢを再生可とする」であったとする。検索クエリに含まれるユーザ端末の現在位置情報が「○○県□□市内」の場合には、再生条件の前半部分を満たすため、付随コンテンツＡを再生可能と判定する。また、検索クエリに含まれるユーザ端末の現在位置情報が「○○県□□市外」の場合には、再生条件の前半部分を満たさないため、付随コンテンツＡは再生不可能と判定される。しかし、この再生条件では、前半の条件を満たさない場合には、別の付随コンテンツが再生可能である旨が定められており、検索された付随コンテンツＡではなく、付随コンテンツＢを再生可能と判定する。

ユーザ端末２３０は、コンピュータ２４０と、再生装置３２と、端末状態検出センサ３４と、で構成されている。

端末状態検出センサ３４は、ＧＰＳ装置、加速度センサ、ジャイロセンサ、方位角センサ、温度センサ、湿度センサ、照度センサ等のセンサ群で構成されており、各々のセンサにより、ユーザ端末２３０の現在位置情報、温度情報、湿度情報、照度情報、振動情報、加速度情報、方向情報、傾き情報、圧力情報、接触情報等のユーザ端末の状態を示す端末状態情報を検出する。なお、端末状態検出センサ３４は、これら全てのセンサを含む必要はなく、これらの情報の少なくとも１つを検出できるものであればよい。

コンピュータ４０は、機能的には、図６に示すように、検索クエリ作成部２４２と、通信部４４と、付随コンテンツ再生制御部４６と、属性情報記憶部４８と、を含んだ構成で表すことができる。

属性情報記憶部４８には、ユーザの年齢、性別、職業、居住地等のユーザ端末２３０を使用するユーザの個人情報を示すユーザ属性情報、ユーザ端末３０のＩＰアドレス、ＭＡＣアドレス、ホスト名、経路情報、伝送速度、遅延情報等のユーザ端末３０が接続するネットワークの情報を示す端末属性情報が記憶されている。なお、属性情報記憶部４８には、これら全ての情報が記憶されている必要はなく、少なくとも１つの情報が記憶されていればよい。

検索クエリ作成部２４２は、第１の実施の形態と同様に、入力コンテンツの部分区間を取り込んで、特徴量データを抽出する。また、第１の実施の形態の検索クエリに含まれる情報に、端末状態検出センサ３４により検出された端末状態情報、属性情報記憶部４８に記憶されたユーザ属性情報、及び端末属性情報に含まれる情報の少なくとも１つの情報を加えて、検索クエリを作成する。なお、以下では、端末状態情報、ユーザ属性情報、及び端末属性情報をまとめて、ユーザ端末情報と称する。

次に、図７を参照して、第２の実施の形態の付随コンテンツ検索システム２０１のユーザ端末２３０で実行される付随コンテンツ検索処理のユーザ端末側処理ルーチンについて説明する。なお、第１の実施の形態のユーザ端末側処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。

ステップ１００で、ユーザが視聴している入力コンテンツＣ’の部分区間を取り込む。

次に、ステップ２００で、端末状態検出センサ３４のセンサ値を取り込み、また、属性情報記憶部４８に記憶された情報を読み込んで、ユーザ端末情報を取得する。

次に、ステップ２０２で、上記ステップ１００で取り込んだ入力コンテンツＣ’の部分区間ＴＣｉｎ〜ＴＣｏｕｔの特徴量データＦ’を抽出する。そして、抽出した特徴量データＦ’、ユーザ端末２３０においてその入力コンテンツの部分区間を取り込んだ開始時刻ＴＣｉｎ、終了時刻ＴＣｏｕｔ、ユーザ端末３０の現在時刻ＴＳｓｔａｒｔ、及び上記ステップ２００で取得したユーザ端末情報を含む検索クエリを作成し、ネットワークを介して、付随コンテンツ検索サーバ２１０へ送信する。

以下、ステップ１０４〜１０８を実行して、付随コンテンツ検索サーバ１０から付随コンテンツ情報を受信して、付随コンテンツを再生制御情報に従って再生する。

次に、図８を参照して、第２の実施の形態の付随コンテンツ検索システム２０１の付随コンテンツ検索サーバ２１０で実行される付随コンテンツ検索処理のサーバ側処理ルーチンについて説明する。なお、第２の実施の形態のサーバ側処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。

ステップ１５０で、ユーザ端末２３０から送信された検索クエリを受信したと判定されると、ステップ１５２へ移行し、検索クエリに含まれる特徴量データＦ’に基づいて、付随コンテンツを検索する。ここでは、付随コンテンツとして付随コンテンツＡ、再生条件情報として「ユーザ端末の現在位置が○○県□□市内の場合には付随コンテンツＡを再生可、それ以外の場合は付随コンテンツＢを再生可とする」が取得されたものとする。

次に、ステップ２５４で、上記ステップ１５２で検索された付随コンテンツの再生条件と、上記ステップ１５０で受信した検索クエリに含まれるユーザ端末情報（ここでは、ユーザ端末の現在位置情報とする）とに基づいて、付随コンテンツに関する再生条件情報を評価する。ここでは、検索クエリに含まれるユーザ端末の現在位置情報が○○県□□市内か否かにより、付随コンテンツＡを再生可か否かを評価する。例えば、ユーザ端末の現在位置情報は、端末状態検出センサ３４の１つであるＧＰＳ装置により緯度及び経度情報として取得され、検索クエリに含まれている。その緯度及び経度情報を、緯度及び経度と地名とを対応付けたデータベースや、地図情報を用いて、再生条件に記述された○○県□□市内か外かを判定する。また、付随コンテンツ及び再生制御情報の少なくとも一方を書き換えることにより、付随コンテンツを再生可能か否かも評価する。ここでは、ユーザ端末の現在位置は「○○県□□市内」であったものとすると、付随コンテンツＡを再生可と評価する。

以下、ステップ１５６〜１６２を実行して、付随コンテンツ情報を生成して、ユーザ端末２３０へ送信する。なお、上記の例では、付随コンテンツ及び再生制御情報の書き換えは必要ないため、ステップ１５８はスキップされる。

以上説明したように、第２の実施の形態の付随コンテンツ検索システムによれば、付随コンテンツと対応付けて再生条件情報及び再生制御情報を登録しておき、入力コンテンツの部分区間に対応する付随コンテンツを検索して、その付随コンテンツに対応する再生条件とユーザ端末の状態、ユーザの属性、及びユーザ端末の属性に関するユーザ端末情報とに基づいて、付随コンテンツの再生可否を判定し、また、検索クエリに含まれるユーザ端末情報に基づいた再生制御が行われるため、ユーザや端末の状況に応じた付随コンテンツの再生を行うことができる。

なお、第２の実施の形態では、検索クエリに第１の実施の形態と同様に時刻情報も含めた場合について説明したが、入力コンテンツの特徴量データ、及びユーザ端末情報のみを含む検索クエリとしてもよい。

次に、第３の実施の形態について説明する。なお、第１及び第２の実施の形態の付随コンテンツ検索システムと同様の構成については、同一の符号を付して詳細な説明を省略する。

図９に示すように、第３の実施の形態の付随コンテンツ検索システム３０１は、付随コンテンツ検索サーバ３１０と、第２の実施の形態のユーザ端末と同様に構成されたユーザ端末２３０とで構成されている。

付随コンテンツ検索サーバ３１０は、機能的には、図９に示すように、通信部１２と、付随コンテンツ記憶部３１４と、付随コンテンツ検索部１６と、再生条件判定部３１８と、付随コンテンツ情報生成部２０と、ユーザ視聴情報記憶部２２と、を含んだ構成で表すことができる。

ユーザ視聴情報記憶部２２には、ユーザの視聴情報に関する過去の履歴情報として、検索クエリに含まれるユーザ端末情報と特徴量データに対応する蓄積コンテンツの情報とを対応付けたユーザ視聴情報が記憶されている。従って、第３の実施の形態では、検索クエリに、ユーザ端末情報として、ユーザを識別するための情報が含まれる。

付随コンテンツ記憶部３１４に付随コンテンツと対応付けて記憶される再生条件情報は、ユーザ視聴情報記憶部２２に記憶されたユーザ視聴情報、またはユーザ視聴情報の履歴に基づいて計算された視聴履歴スコアに基づいて、付随コンテンツの再生可否を判定するための条件を示す情報である。再生条件情報としては、例えば、入力コンテンツがコンテンツＡと特定できた場合に、コンテンツＡの付随コンテンツＡに関して、「当該ユーザがコンテンツＡを視聴した履歴がある場合には付随コンテンツＡを再生可、履歴がない場合には付随コンテンツＢを再生可とする」のような、各ユーザの視聴履歴に関する条件、「コンテンツＡを再生したユーザ数が１００人目までは付随コンテンツＡを、１０１人目以降は再生不可とする」のような、全ユーザでの視聴履歴の集計に関する条件、「ユーザ端末の現在位置が○○県□□内のユーザ数をカウントし、１０人以上のユーザが存在している場合には付随コンテンツＡ、それ以下の場合は付随コンテンツＢを再生可とする」のような、端末状態情報の集計に関する条件、「当該ユーザが男性で、それまでに再生したユーザの男性の数が女性の数を上回る場合は付随コンテンツＡ、等しいか下回る場合は付随コンテンツＢを再生可とする」のような、ユーザ属性情報の集計に関する条件、「過去１時間の視聴ユーザ数が１０人以上の場合は付随コンテンツＡ、それ未満の場合は付随コンテンツＢを再生可とする」のような、視聴時刻の集計に関する条件、または、これらを組み合わせた条件等を指定することができる。また、ユーザのコンテンツ視聴履歴を得点化した視聴履歴スコアを所定の基準に基づいて計算しておき、視聴履歴スコアに基づいて再生の可否を決定する条件を再生条件情報として指定してもよい。

再生条件判定部３１８は、検索された付随コンテンツの再生条件と、ユーザ視聴情報記憶部２２に記憶されたユーザ視聴情報とに基づいて、付随コンテンツに関する再生条件情報を評価し、付随コンテンツの再生可否を判定する。例えば、コンテンツＡについて付随コンテンツＡが検索された場合に、付随コンテンツＡの再生条件情報が「当該ユーザがコンテンツＡを視聴した履歴がある場合には付随コンテンツＡを再生可、履歴がない場合には付随コンテンツＢを再生可とする」であったとする。この場合、ユーザ視聴情報記憶部２２を参照して、当該ユーザがコンテンツＡを視聴した履歴が存在するか否かを確認し、コンテンツＡを視聴した履歴が存在する場合には、再生条件の前半部分を満たすため、付随コンテンツＡを再生可能と判定する。また、コンテンツＡを視聴した履歴が存在しない場合には、再生条件の前半部分を満たさないため、付随コンテンツＡは再生不可能と判定され、変わりに、付随コンテンツＢを再生可能と判定する。

また、再生条件判定部３１８は、検索された付随コンテンツの再生条件と、ユーザ視聴情報の履歴に基づいて計算された視聴履歴スコアとに基づいて、付随コンテンツに関する再生条件情報を評価し、付随コンテンツの再生可否を判定するようにしてもよい。例えば、表１のような採点基準に基づいて、ユーザ毎の視聴履歴スコアを算出する。

このような場合、例えば、再生条件情報として、「これまでの視聴履歴スコアが＋５以上（例えばコンテンツＡとコンテンツＢを視聴）のユーザは付随コンテンツＡを再生可、＋５未満の場合は再生不可」、「これまでの視聴履歴スコアが−３以下（例えばコンテンツＦを視聴）のユーザは付随コンテンツＢを再生可」のよう条件を指定しておく。そして、算出された視聴履歴スコアと再生条件とを照合して、付随コンテンツの再生可否を判定する。

また、視聴履歴スコアをユーザ毎に計算するのではなく、ユーザ視聴情報記憶部２２に記憶された全ユーザまたは所定範囲のユーザのユーザ視聴情報を利用して、再生時刻や再生場所に基づく視聴履歴スコアを計算してもよい。例えば、表２のような採点基準に基づいて視聴履歴スコアを算出する。

例えば、「再生時刻が００：００：００から０７：５９：５９の範囲の場合は−２、０８：００：００から１７：５９：５９の範囲の場合は＋２、１８：００：００から２３：５９：５９の範囲の場合は＋１」のような時刻に関する基準に従った、ユーザ毎、コンテンツ毎、または位置情報などのユーザ端末情報毎の得点化、「地点Ａから１０ｋｍ以内のユーザ端末からの検索の場合は＋５、それ以外の場合は−３」のような距離に関する基準に従った、ユーザ毎、コンテンツ毎、または位置情報などのユーザ端末情報毎の得点化、「視聴履歴の得点が＋５以上のユーザに視聴されたコンテンツの得点を＋１、それ以外は０」のように視聴ユーザの視聴履歴の得点に基づくコンテンツの得点計算を行う。この場合、再生条件情報としては、「視聴履歴スコアが＋５以上の場合は付随コンテンツＡを再生可、＋５未満の場合は付随コンテンツＢを再生可」のような視聴履歴スコアに基づく条件、またはその他の情報と組み合わせた条件等を指定しておく。そして、算出された視聴履歴スコアと再生条件とを照合して、付随コンテンツの再生可否を判定する。

次に、図１０を参照して、第３の実施の形態の付随コンテンツ検索システム３０１の付随コンテンツ検索サーバ３１０で実行される付随コンテンツ検索処理のサーバ側処理ルーチンについて説明する。なお、第１及び第２の実施の形態のサーバ側処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。

ステップ１５０で、ユーザ端末２３０から送信された検索クエリを受信したと判定されると、ステップ１５２へ移行し、検索クエリに含まれる特徴量データＦ’に基づいて、付随コンテンツを検索する。ここでは、付随コンテンツとして付随コンテンツＡ、再生条件情報として「これまでの視聴履歴スコアが＋５以上のユーザは付随コンテンツＡを再生可、＋５未満の場合は再生不可」が取得されたものとする。

次に、ステップ３５０で、上記ステップ１５０で受信した検索クエリにユーザ端末情報と、特徴量データＦ’に対応する蓄積コンテンツＣの情報とを対応付けたユーザ視聴情報を、ユーザ視聴情報記憶部２２に記憶する。

次に、ステップ３５４で、上記ステップ１５２で検索された付随コンテンツの再生条件と、ユーザ視聴情報とに基づいて、付随コンテンツに関する再生条件情報を評価する。ここでは、ユーザ視聴情報記憶部２２に記憶された当該ユーザのユーザ視聴情報を参照し、当該ユーザの視聴履歴スコアを、例えば、表１に示すような採点基準に基づいて算出する。そして、その視聴履歴スコアが＋５以上か否かにより、付随コンテンツＡを再生可か否かを評価する。また、付随コンテンツ及び再生制御情報の少なくとも一方を書き換えることにより、付随コンテンツを再生可能か否かも評価する。ここでは、算出された視聴履歴スコアが＋４であったものとすると、付随コンテンツＡを再生不可と評価する。

以下、ステップ１５６〜１６２を実行して、付随コンテンツ情報を生成して、ユーザ端末２３０へ送信する。なお、上記の例では、ステップ１５６で否定判定されて、ステップ１５０へ戻る。

以上説明したように、第３の実施の形態の付随コンテンツ検索システムによれば、付随コンテンツと対応付けて再生条件情報及び再生制御情報を登録しておき、入力コンテンツの部分区間に対応する付随コンテンツを検索して、その付随コンテンツに対応する再生条件とユーザの視聴履歴を示すユーザ視聴情報とに基づいて、付随コンテンツの再生可否を判定し、また、検索クエリに含まれるユーザ端末情報に基づいた再生制御が行われるため、ユーザや端末の状況に応じた付随コンテンツの再生を行うことができる。

なお、第３の実施の形態では、検索クエリに第１の実施の形態と同様に時刻情報も含めた場合について説明したが、入力コンテンツの特徴量データ、及びユーザ端末情報のみを含む検索クエリとしてもよい。

また、付随コンテンツ検索サーバ側ではなく、ユーザ端末側にユーザ視聴情報を記憶しておき、視聴履歴またはユーザ毎の視聴履歴スコアを、検索クエリに含めるようにしてもよい。ただし、本実施の形態のようにサーバ側で蓄積したユーザ視聴情報を用いた視聴履歴や視聴履歴スコアの方が、ユーザ端末から送信された視聴履歴や視聴履歴スコアを利用するよりもよりも詐称の可能性が低くなり、より信頼性の高い再生条件の判定を行うことができる。また、サーバ側に記憶されたユーザ視聴情報は、サービス提供者の管理となるので、視聴履歴を詐称される恐れが小さく、また、複数ユーザの視聴情報の集計も利用可能な状況で、再生条件情報を評価することができる。一方、ユーザ端末に記録されたユーザ視聴情報は、上記のような詐称の危険性はあるものの、上記のうち、集計情報に関わらない条件判定は実施することができ、特にサービスを初めて利用したユーザもしくは利用回数の少ないユーザに対しては、このユーザ端末に記録された視聴情報に基づいて、再生条件情報を評価することができる、というメリットがある。

次に、第４の実施の形態について説明する。なお、第１〜第３の実施の形態の付随コンテンツ検索システムと同様の構成については、同一の符号を付して詳細な説明を省略する。

図１１に示すように、第４の実施の形態の付随コンテンツ検索システム４０１は、付随コンテンツ検索サーバ４１０と、ユーザ端末４３０とで構成されている。

付随コンテンツ検索サーバ４１０は、機能的には、図１１に示すように、通信部１２と、付随コンテンツ記憶部３１４と、付随コンテンツ検索部１６と、再生条件判定部３１８と、付随コンテンツ情報生成部２０と、ユーザ視聴情報記憶部２２と、入力コンテンツ周辺情報取得部２４と、を含んだ構成で表すことができる。

入力コンテンツ周辺情報取得部２４は、ユーザ視聴情報記憶部２２へユーザ視聴情報が記憶される過程において、記憶されるユーザ視聴情報と既に記憶されたユーザ視聴情報との対応から導かれる付随コンテンツ以外の入力コンテンツの周辺情報を取得する。例えば、「これまでにコンテンツＡを再生したユーザ数」、「○○県□□市からのアクセス数」、「再生ユーザの年齢分布」、「付随コンテンツ登録時からの再生回数とその頻度分布」などのユーザ視聴情報の集計情報、入力コンテンツ、再生時刻、滞在地域（ユーザ端末の現在位置）、個人情報などのうち、ひとつ以上の情報が一致もしくは誤差が一定閾値以下となるユーザの情報、ユーザ視聴情報記憶部２２に記憶されたそれまでのユーザ視聴情報とその時点で再生を開始したユーザのユーザ視聴情報との複数属性を考慮した類似度を計算して類似度が上位Ｎ位以上となるコンテンツやユーザの情報、これらの組み合わせなどが、周辺情報として取得される。取得した周辺情報は、通信部１２及びネットワークを介して、ユーザ端末４３０へ送信される。

ユーザ端末４３０は、コンピュータ４４０と、再生装置３２と、端末状態検出センサ３４と、で構成されている。コンピュータ４４０は、機能的には、図１１に示すように、検索クエリ作成部２４２と、通信部４４と、付随コンテンツ再生制御部４４６と、属性情報記憶部４８と、を含んだ構成で表すことができる。

付随コンテンツ再生制御部４４６は、第１〜第３の実施の形態のユーザ端末と同様に、付随コンテンツ検索サーバ４１０から送信された付随コンテンツ情報を受信して、付随コンテンツを再生するように制御すると共に、付随コンテンツ検索サーバ４１０から送信された周辺情報を受信して、周辺をユーザに提供するように制御する。

次に、図１２を参照して、第４の実施の形態の付随コンテンツ検索システム４０１のユーザ端末４３０で実行される付随コンテンツ検索処理のユーザ端末側処理ルーチンについて説明する。なお、第１〜第３の実施の形態のユーザ端末側処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。

ステップ１００で、ユーザが視聴している入力コンテンツＣ’の部分区間を取り込み、次に、ステップ２００で、ユーザ端末情報を取得し、次に、ステップ２０２で、検索クエリを作成し、ネットワークを介して、付随コンテンツ検索サーバ４１０へ送信する。

次に、ステップ４０４で、付随コンテンツ検索サーバ４１０から送信された付随コンテンツ情報及び周辺情報を受信したか否かを判定する。受信した場合には、ステップ１０６へ移行し、受信しない場合には、付随コンテンツ情報及び周辺情報を受信するまで、本ステップの判定を繰り返す。なお、入力コンテンツに対応する付随コンテンツが検索されなかった場合、または付随コンテンツの再生条件を満たさなかった場合には、付随コンテンツ情報は送信されないため、周辺情報のみを受信する。また、入力コンテンツに類似するコンテンツが存在しない等、周辺情報が存在しない場合もあり、その場合には、付随コンテンツ情報のみを受信する。また、付随コンテンツ情報及び周辺情報の双方が存在しない場合には、いずれの情報も付随コンテンツ検索サーバ４１０から送信されない。その場合には、所定時間本ステップの判定を繰り返してもいずれの情報も受信しない場合、または付随コンテンツ検索サーバ４１０からいずれの情報も存在しない旨の通知を受信した場合には、本ステップの判定を終了して、ステップ１００へ戻るようにするとよい。

ステップ１０６では、視聴操作を取得し、次に、ステップ４０８で、上記ステップ４０４で受信した付随コンテンツ情報を再生制御情報に従って再生すると共に、周辺情報をユーザに提供する。

次に、図１３を参照して、第４の実施の形態の付随コンテンツ検索システム４０１の付随コンテンツ検索サーバ４１０で実行される付随コンテンツ検索処理のサーバ側処理ルーチンについて説明する。なお、第１〜第３の実施の形態のサーバ側処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。

ステップ１５０で、ユーザ端末４３０から送信された検索クエリを受信したと判定されると、ステップ１５２へ移行し、検索クエリに含まれる特徴量データＦ’に基づいて、付随コンテンツを検索する。次に、ステップ３５０で、ユーザ視聴情報を、ユーザ視聴情報記憶部２２に記憶する。

次に、ステップ４５０で、ユーザ視聴情報記憶部２２へユーザ視聴情報が記憶される過程において、記憶されるユーザ視聴情報と既に記憶されたユーザ視聴情報との対応から導かれる付随コンテンツ以外の入力コンテンツの周辺情報を取得する。

次に、ステップ３５４で、ユーザ視聴情報に基づいて再生条件を評価し、次に、ステップ１５６で、上記ステップ３５４での評価結果に基づいて、付随コンテンツの再生可否を判定する。次に、ステップ１５８で、必要に応じて、付随コンテンツ及び再生制御情報を書き換えて、次に、ステップ１６０で、検索判定完了時刻を取得する。

次に、ステップ４６２で、付随コンテンツ情報を生成して、ユーザ端末４３０へ送信すると共に、上記ステップ４５０で取得した周辺情報も、ユーザ端末４３０へ送信する。

以上説明したように、第４の実施の形態の付随コンテンツ検索システムによれば、上記第１〜第３の実施の形態の効果に加えて、ユーザや端末の状況に応じた入力コンテンツの周辺情報も提供することができる。

なお、上記実施の形態では、ユーザ端末の検索クエリ作成部において、取り込んだ入力コンテンツの部分区間の特徴量データを抽出する場合について説明したが、特徴量データの抽出は、ユーザ端末側で行ってもよいし、付随コンテンツ検索サーバ側で行ってもよい。付随コンテンツ検索サーバ側で特徴量データを抽出する場合には、ユーザ端末において取り込んだ入力コンテンツの部分区間のデータをそのまま検索クエリに含めて付随コンテンツ検索サーバに送信し、付随コンテンツ検索サーバにおいて、受信した入力コンテンツの部分区間のデータから特徴量データを抽出すればよい。

また、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１、２０１、３０１、４０１ 付随コンテンツ検索システム
１０、２１０、３１０、４１０ 付随コンテンツ検索サーバ
１２ サーバ側通信部
１４、２１４、３１４ 付随コンテンツ記憶部
１６ 付随コンテンツ検索部
１８、２１８、３１８ 再生条件判定部
２０ 付随コンテンツ情報生成部
２２ ユーザ視聴情報記憶部
２４ 入力コンテンツ周辺情報取得部
３０、２３０、４３０ ユーザ端末
３２ 再生装置
３４ 端末状態検出センサ
４０、２４０、４４０ コンピュータ
４２、２４２ 検索クエリ作成部
４４ ユーザ端末側通信部
４６、４４６ 付随コンテンツ再生制御部
４８ 属性情報記憶部

Claims (10)

1. 入力コンテンツの特徴を示す特徴情報と、前記入力コンテンツの端末への取り込みに関する時刻を示す時刻情報、前記端末の状態を示す端末状態情報、前記端末及び該端末を使用するユーザに関する属性情報、及び前記ユーザが過去に視聴したコンテンツを示す視聴履歴情報の少なくとも１つを含む再生判定情報とを取得する取得手段と、
   複数の蓄積コンテンツの各々の特徴を示す特徴情報、該特徴情報の各々に対応した付随コンテンツ、及び該付随コンテンツの各々を再生するための再生条件であって、前記再生判定情報に関する再生条件が記憶された付随コンテンツ記憶手段から、前記取得手段により取得した特徴情報に基づいて、前記入力コンテンツと一致または類似する蓄積コンテンツに対応する付随コンテンツを検索する検索手段と、
   前記検索手段により検索された付随コンテンツを再生するための再生条件と、前記取得手段により取得した再生判定情報とに基づいて、前記付随コンテンツの再生の可否を判定する判定手段と、
   前記判定手段により再生可能と判定された付随コンテンツを、前記端末で再生するための付随コンテンツ情報を該端末に送信する付随コンテンツ情報送信手段と、
   を含む付随コンテンツ検索装置。
2. 前記付随コンテンツ記憶手段には、さらに前記付随コンテンツの各々の再生開始時刻、及び再生形態の少なくとも一方を制御するための再生制御情報が記憶され、
   前記付随コンテンツ情報送信手段は、前記付随コンテンツ情報に前記再生制御情報を含めて送信する
   請求項１記載の付随コンテンツ検索装置。
3. 前記再生条件及び前記再生判定情報に基づいて、前記付随コンテンツ及び前記再生制御情報の少なくとも一方を書き換える書換手段を含み、
   前記付随コンテンツ情報送信手段は、前記書換手段により書き換えられた付随コンテンツ情報を送信する
   請求項２記載の付随コンテンツ検索装置。
4. 前記時刻情報は、前記入力コンテンツの取り込みを開始した開始時刻、取り込みを終了した終了時刻、及び現在時刻のいずれかを含み、
   前記判定手段は、前記再生条件として定められた付随コンテンツの再生可能時刻の範囲に、前記開始時刻、前記終了時刻、及び前記現在時刻のいずれかを基準とした時刻が含まれるか否かにより、付随コンテンツの再生可否を判定する
   請求項１〜請求項３のいずれか１項記載の付随コンテンツ検索装置。
5. 前記端末状態情報は、前記端末の現在位置、姿勢、該端末に加わる外力、該端末周辺の環境情報の少なくとも１つを含み、
   前記属性情報は、前記ユーザの年齢、性別、前記端末が接続するネットワーク情報の少なくとも１つを含み、
   前記判定手段は、前記再生条件として定められた前記ユーザ及び前記端末の少なくとも一方の対象範囲に、前記端末状態情報または前記属性情報が示す条件が含まれるか否かにより、付随コンテンツの再生可否を判定する
   請求項１〜請求項４のいずれか１項記載の付随コンテンツ検索装置。
6. 前記取得手段は、過去に取得した前記特徴情報に対応する蓄積コンテンツと、前記ユーザを識別するための情報を含む前記属性情報とを対応付けた視聴情報を記憶した視聴情報記憶手段から、前記視聴履歴情報を取得し、
   前記判定手段は、前記再生条件として定められた入力コンテンツの視聴履歴に基づく条件を、前記視聴履歴情報が満たすか否かにより、付随コンテンツの再生可否を判定する
   請求項１〜請求項５のいずれか１項記載の付随コンテンツ検索装置。
7. 請求項１〜請求項６のいずれか１項記載の付随コンテンツ検索装置と、
   前記特徴情報及び前記再生判定情報を生成して、前記付随コンテンツ検索装置に送信する再生判定情報送信手段と、
   前記付随コンテンツ検索装置から送信された付随コンテンツ情報を受信する付随コンテンツ情報受信手段と、
   前記付随コンテンツ情報受信手段により受信した付随コンテンツ情報が示す付随コンテンツが再生手段で再生されるように制御する再生制御手段と、を含む端末と、
   を含む付随コンテンツ検索システム。
8. 前記付随コンテンツ情報が、付随コンテンツの再生開始時刻を示す再生制御情報を含み、
   前記端末は、該端末に対する入力コンテンツの視聴に関する操作を取得する操作取得手段を含み、
   前記再生制御手段は、前記操作取得手段により取得した操作に基づいて、前記付随コンテンツの再生開始時刻を補正する
   請求項７記載の付随コンテンツ検索システム。
9. 入力コンテンツの特徴を示す特徴情報と、前記入力コンテンツの端末への取り込みに関する時刻を示す時刻情報、前記端末の状態を示す端末状態情報、前記端末及び該端末を使用するユーザに関する属性情報、及び前記ユーザが過去に視聴したコンテンツを示す視聴履歴情報の少なくとも１つを含む再生判定情報とを端末で生成し、
   生成した前記特徴情報及び前記再生判定情報を、付随コンテンツ検索装置へ送信し、
   送信された前記特徴情報及び前記再生判定情報を、付随コンテンツ検索装置で取得し、
   複数の蓄積コンテンツの各々の特徴を示す特徴情報、該特徴情報の各々に対応した付随コンテンツ、及び該付随コンテンツの各々を再生するための再生条件であって、前記再生判定情報に関する再生条件が記憶された付随コンテンツ記憶手段から、取得した前記特徴情報に基づいて、前記入力コンテンツと一致または類似する蓄積コンテンツに対応する付随コンテンツを検索し、
   検索された前記付随コンテンツを再生するための再生条件と、取得した前記再生判定情報とに基づいて、前記付随コンテンツの再生の可否を判定し、
   再生可能と判定された付随コンテンツを、前記端末で再生するための付随コンテンツ情報を該端末に送信し、
   送信された付随コンテンツ情報を前記端末で受信し、
   受信した付随コンテンツ情報が示す付随コンテンツが、前記端末の再生手段で再生されるように制御する
   付随コンテンツ検索方法。
10. コンピュータを、請求項１〜請求項６のいずれか１項記載の付随コンテンツ検索装置を構成する各手段として機能させるための付随コンテンツ検索プログラム。

Images