JP2009117974A - 興味情報作成方法、装置およびシステム - Google Patents

Abstract

【課題】不特定多数のユーザが、所望のコンテンツを見ながらあるいは聞きながら、特に興味をもったコンテンツの特定の場所・部分を指定したら、その指定に基づいて、ユーザの興味の動向を示す情報を作成する仕組み。
【解決手段】 ある初期の基準領域（例えば、ユーザの指定アドレスが集中する興味領域）に基づいて相関領域を追跡できた注目フレームのフレーム番号（再生位置識別情報）、興味領域の位置座標（座標識別情報）、相関領域の位置座標（座標識別情報）は、興味情報として、指定情報と対応づけられ、興味情報ＤＢ２ｂに格納される。ユーザの興味の解析者（関連情報の配信主）は、興味情報と実際のコンテンツを照らし合わせて、ユーザがコンテンツ中のどの要素に特に興味を抱いているかを知ることができ、この興味に基づいて適切な関連情報を登録できる。
【選択図】 図９

Description

本発明は各種コンテンツに対応する情報の配信に際して有益な情報を提供する技術に関する。

ブロードキャストやオンデマンドで配信されるコンテンツからインタラクティブに情報を得る技術が求められている。特に一瞬でコンテンツの内容が次々に移り変わっていく動画において、視聴者は瞬時に情報を得たいと思っても、メモを取る時間もなく、録画して後で見直すといった原始的なやり方を行わざるを得ない。

地上波デジタル放送においても、映像放送と並行してデータ放送が送られてくるが、インターネット親和性が悪く、データ放送のデータからの情報をリンクするのが困難である。ＢＭＬ（Broadcast Markup Language：XMLベースのデータ放送向けのページ記述言語）形式をＨＴＭＬ形式にすることで、ある程度の情報リンクは可能になるが、複雑な言語でデータを動画に同期した形で送ることは難しい。特に、変遷する動画のシーンに合わせた情報リンクは困難である。

それに応えるために、動画を見ながら興味をひいた画面でエリアをクリックして必要な情報を得るためにクリッカブルビデオマップという技術が開発されている（特許文献１）。これは、動画コンテンツの表示画面中の情報に関連づけるホットスポット領域を設定したデータも一緒に供給し、その領域を視聴者がクリックしたら、その領域に関連づけられた情報（ＵＲＬ）の情報を得るといった仕組みであり、ＳＭＩＬ言語（Synchronized Multimedia Integration Language）に代表されるマルチメディア定義言語の中に関連情報を埋めこんでいる。この方法によって、クリックした領域に関連情報があれば、その関連情報を得ることができる。

特許文献１によると、画像配信システムは、ユーザ端末装置からの画像配信要求に応じて画像配信サーバからの画像コンテンツに付随させて付随情報選定機能部が指定されたクリッカブルビデオマップを該当するユーザ端末装置に供給し、画像を表示させ、さらに、ユーザ端末装置にてクリッカブルビデオマップに含まれるクリッカブルビデオマップＩＤを情報配信要求として選択してＷｅｂサーバに供給し、付随情報選定機能部にて付随情報テーブルに含まれるＩＤと供給されるＩＤの対応によりＨＴＭＬファイル群からＨＴＭＬファイルを選定し、該当ユーザ端末装置にＨＴＭＬファイルを送って、表示する。

特許文献２によると、動画をブロードバンドコンテンツとして視聴する映像視聴者の端末と、ＣＭ動画映像コンテンツを提供する映像提供者のネットワークのＣＭ動画配信サーバを備え、端末から出された視聴要求に対して、ＣＭ動画配信サーバからＣＭ動画を端末に配信し、端末は、ＣＭ動画の中で視聴者が所望する製品の製品情報要求の指定操作をＣＭ動画の上映画面上で行い、上映画面の画像を、ＣＭ製品データベースサーバの画像データと比較し、指定された製品を特定する手段を備え、ＣＭ提供企業のＣＭ製品情報の配信用、販売情報を備えたサーバを備え、製品が特定されると、製品情報により視聴者は、サーバのＣＭ製品情報ファイル格納領域へアクセスする。
特開２００４−２７４３５０号公報 特開２００５−２８６８８２号公報

上述したクリッカブルビデオマップでは、動画コンテンツと一緒に定義したクリック領域情報が送られてしまうため、動画配信後に、例えば、リンク情報を変更したり、クリック領域を変更したりできないので、視聴者の興味にあった情報配信など、メンテナンス性に優れた情報発信ができない。

特許文献１においても、画像配信サーバと情報配信サーバを分けることで、情報配信サーバ側のＷｅｂページのコンテンツを自由に差し替えられるという改善がされているが、画像配信時にＳＭＩＬファイルが配信されてしまっているため、画像配信後にリンク情報に対応づける領域を変更することができない。

また、複雑な指定をデータストリームに載せることから、動画シーンの変遷に合わせたきめ細かい情報リンク先の制御は難しい。

本発明は、不特定多数のユーザが、所望のコンテンツを見ながらあるいは聞きながら、特に興味をもったコンテンツの特定の場所・部分を指定したら、その指定に基づいて、ユーザの興味の動向を示す情報を作成する仕組みを提供する。

本発明に係る興味情報作成方法は、１または複数の端末装置の各々に対して個別に提供されたコンテンツおよびコンテンツ内の所望の要素を、端末装置の各々にて指定させるステップと、端末装置の各々にて指定されたコンテンツおよびコンテンツ内の所望の要素を識別する指定情報を、端末装置の各々から受信するステップと、端末装置の各々から受信した指定情報を保存するステップと、保存された指定情報から、特定のコンテンツに関する指定情報を抽出するステップと、抽出された特定のコンテンツに関する指定情報に基づき、特定のコンテンツもしくは特定のコンテンツの特定の要素に対するコンテンツ利用者の興味の動向を示す興味情報を作成するステップと、興味情報と特定のコンテンツに関する指定情報とを対応づけて所定の興味情報データベースに登録するステップと、を含む。

好ましくは、コンテンツは、静止画コンテンツ、動画コンテンツおよび音声コンテンツのうち少なくとも１つを含み、コンテンツ内の各要素は、静止画コンテンツ内の任意の領域、動画コンテンツの任意のフレームにおける任意の領域および動画コンテンツないし音声コンテンツ内の任意の再生位置もしくは再生時点のうち少なくとも１つを含む。

好ましくは、コンテンツは、コンテンツを一意に識別するコンテンツ識別情報、動画コンテンツ内の各フレームもしくは音声コンテンツ内の各音声の再生位置もしくは再生時点を識別する再生位置識別情報、動画コンテンツ内の各フレームを識別するフレーム識別情報および動画コンテンツ内の各フレーム内の各領域の座標を識別する座標識別情報のうち少なくとも１つを含む。

好ましくは、指定情報は、コンテンツに含まれるコンテンツ識別情報、動画コンテンツもしくは音声コンテンツ内から任意に指定された要素の再生位置もしくは再生時点を識別する指定再生位置識別情報、動画コンテンツ内から任意に指定されたフレームを識別する指定フレーム識別情報、動画コンテンツ内から任意に指定されたフレーム内の特定の領域の座標点を識別する指定座標識別情報、端末装置のユーザの識別情報および指定情報が作成された日時情報のうち少なくとも１つを含む。

好ましくは、特定のコンテンツの再生開始位置から再生終了位置までを区分する所定の集計単位の各々における指定情報の数を小計するステップと、所定の集計単位の各々における指定情報の数の小計を、集計単位内に属する特定のコンテンツの再生単位の総数で平均することで、局所平均を算出するステップと、を含む。

好ましくは、所定の集計単位ごとの局所平均を、特定のコンテンツの再生時間軸に沿って図表化した情報を作成するステップを含む。

好ましくは、所定の集計単位の各々における指定情報の数の小計を特定のコンテンツ全体に渡って総計することで、指定情報総数を算出するステップを含む。

好ましくは、指定情報総数を、特定のコンテンツの再生開始位置から再生終了位置までの再生単位の総数で平均した指定情報平均を算出するステップを含む。

好ましくは、局所平均が極大となる集計単位に属する再生単位を抽出するステップを含む。

好ましくは、特定のコンテンツは動画コンテンツでありかつ再生単位は動画コンテンツのフレームである場合、動画コンテンツ内のフレームのうち、局所平均が極大となる集計単位に属する１または複数のフレームである注目フレームを抽出するステップと、注目フレームに対応する指定座標識別情報の示す座標点が密の領域である注目領域を特定するステップと、を含む。

好ましくは、動画コンテンツ内の注目フレームに注目領域を示す映像を重畳するステップを含む。

好ましくは、注目フレームのうち、所望のフレームを起点フレームに設定するステップと、起点フレームの所望の領域を基準領域に設定するステップと、設定された基準領域の特徴量と相関のある特徴量を有する領域である相関領域を、起点フレーム以後または以前のフレームで追跡するステップと、を含む。

好ましくは、注目フレームのうち、所望のフレームを起点フレームに設定するステップと、設定された起点フレームにおいて特定された注目領域を基準領域に設定するステップと、設定された基準領域の特徴量と相関のある特徴量を有する領域である相関領域を、起点フレーム以後または以前のフレームで追跡するステップと、を含む。

好ましくは、相関領域の追跡が不能になったフレームである追跡不能フレームが生じた場合、追跡不能フレームにおいて特定された注目領域を新たな基準領域に設定し、追跡不能フレーム以後または以前のフレームで設定された新たな基準領域の相関領域の追跡を続行するステップを含む。

好ましくは、起点フレームの基準領域の特徴量は、起点フレームの注目領域の色相、起点フレームの基準領域内の物体の形状、大きさもしくは位置、起点フレームの基準領域内のテクスチャの特徴量、起点フレームよりも前または後のフレームの特徴量と起点フレームの特徴量との差分のうち少なくとも１つを含む。

好ましくは、興味情報は、図表化した情報を含む。

好ましくは、興味情報は、指定情報総数を含む。

好ましくは、興味情報は、指定情報平均を含む。

好ましくは、興味情報は、注目フレームの再生位置識別情報および注目領域の座標識別情報のうち少なくとも１つを含む。

好ましくは、興味情報は、相関領域の座標識別情報を含む。

好ましくは、端末装置の各々から収集した指定情報の保存後所定時間が経過した場合、保存された指定情報を消去するステップを含む。

好ましくは、興味情報の抽出対象とする任意のコンテンツを指定するステップと、興味情報データベースから、指定されたコンテンツに対応する興味情報を抽出するステップと、興味情報データベースから抽出された興味情報を提供するステップと、を含む。

好ましくは、抽出された興味情報のうち所望の興味情報に対応する所望の関連情報を、所定の関連情報データベースに登録するステップと、端末装置の各々から受信した指定情報に対応する興味情報を、興味情報データベースから抽出するステップと、興味情報データベースから抽出された興味情報に対応する関連情報を、関連情報データベースから抽出するステップと、関連情報データベースから抽出された関連情報を、端末装置の各々に伝達するステップと、を含む。

本発明に係る興味情報作成装置は、１または複数の端末装置の各々に対して個別に提供されたコンテンツおよびコンテンツ内の所望の要素を識別する指定情報を、端末装置の各々から受信する手段と、端末装置の各々から受信した指定情報を保存する手段と、保存された指定情報から、特定のコンテンツに関する指定情報を抽出する手段と、抽出された特定のコンテンツに関する指定情報に基づき、特定のコンテンツもしくは特定のコンテンツの特定の要素に対するコンテンツ利用者の興味の動向を示す興味情報を作成する手段と、興味情報と特定のコンテンツに関する指定情報とを対応づけて所定の興味情報データベースに登録する手段と、を含む。

本発明に係る興味情報作成システムは、１または複数の端末装置の各々に対して個別に提供されたコンテンツおよびコンテンツ内の所望の要素を、端末装置の各々にて指定させる手段と、端末装置の各々にて指定されたコンテンツおよびコンテンツ内の所望の要素を識別する指定情報を、端末装置の各々から受信する手段と、端末装置の各々から受信した指定情報を保存する手段と、保存された指定情報から、特定のコンテンツに関する指定情報を抽出する手段と、抽出された特定のコンテンツに関する指定情報に基づき、特定のコンテンツもしくは特定のコンテンツの特定の要素に対するコンテンツ利用者の興味の動向を示す興味情報を作成する手段と、興味情報と特定のコンテンツに関する指定情報とを対応づけて所定の興味情報データベースに登録する手段と、を含む。

本発明によると、コンテンツの内容そのものとは切り離された指定情報から、不特定多数のコンテンツ利用者の興味の動向を示す興味情報が作成される。この興味情報を情報配信者や広告主に提供することで、情報配信者や広告主は利用者の興味情報を得ることができる。そして、情報配信者は、その興味情報に基づき、各コンテンツ利用者に適切な情報を提供することができる。

以下、添付図面に従って本発明を実施するための最良の形態について説明する。

＜関連情報管理システムの概要＞
図１は、本発明の好ましい実施形態に係る関連情報管理システムの概略構成を示す。このシステムは、ユーザ端末１とコンテンツ情報管理サーバ２とを備えている。

ユーザ端末１は、コンテンツ配信サーバ３ａやテレビ局の電波塔４などの配信側３から直接電気信号として、あるいはＤＶＤなどの記録メディアからコンテンツの記録信号を読み出すことで、映像（静止画もしくは動画）や音声などの各種コンテンツの提供を受ける。また、ユーザ端末１は、インターネット（ネットワーク）１０を介して、不特定多数のＷｅｂサーバ５（５ａ、５ｂ・・）とも接続されている。

コンテンツ情報管理サーバ２は、インターネット１０を介して、コンテンツ情報編集端末６と接続されている。

ユーザ端末１は、マルチメディアの記録再生に対応したパソコンやＳＴＢ（セットトップボックス）などで構成されており、配信を受けたコンテンツが映像であれば、テレビ７に出力して表示させることができる。また、配信を受けたコンテンツが音声であれば、ステレオなどに出力して再生させることができる。

本実施形態では、既存のテレビやステレオを使用できるようにするため、これらとは別体のＳＴＢへ本発明を適用した場合を想定して説明しているが、本実施形態のＳＴＢに組み込んだのと同様の機能をテレビやステレオその他のＡＶ機器の本体に組み込んでもよい。

配信側３からユーザ端末１へのコンテンツ配信の方式は特に限定されない。例えば、地上波デジタル放送や衛星放送などを利用したブロードキャスト配信、インターネットＴＶで利用されているマルチキャスト配信、ＶＯＤ(ビデオオンデマンド)やストリーミングなどのユニキャスト配信が挙げられる。また、ピアツーピア動画配信システムのように、コンテンツ配信サーバからの直接配信でなく、インターネット１０上の他のピア同士と連携された分散配信でも良い。また、ＤＶＤなどの可搬性記録メディアによるコンテンツ提供も可能である。

コンテンツ情報管理サーバ２は、コンテンツ情報管理ＤＢ２ａと興味情報ＤＢ２ｂを備えている。コンテンツ情報管理ＤＢ２ａには、配信されるコンテンツの内容に合わせたコンテンツ対応関連情報（以下、関連情報と略称）が、コンテンツ情報編集端末６で作成されてアップロードされて格納されている。

関連情報は、コンテンツタイトル、コンテンツ内の所望のシーンないしその近傍を特定する情報に対応づけられている。

コンテンツ配信データには、コンテンツタイトルを特定する情報と、コンテンツ内の特定の要素（動画であればシーンないしその近傍）を識別する要素識別情報が含まれている。例えば、要素識別情報は、コンテンツ内のフレーム情報、コマ情報、時間情報などを含む。要素識別情報でコンテンツ配信データをカプセル化したり、サブバンド化したりしてもよい。

ユーザ端末１は、配信を受けたコンテンツを再生しながら、マウスその他のポインティングデバイスの操作により、当該コンテンツにおける所望の要素の指定を受け付ける。これは、例えば、テレビ７などでのコンテンツの再生中であれば、動画・静止画中の特定のコマの特定の位置を指定する操作や、音声再生中の特定の時点で発音された字句を指定する操作を意味する。

ユーザ端末１は、ユーザによるコンテンツの特定の要素の指定操作に応じ、当該コンテンツおよび要素を識別する指定情報を作成し、これをコンテンツ情報管理サーバ２に送信する。

具体的には、ユーザ端末１は、再生しているコンテンツのＩＤ、ユーザが指定した要素に対応する要素識別情報（特定の動画のフレーム情報、フレーム中の位置情報、特定の音声再生位置を示す時間情報）を、コンテンツ配信データから抽出し、これを指定情報とする。そして、抽出した指定情報を、パケット化するなどしてコンテンツ情報管理サーバ２への送信データに再構成し、インターネット１０を介してコンテンツ情報管理サーバ２に送信する。

コンテンツ情報管理サーバ２は、ユーザ端末１から送られてきた指定情報を解析し、指定情報に含まれるＩＤで特定されるコンテンツにおける、位置情報または時間情報で特定される当該コンテンツの要素（シーンおよび場所など）に対応する関連情報を、コンテンツ情報管理ＤＢ２ａから検索する。

コンテンツ情報管理ＤＢ２ａに格納される、指定情報に対応する関連情報は、コンテンツ内のどの指定シーンのどの指定場所とも対応させることができる。

例えば、図２（ａ）に示すようなテレビ番組などの動画中のコマ「００１」において、図２（ｂ）に示すような右側部のコンテンツ要素「領域Ａ」および中央上部のコンテンツ要素「領域Ｂ」が、ユーザの興味に応じて指定されうる。

コンテンツ情報管理ＤＢ２ａでは、これらのコンテンツ要素に対して、各々任意の関連情報を任意のタイミング（好ましくは指定情報の解析後）で設定できる。例えば、コマ「００１」のコンテンツ要素「領域Ａ」をx1、y1とx2、y2の矩形領域、コンテンツ要素「領域Ｂ」をx3、y3とx4、y4の矩形領域で定義し、それに対応する関連情報を設定できる。

あるいは、動画中のコマ「００２」において、中央部のコンテンツ要素「領域Ａ」、左側部のコンテンツ要素「領域Ｂ」が、任意に指定されうる。コマ「００２」のコンテンツ要素「領域Ａ」をx5、y5とx6、y6の矩形領域、コンテンツ要素「領域Ｂ」をx7、y7とx8、y8の矩形領域で定義し、それに対応する関連情報を設定できる。

あるいは、動画中のコマ「００３」において、コンテンツ要素「領域Ａ」が任意に指定されうる。そこで、コマ「００３」において、コンテンツ要素「領域Ａ」をx9、y9とx10、y10の矩形領域で定義し、それに対応する関連情報を設定できる。

このように、それぞれ独立に移動するコンテンツ要素の領域をコマ毎にそれぞれ領域定義し、それに対応する関連情報を設定できるようにしておくことで、自在にコンテンツ要素と関連情報を対応付けすることができる。

図２（ｃ）は、コンテンツ情報管理ＤＢ２ａにて、図２（ｂ）に示す各コマのコンテンツ要素「領域Ａ」と「領域Ｂ」に対応付けられる関連情報の一例を示している。例えば、上記のコンテンツ要素「領域Ａ」には関連情報「ＬｉｎｋＡ」、コンテンツ要素「領域Ｂ」には関連情報「ＬｉｎｋＢ」が対応づけられている。どのコンテンツ要素にどの関連情報を対応づけるかは任意であり、関連情報の内容も任意である。つまり、従来のクリッカブルマップのように、コンテンツの要素そのものに関連情報を依存させるのと比較して、関連情報設定の自由度や関連情報のメンテナンス性が極めて高い。

また、同一コンテンツ中の異なる要素に、それぞれ同一の関連情報を対応づけてもよい。この場合、例えば、スポンサーＡの番組配信の場合に、どのシーン、どの場所でユーザがクリックをしても、スポンサーＡの広告情報を公開するＷｅｂサイト５ａのＵＲＬをユーザ端末１に返信できる。あるいは、同じシーンの同じ表示エリアに複数のスポンサーの広告情報の複数の関連情報を登録することで、シーンに応じて異なる興味を抱く各視聴者へそれぞれ個別に関連情報提供を行うことができる。

後で詳説するが、本発明の好ましい実施形態では、各ユーザによって実際にコンテンツが視聴された後、各ユーザからの指定情報によってユーザの興味を解析し、その結果に応じて関連情報を設定する（図３）。ユーザの興味の動向を詳細に解析し、ユーザの興味にあった関連情報を事後的かつ効果的に登録することが、本発明の目的である。

コンテンツ情報管理サーバ２は、ユーザ端末１から受信した要素識別情報に合致する関連情報がコンテンツ情報管理ＤＢ２ａに存在した場合、その関連情報を検索し、これを指定情報を送ってきたユーザ端末１に返信する。

なお、ユーザ端末１から受信した指定情報に対応する関連情報がコンテンツ情報管理ＤＢ２ａに存在しない場合、その旨をＷｅｂサーバ５の管理者に通知し、関連情報を登録するよう促してもよい。

後述する本発明の好ましい実施態様では、指定情報を受信した後に関連情報の登録を開始するから、指定情報に対応する関連情報がＤＢ２ａに常に存在するとは限らない。ある指定情報に対応する関連情報が登録されたら、即時に、当該指定情報に対応する関連情報をユーザ端末１に返信するようにしてもよい。

関連情報の中には、アクセス先となるサーバ５へのアクセスのために必要な情報（例えばＵＲＬなど。以下、アクセス先情報と称す）の他、アクセス先を示すボタンその他のＧＵＩ用の画像データや、コンテンツ情報管理サーバ２から関連情報が消去されるべき日付を示す消去日付データが含まれている。消去日付データにより、コンテンツ情報管理サーバ２に情報提供期間を設定でき、ユーザへの情報提供期間をコントロールできる。

ユーザ端末１は、コンテンツ再生と並行して、コンテンツ情報管理サーバ２から適宜送られてくる関連情報を受信、収集整理し、視聴者の収集した情報の閲覧操作に従って、受信した関連情報に基づき、アクセス先情報表示ボタンをテレビ７に表示する。

ユーザ操作に応じてアクセス先情報表示ボタンが指定されると、受信した関連情報がボタンメニュー化してテレビ７に表示される。そして、表示されたアクセス先メニューからユーザが興味のあるボタンを選択し、そのボタンを押すと、ユーザ端末１は、押されたボタンに対応するＷｅｂサーバ５にアクセスする。

Ｗｅｂサーバ５は、アクセスしてきたユーザ端末１に対し、Ｗｅｂコンテンツを返信する。ユーザ端末１は、Ｗｅｂコンテンツを表示する。これにより、ユーザは、配信コンテンツ中で興味を抱いた要素（シーン、再生時点、画像コマなど）に対応づけられているＷｅｂコンテンツを閲覧することができる。

コンテンツが動画の場合、配信するコンテンツには、コンテンツを特定できる情報、例えばＩＤ情報：ｚｚｚと、その動画のフレーム毎に、例えば、フレーム番号（１、２、３、・・、ｆｆｆ）や時間情報（ｈｈ：ｍｍ：ｓｓ：ｘｘ）を一意に埋め込み、再生側で再生表示時にその情報を獲得できるようにしておき、例えば、視聴者が視聴しているときに特定のシーンを指定するトリガをかけたタイミングで、コンテンツＩＤ情報とそのシーンを特定する情報を獲得することができる。

ビデオストリームデータに予めコンテンツを特定する情報とシーンを特定する情報を埋め込み、再生時にそれらの情報を獲得することで、端末１側で興味のあるシーンを指定する情報を作成する。

ＭＰＥＧ２方式のシステムなどでは、タイムコードパラメータがあるので、配信時にタイムコードを埋め込み、再生時にその情報を読み込むことで、現行のビデオストリーム配信規格の流用でもフレーム特定を実現できる。ただし、ＤＶＤなどに録画すると、レコーダ側でタイムコードパラメータを書き換えてしまう可能性があるので、録画データを再生した場合には、コンテンツ情報管理サーバ２で管理している情報と不整合が生じてしまうという欠点がある。よって、録画の不可能な番組について、タイムコードパラメータをフレーム特定に使用するとよい。

コンテンツを特定するＩＤ情報は、例えば端末１側で、選んだチャンネルと視聴している時刻情報を取得し、コンテンツ情報管理サーバ２側でその情報から電子番組表（ＥＰＧ）に登録したコンテンツＩＤを呼び出すこともできる。

端末１は、コンテンツを再生しているＴＶ７の画面上にポインタカーソルを表示させ、そのポインタカーソル上で、画面上の指定点の位置を示すアドレス（ａ０、ｂ０）を取得する。視聴者は、視聴しているコンテンツにおける興味のある部分を画面上に指定する操作を行い、その指定された位置が、アドレス（ａ０、ｂ０）となる。

抽出された情報は、「click_info（ContentsID=ｚｚｚｚ,frameNo=ｆｆｆｆ,address= a0,b0）」といったテキストデータなどで記述された情報にまとめられ、端末１からＳＩＰ(Session Initiation Protocol)でコンテンツ情報管理サーバ２にメッセージ情報を送ることで、コンテンツ情報管理サーバ２に視聴者が興味を持ったコンテンツ内の特定の要素を識別する情報を伝達する。

プロトコルはＳＩＰでなくてもよいが、大量の視聴者の端末１とコンテンツ情報管理サーバ２とが不定期に情報交換する際、ＳＩＰであれば、全ての端末１とサーバ２とが常にコネクションを維持しなくて済み、負担が小さい。

コンテンツ情報管理サーバ２は、ユーザ端末１から送られてきたＳＩＰパケットから、当該ユーザ端末１のインターネット１０上のアドレスを特定し、ＳＩＰパケットの中に含まれるテキストメッセージ情報を取り出し、その情報（click_info）をコンテンツ情報管理ＤＢ２ａに問い合わせる。

コンテンツ情報管理ＤＢ２ａは、問い合わせ内容に基づいて、関連情報を抽出する。具体的には、ContentsID毎に登録されている、例えば、図２（ｃ）に示されたデータベーステーブルに対し、ユーザ端末１から送られてきたclick_info情報に記されているフレーム番号（例えばframeNo=002）をサーチし、002に対応付けられた領域（例えば、x1,y1|x2,y2またはx3,y3|x4,y4の２つの矩形領域）が、クリック点（例えばa1,b1）の範囲に含まれているかを判定し、含まれている場合は、その特定情報（例えばLink A）に関連付けられた関連情報を抽出する。なお、無意味な問い合わせを防ぐため、問い合わせのタイミングは、関連情報の登録後のみ許可するとよい。

上記は、ＳＩＰプロトコルによるメッセージ交換による関連情報伝達の一例であるが、伝達方法は、この例に限定するものではない。例えば、ユーザ端末１側からコンテンツ情報管理サーバ２側に、ユーザ端末１側で抽出された指定情報を送る際に、合わせて、所望の電子メールアドレスを一緒に送れば、サーバ２側は、コンテンツ情報管理ＤＢ２ａから引き出した関連情報を電子メール形式で、その電子メールアドレスに送信することができる。これにより、指定情報を送ったのとは別の端末（例えば携帯電話などの携帯端末）で、この関連情報を利用することができる。

図４は関連情報の具体例を示す。ここでは、ユーザ端末１側でクリックした特定のシーンの特定の要素（位置）に基づき、コンテンツ情報管理ＤＢ２ａが３つの関連情報を抽出している。

コンテンツ情報管理ＤＢ２ａには、問い合わせ情報に対し、複数のアクセス先情報が含まれる場合もある。例えば、あるシーンでクリックされたオブジェクトそのものへの情報のリンクであったり、例えば、ある番組のＣＭシーンでクリックがされた場合、そのＣＭシーン部分のスポンサー商品への情報リンクであったり、その番組のスポンサーへの情報リンクなど、クリックした点は一点でもオブジェクトへのリンクであったり、クリックされたシーンを含む所定範囲（例えばクリックされたシーンの前後のシーン）の関連情報を抽出する。

ＬｉｎｋＩＤはアクセス先情報を識別するＩＤで、何回もクリックされて同じ情報が戻ってきた場合に、ユーザ端末１側で同じ情報を重複して表示するのを避けるのに利用できる。

Ｌｅｖｅｌは、その関連情報の視聴者の注目度の相関を想定して設定するもので、シーン依存の高いオブジェクトをクリックしたときに、それに関連する領域の視聴者注目度の相関を想定して設定するもので、例えば番組全体の場合は、Ｌｅｖｅｌ＝３とする。

これにより、視聴者のユーザ端末１に表示する情報の優先度の表示を制御する。

Ｂｕｔｔｏｎは、視聴者のユーザ端末１に表示するバナーボタン（アクセス先を示すボタン）の画像データの格納先となるサーバのアドレスを示している。画像データのように、少しでもコンテンツ情報管理サーバ２に負担をかけるデータは、例えばスポンサー先のＷｅｂサーバ５に分散して保管する構成で、スポンサー自身でデータを自由に変更できるとともに、コンテンツ情報管理サーバ２の負担を軽減している。

そして、ユーザ端末１は、このアクセス先情報が返信されてきたら、自動的にアクセス先情報管理テーブルに登録するとともに、バナーボタン画像データをＷｅｂサーバ５あるいはコンテンツ情報管理サーバ２からダウンロードする。

Ｅｘｐｉｒｅは、この関連情報の有効期間を示し、例えば、スポンサー先のＷｅｂサーバ５からコンテンツを消去する前に関連情報をユーザ端末１から消去する場合に使用する。なお、図のＥｘｐｉｒｅ時刻は同じであるが、各々独立別個に設定することもできる。

コンテンツ情報管理ＤＢ２ａに登録する関連情報の範囲量（登録エリア＊時刻）やユーザ端末１の中で関連情報を保管する期間からスポンサーの広告料金を定めたり、実際にボタンを視聴者がユーザ端末１によってクリックした実績から、成功報酬を得る課金システムを構築してもよい。

＜第１実施形態＞
以下、動画コンテンツに対応する興味情報の作成の具体的態様を説明する。本実施形態において、興味情報の作成は、コンテンツ情報管理ＤＢ２ａへの関連情報の登録以前に行われるものとする。

コンテンツ情報管理サーバ２は、各ユーザ端末１から、ランダムなタイミングかつ内容の無関係な指定情報を受信する。コンテンツ情報管理サーバ２は、各ユーザ端末１から受信した指定情報を、順次コンテンツ情報管理ＤＢ２の問い合わせテーブルに保存していく。

図５は、問い合わせテーブルに保存された指定情報の一例を示す。問い合わせテーブルは、保存項目として、指定情報の作成日時、発信日時もしくは受信日時（クリックタイムスタンプ）、ユーザ識別情報（ユーザＩＤ）、コンテンツ識別情報（コンテンツＩＤ）、コンテンツ要素識別情報（フレーム番号およびフレーム中の領域のアドレス）のうち少なくとも１つを含む。

例えば、１段目と２段目の指定情報は、ユーザＩＤが「J086932」および「J02351」である別々のユーザが、コンテンツ「A-001-87320」という同じ動画コンテンツを視聴していて、当該コンテンツのフレーム番号「3456789」および「3456795」という近接したフレームの、「153:285」および「164:280」という近接した領域に興味を示し、これについて自己のユーザ端末１から指定情報を送信している。

３段目の指定情報は、１段目や２段目とほぼ同時刻に、ユーザＩＤ「J052679」というユーザが、これらとは別のコンテンツ「B-001-26542」を視聴していて、そのコンテンツに興味を示している。

４段目の指定情報は、１段目〜２段目と同じコンテンツを視聴していたユーザＩＤ「J000562」のユーザが、フレーム番号「3466515」というフレームの「423:388」という領域に興味を示し、これについて指定情報を送信している。

６段目の指定情報は、１〜４段目とは指定情報の作成日付が変わっており、１段目と同じユーザＩＤ「J086932」のユーザが、１段目とは別のコンテンツ「B-006-369」を視聴していて、そのコンテンツに興味を示している。

６段目の指定情報は、１〜２段目と同じコンテンツを、ユーザＩＤ「J016397」のユーザが、録画再生などの理由で１〜２段目とは異なる時間に視聴し、そのコンテンツに興味を示している。

図示のテーブルの保存項目は一例にすぎず、例えばフレーム番号の代わりにコンテンツ要素の再生位置ないし再生時点を特定する時間情報を設けてもよい。

問い合わせテーブルに保存された各指定情報は、保存開始から所定時間（例えば１週間）が経過すると、消去される。これは、時が経過するにつれて、ユーザのコンテンツに対する印象が薄れ、問い合わせテーブルの保存情報をユーザの興味の解析のための情報として利用する価値が減少するから、いつまでも無駄な保存を継続しないためである。

コンテンツ情報管理サーバ２は、マウスやキーボードなどの入力デバイスを介して、視聴者の興味を解析したいコンテンツの識別情報（コンテンツＩＤ）の入力を受け付ける。

コンテンツ情報管理サーバ２は、入力されたコンテンツＩＤを有する指定情報のみを、問い合わせテーブルから抽出する。

図６は、特定のコンテンツＩＤ「A-001-87320」に対応する指定情報を問い合わせテーブルから抽出した結果を例示する。無論、これ以外のコンテンツＩＤを入力しても、そのコンテンツＩＤに対応する指定情報が抽出される。

１〜３段目では、異なるユーザが同じコンテンツを視聴していて、ほぼ同時刻の近傍シーンで、ほぼ同位置に興味をもち、それを指定している。

４段目では、また別のユーザが１段目とは別のシーンに興味をもち、それを指定している。

６段目では、１段目と同じユーザが１段目とは別のシーンに興味をもち、それを指定している。

８段目では、また別のユーザがコンテンツをレコーダに録画しておき、別の日に再生し、１〜３段目のユーザが興味を持ったシーンの近傍位置に興味をもち、それを指定している。

この抽出結果から、指定されたコンテンツに対するユーザの興味の動向を示す興味情報を作成する。

まず、指定されたコンテンツの一定範囲（例えばコンテンツの最初のフレームから最後のフレームに至るまでの５００フレーム）を構成するフレームを所定個数（例えば１１フレーム）ごとに区分し、区分の結果得られたコンテンツの断片（フラグメント）を集計単位に設定する。そして、集計単位に属する最小再生単位すなわちフレームの各々に対応する指定情報の数の集計単位ごとの平均を算出する。つまり、指定のコンテンツの一定範囲に属するフレームに対応する指定情報の数の単純移動平均をとる。

図７は、集計単位ごとの指定情報の数の小計を、フレームの再生時間軸すなわち再生順に沿ってグラフ化した映像を例示する。小計のデータがプロットされる２次元座標の横軸はフレームの再生時間軸、縦軸は指定情報の小計である。このグラフ映像の作成は任意であるが、このグラフ映像を観れば、多数のユーザが興味を示したために指定情報の受信が集中した集計単位がどこかが分かる。

あるいは、指定のコンテンツの一定範囲に属するフレームに対応する指定情報の数の総計（トータルクリック数）を算出してもよいし、トータルクリック数を、上記一定範囲に属するフレーム総数で除算した値（コンテンツ興味指数）を算出してもよい。トータルクリック数は、指定のコンテンツに興味を示された回数、コンテンツ興味指数はフレームあたりの興味を示された回数を示す。これらの指数によってコンテンツ全体に対しユーザがどの程度興味を持ったかを大まかに評価できる。

次に、当該単純移動平均が極大となる集計単位（例えば図７でいう集計単位Ｘ近傍）に属するフレームを、指定のコンテンツから抽出し、これを興味フレームとする。

そして、抽出した興味フレームの各々に対応する指定情報に含まれるアドレス（指定アドレス）の集中する領域（興味領域）を解析する。

興味領域の特定のやり方は任意である。例えば、コンテンツ情報管理サーバ２は、フレーム全体を複数の小領域（例えば１００×１００で等分割された小領域）に分割し、各小領域に属する指定アドレスの総数をカウントする。その小領域の指定アドレスの数が、所定の閾値（例えば１００）を超えた場合、その小領域は指定アドレスが「密」であると判定する。この判定を小領域ごとに行い、最後に、「密」の小領域のうち、隣接するもの同士を統合し、この統合された領域が興味領域であると最終的に判断する。なお、この結果、アドレスの集中する複数の領域がそれぞれ孤立して（例えば画面の左端と右端に）存在する場合もありうる。これは、ユーザが興味を引く部分は、１つのフレームに１つだけとは限らず、あちこちに散在する場合もあるからである。

図８（ａ）では、例えばフレーム番号「１０００」のフレームに対応する指定情報のアドレスが集中する領域Ｒが存在していることが分かる。ここで注意すべきは、領域Ｒというのは、あくまで指定情報の集中度合いを示すに過ぎず、コンテンツの内容そのものとは切り離された情報であり、コンテンツの内容そのものと関連づけられて初めて意味をなす。

つまり、ユーザの興味を知るには、興味領域が特定されただけでは足りず、興味の解析者が、この領域がどのコンテンツのどの部分に相当するかを対比できて初めて意味が生まれる。

そこで、コンテンツ情報管理サーバ２は、指定コンテンツの興味フレームにおける興味領域の位置を示す情報、例えば図９（ａ）に示すような興味領域の外縁Ｒを、興味フレームＦ０に重畳した映像を作成し、この映像をディスプレイなどの表示装置に表示するとよい。

再生時間軸にそって前後に連続するフレーム群に対するユーザの興味の推移を解析したい場合は、次のようにする。

まず、図９（ａ）に示すように、コンテンツ情報管理サーバ２は、ユーザが注目するものと興味の解析者により推測されており、解析者による入力デバイスの操作に基づいて任意に指定された任意の興味フレーム（ユーザ指定の初期フレームＦ０）における任意の領域、あるいは任意に指定された興味フレーム（自動指定の初期フレームＦ０）で特定された興味領域を、初期の基準領域（Ｒ０）に設定する。好ましくは、自動指定の初期の基準領域Ｒ０は、興味領域Ｒである。

次に、当該初期の基準領域の特徴量を抽出する。特徴量とは、当該初期の基準領域内の画像データそのものから得られる静的な数値と当該初期の基準領域内の画像データ以外の外的要因も加味した動的な数値とがある。静的な数値とは、例えば、基準領域の色相、基準領域内の物体の形状もしくは物体の模様のパターン（テクスチャ）などである。物体が人物の顔であれば、特徴量は、人物の顔の特徴量（肌の色、瞳の色、顔の輪郭、目、鼻、口などの顔のパーツの相対的位置など）にできる。動的な数値の例は後述する。

基準領域は、初期の基準領域を起点に、コンテンツの再生時間軸に沿って追跡され、初期フレームよりも前または後にあるフレームごとに推移する。追跡の向き（再生時間軸に沿って前方へあるいは後方へ）は解析者の入力操作で任意に指定されうるものとする。

すなわち、まず、初期フレームの初期の基準領域Ｒ０から特徴量を抽出する。次に指定された追跡の向きに沿って初期フレームに隣接するフレーム（次フレーム、例えばＦ０の次に再生されるＦ１）において、上記初期の基準領域の特徴量と相関のある領域（相関領域）を特定する。例えば、初期の基準領域の色相、物体の形状・模様と所定の確からしさ以上（例えば７０％以上）で一致する領域を相関領域に特定する。

次に、特定された相関領域を、新たに基準領域に設定し、次フレーム（例えばＦ２）から当該基準領域の特徴量と相関のある領域を特定する。

以上のような基準領域の設定、相関領域の特定、相関領域の基準領域への再設定という手順を繰り返す。その際、基準フレームの基準領域の特徴量と次フレームの相関領域の特徴量との差分を、次フレームの基準領域の特徴量としてもよい。この差分の累積が、基準領域の再設定の度にだんだん大きくなっていくということは、初期の基準領域から現在の基準領域がだんだん異なったものになってきていることを示している。この差分の累積が、ある所定の許容値以上になり、初期の基準領域と現在の基準領域の同一性が損なわれていれば、初期の基準領域と現在の基準領域の相関はなくなったと判断してもよい。

初期の基準領域にある人物その他のオブジェクトがフレームアウトしたり、オブジェクトの著しい変化（例えば全身から顔へのアップ）が生じた場合、相関領域は特定できなくなるため、相関領域の追跡は終了する。

相関領域の追跡が終了したフレームで、上記と同様にして新たに初期の基準領域を設定し、その基準領域に基づいて相関領域の追跡を続行する。ここで初期の基準領域をどのようにするかは任意である。

ある初期の基準領域に基づいて相関領域を追跡できた注目フレームのフレーム番号（再生位置識別情報）、興味領域の位置座標（座標識別情報）、相関領域の位置座標（座標識別情報）は、興味情報として、指定情報と対応づけられ、興味情報ＤＢ２ｂに格納される。

興味情報としては、上記の他、初期の基準領域の位置座標、トータルクリック数、コンテンツ興味指数、指定情報の数の小計のグラフなどを含めてもよい。

ユーザの興味の解析者（関連情報の配信主）は、興味情報と実際の動画コンテンツを照らし合わせて、ユーザが動画中のどのシーンのどのオブジェクトに特に興味を抱いているかを知ることができる。

興味情報は、コンテンツ情報管理サーバ２その他のコンピュータに接続されたディスプレイの表示装置に表示されたり、可搬性記録媒体に記録されたり、あるいはプリンタを介して印刷媒体に印刷されるなどして、解析者に提供される。解析者は、この興味情報に応じて、各ユーザから送られてきた指定情報に対応する関連情報を登録する。

これは次のようにして実現される。例えば、端末１と同様にして、コンテンツ管理サーバ２の入力操作装置を介し、所望のコンテンツ（関連情報設定対象コンテンツ）の所望の１または複数のフレーム（関連情報設定対象フレーム）の各々における所望の座標点あるいは領域の位置（関連情報設定対象位置）を指定させる。指定される所望の座標点や領域の位置は、不特定多数の指定アドレスの中から任意に選択させてもよいが、その数が膨大であると非効率であるため、複数ユーザの嗜好が集中する興味領域の中から任意に選択させる方がよい。

興味情報ＤＢ２ｂは、指定された関連情報設定対象位置を有する興味情報に対応する指定情報を抽出する。コンテンツ情報管理ＤＢ２ａは、所望の関連情報の入力を受け付け、興味情報ＤＢ２ｂから抽出された指定情報と、入力された所望の関連情報とを対応づけて登録する。こうして、特定の興味情報を介在させた指定情報と関連情報の対応づけが行われる。

さらに、解析者からすれば、特定のオブジェクト（例えばドラマに出演しているある特定の俳優）をキーに、それに興味を示した不特定多数のユーザからの指定情報に対して一括して関連情報を登録できるのが便宜である。

例えば、ドラマに出演しているある特定の俳優に対し、興味情報が集中しているようであれば、配信主は、その俳優の所属芸能事務所のホームページアドレス、その俳優のブログのアドレス、その俳優の出演しているテレビ番組やＣＭなどを紹介するホームページアドレスを、関連情報に登録したい場合があるであろう。

これは次のようにして実現される。例えば、端末１と同様にして、コンテンツ管理サーバ２の入力操作装置を介し、所望のコンテンツ（関連情報設定対象コンテンツ）の所望の１または複数のフレーム（関連情報設定対象フレーム）の各々における所望の座標点あるいは領域の位置（関連情報設定対象位置）を指定させる。

直接関連情報設定対象フレームおよび関連情報設定対象位置が指定された場合、コンテンツ管理サーバ２は、入力操作装置から指定された各対象フレームの対象領域と一致する領域（完全に同一でなくてもよく所定の割合だけ重複する領域でもよい。例えば重複度が９０％以上であれば、一致するとみなす）を興味領域とする興味情報に対応する指定情報を興味情報ＤＢ２ｂから抽出する。

つまり、解析者が関連情報を対応づけたいと考える所望のフレームの所望の領域が興味情報として登録されていれば、その興味情報に対応する指定情報のすべて、すなわち当該対象フレームの対象領域に対する不特定多数のユーザの興味を示す情報が抽出される。

特定のオブジェクトに限定して対象領域を自動的に指定したい場合は、あるフレームに対象領域を設定し、それを基準領域として追従された相関領域を順次リンクし、リンクされた相関領域すべてを一括して対象領域に指定する。こうすると、一連のフレームに存在する同じオブジェクトを一括して対象領域に指定できる。

ある解析領域に対して何人のユーザの指定情報が抽出されるかは、対象領域のオブジェクトの属性に依存しうる。動画のあるシーンで、複数の人物が映し出されており、ある人物は有名な俳優であるが、他の人物は無名な俳優であれば、有名な俳優の方を解析領域に指定すると、指定情報は数多く抽出されるであろうが、無名な俳優の方を解析領域に指定すると、指定情報はあまり多くは抽出されないであろう。

そして、対象領域のオブジェクトの性質や、抽出された指定情報の数を考慮しながら、当該対象位置にどのような関連情報を対応づけるかを判断するとよい。

このように、動画コンテンツの中の特定のオブジェクトに対する指定情報から興味情報を作成し、興味情報を参照しながら任意の関連情報をその指定情報に対応づけ、ユーザの興味にあった関連情報を配信することができる。これにより、提供コンテンツの内容に対するユーザの興味に具体的に則した情報配信を行うことができる。

＜第２実施形態＞
コンテンツは動画に限らず、１または複数の静止画、文字情報、音声などでもよい。コテンツが複数の静止画や文字情報の場合、興味情報は、上記第１実施形態と同様となる。

コンテンツが音声の場合、興味情報には、フレーム番号や座標情報ではなく、音声の発声位置ないし発声時点が入る。特定の音声内容に対して多くのリスナーが反応すれば、指定情報は、その音声内容が流された時刻となる。

関連情報伝達システムの概略構成図 動画コンテンツおよび関連情報を例示した図 関連情報の設定タイミングの一例を示す図 関連情報を例示した図 問い合わせテーブルに保存された指定情報の一例を示す図 特定のコンテンツＩＤ「A-001-87320」に対応する指定情報を問い合わせテーブルから抽出した結果を例示する図 集計単位ごとの指定情報の数の小計を、フレームの再生順に沿ってグラフ化した映像を例示する図 特定のフレームにおける指定アドレスの分布状況を示す図 基準フレームＦ０の基準領域Ｒ０を基準に追跡される隣接フレームＦ１〜Ｆ１０の興味領域Ｒ１、・・Ｒ１０を例示した図

符号の説明

１：ユーザ端末、２：コンテンツ情報管理サーバ、３：コンテンツ配信部、５：Ｗｅｂサーバ

Claims (25)

1. １または複数の端末装置の各々に対して個別に提供されたコンテンツおよび前記コンテンツ内の所望の要素を、前記端末装置の各々にて指定させるステップと、
   前記端末装置の各々にて指定されたコンテンツおよび前記コンテンツ内の所望の要素を識別する指定情報を、前記端末装置の各々から受信するステップと、
   前記端末装置の各々から受信した指定情報を保存するステップと、
   前記保存された指定情報から、特定のコンテンツに関する指定情報を抽出するステップと、
   前記抽出された特定のコンテンツに関する指定情報に基づき、前記特定のコンテンツもしくは前記特定のコンテンツの特定の要素に対するコンテンツ利用者の興味の動向を示す興味情報を作成するステップと、
   前記興味情報と前記特定のコンテンツに関する指定情報とを対応づけて所定の興味情報データベースに登録するステップと、
   を含む興味情報作成方法。
2. 前記コンテンツは、静止画コンテンツ、動画コンテンツおよび音声コンテンツのうち少なくとも１つを含み、前記コンテンツ内の各要素は、前記静止画コンテンツ内の任意の領域、前記動画コンテンツの任意のフレームにおける任意の領域および前記動画コンテンツないし音声コンテンツ内の任意の再生位置もしくは再生時点のうち少なくとも１つを含む請求項１に記載の興味情報作成方法。
3. 前記コンテンツは、前記コンテンツを一意に識別するコンテンツ識別情報、前記動画コンテンツ内の各フレームもしくは前記音声コンテンツ内の各音声の再生位置もしくは再生時点を識別する再生位置識別情報、前記動画コンテンツ内の各フレームを識別するフレーム識別情報および前記動画コンテンツ内の各フレーム内の各領域の座標を識別する座標識別情報のうち少なくとも１つを含む請求項２に記載の興味情報作成方法。
4. 前記指定情報は、前記コンテンツに含まれるコンテンツ識別情報、前記動画コンテンツもしくは前記音声コンテンツ内から任意に指定された要素の再生位置もしくは再生時点を識別する指定再生位置識別情報、前記動画コンテンツ内から任意に指定されたフレームを識別する指定フレーム識別情報、前記動画コンテンツ内から任意に指定されたフレーム内の特定の領域の座標点を識別する指定座標識別情報、前記端末装置のユーザの識別情報および前記指定情報が作成された日時情報のうち少なくとも１つを含む請求項３に記載の興味情報作成方法。
5. 前記特定のコンテンツの再生開始位置から再生終了位置までを区分する所定の集計単位の各々における指定情報の数を小計するステップと、
   前記所定の集計単位の各々における指定情報の数の小計を、前記集計単位内に属する前記特定のコンテンツの再生単位の総数で平均することで、局所平均を算出するステップと、
   を含む請求項４に記載の興味情報作成方法。
6. 前記所定の集計単位ごとの局所平均を、前記特定のコンテンツの再生時間軸に沿って図表化した情報を作成するステップを含む請求項５に記載の興味情報作成方法。
7. 前記所定の集計単位の各々における指定情報の数の小計を前記特定のコンテンツ全体に渡って総計することで、指定情報総数を算出するステップを含む請求項５または６に記載の興味情報作成方法。
8. 前記指定情報総数を、前記特定のコンテンツの再生開始位置から再生終了位置までの再生単位の総数で平均した指定情報平均を算出するステップを含む請求項５〜７のいずれかに記載の興味情報作成方法。
9. 前記局所平均が極大となる集計単位に属する再生単位を抽出するステップを含む請求項５〜８のいずれかに記載の興味情報作成方法。
10. 前記特定のコンテンツは動画コンテンツでありかつ前記再生単位は前記動画コンテンツのフレームである場合、前記動画コンテンツ内のフレームのうち、前記局所平均が極大となる集計単位に属する１または複数のフレームである注目フレームを抽出するステップと、
    前記注目フレームに対応する指定座標識別情報の示す座標点が密の領域である注目領域を特定するステップと、
    を含む請求項９に記載の興味情報作成方法。
11. 前記動画コンテンツ内の前記注目フレームに前記注目領域を示す映像を重畳するステップを含む請求項１０に記載の興味情報作成方法。
12. 前記注目フレームのうち、所望のフレームを起点フレームに設定するステップと、
    前記起点フレームの所望の領域を基準領域に設定するステップと、
    前記設定された基準領域の特徴量と相関のある特徴量を有する領域である相関領域を、前記起点フレーム以後または以前のフレームで追跡するステップと、
    を含む請求項１０または１１に記載の興味情報作成方法。
13. 前記注目フレームのうち、所望のフレームを起点フレームに設定するステップと、
    前記設定された起点フレームにおいて前記特定された注目領域を基準領域に設定するステップと、
    前記設定された基準領域の特徴量と相関のある特徴量を有する領域である相関領域を、前記起点フレーム以後または以前のフレームで追跡するステップと、
    を含む請求項１０または１１に記載の興味情報作成方法。
14. 前記相関領域の追跡が不能になったフレームである追跡不能フレームが生じた場合、前記追跡不能フレームにおいて前記特定された注目領域を新たな基準領域に設定し、前記追跡不能フレーム以後または以前のフレームで前記設定された新たな基準領域の相関領域の追跡を続行するステップを含む請求項１３に記載の興味情報作成方法。
15. 前記起点フレームの基準領域の特徴量は、前記起点フレームの注目領域の色相、前記起点フレームの基準領域内の物体の形状、大きさもしくは位置、前記起点フレームの基準領域内のテクスチャの特徴量、前記起点フレームよりも前または後のフレームの特徴量と前記起点フレームの特徴量との差分のうち少なくとも１つを含む請求項１２〜１４のいずれかに記載の興味情報作成方法。
16. 前記興味情報は、前記図表化した情報を含む請求項６に記載の興味情報作成方法。
17. 前記興味情報は、前記指定情報総数を含む請求項７に記載の興味情報作成方法。
18. 前記興味情報は、前記指定情報平均を含む請求項８に記載の興味情報作成方法。
19. 前記興味情報は、前記注目フレームの再生位置識別情報および前記注目領域の座標識別情報のうち少なくとも１つを含む請求項１０に記載の興味情報作成方法。
20. 前記興味情報は、前記相関領域の座標識別情報を含む請求項１２〜１４のいずれかに記載の興味情報作成方法。
21. 前記端末装置の各々から収集した指定情報の保存後所定時間が経過した場合、前記保存された指定情報を消去するステップを含む請求項１〜２０に記載の興味情報作成方法。
22. 興味情報の抽出対象とする任意のコンテンツを指定するステップと、
    前記興味情報データベースから、前記指定されたコンテンツに対応する興味情報を抽出するステップと、
    前記興味情報データベースから抽出された興味情報を提供するステップと、
    を含む請求項１〜２１に記載の興味情報作成方法。
23. 前記抽出された興味情報のうち所望の興味情報に対応する所望の関連情報を、所定の関連情報データベースに登録するステップと、
    前記端末装置の各々から受信した指定情報に対応する興味情報を、前記興味情報データベースから抽出するステップと、
    前記興味情報データベースから抽出された興味情報に対応する関連情報を、前記関連情報データベースから抽出するステップと、
    前記関連情報データベースから抽出された関連情報を、前記端末装置の各々に伝達するステップと、
    を含む請求項２２に記載の興味情報作成方法。
24. １または複数の端末装置の各々に対して個別に提供されたコンテンツおよび前記コンテンツ内の所望の要素を識別する指定情報を、前記端末装置の各々から受信する手段と、
    前記端末装置の各々から受信した指定情報を保存する手段と、
    前記保存された指定情報から、特定のコンテンツに関する指定情報を抽出する手段と、
    前記抽出された特定のコンテンツに関する指定情報に基づき、前記特定のコンテンツもしくは前記特定のコンテンツの特定の要素に対するコンテンツ利用者の興味の動向を示す興味情報を作成する手段と、
    前記興味情報と前記特定のコンテンツに関する指定情報とを対応づけて所定の興味情報データベースに登録する手段と、
    を含む興味情報作成装置。
25. １または複数の端末装置の各々に対して個別に提供されたコンテンツおよび前記コンテンツ内の所望の要素を、前記端末装置の各々にて指定させる手段と、
    前記端末装置の各々にて指定されたコンテンツおよび前記コンテンツ内の所望の要素を識別する指定情報を、前記端末装置の各々から受信する手段と、
    前記端末装置の各々から受信した指定情報を保存する手段と、
    前記保存された指定情報から、特定のコンテンツに関する指定情報を抽出する手段と、
    前記抽出された特定のコンテンツに関する指定情報に基づき、前記特定のコンテンツもしくは前記特定のコンテンツの特定の要素に対するコンテンツ利用者の興味の動向を示す興味情報を作成する手段と、
    前記興味情報と前記特定のコンテンツに関する指定情報とを対応づけて所定の興味情報データベースに登録する手段と、
    を含む興味情報作成システム。

Images