JP2009070278A - コンテンツ類似性判定装置およびコンテンツ類似性判定方法 - Google Patents

Abstract

【課題】 本発明の目的は、複数の映像コンテンツ間の類似性を判定するコンテンツ類似性判定装置を提供することである。
【解決手段】 コンテンツの識別情報と、コンテンツの所定の時刻へのリンクおよび所定の時刻へのコメントを含むコメント情報と対応付けて記憶するコメントデータベース(1001)と、コメントデータベースから、任意の識別情報に対応するコメント情報の時間的な分布を示す分布情報を抽出する抽出部(1002)と、第１の識別情報と第２の識別情報とにそれぞれ対応する第１の分布情報および第２の分布情報を比較して、分布情報間の類似性を示す類似度を計算する計算部(1003)と、類似度に応じて、第１の識別情報と第２の識別情報との類似タイプを判定する判定部と、第１の識別情報、第２の識別情報、および、類似タイプを保持する類似テーブル(1006)と、を備えるコンテンツ類似性判定装置。
【選択図】 図１

Description

本発明は、コンテンツ間の類似性を判定する装置に関する。

テレビ放送やＤＶＤなどの映像コンテンツに対して、その感想や意見をコメントとして電子的なテキストファイルに記述してブログや掲示板などネットワーク上で公開する手法が多く取られている。さらに、そのテキストファイル内に、映像コンテンツのシーンへのリンクを埋め込むことにより、どのシーンについての記述なのかを明確に閲覧者に伝える手法が取られている。

しかし、テキストがリンクする元の映像コンテンツには、内容的にはほとんど同じ映像コンテンツであっても、いくつかの種類があり、それらが別々の映像コンテンツとして扱われている。例えば、セル版、レンタル版、エディション違いなどによって、型番が異なると、ほとんど同じ内容の映像コンテンツであっても、型番的には別々の映像コンテンツとして扱われる。

このため、映像コンテンツの管理が困難になると共に、それぞれに付与されたテキストをまとめて閲覧することも困難であった。

従来、一つの映像コンテンツについてカット点検出などによって自動的にシーン区間を設定することがある。しかし、この既存のシーン区間の中には、視聴者にとっては同一の話題であるシーン区間が複数のシーン区間に分割されている場合もある。そこで、隣接するシーン区間のコメント情報に共通する名詞の数を算出し、隣接するシーン区間を統合する技術が開示されている（例えば特許文献１参照）。
特開２００６−１５７６８７公報（第１４頁、図１１及び１２）

しかし、映像コンテンツ間の類似度を求める際に、特許文献１記載の技術を適用するのは難しいと考える。特許文献１の技術が、隣接するシーン区間の類似度を求めることを前提としているからである。

本発明の目的は、複数の映像コンテンツ間の類似性を判定するコンテンツ類似性判定装置を提供することである。

第１の発明は、コンテンツの識別情報と、当該コンテンツの所定の時刻へのリンクおよび当該所定の時刻へのコメントを含むコメント情報と対応付けて記憶するコメントデータベースと、前記コメントデータベースから、任意の識別情報に対応するコメント情報の時間的な分布を示す分布情報を抽出する抽出部と、第１の識別情報と第２の識別情報とにそれぞれ対応する第１の分布情報および第２の分布情報を比較して、分布情報間の類似性を示す類似度を計算する計算部と、前記類似度に応じて、前記第１の識別情報と前記第２の識別情報との類似タイプを判定する判定部と、前記第１の識別情報、前記第２の識別情報、および、前記類似タイプを保持する類似テーブルと、を備えるコンテンツ類似性判定装置である。

第２の発明は、前記抽出部は、前記コメント情報から、前記リンクした前記所定の時刻の分布を前記分布情報として抽出することを特徴とする第１の発明記載のコンテンツ類似性判定装置である。

第３の発明は、前記コメントの特徴的な語になりうる特徴語を予め保持する特徴語リストをさらに備え、前記抽出部は、前記コメント情報から、前記特徴語リスト中の所定の特徴語の出現する分布を前記分布情報として抽出することを特徴とする第１の発明記載のコンテンツ類似性判定装置である。

第４の発明は、前記判定部は、前記類似タイプに応じて、前記第１の識別情報を有する第１のコンテンツと、前記第２の識別情報を有する第２のコンテンツとを同じとして扱うための補正値を計算することを特徴とする第１の発明記載のコンテンツ類似性判定装置である。

第５の発明は、前記コンテンツのタイトルに使用されうる表記と、当該表記の重み付けを予め保持する類似候補検索ルールと、前記類似候補検索ルールを用いて、複数の前記識別情報のうち、前記判定部が判定すべき識別情報の候補を絞り込む絞込部をさらに備えることを特徴とする第１の発明記載のコンテンツ類似性判定装置である。

第６の発明は、あるユーザが類似であると判断した識別情報の組合せを記憶する組合せ記憶部と、前記組合せを用いて、複数の前記識別情報のうち、前記判定部が判定すべき識別情報の候補を絞り込む絞込部をさらに備えることを特徴とする第１の発明記載のコンテンツ類似性判定装置である。

第７の発明は、ユーザが目で見てわかる物体を特徴物として記憶している特徴物辞書と、前記コメントデータベースのコメント情報から前記特徴物の分布を抽出する特徴物分布抽出部と、特徴物が前記コンテンツの映像中に出現しているか否かをユーザに確認させる確認部とをさらに備え、前記判定部は、前記確認部の確認結果に応じて判定することを特徴とする第１の発明記載のコンテンツ類似性判定装置である。

第８の発明は、コンテンツの識別情報と、当該コンテンツの所定の時刻へのリンクおよび当該所定の時刻へのコメントを含むコメント情報と対応付けてコメントデータベースに記憶し、前記コメントデータベースから、任意の識別情報に対応するコメント情報の時間的な分布を示す分布情報を抽出し、第１の識別情報と第２の識別情報とにそれぞれ対応する第１の分布情報および第２の分布情報を比較して、分布情報間の類似性を示す類似度を計算し、前記類似度に応じて、前記第１の識別情報と前記第２の識別情報との類似タイプを判定し、前記第１の識別情報、前記第２の識別情報、および、前記類似タイプを類似テーブルに保持するコンテンツ類似性判定方法である。

本発明によれば、複数の映像コンテンツ間の類似性を判定するコンテンツ類似性判定装置を提供することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

（第１の実施形態）
一般にユーザが入手可能なコンテンツにはテレビ放送番組やＤＶＤが存在するが、本システムの実施形態をＤＶＤの同定を例にして説明する。しかし、本システムはＤＶＤのみならず、コンテンツの同定に利用できる。

一般にユーザが入手可能なＤＶＤには、映像の内容としてはほとんど同じだが、データとしては全く同じではないものが存在する。これは例えば同じ映画でも、
（１）発売元（またはＤＶＤ製造元）が異なるためにチャプタの作成方法などＤＶＤの管理情報が異なる場合、
（２）別々にフィルムからＤＶＤに変換した場合にデジタル信号としては異なる場合、
（３）販売目的に作成されたＤＶＤとレンタル用に作成されたＤＶＤの違い、
（４）完全版やディレクターズカットなど、編集の段階で特別なシーンが存在する場合
などの違いがあり、これらはＤＶＤメディアとしては別々として扱われている。

（１）は映画のストーリの観点での内容はほぼ同じである場合が多い。

（２）は再生速度の違いにより、映画の全体の長さが若干変化する場合があるが、内容はほぼ同じである場合が多い。

（３）は本編以外の得点映像などの違いがある場合があるが、本編の内容はほぼ同じであることが多い。

（４）は特別なシーンが挿入または欠落している場合があるが、それ以外のシーンではほぼ同じであることが多い。

またユーザにとっては、（１）、（２）、（３）の違いは無視できる場合が多く、また（４）の違いも特別なシーン以外はほとんど同じである。

これらの違いが問題にならないシステムとして、ユーザによるレビュー記事をコンテンツと同期させて表示するシステムがある。

例えば、特開2004-193871号公報には、ユーザ間でコンテンツを介したコミュニケーションをとることができるシステムが開示されている。このシステムによれば、ユーザはあるコンテンツのシーンのある時刻を指定して、そのシーンについてのコメントをネット上に投稿し、またそれらを閲覧するときにはコンテンツとコメントを同期させて表示することができる。

また他の例としては、本出願人が特許出願した特願2006-265095がある。このシステムによれば、ユーザはあるシーンへのリンクを挿入しながらレビュー記事を書いて公開することができ、これらの記事は容易にコンテンツと同期させて閲覧することができる。

これらのシステムにおいて、異なるユーザ間でコンテンツを同定する必要がある。

特開2006-139408号公報によると、コンテンツの特徴量を比較し、コンテンツを特定することができる。ここで利用している特徴量の例としては映像のカット点があるが、ＤＶＤなどのように映像が暗号化されている場合には映像のカット点を抽出することができない場合がある。

本実施形態では、ユーザによって付けられたコメントを元にコンテンツ間の類似度を判定する。

図１は、第１の実施形態に係るコンテンツ類似判定装置の概略構成図である。この装置は、コンテンツの時刻を指定して付与されたコメントを複数蓄積したコメントデータベース1001と、コンテンツ毎にコメントデータベース1001のコメントから特徴語やコメント数の分布を求めるコメント分布抽出部1002と、コンテンツ間のコメント分布同士を比較して類似度を求める分布類似度計算部1003と、類似度に応じてコンテンツ同士の類似タイプを判定する類似判定部1004と、判定された類似性を保持する類似メディアテーブル1006とを有する。

コメントデータベース1001には、ユーザが投稿したコメントが蓄積されている。ここに蓄積されているコメントは、特開2004-193871号公報に開示されている技術により作成されても良いし、本出願人が特許出願した特願2006-265095に記載の技術により作成されても良い。

図２は、コメントデータベース1001に蓄積されているコメントの例を示す。それぞれのコメント本文が、メディアＩＤ（メディア識別情報）、リンクされている時刻と組み合わされて保持されている。

これらのコメントを投稿するためのシステムを図３を用いて説明する。図３のコメント投稿システムはユーザが利用する複数のコメント作成閲覧装置3001と、インターネットなどのネットワーク3002と、投稿されたコメントを蓄積し、コンテンツの類似判定を行うコンテンツ類似判定装置3003からなる。

コメント作成閲覧装置3001の表示画面例を図４に示す。図４の表示画面は、コンテンツ閲覧画面4001、コンテンツ操作部4002、コメント記入部4003、コメント送信ボタン4004からなる。ユーザはコンテンツを見ながらある時刻を指定してその時刻に対するコメントを記入してコメントを投稿する。

投稿されたコメントは、図１のコメントデータベース1001に蓄積される。このとき指定されたシーンの時刻が図２における時刻となる。

図２のコメントにおいて、メディアＩＤが付与される仕組みを図５と図６を用いて説明する。ここで、メディアＩＤとは、ＤＶＤの場合は、バージョンの違いやエディションの違いが無くデータとして同一の場合に、同一のメディアＩＤが付与さる。一方、管理情報の違い、デジタル信号としては異なる場合、販売用とレンタル用の違い、および、完全版やディレクターズカットなどの違いでは、異なるＩＤが付与される。

図５は、メディアＩＤを付与するためのシステム構成図であり、図３のコメント投稿システムのコンテンツ類似判定装置3003の代わりにメディアＩＤ発行サーバ5003を有する。

図６は、メディアＩＤ発行サーバ5003の動作を説明するための図である。メディアＩＤ発行サーバ5003は、メディアＩＤとメディアの特徴量とタイトルからなるテーブルを保持している。

ユーザがコメント作成閲覧装置3001にＤＶＤを挿入し、メディアＩＤをメディアＩＤ発行サーバ5003に問い合わせる場合、コメント作成閲覧装置3001はまずＤＶＤの特徴量をＤＶＤメディアから抽出する。これは、ＤＶＤのある決められた場所のデータを一定の量だけ読み取ることで可能である。ＤＶＤメディアがデータとして同一なら同じ特徴量が得られる。データとして違う場合には異なる特徴量が得られる。このようにして得られた特徴量をメディアＩＤ発行サーバに送信する(ステップ１)。

メディアＩＤ発行サーバ5003では、受信した特徴量をテーブル内の特徴量と照合する（ステップ２）。もし同じ特徴量が見つからなければ、メディアＩＤ発行サーバ5003はメディアのタイトルを問い合わせる（ステップ３）。

コメント作成閲覧装置3001ではユーザにメディアのタイトルを入力するように表示され、ここでユーザはメディアのタイトルを入力する（ステップ４）。入力されたタイトルはメディアＩＤ発行サーバ5003に送信され、特徴量とタイトルの組に新たにユニークなメディアＩＤが発行されテーブルに登録される（ステップ５）。

メディアＩＤ発行サーバ5003はこの新たに発行されたメディアＩＤをコメント作成閲覧装置3001に送信する（ステップ６）。このようにしてメディアＩＤが発行されコメント作成閲覧装置3001はメディアＩＤを得ることができる。

また、ステップ２において、同じ特徴量が見つかる場合について説明する。ステップ１と同様にしてメディアの特徴量をメディアＩＤ発行サーバに送信する（ステップ７）。ステップ２と同様にして受信した特徴量をテーブル内の特徴量と照合する（ステップ８）。もし同じ特徴量が見つかった場合には、その特徴量をコメント作成閲覧装置3001に送信する（ステップ９）。

このようにして、すでに同じ特徴量がメディアＩＤ発行サーバ5003内のテーブルに登録されている場合には、メディアＩＤを得ることができる。またメディアＩＤによりメディアＩＤ発行サーバ5003に問い合わせることで、そのメディアのタイトルも得ることができる。

ただし、本実施形態のためには必ずしもメディアのタイトルは必要ではなく、タイトルを入力するステップ３、ステップ４は無くとも良い。この場合はメディアＩＤ発行サーバ5003が保持するテーブルはメディアＩＤと特徴量の組となる。

以上のようにして、図１におけるコメントデータベース1001には、コメント作成閲覧装置3001から入力された図２に例を示したコメントが蓄積される。これらのコメントは、メディアＩＤ毎に区別されたＤＶＤに対して複数のユーザが利用する複数のコメント作成閲覧部により作成されることになる。この場合、コンテンツの内容がほとんど同じだがメディアＩＤが異なるＤＶＤ間では、コメントの内容やそのコメントが付与される時刻もほとんど同様の内容が付与されることが期待できる。

次に図１におけるコメント分布抽出部1002の機能を説明する。コメント分布抽出部1002は、コメントデータベース1001に蓄積されたコメントをメディアＩＤ毎にコメントを分析して、コメントの分布を調べる。

図７は、コメント分布抽出部1002の概略構成図である。コメント分布抽出部1002は、特徴語抽出部7001と、リンク分布抽出部7002を有する。

特徴語抽出部7001では、メディアＩＤ毎に付与されているコメントから特徴的な語を抽出する。抽出する方法としては、ＴＦ・ＩＤＦによる特徴語の抽出方法が利用できる。

また別の方法としては、特徴語となるような語のリストをあらかじめ保持しておくことも可能である。図１６に特徴語となるリストの例を示す。このような語が検出されると特徴語として抽出する。

これにより特徴的な語が抽出されると、その抽出された特徴語が記述された元のコメントがリンクされている時刻から、抽出された特徴語がコンテンツのどこに出現するかの時刻と共に抽出することができる。

たとえば、図２のコメントの例で、特徴語として「海」、「主人公」、「山」、「ヒロイン」が抽出された場合、図８のように、メディアＩＤと特徴語と時刻の組で抽出することができる。

ここで、同じ特徴語がある一定以上近い時刻に出現する場合に同じ時刻に出現したとする。例えば５秒よりも近い時刻に出現する場合に同じ時刻に出現したと考える。例えば２つの同じ特徴語が時刻0:10:12と0:10:14に出現する場合、0:10:13の時刻に２回その特徴語が出現したとする。これをメディアＩＤ毎に時刻順に並べることにより、時間軸上に特徴語の分布を得ることができる。

また、他の特徴語分布抽出手法としては、本出願人が特許出願した特願2006-086035にて開示した単語の評価値分布を求める方法でもよい。

これにより図９に例示すようにメディアＩＤ毎に特徴語の分布を得ることができる。この例では、メディアＩＤ「10001」のＤＶＤにおいて、特徴語「海」が時刻0:10:12の位置に頻度１００で出現し、特徴語「山」が時刻1:20:30の位置に頻度５０で出現することを意味している。また、メディアＩＤ「10002」のＤＶＤにおいて、特徴語「海」が時刻0:12:15の位置に頻度105で出現することを意味している。

ここで抽出された特徴語の頻度は、このメディアＩＤに対するコメントの量が多いとき頻度も多くなるため、コメントの量の影響を受けないようにコメントの量で頻度を正規化する。つまり、全体のコメントの量に対する割合の分布を計算する。

以上のようにして特徴語抽出部7001で特徴語の分布を得ることができる。

異なるメディアＩＤを持つＤＶＤでも、ユーザが見てほとんど同じような内容のコンテンツの場合は、これらの特徴語の分布が類似することが期待できる。

リンク分布抽出部7002では、メディアＩＤ毎にすべてのコメントのリンクの時刻の分布を抽出する。一定以上近い時刻にリンクが出現する場合に、同じ時刻に出現したとする。例えば５秒よりも近い時刻に出現する場合に同じ時刻に出現したと考える。例えば時刻0:10:12と0:10:14にリンクされたコメントが存在する場合、0:10:13の時刻にリンクされたコメントが２つ存在すると計算することが出来る。また他のリンクの分布を抽出する方法としては上記特願2006-086035による方法でもよい。

これにより図１０に例示するようにメディアＩＤ毎にリンクの分布を得ることが出来る。この例では、メディアＩＤ「10001」のＤＶＤにおいて、時刻0:10:12の位置に200のコメントが存在し、時刻1:20:30の位置に80のコメントが存在していることを意味している。またメディアＩＤ「10002」のＤＶＤにおいて、時刻0:12:15の位置に215のコメントが存在することを意味している。

ここで抽出されたリンクの頻度は、このメディアＩＤに対するコメントの量が多いとき頻度も多くなるため、コメントの量の影響を受けないようにコメントの量で頻度を正規化する。つまり、全体のコメントの量に対する割合の分布を計算する。

以上のようにしてリンク分布抽出部7002でリンクの時刻の分布を得ることが出来る。コメントが記入される時刻はそのコンテンツの内容に対応するため、ユーザがコメントを記入したくなるシーンと特に記入したくないシーンが存在する。そのため、コメントの分布はコンテンツに応じて多い部分と少ない部分に別れる。異なるメディアＩＤを持つＤＶＤでも、ユーザが見てほとんど同じような内容のコンテンツの場合は、これらのコメントの分布が類似することが期待できる。

以上のようにしてコメント分布抽出部1002によりコメントの分布が抽出される。ここでは例として特徴語の分布とリンクの分布を抽出する方法を説明したが、このほかにコメントから抽出される時間軸上に分布が現れる特徴量であれば、利用できる。たとえば、コンテンツがＴＶ番組の場合、コメントに「ＣＭ」と書き込まれることが期待できる。この「ＣＭ」などの特定の語がどこに出現するかを抽出してもよい。また特定の登場人物の名前の分布なども利用できると考えられる。

コメント分布抽出部1002により抽出されたコメントの分布の模式図を図１１に示す。このようにある特徴語の分布やリンクの分布が得られる。

これらはコンテンツの内容が同じであれば、メディアＩＤが異なっても同じシーンに対してある程度類似した時刻に出現することが期待できる。

次に分布類似度計算部1003で異なるメディアＩＤを持つコンテンツに付けられたコメント間の類似度を計算する。この計算にはコメント分布抽出部1002で抽出された特徴語の分布とリンクの分布を比較して計算する。

この類似度は、各分布の類似度の和で計算される。例えば比較する分布として各特徴語とリンクの分布を用いる場合、それらの分布間の類似度の和で求められる。また各分布に対して信頼度が異なるため、各分布の話ではなく重み付きの平均とすることも出来る。このときの重みとして分布の信頼度を使うことができる。

比較する２つのメディアの類似度Eは、各分布の類似度Piとそれぞれの信頼度Ciを用いて E=1/ΣiCi*Σi{Ci*Pi} とすることが出来る。iはそれぞれの分布を表し、各特徴語の分布や、リンクの分布を表す。信頼度Ciは各分布の信頼性に基づいて一定の値を設定してもよいし、各分布の頻度が高い時に信頼できるとして頻度の合計を用いてもよい。

また、必ずしも特徴語の分布とリンクの分布の全てを使わなくてはならないわけではない。必要に応じて信頼度Ciを0とすることで、実現可能である。

次に各分布の類似度Piの計算方法について説明する。Piは２つの分布間の類似度である。例えば図１１のように得られる場合、分布の類似度は２つの分布の重なる面積で定義することが出来る。全く同じように分布する場合、Piは最大値をとる。Piが最大値をとることは、異なるメディアIDを持つコンテンツ間で、同様のコメントがユーザにより書き込まれ、同様の語が用いられて同様のシーンに同様の割合の数だけコメントが存在することを意味している。異なるメディアIDのコンテンツ間でも、内容は同じ場合があるため、内容がほぼ同じコンテンツ間ではPiは大きい値をとることが期待できる。

またPiの計算方法として、分布をベクトルとして比較し、内積をとることも出来る。これは、分布の時刻をある一定区間で区切り、一定区間ごとの数値をトルとしてとらえて内積を計算する。分布が全く同一の場合は最大値１をとる。これによりPiを計算することが可能となる。

以上のようにして求めた各分布間の類似度Piから、比較する2つのメディアの類似度Eを求めることが出来る。

次に類似判定部1004を説明する。類似判定部1004は２つの異なるメディアＩＤを持つコンテンツの類似性を判定する。内容がほぼ同じコンテンツでもデータとして異なる場合は異なるメディアＩＤが付いている。

ここでは、類似タイプとして
(1)内容がほぼ同じで、時刻もほぼ同じ
(2)内容がほぼ同じだが、コンテンツの全体の長さが違う
(3)内容がほぼ同じだが、片方にしかないシーンがある
の判断を行う。これらのコメントの分布を模式的に表した図を図１５に示す。コメントの分布が(A)と(B)のような関係の場合、類似タイプは(1)である。(B)と(C)のような関係の場合、類似タイプは(2)である。(C)と(D)のような関係の場合、類似タイプは(3)である。これらの判定方法を以下で説明する。

まず、類似判定部1004は比較するメディアID間の類似度Eを求める。このEがある閾値を超えた高い値をとるとき、(1)であると判断し、類似メディアテーブル1006に登録する。類似メディアテーブル1006の例を図１２に示す。

類似メディアテーブルはメディアID、類似メディアID、類似タイプ、補正値からなるテーブルで、類似タイプ(1)の場合はメディアIDiの欄に類似メディアIDj、類似タイプ(1)と登録され、メディアIDjの欄に類似メディアIDi、類似タイプ(1)と登録される。図１２の例ではメディアID10001はメディアID10002と内容がほぼ同じで、時刻もほぼ同じであることが登録されている。

もし(1)でない場合、次に(2)の可能性を検討する。これはコンテンツの内容がほぼ同じだが、コンテンツの全体の長さが違う場合である。このため、コンテンツ全体の長さで正規化した上で分布類似度計算部1003においてEを計算しなおす。これは、例えばメディアIDiのコンテンツ全体の長さが2:00:00であり、メディアIDjのコンテンツ全体の長さが2:10:00である場合、片方の時刻に全体の時刻を正規化してからEを再計算する。具体的には分布間の類似度Piを計算する時に、特徴語やリンクが出現する時刻の位置を全体の長さで正規化して補正する。この例で、例えばjのコンテンツに出現する分布をiにあわせて補正する場合、時刻を2:00:00/2:10:00倍することで、補正できる。

これにより映画のフィルムからDVDを作成する場合に再生速度の違いからコンテンツ全体の長さが異なるDVDが作成されたとしても、これらの類似度Eは高い値をとることが期待できる。

これにより類似度Eがある閾値を超える値をとる場合、(2)であるとし、類似メディアテーブル1006に登録する。

メディアIDiの欄に類似メディアIDj、類似タイプ(1)と登録され、メディアIDjの欄に類似メディアIDi、類似タイプ(2)と登録される。補正値は、全体の長さを正規化した値が登録される。jの欄には類似メディアiをjに補正するための数値として、上の例では2:10:00/2:00:00の値が登録され、iの欄には類似メディアjをiに補正するための数値として、2:00:00/2:10:00の値が登録される。

図12の例ではメディアID10001はメディアID10003と内容がほぼ同じで、ID10003のメディアの時刻を0.8倍することでID10001のメディアと同じと扱うことができ、また逆にID10003のメディアの時刻を1.25倍することでID10001のメディアと同じと扱うことができることが登録されている。

もし(1)でも(2)でもない場合に類似タイプ(3)の可能性を検討する。(3)は片方にだけ存在する特徴語の分布から判断することが出来る。特徴語の分布として、コンテンツの全体の長さが長い方にだけ存在するシーンではそのシーンに付けられたコメントは存在しない方のコメントには現れない、そこで、そのように片方にだけしか出現しない特徴語とその時刻位置をコメント分布抽出部1002の結果から得ることが出来る。片方のメディアにだけある閾値を超える量の特徴語があらわれ、もう片方のメディアにはほとんど出現しない場合、その時間位置をシーンカットの候補としてメディアから抽出する。

また(3)は図１６の特徴語リストの中で「このシーンはカットされている」という語が現れる場所として判断することもできる。

このような場所は長い方のメディアから複数現れることが考えられる。この場所からある一定区間だけカットして分布を求めなおす。例えばシーンカットの候補となる時刻のある位置を１分だけカットした場合のコメント分布を再抽出する。このカットする一定区間は必要に応じてさらに短い時間に設定することも可能である。再抽出されたコメント分布を用いて分布類似度計算部1003において類似度E'を再計算する。再計算前の類似度Eと再計算された類似度E'を比較して、類似度が高くなる場合、E'でカットした位置をシーンカットと判定する。さらにこの作業を繰り返し、シーンカットの候補からある一定区間をカットしてから求めたE''とE'を比較することで、Eの最大値と、カットされているシーンの時間位置を抽出することが出来る。このようにして最終的にも止まったEの最大値がある閾値を超えている場合、類似タイプ(4)と判定し、類似メディアテーブル1006に登録する。

短い方のメディアIDiの欄に類似メディアIDj、類似タイプ(-3)と登録され、長い方のメディアIDjの欄に類似メディアIDi、類似タイプ(3)と登録される。

補正値は、iとjの欄には共にカットされている時刻とその長さの組が登録される。図１２の例では、メディアID10004の0:09:15から３分間と、1:11:23から２分間だけカットすることでメディアID10001と同じと扱うことが出来ることが登録されている。

以上のようにして類似判定部1004では、異なるメディアIDを持つコンテンツ同士がどのように補正されることで同じとして扱うことが可能であるかが判定され、結果が類似メディアテーブル1006に蓄積される。

以上のようにしてコンテンツの類似性を判定するアルゴリズムは、様々なタイミングで起動し、類似メディアテーブル1006の結果を更新することができる。

例えばユーザが書き込みを行ってコメントデータベース1001が更新されたときに行われても良いし、ユーザが類似メディアテーブル1006を参照するときに行われても良いし、例えば１日に１回決められた時刻など定期的に行われても良い。

また、コメントのリンクはメディアＩＤが付いているために、当初類似判定を間違えたり類似タイプが正しくなくても、コメントデータベースのコメント量が増えるにしたがって、類似メディアテーブルが更新されると、それに応じて以下に説明するコメントの表示方法にただちに反映させることができる。

このようにして判定されたコンテンツの類似性の利用方法について説明する。図３のコンテンツ類似判定装置3003においてコンテンツ間の類似が判定されると、その結果はユーザが利用するクライアントであるコメント作成閲覧装置3001に反映されることになる。

コメント作成閲覧装置3001でのコメントとコンテンツを同期して表示させる例を図１３に示す。図１３のユーザインターフェースでは、コンテンツ閲覧画面13001、コンテンツ操作部13002、コメント表示部13003、メディアＩＤ表示部13004からなる。

ユーザがＤＶＤを挿入すると、図６を用いて説明したメディアＩＤの取得の手順に従って、メディアＩＤを得ることができる。このメディアＩＤが図１３のメディアＩＤ表示部13004に表示されている。図１３の例ではメディアＩＤは10001となっている。このとき、図１のコンテンツ類似判定装置の類似メディアテーブル1006に蓄積されている図１２の類似メディアテーブルから、メディアＩＤ10001は、メディアＩＤ10002と類似タイプ１、メディアＩＤ10003と類似タイプ２、メディアＩＤ10004と類似タイプ−３であることがわかる。

例えば図１３で、コンテンツ閲覧画面13001に時刻0:10:12のシーンが表示されると、それと同期して表示可能なコメントがコメント表示部13003に表示される。

まず、メディアＩＤ10001に対してリンクを付けられたコメントが表示される。図１３ではメディアＩＤ10001の0:10:12の時刻位置に付けられた「海のシーンはよかったね。主人公がすごくかっこよかった。」というコメントがコメントデータベース1001からダウンロードして表示される。

次に、メディアＩＤ10002が類似タイプ(1)の場合は、ユーザが10001のメディアを閲覧していても、10002に対して付けられたコメントを表示することができる。図１３の例では、メディアＩＤ10002の0:10:12の時刻位置に付けられた「この海のシーンはどういう意味？」というコメントが表示されている。

次に、メディアＩＤ10003が類似タイプ(2)の場合は、ユーザが10001のメディアを閲覧していても、10003に対して付けられたコメントの時刻を補正することで表示することができる。例えば図１２にあるように、10003の時刻を0.8倍することで10001の時刻に変換できると判定されている場合は、10003の0:12:45に付けられたコメントを10001の0:10:12のシーンで表示すればよいことがわかるため、図１３では「10003,0:12:45 この海のシーンが感動的でした。」のコメントが表示されている。

次に、メディアＩＤ10004が類似タイプ(3)の場合は、ユーザが10001のメディアを閲覧していても、10004に対して付けられたコメントの時刻を補正することで表示することができる。例えば図１２にあるように、10004の0:09:15から３分間と1:11:23から2分間だけカットすることで10001の時刻に変換できると判定されている場合は、10004の0:13:12に付けられたコメントを10001の0:10:12のシーンで表示すればよいことがわかるため、図１３では「10004,0:13:10 海のシーンでの主人公最高！」のコメントが表示されている。

このようにして、メディア間の類似性を判定することで、異なるメディアを用いて書かれたコメントを相互に利用可能となる。

このようにして、ユーザがメディアＩＤ10001のコンテンツを利用しようとしているときに、類似メディアテーブル1006で類似のメディアＩＤが発見された場合には、即座にコメント表示部13003に他のメディアＩＤにリンクされているコメントを表示するのではなく、例えばユーザに「メディアＩＤ:10002,タイトル：○○に付けられたコメントも表示しますか？」というメッセージを表示して、同期させて表示するコメントがリンクしているメディアＩＤをユーザに確認しても良い。

また単に、どのメディアＩＤに付けられたコメントを表示するかをユーザに確認するだけでなく、ユーザが持っているメディアと類似したメディアが存在することをユーザに通知することもできる。例えば画面に「あなたのメディアはシーンがカットされている可能性があります」、「あなたのメディアよりも長いエディションがあります」などと表示することにより、ユーザに「ディレクターズカット版」や「完全版」などのほかのエディションが存在することを知らせることも可能となる。

また他の利用方法としては、図１４のように、コメントをクリックしてそれがリンクしているコンテンツのシーンを表示させる例が考えられる。図１４は、コンテンツ閲覧画面14001、コメント表示部14002、から構成される。図１４の例では、コメントデータベースからダウンロードしたコメントが表示されており、そのコメント内には３つのシーンへのリンク14003が含まれている。ユーザがメディアＩＤ10001のコンテンツを持っていて、リンク14003がメディアＩＤ10001のシーンへのリンクである場合には、問題なくこのシーンリンクをクリックすることにより、コンテンツ閲覧画面14001にその時刻のシーンを表示させることができる。しかし、シーンリンク14003がコンテンツＩＤ10001で無い場合、コメント作成閲覧装置3001はコンテンツ類似判定装置3003にコンテンツＩＤ10001のシーンに補正可能かどうかを問い合わせ、可能である場合、図１２に例示した類似メディアテーブルから類似タイプと補正値を得ることができる。

これにより、もしシーンリンク14003が他のメディアＩＤのシーンへのリンクであったとしても、そのリンク先の時刻を類似メディアテーブルを元にリンクＩＤ10001の時刻に補正することで、10001のシーンを表示することができる。

このようにして類似メディアテーブル図１２と図６のメディアＩＤ発行サーバ5003が保持するテーブルが得られることで、オンライン上のＤＶＤ管理データベースを構築することができる。これにより例えばDVDのタイトルをメディア認識だけで知ることができる。例えば、流通するＤＶＤの量がわかったり、どのＤＶＤの売り上げを合計して計算すべきかなどのマーケティングに利用することもできる。

（第２の実施形態）
図１７は、第２の実施形態に係るコンテンツ類似判定装置の概略構成図である。第１の実施形態との違いは、類似候補検索部17007をさらに持つことである。よって、この部分のみ説明する。

類似候補検索部17007はコンテンツの類似候補を検索する。第１の実施形態ではコンテンツ間の類似度を比較する場合、全てのメディアＩＤの組み合わせについて比較しなければならなかった。第２の実施形態では類似候補検索部17007があらかじめ類似性のあるコンテンツの候補を絞り込むことで、時間が短縮される効果がある。

類似候補の検索には、コンテンツのタイトルを使うことができる。コンテンツのタイトルは図６で説明したようにしてメディアＩＤ発行サーバ5003がメディアＩＤとの組で蓄えているものとする。

このときの類似候補検索部17007の構成を図１８に示す。類似候補検索部17007は類似候補検索ルール170071を持つ。この類似候補検索ルール170071に保存されるルールの例を図１９に示す。このルールは表記と重みからなる。

表記において、＊は任意の文字列が入る。{/d}は任意の数字がはいる。ここで、便宜上ローマ数字だけでなく漢数字やギリシャ数字もこれに含まれるとする。重みはタイトルがこのルールにマッチしたときに類似候補と考えられるものに１、考えられないものに-1の重みを与えている。

例えば、タイトル「秋のソナタ通常版」と「秋のソナタ特別版」はこのルールにマッチし、類似性が高いと考えられ、類似候補とすることができる。また、「秋のソナタ２」と「秋のソナタ３」は「*{/d}」のルールにマッチするため、コンテンツの類似性は低いとして、類似候補から外すことができる。

また、別の類似候補の検索方法として、ユーザが類似性を認めたことを利用することができる。この場合、類似候補検索部17007は類似性記憶部170072を持つ。このときの類似候補検索部17007の構成を図２０に示す。

第１の実施形態によると、図１３において、ユーザに「メディアＩＤ:10002,タイトル：○○に付けられたコメントも表示しますか？」というメッセージを表示して、同期させて表示するコメントがリンクしているメディアＩＤをユーザに確認しても良い、となっている。

この時に、ユーザは自分が保持しているメディアとこのメディアＩＤ10002のメディアが類似していると判断していることになる。

例えばユーザが「メディアＩＤ：10001,タイトル：街の灯」のメディアを用いて図１３の様に利用している場合、「メディアＩＤ：10002,タイトル：CityLitesに付けられたコメントも表示しますか？」と表示されると、ユーザはそれらが類似したコンテンツであることを判断することができる。

これによりこのユーザはメディアＩＤ：10001とメディアＩＤ：10002のメディアが類似していると判断していることになる。この情報が類似性記憶部170072に送信され記憶される。他のユーザも同様にしてこの２つのメディアに類似性があると判断すると、これらのメディアを類似候補とすることができる。

以上のようにして、類似候補を検索することができる。

（第３の実施形態）
図２１は、第３の実施形態に係るコンテンツ類似判定装置の概略構成図である。第１の実施形態との違いは、さらにコメントデータベース1001のコメントから特徴物の分布を抽出する特徴物分布抽出部1008と、特徴物が映像中に出現することをユーザに確認する特徴物確認部1009と、を備えることである。

特徴物分布抽出部1008の働きを説明する。特徴物分布抽出部1008は、内部に特徴物辞書を保持する。この辞書には目で見てわかる物体が登録されており、例えば「赤い靴」、「船」、「車」などの物体が登録されている。逆に「うれしい」、「かなしい」、「こわい」、「緊迫感」などの目で見てもわからないものは登録されていない。これにより、分布類似度計算部1003で抽出された特徴語のうち、特徴物のみを抽出することができる。これにより特徴物が時間軸上のどのシーンに登場するかの分布を抽出することができる。これらはユーザが見ればシーン上に映っていることを確認することができるものである。

ユーザがコメント作成閲覧装置3001において、あるメディアを利用しようとしたときに、それと類似するメディアが第１の実施例のようにして判定される。これらを類似メディアとするかどうかを特徴物確認部1009で確認することができる。

第１の実施形態のようにして、判定された類似メディアから抽出された特徴物の分布を、図１２の類似メディアテーブル1006でユーザが保持しているメディア用に時刻を補正する。これにより、正しく類似性が判定されている場合には、特徴物の分布がユーザが利用しているメディアでも登場することになる。

次に、特徴物確認部1009はコメント作成閲覧装置3001に特徴物の語を表示しながら、そのシーンの映像を表示する。

図２２にこのときの画面例を示す。図２２のユーザインターフェースでは、コンテンツ閲覧画面22001、特徴物提示部22003、ユーザが閲覧中のコンテンツのメディアＩＤを表示するメディアＩＤ表示部22004、特徴物を確認するYes/Noボタン22005からなる。

例えばユーザがメディアＩＤ10009のコンテンツを持っているとき、特徴物確認部1009は、特徴物を順に表示し、例えば図２２にあるようにメディアＩＤ10001の0:10:12に出現する特徴物が「犬」である場合、それを10009に補正した時刻に「「犬」は写っていますか？」と表示する。

ユーザは特徴物提示部22003に表示される特徴物が映像中に表示される場合Yesボタンを押し、確認できない場合にはNoボタンを押す。

これにより、10001の特徴物が10009に多くが確認できる場合は、類似判定部1004は10001と10009が類似していると判定する。

これにより、コメント内に登場する特徴物を利用して、コンテンツの類似性を判定することが可能となる。

この例では、第１の実施形態を基に、類似メディアテーブル1006を利用して確認を行ったが、第２の実施形態での類似候補検索の結果のメディア間でこのようなユーザによる確認を行うこともできる。

本実施形態によると、対象となるメディアはＤＶＤのみならず放送番組を録画したコンテンツとメディアＩＤ発行サーバ5003が保持するＤＶＤとの類似性を判定することもできる。

また、本実施形態の利用例としては、コメントをコンテンツと同期させて表示するのみならず、ユーザが所有するメディアのエディションを知ることもできる。

つまり、テレビ放送で映像を録画した場合、ＣＭをカットした本編について第３の実施形態を適用すると、放送されたのが「通常版」なのか「特別版」なのかをユーザが知ることができる。

上述した実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の趣旨を逸脱しない範囲であれば、適宜組合わせ及び変更することができることはいうまでもない。

第１の実施形態に係るコンテンツ類似判定装置の概略構成図。 コメントデータベース1001に蓄積されているコメントの例。 コメント投稿システムの概略構成図。 コメント作成閲覧装置3001の表示画面例。 メディアＩＤ付与システムの概略構成図。 メディアＩＤ発行サーバ5003の動作を説明するための図。 コメント分布抽出部1002の概略構成図。 図２のコメントから抽出したメディアＩＤと特徴語と時刻との組のリスト。 メディアＩＤ毎の特徴語の分布リスト。 メディアＩＤ毎のリンクの分布リスト。 コメント分布の模式図。 類似メディアテーブル。 コメント作成閲覧装置3001でのコメントとコンテンツを同期表示させる例。 クリックしたコメントがリンクしているコンテンツのシーンを表示させる例。 コメントの分布を模式的に表した図。 特徴語リストの例。 第２の実施形態に係るコンテンツ類似判定装置の概略構成図。 類似候補検索ルール170071を有する類似候補検索部17007の概略構成図。 類似候補検索ルール170071の例。 類似性記憶部170072を有する類似候補検索部17007の概略構成図。 第３の実施形態に係るコンテンツ類似判定装置の概略構成図。 特徴物の語を表示しながら、そのシーンの映像を表示する例。

符号の説明

1001 コメントデータベース
1002 コメント分布抽出部
1003 分布類似度計算部
1004 類似判定部
1006 類似メディアテーブル
1008 特徴物分布抽出部
1009 特徴物確認部
3001 コメント作成閲覧装置
3002 ネットワーク
3003 コンテンツ類似判定装置
5003 メディアＩＤ発行サーバ
7001 特徴語抽出部
7002 リンク分布抽出部
13001 コンテンツ閲覧画面
13002 コンテンツ操作部
13003 コメント表示部
13004 メディアＩＤ表示部
14001 コンテンツ閲覧画面
14002 コメント表示部
14003 シーンリンク
17007 類似候補検索部
170071 類似候補検索ルール
170072 類似性記憶部
22001 コンテンツ閲覧画面
22003 特徴物提示部
22004 メディアＩＤ表示部
22005 Yes/Noボタン

Claims (8)

1. コンテンツの識別情報と、当該コンテンツの所定の時刻へのリンクおよび当該所定の時刻へのコメントを含むコメント情報と対応付けて記憶するコメントデータベースと、
   前記コメントデータベースから、任意の識別情報に対応するコメント情報の時間的な分布を示す分布情報を抽出する抽出部と、
   第１の識別情報と第２の識別情報とにそれぞれ対応する第１の分布情報および第２の分布情報を比較して、分布情報間の類似性を示す類似度を計算する計算部と、
   前記類似度に応じて、前記第１の識別情報と前記第２の識別情報との類似タイプを判定する判定部と、
   前記第１の識別情報、前記第２の識別情報、および、前記類似タイプを保持する類似テーブルと、
   を備えるコンテンツ類似性判定装置。
2. 前記抽出部は、前記コメント情報から、前記リンクした前記所定の時刻の分布を前記分布情報として抽出することを特徴とする請求項１記載のコンテンツ類似性判定装置。
3. 前記コメントの特徴的な語になりうる特徴語を予め保持する特徴語リストをさらに備え、
   前記抽出部は、前記コメント情報から、前記特徴語リスト中の所定の特徴語の出現する分布を前記分布情報として抽出することを特徴とする請求項１記載のコンテンツ類似性判定装置。
4. 前記判定部は、前記類似タイプに応じて、前記第１の識別情報を有する第１のコンテンツと、前記第２の識別情報を有する第２のコンテンツとを同じとして扱うための補正値を計算することを特徴とする請求項１記載のコンテンツ類似性判定装置。
5. 前記コンテンツのタイトルに使用されうる表記と、当該表記の重み付けを予め保持する類似候補検索ルールと、
   前記類似候補検索ルールを用いて、複数の前記識別情報のうち、前記判定部が判定すべき識別情報の候補を絞り込む絞込部をさらに備えることを特徴とする請求項１記載のコンテンツ類似性判定装置。
6. あるユーザが類似であると判断した識別情報の組合せを記憶する組合せ記憶部と、
   前記組合せを用いて、複数の前記識別情報のうち、前記判定部が判定すべき識別情報の候補を絞り込む絞込部をさらに備えることを特徴とする請求項１記載のコンテンツ類似性判定装置。
7. ユーザが目で見てわかる物体を特徴物として記憶している特徴物辞書と、
   前記コメントデータベースのコメント情報から前記特徴物の分布を抽出する特徴物分布抽出部と、
   特徴物が前記コンテンツの映像中に出現しているか否かをユーザに確認させる確認部とをさらに備え、
   前記判定部は、前記確認部の確認結果に応じて判定することを特徴とする請求項１記載のコンテンツ類似性判定装置。
8. コンテンツの識別情報と、当該コンテンツの所定の時刻へのリンクおよび当該所定の時刻へのコメントを含むコメント情報と対応付けてコメントデータベースに記憶し、
   前記コメントデータベースから、任意の識別情報に対応するコメント情報の時間的な分布を示す分布情報を抽出し、
   第１の識別情報と第２の識別情報とにそれぞれ対応する第１の分布情報および第２の分布情報を比較して、分布情報間の類似性を示す類似度を計算し、
   前記類似度に応じて、前記第１の識別情報と前記第２の識別情報との類似タイプを判定し、
   前記第１の識別情報、前記第２の識別情報、および、前記類似タイプを類似テーブルに保持するコンテンツ類似性判定方法。