JP2008242838A - 説明表現付加装置、プログラムおよび説明表現付加方法 - Google Patents

Abstract

【課題】映像コンテンツを通じたコミュニケーションを活性化する。
【解決手段】複数のシーンを含むシーン集合、例えば映像コンテンツを視聴中にブックマークしたシーンの集合が入力された場合に、当該シーン集合の各シーンに対応する当該シーンの特徴を表すメタ情報の集合における各メタ情報間の距離が最大となる組み合わせを、各シーンを区別するための説明である説明表現として選択し、シーン集合に含まれるシーン毎に選択された説明表現を当該シーン毎に付加する。これにより、各シーン同士を区別することができる説明表現７０をそれぞれのシーン６０に付加することができるので、視聴中にブックマークしたシーン６０に対する感想や意見などの書き込みを容易にすることができるとともに、書き込んだテキストと映像コンテンツとを同期させて読みやすくし、映像コンテンツを通じたコミュニケーションを活性化することができる。
【選択図】 図２１

Description

本発明は、説明表現付加装置、プログラムおよび説明表現付加方法に関する。

近年、ＴＶ番組やＤＶＤなどの映像コンテンツに対して、その感想や意見などのテキスト（アノテーション）をコメント情報として記述してブログ機能や掲示板機能などを用いてネットワーク上で公開する手法が多く採られている。このように映像コンテンツに対する感想や意見などのコメント情報をブログ機能や掲示板機能などを用いて多数の人に公開することができることにより、映像コンテンツを視聴しながら多数の人とコメント情報を介したコミュニケーションを図ることができる。

しかしながら、コメント情報をテキストとして記述する場合、映像コンテンツを再生しながら気になったシーンについてのテキストを記述する場合が多く、テキストを書いている間に次のシーンを見逃してしまう、テキストを書くたびに一時停止していると映像コンテンツにのめりこめない、などの問題がある。

そこで、コメント情報をテキストとして記述する場合においては、映像コンテンツの視聴中は気になったシーンをブックマークするだけにとどめ、映像コンテンツについての視聴が終わった後でブックマークを利用してコメント情報（テキスト）を記述する、ということが行われている。

一方、映像コンテンツに対するコメント情報内に、当該映像コンテンツのシーンへのリンクを埋め込むことにより、どのシーンについてのコメントなのかを明確に閲覧者に伝える手法も採られている（例えば、特許文献１参照）。この技術によれば、シーンについてのテキストが映像再生と連動して表示されるため、閲覧者は、映像コンテンツの視聴中に視聴しているシーンに対する感想や意見などのテキストを閲覧することができる。

特開２００４−３６４１８４号公報

ところで、映像コンテンツについての視聴が終わった後でブックマークを利用して映像コンテンツに対する感想や意見などのテキストを記述する場合において、ブックマークとして時刻情報しか提示しない場合には、ブックマーク（時刻情報）がどのシーンであったかを判別することができる確率は低い。一方、ブックマークとして時刻情報に加えてサムネイル画像も提示する場合には、ブックマーク（時刻情報およびサムネイル画像）がどのシーンであったかを判別することができる確率は高くなる。すなわち、この場合、サムネイル画像が特徴的な人物や背景が映るサムネイル画像であれば判別し易くなる。しかしながら、必ずしも特徴的なサムネイル画像であるとは限らないため、ブックマーク（時刻情報およびサムネイル画像）がどのシーンであったかを判別することができないこともある。このようにブックマーク（時刻情報およびサムネイル画像）がどのシーンであったかを判別することができない場合には、ユーザはブックマークを１つ１つ確認して所望のシーンを探さなければならず、利便性が損なわれる。

一方、特許文献１に記載のようにコメント情報内に映像コンテンツのシーンへのリンクを埋め込む場合においては、シーンの詳細についてはリンク先に進めば良いため、リンク先のシーンの説明が記載されないことが多い。そのため、他のユーザが映像コンテンツに対する感想や意見などのテキストを読む場合には、リンクがどのシーンについてのものであるかを一瞥しただけでは分かりにくい、という問題がある。

本発明は、上記に鑑みてなされたものであって、視聴中にブックマークしたシーンに対する感想や意見などの書き込みを容易にするとともに、書き込んだテキストと映像コンテンツとを同期させて読みやすくし、映像コンテンツを通じたコミュニケーションを活性化することができる説明表現付加装置、プログラムおよび説明表現付加方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の説明表現付加装置は、映像コンテンツの所定時刻のシーンと当該シーンの特徴を表すメタ情報の集合との組み合わせであるシーンメタ情報を格納する格納手段と、複数の前記シーンを含むシーン集合を入力する入力手段と、前記シーン集合に含まれる各シーンに対応するメタ情報の集合を前記シーンメタ情報から検索する検索手段と、前記シーン集合に含まれる各シーンに対応する前記メタ情報の集合に含まれる前記各メタ情報間の距離が最大となる組み合わせを、前記各シーンを区別するための説明である説明表現として選択して前記シーン毎に付加する付加手段と、を備えることを特徴とする。

また、本発明のプログラムは、映像コンテンツの所定時刻のシーンと当該シーンの特徴を表すメタ情報の集合との組み合わせであるシーンメタ情報を記憶部に格納する格納機能と、入力部を介して受け付けた複数の前記シーンを含むシーン集合を入力する入力機能と、前記シーン集合に含まれる各シーンに対応するメタ情報の集合を、前記記憶部に格納されている前記シーンメタ情報から検索する検索機能と、前記シーン集合に含まれる各シーンに対応する前記メタ情報の集合に含まれる前記各メタ情報間の距離が最大となる組み合わせを、前記各シーンを区別するための説明である説明表現として選択して前記シーン毎に付加する付加機能と、をコンピュータに実行させることを特徴とする。

また、本発明の説明表現付加方法は、映像コンテンツの所定時刻のシーンと当該シーンの特徴を表すメタ情報の集合との組み合わせであるシーンメタ情報を記憶部に格納する格納工程と、入力部を介して受け付けた複数の前記シーンを含むシーン集合を入力する入力工程と、前記シーン集合に含まれる各シーンに対応するメタ情報の集合を、前記記憶部に格納されている前記シーンメタ情報から検索する検索工程と、前記シーン集合に含まれる各シーンに対応する前記メタ情報の集合に含まれる前記各メタ情報間の距離が最大となる組み合わせを、前記各シーンを区別するための説明である説明表現として選択して前記シーン毎に付加する付加工程と、を含むことを特徴とする。

本発明によれば、複数のシーンを含むシーン集合、例えば映像コンテンツを視聴中にブックマークしたシーンの集合が入力された場合に、当該シーン集合の各シーンに対応する当該シーンの特徴を表すメタ情報の集合における各メタ情報間の距離が最大となる組み合わせを、各シーンを区別するための説明である説明表現として選択し、シーン集合に含まれるシーン毎に選択された説明表現を当該シーン毎に付加する。これにより、各シーン同士を区別することができる説明表現をそれぞれのシーンに付加することができるので、視聴中にブックマークしたシーンに対する感想や意見などの書き込みを容易にすることができるとともに、書き込んだテキストと映像コンテンツとを同期させて読みやすくすることができるので、映像コンテンツを通じたコミュニケーションを活性化することができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる説明表現付加装置、プログラムおよび説明表現付加方法の最良な実施の形態を詳細に説明する。

［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図２２に基づいて説明する。

［１．システムの構成］
図１は、本発明の第１の実施の形態にかかるコメント閲覧システム１００のシステム構築例を示す模式図である。コメント閲覧システム１００は、映像コンテンツへのリンクを持つコメントを共有するシステムであって、図１に示すように、ユーザ間で共有する映像コンテンツへのリンクを持つコメントを蓄積するサーバコンピュータであるコメント蓄積装置１に対してＩＰ（Internet Protocol）を利用したインターネットなどのネットワーク２を介して、ユーザが映像コンテンツへのリンクを持つコメントを書くためのクライアントコンピュータであるコメント作成閲覧装置３が複数台接続されたサーバクライアントシステムを想定する。加えて、本実施の形態においては、ユーザがコメントを書く際にブックマークしたシーンなどに説明表現を付加する機能を発揮する説明表現付加装置４がネットワーク２に接続されている。

コメント蓄積装置１、コメント作成閲覧装置３および説明表現付加装置４は、例えば、一般的なパーソナルコンピュータである。なお、実際には、コメント蓄積装置１およびコメント作成閲覧装置３は、より多く存在しているが、図１では説明を簡素化するために、１台のコメント蓄積装置１と２台のコメント作成閲覧装置３とを示している。コメント蓄積装置１は、インターネットでの掲示板サーバやブログサーバとして実現されていても良い。

図２は、コメント閲覧システム１００を構成する各装置のモジュール構成図である。コメント蓄積装置１、コメント作成閲覧装置３および説明表現付加装置４は、情報処理を行うＣＰＵ（Central Processing Unit）１０１、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）１０２、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）１０３、各種データベースとして機能するとともに各種のプログラムを格納するＨＤＤ（Hard Disk Drive）１０４、記憶媒体１１０を用いて情報を保管したり外部に情報を配布したり外部から情報を入手するためのＤＶＤドライブ等の媒体駆動装置１０５、ネットワーク２を介して外部の他のコンピュータと通信により情報を伝達するための通信制御装置１０６、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示部１０７、並びに操作者がＣＰＵ１０１に命令や情報等を入力するためのキーボードやマウス等のポインティングデバイスである入力部１０８等から構成されており、これらの各部間で送受信されるデータをバスコントローラ１０９が調停して動作する。

このようなコメント蓄積装置１、コメント作成閲覧装置３および説明表現付加装置４では、オペレータが電源を投入するとＣＰＵ１０１がＲＯＭ１０２内のローダーというプログラムを起動させ、ＨＤＤ１０４よりＯＳ（Operating System）というコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１０３に読み込み、このＯＳを起動させる。このようなＯＳは、オペレータの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。ＯＳのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのＯＳ上で走る動作プログラムをアプリケーションプログラムと呼んでいる。なお、アプリケーションプログラムは、所定のＯＳ上で動作するものに限らず、後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

ここで、コメント蓄積装置１は、アプリケーションプログラムとして、コメント蓄積プログラムをＨＤＤ１０４に記憶している。この意味で、ＨＤＤ１０４は、コメント蓄積プログラムを記憶する記憶媒体として機能する。

コメント作成閲覧装置３は、アプリケーションプログラムとして、コメント作成閲覧プログラムをＨＤＤ１０４に記憶している。この意味で、ＨＤＤ１０４は、コメント作成閲覧プログラムを記憶する記憶媒体として機能する。

説明表現付加装置４は、アプリケーションプログラムとして、説明表現付加プログラムをＨＤＤ１０４に記憶している。この意味で、ＨＤＤ１０４は、説明表現付加プログラムを記憶する記憶媒体として機能する。

一般的には、コメント蓄積装置１、コメント作成閲覧装置３および説明表現付加装置４のＨＤＤ１０４にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭやＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等の各種方式のメディア等の記憶媒体１１０に記録され、この記憶媒体１１０に記録された動作プログラムがＨＤＤ１０４にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体１１０も、アプリケーションプログラムを記憶する記憶媒体となり得る。さらには、アプリケーションプログラムは、例えば通信制御装置１０６を介して外部から取り込まれ、ＨＤＤ１０４にインストールされても良い。

コメント蓄積装置１は、ＯＳ上で動作するコメント蓄積プログラムが起動すると、このコメント蓄積プログラムに従い、ＣＰＵ１０１が各種の演算処理を実行して各部を集中的に制御する。コメント作成閲覧装置３は、ＯＳ上で動作するコメント作成閲覧プログラムが起動すると、このコメント作成閲覧プログラムに従い、ＣＰＵ１０１が各種の演算処理を実行して各部を集中的に制御する。説明表現付加装置４は、ＯＳ上で動作する説明表現付加プログラムが起動すると、この説明表現付加プログラムに従い、ＣＰＵ１０１が各種の演算処理を実行して各部を集中的に制御する。コメント蓄積装置１、コメント作成閲覧装置３および説明表現付加装置４のＣＰＵ１０１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。

ここで、図３はコメント閲覧システム１００の機能構成を示す構成図である。

コメント作成閲覧装置３は、図３に示すように、コメント作成閲覧プログラムに従うことにより、コメント作成部１３と、通信部１４と、コンテンツ蓄積部１５と、コメント同期再生部１６とを備える。コメント作成部１３は、ユーザが映像コンテンツへのリンクを持つコメント情報を作成する機能を発揮する。通信部１４は、コメント蓄積装置１および説明表現付加装置４と通信する機能を発揮する。コメント作成閲覧装置３のコンテンツ蓄積部１５は、データベースとして機能するＨＤＤ１０４に映像コンテンツ情報を蓄積する機能を発揮する。図４は、コンテンツ蓄積部１５に蓄積されるコンテンツ情報のデータ構成の一例を示す模式図である。図４に示すように、例えば映像コンテンツＭ１はタイトルが「ローマの休日」であり、ＴＶ番組であったことを表している。コンテンツ識別子は、本放送・再放送の差、ＴＶ番組とＤＶＤの差など、映像コンテンツ自体は同一とみなせる場合は同じであってもよい。コメント同期再生部１６は、通信部１４でコメント蓄積装置１から受信したコメント情報と映像コンテンツを同期させて表示する機能を発揮する。

コメント蓄積装置１は、コメント蓄積プログラムに従うことにより、通信部１１と、コメント蓄積部１２とを備える。通信部１１は、コメント作成閲覧装置３および説明表現付加装置４と通信する機能を発揮する。コメント蓄積部１２は、各コメント作成閲覧装置３で作成されたコメント情報を蓄積する機能を発揮する。図５は、コメント蓄積部１２に蓄積されるコメント情報のデータ構成の一例を示す模式図である。図５に示すように、コメント識別子Ｃ１は、06/10/01 10:00にＡ郎が「ドレスのスカートの下では靴を脱いで足を遊ばせている［Ｍ１，00:04:38］」という内容でコメント蓄積場所Ｂ１に投稿したことを表している。また、コメント本文に含まれる［Ｍ１，00:04:38］というシーンリンクは映像コンテンツＭ１の時刻00:04:38というシーンに言及している。

説明表現付加装置４は、説明表現付加プログラムに従うことにより、通信部４１と、説明表現付加部４２とを備える。通信部４１は、コメント蓄積装置１およびコメント作成閲覧装置３と通信する機能を発揮する。説明表現付加部４２は、そのシーンに何が映っているかというメタ情報をシーン毎のラベル集合という形で付加し、付加したラベル集合を用いてユーザがブックマークしたシーンなどに説明表現を付加する機能を発揮する。より詳細には、説明表現付加部４２は、それぞれのシーンに付加されたラベル集合に対してラベル同士の距離（メタ情報間の距離）を計算し、ラベル同士の距離が最大となる組み合わせを説明表現として選択することで、シーン同士が区別できる理解しやすい説明をそれぞれのシーンに付加することを実現する。

［２．コメント作成閲覧装置３のコメント作成機能］
まず、コメント作成閲覧装置３のコメント作成機能について説明する。コメント作成閲覧装置３のコメント作成部１３は、図６に示すような画面５０を表示部１０７に表示させることにより、ユーザが映像コンテンツへのリンクを持つコメントを書くための書き込みＵＩ（User Interface）機能を提供している。

図６に示すように、画面５０には、コンテンツ表示部５１、コンテンツ操作部５２、テキスト情報編集部５３、「送信」ボタン５４、「リンク挿入」ボタン５５を備えている。

コンテンツ表示部５１は、コンテンツ蓄積部１５によりＨＤＤ１０４に蓄積された映像コンテンツデータの再生を行い、ユーザに映像コンテンツを閲覧させる部分である。

コンテンツ操作部５２は、コンテンツ表示部５１において映像コンテンツを再生させたり一時停止させたり、再生速度を変化させる操作を行う部分である。

テキスト情報編集部５３は、コンテンツ表示部５１に表示される映像コンテンツデータに付加しようとするコメント（アノテーション）となるテキスト情報をユーザに入力させるとともに、コメントとなるテキスト情報を表示するためのものである。ここで、アノテーションとは、映像コンテンツに対して加えていく「注釈」のようなものである。例えば、映像コンテンツに対して「女性が泣いているシーンは、感動した。」のような情報が、付加される。すなわち、入力部１０８などにより入力された文字がテキスト情報編集部５３に表示される。そして、最終的に入力を確定する場合には、「送信」ボタン５４を入力部１０８などにより押す。これにより、入力された文字列（コメント情報）は、時刻情報等と共にネットワーク２を通じてコメント蓄積装置１に転送される。

また、「リンク挿入」ボタン５５は、映像コンテンツのシーンへのリンクをテキスト情報に挿入する際に用いるものである。より具体的には、ユーザはコンテンツ操作部５２で映像コンテンツの再生時刻を操作し、シーンへのリンクを挿入したい時刻を表示させ、「リンク挿入」ボタン５５を選択することにより、テキスト情報編集部５３のカーソルの位置にシーンへのリンクを挿入することができる。このようなシーンのリンクは、図４ではアイコンであるシーンリンク６０として表示されている。

ここで、シーンリンク６０は、ユーザが「リンク挿入」ボタン５５を選択することによりテキスト情報編集部５３に挿入されるとしたが、これに限るものではなく、ユーザがテキスト情報を記入する際に、コンテンツ表示部５１に表示されていたシーンをシーンリンク６０としても良い。例えば、ユーザは映像コンテンツの再生をコンテンツ操作部５２によって一時停止し、そのシーンについてのテキスト情報を入力部１０８などにより記入する。この場合、記入されたテキスト情報はそのシーンへのシーンリンク６０と関連付けられてコメントとして作成される。つまり、ユーザが、一時停止をしてテキスト情報を記入し始めた場合に、その先頭に一時停止しているシーンへのシーンリンク６０を挿入する。この場合、「リンク挿入」ボタン５５は必ずしも必要ない。

このようなシーンリンク６０は、映像コンテンツを同定することができるコンテンツＩＤと、映像コンテンツのリンク先の時刻情報とを有している。このシーンリンク６０の例を図７に示す。図７に示すように、シーンリンク６０は、コンテンツＩＤ６０１、代表時刻６０２、開始時刻６０３、終了時刻６０４からなっている。この例では、コンテンツＩＤ６０１が“１２３４”を持つ映像コンテンツの先頭から12000ミリ秒から開始して、先頭から20000ミリ秒で終了するシーンへのリンクであり、代表となるシーンは先頭から15000ミリ秒であることがわかる。この代表となるシーンである代表時刻６０２は、シーンリンク６０をアイコンで表示する代わりにシーンのサムネイル（縮小画像）で表示する場合の時刻として利用することができる。

なお、図７の例では、代表時刻６０２、開始時刻６０３、終了時刻６０４の３つの時刻を指定しているが、これらは同一の時刻でも良い。これらが同一の時刻である場合には、後述する映像コンテンツとコメントを同期させて表示する場合に、シーンを開始する時刻として用いれば良い。また、この場合は、シーンリンク６０は、この代表時刻６０２、開始時刻６０３、終了時刻６０４のどれか１つだけで構成されていても良い。

以上のようにして生成されるコメント情報の例は、図６のテキスト情報編集部５３にあるような映像コンテンツへのシーンリンク６０を持つコメント情報となる。そして、ユーザは、映像コンテンツへのシーンリンクを持つコメント情報が完成すると、コメント情報の送信を宣言する「送信」ボタン５４を入力部１０８などで選択してコメント情報をコメント蓄積装置１に送信する。

［３．説明表現付加装置４の説明表現付加部４２の説明］
次に、本実施の形態において特徴的な機能を発揮する説明表現付加装置４の説明表現付加部４２について詳述する。ここで、図８は説明表現付加部４２の構成を示すブロック図、図９は説明表現付加部４２におけるシーンメタデータ抽出処理の流れを示すフローチャートである。

図８に示すように、説明表現付加部４２は、コメント収集部２１と、テキスト切出し部２２と、シーン抽出部２３と、単語の重み付け部２４と、ラベル抽出部２５と、シーンメタ情報格納部２６と、シーンメタ情報ＤＢ２７と、シーン集合入力部２８と、シーンラベル検索部２９と、シーンラベル付加部３０と、嗜好情報ＤＢ３１と、シーン説明表現表示部３２とを備えている。

コメント収集部２１は、映像コンテンツへのシーンリンク（映像コンテンツＩＤと時刻情報）を持つコメント情報をネットワーク２上の各コメント蓄積装置１から収集する（図９のステップＳ１）。図１０は、コメント蓄積場所情報のデータ構成の一例を示す模式図である。図１０に示すように、コメント蓄積場所Ｂ１はタイトルが「掲示板Ｐ」であり、ＵＲＬとして「http://ppp.ppp.ppp.ppp/」にアクセスするとコメント情報を取得できることを表している。コメント収集部２１は、図１１のフローチャートに示すように、ネットワーク２上のコメント蓄積場所であるコメント蓄積装置１を検索し（ステップＳ１１）、コメント蓄積場所がある場合には（ステップＳ１２のＹｅｓ）、コメント蓄積場所からコメント情報を検索する（ステップＳ１３）。検索されたコメント蓄積場所にコメント情報がある場合には（ステップＳ１４のＹｅｓ）、コメント情報の本文に含まれるシーンリンクを検索し（ステップＳ１５）、シーンリンクがある場合には、（ステップＳ１６のＹｅｓ）、映像コンテンツへのシーンリンク（映像コンテンツＩＤと時刻情報）を持つコメント情報を収集する（ステップＳ１７）。全てのコメント蓄積場所の全てのコメント情報についてステップＳ１３〜Ｓ１７の処理を実行した場合には（ステップＳ１２のＮｏ）、処理を終了する。

テキスト切出し部２２は、収集した映像コンテンツへのシーンリンクを持つコメントに含まれるすべてのシーンリンク周辺の部分的なテキスト情報の切り出しを行なう（図９のステップＳ２）。シーンリンク周辺のテキスト情報の切り出し方法としては、単純にシーンリンクの前後のｎ個の単語を切り出す、シーンリンクが含まれる一文を切り出すなどのさまざま方法が考えられる。例えば、シーンリンクの前に「・・・ドレスのスカートの下では、靴を脱いで足を遊ばせている。」というテキスト情報がある場合において、単純にシーンリンクの前後の５単語を切り出す方法では、「を遊ばせている」が切り出される。

シーン抽出部２３は、物理的には異なるが論理的には同一であると考えられるシーンを同じシーンとしてまとめて抽出する（図９のステップＳ３）。シーン抽出部２３におけるシーンの同一性判定は、時刻の差を用いてもよいし、切り出した部分的なテキスト情報に含まれる単語集合の類似度を用いてもよい。

単語の重み付け部２４は、シーン抽出部２３によってまとめられたシーンに関連した部分的なテキスト情報の形態素解析や意味クラス解析を行い、シーン毎の単語の重みの集計を行なう（図９のステップＳ４）。単語の重み付け部２４による単語の重み付けは、単純に出現頻度を元に計算してもよいし、単語の品詞や意味クラスによってあらかじめ設定しておいてもよい。また、そのシーンに出現する別の単語との共起や「○○のシーン」のようにシーンの説明などの場合には、重み付けを補正するようにしても良い。また、同義語はまとめてしまってもよい。

ここで、図１２はシーン毎の単語情報の一例を示す模式図である。図１２に示すように、シーン識別子が付与されたシーン毎の単語情報には、単語の出現頻度および単語の重みが関連付けられている。また、図１２に示す例では、シーン毎の単語情報に対して単語の品詞を関連付けられている。

ラベル抽出部２５は、シーン毎に単語の重み付け部２４で集計された単語の重みが予め設定された閾値を超える単語を、そのシーンのラベルとして抽出する（図９のステップＳ５）。例えば、図１２に示すシーン毎の単語情報の一例に対して、“３．０”という閾値を設定した場合、シーンＳ１のラベルは「アン」「靴」となる。

シーンメタ情報格納部２６は、ラベル抽出部２５で抽出したシーンとラベル集合の組み合わせをシーンメタ情報としてシーンメタ情報ＤＢ２７に格納する（図９のステップＳ６）。

ここで、図１３はシーンメタ情報の一例を示す模式図である。図１３は映像コンテンツＭ２に付加されたシーンメタ情報の例である。例えば、ラベル“人物１”が「アン」である場合、図１２に示したようなシーンＳ１、Ｓ２、Ｓ３・・・が抽出されることになる。なお、図１３に示すように、それぞれのシーンは、一般に、点ではなく幅を持った区間となる。また、図１３に示す例では、名詞である単語が背景、人物、場所、事物などに区別されており、そのシーンで映っているのが人物なのか、場所なのかというように、どのような観点でとらえるかによって、同一時刻に対するラベルは一般に複数存在することになる。

次に、シーンメタ情報（シーンとラベル集合の組み合わせ）を用いてユーザがブックマークしたシーンなどに説明表現を付加する説明表現付加処理について図１４のフローチャートを参照しつつ説明する。

シーン集合入力部２８は、コメント作成閲覧装置３から説明表現を付加したいシーン集合の入力を受け付ける（図１４のステップＳ２１）。

説明表現を付加したいシーン集合が与えられると、シーンラベル検索部２９は、当該シーン集合に含まれるシーンに対応するラベル集合をシーンメタ情報ＤＢ２７から検索する（図１４のステップＳ２２）。

図１５は、図１３のシーンメタ情報からのラベル集合の検索例を示す模式図である。図１５は、図１３のシーンメタ情報がシーンメタ情報ＤＢ２７に格納されている場合に、説明表現を付加したいシーン集合として［Ｍ２，00:35:00］，［Ｍ２，01:10:00］，［Ｍ２，1:40:00］が与えられたときの検索例である。図１５に示すように、映像コンテンツＭ２の時刻00:35:00というシーンからは［背景２，人物１，場所１］というラベル集合が検索され、時刻01:10:00というシーンからは［背景２，人物１，人物３，人物４，場所２，事物２］というラベル集合が検索される。

シーンラベル付加部３０は、シーンラベル検索部２９で検索されたシーンとラベル集合の組み合わせに基づき、シーン集合に含まれるシーン毎に差分の大きなラベルを選択して付加する（図１４のステップＳ２３）。ここで、ラベル同士の距離は、品詞や意味クラスなどのラベルの分類クラスを元に計算する方法やユーザの嗜好情報を用いる方法などさまざまなものが考えられる。以下では、ラベルの分類クラスと嗜好情報ＤＢ３１に格納されているユーザの嗜好情報を用いたシーンラベル付加処理の例を説明する。

図１６は、シーンラベル付加部３０におけるシーンラベル付加処理の流れを示すフローチャートである。図１６に示すように、シーンラベル付加処理においては、まず、シーンとラベル集合からシーン、分類クラス、ラベルの組み合わせからなる表Ｘを初期化する（ステップＳ３１）。この表Ｘは、後でシーンの説明表現として付加するラベルを選択するための入力として用いられる。

次いで、シーンラベル検索部２９で検索されたシーンとラベル集合の組み合わせを１つずつ取得し、ラベル集合に含まれるラベルがどの分類クラスに属するかを判定して、シーンと分類クラスとラベルの組み合わせを表Ｘに追加していく（ステップＳ３２）。例えば、図１５に示すシーンとラベル集合の組み合わせの場合、それぞれのラベルは「背景」「人物」「場所」「事物」といった分類クラスに属しているので、表Ｘは図１７に示すようになる。

続いて、ラベル同士の距離がなるべく大きくなる組み合わせを選択するように全てのシーンにまたがって出現しているラベルを表Ｘから削除する（ステップＳ３３）。図１７に示す表Ｘの場合は、すべてのシーンにまたがって出現しているラベルが存在しないので、削除することはない。

なお、説明表現を付加したいシーン集合がコメントに含まれるシーンリンクのような場合は、シーン集合が「何」のシーンなのかをある程度記述していることがある。そのような場合も、「何」に相当するラベルを表Ｘから削除する。例えば、図１８に示すように、「アン王女」の「笑顔」のシーンを集めていると判定できる場合は、それぞれのシーンに「アン王女」「笑顔」のラベルが付加されているのは明らかなので、表Ｘから削除してもよい。

ステップＳ３３の処理により表Ｘが空になってしまった場合は（ステップＳ３４のＹｅｓ）、説明表現を付加したいシーン集合が残っているにもかかわらず説明表現として追加すべきラベルがなくなってしまったことを意味している。そのため、表Ｘが空になってしまった場合は（ステップＳ３４のＹｅｓ）、残っているそれぞれのシーンの差分がないと考えて、「シーンその１」「シーンその２」といった連番を付けるようにしてもよい。あるいは、残っているそれぞれのシーンの前後に特徴的なシーンが存在する場合は、そのシーンとの時間関係を利用して「○○のシーンの５分前」「××のシーンの３分後」といった時系列表現を付けるようにしてもよい。

ステップＳ３３の処理により表Ｘが空でなかった場合は（ステップＳ３４のＮｏ）、表Ｘの最も多くのシーンにまたがる分類クラスＣを１つ選択する（ステップＳ３５）。なお、最も多くのシーンにまたがる分類クラスＣが複数存在する場合は、ランダムに選択してもよいし、分類クラスに含まれるラベルの数やラベルに関連したシーンの幅、ラベルの重みなどを利用してもよい。あるいは、予め分類クラスの順序づけを設定しておいて、それを利用してもよい。例えば、シーンに映っている情報としては事物よりも人物のほうが情報量が多いと考えられるため、分類クラスの順序も事物より人物を優先するといった方法が考えられる。また、ユーザの嗜好情報が嗜好情報ＤＢ３１に格納されていればそれを利用してもよい。例えば、あるユーザは人物よりも場所に注目しているということがわかっていれば、分類クラスの順序で人物より場所を優先するといった方法が考えられる。また、前回ユーザが選択した分類クラスやラベルを優先的に利用するといった方法も考えられる。図１７に示す表Ｘの場合は、全てのシーンにまたがる分類クラスは「背景」「人物」「場所」であり、事物はすべてのシーンにはまたがっていないので、「背景」「人物」「場所」のどれかが選択されることになる。なお、図１７に示す表Ｘの例では「人物」のような分類クラスを設定しているが、「俳優」「女優」「司会者」「○山×男」のようなより詳しい分類クラスであってもよい。このような場合、たとえばあるユーザは女優にしか興味がないということがわかっていれば、すべてのシーンの差分が女優の差によって表現されることになる。

続くステップＳ３６では、ステップＳ３５で選択された分類クラスＣの中で最も少ないシーンにまたがるラベルＬを１つ選択する。選択された分類クラスＣの中で最も少ないシーンにまたがるラベルが複数存在する場合は、ラベルＬをランダムに選択してもよいし、ラベルに関連したシーンの幅、ラベルの重みなどを利用してラベルＬを選択してもよい。

ここで、ラベルＬが１つのシーンＳだけを特定しているとすると（ステップＳ３７のＹｅｓ）、そのシーンＳはラベルＬで特定できることになるので、シーンＳの説明表現としてラベルＬを付加対象にするとともに、表ＸからシーンＳとラベルＬを削除する（ステップＳ３８）。

そして、表Ｘが空でない場合には（ステップＳ３９のＮｏ）、ステップＳ３５に戻り、表Ｘの最も多くのシーンにまたがる分類クラスＣを１つ選択する。これにより、他の残されたシーンにもシーン説明表現を付加していくことができる。例えば、図１７に示す表Ｘの場合は、「場所」という分類クラスでは３種類のラベルがそれぞれのシーンに別れて付加されているため、この３つを説明表現として付加することで「場所１のシーン」、「場所２のシーン」、「場所３のシーン」のように区別できるようになる。

また、表Ｘが空である場合には（ステップＳ３９のＹｅｓ）、シーンラベル付加処理を終了する。

一方、ラベルＬがシーン集合Ｓｓにまたがっていたとすると（ステップＳ３７のＮｏ）、そのラベルＬではシーン集合Ｓｓに含まれるシーンはまだ特定できないことになるので、シーン集合Ｓｓで最も多くのシーンにまたがる先ほど選択した分類クラスＣとは異なる分類クラスＣ’を１つ選択し（ステップＳ４０）、ステップＳ３７に戻る。この処理を繰り返すことによって、シーン集合Ｓｓに含まれるシーンにもシーン説明表現を付加していくことができる。

最後に、シーン説明表現表示部３２について説明する。シーン説明表現表示部３２は、ＵＩ（User Interface）を介してシーンＳの説明表現として付加対象となったラベルＬを提示する。

ここで、図１９はブックマークしたシーンに説明表現を付加して提示した例を示す正面図である。図１９に示すように、ブックマークしたシーンについて、時刻情報やサムネイル画像に加えてシーン説明表現を付加して提示することで、それぞれのシーンがどのような差分のもとでブックマークされたかを判別することができる。例えば、図１９に示す例によれば、映像コンテンツＭ１（ローマの休日）における「アン王女のシーン」と「ジョーのシーン」をブックマークしていることを表している。

図２０は、図１９の２つのブックマークに新たに［Ｍ１，01:03:31］というシーンをブックマークした場合の例である。図２０に示すように、ブックマークに新たなシーンを登録すると、それぞれのシーンが区別できるように新たな差分を説明する表現に修正され、表示される。これにより、既にブックマークされていたシーンの説明表現も適宜詳しくなっていく。例えば、図２０に示す例の場合、新たにブックマークしたシーンも「アン王女」に関するシーンであるため、もともと「アン王女のシーン」という説明が付加されていた［Ｍ１，00:04:40］というシーンの説明表現は「アン王女の靴のシーン」というより詳しい説明に修正される。そのためブックマークにシーンが追加されるたびに、それぞれのシーンの説明がより詳しく提示されるようになっていく。

以上のようにして生成されたユーザがブックマークしたシーンと当該シーンに対するメタ情報である説明表現とを関連付けた表Ｘは、コメント蓄積装置１およびコメント作成閲覧装置３に送信される。

［実施例］
ここでコメント作成閲覧装置３における説明表現の具体的な表示処理について具体例を挙げて説明する。例えば、図２１に示すように、コメント作成閲覧装置３の表示部１０７に表示された画面５０のテキスト情報編集部５３において、シーンリンクがいくつも埋め込まれたコメントを読むときに、アイコンとして表示されたシーンリンク６０の上にマウス（入力部１０８）のポインタを置いたときの動作の例である。この場合、説明表現を付加したいシーン集合がコメント作成閲覧装置３から説明表現付加装置４へ送られ、説明表現付加装置４の説明表現付加部４２がブックマークしたシーンに対して説明表現を関連付けた表Ｘを生成した後、ＵＩを介してコメント作成閲覧装置３に説明表現が提示される。より具体的には、図２１に示すように、選択されたシーンリンク６０の近くに、説明表現付加装置４において生成された表Ｘで当該シーンリンク６０に関連付けられた説明表現７０をポップアップ表示してやることで、それぞれのシーンがどのような差分のもとでリンクされたかを判別することができる。また、図２２に示すように、コメント本文の一部や全部を選択状態にしてやれば、選択された部分に含まれるシーンリンク６０の説明表現７０を同じようにポップアップ表示してやることで、それぞれのシーンがどのような差分のもとでリンクされたかを判別することができる。

このように本実施の形態によれば、複数のシーンを含むシーン集合、例えば映像コンテンツを視聴中にブックマークしたシーンの集合が入力された場合に、当該シーン集合の各シーンに対応する当該シーンの特徴を表すメタ情報の集合における各メタ情報間の距離が最大となる組み合わせを、各シーンを区別するための説明である説明表現として選択し、シーン集合に含まれるシーン毎に選択された説明表現を当該シーン毎に付加する。これにより、各シーン同士を区別することができる説明表現をそれぞれのシーンに付加することができるので、視聴中にブックマークしたシーンに対する感想や意見などの書き込みを容易にすることができるとともに、書き込んだテキストと映像コンテンツとを同期させて読みやすくし、映像コンテンツを通じたコミュニケーションを活性化することができる。

また、本実施の形態によれば、映像コンテンツのシーンの特徴を表すメタ情報（そのシーンに何が映っているかというメタ情報）を、コメント情報のシーンリンク（シーンへ言及するために埋め込まれたリンク）周辺のテキストからシーン毎のラベル集合という形で抽出することができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態を図２３および図２４に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。

第１の実施の形態においては、説明表現付加装置４が、コメント蓄積装置１やコメント作成閲覧装置３にネットワーク接続された状態でシーンとテキストの組み合わせを収集する場合を想定したが、本実施の形態においては、シーンとテキストの組み合わせをクローズドキャプション（Closed captioning：字幕放送）やＥＰＧ（Electronic Program Guide）から収集する場合について想定したものである。

図２３は、本発明の第２の実施の形態にかかる説明表現付加部４２におけるシーンメタデータ抽出処理の流れを示すフローチャートである。図２３に示すように、コメント収集部２１は、映像コンテンツとともに放送波に載って送信されてくるクローズドキャプション情報を収集する（ステップＳ１’）。ここで、図２４はクローズドキャプション情報のデータ構成の一例を示す模式図である。図２４に示すように、クローズドキャプション情報は、字幕スーパーを時刻で管理したものである。

次いで、テキスト切出し部２２は、収集したクローズドキャプション情報に含まれるテキスト情報の切り出しを行なう（ステップＳ２’）。より詳細には、テキスト切出し部２２は、話題分割技術を用いてシーンや話題が切り替わるところを検出し、シーンとテキストの組み合わせの切り出しを行なう。例えば、図２４に示すクローズドキャプションは、ローマの休日の真実の口のシーンであるが、アン王女のセリフの区間は「アン王女のシーン」、ジョーのセリフの区間は「ジョーのシーン」のように切り出される。

ステップＳ３以降の処理については第１の実施の形態と同様の処理になるので、ここでの説明は省略する。

このように本実施の形態によれば、映像コンテンツのシーンの特徴を表すメタ情報（そのシーンに何が映っているかというメタ情報）を、クローズドキャプションやＥＰＧなどから、シーン毎のラベル集合という形で抽出することができる。

本発明の第１の実施の形態にかかるコメント閲覧システムのシステム構築例を示す模式図である。 システムを構成する各装置のモジュール構成図である。 システムの機能構成を示す構成図である。 コンテンツ情報のデータ構成の一例を示す模式図である。 コメント情報のデータ構成の一例を示す模式図である。 書き込みＵＩを示す正面図である。 シーンリンクが持つ情報の例を示す模式図である。 説明表現付加部の構成を示すブロック図である。 シーンメタデータ抽出処理の流れを示すフローチャートである。 コメント蓄積場所情報のデータ構成の一例を示す模式図である。 コメント収集処理の流れを示すフローチャートである。 シーン毎の単語情報の一例を示す模式図である。 シーンメタ情報の一例を示す模式図である。 説明表現付加処理の流れを示すフローチャートである。 図１３のシーンメタ情報からのラベル集合の検索例を示す模式図である。 シーンラベル付加処理の流れを示すフローチャートである。 表の一例を示す模式図である。 シーンリンクの説明がコメントにある例を示す説明図である。 ブックマークしたシーンに説明表現を付加して提示した例を示す正面図である。 新たにブックマークした例を示す正面図である。 説明表現の具体的な表示処理について具体例を示す説明図である。 説明表現の具体的な表示処理について具体例を示す説明図である。 本発明の第２の実施の形態にかかるシーンメタデータ抽出処理の流れを示すフローチャートである。 クローズドキャプション情報のデータ構成の一例を示す模式図である。

符号の説明

４ 説明表現付加装置
２１ 収集手段
２２ 切出し手段
２３ 抽出手段
２４ 重み付け手段
２５ 抽出手段
２６ 格納手段
２８ 入力手段
２９ 検索手段
３０ 選択手段
３２ 付加手段

Claims (12)

1. 映像コンテンツの所定時刻のシーンと当該シーンの特徴を表すメタ情報の集合との組み合わせであるシーンメタ情報を格納する格納手段と、
   複数の前記シーンを含むシーン集合を入力する入力手段と、
   前記シーン集合に含まれる各シーンに対応するメタ情報の集合を前記シーンメタ情報から検索する検索手段と、
   前記シーン集合に含まれる各シーンに対応する前記メタ情報の集合に含まれる前記各メタ情報間の距離が最大となる組み合わせを、前記各シーンを区別するための説明である説明表現として選択して前記シーン毎に付加する付加手段と、
   を備えることを特徴とする説明表現付加装置。
2. 前記シーンに係る所定時刻と当該所定時刻の前記シーンに係る前記テキスト情報を収集する収集手段と、
   収集した前記テキスト情報から部分的なテキスト情報の切り出しを行なう切出し手段と、
   収集した前記各シーンの内、物理的には異なるが論理的には同一であると考えられる前記シーンを同一シーンとしてまとめて抽出する抽出手段と、
   同一シーンとしてまとめて抽出された前記シーンに係る前記部分的なテキスト情報を解析して、前記シーン毎の前記部分的なテキスト情報に含まれる単語情報に対する重み付けを行なう重み付け手段と、
   予め設定された閾値を超える前記単語情報を、当該単語情報に係る前記シーンの前記メタ情報として抽出する抽出手段と、
   を備えることを特徴とする請求項１記載の説明表現付加装置。
3. 前記収集手段で収集される前記テキスト情報は、ネットワーク上のコメント蓄積装置に蓄積される前記映像コンテンツの所定時刻のシーンに係るテキスト情報を含むコメント情報である、
   ことを特徴とする請求項２記載の説明表現付加装置。
4. 前記収集手段で収集される前記テキスト情報は、前記映像コンテンツの所定時刻のシーンに係るテキスト情報であるクローズドキャプション（Closed captioning：字幕放送）である、
   ことを特徴とする請求項２記載の説明表現付加装置。
5. 前記収集手段で収集される前記テキスト情報は、前記映像コンテンツの所定時刻のシーンに係るテキスト情報であるＥＰＧ（Electronic Program Guide）である、
   ことを特徴とする請求項２記載の説明表現付加装置。
6. 前記選択手段は、予め順序付けされている前記メタ情報の分類クラスの順に、前記各メタ情報間の距離を算出する、
   ことを特徴とする請求項２記載の説明表現付加装置。
7. 前記選択手段は、ユーザ嗜好により予め順序付けされている前記メタ情報の分類クラスの順に、前記各メタ情報間の距離を算出する、
   ことを特徴とする請求項２記載の説明表現付加装置。
8. 前記付加手段は、前記シーン集合に含まれる各シーンに対応する前記メタ情報の集合に含まれる前記各メタ情報間の距離を計算し、前記各メタ情報間の距離が最大となる組み合わせを説明表現として選択する、
   ことを特徴とする請求項１記載の説明表現付加装置。
9. 映像コンテンツの所定時刻のシーンと当該シーンの特徴を表すメタ情報の集合との組み合わせであるシーンメタ情報を記憶部に格納する格納機能と、
   入力部を介して受け付けた複数の前記シーンを含むシーン集合を入力する入力機能と、
   前記シーン集合に含まれる各シーンに対応するメタ情報の集合を、前記記憶部に格納されている前記シーンメタ情報から検索する検索機能と、
   前記シーン集合に含まれる各シーンに対応する前記メタ情報の集合に含まれる前記各メタ情報間の距離が最大となる組み合わせを、前記各シーンを区別するための説明である説明表現として選択して前記シーン毎に付加する付加機能と、
   をコンピュータに実行させることを特徴とするプログラム。
10. 前記シーンに係る所定時刻と当該所定時刻の前記シーンに係る前記テキスト情報を収集する収集機能と、
    収集した前記テキスト情報から部分的なテキスト情報の切り出しを行なう切出し機能と、
    収集した前記各シーンの内、物理的には異なるが論理的には同一であると考えられる前記シーンを同一シーンとしてまとめて抽出する抽出機能と、
    同一シーンとしてまとめて抽出された前記シーンに係る前記部分的なテキスト情報を解析して、前記シーン毎の前記部分的なテキスト情報に含まれる単語情報に対する重み付けを行なう重み付け機能と、
    予め設定された閾値を超える前記単語情報を、当該単語情報に係る前記シーンの前記メタ情報として抽出する抽出機能と、
    をコンピュータに実行させることを特徴とする請求項９記載のプログラム。
11. 映像コンテンツの所定時刻のシーンと当該シーンの特徴を表すメタ情報の集合との組み合わせであるシーンメタ情報を記憶部に格納する格納工程と、
    入力部を介して受け付けた複数の前記シーンを含むシーン集合を入力する入力工程と、
    前記シーン集合に含まれる各シーンに対応するメタ情報の集合を、前記記憶部に格納されている前記シーンメタ情報から検索する検索工程と、
    前記シーン集合に含まれる各シーンに対応する前記メタ情報の集合に含まれる前記各メタ情報間の距離が最大となる組み合わせを、前記各シーンを区別するための説明である説明表現として選択して前記シーン毎に付加する付加工程と、
    を含むことを特徴とする説明表現付加方法。
12. 前記シーンに係る所定時刻と当該所定時刻の前記シーンに係る前記テキスト情報を収集する収集工程と、
    収集した前記テキスト情報から部分的なテキスト情報の切り出しを行なう切出し工程と、
    収集した前記各シーンの内、物理的には異なるが論理的には同一であると考えられる前記シーンを同一シーンとしてまとめて抽出する抽出工程と、
    同一シーンとしてまとめて抽出された前記シーンに係る前記部分的なテキスト情報を解析して、前記シーン毎の前記部分的なテキスト情報に含まれる単語情報に対する重み付けを行なう重み付け工程と、
    予め設定された閾値を超える前記単語情報を、当該単語情報に係る前記シーンの前記メタ情報として抽出する抽出工程と、
    を含むことを特徴とする請求項１１記載の説明表現付加方法。

Images