JP2008234431A - コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム - Google Patents

Abstract

【課題】映像コンテンツの同一のシーンについて同じような感情を持つコメントのみを閲覧者に提示することにより、有意義なコミュニケーションの場を提供する。
【解決手段】コメント蓄積装置１は、入力されたコメントから、映像コンテンツに対する感想とその感想の対象とを抽出し、コメント作成者の感情状態とその感情を生起させたシーンデータとを解析し、解析されたコメント作成者の感情状態とシーンデータとを、入力されたコメントに付加した映像メタ情報を記憶する。コメント作成閲覧装置３は、映像コンテンツを視聴するユーザの状態を表すデータを解析し、映像コンテンツを視聴するユーザの感情状態および映像コンテンツ中のシーンデータを認識し、認識されたユーザの感情状態およびシーンデータを用いて、コメント蓄積装置１に蓄積されている映像メタ情報の中から、類似する感情情報を付加された映像メタ情報を選択し、ユーザに提示する。
【選択図】 図３

Description

本発明は、コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラムに関する。

近年、テレビ放送など映像コンテンツに対して、その感想や意見などのコメント（アノテーション）をテキスト情報として記述してブログ機能や掲示板機能などを用いてネットワーク上で公開する手法が多く採られている。このように映像コンテンツに対する感想や意見などのコメントをブログ機能や掲示板機能などを用いて多数の人に公開することができることにより、映像を視聴しながら多数の人とコメントを介したコミュニケーションを図ることができる。

また、映像コンテンツに対するテキスト情報内に、当該映像コンテンツのシーンへのリンクを埋め込むことにより、どのシーンについてのコメントなのかを明確に閲覧者に伝える手法も採られている（例えば、特許文献１参照）。この技術によれば、シーンについてのコメントが映像再生と連動して表示されるため、閲覧者は、映像視聴中に視聴しているシーンのコメントを閲覧することができる。

さらに、近年においては、ユーザの感情状態に基づき、次に遷移する映像シーンを自動制御する対話型映像視聴方式も開発されている（例えば、特許文献２参照）。

特開２００４−３６４１８４号公報 特許第２８７４８５８号公報

ところで、テレビや映画などの映像コンテンツについての感想や意見などのコメントを閲覧する場合、同一のシーンについてのコメントであっても、ユーザの感想は多岐に渡っている場合が多い。特に、コメントの閲覧者が抱いている感情とは対極にある感情を表したコメントがシーンにリンクされているような場合には、それぞれの閲覧者の見解の相違による不毛な議論が生じることになり、閲覧者は映像コンテンツに関する有意義なコミュニケーションがとれなくなるという問題が発生してしまう。

本発明は、上記に鑑みてなされたものであって、映像コンテンツの同一のシーンについて同じような感情を持つコメントのみを閲覧者に提示することにより、有意義なコミュニケーションの場を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、ユーザ間で共有する、映像コンテンツに関連付けられたコメントを作成・閲覧するコメント作成閲覧装置にネットワークを介して接続可能であって、前記コメントを蓄積するコメント蓄積装置において、前記コメントの入力を受け付けるコメント入力手段と、前記コメント入力手段により入力された前記コメントから、前記映像コンテンツに対する感想とその感想の対象とを抽出し、前記コメントを作成したユーザの感情状態とその感情を生起させたシーンデータとを解析するコメント解析手段と、前記コメント解析手段で解析された前記ユーザの感情状態と前記シーンデータとを、前記コメント入力手段により入力された前記コメントに付加した映像メタ情報を記憶する感情情報記憶手段と、を備えることを特徴とする。

また、本発明は、ユーザ間で共有する、映像コンテンツに関連付けられたコメントを蓄積するコメント蓄積装置にネットワークを介して接続可能であって、前記コメントを作成・閲覧するコメント作成閲覧装置において、前記映像コンテンツを視聴するユーザの状態を表すデータを入力する視聴状態入力手段と、前記視聴状態入力手段を介して入力されたデータを解析し、前記映像コンテンツを視聴するユーザの感情状態および前記映像コンテンツ中のシーンデータを認識する感情状態認識手段と、前記感情状態認識手段で認識された前記ユーザの感情状態および前記映像コンテンツ中のシーンデータを用いて、前記コメント蓄積装置に蓄積されている前記ユーザの感情状態と前記シーンデータとを前記コメントに付加した映像メタ情報の中から、類似する感情情報を付加された前記映像メタ情報を選択し、ユーザに提示するメタ情報提示手段と、を備えることを特徴とする。

また、本発明は、映像コンテンツに関連付けられたコメントをユーザ間で共有するコメント閲覧システムにおいて、前記コメントの入力を受け付けるコメント入力手段と、前記コメント入力手段により入力された前記コメントから、前記映像コンテンツに対する感想とその感想の対象とを抽出し、前記コメントを作成したユーザの感情状態とその感情を生起させたシーンデータとを解析するコメント解析手段と、前記コメント解析手段で解析された前記ユーザの感情状態と前記シーンデータとを、前記コメント入力手段により入力された前記コメントに付加した映像メタ情報を記憶する感情情報記憶手段と、前記映像コンテンツを視聴するユーザの状態を表すデータを入力する視聴状態入力手段と、前記視聴状態入力手段を介して入力されたデータを解析し、前記映像コンテンツを視聴するユーザの感情状態および前記映像コンテンツ中のシーンデータを認識する感情状態認識手段と、前記感情状態認識手段で認識された前記ユーザの感情状態および前記映像コンテンツ中のシーンデータを用いて、前記感情情報記憶手段に記憶されている前記ユーザの感情状態と前記シーンデータとを前記コメントに付加した映像メタ情報の中から、類似する感情情報を付加された前記映像メタ情報を選択し、ユーザに提示するメタ情報提示手段と、を備えることを特徴とする。

また、本発明は、ユーザ間で共有する、映像コンテンツに関連付けられたコメントを作成・閲覧するコメント作成閲覧装置にネットワークを介して接続可能であって、前記コメントを蓄積するコメント蓄積装置を制御するコンピュータに各種処理を実行させるプログラムであって、前記コメントの入力を受け付けるコメント入力機能と、前記コメント入力機能により入力された前記コメントから、前記映像コンテンツに対する感想とその感想の対象とを抽出し、前記コメントを作成したユーザの感情状態とその感情を生起させたシーンデータとを解析するコメント解析機能と、前記コメント解析機能で解析された前記ユーザの感情状態と前記シーンデータとを、前記コメント入力機能により入力された前記コメントに付加した映像メタ情報を記憶する感情情報記憶機能と、を前記コンピュータに実行させることを特徴とする。

また、本発明は、ユーザ間で共有する、映像コンテンツに関連付けられたコメントを蓄積するコメント蓄積装置にネットワークを介して接続可能であって、前記コメントを作成・閲覧するコメント作成閲覧装置を制御するコンピュータに各種処理を実行させるプログラムであって、前記映像コンテンツを視聴するユーザの状態を表すデータを入力する視聴状態入力機能と、前記視聴状態入力機能を介して入力されたデータを解析し、前記映像コンテンツを視聴するユーザの感情状態および前記映像コンテンツ中のシーンデータを認識する感情状態認識機能と、前記感情状態認識機能で認識された前記ユーザの感情状態および前記映像コンテンツ中のシーンデータを用いて、前記コメント蓄積装置に蓄積されている前記ユーザの感情状態と前記シーンデータとを前記コメントに付加した映像メタ情報の中から、類似する感情情報を付加された前記映像メタ情報を選択し、ユーザに提示するメタ情報提示機能と、を前記コンピュータに実行させることを特徴とする。

本発明によれば、映像コンテンツの同一のシーンについて同じような感情を持つコメントのみを閲覧者に提示することにより、有意義なコミュニケーションの場を提供することができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかるコメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラムの最良な実施の形態を詳細に説明する。

［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図１６に基づいて説明する。

［１．システムの構成］
図１は、本発明の第１の実施の形態にかかるコメント閲覧システム１００のシステム構築例を示す模式図である。コメント閲覧システム１００は、コンテンツに関する感想などのコメント（映像レビュー）をユーザ間で共有するシステムであって、図１に示すように、ユーザ間で共有するコンテンツに関する感想などのコメントを蓄積するサーバコンピュータであるコメント蓄積装置１に対してＩＰ（Internet Protocol）を利用したインターネットなどのネットワーク２を介して、ユーザがコンテンツに関する感想などのコメントを作成・閲覧するためのクライアントコンピュータであるコメント作成閲覧装置３が複数台接続されたサーバクライアントシステムを想定する。コメント蓄積装置１およびコメント作成閲覧装置３は、例えば、一般的なパーソナルコンピュータである。なお、実際には、コメント蓄積装置１およびコメント作成閲覧装置３は、より多く存在しているが、図１では説明を簡素化するために、１台のコメント蓄積装置１と２台のコメント作成閲覧装置３とを示している。コメント蓄積装置１は、インターネットでの掲示板サーバやブログサーバとして実現されていても良い。

図２は、コメント蓄積装置１およびコメント作成閲覧装置３のモジュール構成図である。コメント蓄積装置１およびコメント作成閲覧装置３は、情報処理を行うＣＰＵ（Central Processing Unit）１０１、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）１０２、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）１０３、各種データベースとして機能するとともに各種のプログラムを格納するＨＤＤ（Hard Disk Drive）１０４、記憶媒体１１０を用いて情報を保管したり外部に情報を配布したり外部から情報を入手するためのＤＶＤドライブ等の媒体駆動装置１０５、ネットワーク２を介して外部の他のコンピュータと通信により情報を伝達するための通信制御装置１０６、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示部１０７、並びに操作者がＣＰＵ１０１に命令や情報等を入力するためのキーボードやマウス等のポインティングデバイスである入力部１０８等から構成されており、これらの各部間で送受信されるデータをバスコントローラ１０９が調停して動作する。

このようなコメント蓄積装置１およびコメント作成閲覧装置３では、オペレータが電源を投入するとＣＰＵ１０１がＲＯＭ１０２内のローダーというプログラムを起動させ、ＨＤＤ１０４よりＯＳ（Operating System）というコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１０３に読み込み、このＯＳを起動させる。このようなＯＳは、オペレータの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。ＯＳのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）等が知られている。これらのＯＳ上で走る動作プログラムをアプリケーションプログラムと呼んでいる。なお、アプリケーションプログラムは、所定のＯＳ上で動作するものに限らず、後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

ここで、コメント蓄積装置１は、アプリケーションプログラムとして、コメント蓄積プログラムをＨＤＤ１０４に記憶している。この意味で、ＨＤＤ１０４は、コメント蓄積プログラムを記憶する記憶媒体として機能する。

一方、コメント作成閲覧装置３は、アプリケーションプログラムとして、コメント作成閲覧プログラムをＨＤＤ１０４に記憶している。この意味で、ＨＤＤ１０４は、コメント作成閲覧プログラムを記憶する記憶媒体として機能する。

また、一般的には、コメント蓄積装置１およびコメント作成閲覧装置３のＨＤＤ１０４にインストールされるアプリケーションプログラムは、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等の各種方式のメディア等の記憶媒体１１０に記録され、この記憶媒体１１０に記録された動作プログラムがＨＤＤ１０４にインストールされる。このため、ＤＶＤ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体１１０も、アプリケーションプログラムを記憶する記憶媒体となり得る。さらには、アプリケーションプログラムは、例えば通信制御装置１０６を介して外部から取り込まれ、ＨＤＤ１０４にインストールされても良い。

コメント蓄積装置１は、ＯＳ上で動作するコメント蓄積プログラムが起動すると、このコメント蓄積プログラムに従い、ＣＰＵ１０１が各種の演算処理を実行して各部を集中的に制御する。一方、コメント作成閲覧装置３は、ＯＳ上で動作するコメント作成閲覧プログラムが起動すると、このコメント作成閲覧プログラムに従い、ＣＰＵ１０１が各種の演算処理を実行して各部を集中的に制御する。コメント蓄積装置１およびコメント作成閲覧装置３のＣＰＵ１０１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。

ここで、図３はコメント閲覧システム１００の機能構成を示す構成図である。コメント蓄積装置１は、図３に示すように、コメント蓄積プログラムに従うことにより、映像レビュー入力手段（コメント入力手段）１１と、レビュー解析手段（コメント解析手段）１２と、感情情報記憶手段１３と、を備えている。一方、コメント作成閲覧装置３は、図３に示すように、コメント作成閲覧プログラムに従うことにより、視聴状態入力手段３１と、感情状態認識手段３２と、メタ情報提示手段３３と、を備えている。以下、各機能について説明する。

コメント蓄積装置１の映像レビュー入力手段１１は、テキスト、音声などの映像コンテンツに関連付けられた映像レビュー（コメント）の入力を受け付ける機能を発揮する。なお、紙媒体の場合は、スキャナなどで入力される。また、既に電子化されてファイルなどに変換されているデータは、ＤＶＤなどのメディアや通信手段を介して入力される。オンライン上にあるデータの場合、クローリングなどの方法で収集される。

コメント蓄積装置１のレビュー解析手段１２は、映像レビュー入力手段１１により入力された映像レビューから、映像コンテンツに対する感想とその感想の対象（シーンや登場人物など）とを抽出し、映像レビューを作成したユーザの感情状態とその感情を生起させた原因イベント情報（時間情報や映像シーンなどのシーンデータ）とを解析する機能を発揮する。例えば、映像レビューが音声データの場合は、事前に、感想を発声した時刻や映像音声・ＢＧＭなど映像との対応付けを表す情報と、発声内容を音声認識ソフトウェアなどを介してテキスト化し、その後で解析・抽出を行う。画像ファイルの場合は、ＯＣＲなどの手段でテキストに変換して解析を行う。ＭＰＥＧ７やＥＰＧ（Electronic Program Guide）などのフォーマットを持つデータの場合は、コンテンツをあらわすＩＤ、チャンネル、タイトル名や時刻、および、それらに付随するテキスト情報を取り出して解析を行う。

コメント蓄積装置１の感情情報記憶手段１３は、レビュー解析手段１２で解析されたユーザの感情状態と原因イベント情報とを映像レビュー入力手段１１により入力された映像レビューに付加した映像メタ情報を記憶する機能を発揮する。

一方、コメント作成閲覧装置３の視聴状態入力手段３１は、映像を視聴するユーザの状態を表すデータを入力する機能を発揮する。例えば、マイクを介してユーザの発話を入力したり、カメラを介してユーザの顔映像を入力する。あるいは、リモートコントローラなどの操作データを入力する。その他、視聴状態入力手段３１は、発汗、心拍数、体温などの生体情報入力手段を備えてもよい。また、ユーザがどの映像コンテンツのどの部分を視聴しているかなどの視聴状況に関するデータも入力する。例えば、ＰＣなどの映像再生ソフトウェアから、現在再生している映像コンテンツのタイトルおよび視聴時刻データを収集する。また、放送コンテンツであれば、ＥＰＧ情報などから、コンテンツ名などを収集する。あるいは、視聴中の映像や音声などの特長情報を比較することにより、どのコンテンツのどの時刻を視聴しているかの同定を行う。

コメント作成閲覧装置３の感情状態認識手段３２は、視聴状態入力手段３１を介して入力されたデータなどを解析し、ユーザの感情状態を認識する機能を発揮する。また、感情状態認識手段３２は、視聴状態入力手段３１を介して入力された視聴データを解析し、その感情を生起せしめた映像コンテンツ中の原因イベント情報（時間情報や映像シーンなどのシーンデータ）を認識する機能を発揮する。

コメント作成閲覧装置３のメタ情報提示手段３３は、コメント蓄積装置１の感情情報記憶手段１３に記憶された映像メタ情報から、感情状態認識手段３２で認識されたユーザの感情状態、および／もしくは、原因イベント情報を用いて、類似する感情情報を付加された映像メタ情報を選択し、ユーザに提示する。

［２．コメント蓄積装置１におけるメタ情報収集・記録処理］
ここで、コメント蓄積装置１における映像メタ情報の収集・記録処理について詳述する。図４は、コメント蓄積装置１における映像メタ情報の収集・記録処理の流れを示すフローチャートである。図４に示すように、まず最初に、映像レビュー入力手段１１により映像コンテンツに関する映像レビューを収集する（ステップＳ１）。

映像レビューは、図５に示すように、映像コンテンツに対するレビュー作成者のコメントを含むことを可能とする。例えば、「コメント１」は、映像中のある点（時刻など）を指し示してコメントしたものである。「コメント２」は、映像のある区間を開始時刻と終了時刻やシーン名、チャプター番号などを示してコメントしたものである。「コメント３」は、複数の点や区間を列挙、もしくは比較して、コメントしたものである。「コメント４」は、特に具体的な部分を指し示さずに、映像全体もしくは登場人物・物・作成スタッフなどについてコメントしたものである。

図６は、映像レビューの一例を示す説明図である。図６に示す例では、図５の「コメント１」で示したような、映像中のある時刻に対してのコメントが含まれている。このような映像レビューは、例えば、Ｗｅｂ掲示板やブログシステムなどを介して収集することができる。

このような映像レビューであるコメントは、図７や図８に示すような映像レビュー入力手段１１の一部として機能する入力インタフェースを用いて入力することができる。図７に示す入力インタフェース５０は、映像コンテンツを任意の区間に分割し、各区間にコメントを入力するものである。図８に示す入力インタフェース６０は、映像コンテンツのある時刻を指定し、その時刻情報をコメントの任意の箇所に挿入するものである。図８に示す入力インタフェース６０では、タイムバー６１の任意の点で「挿入」メニュー６２を選択すると、コメント入力枠６３中のカーソル位置６４に時刻情報（例えば、［00:06:03］）が挿入される。また、図８に示す入力インタフェース６０では、映像コンテンツ中の複数個所を列挙してコメントを入力することが可能である。また、図７と図８の折衷案としては、コメント中に［00:06:03-00:11:42］のような区間を挿入するインタフェースも考えられる。

続くステップＳ２では、ステップＳ１で映像レビュー入力手段１１により収集された映像レビューであるコメントから、感情状態認識手段３２は原因イベント情報を認識して抽出する。ここでは、原因イベント情報として、例えば映像コンテンツ中の各シーンに関する記述（シーンデータ）を切り出す。

ここで、シーンとは、図５で示したような映像レビューであるコメントの対象とする映像コンテンツ中のある時刻や区間などの単位を示す。図７に示したような入力インタフェース５０で入力されたコメントの場合は、各シーンへのコメントはあらかじめ分離して入力されているため、容易に分割しうる。

一方、図８に示したような入力インタフェース６０で入力されたコメントの場合は、コメントのどの部分がどのシーンに対するコメントなのかを切り出す処理が必要になる。ここで、図９は切り出し処理の流れを示すフローチャートである。図９に示すように、まず、シーン番号、段落開始位置、句読点位置について初期化した後（ステップＳ１１）、映像レビューであるコメントを一文字読み込む（ステップＳ１２）。

そして、読み込んだ文字が「改行」であり（ステップＳ１３のＹｅｓ）、シーン番号が“０”でなかった場合には（ステップＳ１７のＹｅｓ）、改行までをシーン番号のシーンデータとし（ステップＳ１８）、シーンデータに登録し（ステップＳ１９）、シーン番号を“０”にするとともに、段落開始位置を“１”だけインクリメントした後（ステップＳ２０）、ステップＳ１２に戻り、コメントを一文字読み込む。

一方、シーン番号が“０”である場合には（ステップＳ１７のＮｏ）、シーン番号を“０”にするとともに、段落開始位置を“１”だけインクリメントした後（ステップＳ２０）、ステップＳ１２に戻り、コメントを一文字読み込む。

また、読み込んだ文字が「句読点」であり（ステップＳ１４のＹｅｓ）、シーン番号が“０”でなかった場合であって（ステップＳ２１のＹｅｓ）、記述終了位置が“０”である場合には（ステップＳ２２のＹｅｓ）、記述終了位置を句読点位置としてシーンデータに登録し（ステップＳ２３）、句読点位置をシーンデータに登録された句読点位置に更新した後（ステップＳ２４）、ステップＳ１２に戻り、コメントを一文字読み込む。

一方、シーン番号が“０”である場合には（ステップＳ２１のＮｏ）、句読点位置を更新した後（ステップＳ２４）、ステップＳ１２に戻り、コメントを一文字読み込む。

また、読み込んだ文字が「時刻情報」であり（ステップＳ１５のＹｅｓ）、シーン番号が“０”でなかった場合は（ステップＳ２５のＹｅｓ）、当該シーン番号を既存のシーン番号に書き換え（ステップＳ２６）、記述開始位置を既存のシーン番号の記述終了位置とするとともに、記述終了位置を時刻情報出現位置とし（ステップＳ２７）、シーンデータに登録した後（ステップＳ２８）、ステップＳ１２に戻り、コメントを一文字読み込む。

一方、シーン番号が“０”である場合は（ステップＳ２５のＮｏ）、シーン番号を新規シーン番号とし（ステップＳ２６）、記述開始位置を段落開始位置とするとともに、記述終了位置を“０”として（ステップＳ３０）、シーンデータに登録した後（ステップＳ２８）、ステップＳ１２に戻り、コメントを一文字読み込む。

また、読み込んだ文字が「シーン参照表現」であった場合は（ステップＳ１６のＹｅｓ）、シーン参照フレーズの切り出しを行い（ステップＳ３１）、シーンデータに登録した後（ステップＳ３２）、ステップＳ１２に戻り、コメントを一文字読み込む。

図９に示したようなアルゴリズムによれば、図８に示した例では、挿入された時刻情報から、次に挿入された時刻情報までの区間をシーンへのコメントとする、あるいは、段落中に時刻情報が含まれる場合は段落全体をシーンへのコメントとする、などにより、シーンを記述する開始位置と終了位置を求めることができる。

なお、「・・・、主人公は激怒する［00:06:03］。そこで、・・・」といったように、文の最後に時刻への引用が入る場合は、句読点までをシーンへのコメントとしてもよい。

また、コメント中の文を解析し、シーンを記述するイベントの詳細を抽出することも可能である。例えば、図６で「主人公がチョークを投げるベタなシーン」という記述の場合、「〜なシーン」「〜の場面」「〜するところ」「表情」「顔」などのシーン参照記述を含むシーン参照フレーズを抽出し、形態素解析により格助詞「が」「を」などにより、主語「主人公」、目的語「チョーク」、述語「投げる」を抽出する。あるいは、さらに５Ｗ１Ｈ情報を付加した辞書を用意することにより、「いつ」「どこで」などの付加情報を抽出する。

続くステップＳ３では、ステップＳ２で抽出された原因イベント情報である映像コンテンツ中の各シーンに関する記述（シーンデータ）から、レビュー解析手段１２はレビュー作成者の感情状態を認識して抽出する。

例えば、図１０に示すように、感情カテゴリの種類は、「泣ける（喜び、哀しみ）」「笑える」「愛しい」「怖い」「驚き」の５種類に分類することができる。これらは、ユーザが自覚しやすい感情の表出があるため、コメントに表現が現れることが予想されるものである。なお、感情カテゴリの種類は、図１０のどれにも分類されないシーンを加え、全部で６つに分類されることになる。

図１０の分類は、以下の特徴を持つ。
・強い感動は「泣ける」に分類する。「泣ける」は、Ｓａｄ、Ｈａｐｐｙなどの感情が強く感じられている状態を表す表現である。実際に涙が出る、などの感情の表出があるため、ユーザが感情を自覚しやすく、コメントにも書きやすいと考えられる。ただし、ポジティブ・ネガティブどちらの感情も含んでいる点と、ユーザによって「泣ける」ポイントが違うという問題がある。
・「笑える」を採用している。Ｈａｐｐｙではなく、ユーモアを感じるシーンの表現に頻出する「笑える」を採用した。「笑える」は「泣ける」同様、自覚しやすい感情の表出を持ち、ユーザがコメントを作成しやすいと考えられる。
・「愛しい」を採用している。恋愛物に多いロマンティックなシーンへのあこがれや、登場人物の姿や言動などへの好感度や愛着をあらわす感情。いわゆる「萌え」である。
・「怒り」を除外している。暴力シーンなどによって想起される「怒り」の感情は、分類対象に含めない。

なお、上記分類に加えて、「怒り」のようなネガティブな感情や、「満足」および「不満足」のようなより大まかな感情分類を加えても良い。

感情情報の分類は、あらかじめ学習した分類プロファイルとのマッチングで評価する。マッチングは形態素単位で行い、語尾が仮名の場合は語幹のみでもマッチングとする。分類プロファイルはキーワードと重要度からなり、分類対象のコメントがある感情カテゴリに分類されるスコアは、コメントがそのカテゴリの分類プロファイルに含まれるキーワードの重要度の和とし、最大のスコアをもつ感情カテゴリに分類する。これにより、シーンに対する感情別の分類を行う。

分類プロファイルの学習方法としては、以下の２つの方法が一例として挙げられる。
・Ｗｅｂ上のレビュー記事による自動学習
・分類語彙表による同義語展開

まず、Ｗｅｂ上のレビュー記事による自動学習について説明する。例えば、１００の映像コンテンツを対象に、Ｗｅｂ上からレビュー記事を１コンテンツあたり１０件収集する。この１０００記事は映像コンテンツに対するコメントを記述する上で典型的な表現を含むと考えられる。そこで、これらのレビュー記事の内容から、感情表現の分類プロファイルを、以下の方法で抽出する。
（ａ）コンテンツごとのレビュー記事をまとめた文書集合を作り、コンテンツ間の差異をあらわす特徴語を抽出し、ストップワードとする。また固有名詞もストップワードとする。
（ｂ）レビュー記事を２５６バイト毎に区切る。
（ｃ）感情カテゴリを以下のようにクエリ展開し、（ｂ）を検索する。
泣ける → 泣 感動 涙 悲
愛しい → 愛 ロマンティック ロマン 切ない想い
笑える → 笑 ギャグ 爆笑
怖い → 怖 恐 恐怖
驚き → 驚
（ｄ）感情カテゴリごとの検索結果をまとめた文書集合を作り、感情ごとの特徴語を抽出する。
（ｅ）（ｄ）から（ａ）のストップワードを除外した特徴語を抽出する。
（ｆ）この特徴語リストを元に、感情カテゴリ毎の特徴語を人手でピックアップして分類プロファイルとする。

図１１は、Ｗｅｂ上のレビュー記事による自動学習により作成した分類プロファイルの一例を示す模式図である。

次に、分類語彙表による同義語展開について説明する。ある映像コンテンツに対するコメントに含まれる感情表現を抽出し、それが表現している感情毎に分類する。その結果を図１２に示す。なお、図１２においては、「怖い」に対する感情表現はコメント中に現れていない。

このようにして抽出した感情表現を分類語彙表（国立国語研究所資料集１４『分類語彙表（増補改訂版）』）を用いて同義語展開する。図１２に示す各語彙に対して、分類語彙表の同じ小分類に所属する語彙から、同じ感情をあらわす表現を選別した語を、プロファイルに追加する。また、このときの重要度はコメント中の感情表現を“２”、同義語展開された語を“１”とする。

図１３は、分類語彙表による同義語展開により作成した分類プロファイルの一例を示す模式図である。図１２に示すように、「怖い」に対する感情表現はコメント中に現れていないので、図１３においては、「怖い」を重要度２とし、「怖い」を分類語彙表により同義語展開した語を重要度１としている。

ところで、構文解析技術を用いて、感情の主体が、レビュー作成者の場合と、登場人物の感情である場合を区別すると、より精度よく感情分類を行うことができる。例えば「泣いているのには、笑った」というコメントの場合、泣いている主体は登場人物であり、レビュー作成者は笑っているため、このシーンは「笑える」に分類されるべきである。また、登場人物の感情にレビュー作成者が共感することも多いので、登場人物の感情分類をふまえてレビュー作成者の感情分類を行うことにより、精度をあげることも可能である。

例えば、図６に示したコメントの第１段落で「退屈そう」「夢中」といった感情をあらわす語彙が出現するが、これらの感情の主体は、「主人公」「友人」であり、レビュー作成者はそのどちらに感情移入しているかは不明である。それに対して、第２段落では、「あきれられちゃってます。私も、エネルギーをもてあまして、空回りする主人公にイライラっとしちゃいました」とある。ここでは感情の主体が「私も」と示してあるため、「イライラ」したのがレビュー作成者であることがわかる。さらに「私も」と書いてあるため、その前の「あきれられ」に対して、レビュー作成者が感情移入していることも判断できる。

そこで、あらかじめ感情をあらわす語彙を品詞ごとに分類して登録し、前記で示したように入力文を形態素解析により品詞に分解する。感情をあらわす動詞が抽出された場合は、主語が登場人物になっていれば感情の主体は登場人物である。また、彼、彼女など三人称の代名詞が利用された場合も、主語はレビュー作成者ではないとする。主語が省略された場合は、その前に出現する文の主語と同じものであると仮定する。また、「おもしろかった」「ツボでした」「笑」「うるうるきてしまいました」や、フェイスマークなどは、主語が省略されても、感情の主体はレビュー作成者であると仮定できる。

また、形容詞、副詞、擬音・擬態語などにも、主観的な感情をあらわすものがある。「赤い」は感情をあらわさないが「キュートな」は作成者の主観的な感情「愛しい」を反映するものである。

続くステップＳ４では、ステップＳ３で抽出したレビュー作成者の感情情報を記録する。上述したような語彙を登録した辞書により、作成者の感情をあらわす語彙の出現頻度などから感情の種類と強さなどを求めて、シーンごとに記録する。

なお、同一コンテンツの同一シーン（イベント）に対して、複数のレビュー作成者が作成したシーンデータが割り当てられている場合には、シーンデータを感情の種類ごとに分類する。図１４に示すように、同じシーンでも別の感情を感じるレビュー作成者がいるので、感情ごとに人数や強さなどを集計する。

［３．コメント作成閲覧装置３におけるメタ情報の提示処理］
次に、レビュー作成者以外のユーザが同じ映像コンテンツを見る際に、映像メタ情報を提示する処理について説明する。

図１５は、コメント作成閲覧装置３におけるメタ情報の提示処理の流れを示すフローチャートである。図１５に示すように、映像コンテンツのストリーム再生を開始すると同時に（ステップＳ４１）、視聴状態入力手段３１はユーザの感情を入力し（ステップＳ４２）、感情状態認識手段３２がステップＳ４１で入力されたデータなどを解析し、ユーザの感情認識を行う（ステップＳ４３）。例えば、マイクなどによりユーザの発する独り言などの音声を抽出し、これからユーザの感情を同定してもよい。音声からの感情認識については他の文献に詳しいのでここでは詳細は割愛する。例えば、音声認識結果から「うそ」「すごい」「かわいい」などの感情をあらわす語彙を抽出して分類する。あるいは、語尾のあげかたなど、音韻を用いて感情を抽出する方法も実現されている。また、カメラによりユーザの表情を撮影し、表情からの感情認識手法も提案されている。

また、感情状態認識手段３２は、ステップＳ４１で入力された視聴データを解析し、その感情を生起せしめた映像コンテンツ中の原因イベント情報（時間情報や映像シーンなどのシーンデータ）を推測して、再生状況を認識する（ステップＳ４４）。

続いて、メタ情報提示手段３３が、コメント蓄積装置１の感情情報記憶手段１３に格納された映像メタ情報から、ステップＳ４３，４４で推測されたユーザの感情状態、原因イベント情報を用いて、類似する感情情報を付加された映像メタ情報を検索し（ステップＳ４５）、メタ情報提示手段３３は、検索した映像メタ情報をユーザに提示する（ステップＳ４６）。

ステップＳ４３〜Ｓ４６の処理は、視聴状態入力手段３１がユーザの感情を入力する度に（ステップＳ４２）、繰り返される。

図１６は、コンテンツの鑑賞インタフェース７０の一例を示す説明図である。図７に示すように、ユーザは、ストリーム再生される映像コンテンツ７１を鑑賞しながら、同時にその映像コンテンツ７１のシーンデータを含む他人のコメント７２を見ることができる。感情をあらわす語彙に関しては、色分け表示して見せても良い。

例えば、図１６に示す例の場合、ユーザが「かわいい」と言ったり、うれしそうな顔をした場合は、ユーザの感情は「愛しい」と分類される。そこで、ユーザの感情種類と、ユーザが現在視聴しているシーンの時刻情報により、登録されたシーンデータを検索する。時刻が近く、感情が「愛しい」に分類された２つめのコメントのみをユーザに提示する。これにより、ユーザの感情にあったコメントのみを提示することができる。

このように本実施の形態によれば、コメント蓄積装置１は、入力された映像レビューから、映像コンテンツに対する感想とその感想の対象とを抽出し、レビュー作成者の感情状態とその感情を生起させたシーンデータとを解析し、解析されたレビュー作成者の感情状態とシーンデータとを、入力された映像レビューに付加した映像メタ情報を記憶する。コメント作成閲覧装置３は、映像コンテンツを視聴するユーザの状態を表すデータを解析し、映像コンテンツを視聴するユーザの感情状態および映像コンテンツ中のシーンデータを認識し、認識されたユーザの感情状態およびシーンデータを用いて、コメント蓄積装置１に蓄積されている映像メタ情報の中から、類似する感情情報を付加された映像メタ情報を選択し、ユーザに提示する。これにより、映像コンテンツの同一のシーンについて同じような感情を持つコメントのみを閲覧者に提示することにより、有意義なコミュニケーションの場を提供することができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態を図１７に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。

図１７は、本発明の第２の実施の形態にかかるコメント閲覧システム１００の機能構成を示す構成図である。図１７に示すように、本実施の形態にかかるコメント閲覧システム１００のコメント作成閲覧装置３は、あるシーンを視聴中のユーザの感情が認識できた際に、そのユーザ自身の発した音声や、キーボードなどで入力したシーンへの感想を分析し、感情を生起した原因イベントを推定することにより、システムからユーザへの適切な応答を生成する応答文生成手段３４を更に備えている。

例えば、あるシーンに対して「メノがヨシを救い出した瞬間に涙がこぼれた」といったような感想が入力された場合、感情を表す語彙「涙」に対して、直前のイベントをあらわす記述「メノがヨシを救い出した瞬間」を抽出する。イベントをあらわす記述は、感情を表す語彙が出現した前後の、「瞬間」「シーン」「時」「顔」といった原因イベントを表す語彙リストを手がかりに、その前の文を抽出する。または、構文解析により、感情語彙の対象部分を特定する。次に、切り出したイベントを表す記述「メノがヨシを救い出した瞬間」と、感情語彙「涙」が感情「泣ける」を表していることにより、応答文生成手段３４は以下のような応答を生成する。
「メノがヨシを救い出した瞬間は泣けましたね」

さらに、視聴中のユーザからの入力が不十分で、感情を生起した原因イベントを特定できなかった場合は、同じような感情をいだいた別のユーザが作成（発声）した感想から、対象とするシーンへのシーンデータを抽出して、分析することにより、視聴中のユーザの感情をよびおこした原因イベントを推定し、同様に、ユーザへの応答を生成して提示することが可能になる。

例えば、視聴中のユーザの発声した音声が「萌える」だとすると、視聴中のユーザの感情は「愛しい」と推定されるが、原因イベントは特定できない。同じシーンで他のユーザが作った感想が「メノのぶすったれた顔がキュート」というような内容の場合、原因イベントは「メノのぶすったれた顔」で感情は「愛しい」と分析できる。二人の感情は同じと推定されるので、視聴中のユーザに対して、以下のような応答文を提示することが可能になる。
「メノのぶすったれた顔は（原因イベント）、かわいいですね（感情）」

このような応答文を音声合成して、ユーザに提示してもよいし、視聴画面に提示してもよい。コンテンツを視聴しながら、長いコメントを読むことが難しい場合でも、ユーザの感情や発声した音声にあったサマリー程度を提示することにより、ユーザの視聴を邪魔することなく、視聴をもりあげる効果がある。

本発明の第１の実施の形態にかかるコメント閲覧システムのシステム構築例を示す模式図である。 コメント蓄積装置およびコメント作成閲覧装置のモジュール構成図である。 コメント閲覧システムの機能構成を示す構成図である。 コメント蓄積装置における映像メタ情報の収集・記録処理の流れを示すフローチャートである。 映像レビューの構成を示す説明図である。 映像レビューの一例を示す説明図である。 入力インタフェースの一例を示す説明図である。 入力インタフェースの一例を示す説明図である。 切り出し処理の流れを示すフローチャートである。 感情カテゴリの種類を示す説明図である。 Ｗｅｂ上のレビュー記事による自動学習により作成した分類プロファイルの一例を示す模式図である。 感情表現の一例を示す模式図である。 分類語彙表による同義語展開により作成した分類プロファイルの一例を示す模式図である。 感情情報の一例を示す説明図である。 コメント作成閲覧装置におけるメタ情報の提示処理の流れを示すフローチャートである。 コンテンツの鑑賞インタフェースの一例を示す説明図である。 本発明の第２の実施の形態にかかるコメント閲覧システムの機能構成を示す構成図である。

符号の説明

３ コメント作成閲覧装置
１ コメント蓄積装置
１１ コメント入力手段
１２ コメント解析手段
１３ 感情情報記憶手段
３１ 視聴状態入力手段
３２ 感情状態認識手段
３３ メタ情報提示手段
３４ 応答文生成手段
１００ コメント閲覧システム

Claims (10)

1. ユーザ間で共有する、映像コンテンツに関連付けられたコメントを作成・閲覧するコメント作成閲覧装置にネットワークを介して接続可能であって、前記コメントを蓄積するコメント蓄積装置において、
   前記コメントの入力を受け付けるコメント入力手段と、
   前記コメント入力手段により入力された前記コメントから、前記映像コンテンツに対する感想とその感想の対象とを抽出し、前記コメントを作成したユーザの感情状態とその感情を生起させたシーンデータとを解析するコメント解析手段と、
   前記コメント解析手段で解析された前記ユーザの感情状態と前記シーンデータとを、前記コメント入力手段により入力された前記コメントに付加した映像メタ情報を記憶する感情情報記憶手段と、
   を備えることを特徴とするコメント蓄積装置。
2. 前記コメント解析手段は、前記映像コンテンツを視聴するユーザの発話から感情を表す語彙を抽出し、抽出された感情を表す語彙を同義語展開して分類した分類プロファイルを用いて、ユーザの感情状態を認識する、
   ことを特徴とする請求項１記載のコメント蓄積装置。
3. 前記コメント解析手段は、感情の主体について、ユーザの場合と登場人物の感情である場合とを構文解析技術を用いて区別する、
   ことを特徴とする請求項２記載のコメント蓄積装置。
4. 前記コメント解析手段は、Ｗｅｂ上の記事による自動学習により作成した分類プロファイルを用いて、ユーザの感情状態を認識する、
   ことを特徴とする請求項１記載のコメント蓄積装置。
5. ユーザ間で共有する、映像コンテンツに関連付けられたコメントを蓄積するコメント蓄積装置にネットワークを介して接続可能であって、前記コメントを作成・閲覧するコメント作成閲覧装置において、
   前記映像コンテンツを視聴するユーザの状態を表すデータを入力する視聴状態入力手段と、
   前記視聴状態入力手段を介して入力されたデータを解析し、前記映像コンテンツを視聴するユーザの感情状態および前記映像コンテンツ中のシーンデータを認識する感情状態認識手段と、
   前記感情状態認識手段で認識された前記ユーザの感情状態および前記映像コンテンツ中のシーンデータを用いて、前記コメント蓄積装置に蓄積されている前記ユーザの感情状態と前記シーンデータとを前記コメントに付加した映像メタ情報の中から、類似する感情情報を付加された前記映像メタ情報を選択し、ユーザに提示するメタ情報提示手段と、
   を備えることを特徴とするコメント作成閲覧装置。
6. 前記視聴状態入力手段は、発汗、心拍数、体温などの生体情報を入力する生体情報入力手段を備えており、
   前記感情状態認識手段は、前記視聴状態入力手段から入力されるユーザの生体情報に基づいてユーザの感情状態を認識する、
   ことを特徴とする請求項５記載のコメント作成閲覧装置。
7. 前記感情状態認識手段により認識したユーザの感情状態に類似する感情状態とその前記感情状態に関連する前記シーンデータとの両方を含む応答文を生成する応答文生成手段を更に備え
   前記メタ情報提示手段は、前記応答文生成手段により生成した前記応答文もユーザに提示する、
   ことを特徴とする請求項５または６記載のコメント作成閲覧装置。
8. 映像コンテンツに関連付けられたコメントをユーザ間で共有するコメント閲覧システムにおいて、
   前記コメントの入力を受け付けるコメント入力手段と、
   前記コメント手段により入力された前記コメントから、前記映像コンテンツに対する感想とその感想の対象とを抽出し、前記コメントを作成したユーザの感情状態とその感情を生起させたシーンデータとを解析するコメント解析手段と、
   前記コメント解析手段で解析された前記ユーザの感情状態と前記シーンデータとを、前記コメント入力手段により入力された前記コメントに付加した映像メタ情報を記憶する感情情報記憶手段と、
   前記映像コンテンツを視聴するユーザの状態を表すデータを入力する視聴状態入力手段と、
   前記視聴状態入力手段を介して入力されたデータを解析し、前記映像コンテンツを視聴するユーザの感情状態および前記映像コンテンツ中のシーンデータを認識する感情状態認識手段と、
   前記感情状態認識手段で認識された前記ユーザの感情状態および前記映像コンテンツ中のシーンデータを用いて、前記感情情報記憶手段に記憶されている前記ユーザの感情状態と前記シーンデータとを前記コメントに付加した映像メタ情報の中から、類似する感情情報を付加された前記映像メタ情報を選択し、ユーザに提示するメタ情報提示手段と、
   を備えることを特徴とするコメント閲覧システム。
9. ユーザ間で共有する、映像コンテンツに関連付けられたコメントを作成・閲覧するコメント作成閲覧装置にネットワークを介して接続可能であって、前記コメントを蓄積するコメント蓄積装置を制御するコンピュータに各種処理を実行させるプログラムであって、
   前記コメントの入力を受け付けるコメント入力機能と、
   前記コメント入力機能により入力された前記コメントから、前記映像コンテンツに対する感想とその感想の対象とを抽出し、前記コメントを作成したユーザの感情状態とその感情を生起させたシーンデータとを解析するコメント解析機能と、
   前記コメント解析機能で解析された前記ユーザの感情状態と前記シーンデータとを、前記コメント入力機能により入力された前記コメントに付加した映像メタ情報を記憶する感情情報記憶機能と、
   を前記コンピュータに実行させることを特徴とするプログラム。
10. ユーザ間で共有する、映像コンテンツに関連付けられたコメントを蓄積するコメント蓄積装置にネットワークを介して接続可能であって、前記コメントを作成・閲覧するコメント作成閲覧装置を制御するコンピュータに各種処理を実行させるプログラムであって、
    前記映像コンテンツを視聴するユーザの状態を表すデータを入力する視聴状態入力機能と、
    前記視聴状態入力機能を介して入力されたデータを解析し、前記映像コンテンツを視聴するユーザの感情状態および前記映像コンテンツ中のシーンデータを認識する感情状態認識機能と、
    前記感情状態認識機能で認識された前記ユーザの感情状態および前記映像コンテンツ中のシーンデータを用いて、前記コメント蓄積装置に蓄積されている前記ユーザの感情状態と前記シーンデータとを前記コメントに付加した映像メタ情報の中から、類似する感情情報を付加された前記映像メタ情報を選択し、ユーザに提示するメタ情報提示機能と、
    を前記コンピュータに実行させることを特徴とするプログラム。

Images