JP6567461B2 - 認識装置、映像コンテンツ提示システム、プログラム - Google Patents

Description

本発明は、映像コンテンツを見る者によって入力される情報を、その映像コンテンツに重畳して表示する技術に関する。

映像コンテンツを見る者（視聴者）によって入力されるテキスト情報を、その映像コンテンツに重畳して表示する従来技術として非特許文献１が知られている。非特許文献１では、視聴者は映像コンテンツを視聴しながらコメントを投稿することができる。

「動画の視聴 コメントの投稿」、[online]、NIWANGO.INC、[平成28年4月19日検索]、インターネット<URL:http://info.nicovideo.jp/help/player/howto/>

しかしながら、従来技術では、映像コンテンツに対してコメントしたいと思ってから、コメントを入力し、コメント投稿ボタンをクリックまたはエンターキーを押下する必要があるため、視聴者がコメントしたいと思ったタイミングよりも遅れてコメントが表示される場合がある。視聴者が映像コンテンツの内容を予め知っている場合には、予めコメントを入力しておき、コメント投稿ボタンをクリックまたはエンターキーを押下するタイミングを図ることもできるが、その場合であっても、視聴者がコメントしたいと思ったタイミングよりも早くなったり、または、遅くなったりする場合がある。

例えば、場面切り替えで強い印象を受けた際に、「ヨッ日本一！！」というコメントを入れたいとする。コメントを入れる理想的なタイミングは場面切り替えの映像が脳に認識され、脳反応として現れた時点であるが、このようなタイミングでコメントを入力することは難しい。また、その場面変化に対するコメントを実際に視聴者がどう入れたかったは、事後的にアンケート等で調査するしかなく、事前に推定することは不可能な場合が多い。

そこで本発明では、コメント投稿ボタンのクリックまたはエンターキーの押下を行わずに、情報を映像に適切なタイミングで重畳して表示するための認識装置を提供することを目的とする。

本発明の認識装置は、脳波計測部と、認識部を含む。脳波計測部は、映像コンテンツを視聴する視聴者の脳波を計測する。認識部は、計測された脳波に基づき、映像コンテンツに既に重畳されている１種類以上の視覚情報、映像コンテンツに重畳して表示するために予め用意されている１種類以上の視覚情報の少なくとも何れかから所定の視覚情報を取得する。所定の視覚情報は、映像コンテンツに重畳して表示するために取得される。

本発明の認識装置によれば、コメント投稿ボタンのクリックまたはエンターキーの押下を行わずに、情報を映像に適切なタイミングで重畳して表示することができる。

第一実施形態に係る映像コンテンツ提示システムの機能ブロック図。 第一実施形態に係る視聴者端末の処理フローを示すフローチャート。 視覚情報が重畳された映像コンテンツの例を示す図。 視覚情報データベースの例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。

＜第一実施形態に係る映像コンテンツ提示システム１＞
図１は第一実施形態に係る映像コンテンツ提示システム１の機能ブロック図を、図２はその処理フローを示すフローチャートである。

映像コンテンツ提示システム１は、Ｎ台（Ｎ≧１）の視聴者端末９１−１、…、９１−ｎ、…、９１−Ｎと、視聴者端末１００と、映像コンテンツを視聴者端末９１−１、…、９１−ｎ、…、９１−Ｎ及び視聴者端末１００に配信する映像コンテンツ配信サーバ９２を含む。視聴者端末９１−１、…、９１−ｎ、…、９１−Ｎ、視聴者端末１００、映像コンテンツ配信サーバ９２は、通信回線を介して通信可能に接続されている。なお、視聴者端末９１−１、…、９１−ｎ、…、９１−Ｎは、特に区別せずに総称する場合には、視聴者端末９１と呼称する。なお、視聴者端末１００と視聴者端末９１は異なる機能を備える。本実施形態においては視聴者端末１００が特徴的な機能を有する。

＜視聴者端末９１＞
視聴者端末９１は、映像コンテンツ（例えば、動画）を見る者（例えば、動画の視聴者）によって操作され、入力部（キーボード、マウス、タッチパネル等）と、表示部（ディスプレイ、タッチパネル等）を含み、例えば、パーソナルコンピュータ、スマートホン、タブレット等で実現できる。視聴者は、視聴者端末９１の入力部を介して、映像コンテンツ配信サーバ９２に対して映像コンテンツの再生を要求することができる。視聴者は、視聴者端末９１の表示部を介して、映像コンテンツを視聴することができる。さらに、視聴者は、入力部を介して、映像コンテンツに重畳して表示される視覚情報（例えば、コメント）を入力することができる。ここで、「視覚情報」とは、表示部を介して視覚的に認識可能な情報であって、例えば、文字、図形、記号、色彩、またはこれらの結合などである。視覚情報は、静止画に限らず、動く画像であってもよい。例えば、（１）「笑い」や「拍手」等の所定の行為を意味するテキスト情報（例えば「ｗ」や「８」等）、（２）テキスト情報以外の「笑い」や「拍手」等の所定の行為を意味し、識別するためのコンピュータ上のビット情報、（３）顔文字、絵文字など、通常のテキスト情報で無いもの、例えばキャリアの異なる携帯端末間で共通する絵文字（参考非特許文献１参照）、（４）アスキーアート等、様々なテキストを適切な位置に配置して組み合わせ、全体を一枚の絵のように認識させるもの（参考非特許文献２参照）、（５）ネットスラング。例えば、「笑い」を意味するテキスト情報「ｗｗｗｗｗ…」に対して「草生えた」等のネットスラングがある。
（参考非特許文献１：「docomo／au共通絵文字」、株式会社NTTドコモ、[online]、[平成28年4月19日検索]、インターネットURL:https://www.nttdocomo.co.jp/service/developer/smart_phone/make_contents/pictograph/）
（参考非特許文献２：「アスキーアート」、[online]、2015年2月2日、ウィキペディア、[平成28年4月19日検索]、インターネットURL:http://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%B9%E3%82%AD%E3%83%BC%E3%82%A2%E3%83%BC%E3%83%88）

＜映像コンテンツ配信サーバ９２＞
映像コンテンツ配信サーバ９２の内部、あるいは外部に映像コンテンツデータベース記憶部９２２が存在するものとする。図１では、映像コンテンツ配信サーバ９２内部に映像コンテンツデータベース記憶部９２２を備える構成とした。この他のバリエーションとして、映像コンテンツ配信サーバ９２の外部にビデオカメラなどの撮影装置が存在し、撮影装置が映像コンテンツ配信サーバ９２に接続されていてもよい。映像コンテンツ配信サーバ９２は、データベース生成部９２１を備えていてもよい。データベース生成部９２１については後述する。

映像コンテンツ配信サーバ９２は、映像コンテンツデータベース記憶部９２２、またはビデオカメラなどの撮影装置から映像コンテンツを受け取り、視聴者端末９１、または視聴者端末１００の要求に応じて、映像コンテンツデータベース記憶部９２２内に格納されている映像コンテンツを配信し、または、ビデオカメラなどの撮影装置で収録した映像コンテンツをリアルタイムで配信する。また、ビデオカメラなどの撮影装置で収録された映像コンテンツに限らず、リアルタイムで合成・編集されたＣＧやモーションキャプチャ等から合成されたＣＧをリアルタイムで配信してもよい。なお本実施形態において、映像コンテンツとは、音響信号と画像信号が同期されて再生されるコンテンツなどを意味する。映像コンテンツデータベース記憶部９２２には、映像コンテンツと共に映像コンテンツに付加された視覚情報が記憶される。視覚情報にはメタデータが付加される。メタデータとしては、視覚情報の入力時刻、視覚情報の大きさ、その色、その出現方法、その移動速度、移動方向、配置される位置等がある。メタデータは、視覚情報の入力者が選択できるものとしてもよく、この場合、視聴者端末９１や視聴者端末１００がメタデータを視覚情報に紐づけて、映像コンテンツ配信サーバ９２に送信する。映像コンテンツ配信サーバ９２は、受信した視覚情報、メタデータを映像コンテンツに紐づけて、映像コンテンツデータベース記憶部９２２に記憶する。

＜視聴者端末１００＞
視聴者端末１００は、映像コンテンツ（例えば、動画）を見る者（例えば、動画の視聴者、図１における視聴者８）によって操作される。視聴者端末１００は、表示部（ディスプレイ、タッチパネル等）１１０と、脳波計測部１２０（脳波計測装置１２０）と、認識部１３０と、表示サイズ取得部１４０を含み、例えば、パーソナルコンピュータ、スマートホン、タブレット等で実現可能である。視聴者端末１００は上記に加え、視覚情報データベース記憶部１５０を含んでもよい。視覚情報データベース記憶部１５０は、後述する視覚情報データベースを予め記憶する。視聴者８は、視聴者端末１００の入力部（キーボード、マウス、タッチパネル等）を介して、映像コンテンツ配信サーバ９２に対して映像コンテンツの再生を要求することができる。視聴者８は、視聴者端末１００の表示部１１０を介して、映像コンテンツを視聴することができる。視聴者８は、入力部を介して、映像コンテンツに重畳して表示される視覚情報（例えば、コメント）を入力することができる。

表示部１１０は、映像コンテンツを表示する（Ｓ１１０Ａ）。映像コンテンツは、映像コンテンツ配信サーバ９２から配信される。脳波計測部１２０（脳波計測装置１２０）は、映像コンテンツを視聴する視聴者８の脳波をｘ（ｔ）として計測する（Ｓ１２０）。なお、ｔは時刻を表すインデックスである。

＜認識部１３０＞
認識部１３０は、脳波ｘ（ｔ）を受け取り、この脳波ｘ（ｔ）に基づき、所定の視覚情報ｖ（ｔ）を取得し（Ｓ１３０）、ｖ（ｔ）を通信回線を介して映像コンテンツ配信サーバ９２に送信する。

映像コンテンツ配信サーバ９２は、所定の視覚情報ｖ（ｔ）を受信して、所定の視覚情報ｖ（ｔ）を、ｖ（ｔ）に付加されたメタデータに従って映像コンテンツに重畳し、これを配信する。前述したように映像コンテンツ配信サーバ９２は、視覚情報ｖ（ｔ）を映像コンテンツと紐づけて、映像コンテンツデータベース記憶部９２２に格納する。視聴者端末９１の表示部または視聴者端末１００の表示部１１０は、視覚情報ｖ（ｔ）が重畳された映像コンテンツを受け取り、表示する（Ｓ１１０Ｂ）。なお、視聴者端末９１、視聴者端末１００が視覚情報ｖ（ｔ）を送信した際の再生時には、視覚情報ｖ（ｔ）を重畳せずに配信を行い、それ以降の再生時に上記視覚情報ｖ（ｔ）を重畳した映像コンテンツを配信する構成としてもよい。

以下、映像コンテンツから脳が強く影響を受けたことを認識し、映像コンテンツの場面に対応した所定の視覚情報を呈示するための具体的な処理を記述する。

認識部１３０は受け取った脳波ｘ（ｔ）から脳の活動の大きさを表す指標（例えば脳波のスペクトル、パワー、エネルギー）を求め、当該大きさを表す指標と所定の閾値との大小関係に基づき、視聴により脳が大きな影響を受けているか否かを判定し、脳が大きな影響を受けていると判定したときに、以下の方法により、所定の視覚情報を取得する。

（取得方法１）
本実施形態では脳の活動状態を表す、脳波の特定の周波数成分の強度（これにはα波、β波、γ波の強度などが含まれる、α波などについては、参考特許文献１［０００３］などを参照）をｘ（ｔ）より求め、その値が所定の閾値を超えたときに視聴により脳が反応したと判定する。例えば、上記の強度が所定の閾値以上となる時刻において、映像コンテンツに既に重畳されている１種類以上の視覚情報の中から１種類の視覚情報を選択し、所定の視覚情報とする。例えば、（１−１）同時刻において重畳されている数が最も多い種類の視覚情報を、所定の視覚情報として選択する。また、（１−２）同時刻において重畳されている視覚情報の割合に応じて、ランダムに所定の視覚情報を選択する。（１−３）同時刻において重畳されている１種類以上の視覚情報の中からランダムに所定の視覚情報を選択する。
（参考特許文献１：特許第５３１７２７７号公報）

例えば、脳波ｘ（ｔ）の特定の周波数成分の強度が所定の閾値以上になった時刻において、図３に示すような映像コンテンツが再生されていた場合について考える。この例の場合、映像コンテンツには拍手音を表す「８」というテキスト情報と、笑い声を表す「ｗ」というテキスト情報の、２種類の視覚情報が既に重畳され、表示部１１０に表示されている。それぞれの視覚情報の重畳されている個数は、この例において４個と２個である。なお、本実施形態では、ある視覚情報（例えば「８」というテキスト情報）とその視覚情報の繰り返し（例えば「８８８…」というテキスト情報）とは同じ種類の視覚情報として取り扱う。ただし、これらを異なる種類の視覚情報として取り扱ってもよい。この２種類の視覚情報から何れか一方の視覚情報を選択して、所定の視覚情報を取得する。（１−１）の方法を採用した場合、重畳されている数が最も多い種類の視覚情報は、拍手音を表す「８」というテキスト情報なので、これを所定の視覚情報として取得する。（１−２）の方法を採用した場合、拍手音を表す「８」というテキスト情報が重畳されている数の割合は４／６であり、笑い声を表す「ｗ」というテキスト情報が重畳されている数の割合は２／６であるため、この割合に応じてランダムに所定の視覚情報を選択する。例えば、４／６の確率で拍手音を表す「８」というテキスト情報を所定の視覚情報として選択し、２／６の確率で笑い声を表す「ｗ」というテキスト情報を所定の視覚情報として選択する。（１−３）の方法を採用した場合、１／２の確率で拍手音を表す「８」というテキスト情報を所定の視覚情報として選択し、１／２の確率で笑い声を表す「ｗ」というテキスト情報を所定の視覚情報として選択する。

また、脳波ｘ（ｔ）の特定の周波数成分の強度が所定の閾値以上となる時刻から過去に遡り、映像コンテンツに既に重畳されている１種類以上の視覚情報の中から１種類の視覚情報を選択し、所定の視覚情報としてもよい。例えば、脳波ｘ（ｔ）の特定の周波数成分の強度が所定の閾値以上となった場合、該当する時刻よりも以前に（過去に）重畳されていた１種以上の視覚情報の中から１種類の視覚情報を選択し、所定の視覚情報としてもよい。選択の方法としては、（１−１）〜（１−３）の方法を用いればよい。

（取得方法２）
認識部１３０は、所定の視覚情報を、映像コンテンツに重畳して表示するために予め用意されている１種類以上の視覚情報から取得してもよい。例えば、図４に示すような視覚情報データベースを予め用意しておき（例えば前述した視覚情報データベース記憶部１５０に予め記憶しておく）、（２）１種類以上の視覚情報の中からランダムに所定の視覚情報を選択する。なお、所定の視覚情報として、所定の行為、例えば、「笑い」を意味する情報のみを選択したい場合には、視覚情報データベースに「笑い」を意味する情報のみ、例えば、「ｗ」「（笑）」「：−）」「（＾ｏ＾）」等を用意しておけばよい。

（取得方法３）
脳波ｘ（ｔ）がどのような脳の状態を表すのかを認識する処理を組み合わせてもよい。

脳波ｘ（ｔ）の特定の周波数成分（α波、β波など）の強度が所定の閾値を超えた場合に、脳の状態が所定の状態にある（例えば、リラックス状態、集中状態など）と判定し、各状態に対応する視覚情報データベース（例えば、リラックス状態に対応する視覚情報データベースや、集中状態に対応する視覚情報データベースなど）の中からランダムに所定の視覚情報を選択する。

例えばリラックス状態に対応する視覚情報データベースとして、「ｗ」「またーり」など、リラックス状態とイメージが結びつくテキスト情報の集合、集中状態の視覚情報データベースとして、「目が離せない」「スゲー」など、集中するイメージと結びつくテキスト情報の集合を予め準備すればよい。

（取得方法４）
（取得方法１）と、（取得方法２）または（取得方法３）を組合せてもよい。

認識部１３０は、（４−ａ）脳波ｘ（ｔ）の特定の周波数成分の強度が所定の閾値以上になった時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報が１種類である場合、または、（４−ｂ）当該時刻に既に重畳されている視覚情報が複数種類あるが、そのうち１種類の割合が極めて高い場合（予め定めた所定の割合を超える場合）の少なくとも何れかの場合には、上記何れかの場合に該当する視覚情報を所定の視覚情報として取得する。

一方、（４−ａ）及び（４−ｂ）以外の場合には、映像コンテンツに重畳して表示するために予め用意されている複数種類の視覚情報から所定の視覚情報を取得する。

例えば、脳波ｘ（ｔ）の特定の周波数成分の強度が所定の閾値以上となる時刻において（または当該時刻から過去に遡り）、映像コンテンツに既に重畳されている視覚情報が１種類か、２種類以上かを判定する。１種類の場合には、その視覚情報を所定の視覚情報として取得する。２種類以上の場合には、重畳されている数が最も多い種類の視覚情報の割合を求め、その割合が所定の閾値（例えば０．５）より大きいときに、その視覚情報を所定の視覚情報として選択する。重畳されている数が最も多い種類の視覚情報の割合が所定の閾値以下となる場合には、（取得方法２）または（取得方法３）の方法により、所定の視覚情報を選択する。

（取得方法５）
（取得方法１）と、（取得方法２）または（取得方法３）との組合せとしては以下のような方法も考えられる。

認識部１３０は、（５）脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報に占める１種類の視覚情報の割合が所定の割合を超える場合には、当該視覚情報を所定の視覚情報として取得することを優先し、（５）以外の場合には、映像コンテンツに重畳して表示するために予め用意されている複数種類の視覚情報から所定の視覚情報を取得することを優先することで、所定の視覚情報を取得してもよい。

例えば、脳波ｘ（ｔ）の特定の周波数成分の強度が所定の閾値以上となる時刻において（または当該時刻から過去に遡り）、映像コンテンツに既に重畳されている視覚情報の種類毎にそれぞれの割合を求め、その割合が所定の閾値ａ（例えばａ＞０．５）より大きいときに、所定の確率ｂ（０．５＜ｂ＜１）でその割合に対応する視覚情報を所定の視覚情報として選択し、（１−ｂ）の確率で、（取得方法２）または（取得方法３）の方法により、所定の視覚情報を選択する。一方、その割合が所定の閾値ａ以下である場合に、所定の確率ｃ（０．５＜ｃ＜１）で、（取得方法２）または（取得方法３）の方法により、所定の視覚情報を選択し、（１−ｃ）の確率でその割合に対応する視覚情報を所定の視覚情報として選択する。

（取得方法６）
上記以外に、認識部１３０は、映像コンテンツの場面に応じて予め定められている所定の視覚情報を取得することとしてもよい。

映像コンテンツの場面は、映像コンテンツ冒頭を基準とする二つの時刻（場面の開始時刻、終了時刻）により区分される時間区間で定義してもよい。ここで、映像コンテンツの場面に応じて予め定められている「所定の視覚情報」とは、過去にその映像コンテンツを閲覧した視聴者により場面毎に、対応する時間区間内において、例えば手動で入力された視覚情報とすれば好適である。

この場合、例えば、映像コンテンツデータベース記憶部９２２に、映像コンテンツを特定する情報と場面を特定する時間区間（場面の開始時刻、終了時刻で定義される時間区間）と、当該時間区間に対応する所定の視覚情報（複数の場合には視覚情報のリスト）を、紐づけて記憶しておけばよい。さらに、各視覚情報に対して、その視覚情報が選択されるべき脳波の条件（例えば、α波やβ波の強度の条件）が対応づけられて記憶されていてもよい。

例えば図１に示すように、映像コンテンツ配信サーバ９２は、データベース生成部９２１を含むものとし、データベース生成部９２１は、映像コンテンツと、当該映像コンテンツが再生された際に視聴者が入力した視覚情報を、当該視覚情報が重畳された時間区間に対応させて、該当の時間区間内に入力された視覚情報が複数ある場合にはそれらをリストとし、予め記憶しておく。データベース生成部９２１の動作を、映像コンテンツデータベースの生成（あるいは学習）動作と呼んでもよい。

映像コンテンツデータベースは、ある映像コンテンツのある場面（時間区間）を選択するとこれに対応した視覚情報（視覚情報リスト）が出力されるように構成されている。

例えば映像コンテンツが、人気アイドルグループに属するアイドルの人気投票の一部始終を収録した動画であったものとする。この場合、データベース生成部９２１は、例えば開票の場面に該当する時間区間において視聴者が入力した視覚情報「ドキドキ」、「お願い！」、「○○ちゃん！」、…を視覚情報のリストとして予め記憶、学習しておく。

すなわち認識部１３０は、脳波ｘ（ｔ）の特定の周波数成分の強度が所定の閾値以上となる時刻において、この時刻に対応する映像コンテンツの場面（この例の場合、開票の場面）に応じて予め定められている視覚情報のリスト（この例の場合、「ドキドキ」、「お願い！」、「○○ちゃん！」などからなるリスト）のうちの何れかの視覚情報を、所定の視覚情報として取得する。

取得方法６によれば、視聴されている映像コンテンツの場面に応じた、当該場面にふさわしい視覚情報（コメントなど）を、対応する時刻に同期させて重畳させることが可能となる。

＜表示サイズ取得部１４０＞
表示サイズ取得部１４０は、脳波ｘ（ｔ）を取得し、脳の活動状態を表す、脳波の特定の周波数成分の強度（例えば、α波、β波）を求め、脳の活動状態を表す指標と所定の閾値との大小関係に基づき、視聴者の脳が大きな影響を受けているか否かを判定する。脳が大きな影響を受けていると判定した場合、表示サイズ取得部１４０は、脳の活動状態を表す指標に基づいて、大きさの情報ｓ（ｔ）を取得する。この大きさの情報ｓ（ｔ）は、視聴者端末９１の表示部または視聴者端末１００の表示部１１０を介して表示される視覚情報の大きさを表す情報である。表示サイズ取得部１４０は、大きさの情報ｓ（ｔ）を、通信回線を介して映像コンテンツ配信サーバ９２に送信する。

例えば、脳の活動状態を表す指標の値が大きければ大きいほど、視覚情報の表示サイズが大きくなるように大きさの情報ｓ（ｔ）を決定すれば好適である。

このような構成により、脳が受けた影響度合いに応じて文字の大きさを変えて表示部に表示することができ、より視聴者の雰囲気を詳細に伝えることができる。

＜効果＞
以上の構成により、コメント投稿ボタンのクリックまたはエンターキーの押下を行わずに、視覚情報を映像コンテンツに適切なタイミングで重畳して表示することができる。

＜変形例＞
本実施形態では、表示部１１０は、映像コンテンツと共にこれに重畳される視覚情報を表示しているが、映像コンテンツのみを表示する表示部を別途設けてもよい。また、取得した脳波に対する閾値は視聴者８の脳波の特性（個人差）に合わせて調整してもよい。例えば脳波計測部１２０（脳波計測装置１２０）装着から視聴開始直前までの視聴者のα波とβ波の強度の平均値の２倍を閾値として設定するなど、脳波の個人差によるノイズが軽減されるように、閾値を調整してもよい。

本実施形態において視聴者端末１００は、表示サイズ取得部１４０を含むが、この構成要件は必須ではない。なお視聴者端末１００が表示サイズ取得部１４０を含まない場合、視覚情報の大きさを表す情報として予めデフォルト値を設定しておけばよい。また、視覚情報の大きさは視聴者の操作により図示しない入力部から変更可能としてもよい。

本実施形態では、認識部１３０が、視聴者端末１００に組み込まれる構成としたが、これに限定されない。例えば、認識部１３０を独立した認識装置として構成してもよい。また、認識部１３０が、映像コンテンツ配信サーバ９２、または、視聴者端末１００以外の映像コンテンツを再生する側の視聴者端末９１に組み込まれる構成としてもよい。その場合には、認識部１３０が組み込まれた装置に、脳波ｘ（ｔ）を送信する必要がある。

なお、本実施形態では、表示部１１０において、視聴者に対して映像コンテンツを提示（呈示）しているが、視聴覚以外の感覚を刺激するコンテンツを提示（呈示）することとしてもよい。この場合、端末は、対象者（コンテンツは視聴できる状態で提示されるとは限らないので、視聴者を「対象者」と読み替える）に対して何らかの刺激によってコンテンツを提示することができればよく、本実施形態のように音刺激及び光刺激による映像コンテンツを提示してもよいし、音刺激のみによる音響コンテンツ（ラジオ放送等）を提示してもよいし、対象者が持つ他の感覚器（触覚器、嗅覚器、味覚器）で受け取ることができる他の刺激（化学物質、温度、圧力）、または、これらの刺激の組合せによってコンテンツを提示してもよい。この場合、提示部（表示部１１０の読み替え、刺激が表示できるとは限らないため読み替えた）は所定の知覚情報（視覚情報の読み替え、視覚で認識可能なものとは限らないため読み替えた）を提示するために用いられる。なお、対象者が持つ感覚器で受け取ることができる刺激（光、音、化学物質、温度、圧力等）、または、これらの組合せによって提示されるコンテンツを纏めて「メディアコンテンツ」という。脳波計測部１２０では、メディアコンテンツから刺激を知覚した（感じ取った）対象者の脳波を計測する。なお、所定の知覚情報はメディアコンテンツの該当箇所に挿入されて、メディアコンテンツの該当箇所と共に提示される。これを前述の表現を借りて「重畳する」と表現する。

また上述では、視聴者一人に対して表示部１１０が一つ存在する構成となっているが、これに限定されない。例えば、大画面の表示部１１０を一つ用意し、それを複数の視聴者で同時に視聴してもよい。この場合、表示部１１０のみ省略された視聴者端末１００’（図示略）が複数用意され、各装置に対応する視聴者の脳波が計測される。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (11)

1. 映像コンテンツを視聴する視聴者の脳波を計測する脳波計測部と、
   前記計測された脳波に基づき、前記映像コンテンツに既に重畳されている１種類以上の視覚情報、前記映像コンテンツに重畳して表示するために予め用意されている１種類以上の視覚情報の少なくとも何れかから所定の視覚情報を取得する認識部であって、前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報が複数種類ある場合には、重畳されている数が最も多い種類の視覚情報を、前記所定の視覚情報として取得する認識部を含み、
   前記所定の視覚情報は、前記映像コンテンツに重畳して表示するために取得される
   認識装置。
2. 映像コンテンツを視聴する視聴者の脳波を計測する脳波計測部と、
   （１−ａ）前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報が１種類である場合、
   または、
   （１−ｂ）前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報が複数種類あるが、そのうち１種類の割合が所定の割合を超える場合、
   の少なくとも何れかの場合には、前記何れかの場合に該当する視覚情報を所定の視覚情報として取得し、
   （２）前記何れかの場合以外の場合には、映像コンテンツに重畳して表示するために予め用意されている複数種類の視覚情報から所定の視覚情報を取得する認識部を含み、
   前記所定の視覚情報は、前記映像コンテンツに重畳して表示するために取得される
   認識装置。
3. 映像コンテンツを視聴する視聴者の脳波を計測する脳波計測部と、
   前記計測された脳波に基づき、前記映像コンテンツに既に重畳されている１種類以上の視覚情報、前記映像コンテンツに重畳して表示するために予め用意されている１種類以上の視覚情報の少なくとも何れかから所定の視覚情報を取得する認識部であって、
   （１）前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報に占める１種類の視覚情報の割合が所定の割合を超える場合には、所定の割合を超える視覚情報を前記所定の視覚情報として取得することを優先し、
   （２）前記以外の場合には、映像コンテンツに重畳して表示するために予め用意されている複数種類の視覚情報から前記所定の視覚情報を取得することを優先することで、前記所定の視覚情報を取得する認識部を含み、
   前記所定の視覚情報は、前記映像コンテンツに重畳して表示するために取得される
   認識装置。
4. 映像コンテンツを視聴する視聴者の脳波を計測する脳波計測部と、
   前記計測された脳波に基づき、前記映像コンテンツに既に重畳されている１種類以上の視覚情報から所定の視覚情報を取得する認識部を含み、
   前記所定の視覚情報は、前記映像コンテンツに重畳して表示するために取得される
   認識装置。
5. 請求項１から請求項４の何れかに記載の認識装置であって、
   前記脳波に基づいて、前記所定の視覚情報が表示部を介して表示される際の大きさの情報を取得する表示サイズ取得部を含む、
   認識装置。
6. 人間が持つ感覚器で受け取ることができる刺激により提示されるコンテンツをメディアコンテンツというものとし、
   前記メディアコンテンツを知覚する対象者の脳波を計測する脳波計測部と、
   前記計測された脳波に基づき、前記メディアコンテンツに既に重畳されている１種類以上の知覚情報、前記メディアコンテンツに重畳して提示するために予め用意されている１種類以上の知覚情報の少なくとも何れかから所定の知覚情報を取得する認識部であって、前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応するメディアコンテンツの時刻に、既に重畳されている知覚情報が複数種類ある場合には、重畳されている数が最も多い種類の知覚情報を、前記所定の知覚情報として取得する認識部を含み、
   前記所定の知覚情報は、前記メディアコンテンツに重畳して提示するために取得される認識装置。
7. 人間が持つ感覚器で受け取ることができる刺激により提示されるコンテンツをメディアコンテンツというものとし、
   前記メディアコンテンツを知覚する対象者の脳波を計測する脳波計測部と、
   （１−ａ）前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応するメディアコンテンツの時刻に、既に重畳されている知覚情報が１種類である場合、
   または、
   （１−ｂ）前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応するメディアコンテンツの時刻に、既に重畳されている知覚情報が複数種類あるが、そのうち１種類の割合が所定の割合を超える場合、
   の少なくとも何れかの場合には、前記何れかの場合に該当する知覚情報を所定の知覚情報として取得し、
   （２）前記何れかの場合以外の場合には、メディアコンテンツに重畳して提示するために予め用意されている複数種類の知覚情報から所定の知覚情報を取得する認識部を含み、
   前記所定の知覚情報は、前記メディアコンテンツに重畳して提示するために取得される認識装置。
8. 人間が持つ感覚器で受け取ることができる刺激により提示されるコンテンツをメディアコンテンツというものとし、
   前記メディアコンテンツを知覚する対象者の脳波を計測する脳波計測部と、
   前記計測された脳波に基づき、前記メディアコンテンツに既に重畳されている１種類以上の知覚情報、前記メディアコンテンツに重畳して提示するために予め用意されている１種類以上の知覚情報の少なくとも何れかから所定の知覚情報を取得する認識部であって、
   （１）前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応するメディアコンテンツの時刻に、既に重畳されている知覚情報に占める１種類の知覚情報の割合が所定の割合を超える場合には、所定の割合を超える知覚情報を前記所定の知覚情報として取得することを優先し、
   （２）前記以外の場合には、メディアコンテンツに重畳して提示するために予め用意されている複数種類の知覚情報から前記所定の知覚情報を取得することを優先することで、前記所定の知覚情報を取得する認識部を含み、
   前記所定の知覚情報は、前記メディアコンテンツに重畳して提示するために取得される認識装置。
9. 人間が持つ感覚器で受け取ることができる刺激により提示されるコンテンツをメディアコンテンツというものとし、
   前記メディアコンテンツを知覚する対象者の脳波を計測する脳波計測部と、
   前記計測された脳波に基づき、前記メディアコンテンツに既に重畳されている１種類以上の知覚情報から所定の知覚情報を取得する認識部を含み、
   前記所定の知覚情報は、前記メディアコンテンツに重畳して提示するために取得される認識装置。
10. 請求項１から請求項５の何れかに記載の認識装置を含む映像コンテンツ提示システムであって、
    前記映像コンテンツを表示する第一の表示部と、
    請求項１から請求項５の何れかに記載の認識装置が取得した所定の視覚情報を重畳した映像コンテンツを表示する第二の表示部を含む
    映像コンテンツ提示システム。
11. コンピュータを、請求項１から９の何れかに記載の認識装置として機能させるプログラム。

Images